작년에 무척 재미있게 읽었던 책으로 네이트 실버(Nate Silver)가 지은 '신호와 소음 (The Signal and The Noise (2012)' 에 대해서 포스팅하고자 합니다.  책이 600 페이지가 넘는데다가 책 읽은지 1년여가 지나서 책 리뷰 쓸려니 기억이 좀 가물가물한 감도 있습니다만, 책이 워낙 재미있고 꼭 소개해드리고 싶어서 몇 자 적어봅니다. ^^;

 

저자 네이트 실버는 Fast Company가 선정한 '가장 창조적인 인물 1위', The New York Times 가 선정한 '가장 영향력 있는 100인 중 한명'이기도 하구요, 2008년 미국 대선 50개 주 중에서 49개 주에 대해서 정확한 예측을 하기도 했고, 2012년 미국 대선에서는 오바마 승리와 50개 주 예측을 정확하게 해서 세간의 화제를 몰았던 인물이기도 합니다.  이런 저자가 글재주도 좋아서 수식은 안쓰면서 일반인이 통계, 분석에 대해서 재미있고 쉽게 이해할 수 있도록 다양한 일상의 주제들에 분석이라는 프리즘을 들이대면서 이야기를 풀어나가고 있습니다.

 

책 제목이 '신호와 소음 (The Signal and The Noise)' 인데요, 최근에 빅데이터가 화두가 되고 있는 시대에 빅데이터가 무조건적인 축복만은 아니라는 점, 빅데이터 속에는 '신호 (The Signal)'도 많은 반면 반대급부로 '소음 (The Noise)'도 무지무지 많아졌기에 소음 속에서 신호를 찾아내는 것이 무척 힘들어지고 있다고 말하고 있습니다. 

 

 

 

 

 

 

 

저자 네이트 실버 (Nate Silver)

 

결국 이 책은 정보의 홍수 속에서 "신호와 소음을 어떻게 구분할 것인가?"라는 질문에 대해 저자가 나름의 분석 경험을 통해 쌓은 노하우를 소개해주고 있다고 보면 되겠습니다.  수학 공식은 없이 말이지요.

 

 

 

Question : "신호와 소음을 어떻게 구분할 것인가?"

(How can we tell a difference between the Signal and the Noise?)

 

 

저자는 예측이 데이터를 가지고 하니 객관적이라고 다수가 여기고 있지만 실은 주관적인 일이라고 말하고 있습니다.  그리고 소음에 의해서, 분석가의 주관에 의해서 예측이 많은 경우 틀린다고 말하고 있구요.

 

저자는 예측의 실패 사례로 서브프라임 모기지 사태와 9.11 테러를 들고 있습니다.  주택 거품 신호를 간과하고 모기지 상품은 Risk가 없다는 잘못된 확신을 가졌던 점, 잘못된 표본을 가지고 정밀하게 예측을 하는 우를 범함으로써 통계의 함정에 빠졌던 점으로 인해 주택 시장이 붕괴할지를 눈치채지 못했다고 말하고 있습니다. 

 

9.11 테러나 진주만 공습에 대해 알려진 앎(Known Knowns), 알려진 미지(Known unknowns), 알려지지 않은 미지(Unknown unkowns)를 구분하면서, 알려지지 않은 미지(Unknown unknown)의 위험에 대해 특별한 관심을 보이고 있습니다.  우리의 뇌는 선천적으로 익숙한 것, 잘 알고 있는 것에 편안하게 안주하려고 하는 습성이 있으며, 잘 모르는 것, 낯선 것, 경험이 부족한 것에 대해서는 정신적으로 저항하고 상상력이 부족해서 신호를 제대로 해석하는데 실패하는 경향이 있다고 말이지요. 

 

 

“미국인에게 새로운 천 년은 끔찍한 사건과 함께 시작되었다. 미국인은 2001년 9월 11일 사건이 다가온다는 사실을 전혀 알지 못했다.


문제는 정보 부족에 있지 않았다. 9.11 테러가 있기 60년 전에 진주만이 일본에 기습 공격을 당할 때처럼, 그런 일이 있으리라는 온갖 신호가 분명 있었다. 그런데 미국인은 그 신호들을 온전하게 하나로 꿰지 못했다.


테러리스트들이 어떻게 행동할지 밝히는 적절한 이론이 부족해서 미국인은 그 많은 신호에도 눈뜬장님이었고, 9.11 테러나 진주만 공습은 미국인에게 '알려지지 않은 미지(unknown unknowns)'였다.

 

                          - Nate Silver, The Signal and The Noise, 2012 - 

 

 

네이트 실버는 예측을 잘 하려면 고슴도치의 원칙 보다는 여우의 원칙을 가지고 예측에 임해보라고 권하고 있습니다.  고슴도치의 원칙은 한가지 일에 깊은 통찰력을 갖고 있거나 큰 이념에 집중하며, 정보로 자기 편견을 강화하고, 자기가 보고 싶은 것만 보려고 하는 것입니다.  반면에, 여우의 원칙은 많은 것을 두루 알고 작은 변화에도 민감하게 반응하는 것입니다.

 

여우의 원칙 1 - 확률적으로 생각하라 (처음의 추정은 변변치 않을지라도)

여우의 원칙 2 - 날마다 새로운 예측을 해라 (편견을 줄여나가라)

여우의 원칙 3 - 집단 지성을 활용하라 (독립적인 예측을 종합하라)

 

이 책 '신호와 소음'을 읽으면서 '확률'에 대해서, 그리고 '베이즈 정리'에 대해서 많이 접하게 되었는데요, 학교 다닐 때 '확률'에 대해서는 배우기는 했지만 어디에 사용하나 제대로 이해하지 못한 채 넘어갔고, '베이즈 정리'는 안배웠던 내용이었기에 새롭기도 했습니다.  베이즈 정리는 새로운 증거에 기반해서 조건부확률을 활용하여 과거의 정보를 지속적으로 향상, 개선시켜나갈 수 있는 강력한 예측의 기법이라고 저자는 강추하고 있습니다.

 

저자가 말하는 예측을 위한 바람직한 태도를 소개하자면, 세상의 복잡성과 지식의 불완전성, 예측의 불확실성을 인정하고, 예측할 수 없는 것에 대한 겸손함, 예측할 수 있는 것을 예측하는 용기, 그리고 이 둘 사이의 차이를 분별할 수 있는 지혜를 갖추라고 말하고 있답니다.

 

아래에는 이 책의 목차를 소개해 놓겠습니다. 600 페이지가 넘다보니 블로그 포스팅에 각 예측 주제별로 일일이 소개하는 것이 거의 불가능하며, 책의 재미를 제대로 전달하기도 쉽지가 않네요. ^^;  이 책에 대한 호기심을 불러일으키기에 이 책의 제목을 소개하는 것이 가장 쉽고 빠른 길이 될 듯 합니다.  그리고 이 제목을 보다보면 저자의 안목의 폭넓음, 저자가 말하는 여우의 원칙을 견지하는 실 모범 사례가 바로 이 책임을 알 수 있을 거예요. 

 

일본 후크시마 원전이 쓰나미에 무너져 방사능이 태평양으로 쏟아지고 있는데요, 이게 예측을 잘못한 결과로 내진 설계를 약하게 만들어서 발생한 사태라는 점 아셨나요?  선거 결과를 제대로 예측하려면, 야구 경기를 예측하고 선수들의 성과를 예측하려면, 날씨 예측은, 전염병, 지진, 주식, 경기, 체스, 포커 등 도박, 지구 온난화, 테러 등... 이 저자는 심심할 겨를이 없을 것 같습니다.

 

 

[ 신호와 소음 목자 ]

 

I. 예측에 대한 근본적인 의문들

  1. 경제 : 경제 붕괴, 왜 전문가들은 예상하지 못했는가

  2. 정치 : 내가 선거 결과를 맞힌 비법

  3. 야구 : 야구 경기는 왜 모든 '예측'의 모델이 되는가

 

II. 움직이는 과녁을 맞혀라!

  4. 기상 : 예측의 진보, 허리케인과 카오스의 원뿔

  5. 지진 : 라퀼라의 재앙을 아무도 예상하지 못하다

  6. 평균과 불확실성 : 숫자에 속지 마라

  7. 전염병 : 신종플루부터 에이즈까지

 

III. 미래를 내 손에 움켜쥐는 법

  8. 베이즈 정리 : 이기는 도박꾼은 어떻게 배팅하는가

  9. 체스 : 컴퓨터가 인간처럼 미래를 내다볼 수 있을까

 10. 포커 : 상대방의 허풍을 간파하는 법

 

IV. 보이지 않는 손이 세상을 움직인다

 11. 주식 : 개인은 절대 시장을 이길 수 없을까

 12. 지구온난화 : 얄팍한 선동인가, 과학적 진리인가

 13. 테러 : 진주만 공습과 9.11 테러의 공통점

Posted by R Friend R_Friend

댓글을 달아 주세요