Nate Silver. 2012. The Signal and The Noise. Penguin Books. 454 pages. 

저자는 선거예측 사이트인 FiveThirtyEight.com의 운영자로, 2012년 오바마가 선출된 대통령 선거에서 미국 50개 주의 선거결과를 모두 정확하게 예측해 냄으로서 하루 아침에 유명해진 사람이다. 이 책은 그가 어떻게 예측의 달인으로 성장하게 되었는지, 그의 예측의 기술은 무엇인지 설명한다. 그의 예측 기술의 핵심은 베이즈 공리, 즉 조건부 확률 이론에 입각한 통계적 예측이다. 기존에 알고 있는 정보에 입각하여 확률적 예측을 한 후, 새로운 유용한 정보가 나타날때마다 예측 확률을 업데이트하는 방식이다.  

저자는 청소년 시절 야구를 매우 좋아 하였으며 야구 결과를 예측하는 데 관심을 가졌다. 이러한 관심을 체계적으로 발전시켜 야구 결과 예측모델을 개발하여 프로야구단에 판매하기까지 하였다. 미국 프로야구는 극도로 정량화된 세계이다. 선수 개개인의 타율, 출루율, 방어율, 투수의 삼진, 사구 비율 등과 같은 기초적인 지표에서부터 개개 선수가 어떤 위치에서 어떠한 행위를 하였는지에 대해 상세한 지표가 개발되어 수십년간 자료가 축적되어 있다. 이러한 자료는 선수 개개인의 평가와 선발에 사용되며, 팀의 승패를 예측하는데 이용된다. 스포츠 선수 트레이드 시장이나 스포츠 게임의 승패를 두고 내기를 하는 시장 또한 규모가 크다. 이 책에서는 야구의 선수의 업적과 게임의 승패를 예측하는데 관한 설명이 다양한 사례를 사용하여 자세히 제시된다.  

예측에서 중요한 것은 어떤 것이 유용한 정보이고 어느 것이 랜덤한 요소인지를 구분해내는 일이다. 그는 이를 신호와 소음이라고 지칭한다. 지금까지 발생한 사건들로부터 유용한 패턴을 추출하는 작업은 단번에 완성되는 작업이 아니라 점차로 정확도를 높여가는 과정이다.  지금까지의 가용 정보를 기반으로 가능성이 높은 패턴, 혹은 가설을 만들고, 전개되는 사건이 이 패턴에 얼마나 맞아 떨어지는지에 따라 점차적으로 조정을 해가는 작업. 이는 다름아닌 과학적 연구방법이다. 발생한 일 중 많은 부분은 랜덤한 요인에 의해 발생하는데, 사람들은 이렇게 랜덤하게 발생한 것을 패턴으로 혼동하기 쉽다. 무엇이 랜덤한 요인이고 무엇이 유의미한 패턴에 의해 발생하는지 사전에 구분하는 것은 불가능하다. 

저자의 두번째 직업은 포커 도박사였다. 포커 게임은 게임이 진행되면서 상대의 패의 범위를 읽어내고, 자신이 가진 패의 승률을 면밀하게 계산하여 콜을 할것인지, 상대의 콜을 받을 것인지, 아니면 죽을 것인지를 판단해 낸다. 저자는 한 때 상당한 돈을 따기도 했으나, 프로 도박사의 세계에서 자신의 역량의 한계를 깨닫고 손을 떼었다. 이 책에서 포커 게임의 원리와 전문 도박사들이 어떻게 승율을 따지는지에 대해 매우 체계적으로 설명하고 있다.  

사실 저자를 유명하게 한 것은 선거 결과를 정확히 예측한 것이다. 그는 뉴욕타임즈에 그의 예측 결과를 보고하는 칼럼을 쓰게 되었는데, 그것의 정확도가 어느 다른 선거 예측전문가 보다 높게 나타나 단번에 눈에 띠었다. 그는 선거를 앞두고 벌어지는 모든 여론 조사를 반영하고, 지난 수십년간 벌어진 모든 선거 결과와 여론조사의 기록을 면밀히 분석하여, 체계적으로 선거 결과를 예측하는 모델을 만들었다. 선거 시점으로 다가갈수록 유용한 정보의 비중이 높아지는 반면 랜덤한 요인의 작용은 줄어들기 때문에, 예측의 정확도는 얼마나 선거에서 멀어져 있냐에 따라 달라진다. 이 책에서는 선거 예측 모델은 본격적으로 다루지 않는다.  아마도 저자는 선거 결과 예측에 관해 별도의 책을 쓰려고 계획하고 있거나, 혹은 현재 잘 나가가고 있는 사업의 비밀을 지나치게 구체적으로 밝히고 싶지 않은 것 같다. 

이책에서 상세하게 설명하는 또다른 예측 사례는 기상예측, 지진 예측, 기후변화, 이다. 저자는 이 주제에 관해 쓰기 위해 많은 사람을 인터뷰하고 관련 자료를 풍부히 검토한 것으로 보인다. 주식 시장의 예측 또한 제법 상세하게 설명하고 있다. 높은 승률을 기록했다고 하는 펀드들이 얼마나 시장 평균에서 벗어나는지, 모든 가용한 정보가 가격에 반영되어 있다고 하는 완전시장가설이 얼마나 타당한지, 주가의 변동에서 유용한 패턴과 랜덤한 요소를 어떻게 구별할 것인지에 대하여 저자 나름의 설명이 제시된다. 이외 테러 발생 예측에 대한 설명도 별도의 장에서 전개한다. 

야구 승률 예측에서 시작하여 포커 도박사를 거쳐 선거 결과 예측으로 성공한 저자가 자신이 생각하고 실천하는 예측의 기술에 대해 솔직히 설명한 이 글은 제법 흥미롭다. 확률 이론서나 통계 교과서처럼 수식을 제시하지는 않지만, 설명이 체계적이며 관련 이론에 대해 풍부한 지식을 보유하고 실전에 적용하는 것을 구체적으로 사례를 설명하는 서술에서 읽을 수있다. 그가 예측에 대해 설명하는 것을 읽다보면 예측이란 매우 현실적이고 냉정한 이성을 필요로 하는데, 예측의 정확도가 어느 정도 기본적인 수준에 도달한뒤 조금 더 나아가려고 하면 엄청나게 많은 노력을 투입해야 약간의 향상을 이룰 수있는 지난한 작업임을 깨닫게 된다.  저자는 그렇게 엄청나게 노력하여 성과를 거둔 사람임을 확인한다. 

Leonard Mlodinow. 2008. The Drunkard's Walk: How randomness rules our lives. 219 pages. Vintage Books.

인간은 주변에 일어나는 모든 일에서 항시 패턴을 찾으려 한다. 패턴을 파악하여 일이 앞으로 어떻게 전개될지 예상할 수 있다면 생존 가능성이 높아지기 때문이다. 세상에 모든 일은 패턴, 즉 규칙에 따라 전개된다는 믿음은 결정론적 세계관이다. 과학이 발달하기 이전에는 세상의 모든 일이 신의 뜻에 따라 이루어진다고 믿었다. 이러한 세계관에서 사는 사람은 체계적인 관찰을 통해 자연 현상의 규칙을 찾을 수 있으리라 생각하지 않으므로 과학이 발달하지 못했다. 체계적이며 경험적인 관찰이 타당한 탐구 방법으로 수용되면서 자연 현상의 규칙을 발견함과 함께, 세상은 랜덤한 요소, 즉 우연적 혹은 임의적인 요소를 품고 있다는 사실이 밝혀졌다. 확률적인 규칙성을 발견한 것이다. 

이 책은 랜덤, 즉 임의성이라는 주제를 중심으로 확률 이론과 통계학의 발전 과정을 짚어 본 과학사 책이다. 확률론은 수학에서도 가장 기초가 되지만 일반 상식으로 이해하기 어려운 논리를 담고 있다. 저자는 주변에서 쉽게 찾을 수 있는 사례를 다양하게 인용하면서 확률론을 알기 쉽게 전달하려고 노력한다. 도박사의 승률 계산에서부터 시작된 확률에 대한 인류의 관심은, 복권의 구조, 스포츠의 승률, 증권 가격의 움직임, 재판에서 평가되는 증거의 타당성, 사업 성공의 확률, 측정의 오차, 속성의 분포, 등등. 우리 삶에서 확률의 원리가 적용되지 않는 곳이 없으므로 저자는 삶의 거의 전 영역에 걸쳐 확률의 원리를 적용하면서 통찰력을 제공하려고 한다. 

세상의 일은 개인의 능력, 환경적 요인, 랜덤한 요소, 이렇게 세가지가 결합되어 전개된다. 그러나 사람들은 랜덤한 요소를 과소평하하는 반면, 개인의 능력을 과대평가한다. 뮤츄얼 펀드의 성과를 분석한 결과, 지난 이십년간 두드러지는 성과를 기록한 회사가 사실은 랜덤한 요소가 작용하여 그렇게 되었음을 체계적으로 설명한다. 수년 동안 뛰어난 사업 성과를 낸 회사가 CEO의 특출난 능력 때문이 아니라 랜덤한 요소 때문에 그리 될 수 있음을 입증힌다. 반대의 경우, 즉 수년 동안 부진한 성과를 기록한 회사 또한 CEO의 능력 때문이 아니라 랜덤한 요소 때문에 그리 될 수 있다. 세상일은 랜덤한 요소가 크게 작용하기 때문에, 지나고 나서 보면 필연인 것 같고 규칙성을 추출해내지만, 그러한 사후적으로 추출한 규칙을 적용하여 앞으로 어떻게 전개될지를 예측하면 거의 빗나간다.  

우리의 삶에서 우연한 계기 때문에 인생의 진로가 바뀐 경우가 많은 것을 볼 때, 인생사에서 랜덤한 요소의 비중이 적지 않다. 사람들은 본능적으로 랜덤한 요소를 거부, 내지 과소평가하는 반면 개인의 통제 가능성을 과대평가 하기 때문에, 일의 진정한 전개 원리를 외곡하여 인식한다. 저자는 다양한 사례와 학술적인 연구 결과를 동원하여 우리의 현실 인식이 크게 외곡되어 있음을 깨닫게 한다. 

세상사의 전개에서 랜덤한 요소의 비중이 그렇게 크다면 우리가 노력하는 것은 허사가 아닌가 하고 질문할지 모르지만, 저자는 단호하게 그렇지 않다고 답한다. 랜덤한 요인 때문에 실패할 수 있고, 랜덤한 요인 때문에 성공할 수있지만, 꾸준히 노력하고 여러번 시도한다면 결국 자신의 능력에 상응하는 성공의 확률을 실현하기 때문이다. 많은 사람은 조금만 더 노력하였다면 거듭된 실패 끝에 성공이 찾아올 수 있었을텐데 안타깝게 중도에 중단하여 자신의 능력에 상응하는 확률적인 승률을 실현하지 못한다. 반면 억세게 운 좋은 사람은 단 한번의 시도에서도 자신의 능력에 벗어나는 예외적인 성공을 랜덤한 요인 때문에 거두기도 한다. 개별 사례가 랜덤하게 발생하는 것은 인간이 어찌할 수 없지만, 많은 수가 모일 때, 즉 여러번 반복될 때 확률적인 규칙성이 적용되므로, 이는 인간사에 희망을 준다. 여러번 실패한 사람이, 여러번 시도해본 사람이 결국 성공하게 되는 것이다. 이 책은 통찰력을 주는 흥미있는 읽을 거리이다.