사람들은 왜 협력하고 경쟁할까

David P.Barash. 2003. The Survival Game: How game theory explains the biology of cooperation and competition. Henry Holt & Co. 277 pages.

저자는 워싱턴 주립대 심리학과의 진화 생물학자로, 게임 이론을 설명하면서 인간을 포함한 생물계에서 협력과 경쟁이 전개되는 원리를 이론적으로 및 다양한 사례를 들어 설명한다. 인간을 포함한 생물체의 삶은 게임의 연속이다. 제한된 자원을 획득하기 위한 경쟁, 배우자를 구하는 경쟁이 대표적이다. 2 x 2 매트릭스를 사용하면 개임에 참여한 참가자 개개인의 선택지의 조합에 따라 각각의 참가자에게 이익과 손실이 어떻게 분배되는지 한눈에 파악할 수있다.

첫번째 게임은 '죄수의 딜레마'(prisoner's dilemma)로 게임 이론에서 가장 바탕이 된다. 이 게임에 참여한 죄수 각자의 입장에서 볼 때 둘다 죄를 부정하는 방향으로 협력(cooperate)하는 것보다 상대를 밀고하는 배반(defect) 할 때 각자에게 돌아가는 이익이 더 크다. 이 게임에서 개인 각자에게 가장 합리적인 선택은 상대를 배반하는 것이다. 문제는 둘다 개인의 입장에서 가장 합리적으로 선택할 때 두 사람 모두 최악의 보상을 받게 된다는 점이다. 그럼에도 상대에게 호구(sucker)가 되지 않기 위해 사람들은 대체로 상대를 배반하는 선택을 한다. 상대의 배반을 의심하기 때문에, 협력의 이점에도 불구하고 협력을 선택하지 못한다. 독일과 연합국 간에 일차대전이 일어나게 된 상황이 이에 해당한다. 상대에게 나에 대한 신뢰를 심어주거나, 혹은 상대와 앞으로도 게임을 계속해야 하는 상황에서만 사람들은 협력을 선택한다.

정치학자 악셀로드는 상대가 도발하지 않는 한 항시 협력하면서 '이에는 이로 눈에는 눈으로' (tit-for-tat) 상대의 배반에 배반으로 맞받아치는 전략이 가장 손해를 적게 보는 전략이라는 것을 입증했다. 상대의 배반에 협력으로 대응하거나 혹은 상대의 협력에 배반으로 대응하는 것은 이보다 열등한 전략이다. 상대의 배반을 응징하지 않으면 상대가 계속 도발을 감행하게 부축이며, 상대의 협력에 배반으로 대응하면 일시적으로는 나에게 이익이나 그 관계가 지속되지 않으므로 결국 손해이다.

두번째의 게임은 '사회적 딜레마'(social dilemmas)로, 죄수의 딜레마 게임에서 나의 상대가 집단인 경우이다. 경제학에서 공유지의 비극(tragedy of commons)이라고 불리는 것이다. 참여자 개개인에게는 이익이나 집단 전체로는 손해인 경우로, 공공재가 대표적 사례이다. 자신은 기여하지 않고 이익만 챙기려 하는 행위(free riding)를 어떻게 제한하는가가 문제의 핵심이다. 이 문제는 정부와 같은 권력이 참여자의 이기적 행위를 규제하고, 집단의 규범과 가치를 참여자에게 사회화를 시킴으로서 부분적으로 해결된다.  

세번째 게임은 '치킨 게임'(game of chicken)으로, 게임 참여자 모두 배반하면 파멸로 귀결되는 게임이다. 죄수의 딜레마에서는 한쪽만 배반할 경우의 벌칙(sucker)이 둘다 배반할 경우의 벌칙보다 큰 반면, 치킨 게임에서는 둘 다 배반할 경우의 벌칙이 한쪽만 배반할 경우의 벌칙보다 크다. 일반적으로 끝까지 버티거나 혹은, 상대에게 내가 끝까지 버틸거라는 믿음을 주면 승리를 잡을 수있다.  1960년대에 미국과 소련이 대치했던 쿠바사태가 그에 해당한다.

인간의 세계보다 동물의 세계에서 게임 이론이 더 정확히 작동한다. 게임 이론으로 계산된 이익을 보는 쪽은 진화의 과정에서 더 많이 번식하기 때문이다. 인간은 게임 이론에서 계산된 이익을 보는 방향으로 반드시 행동하지는 않는다. 한편 동물은 반드시 한 방향으로 선택하기보다는, 조건에 따라 자신에게 유리한 방향으로 선택을 바꾸어 하는 전략을 구사한다. 어떤 때 어떤 선택을 하는가는 게임이론이 설명할 수 있다. 예컨대 숫컷이 한 배우자에게 충실하냐 혹은 바람둥이 성향을 보이느냐 여부, 상대에게 공격적일지 혹은 유순하게 물러설지 여부는, 상대가 주어진 상황에서 어떤 성향이냐에 따라 선택적으로 결정된다. 게임 참가자에게 생존의 이익을 가장 많이 가져다 주는 행위 조합을 선택하는데, 게임 이론은 이 조합을 정확히 계산해 낼 수 있다.

인간은 게임이론이 예측하는 대로 이익을 최대화하는 행위를 선택하지 않을 때가 많다. 이는 합리적으로 이익을 계산해내는 것이 매우 복잡하여 어느 정도의 이익에서 만족하기 때문이거나, 혹은 합리적인 이익 이외에 감정적인 동기가 인간을 움직이기 때문이다.  냉혹하게 이익을 철저히 추구하는 합리성은 개인에게는 득이될지 모르나, 집단 전체에게는 득이 되지 않을 수있다. 인간은 정말 자신에게 중요한 사안에 관해서는 합리적으로 이익을 따져 결정하기보다, 직관과 감정이 명령하는 바를 따른다. 인간의 두뇌는 극단적 합리성을 추구하도록 진화된 것이 아니라, 생존에 도움이 되는 정도로만 합리성을 발휘하도록 진화해 왔다. 저자는 인간이 어느 정도 비합리적으로 행동하는 것이 오히려 다행이라고 본다. 어느 정도의 합리성과 어느 정도의 비합리성이 조합된 것이 인간이고, 이것이 동물과 인간의 다른 점이다. 동물은 자신의 선택의 합리성을 의식하지 않지만, 결과적으로 매우 합리적으로 선택하는 존재이다.

이 책은 게임 이론과 진화 생물학의 전문 지식에 저자의 박학다식한 지식이 결합된 교양서이다. 저자는 문학, 철학, 정치, 역사에 이르는 다양한 사례를 동원하여 게임 이론을 설명한다. 물론 저자의 주영역인 동물의 행태에 관한 사례를 가장 많이 제시한다. 게임이론과 진화론을 적용하여 인간의 본성과 사회의 작동 원리를 설명하려고 하는 흥미로운 책이다.

그러나 동물의 세계에서는 게임 이론이 정확히 적용되나 인간의 세계에서는 그렇지 않다는 저자의 주장에 의심이 간다. 개별 인간의 선택을 보면 게임 이론이 정확히 적용되지 않을지 모르나, 결과로 놓고 보면 인간의 세계도 결국 게임 이론의 합리적 선택과 진화에 따라 전개된 결과가 현재 우리의 삶이 아닐까? 인간의 감정이란 합리적 선택이 고도로 축약된 장치라는 사실이 밝혀졌다. 그렇다면 인간이 때로는 합리적 계산 대신 감정적으로 행동하는 것이 궁극적으로 가장 합리적인, 즉 피해를 최소화하는 대신 생존 가능성을 최대화(minimax)하는 행위일 수 있다. 인간의 사례에 게임이론을 적용할 때, 개별 행위자의 단기적 이익의 계산을 넘어서서 좀더 넒은 시간 단위와 넒은 범위에서 손익을 계산하는 것이 필요하다. 인간은 진화의 결과 자의식과 감정을 가진 복잡한 존재로 발전했기 때문이다. 그럼에도 생물계에 보편적으로 작동하는 게임 이론과 진화의 원리에서 벗어날 수는 없다. 이것을 위반하려 한 존재는 현재 지구상에 살아 돌아다니지 못할 것이기 때문이다.