Daniel Kahneman, Oliver Sibony, and Cass Sunstein. 2021. Noise: A Flaw in Human Judgement. Little, Brwon Spark. 395 pages.

저자는 심리학 및 행동경제학자들이며, 이 책은 사람들이 평가하고 판단할 때 저지르는 오류에는 어떤 것이 있고, 왜 생기며, 어떻게 줄일 수 있을지에 대해, 심리학의 연구 결과를 인용하여 체계적으로 설명한다. 통계학적 논리가 논의의 바탕에 깔려 있다.

판사가 범죄자에게 부과하는 형량, 보험 감정사가 보험 대상에 대해 산정하는 보험료,  기업의 채용 인터뷰에서 지원자에 대해 매기는 평정 점수, 환자의 병에 대한 의사의 진단, 기업의 미래 매출 예측, 종업원의 업무 성과 평가, 등 거의 모든 평가와 판단 행위에서 평가자에 따른 평정 결과의 차이는 매우 크다. 이는 일반적인 평가뿐 아니라, 관련 분야의 전문지식을 요하는 전문가들 사이에도 의견의 불일치가 심하다. 저자는 참 값에서 멀어지는 현상을 '소음'(noise)이라고 칭한다. 사람들이 참 값에 근접한 평가를 할수록, 즉 노이즈를 줄일수록 효율과 공정성이 높아지기 때문에, 평가의 정확도를 높이는 것 내지는 평가자들 사이에 불일치를 줄이는 것은 실질적이며 중요한 과제이다. 

노이즈의 구성 요소를 분석하면 다음과 같다. 동일한 대상에 대해 여러 평가자들의 평균값이 참 값에서 멀어진 것은 '편견'(biase)에 해당하는데, 사람들은 평가의 문제를 이야기할 때 주로 이것에 관심을 기울인다. 노이즈는 편견과는 별개로, 평가자들의 값이 서로 간에 벌어진 정도이다. 노이즈는 평가자 각각이 다른 사람과 구별되는 평균적인 성향인 level noise와, 이와는 별도로 특정 성격의 사례에 다르게 반응하는 pattern noise로 나눌 수 있다. 이 두가지 이외에도, 일관된 패턴이 없이 그때 그때의 평가 환경에 따라 다르게 평가하는 occasion noise 가 있다. 

노이즈가 발생하는 원인은 다양하다. 평정해야 하는 어려운 문제 대신, 그보다 쉬운 다른 문제로 대치하여 평정하려는 심리적 성향, 평정하는 기준이 되는 잣대가 사람에 따라 다르기 때문에 나타나는 차이, 평정자 개인의 과거 경험이나 가치관에 기인한 특이한 평가, 등등.

노이즈를 줄이는 여러 방법을 소개한다. 평가자의 지능이 높고, 관련 전문성이 높을수록 노이즈는 작다. 여러 평가자들이 독립되게 평가하도록 하여 이들의 평가 결과를 평균하면, 개별 평가자의 평가 결과보다 노이즈가 작다. 이는 "군중의 지혜"(wisdom of the crowd)라는 원리를 적용한 것이다. 평가에 직접적으로 필요하지 않은 정보를 배제함으로서 사전적인 편견을 줄이면 노이즈가 줄어든다. 평가 대상을 구성하는 영역을 분석적으로 구분하여, 각 영역에 대해 독립적으로 평가하고 이들을 종합하는 식으로 단계적으로 접근한다면, 평가 대상에 대하여 뭉뚱그려서 직관적으로 평가하는 것보다 노이즈를 줄일 수 있다. 평가 척도의 각 값에 대해 구체적이고 알기 쉬운 사례를 제시하여, 평가자들이 평가 척도의 각 값에 해당하는 사례와 평가 대상을 비교하는 방식으로 평가하도록 한다면, 평가자에 따른 척도의 주관성 문제를 어느 정도는 극복할 수 있다.

평가 대상들 사이에 순위를 매기는 것이, 평가 대상들에 대해 절대적 수준 점수를 부여하는 것보다 훨씬 쉽다. 이는 사람들이 절대적인 수준을 평가하기는 어려운 반면, 사례 비교를 통한 상대적인 평가는 비교적 잘 할 수 있기 때문이다. 그러나 평가 대상이 7개를 넘어서면, 인간의 마음이 한꺼번에 다룰 수 있는 복잡성의 범위를 넘어선다. 따라서 많은 수의 대상에 대해 일목에 전체를 비교하기보다, 단계적으로 접근하여, 먼저 몇개의 큰 그룹으로 나누어 순위를 매기고, 각 그룹 내에서 다시 구성원들 사이에 순위를 매기는 식으로 접근하는 것이 좋다.   

평가 대상을 그와 유사한 범주의 한 예로 간주하여 범주 전체의 평균을 기본(base)으로 하고, 평가 대상에 대한 직관적인 평가 값을 다른 한극점으로 하여, 두 극점 사이에서 평가 대상이 그가 속한 범주 평균에서 벗어나는 정도에 따라 비례적으로 조정하는 방법을 적용하면 훨씬 정확한 평가를 할 수 있다. 이는 모든 사건은 평균으로 수렴한다는(regress to the mean) 원칙을 응용한 것이다. 

기계적으로 규칙을 정하여 그에 따라 평가하거나 알고리즘을 적용하여 자동 평가하는 것이, 평가자 개인에게 재량을 크게 부여한 평가보다 노이즈가 훨씬 작다. 그러나 전문가들은 자신의 재량이 줄어드는 것에 심하게 저항하기 때문에, 기계적인 평가를 도입하기는 현실적으로 쉽지 않다. 또한 사람들은 평가의 정확성이 떨어지더라도, 기계나 규칙에 따른 자동 평가보다는 인간이 평가하기를 원한다. 그러나 평가의 정확성이 떨어지면 그에 따른 효율성 손실도 커지기 때문에, 규칙의 엄격성과 인간적 재량 사이에 어느 정도어데 타협점을 찾아 한다.

이 책은 저자의 이전 책인 Think, fast and slow 와 마찬가지로, 체계적인 연구 결과에 기반한 정보로 꽉꽉채운 제법 전문적인 책이다. 통계에 대한 사전 지식이 있기에 저자의 설명을 이해하는 것이 크게 어렵지는 않았다. 저자의 번득이는 지적 능력이 돋보이는 책이다.  규칙과 알고리즘을 통해 노이즈를 줄이는 것이 가능함에도, 전문가들이 판단의 재량권이 줄어듦과 함께 권위가 줄어들 것을 염려하여, 갖은 이유를 대면서 규칙과 알고리즘의 도입을 반대한다는 비판이 통렬하다.

과거 기계화와 자동화가 진행되면서 노동의 기술수준이 떨어지는 "deskilling" 현상이, 앞으로 전문직 분야에도 확대되리라 예상한다. 과거에 장인(craftman)이 준기술직 (semi-skilled)에 의해 대체되었듯이, 전문직 또한 준기술직에 의해 대체될 것이다. 의료 분야에서 영상 판독이나 시험결과 판단이 의사로부터 컴퓨터와 준기술직 사람에게로 넘어가고, 세무사의 일이 세무 소프트웨어에 의해 대치되고 있듯이, 앞으로 판사와 변호사의 일이 법규와 판례를 해석하고 종합하는 소프트웨어에 의해 어느 정도 대치되는 날이 올 것이다.   

   사람들은 학교 교육에 문제가 많다고 하며 하루가 멀게 교육 제도를 바꾼다. 이는 우리나라만의 문제가 아니라 미국에서도 역시 그러하다. 교육 제도를 자주 바꾸는 데도 크게 나아지지 않는 것은 문제의 근원이   학교 교육 자체보다는 사회에 있기 때문이다.

http://www.theatlantic.com/magazine/archive/2012/10/why-kids-should-grade-teachers/309088/

 Why Kids Should Grade Teachers

By Amanda Ripley

   어느 사회나 학교 교육은 사회적인 성공의 중요한 통로이다. 과거 토지 소유나 신분이 지위와 권력의 기반이었을 때에는 학교 교육이 그리 중요하지 않았다. 교육을 통해 사회적 지위를 획득하는 것은 현대 사회의 특징이다. 요즈음 ‘지식 경제’(Knowledge Economy)라는 명칭에서 드러나듯이 경제활동에서 지식의 중요성이 높아지면서 교육의 지위획득 기능은 더 커졌다.

   문제는 학생이 학교에서 우수한 성적을 올리는 데에 가장 큰 영향을 미치는 요인이 학교 자체가 아니라 부모의 사회경제적 지위라는 점에 있다. 사람들은 학교 교육이 기회의 평등을 보장하는 장치이기를 기대한다. 그러나 어떤 가정 배경인가에 따라 교육 기회는 큰 차이를 보인다. 교육 수준이 높고 소득이 많은 부모의 자녀는 그렇지 못한 부모의 자녀보다 평균적으로 학업 성취도가 월등하게 높다. 일간 신문에서 서울대 학생의 부모의 상당수가 강남에 거주하고 있다고 호들갑을 떨지만, 사실 모든 초등학교 학급에서 공부를 잘하는 학생은 공부를 못하는 학생보다 부모의 교육과 소득 수준이 높다.

   본인의 재능과 노력에 따라 학업 성취도가 결정되는 것이 아니라, 가족 배경에 따라 성취가 크게 영향을 받는 것을 사람들은 용인하려 하지 않는다. 우리 사회의 평등과 민주주의 이념은 모든 사람에게 기회의 평등이 주어지기를 기대하기 때문이다. 반면 사회 제도는 부모의 사회경제적 능력이 자녀의 학업 성취로 고스란히 이전되는 것을 허용한다. 자신이 어떤 부모에게서 출생하는가는 자신이 선택할 수 없으므로, 이러한 사회는 정의롭지 못하다. 사람들은 이런 부정의한 사회에서 살고 있는 한, 없는 사람은 고통 받고, 있는 사람은 불편해 하면서 살아갈 수밖에 없다. 교육에 문제가 많다고 맨날 떠들면서 이리저리 뒤집어보아도 이러한 근본적인 모순을 외면하는 한 문제는 해결되지 않고 아우성만 지속될 것이다. 

   미국은 이런 점에서 우리와 별반 다르지 않다. 인종 차별이 심한 사회에서 열등한 지위에 있는 흑인과 히스패닉 자녀의 낮은 학업 성취도는 미국 사회의 골칫거리이다. 유색인이 다니는 학교의 수준은 정말 열악하다. 학교의 시설은 낡고 부족하여 제대로 교육이 이루어 질 수 없는 환경이며, 선생의 수준이나 가르치려는 의욕은 낮으며, 학생의 배우려는 의지 또한 매우 낮다. 많은 유색인 학생들이 매일 집에서 복잡한 사건을 경험하며 제대로 먹지도 못하고 학교에 오는 데 학교에서 배우는 것이 머리에 들어올 리 만무하다. 반면 중류층 백인이 다니는 학교는 좋은 시설과 안정된 가정 환경과 부모의 관심과 선생의 열의와 학생의 의지가 결합하여 높은 학업 성취를 보인다.

   미국의 교육 개혁은 대체로 유색인 학교의 낮은 학업 성취도를 어떻게 끌어 올릴 것인가에 초점이 맞추어져 있다. 물론 중류층 학생의 학업 성취도 또한 국제 비교에서 저조한 성적을 보이면서 개혁의 목소리를 높이고는 있다. 미국의 많은 교육학자들이 복잡한 방법론을 동원하여 문제를 분석하고 매일 같이 새로운 제안을 들고 나오지만 그리 효과가 있는 것 같지 않다. 사실 효과를 보이는 개선책은 대체로 교육의 기본에 충실하는 것이다.

   여기 소개한 기사에서 지적하는 개혁 방안은 ‘학생이 선생을 평가하도록 하자’는 것이다. 부모의 사회경제적 수준이 자녀의 학업성취에 가장 큰 영향을 미치기는 하지만, 선생이 좋은가 여부는 학생의 학업 성취에 적지 않게 영향을 미친다. 따라서 어떻게 선생의 질을 높일 것인가, 어떻게 나쁜 선생을 솎아낼 것인가, 어떻게 수업의 질을 개선할 것인가는 중요하다. 이 문제에 대한 답은 의외로 간단하다. 어떤 다른 방법보다 학생이 선생을 직접 평가하도록 하는 것이 가장 효과가 높다.

   학생은 선생과 오랜 시간 함께하고 선생이 제공하는 교육을 직접적으로 받는 사람이므로 어느 외부 전문가보다 더 선생과 선생이 제공하는 교육에 대해 잘 알고 있다. 일반적으로 공부를 잘하는 학생이 공부를 못하는 학생보다 선생에 대한 평가가 더 공정하기는 하지만 둘 사이에 편차는 매우 적다. 부모의 사회경제적 수준이 다른 학생들 간에도 선생에 대한 평가는 일관되다. 심지어는 유치원 학생들 조차도 자신의 선생을 잘 평가할 수있다는 연구 결과가 나왔다.  

   반면 학생의 학업 성취도로 선생을 평가하는 것은 공정하지 않다. 왜냐하면 선생의 질보다는 부모의 사회경제적 수준에 따라 학생의 학업 성취도가 주로 결정되기 때문이다. 복잡한 방식으로 부모의 사회경제적인 수준 차를 통제하여  학생의 학업성취도에 따라 선생과 학교의 질을 평가하려고 하지만 이러한 방법은 공정성이 결여되어 반발을 낳는다. 우리나라에서 근래에 일제고사를 이용하여 학생의 성취도가 떨어지는 학교에 불이익을 주는 정책이 옳지 않다고 비판받는 것은 그 때문이다.

  학생들은 선생을 잘 알기 때문에 복잡한 질문을 하기보다는 단순하면서 직접적인 질문을 하는 것이 더 효과적이다. 연구에 따르면 다음의 다섯 개의 문항이 가장 효과적인 것으로 나타났다. 

 1. 이 수업을 듣는 학생은 선생님을 존경한다.

2. 우리 반 학생들은 선생님의 통제를 잘 따른다.

3. 우리 반 학생들은 수업 시간에 열심히 하며 시간을 낭비하지 않는다.

4. 이 수업에서 우리들은 거의 매일 많은 것을 배운다.

5. 이 수업에서 우리들은 우리의 실수를 바로잡는다.

  학생은 선생에 대해 잘 알고 있음을 나는 경험으로 잘 안다. 물론 선생은 학생의 평가를 별로 달가워하지 않는다. 자신이 한 일에 대해 평가받는 것을 좋아 할 사람이 어디 있겠는가? 그 평가가 자신이 받을 보상과 직접적으로 연관된다면 더더욱 평가를 기피할 것이다. 그러나 학생을 가르치는 것은 공적인 일이므로 공적인 절차에 따라 평가를 받는 것이 당연하다. 보상이 따르는 일에 대해 평가가 따르지 않는다는 것은 아무리 생각해도 이상하다. 평가가 없다면 무엇이 문제인지 알지 못하며, 개선을 위한 노력을 하기 어렵기때문이다. 학생의 평가가 오류투성이라면 모를까 진실을 잘 반영하고 있다면 이것을 거부해서는 안된다. 평가는 학생은 물론 선생의 발전을 위해서도 필요한 것이다. 

   내 경험에 따르면 학생들은 매우 냉정하며 공정하게 평가한다. 선생이 학생에게 관심을 덜 기울이거나, 수업의 내용이 부실하거나, 배우는 것이 많지 않은 수업은 학생들이 기피하며 낮게 평가한다. 학생의 이해도를 고려하지 않고 일방적으로 가르치면 반드시 낮은 평가를 받는다. 학생이 배우는 양과 수준과 속도에 관심을 기울이며 잘 이해시키려고 노력하는 선생을 학생들은 선호하고 높은 평가를 내린다. 점수를 잘 주는 선생의 강의에 많은 학생이 몰리지만 그러한 강의에 대해 반드시 후한 평가를 내리지는 않는다. 그러한 강의에 대해 불공정하다고 불만을 표하는 학생이 반드시 나온다. 우리나라의 학생들은 선생의 강의를 평가할 때 비교적 후한 점수를 준다. 5 만점으로 평가했을 때 웬만큼 괜찮다고 생각하면 평균 4 점 이상이다. 평균 3.5점 이하를 받으면 학생이 선생에게 경고의 메시지를 보내는 것이다. 한학기를 가르치고 나서 선생인 나 자신에게 불만족했던 강의는 거의 반드시 4.0 이하의 점수를 받았다. 학생들도 나와 동일하게 생각한 것이다.

   지금까지 선생이 학생의 평가를 받지 않았던 것은 우리사회의 권위주의적인 전통 때문이다. 사회적 권위가 합리성을 제약했다. 학생이 선생을 평가하는 것이 선생의 권위에 대한 침해라고 반발하지만, 열심히 잘 가르치는 선생에게는 학생이 존경하고 좋은 평가를 내린다. 학생은 선생의 인간성을 평가하는 것이 아니라 선생이 수업을 통해 학생에게 한 일을 평가하는 것이므로 인권 모독과는 상관이 없다. 학생들은 평가를 통해 선생이 잘못하고 있는 부분에 대해 개선하라고 신호를 보낸다. 교사 노조는 선생에 대한 학생의 평가를 강하게 반대하고 있지만 이는 설득력이 없는 이기적인 주장일 뿐이다. 대부분의 선생은 겉으로 드러내 말하지는 않지만 학생의 평가가 대체로 공정하고 객관적이라는 사실을 알고 있다. 일부 학생들이 엉터리로 평가하지만 학생 전체에 대해 평균을 내면 일부의 왜곡된 평가는 결과에 큰 영향을 미치지 못한다.    

  학생이 선생을 평가하는 제도가 효과적으로 시행된다면, 전혀 준비하지 않고 수업에 임하는 선생이나, 학생의 학업 성취에 전혀 관심을 기울이지 않는 선생은 학교에서 살아남을 수 없다. 나의 학창 시절을 돌아보면 그런 무책임한 선생을 여러 명 떠올릴 수 있다. 그런 수업을 매일 들으면서 느꼈던 좌절과 분노를 기억한다. 나는 그런 선생을 전혀 존경하지 않았으며, 어린 나이에도 그들을, 그리고 그런 수업을 억지로 들어야 하는 나를 불쌍하게 느꼈다. 그런 선생은 자신이 잘 가르치고 있지 못하다는 것을 자신도 잘 알기에 학생의 학업 성취에 관심을 기울이지 않는다. 

   학생이 선생을 평가하는 것이 지난 수십 년간 이루어진 어떤 교육개혁보다 더 혁명적이고 의미 있는 것이라는 지적은 결코 과장이 아니다.