왜 생물학 교수는 헛소리를 가르치기 시작했나
2017년 봄, 미국 워싱턴 대학교의 진화생물학자 칼 버그스트롬(Carl T. Bergstrom) 교수는 도발적인 강의를 개설했습니다.
강의명은 "Calling Bullshit in the Age of Big Data", 우리말로 하면 빅데이터 시대의 헛소리 까발리기입니다.
이 강의는 수강 신청 시작 1분 만에 160석이 전부 마감될 정도로 반응이 좋았습니다.
유전학도, 진화학도 아닌 헛소리 탐지법을 왜 생물학 교수가 가르치기 시작했을까요?
그의 대답은 이렇습니다.
우리가 사는 시대는 단순히 숫자를 속이는 수준을 넘어섰습니다.
이제는 숫자를 이용해 논리 자체를 마비시키는 고도의 데이터 헛소리에 장악되었기 때문입니다.
칼 버그스트롬과, 제빈 웨스트가 함께 쓴 ≪똑똑하게 생존하기(Calling Bullshit)≫는 우리에게 묻습니다.
연구자들은 매일 SPSS, R, Prism 같은 통계 프로그램을 돌립니다.
당신이 돌린 통계는 진실의 요약입니까, 아니면 당신의 가설을 정당화하기 위한 주장의 장식입니까?
당신의 논문에도 헛소리가 들어있을 수 있다.
여기서 먼저 개념을 분리해야 합니다.
칼 버그스트롬은 거짓말과 헛소리를 본질적으로 다른 것으로 구분합니다.
거짓말쟁이는 진실이 무엇인지 압니다. 그리고 의도적으로 그것을 숨깁니다.
연구 윤리 측면에서 본다면 데이터 조작이 전형적인 거짓말에 해당합니다.
반면, 헛소리를 생산하는 사람은 진실 여부 자체에 관심이 없습니다.
오직 자신의 주장이 그럴듯하게 보이는 것에만 집중합니다.
이 차이가 왜 중요할까요?
거짓말은 진실을 아는 사람이 폭로할 수 있습니다.
하지만 헛소리는 생산자 자신조차 자신이 헛소리를 하고 있다는 사실을 모르는 경우가 많습니다.
그래서 전파 속도가 훨씬 빠르고, 반박하기가 훨씬 어렵습니다.
이탈리아 프로그래머 알베르토 브란돌리니가 주장한 헛소리 비대칭 원리가 이를 잘 설명해 줍니다.
헛소리를 만드는 데 드는 에너지는, 그것을 반박하는 데 드는 에너지보다 압도적으로 적다.
무책임하게 뱉어낸 데이터 한 줄, 과장된 해석 한 문장을 바로잡기 위해 동료 연구자들이 쏟아야 하는 검증의 시간은 수십 배에 달합니다. 그리고 칼 버그스트롬이 우리 연구자들에게 던지는 불편한 통찰은 바로 이것입니다.
헛소리를 가장 정교하게 생산하는 사람이 때로는 바로 전문가 자신이라는 것입니다.
통계는 객관적이라는 착각
연구자들이 통계에 속는 이유는 통계 기술이 부족해서가 아닙니다.
내가 낸 결과가 진실이기를 바라는 내 마음 때문에 속는 것입니다.
우리는 통계를 돌릴 때 스스로 가장 객관적 관찰자라고 느낍니다.
하지만 사실 그 순간, 내 가설을 증명하기 위한 가장 강력한 방어 기제가 됩니다.
숫자는 거짓말을 하지 않지만, 연구자는 자신이 고른 그 숫자에 속습니다.
이것이 바로 칼 버그스트롬이 경고하는 데이터 세탁의 본질입니다.
그리고 아무런 근거 없는 주장이거나 편향된 데이터일지라도,
그것이 복잡한 통계 수식과 난해한 알고리즘이라는 검은 상자(Black Box)를 한 번 통과하면
어느덧 깨끗하고 객관적인 과학적 수치로 둔갑합니다.
우리는 그 중간 과정을 완전히 이해하지 못하더라도
“컴퓨터가 분석했으니 맞겠지”, “최신 알고리즘이 분석했으니 신뢰할 수 있겠지” 라며 비판적 사고를 멈춰버립니다.
칼 버그스트롬은 바로 이 지점이 연구자가 가장 경계해야 할 순간이라고 말합니다.
최근 바이오 분야에서 급속도로 확산되고 있는 머신러닝 기반 분석은 이 문제를 한 차원 높입니다.
AI가 분석한 결과, “이 유전자 발현 패턴이 예후를 예측합니다”라는 결론 뒤에는 입력 값과 출력 값만 존재하고, 그 사이의 논리적 과정은 블랙박스 안에 봉인됩니다.
여기에 인공지능이라는 이름표가 붙는 순간, 마땅히 존재해야 할 의심과 질문은 사라집니다.
어쩌면 이것이 현대 과학이 마주한 가장 세련된 형태의 헛소리일 수 있습니다.
헛소리를 탐지하는 새니티 체크
그렇다면 넘쳐 나는 데이터와 헛소리 속에서 어떻게 나만의 지적인 중심을 지킬 수 있을까요?
칼 버그스트롬의 대답은 단순합니다.
헛소리를 탐지하는 가장 강력한 도구는 통계 역학이 아니라,
가장 원초적인 역량인 새니티 체크(Sanity Check)에 있다는 것입니다.
우리는 복잡한 수식을 반박하기 위해 더 난해한 공식을 가져와야 한다고 믿지만,
진짜 안목은 "이게 정말 상식적으로 말이 되는가?"라고 묻는 아주 원초적인 질문에서 시작됩니다.
실전에서 우리가 반드시 장착해야 할 네 가지 필터를 제안합니다.
- 1) 데이터의 의도를 먼저 읽으십시오.
수치는 결과이지만, 분석 설계는 의도입니다. - 가설을 지지하는 데이터는 포함시키고, 튀는 데이터는 이상치(outlier)라는 이름으로 제거하고 있지는 않습니까?
- 2화에서 다룬 카너먼의 시스템 1이 이미 결론을 내린 상태에서 데이터를 고문하고 있지는 않은지 자문해야 합니다.
- 2) 숫자의 권위 뒤에 숨은 분모를 확인하십시오.
퍼센트(%)는 실체를 가리기에 가장 좋은 도구입니다.
'이 치료법을 받은 환자의 83%가 호전됐습니다'라는 주장을 보면 먼저 물어야 합니다.
전체 N이 몇 명인가? , 이렇게 절댓값의 규모를 확인하는 것은 기초적이지만 가장 강력한 방어선입니다.
- 3) 비교 대상을 확인하십시오.
어떤 수치든 비교 기준이 없으면 의미가 없습니다.
예를 들어, “부작용 발생률이 15% 감소했습니다”라고 할 때, 무엇과 비교해서 15%인가?를 파악해야 합니다.
위약 대조군입니까, 기존 약물입니까, 아니면 단순히 이전 기간과의 비교입니까?
대조군이 어떻게 설정되느냐에 따라 같은 수치도 혁신적인 성과가 될 수도, 교묘한 헛소리가 될 수도 있습니다.
- 4) 인과관계와 상관관계를 분리하십시오.
연구자라면 누구나 상관관계가 곧 인과관계를 뜻하지 않는다는 것을 잘 압니다.
하지만 우리 뇌는 두 변수 사이의 매끄러운 연결성을 발견하는 순간, 너무나 쉽게 인과관계라는 마침표를 찍어버립니다.
칼 버그스트롬이 4장에서 가장 집중적으로 다루는 이 주제는 연구자들에게도 의외로 자주 무너집니다.
마치며
1화에서 우리는 사람을 읽는 법을 이야기했습니다.
상대의 의도를 파악하고, 관계 안에서 나를 포지셔닝하는 그라시안의 지혜였습니다.
2화에서는 나를 읽는 법을 이야기했습니다.
내가 이성적이라고 믿는 순간조차 시스템 1이 이미 결론을 내리고 있다는 카너먼의 경고였습니다.
3화에서는 데이터를 읽는 법을 이야기했습니다.
숫자가 건네는 달달한 유혹에 속지 않는 법, 알고리즘과 빅데이터가 내놓은 결과물 앞에서 비판적 사고의 끈을 놓지 않는 칼 버그스트롬의 리터러시였습니다.
우리가 쏟은 땀방울이 가짜 지식에 오염되지 않기를 바랍니다.
내가 돌린 통계에 내가 속지 않기를 바랍니다.
데이터를 가장 잘 다루는 사람이 아니라, 데이터의 이면을 가장 날카롭게 읽는 사람.
그것이 이 책이 그리는, 그리고 우리가 되어야 할 연구자의 모습입니다.