p를 버려야 산다: 현대 생물학과 바이오 산업을 옥죄는 p < 0.05라는 환상

과학 기술의 발전은 '거인의 어깨 위에 서서' 이루어진다고들 한다. 앞선 연구자들이 쌓아 올린 견고한 지식의 토대 위에 새로운 가설을 얹고, 이를 통해 인류는 생명의 미궁을 하나씩 풀어왔다. 하지만 오늘날 현대 생물학과 신약 개발 현장에서는 이 토대 자체가 흔들리고 있다는 충격적인 고백이 잇따르고 있다.

이전 글에도 썼지만, 글로벌 제약사 암젠(Amgen)이 최고 권위 학술지의 랜드마크 암 연구 53건을 검증했을 때 동일한 결과를 재현해 낸 것은 단 11%에 불과했다. 바이엘(Bayer) 역시 기초 학술 논문의 60~70%가 후속 검증 단계에서 결과가 일치하지 않는다는 사실을 확인했다. 학술지 발표 조건과 제약사의 엄격한 R&D 검증 조건 사이의 차이를 감안하더라도, p < 0.05라는 통계적 성찰을 거쳐 게재된 수많은 기전과 타깃들이 상위 검증 단계나 임상 현장에서 허무하게 무너져 내리는 현실은 p값 중심 평가 방식의 취약성을 여실히 보여준다.

연구자조차 착각하는 p값의 치명적 착시

가장 근본적인 비극은 p값에 목숨을 거는 연구자들 대부분이 정작 p의 실제 의미를 정확히 알지 못한 채 사용하고 있다는 점이다.

실제로 수많은 연구자들이 p < 0.05가 나오면 "내 가설이 참일 확률이 95% 이상"이라거나 "이 효과가 우연일 확률이 5% 미만"이라고 오해한다. 그러나 p값은 "귀무가설(효과가 없다)이 참이라는 전제하에, 현재 관찰된 데이터와 같거나 더 극단적인 결과가 우연히 나올 확률"일 뿐이다. 즉, p값은 데이터와 귀무가설 사이의 불화 정도를 나타낼 뿐, 내 가설이 맞을 확률(사후 확률)을 직접 말해주는 수치가 절대 아니다.

이 조건부 확률의 착시를 '위양성률(False Positive Rate) 5%인 희귀병 진단 키트'로 비유해 보자.

• 귀무가설(H0): "이 사람은 정상(건강)이다." (효과 없음)

• 관찰 데이터: "진단 키트에서 양성 반응이 나왔다."

• 연구자의 주장(H1): "이 키트에서 양성이 나온 사람은 진짜 병에 걸린 환자다." (효과 있음)

건강한 사람(H0)을 검사했을 때 키트의 위양성 오진으로 양성이 나올 확률이 5%(p = 0.05)라고 하자. 만약 인구 1,000명 중 진짜 환자가 단 1명뿐인 동네에서 전체 검사를 진행하면 어떻게 될까? (단, 키트는 진짜 환자 1명을 100% 잡아낸다고 가정한다.)

정상인(H0) 999명 중 5%인 약 50명이 억울하게 "양성" 판정을 받는다. 결국 키트에 양성이 떠서 격리된 총 51명 중 연구자의 주장(H1)대로 진짜 병에 걸린 환자는 단 1명(약 2%)뿐이다. 양성이 나왔다고 해서 내 주장이 참일 확률이 95%가 되기는커녕, 격리된 사람의 98%는 여전히 '건강한 상태(귀무가설 참)'인 셈이다.

p < 0.05를 얻었다고 해서 내 가설이나 주장이 참일 확률이 95%가 되지 않는 이유가 여기에 있다. 조건부 확률의 기준을 착각하는 순간, 98%의 가짜 신호를 진짜 효과로 착각하게 된다.

연구자들 역시 p값에 무언가 근본적인 문제가 있다는 것 정도는 어렴풋이 느끼고 있다. 단지 p = 0.049는 '발견'이 되고 p = 0.051은 '실패'가 되는 억지스러운 흑백 논리, 표본 수를 조금 바꾸면 p값이 요동치는 현상을 경험하며 자괴감을 느낀다. 그럼에도 불합격과 합격을 가르는 학계의 문턱 때문에 p < 0.05라는 '마법의 숫자'에 타협해 온 것이다.

'가짜 신호의 누적'과 학계의 신뢰 상실

문제는 수만 가지 가능성 중 단 하나의 진짜를 찾아내는 탐색적 생물학 단계에서는, 단일 실험으로 얻은 p < 0.05 결과 중 진짜 신호일 확률이 생각보다 훨씬 낮다는 점이다.

더 치명적인 것은 단일 실험에서 얻은 p < 0.05라는 취약한 가짜 신호를 바탕으로 다음 단계 질환 모델 검증(p < 0.05), 그 다음 단계 표현형 중개 연구(p < 0.05)를 탑처럼 쌓아 올린다는 점이다. 단 한 단계라도 가짜 신호였다면 전체 논리 사슬은 무너진다. 연구가 진행될수록 전체 프로젝트가 실패할 위험은 폭발적으로 증가하며, 이것이 바로 수많은 기전들이 상위 검증 단계에서 무참히 무너지는 실체중의 하나다.

그 결과 바이오/제약 산업 현장에서는 이미 학계 Top-tier 저널의 논문조차 "재현되기 전까지는 믿지 못할 아이디어 수준"으로 격하해서 바라본다. 학계 논문의 거품을 걷어내고 '가짜 신호'를 필터링하는 데 수백억 원의 R&D 예산과 세금이 허비되고 있으며, 학계 스스로의 신뢰와 권위는 바닥으로 떨어졌다.

어떻게 살아남을 것인가: 수집이 아닌 '통합적 효과 크기'로의 전환

관련해서 연구자들이 노력을 해오지 않은 것은 아니다. 사실 지금도 현장의 연구자들은 RNAi knockdown, function inhibition, 동물 모델 등 다양한 교차 검증을 수행하고 있다. 하지만 여전히 해결되지 않는 근본적 이유는 그 각각의 직교적 검증마저도 ‘각 실험의 p < 0.05’라는 파편화된 면죄부를 모으는 방식으로 소비되고 있기 때문이다.

In vitro에서 p < 0.05, 약물에서 p < 0.05, In vivo에서 p < 0.05를 각각 얻어 나열했다고 해서 가짜 신호가 사라지는 것은 아니다. 위양성률 5%짜리 서로 다른 진단 키트 3개를 가져와 각각 양성이 나왔다고 우기는 격으로, 취약한 p값 기준을 세 번 반복했다고 해서 가짜 신호가 진짜 생물학적 사실로 변하진 않는다.

결국 직교적 검증이 제 기능을 하려면, p값이라는 단판 승부형 합격선(Cut-off)을 모으는 관행부터 깨뜨려야 한다.

첫째, 유의성 여부(p < 0.05)라는 이분법적 통과 기준에 몰두하는 대신 '효과 크기(Effect Size)와 용량 의존성(Dose-dependency)' 중심의 평가로 전환해야 한다. 단순히 통계적 유의미함을 넘어, 타깃을 조절했을 때 생물학적으로 의미 있는 수준의 변화량(Fold Change)이 일관되게 나타나는지, 용량과 반응의 비례 관계가 성립하는지 등 실제 효과의 실체와 강도를 독립된 핵심 지표로 바라봐야 한다.

둘째, '통합적 데이터 일관성' 평가다. 단일 실험의 p값 유무에 합불을 매기지 않고, 서로 다른 분자/생물학적 층위(In vitro - In vivo - AI modeling 등)에서 관찰된 결과들이 단일한 논리적 방향성을 정렬시키는가를 종합적으로 평가하는 체계가 필요하다.

p값의 오용과 행정적 편의주의에 의존해 논문 건수를 늘리던 시대는 끝났다. "피 (p) 를 버려야 산다." 각각의 실험에 p < 0.05 도장을 찍어 나열하는 '합격품 수집'에서 벗어나, 효과의 실체와 논리적 일관성을 평가하는 엄밀함을 갖추어야 거인의 어깨 위에서 진짜 진실과 혁신적 신약을 발굴해 낼 것이다.