[DEBUG-WINDOW 처리영역 보기]
BRIC을 시작페이지로 회원가입    로그인
BRIC동향
   
통합검색
배너1 배너2 스폰서배너광고 안내
오늘의 BRIC정보
모바일 BRIC RSS
트위터 페이스북
검색 뉴스레터 안내
좋은 연구문화 만들기
Bio일정
Bio일정
 
Bio일정 프리미엄(유료) 등록이란?
세미나 VOD
실험
실험
바이오 형광사진
실험의 달인들
Bio마켓
Bio마켓
BioJob
BioJob
Biojob 프리미엄(유료) 등록이란?
커뮤니티
커뮤니티
전체메뉴
대메뉴안내: 동향
뉴스 Bio통신원 Bio통계 BRIC View BRIC이만난사람들 웹진
목록
조회 52389  인쇄하기 주소복사 트위터 공유 페이스북 공유 
바이오통신원   
[바이오토픽] 미국 통계학회, P값의 오용(誤用)을 경고하는 성명서 발표
종합 양병찬 (2016-03-09 09:19)

미국 통계학회(ASA)는 「통계적 유의성과 P값에 대한 성명서」를 통해, “확실성을 추구하다가 발을 헛딛는 우(愚)를 범하지 말라”고 권고했다.

어떤 가설이 참일 때 하나의 결과를 관찰할 확률'은 '어떤 결과가 관찰되었을 때 하나의 가설이 참일 확률'과 다르다.

※ 중요: Pr(관찰|가설) ≠ Pr(가설|관찰)

'어떤 가설이 참일 때 하나의 결과를 관찰할 확률'은 '어떤 결과가 관찰되었을 때 하나의 가설이 참일 확률'과 다르다.

P값(녹색 부분)이란 ‘영가설이 참이라고 가정할 때, 관찰된(또는 그보다 더 극단적인) 결과가 일어날 확률’을 말한다.

P값을 판단척도로 사용하면, 조건을 뒤바꾼 오류(transposed conditional fallacy)라는 지독한 논리적 잘못을 범하게 된다. / © Wikipedia


미국 통계학회(ASA: American Statistical Association)는 3월 7일 발표한 성명서에서(참고 1), 다음과 같이 경고했다. "P값(P value)은 과학적 증거가 얼마나 강력한지를 판단하는 데 흔히 사용되는 척도다. 그런데 P값은 가설이 참이거나, 결과가 중요한지 여부를 결정할 수 없다. 따라서 P값을 오용(誤用)하면, 재현되지 않는 연구결과가 증가하는 데 기여하게 된다(참고 2)." ASA가 P값 사용에 관한 가이드라인을 발표하는 특단의 조치를 취한 것은 매우 이례적이다.

"177년의 역사를 가진 ASA가 통계학의 기본적 문제에 관해 명확한 권고사항을 발표한 것은 이번이 처음이다. ASA의 회원들 중에서 'P값이 잘못 적용됨으로써, 통계학에 대한 전반적인 의구심이 조장되고 있다'고 우려하는 사람들이 점점 더 증가해 왔다"라고 ASA의 론 바서스타인 회장은 말했다.

ASA는 이번 성명서에서, "연구자들이여, P값 하나만을 근거로 과학적 결론을 내리거나 정책을 결정하지 말라"고 권고했다. ASA의 권고는 다음과 같이 계속된다. "연구자들은 통계적으로 유의한 결과를 도출하는 데이터분석에만 치중하지 말고, 계산을 통해 이루어지는 모든 통계적 검증과 선택까지도 서술해야 한다. 그러지 않으면 연구결과가 탄탄하다는 착시를 일으킬 수 있다."

PLos(Public Library of Science)의 편집장 베로니크 키어머는 ASA의 이번 성명서를 "'연구자들이 P값에 부당하게 의존하고 있다'는 오랜 우려에 가시적으로 힘을 실어줬다"고 평가하면서, "이번 성명서의 의의는, ‘다른 분야의 문헌에 나타나는 통계적 문제점을, 전문적인 통계학자들이 나서서 지적했다’는 데 있다. 이것은 매우 중요한 의미를 갖는다"고 덧붙였다.

1. P값의 증거능력은?

P값은 영가설(null hypothesis)을 검증하고 기각하는 데 흔히 사용되는데, 영가설은 일반적으로 '두 그룹 간에 차이가 없다'거나 '한 쌍의 특징 사이에 상관관계가 없다'고 진술한다. 영가설이 참이라는 전제 하에, P값이 작으면 작을수록 관찰된 값이 우연히 생겨날 가능성이 더 낮다. 일반적으로 P값이 0.05보다 작으면, 하나의 발견이 통계적으로 유의함을 의미하는 것으로 받아들여진다.

그러나 ASA의 성명서에 의하면, 이상과 같은 관행이 꼭 올바른 것은 아니라고 한다(참고 3). P값이 0.05보다 작다(P < 0.05)는 것은 '주어진 가설이 참일 확률은 95%이다'라는 것을 의미하지 않는다. 그것이 의미하는 것은 다음과 같다: "영가설이 참이고 다른 모든 가정들이 타당하다면, 관찰된 결과 이상으로 극단적인 결과를 얻을 확률은 5%이다." 그리고 P값은 어떤 발견이 중요함을 의미하지도 않는다. 예컨대, 하나의 약물이 환자의 혈당수준에 확률적으로 유의한 효과를 미친다 하더라도, 치료효과가 없을 수 있다.

다나파버 암연구소의 조바니 파르미자니 박사(생물통계학)에 의하면, 교과서와 실무매뉴얼을 읽다 보면, P값이 제공하는 정보를 종종 오해하고 있음을 발견하게 된다고 한다. "만시지탄의 감이 있다. 만약 ASA의 성명서가 20년 전에 발표되었다면, 생명공학 연구가 훨씬 더 발전했을 것이다"라고 그는 말했다.

2. ASA 성명서의 파장

사실 P값에 대한 비판이 낯설지는 않다(참고 4). 2011년에는 P값을 동원해 통계적 유의성을 강조한 연구결과가 비판을 받았다. 연구의 내용은 '비틀즈 음악을 들으면 대학생들이 젊어진다'는 것이었다(참고 5). 더욱 논란이 된 것은 2015년, 한 다큐멘터리 영화제작자들이 (일부러 조잡하게 설계한) 임상시험결과를 이용하여 "초콜릿을 먹으면 체중감소에 도움이 된다"는 결론을 도출한 것이다. 물론, 이 논문은 나중에 기각되었지만 말이다(참고 6).

그러나 이번에 발표된 ASA의 성명서는 과거 어느 때보다도 학계에 미치는 파장이 클 것으로 기대된다. UC 데이비스의 심리학자이자 《Social Psychological and Personality Science》의 편집장인 사이민 바지르 박사는 이렇게 말했다. "'다른 정보 없이 P값을 함부로 해석하면 안 된다'는 통계학자들의 말이 연구자들에게 먹히려면, 먼저 연구자들로 하여금 P값에 대한 회의를 품게 해야 한다. ASA의 이번 성명서를 계기로 하여, 연구자들은 P값 말고도 다양한 통계분석 방법을 사용하게 될 것이다."

그러나 메모리얼 슬론 케터링 암센터의 앤드루 비커스 박사(생물통계학)에 의하면, 좀 더 과격한 방법은 역효과를 나을 수 있다고 한다. 예컨대 한 저널에서는, 'P값을 포함한 논문출판을 거부한다'고 발표한 적이 있다(참고 7). 그는 'P값은 옳지 않으니 사용하지 말라'는 건 '자동차 사고의 위험을 없애기 위해, 운전을 하지 말라'는 것이나 마찬가지라고 하며, 그처럼 과격한 조치는 연구자들에게 무시받을 거라고 지적했다. 그래서 그는 연구자들에게 '통계를 레시피로 취급하지 말고, 하나의 과학으로 취급하라'고 가르쳐야 한다고 말했다.

그러나 우려의 목소리는 여전하다. "P값을 좀 더 잘 이해한다고 해서, 사람들이 통계학을 이용하여 불가능한 수준의 신뢰감을 얻으려는 충동에서 벗어나지는 않을 것이다"라고 콜럼비아 대학교의 앤드루 겔먼 박사(통계학)는 경고했다. "사람들은 실제로 얻을 수 없는 것을 원하는 경향이 있다. 그것은 바로 확실성이다"라고 그는 덧붙였다.

【참고】 미국통계학회의 6대원칙

마침내 미국통계학회가 「통계적 유의성과 P값에 대한 성명서」을 발표하고 ‘P-값의 적절한 사용과 해석에 관한 6대 원칙’을 공개했다.

1. P-값은 '데이터가 특정 통계 모형과 얼마나 상반되는지'를 나타낼 수 있다.
2. P-값은 '연구 가설이 참일 확률'이나, '데이터가 무작위적인 우연만으로 생성된 확률'의 척도가 아니다.
3. 과학적 결론이나 사업이나 정책적 결정이 'P-값이 특정 문턱값을 넘어서는지'에 의해서만 내려져서는 안 된다.
4. 적절한 추론을 위해 충분한 보고와 투명성이 필요하다.
5. P-값이나 통계적 유의성은 '효과의 크기'나 '결과의 중요성'의 척도가 아니다.
6. P-값 그 자체만으로는 어떤 모형이나 가설에 관한 증거를 판단하는 좋은 척도가 될 수 없다.
※ 출처: http://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf
(https://www.facebook.com/seungsik.hwang/posts/1136662786367450에서 재인용)


※ 참고문헌
1. Wasserstein, R. L. & Lazar, N. A. advance online publication The American Statistician (2016); http://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf
2. http://www.nature.com/news/reproducibility-1.17552
3. http://www.nature.com/news/how-scientists-fool-themselves-and-how-they-can-stop-1.18517
4. http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412
5. Simmons, J. P., Nelson, L. D. & Simonsohn, U. Psychol. Sci. 22, 1359–1366 (2011).
6. http://imed.pub/ojs/index.php/iam/article/view/1087
7. http://www.nature.com/news/psychology-journal-bans-p-values-1.17001

※ 출처: Nature 531, 151 (10 March 2016) doi:10.1038/nature.2016.19503 http://www.nature.com/news/statisticians-issue-warning-over-misuse-of-p-values-1.19503

 

  추천 5
  
  인쇄하기 주소복사 트위터 공유 페이스북 공유 
  
양병찬 (약사, 번역가)
서울대학교 경영학과와 동대학원을 졸업하고, 은행, 증권사, 대기업 기획조정실 등에서 일하다가, 진로를 바꿔 중앙대학교 약학대학을 졸업하고 약사면허를 취득한 이색경력의 소유자다. 현재 서울 구로구에서 거주하며 낮에는 약사로, 밤에는 전문 번역가와 과학 리포터로 활발하게 활동하...
다른 연재기사 보기 전체보기 >
[바이오토픽] 인간 불평등 기원론: ‘부(富)의 불평등’의 뿌리를 찾아서
4개 대륙에 걸쳐 64군데의 고고학 유적지를 연구한 결과, 농업과 정치체제의 발달이 경제적 불평등을 야기했으며, 특히 유라시아는 북아메리카보다 더 심했던 것으로 나타났다. Cattle and other liv...
[바이오토픽] 동물실험의 미스터리: 남자만 되고 여자는 안 된다?
"유명한 클럽약물인 케타민(ketamine)을 이용한 동물실험의 경우, 실험을 수행하는 연구자의 성에 따라 결과가 왜곡될 수 있다는 연구결과"가 발표되었다. 단도직입적으로 말해서, 남성 연구자가 약물...
[바이오토픽] 살아있는 인간의 유전자 최초 편집. 그 내용과 전망
AP 통신은 11월 15일 "연구자들이 한 환자의 심각한 유전질환을 치료할 요량으로, 사상 최초로 그의 혈액에 유전자편집 도구를 주입하는 임상시험을 실시했다"고 보도했다. 그 환자는 브라이언 마두라...
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다. [기사 오류 신고하기]
 
  댓글 0
등록
싸토리우스코리아
5년전 오늘뉴스
[푸른마음의 들꽃 이야기]90. 살아 있는 화석식물(은행나무) 암꽃 엿보기
유방암 세포의 자살을 유도하는 최적의 약물조합 발견
교과부, 제6회 연구실 안전환경 워크숍 개최
이전페이지로 돌아가기 맨위로 가기
 

BRIC 홈    BRIC 소개    회원    검색    문의/FAQ    광고    후원
Copyright © BRIC. All rights reserved. Contact member@ibric.org

 
에펜도르프코리아