[DEBUG-WINDOW 처리영역 보기]
즐겨찾기  |  뉴스레터  |  오늘의 정보  |  e브릭몰e브릭몰 회원가입   로그인
BRIC홈 동향
설문조사
스폰서배너광고 안내  배너1 배너2
전체보기 Bio통신원 Bio통계 BRIC View BRIC이만난사람들 웹진(BioWave)
조회 2198  인쇄하기 주소복사 트위터 공유 페이스북 공유 
바이오통신원   
[과학협주곡 2-19] 과제 심사 및 선정 과정을 투명하게 공개하자
오피니언 조성환 (2018-11-12 11:00)

2017년 5월, Komanduri 교수의 Twitter에 흥미로운 포스팅이 올라왔다. University of Pennsylvania의  Carl June 교수가 CAR-T (Chimeric antigen receptor-T) 세포 연구를 주제로 NIH에 제출했던 첫번째 연구 신청서의 심사평 (reviewers’ critiques)을 공개한 것이었다. 세 명의 심사위원이 다양한 이유로 Carl June 교수의 CAR-T 연구 제안서에 대해 비판을 가했고, 결국 ‘CAR-T 연구 관련 세계적인 권위자‘인 Carl June 교수의 첫번째 CAR-T 관련 제안서는 NIH에서 거절되었다. Carl June 교수와 같은 사람이 다른 분야도 아니고 CAR-T 관련 과제에서 탈락했다는 것도 놀라웠지만, 이 소셜미디어를 본 많은 한국 분들은 NIH가 심사평이 담긴 보고서를 지원자에게 보내준다는 사실과 이 심사보고서의 일부를 트위터에 올릴 수 있다는 사실에 놀라움을 금치 못했다.
 
Carl June 교수의 제안서를 심사한 심사위원들의 심사평을 한 번 살펴보자. 첫번째 심사위원은 Carl June  교수에게 연구 계획에 허점이 많으며 “혈액학자 (Hematologist)” 에게 조언을 받은 후 연구 계획을 다시 세울 것을 추천하였다. 두번째 심사위원은 Carl June 교수와 연구팀이 이제까지 쌓아온 훌륭한 연구 업적은 인정하지만, 이 연구 제안서에 제시한 계획대로라면 CAR-T 관련 주제에 집중하지 못하게 될 것이라 우려하였다. 환자의 면역세포를 이용하여 암세포를 공격하는 방법이 이전에도 연구된 적이 많았으나, ‘상용화에 성공한 적이 아직 없음’을 거절의 이유로 제시하기도 했다.  세번째 심사위원의 평은 어떠했을까? 그 역시 이 제안서에 대해, 흥미로운 개념이지만, 실험 데이터를 좀 더 보강하여 다시 제출하라고 조언하고 있다.
 
CAR-T 연구가 굉장히 활발하게 진행되고 있고 많은 제약사들이 앞다퉈 임상시험을 진행하고 있는 지금의 상황에 비추어보면, 저 당시 심사위원들이 전문성도 제대로 갖추지 못했던 것처럼 보일 수도 있다. “감히 천하의 Carl June 교수의 CAR-T 관련 연구 제안서를 저런 이유들로 거절하다니?  Carl June 교수에게 혈액학자를 만나 조언을 듣고 오라고 돌려보냈다고?” 라며 심사위원들의 무지함을 비웃는 사람들도 있을지 모르겠다.  하지만, Carl June 교수의 명성을 잠시 내려 놓고, 저 당시 CAR-T 관련 기술들이 지금처럼 무르익지 않았던 상황을 감안하며 위의 심사평을 다시 읽어보면 심사위원들의 평가가 아주 터무니 없는 것은 아니다. Carl June 교수의 제안서 전체를 읽어 보지 않아 섣불리 판단하기는 어렵지만, 프로젝트를 진행하는 과정에서 발생 가능한 위험 (risk)에 대해 제 삼 자인 심사위원으로서 마땅히 해야할 피드백을 준 것이라 본다.
 
완벽한 심사제도란 존재하지 않는다
Carl June 교수는 NIH의 심사위원들의 비전문성과 NIH의 Peer-Review 심사 제도를 공격하고 비난하기 위함이 아니라, “아무리 참신하고 혁신적인 아이디어라 할지라도 처음에는 해당 분야의 전문가들의 저항에 부딪히게 되고 숱한 거절을 경험하게 되는데, 그 때 지레 포기하지 말라“는 메시지를 전하고 싶어서 이 심사평을 트위터에 올렸다고 한다.
 
여기에 더해 나는 ‘심사평을 가감없이 문서로 공개’하는 NIH의 과제 평가 및 선정 방식에 주목하고 싶다. 아무리 Peer-Review를 통한 과제 심사 제도를 잘 정비해 놓았다 하더라도, 결국 ‘사람’이 하는 일이므로 완벽한 심사제도란 존재할 수 없다. 해당분야의 전문가들로 심사위원단을 구성하더라도, 그들 역시 ‘신’이 아닌 ‘인간’이므로 미래를 예측할 수는 없는 노릇이다. 박사과정을 해 본 사람들은 알 것이다. 같은 연구실에서도 세부 분야가 조금만 달라도 내 동료가 무엇을 연구하는지 깊은 수준에서 알기란 매우 어렵다.
 
그래서, 과제에서 탈락된 사람들은 심사결과에 동의하지 못하고, 나아가 심사 제도 자체에 불만을 표시하고, 나아가 그 공정성을 불신하기도 한다. 특히 한국에서 과제 선정과정과 평가방식을 놓고 이러한 불만이 매우 높은 것으로 보인다. 하지만, 위의 경우에서처럼 심사 후에 심사보고서를 지원자에게 공개하면 ‘심사 제도의 불완전함’은 드러날지 언정, 심사 과정에서의 ‘공정성 시비’는 불거지지 않을 것이다. 탈락자의 입장에서 결정이 불공정하다고 느껴질 수는 있지만, 그 결정이 내려진 과정이 ‘투명하게’ 공개된다면 최소한 ‘짜고 치는 고스톱’이라는 오명은 뒤집어 쓰지 않아도 될 것이고,  Peer-Review 방식의 심사를 유지하고 개선하기 위한 구성원들의 동의와 신뢰는 얻을 수 있다.  반대로, 심사 과정의 공정성에 의심을 품는 사람들이 많아져서 신뢰가 깨지는 순간, 수십 조원에 이르는 미국 정부의 R&D 예산은 ‘눈 먼 돈’으로 전락하게 된다.
 
탈락된 제안서의 심사평을 한 줄 한 줄 읽어 내려가는 것은 분명 기분 좋은 일은 아니다. 나 역시 탈락한 SBIR 과제의 심사평을 읽을 때 심사위원의 평가에 전문성이 결여되었다고 느낄  때도 있었지만, 다시 찬찬히 다시 읽어보면 내가 제출했던 제안서에서 무엇이 문제이며, 이것을 어떻게 개선해야 할지 생각해 볼 수 있었다. 결과적으로 탈락된 과제들의 심사평이 우리 회사에 도움이 되는 적이 더 많았다. 완벽한 심사 제도란 존재하지 않듯이, 결점이 없는 완벽한 제안서 또한 존재하지 않는 것 아니겠는가. 과제 제출-심사 및 피드백-문제점 개선의 과정을 거치며 제안서의 질이 향상되는 것은 물론, ‘심사 제도’ 자체도 조금씩 보완되고 있는 것이 아닐까?
 
결국 사람이 하는 일이므로 심사 제도는 불완전할 수 밖에 없음을 인정하되, 과정을 투명하게 공개하는 것으로 공정성을 확보하는 것이 좋은 방법이 될 수 있다.  만일, 심사 과정 (누가 심사위원 명단 등)과 심사평 (선정의 이유, 탈락의 이유)을 투명하게 공개하지 않는다면, 심사 제도에 어떠한 변형을 가한다 한들 (e.g. 암맹 평가제도 등등) 심사 제도에 대한 공정성은 끊임없이 의심받을 수 밖에 없고 “짜고 치는 고스톱”이라는 오명은 피할 길이 없을 것이다. 위에 인용한 Carl June 교수의 저 트위터에는 많은 댓글이 달렸는데 그 중 하나를 여기에 인용하며 글을 마치고자 한다.
 
“The critiques seem quite rational. Many times, a fresh look helps to improve one’s hypothesis”

 

https://twitter.com/drkomanduri/status/865644794088833025

조성환

조성환 / 미국 샌디에고의 스타트업 NanoCellect Biomedical의 CTO
"어쩌다 창업하게 된 엔지니어이며, 미국 샌디에고의 스타트업 NanoCellect Biomedical의 CTO 입니다. 생명과학과 IT를 결합한 제품들, 특히 인류의 삶의 질을 향상시키는데 기여할 수 있는 혁신적인 생명공학기술 및 메디컬 디바이스에 관심이많습니다."

  추천 4
  
인쇄하기 주소복사 트위터 공유 페이스북 공유 
  
김우재, 문성실, 안희경, 한빈, 변서현
과학협주곡 시즌 2는 시즌 1 보다 더 다양한 필자들의 한국과학계에 대한 생각을 다룹니다. 나이, 성별, 직위, 직업 모두를 초월한 다양한 분야에서 과학과 연결된 필자들의 이야기는, 한국 과학의 현실과 나아갈 방향을 보여줄 좋은 기록이 될 것입니다. 협주곡의...
다른 연재기사 보기 전체보기 >
[과학협주곡 2-44] 감옥에 갇힌 유전자
유전자가 어떤 형질과 연관이 있다는 얘기는 대체로 유전자 결정론으로 이어진다. 많은 언론사에서 다뤘던 '아이의 지능은 엄마가 결정한다'가 대표적인 사례다. 유전자가 형질을 완벽하게...
[과학협주곡 2-43] 과학자의 사회 참여: 협력의 네트워크 만들기
도서관에 가면 수많은 책들이 십진분류법에 따라 가지런히 분류되어 있다. 특정 분야에 대해 여러 책을 통해 알고 싶다면, 그 분야의 책장을 찾아가면 된다. 우리 사회에 존재하는 여러...
[과학협주곡 2-42] 과학고와 의대 (2)
이전에 썼던 <과학고와 의대>은 당사자가 아닌 제 3자에게 보내는 내용으로 예전부터 해왔던 주장들을 정리한 것이었다. 오랫동안 당사자에게는 무슨 얘기를 해야할까 고민을 하다 이제야...
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다. [기사 오류 신고하기]
 
  댓글 0
등록
Springer Nature
5년전 오늘뉴스
[초심자를 위한 생물학+정보학] 프롤로그 - 00
[바이오토픽] 표준 인간 게놈지도의 갭을 메워라: 플래티넘 게놈지도 탄생
췌도(랑게르한스섬) 노화 및 기능저하의 새로운 원인 규명...기초과학연구원 식물...
연구정보중앙센터
위로가기
동향 홈  |  동향FAQ  |  동향 문의 및 제안
 |  BRIC소개  |  이용안내  |  이용약관  |  개인정보처리방침  |  이메일무단수집거부
Copyright © BRIC. All rights reserved.  |  문의 member@ibric.org
트위터 트위터    페이스북 페이스북   유튜브 유튜브    RSS서비스 RSS
에펜도르프코리아