다양한 스토리를 담고 있는 연재를 만나보세요.
[과학협주곡 2-19] 과제 심사 및 선정 과정을 투명하게 공개하자
Bio통신원(조성환)
2017년 5월, Komanduri 교수의 Twitter에 흥미로운 포스팅이 올라왔다.ⅰ University of Pennsylvania의 Carl June 교수가 CAR-T (Chimeric antigen receptor-T) 세포 연구를 주제로 NIH에 제출했던 첫번째 연구 신청서의 심사평 (reviewers’ critiques)을 공개한 것이었다. 세 명의 심사위원이 다양한 이유로 Carl June 교수의 CAR-T 연구 제안서에 대해 비판을 가했고, 결국 ‘CAR-T 연구 관련 세계적인 권위자‘인 Carl June 교수의 첫번째 CAR-T 관련 제안서는 NIH에서 거절되었다. Carl June 교수와 같은 사람이 다른 분야도 아니고 CAR-T 관련 과제에서 탈락했다는 것도 놀라웠지만, 이 소셜미디어를 본 많은 한국 분들은 NIH가 심사평이 담긴 보고서를 지원자에게 보내준다는 사실과 이 심사보고서의 일부를 트위터에 올릴 수 있다는 사실에 놀라움을 금치 못했다.
Carl June 교수의 제안서를 심사한 심사위원들의 심사평을 한 번 살펴보자. 첫번째 심사위원은 Carl June 교수에게 연구 계획에 허점이 많으며 “혈액학자 (Hematologist)” 에게 조언을 받은 후 연구 계획을 다시 세울 것을 추천하였다. 두번째 심사위원은 Carl June 교수와 연구팀이 이제까지 쌓아온 훌륭한 연구 업적은 인정하지만, 이 연구 제안서에 제시한 계획대로라면 CAR-T 관련 주제에 집중하지 못하게 될 것이라 우려하였다. 환자의 면역세포를 이용하여 암세포를 공격하는 방법이 이전에도 연구된 적이 많았으나, ‘상용화에 성공한 적이 아직 없음’을 거절의 이유로 제시하기도 했다. 세번째 심사위원의 평은 어떠했을까? 그 역시 이 제안서에 대해, 흥미로운 개념이지만, 실험 데이터를 좀 더 보강하여 다시 제출하라고 조언하고 있다.
CAR-T 연구가 굉장히 활발하게 진행되고 있고 많은 제약사들이 앞다퉈 임상시험을 진행하고 있는 지금의 상황에 비추어보면, 저 당시 심사위원들이 전문성도 제대로 갖추지 못했던 것처럼 보일 수도 있다. “감히 천하의 Carl June 교수의 CAR-T 관련 연구 제안서를 저런 이유들로 거절하다니? Carl June 교수에게 혈액학자를 만나 조언을 듣고 오라고 돌려보냈다고?” 라며 심사위원들의 무지함을 비웃는 사람들도 있을지 모르겠다. 하지만, Carl June 교수의 명성을 잠시 내려 놓고, 저 당시 CAR-T 관련 기술들이 지금처럼 무르익지 않았던 상황을 감안하며 위의 심사평을 다시 읽어보면 심사위원들의 평가가 아주 터무니 없는 것은 아니다. Carl June 교수의 제안서 전체를 읽어 보지 않아 섣불리 판단하기는 어렵지만, 프로젝트를 진행하는 과정에서 발생 가능한 위험 (risk)에 대해 제 삼 자인 심사위원으로서 마땅히 해야할 피드백을 준 것이라 본다.
완벽한 심사제도란 존재하지 않는다
Carl June 교수는 NIH의 심사위원들의 비전문성과 NIH의 Peer-Review 심사 제도를 공격하고 비난하기 위함이 아니라, “아무리 참신하고 혁신적인 아이디어라 할지라도 처음에는 해당 분야의 전문가들의 저항에 부딪히게 되고 숱한 거절을 경험하게 되는데, 그 때 지레 포기하지 말라“는 메시지를 전하고 싶어서 이 심사평을 트위터에 올렸다고 한다.
여기에 더해 나는 ‘심사평을 가감없이 문서로 공개’하는 NIH의 과제 평가 및 선정 방식에 주목하고 싶다. 아무리 Peer-Review를 통한 과제 심사 제도를 잘 정비해 놓았다 하더라도, 결국 ‘사람’이 하는 일이므로 완벽한 심사제도란 존재할 수 없다. 해당분야의 전문가들로 심사위원단을 구성하더라도, 그들 역시 ‘신’이 아닌 ‘인간’이므로 미래를 예측할 수는 없는 노릇이다. 박사과정을 해 본 사람들은 알 것이다. 같은 연구실에서도 세부 분야가 조금만 달라도 내 동료가 무엇을 연구하는지 깊은 수준에서 알기란 매우 어렵다.
그래서, 과제에서 탈락된 사람들은 심사결과에 동의하지 못하고, 나아가 심사 제도 자체에 불만을 표시하고, 나아가 그 공정성을 불신하기도 한다. 특히 한국에서 과제 선정과정과 평가방식을 놓고 이러한 불만이 매우 높은 것으로 보인다. 하지만, 위의 경우에서처럼 심사 후에 심사보고서를 지원자에게 공개하면 ‘심사 제도의 불완전함’은 드러날지 언정, 심사 과정에서의 ‘공정성 시비’는 불거지지 않을 것이다. 탈락자의 입장에서 결정이 불공정하다고 느껴질 수는 있지만, 그 결정이 내려진 과정이 ‘투명하게’ 공개된다면 최소한 ‘짜고 치는 고스톱’이라는 오명은 뒤집어 쓰지 않아도 될 것이고, Peer-Review 방식의 심사를 유지하고 개선하기 위한 구성원들의 동의와 신뢰는 얻을 수 있다. 반대로, 심사 과정의 공정성에 의심을 품는 사람들이 많아져서 신뢰가 깨지는 순간, 수십 조원에 이르는 미국 정부의 R&D 예산은 ‘눈 먼 돈’으로 전락하게 된다.
탈락된 제안서의 심사평을 한 줄 한 줄 읽어 내려가는 것은 분명 기분 좋은 일은 아니다. 나 역시 탈락한 SBIR 과제의 심사평을 읽을 때 심사위원의 평가에 전문성이 결여되었다고 느낄 때도 있었지만, 다시 찬찬히 다시 읽어보면 내가 제출했던 제안서에서 무엇이 문제이며, 이것을 어떻게 개선해야 할지 생각해 볼 수 있었다. 결과적으로 탈락된 과제들의 심사평이 우리 회사에 도움이 되는 적이 더 많았다. 완벽한 심사 제도란 존재하지 않듯이, 결점이 없는 완벽한 제안서 또한 존재하지 않는 것 아니겠는가. 과제 제출-심사 및 피드백-문제점 개선의 과정을 거치며 제안서의 질이 향상되는 것은 물론, ‘심사 제도’ 자체도 조금씩 보완되고 있는 것이 아닐까?
결국 사람이 하는 일이므로 심사 제도는 불완전할 수 밖에 없음을 인정하되, 과정을 투명하게 공개하는 것으로 공정성을 확보하는 것이 좋은 방법이 될 수 있다. 만일, 심사 과정 (누가 심사위원 명단 등)과 심사평 (선정의 이유, 탈락의 이유)을 투명하게 공개하지 않는다면, 심사 제도에 어떠한 변형을 가한다 한들 (e.g. 암맹 평가제도 등등) 심사 제도에 대한 공정성은 끊임없이 의심받을 수 밖에 없고 “짜고 치는 고스톱”이라는 오명은 피할 길이 없을 것이다. 위에 인용한 Carl June 교수의 저 트위터에는 많은 댓글이 달렸는데 그 중 하나를 여기에 인용하며 글을 마치고자 한다.
“The critiques seem quite rational. Many times, a fresh look helps to improve one’s hypothesis”
ⅰ https://twitter.com/drkomanduri/status/865644794088833025
조성환 / 미국 샌디에고의 스타트업 NanoCellect Biomedical의 CTO |
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다.
[기사 오류 신고하기]