다양한 스토리를 담고 있는 연재를 만나보세요.
[과학협주곡 2-26] 제안서 심사의 법칙
Bio통신원(조성환)
‘슈퍼스타 K’ 같은 오디션 프로그램을 보면 음악에 재능이 있는 일반인들이 심사위원 앞에서 노래를 부른 후, 심사위원들의 심사평을 듣는다. 심사위원들은 그 분야에 인정받는 전문가 가수나 작곡가 등으로 구성되며, 방송을 통해 누가 어떤 기준으로 심사하는지는 심사평을 들으면 알 수 있다. 심사위원마다 각자의 선정 기준이 있다. 성량이 풍부한 것을 중시하는 심사위원도 있고, 노래할 때 ‘공기 반, 노래 반’ 섞여 있어야 후한 점수를 주는 심사위원도 있다.
정말 음악에 재능이 있어 프로 가수로 성장할 만한 재목이라면, ‘다음 라운드 진출/탈락’이라는 결과만 듣는 것보다는 ‘음색이 굉장히 매력적인데 반해, 호흡이 조금 딸리는 것 같다. 이 부분을 보완하면 크게 성공할 것으로 보인다’와 같은 구체적인 심사평이 큰 도움이 될 것이다. 반면, 안타깝게도 노래에 별로 재능이 없는 지원자는 다소 혹독한 평가를 받고 처음에는 낙심하겠지만, 길게 본다면 성공 가능성이 별로 없는 곳에서 오랜 기간 방황하지 않고 빨리 다른 진로를 찾는 것이 나을지도 모른다. 좋아하는 것을 한다고 반드시 잘 하고, 성공하는 것은 아니기 때문이다.
미국의 샤크 탱크 (Shark Tank)1와 같은 스타트업 오디션 프로그램도 이와 비슷하다. 연쇄 창업자나 투자자들로 구성된 심사위원마다 각자 다른 심사기준이 있고, 출연자의 비즈니스 아이디어에 대한 발표를 들은 후 자신의 피드백을 전달해준다. 이 방송을 보다 보면 기발한 아이디어들도 있지만, 투자에 문외한인 내가 봐도 헛웃음이 나오는 황당한 아이디어들도 많다. 하지만, 정말 말도 안되는 아이디어를 가져온 출연자는 진지하게 생각하고 출연을 결정했을 터이니 솔직한 피드백을 주어야 한다. 그것이 그 사람이 이 방송에 출연하기 위해 쏟은 시간과 노력에 대한 예의일 것이고, 참가자들은 전문가들의 솔직한 피드백을 검토해보고 다음 단계로 나아갈 수 있다.
미국의 실험실 기반 창업 지원 프로그램인 SBIR 에 지원한 스타트업의 지원서를 심사하는 과정도 이와 비슷하다. 미국 NIH의 SBIR 과제의 심사기준 (Review criteria)2은 SBIR 홈페이지에 아래와 같이 공지 되어있다.
1. Significance: 제안서가 얼마나 중요한 문제를 해결할 수 있는가?
2. Investigator: 연구 책임자 (PI, Principal Investigator)와 공동 연구 책임자 (co-PI)가 해당 연구과제를 수행할 능력이 갖추어져 있는가?
3. Innovation: 문제해결을 위해 제안한 기술이 얼마나 혁신적인가?
4. Approach: 문제를 해결하기 위한 전략은 잘 짜여져 있는가, 실험은 잘 계획되어 있는가, 잠재적인 위험요소에 대한 검토는 했는가?
5. Environment: 과제를 수행하기 위한 각종 장비, 연구 인프라는 잘 갖추어져 있는가?
심사의 공정성을 위한 가장 중요한 첫번째 단추가 바로 ‘공정한 심사를 수행할 수 있는 심사위원단 구성’ 이다. 필자는 과학 협주곡 2-19 에서 심사위원을 제대로 선정하는 것이 심사과정에서 최소한의 공정성을 확보하기 위한 첫번째 조건이라고 주장한 바 있다.3 그 다음으로 중요한 것이 SBIR 심사위원들의 피드백, 즉 심사 보고서를 모든 지원자들에게 반드시 전달하는 것이다. 과제 선정 여부와 관계 없이 말이다.
SBIR 제안서 하나를 작성하기 위해 스타트업 회사는 85%~90%의 탈락 위험을 감수하면서 상당한 시간과 노력을 들인다. 언제나 시간과 인력 부족에 시달리는 스타트업이 무려 50페이지 (Phase II는 그 이상)에 달하는 제안서를 제출했는데, 이를 심사한 후에 ‘선정' 혹은 ‘탈락' 결과만 통보하면, 제안서를 제출한 스타트업들이 들인 노력과 시간, 그들이 감수한 리스크가 모두 헛된 노력이 되고 만다. 선정이 안 되었다면 왜 탈락했는지에 대한 이유는 최소한 알려주어야만 자신의 제안서에서 미흡한 부분 혹은 잘못된 부분을 찾아 더 나은 다음 계획을 세울 수 있을 것이다.
심사위원의 심사평, 즉 피드백은 긍정적이건 부정적이건 회사가 다음 단계 계획을 세우고 중장기 전략을 세우는 데 도움이 된다. 운 좋게 선정이 되더라도 연구 계획이나 상용화 계획의 헛점을 지적해주고 보다 나은 대안을 제시하는 피드백을 받게 된다면 SBIR 과제를 받은 회사들이 과제를 수행하는 기간에 시행착오를 줄여 프로젝트를 성공적으로 마치는 데 도움이 될 것이다. 반대로 심사에서 탈락했다면, 어떤 부분이 부족했는가에 대한 피드백을 자세히 읽어보고 그 부분들을 보강하여 3개월 후에 다시 제출하여 두번째 기회를 도모할 수 있을 것이다.
예를 들어, NIH SBIR 심사 기준 항목 중 “Significance“ 항목에서 낮은 점수를 받았다면, 회사의 프로젝트 전략을 재검토해야 할 것이다. 전략을 수정해야 할 정도라면 아예 새로운 제안서를 제출하는 것이 나을 것이다. 하지만 그것이 아니라, 아이디어도 좋고 시장도 큰데, 제품을 만들어 판매하기까지 어떻게 테스트를 진행하겠다는 구체적인 방법 (Approach 항목)이 불분명하게 기술되었다거나, 제품 개발 (Product development)의 경험이 없는 대학원생 창업자들의 한계를 지적한 경우 (Principal Investigator 항목)등이라면, 약점으로 지적된 항목을 보완하여 다시 지원할 수도 있을 것이다. 예를 들자면, Product development 경험이 많은 엔지니어를 고용하거나 컨설턴트로 계약을 맺을 수도 있다. 필자의 회사도 이런 방법을 통해 창업팀의 약점을 보완하여 두번째 시도에서 좋은 결과를 얻었던 적이 종종 있다.
SBIR Phase I의 과제 선정률이 15% 정도이고 NIH R01 같은 경우 과제 선정률이 10% 이하일 정도로 경쟁이 심하다 보니, 과제에 선정되지 않은 90%의 회사들은 실망할 수 밖에 없다. 당연히 ‘왜’ 우리 회사의 제안서가 선정되지 않았는가에 대한 의문을 갖게 되는데, 별다른 피드백이 없이 ‘이번에는 경쟁이 심해서 어쩔 수 없었다’ 혹은 ‘프로그램의 방향과 맞지 않아 부득이 하게 선정할 수 없었다’라고만 연락이 오게 되면 심사위원의 전문성이나, 심사과정의 공정성을 의심하게 될 것이다. 이게 사실이건 아니건 이런 일들이 반복되기 시작하면 심사 시스템에 대한 불신으로 이어지게 되고 그 피해는 모두에게 돌아간다.
그리고, 과제 심사 후 피드백을 지원자와 공유하게 되면 SBIR 예산을 가장 효율적으로 집행해야하는 정부 입장에서도 도움이 되어 큰 틀에서 선순환 구조가 이루어지게 된다. 심사 과정의 공정성에 의심을 받게 되면 우수한 기술력을 갖춘 민간의 투자를 받을만한 능력이 되는 회사들은 시간과 노력을 들여 SBIR 과제를 신청하지 않을 것이다. 그렇게 되면 SBIR에 신청하는 제안서의 양이 줄어들고 수준도 점점 낮아지게 될 것이며, 고만 고만한 회사들 중에서 골라서 예산을 지원해주어야 하니, 예산 집행이 비효율적으로 흐를 가능성이 커진다. 하지만, 심사위원들의 솔직한 피드백을 심사 보고서 형식으로 지원자에게 전달해 줌으로써, 스타트업 회사가 잘못하고 있는 부분을 지적하고 개선방향을 제시해주면 스타트업은 그 피드백을 바탕으로 수정된 높은 수준의 제안서들을 다시 제출하게 될 것이고, 이렇게 되면 NIH SBIR 담당자들로서는 누구를 뽑아야 하나를 놓고 행복한 고민을 하게 될 것이다.
한국 정부 과제에 지원했던 경험
이와는 좀 반대되는 경험을 몇 년 전에 했었다. 미국 대학 연구실과 우리 회사 그리고 한국 연구자분들이 팀을 이루어 한국 과제에 신청했던 적이 있는데, 수행 과제 주제는 이미 정해져 있었고, 과제 제출 마감일이 3주 정도 밖에 남지 않은 시점에 과제가 공고된 것으로 기억한다. 제안서의 심사 결과가 언제쯤 나오는지는 공고되었으나, 누가 심사하는지에 대한 정보는 받지 못했다.
과제를 제출한 후에 잊고 지내다가 평가일이 지난 후 결과를 이메일로 문의를 했다. 결과는 ‘탈락’이었다. 아쉽기는 했지만, 한국 과제 역시 경쟁이 심할테니 이해 못할 바는 아니었다. SBIR도 Phase I은 10에 9은 탈락 통보를 받으니 탈락 통보는 이미 익숙한 경험이었다. 그런데, 탈락을 통보하는 방식이 사뭇 아쉬웠다. 왜 우리 과제가 탈락했는지에 대한 ‘피드백’이 전혀 없었기 때문이다. 한국 담당자에게 ‘탈락되어 좀 아쉽네요. 왜 탈락했는지 아시는지요? 피드백은 없었습니까?’ 라고 여쭈어보니 ‘I am very sorry to tell you that it did not make it.‘ 라는 한 줄 짜리 이메일 답장이 왔다. 우리 과제의 어느 부분이 미진했는지, 개선할 수 있는 부분은 없는지에 대한 전문가 그룹의 심사평을 받지 못하였고, 묻고 싶었던 질문들은 던져보지도 못하게 되었다. 심사위원의 전문성과 심사과정의 공정성에 대해 신뢰가 아직 부족한 한국의 과제 평가 시스템을 개선하고 싶다면 모든 과정을 최대한 투명하게 공개하고, 심사 결과 보고서를 지원자들에게 반드시 돌려주는 것부터 시작해야 할 것이다. 이 두가지가 없이는 어떤 방법을 써도 근본적인 해결책은 될 수 없다.
PS) NIH SBIR 홈페이지에서 다운로드 받을 수 있는 SBIR 심사 결과 보고서:
https://www.niaid.nih.gov/sites/default/files/R43-Brooks-Summary-Statement.pdf
※주석
1 https://abc.go.com/shows/shark-tank
2 http://grants.nih.gov/grants/peer_review_process.htm#scoring2
3 [과학협주곡 2-19] 과제 심사 및 선정 과정을 투명하게 공개하자
/myboard/read.php?Board=news&id=299429&BackLink=L215Ym9hcmQvbGlzdC5waHA/Qm9hcmQ9bmV3cyZQQVJBMz00MQ==
조성환 / 미국 샌디에고의 스타트업 NanoCellect Biomedical의 CTO |
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다.
[기사 오류 신고하기]