[DEBUG-WINDOW 처리영역 보기]
즐겨찾기  |  뉴스레터  |  오늘의 정보 회원가입   로그인
BRIC홈 동향
식약처
배너광고안내
이전
다음
스폰서배너광고 안내  배너1 배너2 배너3 배너4
웹진 Vol.23, No.12 (2021년 12월) 발간
전체보기 뉴스 Bio통신원 Bio통계 BRIC이만난사람들 웹진(BioWave)
BRIC View
최신자료 동향리포트 학회참관기 리뷰논문요약 BRIC리포트 외부보고서
연구윤리 측면에서 연구재현성에 대한 논란과 대응
연구윤리 측면에서 연구재현성에 대한 논란과 대응 저자 김재호 (교수신문)
등록일 2021.11.02
자료번호 BRIC VIEW 2021-T35
조회 1147  인쇄하기 주소복사 트위터 공유 페이스북 공유 
요약문
현대과학은 표준화와 디지털화라는 두 개의 축으로 발전해왔다. 연구설계부터 과학저널의 논문출판은 대부분의 실험들이 따라야 할 연구단계이다. 특히 디지털화는 데이터 생성과 분석으로 연구결과를 수치화하는 데 기여하고 있다. 하지만 그 과정에서 데이터를 일부러 누락하거나 조작하는 등 의심스러운 연구관행과 연구부정은 끊이지 않고 있다.
연구재현성은 연구반복성을 포괄하며 양질의 연구를 위한 투명한 조건이다. 연구재현성은 실험·관찰연구에 의한 결과는 다른 연구자가 같은 방법으로 연구과정을 시도했을 때 측정 값과 측정 결과가 거의 같아야 함을 의미한다. 연구재현성은 연구진실성을 추구한다. 연구재현성을 좀 더 세부화하면 분석적, 직접적, 체계적, 개념적 연구재현성으로 나눌 수 있다. 연구재현성의 핵심 요소들로는 연구 목표, 연구설계의 특징, 연구 대상, 측정 수단, 측정 조건 등이 있다.
과학연구자들을 대상으로 한 연구재현성에 대한 설문조사에서 대다수는 위기가 있다고 답했다. 이 때문에 연구재현성을 위한 절차 마련에 노력하고 있으나 여전히 3분의 1 가량은 관련 방침을 갖추지 못하고 있다. 연구재현성 위기를 초래하는 원인은 논문출판 압박이 주 원인이다. 승진과 실적을 위해 논문출판에 유리하도록 데이터를 누락하거나 선별하는 경우가 있다. 또한 부족한 통계법과 분석 기술 및 연구자원, 불충분한 동료 검토와 교육 등도 원인이다.
네덜란드 과학 연구자에 대한 대대적인 실태조사 결과, 의심스러운 연구관행에 자주 참여했다는 답이 51%였다. 한편, 연구재현성이 부족한 논문은 언론이나 다른 연구자들로부터 더욱 주목을 받는 것으로 나타났다. 즉, 연구재현이 가능한 논문보다 불가능한 논문이 훨씬 더 자주 인용됐다.
연구재현성을 확보할 수 있는 대안으로 연구설계안을 사전 검토하거나 동료 연구에 대한 비판적 검토가 가능한 연구문화를 마련하자는 의견이 제시된다. 특히 통계법과 연구윤리 교육으로 논문출판 후 뿐만 아니라 사전에 연구재현성 확보를 위한 노력이 필요하다.
키워드: 연구재현성, 연구반복성, 연구윤리, 실험 설계안, 연구관행, 통계법, 데이터, 동료검토

목 차

1. 서론
2. 본론
  2.1 현대과학과 연구재현성 그리고 연구윤리
  2.2. 연구재현성과 연구반복성의 차이
  2.3. 연구재현성에 대한 과학자들의 설문조사 결과-1): 2016년 『네이처』 1,576명 대상
  2.4. 연구재현성에 대한 과학자들의 설문조사 결과-2): 2014년 미국 세포생물학회(ASCB) 868명 대상
  2.5. 네덜란드 과학자 연구윤리 실태조사
  2.6. 연구재현성 부족한 논문이 더욱 주목받는 이유
  2.7. 현대과학에서 연구재현성이 위기를 맞은 이유
  2.8. 코로나19와 연구재현성 그리고 연구윤리
  2.9. 연구재현성을 위한 가이드라인
3. 결론
4. 참고문헌 및 사이트


1. 서론

좋은 연구란 무엇일까? 더 많은 연구자들과 협업하고 소통하며 세상에 없던 새로운 연구결과를 내놓는 것일까? 다시 말해 전염병과 같은 인류 재난에 도움이 되는 새로운 백신이나 치료제를 개발하는 것일까? 아니면 이전 연구에서 결함을 극복하는 방법을 발견하는 것일까? 혹은 연구윤리 차원에서 아무런 문제가 없고 연구재현이 확실한 연구결과를 내놓는 것일까? 이 모든 걸 해내는 연구가 좋은 연구일까? 21세기 현대과학 연구에서 과연 좋은 연구와 연구결과는 무엇인지 계속 고민이 든다.

무엇보다 중요한 건 양질의 연구를 양산해야 한다는 점이다. 국민의 세금으로 이뤄지는 국가 차원의 연구는 그 어떤 연구보다도 투명하고, 타당해야 한다. 이를 위해선 정확하고 재현가능한 연구가 이뤄져야 한다. 아울러, 연구는 다른 실험실에서 다른 실험재료를 이용한다고 해도 반복가능하고 복제가 가능해야 한다. 그렇지 않은 경우 발생하는 과학의 배반을 우리는 너무나 잘 알고 있다.

연구의 질이란 유용성, 객관성, 진실성을 포함하는 용어다. 진실성이란 부적절한 연구 과정이나 조작 혹은 파괴로부터 연구가 보호됨을 뜻한다. 연구의 정확성은 측정 값과 측정 결과 사이가 얼마나 일치하는지 나타내는 정성적 차원의 용어다. 연구의 재현성은 달라진 측정 조건에서 연구가 수행되어도 동일한 측정 값에 대해 거의 같은 측정 결과가 나타남을 뜻한다. 연구반복성(repeatability)과 연구복제성(replicability)은 비슷한 의미로 쓰인다. 연구반복성은 어떤 연구가 동일한 측정 조건에서 수행되면 동일한 측정 값을 산출할 수 있도록 같은 측정 결과가 나와야 함을 뜻한다. 여러 번 연구를 수행해도 말이다. 미국 표준기술연구소은 양질의 연구가 갖춰야 할 속성을 아래 그림으로 제시한다 [1].


upload_image
그림 1. 양질의 연구를 위한 핵심 개념들(출처=참고 [1] 재가공)


2. 본론

2.1. 현대과학과 연구재현성 그리고 연구윤리

디지털과 데이터로 상징되는 현대과학은 연구설계 계획부터 연구결과 도출과 공표의 표준적인 단계를 거친다. 각 연구실마다 조금씩 다른 사정은 고려될 수 있지만, 다음 단계에서 보여주는 핵심 과정은 거의 동일하다고 해도 무방하다. 총 8단계로 압축되는 현대과학의 과정은 각 단계별로 연구재현성을 고려해볼 수 있다. 또한 다음 단계로 넘어가는 중간 과정에서도 연구재현성은 중요하다 [2].


upload_image
그림 2. 실험·관찰 연구의 주요 단계들
어떤 연구는 각 단계를 거치다가 이전 단계를 재검토하는 경우도 있다. 출처=참고 [2] 재가공


연구재현성은 “실험이나 관찰연구에 의한 결과는 다른 연구자가 같은 방법으로 연구과정을 시도했을 때 같은 결과가 나와야 한다”라고 정의된다. 그러나 현실은 암울하다. 현대과학은 점차 분과학문으로 발전해가면서 연구재현이 어려워지고 있다. 너무나도 복잡한 연구와 검증의 체계에서 이전의 연구를 반복한다는 건 비용과 인력 측면에서 부담이 크다. 또한 연구실적에 대한 압박 역시 연구재현성을 가로막는 장애물이다. 연구지원금이 투입된 공적 연구에 대해 무리한 실적을 요구함으로써 실험 연구결과에서 유리한 것들을 선택하는 문제 등이 발생하고 있다.


upload_image
그림 3. 디지털과 데이터 기반의 복잡한 현대과학과 연구재현성
현대과학이 점점 복잡해지면서 연구재현성 확보는 더욱 어려워지고 있다.
전문가들은 연구재현성 문제가 연구 부정·사기 바로 옆에 놓여 있다고 우려한다. 이미지=픽사베이 가공


특히 과학 출판논문이 얼마나 재현 가능한지에 대한 데이터는 거의 없다. 다만, 기존 연구에서 심리학은 40%, 암 생물학은 10%가 연구재현 가능한 것으로 분석된 바 있다 [3]. 암 생물학의 경우 이전 5년 동안 발표된 50개의 과학논문들 중 단지 8개만 연구재현 가능했다는 지적도 있다 [4].

현대과학은 디지털 기반의 데이터 분석틀과 기술로 수렴되고 있다. 누구나 원하면 데이터에 접근할 수 있어 연구윤리 차원에서 투명해지는 방향으로 가고 있다. 그럼에도 불구하고 일부 데이터가 조작되고 선별 및 누락되면서 연구윤리 위반이 자주 미디어에 등장한다.

전문가들은 오늘날 연구재현성의 문제는 연구부정과 사기 바로 옆에 놓여 있다고 지적한다. 특히 생명공학 산업 분야는 막강한 지식에 기반한 혁신을 시도하지만, 경쟁적인 전문가와 자주 연구재현성 문제에 맞닥뜨리고 있다 [5]. 2012년의 한 연구에 따르면, 철회된 논문 43%는 데이터를 조작한 사기 때문이었다. 하지만 논문이 철회되는 비율은 매우 적다. 2016년 <리트랙션와치>의 연구에 따르면, 매년 50만 건의 바이오의학 논문들이 출판되는데, 그 중 문제가 발각돼 철회되는 건 400건에 불과하다 [6].

물론 연구재현이 불가능하다고 해서 연구실패나 연구부정이 되는 건 아니다. 중력상수 같은 경우, 여전히 불확실하다. 국제 과학기술데이터위원회(CODATA)는 중력상수로 다음을 제시하지만 여전히 오차범위가 존재한다. G= (6.673 84 ± 0.000 0080) ×10−11 m3 kg−1 s−2 여전히 측정 중인 중력상수는 상수임에도 불구하고 고정불변이 아닐 수 있다. 그렇다면 측정과정에서 문제가 없는지 아니면 완전히 새로운 물리학을 도입해야 할지 모른다. 그래서 연구재현의 불가능은 과학적 과정의 한 단계로도 가정해볼 수 있다 [7].

반대로 연구부정은 연구재현이 불가능하다는 걸 뜻한다. 즉, 연구재현 불가능함은 연구부정에 대한 필요조건이지 충분조건은 아니다. 연구부정은 연구재현 불가능함에 충분조건이다. 따라서 연구재현성을 확보해 연구부정에서 벗어날 필요가 있다.

현대과학에서 가장 중요한 기준은 연구재현성이다. 이상적으로 연구결과는 다른 독립 연구자가 특정 연구의 방법과 자료를 사용해 재현할 수 있는 경우에만 주목, 출판, 인용의 가치가 있다. 그러나 대부분의 과학 논문은 연구결과가 전혀 재현되지 않고 있어 우려를 낳고 있다 [5].

최근 연구 관행은 기존의 출판된 증거나 결과에 의존한다. 기존 연구결과를 연구복제 해보려 해도, 논문 출판 관행과 문화에 의해 과학자로서 기존 것을 반복하는 게 아니라 새로운 것에 도전해야 한다는 위신으로 인해 쉽지 않다. 따라서 최첨단 연구에 관여하는 과학자의 경력 경로에서는 이전의 결과를 재현하는 문제에 대한 관심이 일반적으로 결여돼 있다 [5].

2.2. 연구재현성과 연구반복성의 차이

연구재현성(reproducibility)과 연구반복성(replicability)은 혼동되어 사용된다. 현재 과학자들조차 이 두 개념을 학문적으로 구분하지 않고 섞어서 사용한다. 하지만 이 둘은 엄연히 다른 개념이다.

연구재현성은 일반적으로 다음과 같이 정의된다. “동일한 입력 데이터, 계산 단계, 방법, 코드, 분석 조건을 사용해 일관된 계산 결과를 얻는 것이다” [8]. 이러한 정의는 컴퓨터 계산과학뿐만 아니라 디지털과 데이터 기반 과학연구가 주류인 요즘에도 적용된다. 연구반복성은 동일한 과학적 질문에 답하기 위해 반복하는 연구 전체에서 일관된 결과를 얻는 것이다. 반복되는 각 연구들은 자체 데이터를 갖는다. 연구반복성은 연구복제성으로도 번역되는데, 여기서는 연구반복성으로 표기한다.

그런데 연구재현성을 담보하지 않는다고 그 실험논문이 반드시 가짜인 건 아니다. 연구재현에 대한 기준, 조건 등 고려할 사항이 매우 많기 때문이다. ‘모든 조건이 동일하다면’을 뜻하는 ‘세테리스 파리부스(Ceteris Paribus)’는 얼핏 보아도 현대과학에서 적용하기 쉽지 않다는 걸 알 수 있다. 쥐 실험을 한다고 해도, 같은 실험쥐를 사용할 수 있는가, 실험쥐는 똑같은 환경에 놓여 있는가, 실험주체는 동일한 인물인가, 실험에 사용된 약물은 상태가 같은가 등등 질문은 끊임 없이 이어진다. 특히 어떤 분과 학문인지에 따라 연구재현성과 연구반복성을 달라질 수밖에 없다.

예를 들어, 생물학에서 진행하는 실험과 계산과학의 알고리즘은 질적으로 다르다. 따라서 동일 조건, 동일 결과는 연구재현성의 기준을 어떻게 설정하느냐에 따라 변동 가능한 것이다. 매우 단순한 분자생물학 실험이거나 기초 데이터 기반의 간단한 알고리즘 정도에서 연구재현과 연구반복을 기대할 수 있다. 물론 데이터를 날조하거나 일부러 선별 혹은 누락하는 경우는 연구윤리 차원에서 용납되지 않는다.

“동일 조건, 동일 결과는 가능한 것일까”

연구재현성은 아일랜드의 위대한 화학자이자 물리학자인 로버트 보일(1627∼1691)이 처음 강조했다. 그 이후 학문 전반으로 확장됐다. 보일은 실험방법의 과학철학적 견해를 제시한 선구자였다. 그는 지식의 기초는 실험적으로 생성된 사실에 의해 구성되어야 하며, 그 사실들에 대한 연구재현성으로 과학계에서 받아들여진다고 간주했다. 보일은 계속해서 같은 실험을 반복함으로써 사실에 대한 확실성이 나타날 것이라고 주장했다. [9, 10]


upload_image
그림 4. 17세기 보일의 공기펌프
보일은 진공을 연구하기 위해 이 장치를 만들었으나 너무 복잡하고 비용이 많이 드는 과학기구여서 연구결과를 재현하기는 어려웠다. 이미지=위키피디아


현재 연구재현성은 정말 똑같은 결과를 도출한다기보다는 연구결과의 진실성을 추구하는 차원에서 인식된다. 각 실험실에 놓인 조건들이 다를 수밖에 없음을 인정하는 것이다. 연구가 반복되길 바라기보다는 연구가 재현되도록 하는 셈이다. 마치 원곡자의 노래를 다른 가수가 불러서 듣는 이에게 비슷한 감정이 북받치도록 하는 것과 같다. 연구반복성은 단어가 의미하는 바대로 동일 연구결과를 동일 연구조건에서 산출한다는 걸 의미한다. 현대의 과학연구는 여러 과학자들이 장기간에 걸쳐 소통하며 다변화하고 복잡해진 실험조건을 거치기에 똑같이 반복하기 어렵다.

연구재현성과 연구반복성 둘 다 진실을 추구한다는 점에서 같다. 연구재현성이 연구반복성에 비해 좀 더 포괄적인 의미를 지닌다. 다시, 연구재현성을 포괄하는 건 연구윤리 차원에서의 연구진실성이다. 따라서 연구반복이 되면 연구재현도 된다. 연구재현이 되면 연구진설성이 확보된다. 하지만 연구진실성이 있다고 반드시 연구재현이 되는 건 아니다. 또한 연구재현이 된다고 해서 연구반복이 반드시 되는 건 아니다. 17세기 보일의 공기펌프에서 보이듯이 연구재현을 하지 않아도 공기와 진공은 진실로 알려진다. 모든 과학연구를 연구재현 해야만 그 연구결과가 진실로 받아들여지는 건 아니라고 할 수 있다. 단, 이론적으로나 실험적으로 꼭 연구재현으로 검증되어야 하는 과학연구는 양상이 다르다.


upload_image
그림 5. 연구반복성과 연구재현성 그리고 연구진실성의 관계도
연구가 반복되면 연구재현이 된다는 뜻이고 더 나아가 연구진실성까지 확보한다는 뜻이다.


한편, 연구재현성(참고문헌에선 ‘replication’으로 표기했으나 문맥은 연구재현성의 의미가 강하다.)은 접근 방식에 따라 4가지로 구분된다. 첫째, 분석적 연구재현성이다. 재분석을 통해 원 데이터가 도출하는 연구결과를 재현하는 시도이다. 둘째, 직접적 연구재현성이다. 원래 실험과 동일한 조건, 재료 및 방법을 사용해 동일한 결과를 재현하려는 시도다. 셋째, 체계적 연구재현성이다. 다른 세포주(cell line)나 실험쥐 종(mouse strain) 등처럼 다른 조건 아래에서 기 출판된 논문의 연구결과와 동일한 연구결과를 얻고자 한다. 넷째, 개념적 연구재현성이다. 다른 패러다임을 사용해 연구 관련 개념이나 결과의 유효성을 입증하려는 시도다. 예를 들어, 뇌의 지형적 연결 매핑(topographical connection mapping)은 유기체마다 다를 수 있다. 즉, 각각 다른 세포핵들과 분자들이 포함된다. 하지만 다른 세포핵들과 분자들이라고 하더라도, 세포와 분자의 역할이라는 측면에서 효과 작동요인들(effectors)과 그 효과는 여전히 같을 수 있다. 여러 유기체들에 걸쳐 효과 작동요인들과 그 효과에 대한 이해를 검증하는 게 개념적 연구재현성의 역할이다. 쉽게 말하면 육체는 다르지만 그 안에서 작동하는 메커니즘은 유사할 수 있는 것이다 [11].


표 1. 접근 방식에 따른 연구재현성 4가지 구분
upload_image


그렇다면 연구재현성을 위한 핵심 요소들은 무엇일까? 이에 대해 사회과학과 보건의료, 특히 임상 실험에서 개발해 적용하고 있는 'PICOTS'를 참고할 필요가 있다. P (Populations or patients)는 인구집단(혹은 환자들), I (Interventions)는 중재법, C (Comparators)는 비교가 가능한 대안적 중재법들이다. C는 위약 등 다양한 종류의 적극적인 중재법들이 포함된다. O (Outcomes)는 다양한 중재법들을 통해 기대되는 결과변수, T (Time frames)는 중재법 적용의 끝이나 나중에 측정결과를 추적 관찰하는 기간, S (Settings)는 임상 실험이 이뤄진 설정을 뜻한다. 이를 통해 다음과 같은 핵심 요소들을 도출할 수 있다 [12, 13].

과학적 탐구에서 연구재현성과 연관된 핵심 요소들 [12, 13]

• 연구의 주요한 목표는 무엇인가?
• 임상 실험이나 연구설계의 주된 특징들은 무엇인가?
• 이 연구를 관심 있어 하는 집단이나 대상은 누구 혹은 무엇인가?
• 측정 수단들은 누구 혹은 무엇을 위해 만들어졌나?
• 연구를 위한 측정 혹은 데이터 수집 작업은 무엇인가?
• 어떤 측정기기가 사용되며 누가 이를 관리하는가?
• 연구도구나 설문지를 위해 어떤 참고기준과 모집단 기준이 적용되나?
• 연구 측정법이 수행되는 조건은 무엇인가?
• 연구 측정법은 언제 만들어졌나?
• 실험이나 연구의 장소 혹은 설정은 무엇인가?

2.3. 연구재현성에 대한 과학자들의 설문조사 결과-1): 2016년 『네이처』 1,576명 대상

심지어 과학 연구자들 스스로 연구윤리 측면에서 연구재현성이 실패한다고 고백한 적이 있어 충격을 안겨준다. 우리가 믿고 있는 과학적 사실들이 편견일 수도 있다는 증거이다. 2016년 5월, 『네이처』는 연구윤리와 연구재현성 관련 설문조사를 실시한 바 있다 [3]. 1천576명을 대상으로 온라인 설문조사를 진행했다. 설문조사 결과, 과학에 종사하는 연구원 70% 이상이 다른 과학 연구자의 실험을 그대로 따라 해보려고 했지만 실패했다고 응답했다. 또한 설문조사 결과 50% 이상이 자신의 실험을 재현할 수 없었다고 답했다. 60% 이상은 연구재현성이 문제가 되는 이유에 대해 연구결과물에 대한 출판 압력과 연구결과에 대한 선택적 취합과 공표를 지적했다 [3, 10].

설문에 참여한 과학자들 52%는 연구재현성에 상당한 위기가 있다는 데 동의했다. 31% 미만은 발표된 연구결과를 재현하지 못하면 연구결과가 잘못될 수 있다고 간주했지만, 출판된 문헌을 그 자체로 여전히 신뢰한다고 답했다. 과학자들은 대중과 마찬가지로 실험의 연구결과가 출판됐다는 그 사실만으로 신뢰성을 갖는다고 믿는다. 73%는 자신이 속한 분야의 논문들 중 적어도 절반은 신뢰할 수 있다고 응답했다. 그중 가장 자신감을 드러낸 분야는 물리학과 화학이었다 [3].


upload_image
그림 6. 연구재현성 위기에 대한 1,576명 과학자 설문 결과
연구재현성 위기에 대해 ‘다소 있다’와 ‘심각하다’를 합하면 90%나 된다. 출처=참고 [3] 데이터 재가공


메릴랜드주 볼티모어에 있는 존스홉킨스 블룸버그 공중보건대학의 미생물학자 아르투로 카사데발(Arturo Casadevall)은 “현재 연구재현성이 무엇인지 혹은 무엇이 연구재현되어야 하는지 합의가 없다”라며 “다음 단계는 무엇이 문제인지 파악하고 동의를 얻는 것일지 모른다”라고 말했다. 현재 연구재현성에 대한 합의가 이루어지지 않았다는 걸 인식하는 것만으로 진전이 있다는 얘기다 [3].

과학의 연구재현성에 오랜 관심을 가지고 있는 영국 브리스톨대 생물심리학자인 마커스 무나포(Marcus Munafo)는 연구재현성 실패는 일종의 통과의례라고 표현했다. 그는 학생 시절 단순한 실험을 복제해보려고 했지만 실패했다. 그 당시 마커스 무나포는 자신감의 위기를 겪었지만, 대부분의 과학자들이 비슷한 경험을 한다는 걸 깨달았다. 문제는 논문출판된 연구에서 연구재현성의 문제를 제거하는 게 아니다. 최첨단 과학연구는 연구결과가 무결점인 건 아니라고 마커스 무나포는 강조한다. 그는 “우리는 새로운 발견을 원하지만 너무 많은 잘못된 단서를 찾아내는 데 도전하지 않는다”라고 비판했다 [3]. 즉, 기존 과학연구에 대한 검증은 소홀히 하고, 새로운 연구결과만 도출하려고 애쓴다는 얘기다.

『네이처』의 설문조사에 참여한 과학자들은 자신의 연구를 재현하는 데 실패했다. 하지만 그들 중 20% 미만이 다른 연구원들로부터 연구재현성 실패에 대한 연락을 받은 적이 있다고 한다. 즉, 잘못된 연구조건과 연구결과에 대해 동료 과학자들에게 알려주는 건 무능하거나 비난적인 것처럼 보일 위험이 있다. 자신의 연구 역시 연구재현성이 불확실한 가운데 동료 과학자의 연구재현성 문제까지 언급하려고 하지 않는 것이다. 불이익이 발생할 수 있기 때문이다 [3].

설문조사에 참여한 일부 과학자들은 연구재현성 관련 연구를 출판하려고 시도한 적이 있다. 하지만 논문출판 문화는 그리 썩 좋지 않다. 연구가 재현되지 않으면, 연구자들은 대부분 완벽하게 타당한 이유가 있을 것이라고 종종 가정한다. 아울러, 긍정적인 연구재현에 대한 인센티브는 낮으며, 과학저널은 연구재현에 대한 부정적인 결과를 게재하는 걸 꺼린다. 연구재현이 불가능한 걸 밝혀낸 몇몇 과학자들은 출판 편집자들과 리뷰어들이 원래 연구와의 비교를 줄여달라고 요구했다고 밝혔다. 아무튼 24%는 연구재현이 성공한 연구를, 13%는 연구재현이 실패한 연구를 출판할 수 있었다. 연구재현성 검증 연구에 대한 출판은 잘 수락되는 걸로 나타났다 [3].

예를 들어, 텍사스공대 건강과학센터의 아브라함 알-아마드(Abraham Al-Ahmad) 박사는 왜 줄기세포 기술이 그한테는 연구재현이 안 되는지 고민했다. 이에 대한 조사와 분석결과로 논문을 제출했을 때 냉담하고 무미건조한 거절을 예상했다. 하지만 그의 논문은 게재됐다. 그 이유에 대해 아브라함 알-아마드는 문제에 대한 해결책을 제시했기 때문이라고 생각했다 [3].

설문조사에 응답한 과학자들의 3분의 1은 그들의 연구소가 지난 5년 동안 재현성을 향상시키기 위해 구체적인 조치를 했다고 말했다. 의료 부문에서 그런 조치를 취한 비율은 41%, 물리학과 공학에선 24% 수준이었다. 더욱이, 실험방법의 문서화 및 표준화를 강화하려는 노력도 공통적이다 [3].


upload_image
그림 7. 연구재현성 절차 수립에 대한 1,576명 과학자 설문 결과
가장 인기 있는 전략 중 하나는 서로 다른 실험실 구성원들끼리 실험을 재현하도록 하는 것이었다. 출처=참고 [3] 데이터 재가공


익명을 요구한 영국의 한 생화학 대학원생은 자신의 연구실에서 연구재현성을 시도하려면 시간과 재료가 두 배로 늘어난다고 응답했다. 특히 연구재현성을 시도하는 실험은 혁신적인 프로젝트나 예상치 못한 결과에 대해서만 수행된다고 답했다 [3].

미국 버지니아주 샬로츠빌에 있는 버지니아대 박사후연구원 로라 샨크만(Laura Shankman)은 평활근세포(Smooth Muscle Cells)를 연구하고 있다. 그는 실험실에서 연구방법을 통합하고 동기화하는 게 연구재현성 문제를 극복하는 한 방법이라고 제안했다. 왜냐하면 대학원생 및 연구원들이 단기간에 실험실을 떠나면서 기존 연구에 대해 일관된 연구결과를 얻는 게 어려웠기 때문이다. 로라 샨크만이 소속한 연구실은 그 실험실에서 진행했던 기존의 연구결과를 재현하기 위해 일부러 시간과 노력을 기울여야 했다. 실험 프로토콜(방침 혹은 규약)이 통합되고 동기화 됐더라면 따로 비용이 들지 않았을 것이다 [3].

네브라스카 링컨에 있는 브라이언 보건과학대 수리생물학자 일라클리 롤라즈(Irakli Loladze)는 연구재현성을 보장하기 위한 노력 때문에 연구프로젝트에 투입되는 시간이 30%나 증가할 수 있다고 추정했다. 이론적 연구라고 해도 말이다. 그는 원 데이터에서 최종 연구결과까지 모든 단계가 재현되는지 확인한다고 밝혔다. 일라클리 롤라즈는 연구재현성은 마치 양치하는 것과 같아, 시간이 걸리기는 하지만 한 번 배우면 습관이 된다고 강조했다 [3].

연구재현성을 높이기 위한 한 방법으로 연구 가설과 계획을 제3자에게 제출하는 사전 등록이 있다. 연구결과 중 연구에 유리한 결과만 선별하는 걸 방지하고 통계적으로 유의미한 결과를 얻기 위한 최선의 방법이 바로 사전 등록이다. 호주 멜버른대에서 도덕적 의사결정을 연구하는 대학원생 한네 왓킨스(Hanne Watkins)는 사전 등록을 활용했다. 이로써 연구가 윤리적 차원에서 인정받을 수 있었다. 비록 시간이 많이 걸리긴 했지만 실험에 대한 윤리위원회 승인을 받거나 설문지의 질문들을 형식화하는 것보다 힘들지 않았다. 한네 왓킨스는 연구재현성은 과학적 연구에서 일상의 한 부분이라고 말했다 [3].

하지만 이와 반대인 경우도 있다. 일부로 연구 사전계획서를 100페이지로 방대하게 작성해 검토하기 어렵게 만드는 것이다. 이러면 나중에 출판될 논문의 연구결과와 비교하는 데에도 또 다른 비용과 인력이 투입되어야 한다. 사전계획서 제출을 악용할 수도 있는 셈이다. 이 때문에 표면적인 실험 프로토콜(방침이나 규약)이 아니라 과학을 연구하는 근본적인 문화가 바뀔 필요가 있다는 지적도 있다. 과학자들의 헌신적인 연구는 커다란 도전에 직면해 있는 셈이다 [14].

“연구재현성을 가로막는 원인들은 무엇인가?”

연구재현성에 문제를 일으키는 게 무엇이냐는 질문에 설문조사 응답자의 60% 이상이 논문출판 압박과 연구결과를 산출하기 위한 선택적 보고라고 응답했다. 또한 50% 이상이 실험실의 연구재현을 위한 기반 부족, 감독 부실과 낮은 통계적 능력 등을 꼽았다. 일부 응답자들은 실험에 쓰이는 시약의 가변성이나 재현하기 어려운 전문기술의 사용 등을 연구재현성을 가로막는 장애물로 제시했다 [3].

연구지원금과 승진에 대한 경쟁, 연구하고 설계하고 실행하는 데 소비되는 시간을 빼앗는 관료주의도 연구재현성을 가로막는 공통적 원인으로 지적됐다. 위스콘신-매디슨대 발달생물학자 주디스 킴블은 대학원생들이 자신을 지도해줄 멘토가 없는 연구실에서 훈련을 받는다면 롤모델이 없어 연구재현성은 더욱 악화될 것이라고 경고했다 [3].


upload_image
그림 8. 연구재현성에 악영향을 끼치는 요인들
과학 연구자들이 겪고 있는 실적 압박이 연구재현성의 질을 떨어뜨리는 것으로 조사됐다. 출처=참고 [3] 데이터 재가공


연구재현성을 확보하기 위해서 필요한 11가지 대안에 대해 설문조사를 실시했다. 90%에 육박하는, 1천 명이 넘는 응답자들은 △더 강력한 실험설계 △더 나은 통계 산출 △더 나은 멘토링을 선택했다. 이 답변들은 연구지원금이나 테뉴어(종신 재직권) 같은 승진보다 더 높은 순위를 차지했다. 특히 과학저널 논문출판을 위한 체크리스트는 69%가 지지했다 [3].

스탠퍼드대에서 과학적 건전성을 연구하는 존 이오아니디스(John Ioannidis)는 『네이처』가 진행한 설문조사가 편향돼 있을지 몰라도 과학저널, 연구기금 지원처, 연구기관이 협력할 수 있는 여지가 있다고 밝혔다. 과학자들이 연구재현성을 높이기 위한 각 기관들의 협업을 환영할 것이라는 얘기다. 응답자의 80%는 각 기관들이 더 많은 협업을 해야 한다고 답했다 [3].

2.4. 연구재현성에 대한 과학자들의 설문조사 결과-2): 2014년 미국 세포생물학회(ASCB) 868명 대상

2014년 미국 세포생물학회는 연구재현성이 위협받고 있음을 자각하고 태스크포스팀을 꾸렸다. 연구재현성 위기로 인해 과학 연구자들에 대한 신뢰성이 떨어지고 상황을 극복하려는 노력이었다. 이에 대한 설문조사와 보고서가 온라인에 공개됐다. 핵심은 과학 연구자에게 멘토링과 훈련을 하고, 데이터 작성법과 분석력을 기르도록 하자는 것이다 [11, 15].

대학원생, 박사후연구원, 교수진, 생명과학 산업계 종사자, 정부 과학자 등 전문가 총 868명이 설문에 참여했다. “기존에 출판된 실험 연구결과를 재현하지 못했던 적이 있는가?”라는 질문에 71.54% (621명)가 “그렇다”라고 답했다. 28.46% (247명)은 “아니오”라고 밝혔다. 즉, 과학저널에 실린 대다수의 논문은 연구재현성이 현격히 떨어진 것이다 [15].


upload_image
그림 9. 기 출판된 연구결과에 대한 연구재현성 가능 여부
선진 연구문화를 갖고 있는 미국에서조차 연구재현성 문제는 심각한 수준으로 나타났다. 출처=참고 [15] 데이터로 재구성


“다른 실험실에서 당신에게 당신의 기 출판된 논문의 실험 연구결과가 연구재현 불가능하다고 얘기한 적이 있는가?”라는 질문엔 22.81% (198명)이 “그렇다”라고, 77.19% (670명)이 “아니오”라고 답했다. 다른 동료 과학자의 연구결과가 재현불가능한 것을 알고 있음에도 그 사실을 알려주는 걸 꺼려한 셈이다. 그랬다가는 자신의 출판된 실험 연구결과 역시 지적을 받을지 모른다. 투명하고 공개적일 거라고 간주되는 미국의 연구문화 역시 동료 비판에 대해선 폐쇄적인 셈이다. 단, 연구문화와 연구재현성 문제점을 드러내고 극복하려는 노력은 본받을 만하다 [15].

특히 자신의 기 출판된 논문의 실험 연구결과가 연구재현 불가능하다고 들은 적 있는 연구자들은 문제를 어떻게 해결했을까? 설문에 대답한 약 5분의 3 (360명)은 스스로 또 다른 연구를 진행하거나, 다른 연구실과 원활하게 협조하거나, 다른 연구실과 논쟁을 펼쳐가며 자문을 구하거나, 연구를 재현하지 않고 더 나은 기술과 다른 접근을 통해서 문제를 해결했다고 답했다 [15].

그렇다면 과연 연구재현성 차이가 난 이유는 뭘까? 이에 대한 설문에 다음과 같은 답변들이 제시됐다. △원 실험의 결과가 긍정 오류(false positive)였다. 즉, 거짓이었는데 참으로 둔갑시킨 셈이다. △연구재현성에 대한 전문 지식이나 엄격함이 부족했다. △실험 연구실의 연구재현성 관련 프로토콜(방침 혹은 규약)이 불완전해서 연구재현 시도를 정확하게 안내하지 못했다. △실험 연구실의 원 프로토콜을 따르지 못했다. △생물학적 변종이나 유전적 배경의 차이들 때문에 처음엔 연구재현을 할 수 없었다. △RNA간섭으로 인한 합병증이 있었다. △항체, 혈청, 플라스미드 등을 포함하는 시약에서 문제가 생겼다. △다른 여러 기기들이나 카메라 혹은 시료의 민감도 같은 검출 방법에서 문제가 있었다. △엄격한 통계 분석이 부족했다. △질적으로 낮은 연구재현 방법 때문이다. △무작위 오류가 발생했다 [15].

자신의 기 출판된 논문에서 연구재현이 안 된다고 지적을 받았음에도 약 5분의 2 (237명)는 연구재현성 문제를 해결하지 않았다(혹은 못했다)고 밝혔다. 그 이유는 다른 실험 연구실과 원활하게 혹은 논쟁적으로 자문을 구했음에도 연구재현성 문제는 해결되지 못했기 때문이다. 또한 중요한 사안이 아니라고 판단했기 때문이다 [15].

“어떤 요인이 연구재현성의 질적 수준을 떨어뜨리는 요인이라고 믿는가?”라는 질문에는 △실험실에서 기록을 제대로 하지 않는다. △실험을 적절하게 실행할 수 있는 리소스가 부족하다. △저명한 저널에 논문을 게재해야 하는 압박이 심하다. △연구재현성을 어떻게 해야 하는지에 대한 방법론 교육이 부족하다. △통계 지식이 빈약하다 등이 답변됐다 [15].


표 2. 연구재현성을 침해하는 요인들
upload_image


미국 세포생물학회 연구재현성 관련 태스크포스팀은 과학연구의 문화와 관행에 대해 우려를 표명했다. 특히 태스크포스팀은 과학이 연구되는 과정을 정책 입안자와 대중이 이해할 필요가 있다고 강조했다. 과학연구는 연구재현성이 장려되면서 문제점이 식별되고 해결되는 열린 과정이라는 점이 중요하다 [11].

연구재현성을 확보하기 위해서 연구자가 주체가 되는 자발적 공동체 구성이 필요하다. 이를 통해 연구재현성에 대한 가이드라인과 연구문화 개선을 위해 노력을 경주할 필요가 있다. 예를 들어, 미시간대 분자생물학자인 대니얼 클리온스키(Daniel Klionsky)는 자신이 속해 있는 연구분야 자가포식(autophagy)에서 연구재현성 관련 롤모델이 될 수 있는 운동을 펼쳤다. 과학 연구자들이 동의할 수 있는 연구재현성 기준을 두 개의 논문으로 공표한 뒤, 이 기준이 널리 인용될 수 있도록 했다. 두 논문은 각각 「고등 진핵생물에서 자가포식을 모니터링하기 위한 분석시료의 사용 및 해석에 대한 지침」(2008), 「자가포식을 모니터링하기 위한 분석시료의 사용 및 해석에 대한 지침」(2012)이었다. 연구자들이 스스로 주도한 이러한 연구재현성 확보 운동은 좋은 사례로 기록된다. 더욱이, 세포생물학 관련 자가포식 분야뿐만 아니라 근접한 연구분야에까지 연구재현성 기준 확보를 위한 노력을 장려했다는 점에서 의미가 있다 [11].

2.5. 네덜란드 과학자 연구윤리 실태조사

연구재현성은 연구설계-연구과정-연구결과에서 나타나는 긴 호흡의 복합적인 단계를 거친다. 그런데 연구데이터 자체를 조작했다는 과학자들의 실토가 있어 연구윤리 차원에서 이목이 집중된다. 데이터 조작은 연구재현성이 실패하는 측면에서도 긴밀히 연관된다. 데이터가 조작되거나 선별되는 경우 연구재현성은 실패할 수밖에 없다.

2021년 7월 22일 『네이처』는 네덜란드 과학자 8.5%가 연구윤리를 위반했다고 응답한 설문조사 결과를 공개했다 [16]. 네덜란드 과학자 스스로 이 같은 고백을 한 것이다. 『네이처』는 사전인쇄(프리프린트) 웹사이트인 메타아카이브(MetaArXiv)에 실린 「의심스러운 연구 관행과 연구 부정행위의 만연과 이에 대한 설명 가능한 요인들: 네덜란드의 대학 연구자들에 대한 설문조사」를 인용해 소개했다. 설문조사에 따르면, 네덜란드 과학자 절반 이상은 의심스러운 연구 관행에 참여했다고 응답했다 [16-18].

이번 설문조사는 네덜란드에서 대규모로 이뤄졌다. 네덜란드의 과학자 6만 명을 대상으로 익명의 설문조사를 실시했고 6천813명이 답했다. 그 결과 4.3%는 데이터를 위조, 4.2%는 데이터를 조작한 적이 있다고 응답했다. 약 579명이 연구데이터를 위조 혹은 조작했던 적이 있었다고 실토한 셈이다. 12명 중 1명꼴이다. 그 기간은 2017년부터 2020년 사이다. 네덜란드 과학자들은 이 시점에 1회 이상 데이터를 날조했다. 이 비율은 예전에 실시한 설문조사의 결과보다 2배나 늘어났다. 데이터를 위·조작하는 일이 계속 증가하고 있다는 점에서 충격적이다. 더욱 놀라운 건 설문조사에 참여한 대상자의 51.3%는 '의심스러운 연구관행'에 많이 관여했다는 점이다. 51.3%는 3천495명 이상이나 된다 [16].

2021년 7월 26일 최종편집 돼 게재된 이번 설문조사 결과는 경험 과학에 종사하는 과학자들이 주로 참여했다. 전체 설문조사 대상자 중 90%에 해당하는 비율이다. ‘의심스러운 연구관행’은 위·조작이나 표절보다는 덜 위험한 수준이다. 악의성을 고려했을 때 말이다. 의심스러운 연구관행은 성급한 논문게재를 위해 △연구결과에 유효한 부정적 결과 선별 △연구설계 혹은 연구실행에서 발생한 결함의 의도적인 누락 △데이터 선별적으로 인용하는 것을 뜻한다. 2명 중 1명꼴로 문제의 소지가 분명히 있는, 의심스러운 연구관행에 참여한 것으로 드러났다 [16].


upload_image
그림 10. 네덜란드 과학 연구자 연구실태 조사결과
의심스러운 연구관행은 일부 연구결과를 선별해 기록하거나 의도적으로 누락하는 경우를 뜻한다. 출처=참고 [16] 데이터로 재구성


네덜란드에선 전 세계를 떠들석하게 만든 연구윤리 위반 사건이 발생한 적이 있다. 2011년, 네덜란드 틸부르그대 교수였던 디데리크 알렉산더 슈타펠(Diederik Alexander Stapel) 박사가 대학에서 쫓겨났다. 데이터 조작 때문이었다. 사회심리학을 연구하던 그는 수년 동안 데이터를 조작했고, 그 결과 논문 58편이 철회되는 사건이 발생했다. 그런데 디데리크 알레산더 슈타펠이 데이터를 조작할 수밖에 없었던 연구 시스템의 문제도 존재한 것으로 지적됐다. 과도한 실적 압박과 살인적인 승진 경쟁이 한 교수를 막다른 길로 내몬 것이다 [19].

물론 모든 교수나 연구자들이 데이터를 조작하는 것 아니다. 그럼에도 불구하고 연구윤리와 연구재현성 문제가 불거질 때마다 논문 게재·철회에 따른 인센티브 시스템을 재검토할 필요가 있다고 비판 여론이 들썩인다. 디데리크 알레산더 슈타펠은 자신이 오랫동안 데이터를 조작해 논문게재한 사실을 인정하고 공식 사과했다. 그는 “홀로 연구해야 하는 작업 환경 속에서 합리적인 견제와 학문적인 균형이 없이 신속히 논문게재에 따른 승진 점수를 얻으려고 했다”라고 고백했다 [19]. 이 사건으로 네덜란드 과학계는 연구윤리와 연구진실성, 연구재현성에 대한 경각심을 갖고 대안을 마련하기 위해 분주히 움직이고 있다.

『네이처』는 의심스러운 연구관행에 취약한 계층은 박사과정생, 박사후연구원, 조교수(junior faculty)들일 수 있다고 조심스럽게 분석했다. 왜냐하면 이 집단이 논문게재와 연구비 수주나 승진을 위한 경쟁에서 더욱 심한 스트레스를 받기 때문이다. 하지만 조교수, 부교수, 정교수 등 승진하는 경력의 단계와 데이터 위·조작 사이에는 큰 유의미성이 없는 것으로 조사됐다 [16].

그래서 리뷰어가 연구의 질 향상을 위해 문지기 역할을 더욱 잘해야 한다는 지적이 중요해진다. 또한 논문실적에 따른 승진과 인센티브 부여 시스템 역시 재고될 필요가 있다. 국내 연구진들 역시 SCI나 KCI급 논문게재에 목을 매달고 있는 실정이니 언제 어디서 이와 비슷한 사건이 터질지 모른다.

네덜란드 암스테르담대 전염병학자 고팔라크리슈나(Gopalakrishna) 박사는 과학자들을 대상으로 한 이번 설문조사를 주도했다. 고팔라크리슈나 박사는 문지기로서 동료 리뷰어들의 역할이 그만큼 중요하다고 강조했다. 특히 논문이 게재되거나 철회되면서 부여되는 인센티브 시스템을 줄이는 게 오히려 연구의 진실성을 확보하는 데 도움이 된다고 밝혔다. 과학적 건전성을 위한 가이드라인 따르기와 연구의 질적 수준을 높이기 위한 방안으로써 말이다. 그는 또한 연구에서 발생하는 실수를 과학자들 스스로가 인정하고 책임질 수 있는 연구문화가 필요하다면서 긍정적인 연구 환경을 조성하자고 제언했다. 특히 과학연구가 좀 더 천천히 진행되면 양질의 연구결과를 기대할 수 있다는 조언이다 [16].

한편, 네덜란드 과학자들을 대상으로 한 설문조사에서 타 분야에 비교해 의료·생명과학 연구자들은 더 많이 데이터를 위조하거나 조작했다. 설문에 응답한 의료·생명과학 연구자들 10% 이상이 데이터를 날조했다고 응답했는데, 좀 더 구체적인 이유는 알 수가 없다. 원래 많은 연구 부정행위가 의료·생명과학 분야에서 발생하고 있는 것인지, 연구윤리 징계위원들이 그런 사정을 잘 알고 있어서 과학자들이 진실되게 응답한 것인지는 추측만 할 수 있을 뿐이다 [16].

“설문조사 결과의 한계: 데이터 날조와 연구 부정행위의 반복 횟수 파악이 어렵다”

그렇다면 데이터를 얼마나, 자주 날조했을까? 대니엘 파넬리 런던경제정치대 박사는 네덜란드 과학자들을 대상으로 한 설문조사와 연구결과를 극찬했다. 다만, 이 연구결과를 통해서 얼마나 자주 데이터 위·조작이 일어났는지, 논문의 어디에서 얼만큼 날조가 됐는지 알 수 없다고 밝혔다. 또한 마자 바커 네덜란드 틸부르그대 교수는 연구 부정행위는 빈번이 일어나지만 그걸 밝혀내거나 증명하기가 정말 어렵다고 지적했다. 그는 연구진실성을 연구하고 있는데, 연구기관들이 연구 부정행위들을 투명하고 진실되게 대처하는 경우는 흔치 않다고 지적했다 [16].

네덜란드 및 전 세계에 놀라움을 선사한 이번 설문조사 결과로 인해 논문 날조와 출판의 오류는 심각한 사안으로 간주되고 있다. 이 때문에 연구환경을 바꾸려는 노력 역시 자발적으로 일어나고 있는 분위기다. 하지만 실험 프로토콜(방침 혹은 규약)을 사전 등록한다는 비율은 43%에 그쳤다. 조작이 안 된 기초데이터를 이용한다는 응답은 47%, 통합적인 연구 기록 보관을 한다는 답변은 56%로 낮았다 [16].

2.6. 연구재현성 부족한 논문이 더욱 주목받는 이유

2021년 5월 21일 『사이언스 어드밴시스』는 「연구재현이 가능한 논문들보다 불가능한 논문들이 더 자주 인용된다」는 소식을 전했다. 이 논문에서 역시 연구재현성(reproducible)과 연구반복성(replicable)은 혼용돼 있다. 논문 전체의 맥락을 제대로 전달하기 위해 필자는 ‘연구재현성’이라고 번역했다 [20, 21].

마르타 세라-가르시아 캘리포니아대 경영대학원(래디스쿨) 교수는 행동경제학자다. 그는 2명의 연구진과 함께 저명한 국제학술지에 발표된 과학, 경제학, 심리학 등 관련 출판물들에 대한 메타분석을 시도했다. 마르타 세라-가르시아 교수와 연구진은 다양한 학술지를 검색해 2만252건의 언론과 저널의 인용문을 분석했다. 그 결과, 연구재현이 불가능 논문은 가능한 논문에 비해 연평균 16배나 더 많이 인용돼 주목을 받은 사실이 드러났다 [20]. 누구나 잘 알다시피 인용지수는 논문의 우수성을 평가하는 중요한 잣대이다.

연구진은 우선 예전에 연구재현성을 검토했었던 ‘연구재현성 프로젝트(이하 프로젝트)’를 살펴봤다. 이 프로젝트에서는 과학, 경제학, 심리학 관련 논문들의 연구재현성을 분석했다. 2008년 100개의 실험논문이 심리학 분야의 대표적인 저널에 실린 적이 있다. 이 논문들을 검토하기 위해 270명의 과학자들이 참여했다. 분석결과는 2015년, 2016년 『사이언스』, 2018년 『네이처』에 게재됐다. 분석결과에 따르면, 과학 분야는 21개 게재 논문 중 62% (13개), 경제학 분야는 18개 게재 논문 중 61% (11개), 심리학 분야는 97개 게재 논문 중 37% (36개)만 연구재현성 차원에서 의미가 있는 걸로 나타냈다. 연구재현을 해서 나타난 상대적 효과는 원래 실험에 비교해보니 75%였다. 상대적 효과란 연구재현이 불가능한 상태가 0%다. 한편, 연구진에 따르면 사회과학 분야에서는 연구결과 중에서 논문출판에 유리한 결과만 일부 선택해 게재하는 경우도 있었다 [20].

“연구재현 불가능한 논문, 평균 153배 더 자주 인용”

여기에 더해 연구진은 연구재현성이 부족한 원래 논문들을 추적해보았다. 원래 논문이 출판된 시점 이후, 2019년 말까지 인용기록을 '구글 스칼라 인용'을 활용해 알아봤다. 언론과 다른 저널에서 원래 논문의 연구재현 불가능성을 제대로 드러냈는지 살펴본 것이다. 그랬더니 과학은 15%, 경제학은 9%, 심리학은 12%만 연구재현성이 확보되지 않았다는 걸 인용문에서 알렸다. 분야별 평균은 12%가 된다. 시간이 지나면 지날수록 연구재현이 불가능한 논문은 연구재현이 가능한 논문보다 평균 153배나 더욱 자주 인용되었다 [20].


upload_image
그림 11. 연구재현성 실패를 인정한 인용 논문의 분포
인용은 과학논문에서 매우 중요하다. 그런데 인용된 논문이 연구재현성을 제대로 갖췄는지 그렇지 않은지를 표기하는 논문은 얼마 되지 않는다. 출처=참고 [20] 데이터로 구성


하지만 『사이언스 어드밴시스』에 실린 메타분석 역시 한계가 있다. 연구진이 연구재현성을 판단할 때 모든 실험을 재현하기는 어려웠다. 여러 실험들 중 취사선택해 한 가지만 연구가 재현가능한지 살펴봤다. 예를 들어, 경제학에선 여러 실험들 가운데 제일 처음 시행된 실험만 연구재현성을 살펴봤다. 아울러, 원래 실행된 실험 방식을 그대로 적용할 수 없다는 단점 역시 존재했다 [20].


표 3. 연구재현성이 부족해도 논문이 출판되는 이유
upload_image


다시 한번 강조하지만 연구재현성은 실험을 반복하는 게 아니라 진실을 추구하는 차원에서 고려된다. 연구반복성 역시 마찬가지다. 전문가들은 생명과학에선 연구재현성에 대해 오랫동안 훈련받고 익히는 과정이 필요하다고 제언한다. 데이터를 조작하는 게 아니라면 연구재현성 과정에서 연구조건을 제대로 다루는 게 매우 중요하다는 것이다. 또한 전문가들은 과학 연구에서는 여러 연구결과가 시간이 흘러가면서 옳고 그른 것이 구분된다고 제언한다. 특히 과학 연구에 대한 가설과 믿음의 여러 주장들이 일치할 때 과학이론이 되는 게 일반적이다 [21].

연구재현성이 부족한 논문이 더욱 주목받는 이유는 다음과 같다. 첫째, 그 논문의 연구결과가 더욱 흥미로운 게 많기 때문이다. 언론이나 미디어, 저널들은 자극적이고 주목받을 만한 연구결과에만 집착하는 경향이 있다. 둘째, 과학연구자들은 연구지원을 받아 실험을 진행하기 때문에 언제나 논문출판에 대한 압박에 시달린다. 그래서 연구결과를 서둘러서 공개하고자 한다. 셋째, 출판 편집·리뷰어팀이 갖고 있는 ‘절충의 전략’ 때문이다. 출판 편집자와 리뷰어들은 낮은 연구재현성과 높은 연구결과 흥미성을 두고 저울질을 한다. 그러다가 연구재현성이 좀 떨어지더라도 이목을 끌 수 있는 연구결과를 공개하기로 결정한다. 그렇다면 부족한 연구재현성 문제는 출판 편집자와 리뷰어에까지 책임이 전가된다 [20, 21].

"대안은 게재 논문에 편집자와 리뷰어 이름을 명기하거나
연구설계안을 사전에 논문편집팀에서 검토해보는 것이다."


그렇다면 대안은 무엇일까? 전문가들은 연구재현성을 담보하기 위해 논문에 편집자나 리뷰어의 이름을 넣어보자고 제안한다. 왜냐하면 연구재현이 불가능해졌을 때 편집 과정과 절차에 대해 편집자로부터 피드백을 직접 받을 수 있다. 리뷰어도 마찬가지다. 또 다른 방법은 연구설계 구성을 미리 편집팀에서 검토해보자는 것이다. 이 점에 대해 리뷰어에게 일이 많아지는 것 아니냐는 의문이 제기될 수 있다. 하지만 이 방법은 전체 논문을 리뷰하는 과정에 연구설계에 대한 구성 검토만 추가하면 가능하다 [20, 21].

2.7. 현대과학에서 연구재현성이 위기를 맞은 이유

연구재현성 위기는 과학이 탄생한 시점부터 계속해서 나타나고 있다. 사실 과학이란 이전 연구가 검증 가능하면, 즉 연구재현이 가능하면 이론으로 정립되기 마련이다. 위대한 발견이란 끊임없는 연구반복과 재현에서 나타나는 셈이다. 예를 들어, 에드우드 제너(1749~1823)는 직접 우두(cowpox)를 사람의 피부에 접종하며 종두법을 발견했다. 천연두 근절에 기여한 에드우드 제너의 발견은 여러 실험반복을 통해 그 효과가 입증됐다. 이외에도 거의 모든 과학적 발견은 연구재현의 연장선에 함께 있다고 해도 과언이 아니다.

그런데 현대과학이 점점 발전하면서 연구재현성이 위기를 맞고 있다. 2020년 1월에도, 프랜시스 아널드 미국 캘리포니아공대 교수(화학공학)의 논문이 국제학술지에서 철회된 적이 있다. 아널드 교수는 연구 과정에서 일부 데이터가 누락돼 연구재현성이 불가능함을 공식 사과했다. 빠른 사과와 인정은 오히려 좋은 사례로 기록됐다. 아널드 교수는 2018년도 노벨화학상 수상자다. 그는 화학반응에서 촉매로 역할을 하는 효소 단백질을 인공적으로 개발하는 방법을 고안했다 [22].

연구재현성이 위기를 맞은 이유는 첫째, 복잡하고 거대해진 현대과학 자체의 속성 때문이다. 예를 들어, 담배와 심혈관 관련 연구인 프레이밍햄 심장 연구를 보자. 이 연구는 1948년 국립 심장·폐·혈액연구소가 프레이밍햄 마을에서 5천209명의 사람들을 대상으로 심혈관 질환이 어떻게 발생하는지 68년에 걸친 연구를 진행했다. 피실험자와 그들의 자녀, 3세대까지 아우르는 연구결과, 흡연이 알츠하이머와 고혈압의 위험을 높이는 걸 알아냈다 [23]. 하지만 프레이밍햄 심장 연구는 어떻게 재현할 수 있을까? 이렇게 오랫동안 막대한 비용을 들인 연구는 실험자와 피실험자, 환경과 분석방법 등이 달라질 수밖에 없다는 한계를 지닌다.

현대과학 연구에서 연구재현성이 위기를 맞고 있는 둘째 이유는 논문출판과 연구성과에 대한 인센티브와 압박 때문이다. ‘출판하느냐 버리느냐(publish or perish)’는 학계에 유명한 경구이다. 그만큼 학자들은 출판 압박이 심하다. 생존이 걸린 문제이기 때문이다. 하지만 역설적으로 출판에 대한 압박은 연구재현성을 떨어뜨리는 스트레스 요인으로 작용한다.

국내에서도 교수임용과 승진에서 SCI급 논문 출판이 양적으로 중요해짐에 따라 문제가 심각하다. 이에 대한 문제점을 국내 최대 연구지원처인 한국연구재단에서도 분명 인식하고 있다. 특히 코로나19 팬데믹과 맞물려 이전의 연구평가 방식이 유효하지 않다는 걸 자각하고 있다.

2021년 6월 24일, 한국연구재단이 펴낸 「책임 있는 연구 평가」에는 다음과 같은 내용이 나온다. “그간 연구자에게 지속적인 압력을 가하며 연구 진실성과 재현성 문제를 악화시키는 방식으로 연구의 질 또는 영향력을 평가해 온 양적 산정 방식, 다양성과 혁신성을 감소시키는 연구 평가 방식, 정량화할 수 없는 연구의 영향과 가치를 희생시키는 평가 방식 등은 새로운 시대를 맞이한 우리가 지양해야 할 평가방식이 될 수 있다”. 연구재현성을 높이기 위해선 연구성과에 대한 평가방식이 바뀔 필요가 있다 [24].

현대과학과 연구재현성 위기에서 셋째 이유는 동료 과학연구자에 대한 문제 제기 및 비판의 어려움 때문이다. 국내 사정은 더욱 심각하다. 주례사 비평이 횡행하는 연구문화 속에서 창의적인 연구를 기대하긴 어렵다. 연구재현성 역시 마찬가지이다.

넷째, 동료 심사(피어 리뷰)가 제대로 이뤄지지 않기 때문이다. 동료 심사만 제대로 이뤄져도 연구부정과 연구재현성 문제는 어느 정도 걸러질 수 있다. 그런데 2021년에는 기괴한 논문들이 412건이나 출판된 적이 있다. 예를 들어, 중국의 황토 고원에 내린 비와 함께 대학 스포츠 상해 보험을 조사하는 연구가 지구과학 저널에 실린 적 있다. 동료 심사가 엉망진창이었던 셈이다. 그 이유는 다음과 같다. 전문용어들이 난무하는 과학저널을 조롱하기 위해 동료 심사 이메일 계정을 해킹해 장난한 경우가 있었다. 특히 인공지능을 이용해 비윤리적인 개인과 집단이 동료 심사자 신분을 이용해 가짜를 진짜로 둔갑시켰다. 동료 심사자 중 객원으로 참여하는 계정이 주로 타깃이었다. 이 때문에 스프링거 계열의 저널 중 하나인 <현대 심리학>(Current Psychology)은 12개의 논문을 철회해야 했다. 또한 엘스비어 역시 약 400개의 논문에 대해 우려를 표명했다. 연구윤리 차원에서 높은 기준에 못 미치기 때문이다. 문제점으로 무급 객원 편집자를 활용하는 게 지적됐다 [25].


표 4. 현대과학에서 연구재현성이 실패하는 이유
upload_image


2020년 6월, 국제적으로 저명한 학술지 『심리과학』에서 「독실한 종교 성향의 감소가 폭력 범죄의 증가를 예견한다」라는 게재 논문을 철회시킨 사건이 발생했다. 논문 제목에는 "상대적으로 높은 평균 IQ를 보유한 나라들은 그렇지 않다"는 문구도 포함됐다. 저자들이 논문 철회를 직접 요구했다. 나라별 IQ 데이터 사용에 오류가 있었음을 인정한 것이다. 『심리과학』에 종사했던 전·현직 편집자들은 “이 논문이 인종차별적 서사에 영향을 미친다는 걸 알고 있었다”라고 사과했다 [10].

우리나라 학술계 역시 연구재현성 위기를 실감하고 대안을 마련하기 위해 노력하고 있다. 2017년 한국심리학회는 ‘반복 검증 실패와 심리학의 위기’라는 학술대회를 개최했다. 그 당시 유행처럼 번지던 연구재현성 위기를 극복하기 위한 장이었다. 이 학술대회를 기반으로 한국심리학회지에는 「심리학 연구에서 재현성 위기의 현황과 원인 및 대안 모색에 대한 개관」(2017, 36권)이라는 논문이 게재됐다. 이 논문은 “통계적 추론절차, 연구관행 그리고 출판편향 등이 재현성 위기의 원인들로서 조명되었으며 그에 따라 심리학의 재현성을 증진하기 위한 해결책들(신뢰구간, 효과 크기의 사용, 메타분석, 베이지안 통계, 연구자료와 방법론의 투명성 증가)도 제안되고 있다”고 밝혔다. 특히 논문출판에서 발생하는 편향성을 보완하기 위해 연구자의 충분한 통계적 검정 능력, 학술지 편집의 명확한 방침 등이 필요하다고 지적됐다 [10].

한편, 갈수록 연구윤리가 중요하다는 인식은 높아지고 있는 것으로 나타났다. 한국연구재단은 2021년 1월 6일부터 1월 19일까지 2주간, 한국연구재단 과제를 수행한 대학 교원 3만3천690명을 대상으로 한 온라인 설문조사를 실시했다. 총 2천292명이 응답했다. 이에 따르면 연구윤리가 중요하다고 답변한 비율은 95.2%에 달했다. 2019년 91.9%, 2020년 91.5%에 비해 더욱 오른 수치다. 요컨대, 연구윤리의 중요성을 분명 인식하고 있으나 연구 자체의 속성과 실적 압박, 연구문화 등으로 인해 연구재현성이 위협을 받고 있는 것으로 추정된다 [26].

2.8. 코로나19와 연구재현성 그리고 연구윤리

코로나19로 인해 오픈액세스 논문이 늘어나는 추세다. 사스코로나바이러스-2의 백신 개발과 전 세계의 동시다발적 대응을 위해 정보 공유는 필수다. 그래서 지난해부터 의학 분야에 사전인쇄(preprint)가 급격히 늘어났다. 과학 저널에서 시간이 오래 소요되는 편집진의 검증과 동료 검토(피어리뷰)를 단축하기 위한 노력이다. 하지만 이러다 보니 과학적 검증이 미진해지는 등 문제점 역시 나타났다. 연구윤리 차원에서 문제가 발생해서 결국 연구재현성에까지 영향을 미칠 수 있는 것이다.

2021년 9월 8일, <사이언스>는 「혁명은 없었다: 코로나19로 오픈액세스가 강화됐지만 사전인쇄는 팬데믹으로 공개된 논문의 일부에 불과하다」는 소식을 전했다. 코로나19에 대한 정보를 주는 의학 관련 논문은 팬데믹 발생 이후 53만 건에 이른다. 이 논문들은 저널게재나 사전인쇄 형식으로 공개되었다. 이들 논문들 중 사전인쇄로 원 데이터까지 공개되는 것들은 전체 논문 중 일부에 불과하다. 또한 원 데이터에 대한 접근이 어려워 과학적 사실 여부에 대한 검증이 부족한 것으로 분석됐다. 원 데이터를 볼 수 없으면 연구재현 자체가 불가능해지는 셈이다. 또한 서둘러 공개되다 보니 동료 검토가 이뤄지지 않은 경우도 많았다 [27, 28].

코로나19와 오픈액세스는 논문 검토 기간을 단축시켰다. 약 130일 후 게재되거나 철회되었던 과학저널 투고 논문은 2020년 7월경에는 약 90일로 줄었다. 전 세계가 코로나19로 고통받고 있던 기간에 좀 더 많은 정보가 필요했기 때문에 이뤄진 조치이다. 서지 측정을 하는 데이터과학 전문가가 2020년 발행된 코로나19 관련 논문 7천 개 이상을 '메드아카이브(medRxiv)'에서 분석했다. 메드아카이브는 2019년 오픈액세스와 사전인쇄를 위해 구축된 플랫폼이다. 논문들을 분석한 결과, 절반인 약 3천500개 논문의 저자들만이 기초데이터를 공개하겠다는 입장이었다 [27, 28]. 여러 추정이 가능한데, 아무래도 과학적 검증의 연구재현성 문제가 가장 걸림돌이었을 것이다. 더 많은 정보가 공개되고 논의되는 건 바람직하나, 과연 그 정보를 어떻게 검증해 연구진실성을 확보하느냐는 다른 차원의 문제이다.


upload_image
그림 12. 코로나19 이후 사전인쇄 플랫폼 메드아카이브에 공개된 논문들 현황
코로나19 관련 의학 연구 사전인쇄 논문들은 팬데믹 초기에 급격히 늘었다. 출처=참고 [27]의 그래프를 재가공


오픈액세스는 오픈사이언스로 가는 첫단추이다. 오픈사이언스는 국민의 세금으로 진행되는 공적 연구결과물을 더 많이 확산하고 공유하자는 운동이다. 그 방식은 온라인을 활용하는 것이다. 오픈사이언스는 오픈액세스, 오픈데이터, 오픈콜라보레이션까지 포괄할 수 있는 중요한 과학사적 움직임이다. 특히 오픈사이언스는 연구재현성, 더 나아가 연구진실성을 확보할 수 있다는 점에서 큰 의미가 있다 [29].

오픈사이언스의 효과를 알아볼 수 있는 분석이 공개된 적이 있다. 2018년 오픈액세스 저널인 <플로스 바이올로지>에 발표된 논문에 따르면, 오픈사이언스로 인해 연구투명성과 연구재현성이 더욱 나아질 수 있었다. 미국 스탠포드대 존 이오아니디스(John Ioannidis) 연구팀은 2015년부터 2017년까지 출판된 149건의 바이오의학 관련 논문을 분석했다. 무작위로 골라 연구투명성의 핵심지표라 할 수 있는 △연구비 지원자 △연구자의 잠재적인 이해상충 △원시 데이터 및 완전한 연구 프로토콜의 이용 가능성 등에 대한 정보가 잘 담겨 있는지 알아본 것이다. 존 이오아니디스(John Ioannidis) 연구팀의 이전 연구에서는 이와 같은 정보를 찾아볼 수 없었다. 그런데 2018년 연구결과에선 많은 논문이 ▷자금지원 정보 69% ▷이해상충 정보 65% ▷데이터 공유 정보 20%를 제공했다. 이 결과를 토대로 하면, 데이터 공유와 실험 프로토콜(방침이나 규약)을 오픈하는 건 연구재현성 확보에 큰 기여를 하는 셈이다. 앞서 제시됐던 개선 방안들과 일맥상통하는 점이다 [29].

또 다른 연구에 따르면, 2000년 0%였던 데이터 공유 비율은 2018년 약 20%로 늘어났다. 연구재현성 확보를 위한 긍정적인 신호가 아닐 수 없다 [14].

2.9. 연구재현성을 위한 가이드라인

현대과학이 연구재현성 위기를 맞으면 다음과 같은 문제들이 생겨난다. 첫째, 과학을 더 이상 신뢰하지 않으면서 연구비 지원이 중단될 수 있다. 둘째, 과학적 연구에 투입되는 예산과 자원이 연구재현 되지 않는 연구에 함몰됨으로써 낭비될 수 있다 [30]. 공공 연구나 민간 연구나 결국은 국가적 예산과 자원이 투입되는 건 마찬가지다. 천문학적 예산이 제대로 투입되어도 과학적 진전은 더디다. 그런데 연구재현성 불가라는 장벽 앞에서 연구지원이 중단되고 낭비된다면 그야말로 재앙이 아닐 수 없다.


표 5. 연구재현성에 대한 전문가들의 말말말
upload_image


연구재현성 위기를 극복하기 위해선 연구자만 잘해서는 안 된다. 출판사, 동료심사자, 연구지원기관, 다른 실험실의 과학기술인, 미디어, 시민들이 다 함께 노력해야 한다는 건 자명하다. 논문 출판 전부터 연구자, 논문 편집·출판인, 연구동료 등이 연구에 대한 객관적인 시각을 견지할 수 있어야 한다.

연구자는 연구의 설계부터 연구결과를 도출하는 과정에서 전문적인 분석 기술과 통계법을 활용해야 한다. 원 데이터와 분석 틀로써 코드를 공개 저장소(repository)에 저장할 필요가 있다. 편집자는 자격을 갖춘 과학연구 심사자에게 보낼 수 있는 심사 프로토콜(방침 혹은 규약)을 수립해 독자들이 문제 제기를 하면 신속하게 해결해야 한다. 저널 출판사는 원 데이터와 분석 코드를 활용할 수 있어야 한다. 특히 관리 단계에서 독자들이 편집자에게 연락을 취할 수 있는 조치를 마련해야 한다 [31].


표 6. 이해관계자에 따른 연구재현성 위기 극복 방법
upload_image


동료 심사(피어 리뷰) 역시 연구재현성에서 간과해서는 안 될 중요한 한 축이다. 특히 연구재현성이나 연구 적합성, 연구부정을 걸러내기 위해 동료 심사는 매우 중요하다. 하지만 연구가 미진하거나 신생 분야에서 동료 심사는 큰 힘을 발휘할 수 없다. 그래서 동료 심사의 문제점을 극복할 수 있는 대책 마련 역시 필요하다 [31]. 그 방안은 동료 심사자만의 문제가 아니라 연구자와 출판사 관계자, 과학기술정책을 담당하는 정책 입안자, 시민들의 공통적인 몫이다.

2019년 <네이처 피직스>는 연구재현성을 위한 가이드라인을 제시한 바 있다. 제목은 “(연구설계안과 원 데이터, 분석 코드, 연구결과 등의) 공개만으로는 불충분하다(Open is not enough)”였다. 여기서 주목되는 건 △연구재현성을 위한 방법론 설정 △연구 내용 기록 △연구 흐름 기록 △개방성에 열려 있기 등이다 [31].

필자는 본론에서 제기된 다양한 대안들을 아래 가이드라인에 포함시켜보았다. 연구재현성을 위한 지침은 연구설계 단계부터 연구결과물 도출과 논문게재의 전 주기를 아우른다. 여기엔 연구지원과 검토, 출판, 문화 등이 함께 엮여 있다. 우선 기존의 연구를 재검토하고 재현하는 주제 역시 중요하게 다뤄져야 한다. 현대과학에서 새로운 주제는 한계가 있다. 또한 연구가설과 계획을 미리 검토 받음으로써 연구재현성을 확보할 수 있다. 특히 동료 연구에 대해 자유로운 비판과 토론이 필요하며, 이를 위한 연구윤리와 통계 능력에 대한 교육이 지속적으로 이뤄져야 할 것이다.


표 7. 연구재현성 가이드라인
upload_image


3. 결론

1959년 영국의 유명한 과학철학자 칼 포퍼(1902∼1994)는 다음과 같이 말했다. “재현이 불가능한 어떤 단일한 사건 하나도 과학에선 중요하지 않다” [32]. 재현되지 않는 그 어떤 연구도 과학이론 정립이나 검증에서 인정되지 않는다는 뜻이다. 좁은 의미이든 넓은 의미이든 한 번 일어났던 것들이 다시 수행될 수 있어야 과학적 의미가 담긴다.

과학자들은 스스로 연구재현성이 위기를 맞이했다고 인식하고 있다. 그래서 제시되는 연구재현성 확보 방안은 △연구재현성이 무엇인지에 대한 고찰과 교육 △논문출판과 연구성과에 대한 인센티브와 압박 줄이기 △투명한 동료 검토와 연구재현에 대한 문서화 및 표준화 △연구방법을 통합하고 동기화 △연구가설과 계획을 사전 등록해 공개 △통계법과 분석 기법, 연구윤리 및 연구재현성에 대한 상시 혹은 정기적 교육 △연구자가 주도하는 연구공동체 자체 기준 마련 등이 있다.

과학적 발견은 수많은 발견과 시행착오로 이루어진다. 따라서 코페르니쿠스적 혁명은 언제든 일어날 수 있다. 기존에 알고 있던 진실에 대해 의문을 제기하고 비판적으로 접근해 연구를 재현해보는 것이야말로 과학이 진보할 수 있는 동력이다. 그런데 이 같은 과학의 발전 원동력이 비용과 인력 제한, 전문 지식 부족, 실적에 대한 압박, 부실한 동료 검토와 실험 프로토콜로 인해 막히고 있는 실정이다. 과학은 계속 발전하고 현실의 여러 문제점들을 드러내고 해결해야 한다. 연구재현성이 과학의 본질이라면 이에 대한 관심과 지원은 멈추지 않아야 한다. 그래야 연구부정과 사기로 얼룩진 과학으로부터 사회를 구할 수 있다.


upload_image
그림 13. 주요 키워드 워드 클라우드


4. 참고문헌 및 사이트

==>첨부파일(PDF) 참조

 

 
upload_image  
저자 김재호
저자 김재호는 ‘개인의 자유와 사회적 공리의 갈등과 조정’ 연구로 석사학위를 받았다. 현재 교수신문에서 과학, 학술 부분의 연구를 10년째 진행중이다.
학부에서 수학을, 대학원에서 철학을 전공하고 학술기자, 탐사보도 연구원 등으로 일했다. 현재 <교수신문>의 과학·학술 팀장이다. 지금은 과학커뮤니케이션 차원에서 환경과 생태에 대한 고민이 많다. <동아일보>에 '과학에세이', <포스코투데이>에 '과학의 발견'을 연재한 바 있다. 현재 <브릭>에 '김재호의 생태에세이'를 연재 중이다. 《레이첼 카슨과 침묵의 봄》, 《다시 과학을 생각한다》(공저), 《인공지능, 인간을 유혹하다》(공저) 등을 집필하였다.


약력
교수신문 과학·학술 팀장(2020-)
지와이네트웍스 부소장(2018-2020)
교수신문 학술부(2012-2019)
서울대학교 철학과 석사과정(2003-2006)

주 연구 분야
과학커뮤니케이션, 생태학, 윤리학

 

  추천 2
  
인쇄하기 주소복사 트위터 공유 페이스북 공유 
  
본 게시물의 무단 복제 및 배포를 금하며, 일부 내용 인용시 출처를 밝혀야 합니다.
Citation 복사
김재호(2021). 연구윤리 측면에서 연구재현성에 대한 논란과 대응. BRIC View 2021-T35. Available from https://www.ibric.org/myboard/read.php?Board=report&id=3913 (Nov 02, 2021)
* 자료열람안내 본 내용은 BRIC에서 추가적인 검증과정을 거친 정보가 아님을 밝힙니다. 내용 중 잘못된 사실 전달 또는 오역 등이 있을 시 BRIC으로 연락(view@ibric.org) 바랍니다.
 
  댓글 0
등록
목록
위로가기
동향 홈  |  동향FAQ
 |  BRIC소개  |  이용안내  |  이용약관  |  개인정보처리방침  |  이메일무단수집거부
Copyright © BRIC. All rights reserved.  |  문의
트위터 트위터    페이스북 페이스북   유튜브 유튜브    RSS서비스 RSS
한국벡크만쿨터 광고