한빛사 인터뷰
- 등록2022-04-14
- 조회2,308
1. 논문관련 분야의 소개, 동향, 전망을 설명, 연구과정에서 생긴 에피소드
우리는 더 나은 인생을 위해 고민하고, 때로는 목표를 이루기 위해 더 험난한 길도 마다하지 않습니다. 동물에게도 이런 행동은 종종 나타나지요. 왜 그럴까요? 그것이 가치 있고, 유형 혹은 무형으로 보상을 줄 것이라고 믿기 때문입니다.
보상을 더 많이 받기 위해 행동을 바꾸는 생물학적인 원리의 중심에는 도파민을 분비하는 신경세포의 활동이 있습니다. 도파민은 쾌락을 느낄 때 나오는데, 조금 더 구체적으로는 기대보다 더한 보상이 올 때 반응하고, 기대보다 적은 보상이 올 때는 오히려 활동이 감소합니다. 이것을 보상 예측 오류 (reward prediction error) 라고 합니다. 즉, 도파민은 과거의 보상을 기억하고 더 큰 보상을 위해 행동을 변화시키는 적응적 행동(adaptive behavior)에 핵심적인 역할을 하는 신경 조절 물질입니다.
보상에 의한 행동의 변화를 설명하려는 이론을 강화학습 (reinforcement learning)이라고 합니다. 강화학습은 기계학습 분야에서 계산론적 학습 알고리즘으로 제안되었으며, 최근에 Deepmind 등이 비디오 게임 학습 에이전트, 알파고 등을 통해 인공지능의 학습 방법론으로서 큰 발전 가능성을 보였습니다. 이러한 사례는, 강화학습이 단순한 과제의 학습 방법론을 넘어서 일반 지능(general intelligence)의 구현에도 관여할 수 있음을 보여 주고 있습니다.
하지만 컴퓨터 내의 상황과 실생활에서의 뇌가 만나는 상황이 완전히 같지는 않습니다. 우리가 활동하는 실제 세상과 인공지능의 가상의 환경이 어떠한 점에서 다르고, 뇌가 이러한 다른 면을 어떻게 처리하는지 이해하는 것은 뇌를 더 잘 이해하고, 뇌 기반 인공지능 (brain-inspired AI)를 만드는데 중요할 것입니다.
두 세계의 중요한 차이점 중의 하나는 현재 상태에 대한 불확실성 (state uncertainty) 입니다. 예를 들면, Pac-man을 플레이 하는 AI 알고리즘은 현재 위치에 대한 정확한 정보를 가지고 있습니다. 하지만, 어두운 밤에 물을 먹으러 가는 어제의 나는 지금 자신이 어디에 있는지, 정확히 무엇을 보고 있는지 분명하지 않죠. 이러한 상황에서 도파민의 활동이 어떻게 될 것인가를 이해하는 것은 컴퓨터와 두뇌의 예측 오류 신호가 어떤 차이가 있는지 이해하는데 매우 중요합니다.
이러한 점을 실험적으로 밝히기 위해, 저는 가상현실 (virtual reality) 셋업을 이용한 쥐에서의 도파민 측정 실험을 진행하였습니다. 쥐가 가상의 통로 끝에서 물을 먹는 것을 학습하면, 도파민의 활동이 서서히 증가하는 현상이 관측됩니다. 저는 이 상황에서 앞의 예와 같이 가상 환경을 점점 어둡게 함으로써 쥐가 인지하는 자신의 위치를 점점 불확실하게 만드는 실험을 진행하였습니다. 도파민 활동은 어두워지는 경우에 낮아지지 않고 오히려 순간적으로 높아졌으며, 공동 연구를 통해 불확실성이 포함된 예측 오류 계산 모델을 제시함으로써 관찰된 도파민 신호를 설명할 수 있었습니다.
2. 연구 활동 하시면서 평소 느끼신 점 또는 자부심, 보람
연구의 가장 큰 보람은, 궁금하지만 잘 몰랐던 문제들을 점차 이해하게 되는 점 같습니다. 특히, 연구를 통해 저 자신과 다른 사람들을 더 잘 이해하게 되는 것은 뇌과학 연구가 가진 매력입니다. 이론과 실험이 만나는 연구는 두 가지를 모두 만족시켜야 하기 때문에 더 어렵습니다. 하지만, 이러한 연구를 통해서 실험 결과를 이론으로 설명했을 때, 혹은 새로운 계산적 원리를 제시할 때는 매우 기쁩니다. 그래서… 어렵지만 계속 할 것 같습니다.
3. 이 분야로 진학하려는 후배들 또는 유학준비생들에게 도움이 되는 말씀을 해 주신다면?
연구를 위해서는 생물학, 전기공학, 프로그래밍, 심리학, 통계학 등의 여러 개념들을 이해해야 하는데, 자신의 전공 지식에 따라서 어떤 부분은 조금 쉽게 이해하는 반면, 다른 부분은 상대적으로 오래 걸리는 것 같습니다. 뇌과학의 특성상 다른 학문의 개념이나 방법론을 받아들여서 연구를 수행하야 하기 때문에, 새로운 것을 즐기면서 배우는 마음이 중요한 것 같습니다.
4. 연구 활동과 관련된 앞으로의 계획이 있으시다면?
저는 우리의 뇌가 어떠한 원리로 의사결정을 내리는지, 특히, 그 기저에 어떠한 계산 원리가 깔려 있는지에 대해 연구를 해 왔습니다. 그러한 계산 원리를 잘 알게 되면 그것을 컴퓨터에 적용해서 더 똘똘한 컴퓨터를 만들어 볼 수 있겠지요. 컴퓨터공학 전공자로써 뇌과학을 공부한 동기가 이러한 것이었기에, 최근에 deep learning의 비약적인 발전, 그리고 신경과학과 인공지능의 상호 교류(Neuro-AI)를 통한 발전은 저에게는 너무나 흥분되는 일입니다.
작년에 IBS 뇌과학이미징연구단, 성균관대학교 바이오메디컬학과의 교수로 부임하여 연구실을 셋업하고 쥐, 영장류, 컴퓨터를 이용한 재미있는 실험들을 계획/진행하고 있습니다. 이런 분야에 관심이 있으신 분은 연구실 홈페이지를 방문해 보시고 문의 바랍니다. http://hrkimlab.github.io
마지막으로, 뇌과학이미징연구단에서 6월부터 한달동안 학부생 대상으로 뇌과학 각 분야의 최신 연구를 살펴볼 수 있는 summer school을 개최합니다. 사람-동물-질병 등의 다양한 분야에 교수님들이 참여하고 있습니다. 자세한 정보는 아래 홈페이지를 방문해 주세요.
https://cnir.ibs.re.kr/_prog/_board/?code=cnir_en_News&mode=V&no=34516&upr_ntt_no=34516&site_dvs_cd=cnir_en&menu_dvs_cd=0701
#도파민
#강화학습
#가상현실
댓글 작성 로그인
팝업 닫기관련 링크
관련분야 연구자보기
소속기관 논문보기
관련분야 논문보기
해당논문 저자보기
