안녕하세요. 연세대학교 전기전자공학과 통합과정 변윤수라고 합니다. 

일상 속 저의 모습은 제가 느끼기엔 다소 산만하고 약간 다재다능한 면도 있다고 생각합니다. 저는 이것저것 다양한 분야에 관심을 두고 있는데요. 음악, 운동 등 관심 있는 분야가 많아서 다양한 것을 해보고 또 즐기고 있습니다. 연구자로서의 저는 일상 속의 저와는 약간 다른데 일상 속의 제가 다양한 분야에 관심이 많은 사람이라면 연구자로서의 저는 마이웨이를 가는 뭔가 집요한 연구자 인 것 같아요.  연구자 중에서 트렌디한 연구를 진행하는 사람들이 많은데 저는 제가 하고 싶은 거, 제가 이런 연구가 필요하겠다고 꽂히면 그런 쪽으로 연구를 하게 되는 것 같습니다. 

이건 스토리가 조금 길 수 있는데 짧게 요약하자면 저는 전기전자공학부 졸업을 앞둔 4학년 때 조금 방황했던 것 같아요. 지금까지 회로 쪽을 공부했는데 저랑 너무 안 맞고 잘 모르겠다는 생각이 들었기 때문인데요. 이때  인공지능을 접하고 이 분야를 한 번 공부해볼까 라는 생각을 하게됐어요. 어떻게 공부해야할지 알아보다가 대학원에 진학하기로 했고 어차피 석사 박사 학위를 취득하면 먹고 살 만큼 돈을 벌 수 있겠다, 무엇을 하든 돈 버는 건 똑같으니 좀 더 의미 있는 걸 해보자는 생각에 의료 AI라는 분야를 선택하게 되었습니다. 

(원래 인공지능 쪽 전공이 아니었네요. 회로 쪽에서 어떻게 인공지능 쪽에 관심을 가지게 되었나요?) 

너무 단순한데 회로가 싫었어요. 제가 못해서인지 회로가 싫었는데 그때 마침 듣고 있었던 수업이 디지털 이미지 신호처리라는 수업이었는데 재밌더라고요. 성적도 잘 나오는 것 같고 저랑도 잘 맞는 것 같고. 그래서 자연스럽게 이미지 처리에 대한 공부를 하다가 인공지능으로 자연스럽게 흘러 들어갔던 것 같습니다. 

제가 속한 연구실은 의료 인공지능 연구실인데요. 인공지능을 활용해서 의료데이터를 분석해서 그걸로 의사들의 의사결정을 돕는 연구를 진행하고 있습니다. 

(적성에 맞나요?) 

분야는 너무 좋은데 연구자로서의 역량이 아직 좀 부족한 것 같아서 열심히 키워나가고 있습니다. 

인공지능 쪽 특히 의료 인공지능 쪽에도 많은 분야가 있긴 한데, 사실 이번에 제가 쓴 논문과는 다른 분야지만 Self-supervised learning이라는 분야에 관심을 두고 있어요. 이 분야를 쉽게 설명드리자면 보통 인공지능 모델을 개발할 때 어떠한 Task가 주어지고 그 Task에 적합한 모델을 개발하게 되는데 이런 방식이 아니라 Task가 정해져 있지 않고 단지 인공지능 모델의 IQ를 높이는 그런 분야입니다. 그래서 어떠한 Task가 들어와도 똑똑한 친구에게 학습 시키면 더 잘할 거잖아요. 그래서 이런 모델의 IQ를 높이는 연구를 진행해 왔고 앞으로도 계속해 보고 싶습니다. 

 

의료인공지능분야는 저희가 인공지능(AI)를 활용해서 의료데이터 예를 들면 CT나 MRI, EMR(전자 의무 기록)같은 것을 분석해서 의사 선생님들의 의사결정을 좀 지원하고 보조해 주는 그런 분야입니다. 

사실 어려운 점이 많은데요. 데이터 부분이 가장 어려운 것 같아요. 일반 인공지능 분야에서는 딱 정제되어 있는 데이터가 있고 정제되어 있는 Benchmark가 있어서 모델을 개발하면 이 Benchmark에 테스트를 해서 성능을 올리고 할 수 있는데 의료분야에선 이렇게 특별하게 정해진 Benchmark가 없어요. 그리고 데이터 수도 현저히 적고요. 그래서 많은 연구자들이 이것저것 연구를 하지만 실제로 그걸 제가 가지고 와서 테스트해 보면 논문에서 말하는 것과 좀 다른 경우가 있고, 오히려 안 좋은 모델이라고 생각했는데 더 좋은 경우도 있고 해서 아직 그런 부분에 데이터가 좀 부족하고 Benchmark가 없다는 점이 되게 어려운 점인 것 같아요. 

(우리가 일상에서 사용하는 모델 같은 경우에는 일상언어 데이터를 넣을 수도 있고 데이터를 구하기도 굉장히 쉽잖아요. 근데 이런 의료데이터 같은 경우에는 환자 정보가 담긴 데이터다 보니까 구하기 어렵기도 하고 절대적인 수 자체가 부족하기도 한 게 항상 의료 인공지능 연구자분들 고민인 것 같습니다.) 

제가 이걸 논할 자격이 있는지는 잘 모르겠지만 (웃음) 제가 생각했을 때, 사실 인공지능뿐만 아니라 연구자로서 현실적으로 필요한 역량은 강인한 체력, 그리고 강인한 멘털인  것 같습니다. 연구하다 보면 때로는 밤새워서 연구해야 될 때도 있고, 연구를 해서 논문을 써서 제출했지만 여러 가지 평가를 받고 떨어지는 경험을 여러 차례 하게 되는데 그때마다 너무 힘들어하고 그러면 대학원 생활, 연구 생활 하기가 어려운 것 같아요. 그래서 그런 상황이 있더라도 ‘뭐 다른데 내면 되지’ ‘또 한 번만 더 하면 되지’ 이런 강인한 멘털이 가장 필요한 것 같습니다. 

(저는 그리고 시력이 굉장히 중요하다고도 생각했는데 하루 종일 모니터만 보고 있으니까요. 또 사진이나 영상도 많이 보지만 되게 깨알 같은 글자도 많이 봐야 하잖아요. 논문도 많이 봐야 하고요. 그런 점에서 시력이 중요하다, 안구 건강이 중요하다는 생각을 많이 했습니다.)

제가 이번에 연구했던 논문의 주제는 MRI 데이터를 활용해서 Adult-type diffuse gliomas(성인용 확산성 교모세포종, 뇌종양의 일종)의 분자아형과 종양 등급을 예측하는 Deep Learning 모델을 개발했습니다. 이 연구가 진행된 배경은 성인용 확산성 교모세포종, 이 뇌종양은 굉장히 흔한 악성 뇌종양인데 이를 진단하기 위해서는 생검 절차를 거쳐야 하는 것으로 알고 있어요. 바늘로 실제로 찔러놓고 거기에서 조직 검사를 하게 되는데요. 근데 굉장히 이런 방식을 침습적 방식이라고 하는데 이런 방식이 굉장히 힘들다 보니까 MRI 영상으로만, 그리고 시간과 비용을 줄이도록 연구를 해보자 해서 이런 연구를 진행하게 되었습니다. 

제가 연구했던 이 모델은요. 뇌종양의 등급과 분자 아형을 예측하기 위해서 기존 연구가 Convolutional neural networks (CNNs)라는 네트워크를 활용해서 연구를 진행했지만 저희는 이 연구에서 Transformer 기반의 연구를 진행했고요. 그리고 MRI 영상뿐 아니라 실제로 성별과 나이가 뇌종양의 등급과 분자 아형을 예측하는 데 도움이 된다고 들었습니다. 그래서 이런 정보들을 활용해서 성능을 높여보자 해서 이 두 가지 Modality를 그 임상적 정보와 MRI 정보를 서로 활용해서 최종적인 분자아형과 등급을 예측하는 모델을 개발했습니다. 

CNN 모델의 경우 쉽게 말씀드리자면 예능 ‘신서유기’에서 보시면 고깔을 앞에 딱 잘라놓고 얼굴에 쓰고 보는 게임을 하잖아요. 이것처럼 CNN은 이미지를 고깔로만 보는 거에요. 그래서 이미지를 고깔로 훑으면서 스캐닝을 하면서 보고 이 정보를 처리하고 그다음에는 이미지를 좀 멀리해놓고 고깔로 다시 한 번 더 스캐닝하고 이런 식으로 모델 이미지를 처리하게 됩니다. Transformer 같은 경우엔 한 번에 이 이미지를 보게 되는 겁니다. 그래서 각각에 장단점이 있는 것 같아요. CNN 같은 경우엔 작은 로컬 영역을 보다 보니까 의료데이터에선 사실 로컬영역이 굉장히 중요하죠. 로컬 영역을 잘 볼 수 있지만 너무 로컬 영역에 집중하다 보니까 전역적인 정보를 해석하는데 한계가 있고, Transformer 같은 경우엔 이러한 국소적인 정보에 때로는 집중하지 못하지만 전역적으로 정보를 볼 수 있기 때문에 그런데 있어서 모델의 Capacity 자체는 굉장히 큰 것 같습니다. 

사실 기존 논문이 다 CNN으로만 진행됐던 것에도 이유가 있고, 또 일반 General Vision 쪽 분야에서는 Transformer가 주를 이뤘기 때문에 Transformer를 일단은 가져와서 실험해 보자 해서 테스트를 진행하게 되었던 것 같습니다. 

Multimodal의 Modality라는 건 말 그대로 그 데이터의 종류를 의미하는 건데 이 이미지 데이터, MRI 데이터 Modality와 성별이나 나이와 같은 임상 데이터 Modality 이 두  가지를 활용했습니다. 그럼 기존 연구에선 이 두 가지 Modality를 활용한 연구가 없었냐고 묻는다면 있었습니다. 굉장히 여러 연구가 있었지만 한계점은 기존 연구에서는 사실 이런 임상적인 데이터를 특정 레벨에서 단순하게 결합하거나, 결합은 했지만 MRI 데이터와 임상 데이터에 어떤 상호작용을 이끌어내기에는 좀 한계가 있었던 연구들이 많았는데 저희 연구에서는 이 MRI 데이터와 임상데이터 간의 상호작용을 통해서 진단을 좀 도울 수 있도록 모델을 개발했습니다. 

 

성별과 나이가 실제로 의미가 있다는 건 제가 연구했던 부분은 아니고 기존 연구들에서 통계학적으로, 성별과 나이가 좀 유의미한 정보를 담고 있다고 보고하고 있더라고요. 사실 공학자인 제 입장에서 뇌종양을 판단하는 데 있어서 성별과 나이가 중요한가라는 의문은 여전히 있지만 의사들은 진단할 때 항상 성별과 나이를 무시하진 않거든요. 항상 진단할 때 고려하는데 딱 이 정도의 역할을 Deep Learning Model이 했으면 좋겠다고 생각해서 성별과 나이를 결합했고요. 그리고 기존 연구들에서 이런 성별과 나이를, 저희가 딥러닝 모델로 사용하려면 성별과 나이를 어떤 특징으로 Feature로 인코딩해야 하는데 기존 연구들로는 한계가 있었던 것 같아요. 모델이 해석하기 어려운 Feature로 또는 너무 단순하게 인코딩하는 경향이 있었는데 저희는 사실 이 연구에서 어떻게 보면 시초라고 할 수 있는 GlioMT 모델을 활용해서 나이와 성별을 굉장히 좋은 Feature로 인코딩해서 그래서 모델이 훨씬 더 해석하기 쉽고 다루기 쉬운 피쳐로 만들어서 진단을 도울 수 있었던 것 같습니다. 

해석가능한(Explainable) AI는 모델이 어떠한 예측을 내리게 된 근거를 사람이 이해할 수 있는 형태로 보여주는 형태라고 생각합니다. 그래서 저희 연구에서는 트랜스포머의 각각의 레이어에 Attention 부분을 합산하고 가중해서 실제로 이 모델이 예측을 내렸을 때 어느 영역을 집중해서 보는지 시각화를 진행했고요. 추가적으로 여러 가지 modality를 저희가 사용 했으니까 모델이 이 예측을 내릴 때 어떤 modality에 좀 더 집중해서 예측을 내렸는지 그 기여도도 정량적으로 계산해서 보여주었습니다. 

(예를 들면 우리가 챗GPT에 점심 메뉴 추천해 줘 라고 해서 식당을 추천해준다면, 왜 이 식당을 추천해줬는지 알 수는 없는데, 우리가 이걸 블랙박스라고도 하잖아요. 그런데 이 모델의 경우에는 생각의 경로를 보여주고 어떤 점에 가중치를 줬는지, 예를 들면 내가 사는 위치라든지, 

아니면 나의 지금까지의 취향이라든지 이런 것들 중에서 어떤 것에 가중치를 뒀는지를 시각화해서 이 모델이 이런 경로로 이런 결정을 내렸구나, 실제 임상에서도 이런 경로를 조금 집중해서 보면 되겠구나 하는 식으로 보여줬다는 것 같습니다.)

이 Figure 2의 왼쪽 상단을 같이 보시면 좋을 것 같은데요. IDH-mutant라는 분자 아형을 예측하는 데 있어서 모델이 예측했을 때 왜 그렇게 예측했는지를 설명해 주는 피겨입니다. 보시면 T2랑 FLAIR라고 적힌 부분이 있는데 이 IDH-mutant 중, T2 FLAIR Mismatch라는 사인이 있어요. 그게 자세히 보일지는 모르겠지만 T2에서는 밝게 나오는데 FLAIR에선 어둡게 나오는 부분이 있거든요. 이 부분이 사실 FLAIR도 T2에서 비롯된 영상인데 이렇게 대조도가 다른 Mismatch가 발생했을 때는 IDH-mutant로 분류할 수가 있습니다. 해서 저희 모델을 보시면 이렇게 T2에서는 밝은데 FLAIR에선 어두운 T2-FLAIR Mismatch 부분을 하이라이트하고 있는걸 볼 수 있고요. 그래서 의사들이 이 모델 예측 결과를 볼 때 이 T2-FLAIR 부분을 Activate했네 이 모델이 굉장히 예측을 잘했구나 그 근거가 좋다고 생각하실 수 있을 것 같습니다. 

인터뷰하는 게 쉽지 않네요. 생각보다 말도 잘 안 나오고 잘 설명해 드렸는지 모르겠지만 이렇게 좋은 자리 마련해주셔서 감사하고 제 연구 소개할 수 있어서 너무 큰 영광인 것 같습니다. 오늘 감사했습니다. 

(끝) 

-----------

--------

인터뷰어 : 개굴 (김지연)

- 법학/화학생명공학 학사, 과학수사학(법유전자, 법의학) 석사
- 페임랩 10기 대상
- 전/현직 연구원