[DEBUG-WINDOW 처리영역 보기]
즐겨찾기  |  뉴스레터  |  오늘의 정보 회원가입   로그인
BRIC홈 동향
스폰서배너광고 안내  배너1 배너2 배너3
전체보기 Bio통신원 Bio통계 BRIC View BRIC이만난사람들 웹진(BioWave)
목록
조회 1592  인쇄하기 주소복사 트위터 공유 페이스북 공유 
바이오통신원   
[바이오토픽] 인공지능 이용, 뇌 신호를 언어로 번역하는 장치 개발
생명과학 양병찬 (2019-04-25 09:49)

인공지능 이용, 뇌 신호를 언어로 번역하는 장치 개발

운동신경병(motor-neuron disease) 등의 마비질환 때문에 말을 할 수 없는 사람들에게 음성을 제공하기 위해, 신경과학자들은 뇌신호를 언어로 전환하는 장치를 설계했다.

아직까지는 실험실 밖에서 사용할 수 있을 정도로 정확하지 않지만, 이 장치는 거의 알아들을 수 있는 '문장 수준의 언어'를 합성할 수 있다. 연구자들은 4월 24일 《Nature》에 실린 논문에서(참고 1) 자신들이 발명한 언어해독장치(speech-decoding device)의 작동원리를 기술했다.

"과학자들은 선행연구에서 인공지능을 이용하여, 뇌파(腦波)로부터 (대체로 하나의 음절로 구성된) 단어들을 번역한 적이 있다(참고 2, 참고 3)"라고 이번 연구에 대한 논평(참고 4)을 기고한 에모리 대학교의 체단 판다리나스(신경공학)는 말했다. "이번 연구가 감동적인 것은, '음절에서 문장으로 도약'이라는 기술적 진보를 이루었다는 것이다."

운동지도 작성

"언어능력을 상실한 사람들 중 상당수는, 미세한 운동을 통해 (화면에 나오는 글자나 단어를 선택하는) 커서를 제어하는 기술을 이용하여 의사소통을 한다. 운동신경병을 앓았던 영국의 물리학자 스티븐 호킹이 그 대표적인 사례다. 그는 뺨의 근육에 의해 활성화되는 언어생성장치(speech-generating device)를 이용했었다"라고 이번 연구를 지휘한 UCSF의 에드워드 창(신경외과의)은 말했다.

기존의 기술을 사용하는 사람들은 한 글자씩 언어를 타이핑해야 하므로 매우 느려, 1분당 최대 10 단어밖에 생성할 수 없었다. 그에 반해 자연스러운 발화(發話)는 분당 평균 150 단어를 생성한다. "우리가 그렇게 말할 수 있는 것은 성도(vocal tract: 성대에서 입술에 이르는 통로)의 효율성 때문이다. 그래서 우리는 이번에 해독기를 설계할 때, 발성시스템(vocal system)을 모델링하기로 결정했다"라고 창은 말했다.

창이 이끄는 연구진은 (뇌전증 치료의 일환으로 뇌의 표면에 전극을 이식받은) 다섯 명의 사람들을 대상으로 이번 연구를 수행했다. 먼저, 연구진은 참가자들이 수백 개의 문장들을 크게 읽을 때 뇌활성을 기록했다. 다음으로, 연구진은 이 기록을 (혀, 입술, 턱, 후두의 운동이 소리를 만드는 메커니즘을 결정한) 선행실험 데이터와 결합했다.

연구진은 이상의 데이터를 이용하여 딥러닝 알고리즘(deep-learning algorithm)을 훈련시키고, 마지막으로 그 알고리즘을 해독장치와 통합했다. 그리하여 해독장치는 뇌신호를 '추정되는 성도운동(estimated movements of the vocal tract)'으로 전환한 다음, 그 운동을 합성언어로 전환했다. "해독장치에서 출력되는 101개의 합성문장을 청취한 사람들은 평균 70%의 단어들을 이해할 수 있었다'고 창은 말했다.

별도의 실험에서, 연구진은 한 참가자에게 '문장을 크게 읽고, 동일한 문장을 (발성을 하지 않고 입만 움직이는) 마임(mime)을 해 달라'고 요청했다. "두 번째 실험에서, '마임을 분석하여 합성된 문장'은 '발성된 문장'보다 품질이 낮았지만, 결과는 여전히 고무적이다"라고 창은 말했다.

☞ 두 번째 실험

Two examples of a participant reading a sentence, followed by the synthesized version of the sentence generated from their brain activity.
https://www.nature.com/magazine-assets/d41586-019-01328-x/d41586-019-01328-x_16672814.wav
※ Credit: Chang lab, UCSF Dept. of Neurosurgery

알아들을 수 있는 미래

"뇌활성을 매핑하여 '성도의 운동'으로 전환한 다음 그것을 음성으로 번역하는 것은, 매핑된 뇌활성을 직접 음성으로 만드는 것보다 더 쉽게 이해된다"라고 샌디에이고 주립대학교의 스타파니 리에스(신경과학)는 말했다.

"그러나 새로운 해독장치가 '생각만 하는 사람'의 마음을 언어로 번역할 수 있을지는 미지수다"라고 워싱턴 대학교의 에이미 오스본(신경공학)은 말했다. "이번 논문은 해독장치가 마임언어(mimed speech)를 해독하는 능력을 잘 증명했다. 그러나 '입을 움직이지 않는 사람'의 생각도 언어로 번역할 수 있을까?"

노스웨스턴 대학교의 마크 스루츠키(신경학)도 오스본의 견해에 동의하며, "이번에 개발된 해독장치의 성능은 개선의 여지가 있다"고 말했다. "청취자들은 일련의 옵션 중에서 단어를 선택함으로써 합성된 언어를 식별한다. 그러나 옵션의 수가 증가함에 따라, 그들은 단어를 이해하는 데 더 많은 어려움을 겪게 될 것이다."

"이번 연구가 중요한 진보임은 분명하지만, 사람들이 합성된 언어를 쉽게 알아들으려면 아직 갈 길이 멀다"라고 슬루츠키는 말했다.

언어합성을 위한 뇌-컴퓨터 인터페이스

언어합성을 위한 뇌-컴퓨터 인터페이스

a. 언어합성에 대한 선행연구에서는, ① 피질뇌파기록(ECoG: electrocorticography) 장치를 이용하여 뇌(腦)의 언어관련영역에서 나오는 신경신호를 모니터링한 다음, ② 순환신경망(RNN: recurrent neural network)이라는 인공신호망을 이용하여 그 신호를 직접 합성언어로 해독하는 접근방법을 택했다.

b. Anumanchipalli et al.은 선행연구와 다른 접근방법을 개발했는데, 그 내용인즉 두 가지 해독단계에서 RNN을 이용하는 것이다.

첫 번째 단계(성도운동 추정)에서, 신경신호는 성도조음기관(vocal-tract articulators: 빨간색)의 추정된 운동(estimated movement)으로 전환된다. (여기서 성도조음기관이란, 언어생성에 관여하는 해부학적 구조를 말하며, 입술·혀·후두·턱을 포함한다.) 저자들은 AI 알고리즘을 훈련시키기 위해, 개인의 성도운동을 신경활성과 관련시키는 데이터가 필요로 했다. 그러나 개인의 성도운동을 직접 측정하는 것은 불가능했으므로, 선행연구의 대규모 라이브러리(많은 사람들의 '성도운동과 언어와의 관계'가 수록된 데이터베이스)에 기반하여 그러한 운동을 추정하는 RNN을 구축했다. 이렇게 구축된 RNN이 추정한 성도운동은 해독장치를 훈련시키기에 충분했다.

두 번째 단계(언어합성)에서, 저자들은 추정된 성도운동을 합성언어로 전환했다. 저자들은 이상과 같은 2단계 접근방법을 이용하여, 기존의 1단계 접근방법(direct decoding approach)보다 왜곡이 현저하게 감소한 음성문장(spoken sentence)을 생성할 수 있었다.

※ 출처: 참고 4


※ 참고문헌
1. Anumanchipalli, G. K., Chartier, J. & Chang, E. F. Nature (2019); https://doi.org/10.1038/s41586-019-1119-1
2. https://doi.org/10.1038/s41598-018-37359-z
3. Angrick, M. et al. J. Neural Eng. (2019); https://doi.org/10.1088/1741-2552/ab0c59
4. https://preview-www.nature.com/platform/rh/preview/page/nature/brain-implants-that-let-you-speak-your-mind/16645644

※ 출처: Nature https://www.nature.com/articles/d41586-019-01328-x

 

아름다움의 진화

  추천 0
  
인쇄하기 주소복사 트위터 공유 페이스북 공유 
  
양병찬 (약사, 번역가)
서울대학교 경영학과와 동대학원을 졸업하고, 은행, 증권사, 대기업 기획조정실 등에서 일하다가, 진로를 바꿔 중앙대학교 약학대학을 졸업하고 약사면허를 취득한 이색경력의 소유자다. 현재 서울 구로구에서 거주하며 낮에는 약사로, 밤에는 전문 번역가와 과학 리포터로 활발하게 활동하...
다른 연재기사 보기 전체보기 >
[바이오토픽] 새로 밝혀진 빈대의 진화사: 공룡시대에 지구상에 등장
빈대(bedbug)라고 하면, 여행자를 호텔 침대에 대한 피해망상증 환자로 만드는 '교활한 사과씨만 한 흡혈귀'를 생각하기 쉽다. 그러나 약 100종(種)에 달하는 빈대 중에는 인간이 거의 들어가지 않는...
[바이오토픽] 미 국립보건원, 면역각인(immunological imprinting)을 추적하는 대규모·장기적 코호트연구 지원
생애 최초로 노출된 인플루엔자가 면역계에 남기는 '지워지지 않는 흔적'에 대한 연구가, 보다 우수한 백신을 개발하는 데 단서를 제공할 것으로 보인다.   미국 국립보건원(NIH)...
[바이오토픽] 공룡 비행(飛行)의 기원 해명: 박쥐의 날개로 날았던 비조류 수각류, 암보프테릭스(Ambopteryx)
"박쥐의 날개를 가진 조그만 공룡떼가 쥐라기의 하늘을 수놓았다." 이것은 날다람쥐와 약간 비슷해 보이는 찌르레기만 한 털뭉치(보존 상태가 양호한 깃털공룡 화석)를 발견한 고생물학자들이 내...
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다. [기사 오류 신고하기]
 
  댓글 0
등록
Springer Nature
최근 관련 뉴스
연구정보중앙센터
위로가기
동향 홈  |  동향FAQ  |  동향 문의 및 제안
 |  BRIC소개  |  이용안내  |  이용약관  |  개인정보처리방침  |  이메일무단수집거부
Copyright © BRIC. All rights reserved.  |  문의 member@ibric.org
트위터 트위터    페이스북 페이스북   유튜브 유튜브    RSS서비스 RSS
에펜도르프코리아