[DEBUG-WINDOW 처리영역 보기]
즐겨찾기  |  뉴스레터  |  오늘의 정보  |  e브릭몰e브릭몰 회원가입   로그인
BRIC홈 동향
웨비나 모집
스폰서배너광고 안내  배너1 배너2 배너3
전체보기 Bio통신원 Bio통계 BRIC View BRIC이만난사람들 웹진(BioWave)
목록
조회 2722  인쇄하기 주소복사 트위터 공유 페이스북 공유 
바이오통신원   
[바이오토픽] 인공지능 이용, 뇌 신호를 언어로 번역하는 장치 개발
생명과학 양병찬 (2019-04-25 09:49)

인공지능 이용, 뇌 신호를 언어로 번역하는 장치 개발

운동신경병(motor-neuron disease) 등의 마비질환 때문에 말을 할 수 없는 사람들에게 음성을 제공하기 위해, 신경과학자들은 뇌신호를 언어로 전환하는 장치를 설계했다.

아직까지는 실험실 밖에서 사용할 수 있을 정도로 정확하지 않지만, 이 장치는 거의 알아들을 수 있는 '문장 수준의 언어'를 합성할 수 있다. 연구자들은 4월 24일 《Nature》에 실린 논문에서(참고 1) 자신들이 발명한 언어해독장치(speech-decoding device)의 작동원리를 기술했다.

"과학자들은 선행연구에서 인공지능을 이용하여, 뇌파(腦波)로부터 (대체로 하나의 음절로 구성된) 단어들을 번역한 적이 있다(참고 2, 참고 3)"라고 이번 연구에 대한 논평(참고 4)을 기고한 에모리 대학교의 체단 판다리나스(신경공학)는 말했다. "이번 연구가 감동적인 것은, '음절에서 문장으로 도약'이라는 기술적 진보를 이루었다는 것이다."

운동지도 작성

"언어능력을 상실한 사람들 중 상당수는, 미세한 운동을 통해 (화면에 나오는 글자나 단어를 선택하는) 커서를 제어하는 기술을 이용하여 의사소통을 한다. 운동신경병을 앓았던 영국의 물리학자 스티븐 호킹이 그 대표적인 사례다. 그는 뺨의 근육에 의해 활성화되는 언어생성장치(speech-generating device)를 이용했었다"라고 이번 연구를 지휘한 UCSF의 에드워드 창(신경외과의)은 말했다.

기존의 기술을 사용하는 사람들은 한 글자씩 언어를 타이핑해야 하므로 매우 느려, 1분당 최대 10 단어밖에 생성할 수 없었다. 그에 반해 자연스러운 발화(發話)는 분당 평균 150 단어를 생성한다. "우리가 그렇게 말할 수 있는 것은 성도(vocal tract: 성대에서 입술에 이르는 통로)의 효율성 때문이다. 그래서 우리는 이번에 해독기를 설계할 때, 발성시스템(vocal system)을 모델링하기로 결정했다"라고 창은 말했다.

창이 이끄는 연구진은 (뇌전증 치료의 일환으로 뇌의 표면에 전극을 이식받은) 다섯 명의 사람들을 대상으로 이번 연구를 수행했다. 먼저, 연구진은 참가자들이 수백 개의 문장들을 크게 읽을 때 뇌활성을 기록했다. 다음으로, 연구진은 이 기록을 (혀, 입술, 턱, 후두의 운동이 소리를 만드는 메커니즘을 결정한) 선행실험 데이터와 결합했다.

연구진은 이상의 데이터를 이용하여 딥러닝 알고리즘(deep-learning algorithm)을 훈련시키고, 마지막으로 그 알고리즘을 해독장치와 통합했다. 그리하여 해독장치는 뇌신호를 '추정되는 성도운동(estimated movements of the vocal tract)'으로 전환한 다음, 그 운동을 합성언어로 전환했다. "해독장치에서 출력되는 101개의 합성문장을 청취한 사람들은 평균 70%의 단어들을 이해할 수 있었다'고 창은 말했다.

별도의 실험에서, 연구진은 한 참가자에게 '문장을 크게 읽고, 동일한 문장을 (발성을 하지 않고 입만 움직이는) 마임(mime)을 해 달라'고 요청했다. "두 번째 실험에서, '마임을 분석하여 합성된 문장'은 '발성된 문장'보다 품질이 낮았지만, 결과는 여전히 고무적이다"라고 창은 말했다.

☞ 두 번째 실험

Two examples of a participant reading a sentence, followed by the synthesized version of the sentence generated from their brain activity.
https://www.nature.com/magazine-assets/d41586-019-01328-x/d41586-019-01328-x_16672814.wav
※ Credit: Chang lab, UCSF Dept. of Neurosurgery

알아들을 수 있는 미래

"뇌활성을 매핑하여 '성도의 운동'으로 전환한 다음 그것을 음성으로 번역하는 것은, 매핑된 뇌활성을 직접 음성으로 만드는 것보다 더 쉽게 이해된다"라고 샌디에이고 주립대학교의 스타파니 리에스(신경과학)는 말했다.

"그러나 새로운 해독장치가 '생각만 하는 사람'의 마음을 언어로 번역할 수 있을지는 미지수다"라고 워싱턴 대학교의 에이미 오스본(신경공학)은 말했다. "이번 논문은 해독장치가 마임언어(mimed speech)를 해독하는 능력을 잘 증명했다. 그러나 '입을 움직이지 않는 사람'의 생각도 언어로 번역할 수 있을까?"

노스웨스턴 대학교의 마크 스루츠키(신경학)도 오스본의 견해에 동의하며, "이번에 개발된 해독장치의 성능은 개선의 여지가 있다"고 말했다. "청취자들은 일련의 옵션 중에서 단어를 선택함으로써 합성된 언어를 식별한다. 그러나 옵션의 수가 증가함에 따라, 그들은 단어를 이해하는 데 더 많은 어려움을 겪게 될 것이다."

"이번 연구가 중요한 진보임은 분명하지만, 사람들이 합성된 언어를 쉽게 알아들으려면 아직 갈 길이 멀다"라고 슬루츠키는 말했다.

언어합성을 위한 뇌-컴퓨터 인터페이스

언어합성을 위한 뇌-컴퓨터 인터페이스

a. 언어합성에 대한 선행연구에서는, ① 피질뇌파기록(ECoG: electrocorticography) 장치를 이용하여 뇌(腦)의 언어관련영역에서 나오는 신경신호를 모니터링한 다음, ② 순환신경망(RNN: recurrent neural network)이라는 인공신호망을 이용하여 그 신호를 직접 합성언어로 해독하는 접근방법을 택했다.

b. Anumanchipalli et al.은 선행연구와 다른 접근방법을 개발했는데, 그 내용인즉 두 가지 해독단계에서 RNN을 이용하는 것이다.

첫 번째 단계(성도운동 추정)에서, 신경신호는 성도조음기관(vocal-tract articulators: 빨간색)의 추정된 운동(estimated movement)으로 전환된다. (여기서 성도조음기관이란, 언어생성에 관여하는 해부학적 구조를 말하며, 입술·혀·후두·턱을 포함한다.) 저자들은 AI 알고리즘을 훈련시키기 위해, 개인의 성도운동을 신경활성과 관련시키는 데이터가 필요로 했다. 그러나 개인의 성도운동을 직접 측정하는 것은 불가능했으므로, 선행연구의 대규모 라이브러리(많은 사람들의 '성도운동과 언어와의 관계'가 수록된 데이터베이스)에 기반하여 그러한 운동을 추정하는 RNN을 구축했다. 이렇게 구축된 RNN이 추정한 성도운동은 해독장치를 훈련시키기에 충분했다.

두 번째 단계(언어합성)에서, 저자들은 추정된 성도운동을 합성언어로 전환했다. 저자들은 이상과 같은 2단계 접근방법을 이용하여, 기존의 1단계 접근방법(direct decoding approach)보다 왜곡이 현저하게 감소한 음성문장(spoken sentence)을 생성할 수 있었다.

※ 출처: 참고 4


※ 참고문헌
1. Anumanchipalli, G. K., Chartier, J. & Chang, E. F. Nature (2019); https://doi.org/10.1038/s41586-019-1119-1
2. https://doi.org/10.1038/s41598-018-37359-z
3. Angrick, M. et al. J. Neural Eng. (2019); https://doi.org/10.1088/1741-2552/ab0c59
4. https://preview-www.nature.com/platform/rh/preview/page/nature/brain-implants-that-let-you-speak-your-mind/16645644

※ 출처: Nature https://www.nature.com/articles/d41586-019-01328-x

 

아름다움의 진화

  추천 0
  
인쇄하기 주소복사 트위터 공유 페이스북 공유 
  
양병찬 (약사, 번역가)
서울대학교 경영학과와 동대학원을 졸업하고, 은행, 증권사, 대기업 기획조정실 등에서 일하다가, 진로를 바꿔 중앙대학교 약학대학을 졸업하고 약사면허를 취득한 이색경력의 소유자다. 현재 서울 구로구에서 거주하며 낮에는 약사로, 밤에는 전문 번역가와 과학 리포터로...
다른 연재기사 보기 전체보기 >
[바이오토픽] 고통스러운 유산(painful legacy) - 부모의 정서적 트라우마는 대물림될까?
부모의 정서적 트라우마(emotional trauma)는 후성유전학을 통해 자녀의 생물학을 바꿀 수 있는 것으로 알려져 있다. 생쥐를 대상으로 한 실험에서, 트라우마를 경험한 부모...
[바이오토픽] WHO, 에볼라 집단발병에 대해 『글로벌 공중보건 비상사태』 선포
WHO의 결정으로 인해, 콩고민주공화국에서 1년간 진행되고 있는 에볼라 집단발병 사태와 싸우기 위해 할당되는 가용자원이 증가할 것으로 보인다. 세계보건기구(WHO)는...
[바이오토픽] 세계 최강의 흰줄숲모기, 중국의 두 섬에서 거의 박멸
연구자들은 '세계에서 가장 지독한 모기'로 알려진 흰줄숲모기(Aedes albopictus)를 중국 광저우(广州)의 두 섬에서 거의 전멸시켰다. 그들은 사상 최초의 현장실험에서,...
본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다. [기사 오류 신고하기]
 
  댓글 0
등록
GE Healthcare Life Sciences
최근 관련 뉴스
5년전 오늘뉴스
[신기한 곤충이야기]188. 곤충의 로드 킬
염색체 분열 조절 과정서 암 발생 비밀 규명...서울대 이기원 교수팀
1번 주사로 부작용 없이 당뇨병 마우스의 혈당 정상화
연구정보중앙센터
위로가기
동향 홈  |  동향FAQ  |  동향 문의 및 제안
 |  BRIC소개  |  이용안내  |  이용약관  |  개인정보처리방침  |  이메일무단수집거부
Copyright © BRIC. All rights reserved.  |  문의 member@ibric.org
트위터 트위터    페이스북 페이스북   유튜브 유튜브    RSS서비스 RSS