영화 ‘바이오닉'에서 운동선수들의 기술 향상은 마치 사람들이 꿈꿔오던 초인의 능력을 대변하는 것 같다. 인간은 오랫동안 능력의 증강을 통해 얻을 수 있는 기회에 매료되어 왔다. 영화에서도 보여 준 것처럼, 신체 능력을 증가시키는 기술은 뇌에 크게 의존한다는 것을 볼 수 있다. 위의 연구에서도 로봇 엄지손가락으로 성공적인 운동 증강이 가능한지, 그리고 그것으로 생물학적 손의 신경 표현과 기능에 어떤 영향을 미치는 조사 하였다. 위의 언급한 모든 참여자들은 비장애인으로 5일 동안 실험실 기반 및 비구조화된 일상용을 모두 포함하여 로봇엄지를 사용하도록 훈련을 받았다 (그림 2). 동시에 연구자들은 참가자들의 증강된 손만을 사용하여 일반적인 양손 작업을 완료토록 도전하게 하고, 손과 로봇의 상호작용을 개발할 수 있는 능력을 조사하였다. 참가자 전원은 훈련 전후에 증강 손의 표현을 조사하기 위해 고안된 다양한 행동 및 뇌 영상 테스트를 거쳤다. 

연구결과를 간략히 살펴보면, 훈련을 통해 인지 부하가 증가하거나, 시야가 가려진 상태에서도 엄지손가락의 운동 제어, 민첩성, 손과 로봇의 협응력이 향상되었다. 또한 로봇 엄지 손가락에 대한 구체화 감각도 향상되었다. 결과적으로 로봇 엄지에 의한 증강은 손 표현과 운동 제어의 주요 측면에 영향을 미쳤습니다. 세 번째 엄지 손가락을 사용하면 생물학적 손의 자연스러운 운동학적 시너지 효과가 약화되었다. 또한 뇌 영상분석 결과, 세 번째 엄지를 착용하지 않은 상태에서도 훈련 후 증강 손의 운동 표현이 경미하게 무너지는 것으로 나타났다. 이러한 연구 결과를 종합해 볼 때 운동 증강은 유연한 사용, 인지 의존도 감소, 구체화 감각 증가 등의 잠재력을 통해 쉽게 달성할 수 있음을 보여준다. 그러나 이러한 증강은 생물학적 손의 표현에 변화를 초래할 수 있다. 이러한 신경인지적 결과는 미래의 증강 기술을 성공적으로 구현하는 데 매우 중요하다고 결론에서 강조되었다 (출처 4).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 2. 제3의 엄지손가락 로봇 사용실험의 설계와 훈련과정. (A~C) 3D 프린팅으로 제작된 로봇 엄지. 
손바닥 측면(1)에 장착된 Thumb은 두 개의 모터(손목 밴드에 고정)로 작동하여 굴곡/굴곡을 독립적으로 제어할 수 있다. 엄지 손가락은 (2) 외부 배터리로 전원이 공급되며, 팔에 묶고 (3) 참가자의 엄지발가락 아래쪽에 고정된 두 개의 힘 센서로 무선 제어된다. (D) 증강 그룹을 위한 실험 설계. (E) 손-엄지 손가락 협업, 공유 감독, 엄지 손가락 개별화에 사용된 실험실 내 훈련 과제 예시. 증강 참가자들은 훈련 세션 전반에 걸쳐 모든 과제에서 유의미한 성능 향상을 보였다 (출처 4). 

위에서도 간략히 언급하였지만, 로봇 엄지손가락을 사용하면서, 생물학적 손의 신경반응에 변화가 몇 가지 관찰되었다 (출처 4). 

1. 약화된 자연 운동 시너지: 제3의 엄지손가락 사용은 생물학적 손의 자연 운동 시너지(손가락이 함께 움직이는 조정된 움직임)를 약화시켰다. 이는 손가락이 자연스럽게 함께 움직이는 방식이 방해받았음을 의미한다.

2. 변경된 운동 제어: 참가자들은 생물학적 손의 운동 제어에 변화를 보였다. 제3의 엄지손가락 훈련 후, 손 움직임의 복잡성이 증가하여 더 정교하고 덜 동기화된 손가락 움직임이 관찰되었다.

3. 감소된 손가락 간 조정: 생물학적 손의 개별 손가락 간 조정이 감소했다. 손가락 간 결합(손가락이 서로 관련하여 움직이는 방식)이 줄어들어 손가락이 더 독립적으로 움직이게 되었다.

4. 신경 표현의 축소: 생물학적 손의 신경 표현이 덜 분명해졌다. 이는 뇌의 서로 다른 손가락을 제어하는 영역이 훈련 후 더 많이 겹쳐졌음을 의미하며, 각 손가락의 표현이 덜 분명해지는 "축소"를 초래했다.

5. 감소된 손가락 간 거리: 기능적 MRI(fMRI) 뇌 스캔에서 제3의 엄지손가락 사용 후 증강된(오른쪽) 손의 신경 표현에서 손가락 간 거리가 크게 줄어든 것이 발견되었다. 이는 뇌에서 개별 손가락의 표현이 덜 분명하고 더 많이 겹쳐졌음을 시사한다.

6. 안정적인 전체 활동 수준: 증강된 손의 표현 축소는 손 영역의 전체 활동 수준의 순 차이와 관련이 없었다. 이는 변화가 개별 손가락의 표현과 조정에 특화되었으며 일반적인 활동 변화와 관련이 없음을 나타낸다.

부정적인 효과가 발생했다고 볼 수도 있지만, 이런 연구결과들은 운동 증강 장치의 설계 및 사용에 중요한 의미를 가지며, 증강이 특정 능력을 향상시킬 수도 있는 반면, 생물학적 신체에서 상당한 신경 및 기능적 적응을 초래할 수 있음을 시사한다 (그림 3).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 3. 손 증강 후 생물학적 손의 표현이 축소. (A) 감각 운동 손 영역은 일차 운동 피질 분할을 기반으로 해부학적으로 정의. 
(B) 훈련 전후의 오른쪽(증강된) 손의 그룹 평균 이질성 행렬. 각 셀은 두 손가락의 표현 패턴 사이의 마하라노비스(교차 검증) 거리를 보여준다 (임의의 단위). (C) 엄지 손가락 사용 후 오른손(증강)과 왼손(비증강)의 평균 손가락 간 거리가 크게 감소했다. (D) 왼쪽 및 오른쪽(증강) 표현 구조의 MDS (Multi Dimensional Scaling) 묘사. 타원은 참여자 간 SE를 나타낸다. 어두운 색은 사후 스캔을 나타내고 밝은 색은 사전(기준선) 스캔을 나타냅니다. 빨간색, D1; 노란색, D2; 녹색, D3; 파란색, D4; 보라색, D5. (E) BA6의 분할을 기준으로 해부학적으로 정의된 SMA (Supplementary Motor Area) ROI. (F) SMA에서 정량화된 손과 발 사이의 거리는 오른손의 경우 크게 감소하지만 왼손은 감소하지 않습니다. (G) SMA에서 신체 부위 간 거리의 MDS 묘사. 어두운 색은 사후 스캔을 나타내고 밝은 색은 사전(기준선) 스캔을 나타낸다 (출처 4).

‘바이오닉의 등장으로 변화된 스포츠 세계’

영화 <바이오닉>에는 또 다른 주인공들이 등장한다. 바로 넓이뛰기 선수인 마리아, 가비 산투스와 그녀들의 막내 동생 구스이다. 둘째인 가비는 현재 바이오닉 넓이뛰기 대회 세계 1위를 달리고 있는 선수이며, 대중들에게 인기가 많다. 그녀는 어린 시절 종양 때문에 한쪽 다리를 절단할 수밖에 없었다. 이 세명의 어머니는 엘레나 산투스로 한때 넓이뛰기 세계 1위 선수였으나, 젊은 나이에 죽음을 맞이했다. 그리고 이 가족의 아버지는 현재 가비의 코치 및 매니저 일을 하고 있다. 마리아는 한때 넓이뛰기 유망주였으며 그녀의 어머니는 자신이 살아 있을 때 그녀에게 혹독한 훈련을 시켰고, 아버지는 가비의 훈련을 맡았으며, 막내 동생 구스는 스포츠와 전혀 상관없는 삶을 살아가고 있다.

영화 초반에 등장했던 미도우의 형인 에이토르는 '바이오닉'으로 대체된 스포츠 세계를 부정하며, 이 때문에 일반 선수들이 더 이상 스포츠 경기에 참가할 수 없다는 이유로 혁명을 원하고 있는 인물이다. 더욱이 대회에 나가고 싶은 일반 선수들은 사고를 위장하여 자신의 팔이나 다리를 절단하고 바이오닉 보철물을 결합하여 바이오닉 대회에 나가는 불법적인 행위들도 자행되고 있었다.

마리아는 바이오닉 의족으로 세계 선수권 대회 1위를 달리고 있는 동생 가비를 응원하면서도 자신의 훈련에 소홀하지 않는 성실한 선수였고, 한편으로는 내심 시기와 질투가 있었다. 막내 동생 구스가 에이토르와 함께 일을 하게 되면서 자연스레 에이토르를 알게 되었고, 둘은 연인관계로 발전하기 시작한다. 그리고 가비의 스포츠 성적에 대한 파티가 있던 날, 마리아는 파티에 참석 후 오토바이를 타고 도로를 질주하다가 옆도로에서 치고 들어오는 차량과 부딪혀 다리 한쪽을 잃게 된다. 이 사건 때문에 마리아 역시 동생 가비처럼 바이오닉 의족을 차게 된다.

‘Neurorobotics’

뉴로로보틱스(Neurorobotics)는 신경과학과 로봇공학의 융합 분야로, 두 분야의 연구를 통합하여 로봇 시스템을 개발하고 인간의 뇌와 로봇 간의 상호 작용을 이해하려는 학문이다. 뉴로로보틱스는 신경과학의 원리와 지식을 로봇 설계에 적용하여 보다 자연스러운 인간-로봇 상호 작용을 가능하게 하며, 동시에 로봇을 활용하여 신경과학 연구에 새로운 통찰을 제공한다.

세분화된 연구 분야들을 살펴보면, 아래와 같이 몇 가지로 나눠 볼 수 있다. 

1. 신경제어 로봇(Brain-controlled robots): 뉴로로보틱스는 인간의 뇌 신호를 이용해 로봇을 제어하는 기술을 연구한다. 이를 통해 뇌-기계 인터페이스(BMI)나 뇌-컴퓨터 인터페이스(BCI)를 활용하여 인간이 직접 로봇을 조작할 수 있게 한다 (그림 4).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 4. 제안된 MDCBN (Multi-Directional Convolution neural network-Bidirectional long short-term memory Network) 프레임워크를 사용한 BMI 기반 로봇 팔 제어를 위한 전체 시스템 아키텍처.
MDCBN은 다방향 팔 도달을 위해 3D 축(x축, y축, z축)을 고려하도록 설계되었다 (출처 5).

2. 로봇을 통한 신경 재활(Robot-assisted neurorehabilitation): 로봇을 이용하여 신경 재활을 지원하는 기술이다. 뇌졸중, 척수 손상 등의 신경계 손상 환자들이 로봇을 사용하여 재활 운동을 수행함으로써 회복을 촉진할 수 있다 (그림 5).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 5. 신경재활 치료.
(A1) 엔드포인트 로봇: 왼쪽은 “Braccio di Ferro” 매니퓰란덤, 오른쪽은 자세 로봇 Hunova. 브라치오 디 페로는 이탈리아 제노바 대학에서 개발한 2-DOF를 갖춘 평면형 매니퓰란둠. 다이렉트 드라이브 브러시리스 모터가 장착되어 있으며 엔드포인트 관성을 최소화하도록 특별히 설계되었음. 다른 기기와 운동 프로토콜을 공유할 수 있는 H3DAPI 프로그래밍 환경을 사용한다. 모벤도 테크놀로지의 후노바는 전신 재활이 가능한 로봇 기기. (A2) 웨어러블 디바이스: 최근 출시된 외골격 트윈. Twin은 IIT에서 개발하고 INAIL(이탈리아 국립 산재 보험 연구소)이 공동 투자한 완전 모듈식 장치. 이 기기는 환자/치료사가 쉽게 조립/분해할 수 있다. 최대 110kg의 체중을 가진 5-95 백분위수 범위의 환자에게 총체적인 지원을 제공. 각 모터의 양쪽 끝에 각각 위치한 8개의 퀵 릴리스 커넥터를 통해 모듈식으로 구현되어 나머지 구조물과 기계적 및 전기적으로 연결할 수 있다. 모바일 장치의 GUI를 통해 환자의 필요에 따라 완전히 맞춤화할 수 있는 세 가지 보행 패턴을 구현할 수 있으므로 다음과 같은 이점이 있다. 치료의 개인화를 가능하게 한다. 걸음걸이는 IMU 기반 기계 상태 컨트롤러를 통해 트리거할 수 있다. (B1) 반복 경두개 자기 자극(rTMS) 표현. rTMS는 반복적인 모드에서 자기 펄스를 적용하는 것을 말한다. 저주파(0.2-1Hz)에서 적용되는 기존의 rTMS는 피질 흥분성을 소성 억제하는 반면, 고주파(≥5Hz)에서 적용하면 흥분으로 이어진다. rTMS는 “패턴 모드”로도 적용될 수 있다. 세타 버스트 자극은 200ms 간격으로 반복되는 고주파 자기 자극(50Hz에서 세 번의 펄스)을 적용한다. 간헐적 TBS는 20~30분 동안 피질 흥분성을 증가시키는 반면, 지속적인 TBS는 거의 같은 시간 동안 피질 활동을 억제한다. (B2) 경두개 전류 자극(tCS) 표현. tCS는 초저강도 전류를 사용하여 뉴런의 막 전위를 조작하고 자발적인 발화 속도를 조절하지만 그 자체로는 휴식 중인 뉴런이나 축삭을 방전시키기에는 불충분하다. tCS는 경두개 직류 자극, 경두개 교류 자극, 경두개 무작위 잡음 자극 등 여러 뇌 조절 패러다임을 포괄적으로 지칭하는 용어이다. (C) 일반적인 BCI 시스템. 뇌 신호 획득, 전처리, 특징 추출/선택, 분류, 애플리케이션 인터페이스의 다섯 단계로 구성된다. 첫 번째 단계인 뇌 신호 획득 단계에서는 적절한 모달리티를 사용하여 적절한 신호를 획득한다. 획득된 신호는 일반적으로 약하고 노이즈(생리적 및 도구적) 및 아티팩트가 포함되어 있기 때문에 두 번째 단계인 전처리가 필요하다. 세 번째 단계에서는 유용한 데이터 또는 소위 '특징'을 추출한다. 네 번째 단계에서 이러한 특징은 적절한 분류기를 사용하여 분류된다. 마지막으로 다섯 번째 단계에서는 분류된 신호가 컴퓨터나 기타 외부 장치로 전송되어 장치에 원하는 제어 명령을 생성한다. 뉴로피드백 애플리케이션에서 애플리케이션 인터페이스는 뇌 활동을 실시간으로 표시하여 뇌 기능을 스스로 조절할 수 있게 해 준다 (출처 6).

3. 인간-로봇 상호작용(Human-robot interaction, HRI): 로봇과 인간이 보다 자연스럽고 효율적으로 상호 작용할 수 있도록 하기 위해, 인간의 신경 및 생리적 반응을 이해하고 이를 로봇 설계에 반영한다.

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 6. 다양한 종류의 Human-robot interaction, HRI. 신호 입력, 신호 출력, 그리고 멀티모달 인간-로봇 상호작용의 실제 적용에 대해 간략한 모식도 (출처 7).

4. 뇌 신경망 모델링 및 시뮬레이션(Neural network modeling and simulation): 뉴로로보틱스는 뇌의 신경망을 모델링하고 시뮬레이션하여 로봇의 인공지능(AI) 시스템을 개발한다. 이를 통해 로봇이 보다 인간과 유사한 방식으로 학습하고 의사 결정을 내릴 수 있다 (그림 7).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 7. 신경망 모델을 생물학적으로 가장 근접하게 만들기 위한 7가지 제약 조건. 
제약 조건은 피질 뉴런, 국소 피질 회로 및 거시적 뇌 구조 수준에서 모델링의 통합을 다루며 특히 뉴런 모델의 특성, 시냅스 가소성 및 학습의 구현, 흥분성 및 억제성 뉴런 간의 상호작용을 통한 조절 및 제어, 총 해부학적 구조와 영역 세분 및 국소적 영역 내 연결성 및 글로벌 영역 간 연결성. 현재 인지 모델링에 사용되는 대부분의 네트워크 모델은 이러한 측면 중 하나 또는 몇 가지에만 초점을 맞추는 반면, 뇌 제약 모델링은 이러한 모든 측면을 통합하는 네트워크를 향해 작동한다 (출처 8).

5. 자율 로봇 시스템(Autonomous robotic systems): 뉴로로보틱스는 자율적으로 동작하고 학습할 수 있는 로봇 시스템을 개발한다. 이러한 시스템은 신경과학의 원리를 바탕으로 환경을 탐색하고 적응하며 학습할 수 있다 (그림 8).

(이미지를 누르시면 원본 이미지를 보실 수 있습니다. ) 
그림 8. 자율 보조 음주를 위한 로봇 시스템. 
로봇 시스템에는 로봇 팔, 시각 추적 시스템, 로봇 컨트롤러가 포함. 추적 시스템은 두 개의 하드웨어 센서와 세 개의 소프트웨어 구성 요소로 이루어져 있다. 또 다른 필수 구성 요소는 로봇 팔 컨트롤러의 센서 정렬 보정이며, 이를 통해 입의 위치를 정확하게 파악할 수 있다 (출처 9).

뉴로로보틱스는 신경과학과 로봇공학의 융합을 통해 인간의 뇌와 로봇 간의 상호 작용을 이해하고, 이를 바탕으로 보다 인간 친화적이고 효과적인 로봇 시스템을 개발하는 혁신적인 분야라고 말할 수 있다. 이 분야의 연구는 의학, 산업, 서비스 등 다양한 분야에서 응용 가능성을 가지고 있으며, 미래의 로봇 기술 발전에 중요한 기여를 할 것으로 보인다.

‘뇌와 연결된 보철물’

바이오닉 시스템은 'NIM'이란 작은 칩셋을 뇌에 삽입하여 바이오닉 보철물과 연결되는 시스템이다. 그러나 NIM을 마음껏 활용할 수는 없었었다. NIM 칩셋을 제대로 활용하기 위해서는 NIM 수치를 확인하여야 하기 때문이다. 이는 손목에 디스플레이 타입으로 표시가 되는데, 긴장하거나 피로가 쌓이게 되면 NIM 수치가 떨어져 바이오닉 보철물을 사용하지 못할뿐더러 혼수상태에 빠지기도 한다. 

영화에서 보여주는 NIM이라는 칩의 뇌 이식은 뇌를 통한 보철물의 통제 가능성을 보이며, 결국, 뇌의 신호가 중요한 역할을 하는 것처럼 표현되었다. 실현 가능성들이 뉴로로보틱스 연구들을 통해 그려지고 있다. 

마리아는 바이오닉 보철 다리를 얻고 훈련에 돌입하여 동생 가비와 경쟁할 기회를 얻는다. 에이토르가 다이아몬드를 훔쳐 판 돈으로 NIM 칩셋 정보를 얻으려는 계획에 마리아도 동참하게 되고, 현금 수송 차량을 공격하여 성공하지만 에이토르가 사람을 죽이는 모습을 보고 갈등을 느끼기 시작한다. 한편, 넓이뛰기 대회에서 마리아는 세계 1위를 차지하지만, 가비는 NIM 수치가 떨어져 기절하고 앞으로 넓이뛰기를 할 수 없게 된다.

NIM을 훔치기 위해 마리아는 에이토르의 지시에 따라 성공하지만, 헬멧을 벗어 얼굴이 드러나 경찰에게 추적당한다. 경찰은 마리아의 오토바이 사고가 의도된 것임을 밝혀내고, 이를 들은 가비는 마리아가 사고를 계획했음을 알게 된다. 마리아는 동생 구스를 차로 치게 되어 구스는 심각한 부상을 입고 바이오닉 보철물을 착용하게 된다. 에이토르는 가비와 마리아를 납치한 후, NIM 구매자들 앞에서 마리아가 NIM 칩셋이 담긴 가방을 부수며 이야기가 전개됩니다.

이번 영화는 CG와 VFX의 효과가 수준 높았다는 평이 많으며, 할리우드 영화들과 견주어도 어디 하나 부족함이 없다는 평도 있다. 처음에는 기대를 안 하고 봤으나, 스포츠 경기에서의 보철물 등장과 변화에 대한 관점은 새로웠다. 실제로, 뉴로엔지니어링은 빠르게 발전하는 분야 중에 하나이다. 영화에서만 보이던 상상력의 산물들은 현실 속에서 실현 가능한 모습으로 등장하고 있다. 앞으로 더 놀라운 기술들과 현실성 있는 결과물들이 나오기를 기대한다. 

출처:

1. https://neurosciencenews.com/third-thumb-neuroplasticity-neurotech-26197/
2. https://www.cam.ac.uk/stories/third-thumb
3. https://scitechdaily.com/cambridge-scientists-develop-third-thumb-that-could-redefine-human-capability/
4. Kieliba, P., Clode, D., Maimon-Mor, R. O., & Makin, T. R. (2021). Robotic hand augmentation drives changes in neural body representation. Science robotics, 6(54), eabd7935.
5. Jeong, J. H., Shim, K. H., Kim, D. J., & Lee, S. W. (2020). Brain-controlled robotic arm system based on multi-directional CNN-BiLSTM network using EEG signals. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 28(5), 1226-1238.
6. Semprini, M., Laffranchi, M., Sanguineti, V., Avanzino, L., De Icco, R., De Michieli, L., & Chiappalone, M. (2018). Technological approaches for neurorehabilitation: from robotic devices to brain stimulation and beyond. Frontiers in neurology, 9, 344248.
7. Su, H., Qi, W., Chen, J., Yang, C., Sandoval, J., & Laribi, M. A. (2023). Recent advancements in multimodal human–robot interaction. Frontiers in Neurorobotics, 17, 1084000.
8. Pulvermüller, F., Tomasello, R., Henningsen-Schomers, M. R., & Wennekers, T. (2021). Biological constraints on neural network models of cognitive function. Nature Reviews Neuroscience, 22(8), 488-502.
9. Try, P., Schöllmann, S., Wöhle, L., & Gebhard, M. (2021). Visual sensor fusion based autonomous robotic system for assistive drinking. Sensors, 21(16), 5419.