하나의 뇌 임플란트로 말과 제스처를 동시에 해독했다

미국 캘리포니아대학 샌프란시스코(University of California, San Francisco) 연구진이 한 개의 고밀도 뇌표면 전극(ECoG)으로 말과 제스처를 동시에 해독해 개인화한 가상 아바타를 제어할 수 있음을 밝혔다. 이 연구 결과는 Nature Neuroscience에 2026년 9월 14일 공개됐다.

연구진은 만성적인 중증 마비를 가진 참가자 3명에게 대뇌 운동감각영역 위에 고밀도 ECoG 그리드를 만성 이식하고, 말(구강·안면 관련)과 상지(손·팔)·머리·시선 관련 동작을 시도하게 하며 신호를 기록했다. 실험은 말만 시도하는 조건, 제스처만 시도하는 조건, 말과 제스처를 동시에 시도하는 조건으로 구성됐고, 일부 참가자에게는 발성(명백한 소리) 시도와 무언의 시도 전략이 섞여 있었다.

핵심 결과는 세 가지다. 첫째, 한 개의 ECoG 그리드로 구강·안면과 손·팔을 포함한 여러 효과기(동작 계통)의 신경 표현을 샘플링할 수 있었다. 둘째, 말 전용 또는 제스처 전용으로 학습한 모델은 동일한 맥락의 시험에서 잘 작동했지만, 단독 학습 모델만으로 동시 시도 데이터를 일반화하지 못해 성능이 떨어졌다. 셋째, 고립된 행동 데이터와 동시 행동 데이터를 함께 넣어 학습한 하이브리드 모델은 고립·동시 시험 모두에서 높은 정확도를 유지했고, 특정 말·제스처 조합을 훈련에서 보지 않았더라도 새로운 조합으로의 일반화가 가능함을 보였다.

연구진은 동시 행동에서 일부 전극이 말과 제스처 둘 다에 반응하며 표적 전기 활동이 부분적으로 겹친다고 설명했다. 동시 데이터로 학습하면 모델이 이러한 중첩 전극의 가중치를 조정해 동시 상황에서 더 분리된 신호를 활용하게 되고, 이로 인해 동시 문맥에서의 디코딩 성능이 향상된다고 연구진은 밝혔다. 또한 문맥을 포함한 학습은 모델 임베딩(내부 표현)의 분포를 고립·동시 간에 더 가깝게 만들었지만, 두 문맥의 표현 구조 차이는 완전히 사라지지 않았다고 밝혔다.

논문은 몇 가지 한계를 명시했다. 고립 학습만으로는 동시 행동을 신뢰성 있게 해독할 수 없었고, 학습에 동시 사례를 포함하는 것이 필요했다. 또한 장기간 추적에서 모델 안정성은 참가자와 모달리티에 따라 달라졌고, 최신 데이터를 포함하면 성능이 개선되는 경향을 보였다고 밝혔다. 마지막으로 연구는 세 명의 참가자 데이터를 바탕으로 한 증거이므로 더 넓은 참가자군과 다양한 임플란트 범위에서의 검증이 필요하다고 논문이 밝혔다.

배경 맥락에서 연구진은 자연스러운 의사소통은 종종 말과 제스처가 동시에 일어나는 다중 효과기 행동이며, 기존 BCI 연구는 주로 행동을 분리해 연구해 왔다고 정리했다. 이번 결과는 하나의 뇌 임플란트로 다중 효과기 제어가 가능하다는 개념증명을 제시하며, 실제 임상·일상 환경에서 쓰려면 훈련 데이터에 동시 문맥을 포함하는 설계와 장기적인 안정성 관리가 중요함을 시사한다.