中國科學院在腦機接口漢語解碼方面取得進展
關(guān)鍵詞: 腦機接口 實時漢語解碼 雙流解碼架構(gòu) 通用型腦機操作系統(tǒng) 語言障礙患者
語言是人類思維的媒介,是人與人之間溝通的主要形式,腦卒中、腦腫瘤、腦脊髓外傷、肌萎縮性脊髓側(cè)索硬化癥(又稱“漸凍癥”)等重大腦疾病可能造成語言功能障礙,我國約有800萬病人因這些疾病而失去語言能力。國際上應用腦機接口技術(shù)已實現(xiàn)英語、西班牙語等西方語言合成。漢語作為世界上使用人口最多的語言,在聽說讀寫各方面具有特殊性。如何針對漢語言神經(jīng)編解碼機制的特異性實現(xiàn)漢語合成是當前漢語言腦機接口重大挑戰(zhàn)。
最新研究成果

近日,中國科學院上海微系統(tǒng)所傳感器技術(shù)全國重點實驗室周志濤研究員團隊與復旦大學附屬華山醫(yī)院吳勁松主任醫(yī)師團隊、上海腦虎科技有限公司陶虎研究員團隊合作,于國際上首次實現(xiàn)腦機接口實時漢語解碼和語句合成。項目團隊針對漢語解碼開發(fā)了256導高通量柔性腦機接口和實時神經(jīng)網(wǎng)絡(luò)解碼算法,利用該系統(tǒng),受試者訓練九天后,394個漢語音節(jié)(漢語音節(jié)總共400個左右,解碼未覆蓋音節(jié)為生僻音節(jié)且受試者不認識)純神經(jīng)解碼平均準確率71.2%,單音節(jié)解碼延時65 ms,實時漢語語句解碼速率49.6字/分鐘。相關(guān)研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”為題,發(fā)表在《科學·進展》(Science Advances)上,并被Science著專文報道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease”

關(guān)鍵技術(shù)
研究團隊選取了一位語言區(qū)占位的腫瘤癲癇患者作為研究參與者,在幫助患者定位癲癇病灶的同時進行語言解碼任務(wù)。植入電極覆蓋了顳中回、顳上回及腹側(cè)感覺運動皮層等語言解碼相關(guān)腦區(qū),實現(xiàn)了對漢語單字與句子任務(wù)下高通量神經(jīng)信號的高質(zhì)量記錄。通過構(gòu)建多級實時解碼數(shù)據(jù)流,以50毫秒滑窗精準提取High-γ頻段(70-170 Hz)活動,對齊神經(jīng)信號與語音起始點,并驅(qū)動雙流解碼器同步生成音節(jié)與聲調(diào)概率分布,最終融合語言模型進行束搜索,實現(xiàn)了實時輸出漢語語句。基于實時漢語解碼技術(shù),結(jié)合自主研發(fā)的通用型腦機操作系統(tǒng),受試者實現(xiàn)了驅(qū)動數(shù)字分身、對話人工智能大模型,并能將人的腦電解碼成語言進而轉(zhuǎn)化成指令實時操控靈巧手實現(xiàn)人機交互。

實時漢語解碼腦機接口系統(tǒng)框架和電極貢獻度表征
論文第一作者為華山醫(yī)院博士生錢友坤和上海微系統(tǒng)所博士后劉昶江,通訊作者為華山醫(yī)院吳勁松主任醫(yī)師和上海微系統(tǒng)所周志濤研究員。該研究工作得到了中國科學院青年創(chuàng)新促進會優(yōu)秀會員(Y2023070)、上海市科技創(chuàng)新行動計劃腦機接口項目(24DP3200100)、復旦大學人工智能專項基金(IDF151075)、上海市白玉蘭浦江計劃(24PJD134)等項目的支持。
論文鏈接:https://www.science.org/doi/10.1126/sciadv.adz9968