語言是人類思維的媒介，是人與人之間溝通的主要形式，腦卒中、腦腫瘤、腦脊髓外傷、肌萎縮性脊髓側(cè)索硬化癥（又稱“漸凍癥”）等重大腦疾病可能造成語言功能障礙，我國約有800萬病人因這些疾病而失去語言能力。國際上應用腦機接口技術(shù)已實現(xiàn)英語、西班牙語等西方語言合成。漢語作為世界上使用人口最多的語言，在聽說讀寫各方面具有特殊性。如何針對漢語言神經(jīng)編解碼機制的特異性實現(xiàn)漢語合成是當前漢語言腦機接口重大挑戰(zhàn)。

最新研究成果

近日，中國科學院上海微系統(tǒng)所傳感器技術(shù)全國重點實驗室周志濤研究員團隊與復旦大學附屬華山醫(yī)院吳勁松主任醫(yī)師團隊、上海腦虎科技有限公司陶虎研究員團隊合作，于國際上首次實現(xiàn)腦機接口實時漢語解碼和語句合成。項目團隊針對漢語解碼開發(fā)了256導高通量柔性腦機接口和實時神經(jīng)網(wǎng)絡(luò)解碼算法，利用該系統(tǒng)，受試者訓練九天后，394個漢語音節(jié)（漢語音節(jié)總共400個左右，解碼未覆蓋音節(jié)為生僻音節(jié)且受試者不認識）純神經(jīng)解碼平均準確率71.2%，單音節(jié)解碼延時65 ms，實時漢語語句解碼速率49.6字/分鐘。相關(guān)研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”為題，發(fā)表在《科學·進展》（Science Advances）上，并被Science著專文報道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease”

關(guān)鍵技術(shù)

研究團隊選取了一位語言區(qū)占位的腫瘤癲癇患者作為研究參與者，在幫助患者定位癲癇病灶的同時進行語言解碼任務(wù)。植入電極覆蓋了顳中回、顳上回及腹側(cè)感覺運動皮層等語言解碼相關(guān)腦區(qū)，實現(xiàn)了對漢語單字與句子任務(wù)下高通量神經(jīng)信號的高質(zhì)量記錄。通過構(gòu)建多級實時解碼數(shù)據(jù)流，以50毫秒滑窗精準提取High-γ頻段（70-170 Hz）活動，對齊神經(jīng)信號與語音起始點，并驅(qū)動雙流解碼器同步生成音節(jié)與聲調(diào)概率分布，最終融合語言模型進行束搜索，實現(xiàn)了實時輸出漢語語句。基于實時漢語解碼技術(shù)，結(jié)合自主研發(fā)的通用型腦機操作系統(tǒng)，受試者實現(xiàn)了驅(qū)動數(shù)字分身、對話人工智能大模型，并能將人的腦電解碼成語言進而轉(zhuǎn)化成指令實時操控靈巧手實現(xiàn)人機交互。

實時漢語解碼腦機接口系統(tǒng)框架和電極貢獻度表征

論文第一作者為華山醫(yī)院博士生錢友坤和上海微系統(tǒng)所博士后劉昶江，通訊作者為華山醫(yī)院吳勁松主任醫(yī)師和上海微系統(tǒng)所周志濤研究員。該研究工作得到了中國科學院青年創(chuàng)新促進會優(yōu)秀會員（Y2023070）、上海市科技創(chuàng)新行動計劃腦機接口項目（24DP3200100）、復旦大學人工智能專項基金（IDF151075）、上海市白玉蘭浦江計劃（24PJD134）等項目的支持。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.adz9968