腦機接口又一奇蹟!癱瘓患者用意念寫字,打字速度和你玩手機有得拚
2021年05月14日10:00

  最新一期的《自然》封面展示了一排歪歪扭扭的英文字母。這些字母的來曆相當特殊——一位脖子以下癱瘓的患者借助最新的腦機接口技術,寫下了這些文字。只需在腦中想像寫下字母的過程,神經算法就能複現自己所想的文字,並且最後轉化成打字的速度可能比你還快。

  撰文丨楊心舟

  “腦機接口”的概念在最近幾年逐漸走進了公眾的視野,一部分要歸功於馬斯克為自己旗下的腦機接口公司Neuralink所作的宣傳。他們展示的那些畫面令很多觀眾都印象深刻,例如去年他在發佈會上用三隻小豬展示了新一代腦機接口技術,研究者只需將一枚尺寸極小的芯片植入大腦,就能實時記錄豬的腦電信號。當飼養員給小豬喂食,它的一部分神經元就能發出腦電信號,預示著這是小豬大腦響應喂食的腦電模式。

  而通過連接計算機和算法分析,研究者就能根據腦電模式來推測使用對象的意圖。這也是腦機接口的主力發展方向:為那些肢體無法完成意圖的人,實現腦中所想。當然,馬斯克有時在宣傳時也會用力過度,提出一些類似心靈感應、永生等比較玄幻的概念。這一點在腦機接口創始人之一米格爾·尼可拉斯(Miguel Nicolelis)看來,就屬於不靠譜的地方了。

  在他眼中,腦機接口創立的目的是幫助那些腦部受到損傷、用常規方法已經無法治癒的人們,實現一定程度的功能。他曾給下半身癱瘓的巴西少年設計了一款以腦機接口為基礎的機械外骨骼,經過持久的訓練,腦機接口便能根據少年的腦電信號預測他的運動意圖,並推動外骨骼運動,這也讓他在巴西世界盃開幕式上踢動了足球。

  重建聯繫

  除了幫助人行走,腦機接口還能幫到一些連最基本的語言表達都存在問題的病人。許多閉鎖綜合徵或漸凍症患者幾乎所有的自主控制肌肉都已經癱瘓,他們因此無法發聲,有的僅能靠眼球移動來交流。更殘酷的是,他們的意識沒有問題,只是被困在了一副不能移動、不能發聲的軀殼里。

  如何讓他們重建與世界的聯繫?目前有一些眼球追蹤的設備,在屏幕提供一個鍵盤的條件下,通過計算機識別瞳孔注視的位置,就能確定使用者想選取的字符。這種技術能讓癱瘓患者每分鐘輸入45個字符,而正常人打字的字符數在每分鐘115個左右。不過,這種技術對於眼球無法移動的人就派不上用場了。

  而更普適的技術則非腦機接口莫屬了。最早在2017年,霍華德·休斯醫學研究所和斯坦福大學的聯合團隊就招募了3名四肢癱瘓的誌願者,並在他們的運動皮層上植入了腦機接口。這些誌願者需要想像使用手臂或手移動光標,利用計算機記錄此刻的腦電信號並進行分析處理。這樣,他們就能自如地在屏幕上移動光標,選取想要的字符。在當時,誌願者的測試結果大約是每分鐘打40個字符。

  如果說當年的技術讓他們實現了打字,那麼時隔4年,這一技術已經進步到了讓癱瘓患者寫字的水平。《自然》今日發表的論文就展示了一種全新的腦機接口,癱瘓患者僅憑意念就能在屏幕上書寫字符。

  這次參與實驗展示的是4年前那項研究的誌願者之一,被稱作T5,他因為脊髓受傷頸部以下都已經癱瘓。在此次新研究中,他大腦控制右手和右臂運動的腦區被植入了兩片微小的電極,大小和阿司匹林相當。

  T5要做的就是在大腦中想像自己在寫字,此時電極會接收神經元發出的信號,並傳輸到計算機中。研究者首先需要驗證的就是,這麼多年沒有握筆寫字,大腦的神經活動信號是否還能表徵寫字過程。

  我們知道,英文的每個字符形狀不一,書寫的方式和速度也因此具有差異。於是作者比對了虛擬筆尖的運行速度與神經活性,並引入了非線性降維方法(t-SNE)對每個試驗的神經活動進行二維可視化。這種方法能清晰地展示每一個字符的神經活動簇,以及運動編碼過程。根據預測,研究者根據神經活動判斷字符的準確率有 94.1%。

  這一結果說明,大腦沒有忘記寫字,它們可以正確地表徵字符信息。

  下一步,需要的就是讓算法破解這些信息,還原出真實場景下T5所寫的不同字符拚湊的長句子。研究者引入了循環神經網絡(RNN)來完成這一任務,RNN需要做的就是將神經活動轉化成描述字符的概率。

  T5需要完成的字符包括26個小寫字母和逗號、問號等符號。每當T5嚐試自己寫出一個句子時,計算機就會實時收集神經活動數據並用來訓練RNN。T5花了大概5天時間在頭腦中想像書寫,每天需要臨摹系統給出的7~10個句子,最終形成了7.6個小時,3.1萬多個字符的數據集。

  在這一過程中,RNN將逐漸“學會”區分不同字母對應的腦電信號。除了這些數據訓練,RNN還要額外接受自己從未接觸過的句子,以此來評估它的表現。

  和正常人一樣

  經過這些訓練,RNN的表現究竟如何呢?在實際測試中,T5會根據屏幕提示中重寫每個句子,算法會將自己破解的字符同步地展示在屏幕上。通過這種方式,T5每分鐘能大約打出18個詞,也就是90個字符。而4名誌願者玩手機打字的速度在每分鐘115個字符左右。即使是自由回答問題,T5的輸入也能達到每分鐘15個詞(約73.8個字符)。這比4年的技術翻了1倍。

  當然,神經算法也並不是絕對完美的,複製句子時,大約18~19字符中會出現一個錯誤;自由發揮時,大約11~12個字符里會出現一個錯誤。但不用擔心,植入我們輸入法的自動糾錯程式,同樣也能應用到腦機接口中。經過糾錯功能處理,錯誤率會下降到1%左右。

  也就是說,T5終於能實現自己的寫字夢想了。並且,他寫字的速度能與普通人一樣快,不再受限於自己特殊的身體。

  下一步,研究者需要將算法訓練得更加完備,讓被試能寫出更多字符,比如大寫字母和數字。這一點會更具挑戰性,因為許多字符會非常相似,比如2和Z,大寫的i、小寫的L和1。根據研究團隊的計劃,他們不僅要加入這些字符,還要讓失去言語功能的患者加入到測試中來。

  “交流是社會運轉的關鍵。”美國國家耳聾和言語疾病研究所的主任Debara Tucci表示。而腦機接口將給這些被身體囚禁的人,重新獲得正常交流的一次機會。

  原始論文:

  High-performance brain-to-text communication via handwriting

  https://www.nature.com/articles/s41586-021-03506-2

  本文轉自環球科學

關注我們Facebook專頁
    相關新聞
      更多瀏覽