《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 微波|射頻 > 業(yè)界動態(tài) > 華裔科學(xué)家:領(lǐng)銜全球首個實(shí)時解碼大腦信號項(xiàng)目

華裔科學(xué)家:領(lǐng)銜全球首個實(shí)時解碼大腦信號項(xiàng)目

2019-08-02
關(guān)鍵詞: 大腦信號 科學(xué)家

  腦機(jī)革命真的來了!

  大腦活動解碼語音已經(jīng)不是新鮮事,但是,實(shí)時地解碼大腦信號,將“聽到”和“說出”的對話轉(zhuǎn)變成文字,并且準(zhǔn)確率很高,是全球首次!

  2017年F8大會上,F(xiàn)acebook宣布了腦機(jī)接口(BCI)計(jì)劃,概述了構(gòu)建非侵入性可穿戴設(shè)備的目標(biāo),該設(shè)備能讓人們通過默想自己說的話來打字。

  作為這項(xiàng)工作的一部分,F(xiàn)acebook一直支持加州大學(xué)舊金山分校(UCSF)的一組研究人員,他們致力于通過實(shí)時檢測大腦活動中有意“想象”的聲音,來幫助神經(jīng)損傷的患者重新說話。

  今天,加州大學(xué)舊金山分校的研究團(tuán)隊(duì)在《自然-通訊》上發(fā)表論文,分享了他們的新研究。他們已建成一個腦機(jī)接口,可以準(zhǔn)確地實(shí)時從大腦解碼由佩戴設(shè)備的人聽到和說出的對話和短語。這是全球首個實(shí)時解碼大腦信號的問答語音的項(xiàng)目。

微信圖片_20190802114433.jpg

  這篇文章的資深作者是華裔科學(xué)家、加州大學(xué)舊金山分校神經(jīng)外科教授 Edward Chang 博士。

微信圖片_20190802114426.jpg

  Edward Chang

  Edward Chang 博士的研究重點(diǎn)是言語、運(yùn)動和人類情感的大腦機(jī)制,同時他也是加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的合作單位 —— 神經(jīng)工程與假肢中心的聯(lián)合負(fù)責(zé)人。該中心匯集了工程、神經(jīng)病學(xué)和神經(jīng)外科方面的專家,以開發(fā)最先進(jìn)的生物醫(yī)學(xué)技術(shù),用以恢復(fù)神經(jīng)系統(tǒng)殘疾患者的功能,如癱瘓和言語障礙。

  不久前,新智元報(bào)道了Edward Chang團(tuán)隊(duì)通過解碼腦電波,使用深度學(xué)習(xí)方法直接從大腦信號中合成口語句子的突破性研究,而這次的新研究更進(jìn)一步,從大腦信號解碼出對話,并轉(zhuǎn)換成文字。

  Edward Chang博士表示,在對話環(huán)境中實(shí)時解碼語音,對那些無法說話的患者有重要意義。

  Facebook AR/VR副總裁Boz將這一研究發(fā)到twitter上,引來吃瓜群眾熱議:

微信圖片_20190802114424.jpg

  Gjergj Dollani打趣道——未來新聞標(biāo)題:“2300萬大腦遭到大規(guī)模攻擊,數(shù)據(jù)安全受到破壞。”

微信圖片_20190802114421.jpg

  Harold Thimbleby表示:有意思;我只需通過想就能打出我想說的話。就這么簡單。(我可以想象 Tommy Cooper的聲音)

微信圖片_20190802114419.jpg

  Ed Ho表示:幫助腦部受傷的人是的非常酷的東西!

  接下來就為大家解讀這項(xiàng)非常有意思的研究。

  實(shí)時解碼問答對話,準(zhǔn)確率大幅提升

  Facebook的Mark Chevillet給了自己兩年時間來證明構(gòu)建一種非侵入性的BCI技術(shù)是否可行,這種技術(shù)可以從大腦活動中每分鐘讀出100個單詞。

  兩年過去了,Chevillet說:“我們確實(shí)認(rèn)為這是可能的。”

  作為Facebook現(xiàn)實(shí)實(shí)驗(yàn)室腦機(jī)接口項(xiàng)目的研究主管,Chevillet計(jì)劃推進(jìn)這個項(xiàng)目——以及開發(fā)增強(qiáng)現(xiàn)實(shí)眼鏡的最終目標(biāo),這種眼鏡無需大聲說話就可以控制。

微信圖片_20190802114415.jpg

  Mark Chevillet 是 Facebook Reality Labs 的腦機(jī)接口(BCI)項(xiàng)目研究主管

  Chevillet的樂觀情緒在很大程度上得益于今天早上宣布的腦機(jī)接口領(lǐng)域的第一項(xiàng)突破:發(fā)表在Nature Communications上,加州大學(xué)舊金山分校由Facebook現(xiàn)實(shí)實(shí)驗(yàn)室資助的一個團(tuán)隊(duì)已建成了一個腦-機(jī)接口,能夠?qū)崟r地從大腦信號中準(zhǔn)確解碼對話。

  這項(xiàng)研究的資深作者、加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang說,該研究結(jié)果是朝著神經(jīng)植入物的方向邁出的重要一步,這種神經(jīng)植入物可用于恢復(fù)因中風(fēng)、脊髓損傷或其他疾病而失去說話能力的患者的自然交流。

  不過,與生物醫(yī)學(xué)設(shè)備相比,F(xiàn)acebook對制造增強(qiáng)現(xiàn)實(shí)眼鏡更感興趣。Chevillet說,這項(xiàng)工作提供了一個原理證明,即通過測量大量神經(jīng)元的活動,可以從大腦信號中解碼想象的語言。“這一結(jié)果有助于設(shè)定我們需要打造的可穿戴設(shè)備的規(guī)范。”

  今年4月,Chang的團(tuán)隊(duì)首次推出了一種不同的腦-機(jī)接口,可以直接從大腦信號中解碼語音。今天發(fā)布的這項(xiàng)工作的目標(biāo)是提高解碼大腦活動的準(zhǔn)確性。

  Chang說:“我們正在從大腦的兩個不同部分解碼兩種信息,并將其用作上下文。”他說。結(jié)果是,這對解碼的準(zhǔn)確性產(chǎn)生了“相當(dāng)大的影響”。

  提高準(zhǔn)確度的基礎(chǔ)來自一個簡單的概念:添加上下文。

  UCSF的研究團(tuán)隊(duì)通過將電極植入三名癲癇患者的大腦中,記錄了他們的電腦活動;同時,志愿者被要求聽一組事先錄制的問題,并大聲說出他們的回答。

  然后,這些大腦數(shù)據(jù)被用來訓(xùn)練機(jī)器學(xué)習(xí)算法。接著,當(dāng)志愿者再次被要求回答問題時,算法只使用大腦活動來判斷志愿者是在聽還是在說,然后嘗試解碼話語。

微信圖片_20190802114411.jpg

微信圖片_20190802114409.jpg

  左邊是實(shí)際產(chǎn)生的問答,右邊是系統(tǒng)的解碼。

  大多數(shù)語音解碼器的工作原理是對一個人在想什么聲音做出最佳猜測,因此一般的大腦解碼器可能會將發(fā)音相似的單詞混淆,例如“synthesizer”(合成器)和“fertilizer”(肥料)。

  UCSF開發(fā)的新系統(tǒng)增加了上下文來幫助區(qū)分這些單詞。首先,該算法預(yù)測從一組已知問題中聽到的問題,比如“What do you spread on a field?”(你在田野上撒了什么?),然后,這些信息被用作上下文來幫助預(yù)測答案:“Fertilizer”(肥料)。

微信圖片_20190802114400.jpg

  在一個問題(藍(lán)色)和回答(紅色)的任務(wù)中,實(shí)時語音解碼的原理圖

  Chang說,通過添加上下文,腦-機(jī)接口更容易預(yù)測答案。

微信圖片_20190802114357.jpg

  問題-答案集

  使用一組特定的問題和答案,該系統(tǒng)能夠解碼感知(聽到)和產(chǎn)生(說出)的語音,準(zhǔn)確率分別達(dá)到76%和61%。研究團(tuán)隊(duì)表示,他們希望在未來擴(kuò)大系統(tǒng)的詞匯量。

微信圖片_20190802114355.jpg

更好的算法和更快的計(jì)算機(jī)也提高了研究中的解碼速度:Chang說,過去需要幾周到幾個月的離線處理,現(xiàn)在可以實(shí)時完成了。

微信圖片_20190802114353.jpg

  一個參與者的語音解碼和分類結(jié)果

  Facebook的終極目標(biāo):非侵入式的腦機(jī)接口設(shè)備

  UCSF研究團(tuán)隊(duì)的實(shí)驗(yàn)仍使用植入電極來獲取大腦信號:參與者 1 和 2 各自植入兩個 128 通道 ECoG 陣列,參與者 3 植入一個 256 通道 ECoG 陣列。不過,F(xiàn)acebook的最終目標(biāo)是非侵入式的腦機(jī)接口設(shè)備。

微信圖片_20190802114347.jpg

  Facebook Reality Labs 設(shè)計(jì)了非侵入式可穿戴腦機(jī)接口設(shè)備的原型(在今天發(fā)表的打字實(shí)驗(yàn)中沒有使用)。

  在今天發(fā)表的一篇博客文章中,F(xiàn)acebook解釋了這種未來設(shè)備:

  就像身體里的其他細(xì)胞一樣,神經(jīng)元在活動時也會消耗氧氣。因此,如果我們能檢測到大腦中氧氣水平的變化,我們就能間接地測量大腦活動。想象一下脈搏血氧計(jì)——一個夾子狀的傳感器,它會發(fā)出紅光,把它夾在食指上就可以測量血液的血氧飽和度。我們也可以使用類似紅外光的,以一種安全、非侵入性的方式來測量大腦中血液的氧含量。這類似于在功能性磁共振成像(fMRI)中測量到的信號——但使用的是由消費(fèi)級零件制成的便攜式可穿戴設(shè)備。

  我們不期待這個系統(tǒng)很快就能解決 AR 的輸入問題。目前它體積龐大,速度緩慢且不可靠。但潛力很大,因此我們認(rèn)為隨著時間的推移,不斷改進(jìn)這項(xiàng)最先進(jìn)的技術(shù)是值得的。雖然測量氧含量可能無法解碼想象的句子,但是能夠識別哪怕只有幾個想象的命令,比如 “主頁”,“選擇” 和 “刪除”,都將為我們提供與今天的VR 系統(tǒng)以及未來的AR 眼鏡交互的全新方式。

  我們還在探索各種方法,從把測量血氧含量作為檢測大腦活動的主要手段,轉(zhuǎn)向測量血管甚至神經(jīng)元本身的運(yùn)動。由于智能手機(jī)和激光雷達(dá)光學(xué)技術(shù)的商業(yè)化,我們認(rèn)為可以創(chuàng)造出小型、方便的BCI設(shè)備,讓我們能夠測量更接近我們目前用植入電極記錄的神經(jīng)信號,甚至有一天可以解碼無聲的語音。

  這可能需要十年時間,但我們認(rèn)為差距正在縮小。

  Neuralink和Facebook,誰會最先商業(yè)化?

  Facebook并不是唯一一家致力于腦機(jī)接口的大公司。還記得本月中旬馬斯克的Neuralink公司發(fā)布的腦機(jī)接口技術(shù)新突破嗎?

  這套腦機(jī)接口系統(tǒng)利用一臺神經(jīng)手術(shù)機(jī)器人向人腦中植入其稱為“線”的專有技術(shù)芯片和信息條,然后可以直接通過USB-C接口讀取大腦信號,甚至可以用iPhone進(jìn)行控制,簡直是科幻片成真。

微信圖片_20190802114345.jpg

  負(fù)責(zé)放大信號,并將信號發(fā)送到計(jì)算機(jī)的芯片

  這套腦機(jī)接口系統(tǒng)已經(jīng)成功連接到實(shí)驗(yàn)鼠身上,可以從1500個電極讀取信息,馬斯克稱目前已經(jīng)通過實(shí)驗(yàn)證明,“猴子可以通過大腦控制電腦”,并表示“2020年底之前要將人腦連接到計(jì)算機(jī)上”。

微信圖片_20190802114343.jpg

  Neuralink的系統(tǒng)植入實(shí)驗(yàn)鼠的體內(nèi)

  詳見:《馬斯克發(fā)布iPhone可控大腦芯片!植入電極線細(xì)過發(fā)絲,機(jī)器縫線柔性無創(chuàng)》

  與高調(diào)的馬斯克形成鮮明對比的是Facebook的這項(xiàng)研究。Facebook打算用紅外線制作一種從外部接收大腦信號的AR眼鏡,而Neuralink正在開發(fā)一種植入式陣列,由3000個柔性電極組成,以增強(qiáng)大腦功能。

  這兩家公司似乎是在競爭第一名,看誰能把通過大腦-計(jì)算機(jī)接口來解碼大腦活動最先商業(yè)化。但朝著這一目標(biāo)的進(jìn)展可能更像是一場慢節(jié)奏的嘗試,而不是一次沖刺。Chevillet表示:“我們沒有任何實(shí)際的產(chǎn)品計(jì)劃,因?yàn)檫@項(xiàng)技術(shù)是早期階段的研究。”

微信圖片_20190802114341.jpg

  與此同時,Chang希望盡快為那些不會說話的病人帶來有意義的改變。到目前為止,該團(tuán)隊(duì)的所有工作都是由能夠說話的志愿者完成的,因此團(tuán)隊(duì)現(xiàn)在將花費(fèi)一年的時間與一位失語的參與者一起工作,在計(jì)算機(jī)屏幕上生成文本。所有數(shù)據(jù)將由UCSF收集并保密保存在大學(xué)服務(wù)器上。與此同時,與Facebook合作的所有結(jié)果都正在發(fā)布,并且可供學(xué)術(shù)界使用。

  Chang說:“我希望這不僅有益于我們正在做的事情,而且有利于整個領(lǐng)域。”

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 操欧洲女人 | 外国人性视频 | 五月婷婷基地 | 国产一区二区久久精品 | 久视频在线观看久视频 | 97色精品视频在线观看免费 | 国产网站免费观看 | 国产精品久久久久久久午夜片 | 视频一区二区在线播放 | 九九九九九九精品免费 | 欧美最露下身的电影bd | 精品视频入口 | 精品视频二区 | 国产一区在线观看视频 | 奇米影视第 | 青青草国产免费久久久91 | 国产福利视精品永久免费 | 免费120秒 | 成人综合久久综合 | 亚洲欧美婷婷 | 97色在线观看免费视频 | 中文精品久久久久中文 | 四虎影视在线免费观看 | 善良的嫂子3中文 | 色婷婷五 | 日本一区二区三区久久久久 | 欧美乱妇欲仙欲死视频免费 | 国产色婷婷精品综合在线 | 女人30情定水舞间 | 国产伦久视频免费观看视频 | 真正免费一级毛片在线播放 | 成人黄色短视频 | 久久亚洲国产成人精品性色 | 四虎永久免费影院在线 | 欧美日韩中文在线视频 | 日韩成人精品 | 日韩欧美视频 | 欧美影视一区二区三区 | 国产高清视频在线免费观看 | 理论片在线观看视频 | 欧美网站视频 |