译码器可以将不需要植入大脑活动

一个新的人工智能系统称为语义解码器可以转变一个人的大脑活动,而静静地听一个故事或想象讲故事——文本的连续流。系统由德克萨斯大学奥斯汀分校的研究人员可以帮助身体精神意识的人却无法说话,比如那些疲惫不堪的中风,简单的交流了。

这项研究中,发表在《自然神经科学由杰里唐,博士生在计算机科学中,助理教授和亚历克斯·胡特,奥斯汀德州大学神经科学和计算机科学。工作在一定程度上依赖于一个transformer模型,类似于那些权力开放艾未未的ChatGPT和谷歌的吟游诗人。

不像其他语言解码系统开发,该系统不需要对象外科植入物,使过程无创。参与者也不需要从规定只使用单词列表。测量大脑活动使用一个解码器的功能磁共振成像扫描仪的广泛训练后,在个人听的播客小时扫描仪。后,提供参与者开放自己的思想解码,听一个新的故事或想象讲故事让机器单独从大脑活动生成相应的文本。

“非侵入性的方法,这是一个真正的飞跃与以前做过的相比,这通常是单个词或短句,”胡特说。“我们让模型解码连续语言长时间与复杂的想法。”

结果不是逐字记录。相反,研究人员设计捕获的要点是什么说或认为,尽管不完美。大约一半的时间,在译码器训练监控参与者的大脑活动,机器生产密切(有时精确)的文本匹配原词的目的意义。

例如,在实验中,参与者听演讲者说,“我还没有我的驾照”的思想翻译成,“她还没有开始学开车。“听这句话,我不知道是否要尖叫,哭泣或逃跑。相反,我说,别管我!“被解码,”开始尖叫,哭泣,然后她就说,“我告诉你别管我。”

从早期版本的出现作为一个在线预印本,研究人员解决问题的潜在滥用技术。本文描述了如何解码工作只有合作参与者自愿参加培训的解码器。结果为个人的解码器没有训练有素的莫名其妙的,如果参与者的译码器训练后提出阻力——例如,通过思考其他的想法——结果同样无法使用。

“我们非常重视的问题,它可以用于不好的目的,努力避免,”唐说。“我们想要确保人们只使用这些类型的技术,当他们想要帮助他们。”

除了参与者或思考故事听,研究者们让受试者观看四个简短的,沉默的视频在扫描仪。语义译码器能够使用他们的大脑活动来准确描述某些事件的视频。

系统目前没有实际使用外部的实验室,因为它依赖的时间需要在fMRI机器。但研究人员认为这可能会转移到其他工作,更多的便携式脑成像系统,如功能性近红外光谱(fNIRS)。

“fNIRS措施或多或少的大脑的血流量在不同的时间点,,事实证明,是完全一样的功能磁共振成像的信号测量,”胡特说。“所以,我们的确切方法应该翻译fNIRS,“不过,他指出,该决议与fNIRS会降低。

这项工作得到了白厅基金会,斯隆基金会和巴勒斯Wellcome基金。

这项研究的其他合作者阿曼达•勒贝尔,前胡特实验室研究助理,和Shailee Jain,奥斯汀德州大学计算机科学的研究生。

亚历山大·胡特和杰里唐PCT专利申请提出与此相关的工作。

参考:唐J,叔叔,耆那教的年代,胡特。连续语言的语义重建非侵入性脑录音。Nat >。5月1日在线发表2023:1-9。doi:10.1038 / s41593 - 023 - 01304 - 9

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。