基于神经活动的神经假体可以预测的演讲

HSE大学和莫斯科国立大学的研究人员已经开发出一种机器学习的医学与牙科模型,该模型可以预测即将说出这个词的主题基于他们与一组小的微创神经活动记录电极。纸的语音解码从一个小的空间隔离微创颅内脑电图电极与一种紧凑和解释的神经网络发表在《神经工程。这项研究是由俄罗斯政府的资助的科研和大学的国家项目。

全世界数百万人受到言语障碍限制了他们的沟通能力。失语的原因各不相同,包括中风和某些先天性的条件。

今天技术可用来恢复这些病人的沟通功能,包括“无声语言”界面跟踪识别语音的发音肌肉的运动的人嘴里的话没有发出任何声音。然而,这样的设备帮助一些病人而不是其他人,如人的面部肌肉瘫痪。

语音neuroprostheses-brain-computer接口能够解码语音基于大脑活动可以提供一个可访问的和可靠的解决方案,恢复通信这样的病人。

不同于个人电脑,设备与脑机接口(BCI)是由大脑直接控制的不需要键盘或一个麦克风。

bci在演讲的主要障碍广泛使用假肢是这个技术需要高度侵袭性手术植入电极的脑组织。

最准确的语音识别是通过neuroprostheses电极覆盖大面积的皮质表面。然而,这些解决方案用于读取大脑活动并不适合长期使用,存在重大风险的病人。

研究人员的HSE生物中心的接口和莫斯科国立大学医学和牙科研究创建一个功能的可能性neuroprosthesis能够解码语音与可接受的精度通过阅读从一个小的植入电极的大脑活动在一个有限的皮层区域。作者建议,在未来,这种微创手术甚至可以在局部麻醉下进行。在目前的研究中,研究人员收集的数据来自两个癫痫患者已经植入颅内电极为目的的那些将要动手术映射到本土化癫痫发病区。

第一个病人是双边植入共有五sEEG轴每六个联系人,和第二个病人植入九electrocorticographic (ECoG)条有八个联系人。sEEG ECoG不同,电极可以植入没有一个完整的颅骨切开术通过颅骨钻孔。在这项研究中,只有6个联系人的单个sEEG轴在一个病人和八接触另一ECoG地带被用来解码神经活动。

受试者被要求大声朗读六个句子,每一个以随机的顺序呈现30到60倍。句子结构不同,大多数的单词在一个句子从相同的字母开始。句子包含26个不同的单词。受试者阅读,电极注册他们的大脑活动。

这些数据随后与音频信号形成27类,包括26个单词和一个沉默类。由此产生的训练数据集(包含信号记录在实验的前40分钟)被送入机器学习模型与神经网络架构。神经网络的学习任务是预测接下来说出单词(类)基于神经活动数据前的话语。

在设计神经网络的体系结构中,研究人员想要使它简单,紧凑,更容易解释的。他们想出了一个两级架构,首先提取内部数据记录大脑活动的演讲表示,生产log-mel光谱系数,然后预测一个特定的类,即一个词或沉默。

因此训练,神经网络已经达到了55%的准确率只使用六个通道的数据记录由一个sEEG电极在第一个病人和70%的准确率仅使用八个通道的数据记录由一个ECoG地带在第二个病人。这样的精度与证明在其他的研究中使用的设备所需的电极植入整个皮质表面。

由此可说明的模型可以解释在神经生理学方面的神经信息最有助于预测即将发出。研究人员检测了来自不同的神经元数量的信号,以确定哪些下游任务的关键。他们的研究结果与语音映射结果一致,表明该模型使用神经信号的关键,因此可以用于解码虚构的演讲。

这个解决方案的另一个优点是,它不需要手动功能工程。该模型已经学会提取数据直接从大脑活动演讲表示。结果还表明,网络的可解释性解码信号从大脑而不是从任何伴随的活动,如从发音肌肉电信号或产生由于麦克风效果。

研究人员强调,预测总是基于神经活动数据前面的话语。他们认为,这样保证了决策规则没有使用听觉皮层对演讲的回应已经发出。

“使用这种接口涉及最小风险的病人。如果一切正常,这可能可以解码的演讲从神经活动记录下少量的微创植入电极与局部麻醉门诊”,-Alexey Ossadtchi该研究的主要作者,中心主任生物HSE认知神经科学研究所的接口。

参考:Petrosyan, Voskoboinikov Sukhinin D, et al。语音解码从一个小的空间隔离微创颅内电极脑电图与紧凑,可判断的神经网络。J神经英格。2022;19 (6):066016。doi:10.1088 / 1741 - 2552 / aca1e1

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。