是什么造就了一个神经网络还记得吗?

计算机模型是一个重要的工具为研究大脑如何产生和储存记忆和其他类型的复杂信息。但是创建这样的模型是一个很棘手的问题。不知何故,一个信号——生物化学和电气的交响曲,神经元之间的连接和其他细胞类型创建的硬件的记忆。然而因为神经不完全理解大脑的基础生物学,编码过程分为一个计算机模型,以进一步研究一直是一个挑战。

现在,冲绳科学与技术研究所的研究人员(OIST)改变了常用的内存叫做Hopfield网络的计算机模型,提高了性能通过灵感来自生物学。他们发现新的网络不仅能够更好地反映大脑中的神经元和其他细胞连接,它也可以持有显著更多的记忆。

网络的复杂性使得它更加真实,托马斯·伯恩斯说,博士生的教授名叫Tomoki Fukai OIST负责人的神经编码和大脑计算单位。“为什么生物学都这种复杂性?内存容量可能是一个原因,”伯恩斯先生说。

Hopfield网络储存记忆模式的加权系统中不同的神经元之间的连接。网络是“训练”对这些模式进行编码,然后研究人员可以测试他们通过提供一系列的记忆模糊的或不完整的模式,看看网络可以认出他们已经知道。然而,在古典Hopfield网络,神经元模型中相互地连接到网络中的其他神经元形成一系列所谓的“成对”连接。成对连接代表如何两个神经元突触连接,两个大脑神经元之间的连接点。但在现实中,神经元结构复杂的分支称为树突提供多个点连接,所以大脑突触的依赖于更复杂的安排完成工作的认知。此外,神经元之间的连接是通过控制调节其他细胞称为星形胶质细胞。

“这是不现实的,只有成对大脑存在于神经元之间的联系,”伯恩斯先生解释说。他创造了一个修改Hopfield网络不仅对神经元,套三,四,或更多的神经元也可以联系,如在大脑中可能发生在星形胶质细胞和树突树。尽管新网络允许这些所谓的“set-wise”连接,在所有它包含相同数量的连接。研究人员发现,网络包含一个混合的成对和set-wise连接的表现最好,保留最多的记忆。他们估计是多双以及传统Hopfield网络。“原来你真的需要一个组合的特性在一些平衡,”伯恩斯先生说。“你应该个人突触,但是你应该也有一些树突树和一些星形胶质细胞。”

Hopfield网络对大脑流程建模至关重要,但他们也有强大的其他用途。例如,非常相似类型的网络称为变压器构成基于ai ChatGPT等语言工具,所以改进彭斯和Fukai教授发现了也可能使这些工具更加健壮。

伯恩斯先生和他的同事们计划继续与他们修改Hopfield网络合作,使他们更强大。例如,大脑中的神经元之间的连接的优势不是通常在两个方向上都相同,所以伯恩斯先生想知道如果这个特性的不对称也可以提高网络的性能。此外,他希望探索的方法使网络的记忆相互作用,在人类大脑的方式。“我们的记忆是多方面的和巨大的,”伯恩斯先生说。“我们仍然有很多发现。”

这项研究发表会议论文,题目是“单纯Hopfield网络”在国际会议上学习表示。

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。