研究人员从狗的大脑解码视觉图像

科学家们从狗的大脑解码视觉图像,提供第一次看看狗的心灵重建它看到了什么。《可视化实验埃默里大学的研究发表。

结果表明,狗更适应行动在其环境而不是谁做动作。

研究人员记录了fMRI神经数据两个清醒,无节制的狗,因为他们看视频三个30分钟的课程,总计90分钟。然后他们使用机器学习算法来分析神经的模式数据。

“我们显示我们可以监视活动在一只狗的大脑观看视频时,至少有一个有限的程度上重建看着,”Gregory Berns说艾莫利大学的心理学教授,论文的通讯作者。“事实上,我们能够这样做值得关注。”

这个项目的灵感来源于最近的机器学习和功能磁共振成像的发展从人类大脑解码视觉刺激,提供新的见解看法的本质。除了人类,这项技术已经应用于只有少数其他物种,包括一些灵长类动物。

”,而我们的工作是基于两只狗它提供了概念证明,这些方法的工作犬,“艾琳·菲利普斯说,这篇论文的第一作者,他的工作作为一个研究专家Berns的犬类认知神经科学实验室。“我希望本文有助于为其他研究人员应用这些方法对狗,以及其他的物种,我们可以获得更多的数据和更深入了解不同动物的思想工作。”

菲利普斯,苏格兰人,来到埃默里鲍比·琼斯的学者,艾莫利大学之间的交流项目和圣安德鲁斯大学的。她目前是研究生在普林斯顿大学生态学和进化生物学。

Berns和他的同事们开创了一种训练技术让狗走进磁共振成像扫描仪和放纵的同时并保持完全静止的神经活动测量。十年前,他的研究小组发表的第一个功能磁共振成像的大脑图像完全清醒,无节制的狗。打开门,Berns称之为狗项目——一系列的实验探索大脑最古老的驯化物种。

多年来,他的实验室发表了研究如何犬大脑处理视觉,话说,气味和奖励等获得表扬或食物。

与此同时,机器学习计算机算法背后的技术不断提高。技术使得科学家解码一些人类的大脑活动模式。“读取思想”的技术检测在脑电模式不同的对象或行为,个体是看到在看一个视频。

“我开始怀疑,‘我们可以类似的技术适用于狗吗?’”Berns回忆说。

第一个挑战是想出视频内容,狗可能会发现有趣的是看很长一段时间。艾莫利大学的研究小组在一个录像机万向节和有问题,允许他们拍摄画面的稳定从狗的角度来看,在腰高的人类或低一点。

他们使用的设备创建一个半个小时的视频场景涉及大多数狗的生活。活动包括狗被人抚摸和接受治疗的人。场景也显示他们和狗嗅探,玩,吃皮带或步行。活动场景显示汽车、自行车或摩托车经过一条路;一只猫走在一栋房子;一只鹿穿越路径;人们坐着;人们拥抱或亲吻;人提供一个橡胶骨头或球摄像机;人们吃。

视频数据分段时间戳到不同的分类器,包括基于对象分类器(如狗,汽车,人类,猫)和基于动作分类器(如嗅探、玩或者吃)。

只有两个的狗被训练为一个功能磁共振成像实验重点和气质说谎完全静止,看30分钟的视频没有休息,包括三个交易日总计90分钟。这两个“超级明星”狗是雏菊,混合品种可能是波士顿梗,和Bhubo,混合品种可能是拳击手。

说:“他们甚至不需要将菲利普斯监控动物在fMRI会话,看着他们的眼睛跟踪的视频。“这是有趣的,因为它是严肃的科学,很多的时间和精力走进它,但它下来这些狗观看视频的其他狗的行为和人类的愚蠢。”

两个人类也进行了同样的实验,看同样的30分钟的视频在三个独立的会话,躺在功能磁共振成像。

大脑数据可以映射到视频分类器使用时间戳。

一种机器学习算法,神经网络被称为新,是应用于数据。神经网络是做机器学习方法通过计算机分析培训的例子。在这种情况下,神经网络训练对脑电的内容进行分类。

两个人类被试的结果发现,使用神经网络的模型显示,99%精度在大脑数据映射到对象,基于动作分类器。

在解码的情况下从狗的视频内容,分类器的模型不适合对象。这是75%到88%准确,然而,在解码的行动分类狗。

结果表明,主要区别在人类和狗的大脑是如何工作的。

“我们人类非常面向对象”,Berns说。“有10倍的名词动词在英语,因为我们有一个特殊的迷恋对象命名。狗似乎不关心谁或者他们看到什么,更关心行动本身。”

狗也和人类视觉系统的主要区别,Berns笔记。狗只看到为蓝色和黄色,但密度略高的视觉受体检测运动而设计的。

“这很有道理,狗的大脑会保持高度一致行动首先,”他说。“动物必须非常关心的事情发生在他们的环境,以避免被吃掉或监控动物他们可能想打猎。行动和运动是非常重要的。”

飞利浦,了解不同的动物感知世界是很重要的她目前的领域研究如何捕食者重新在莫桑比克可能会影响生态系统。“从历史上看,没有重叠在计算机科学和生态学,“她说。“但是机器学习是一个新兴的领域,开始寻找更广泛的应用,包括生态。”

其他论文的作者包括丹尼尔•Dilks艾莫利大学心理学副教授和克里斯汀•吉列公司,从事该项目作为一个埃默里大学神经系统科学和行为生物学专业。Gilette已经毕业,现在在一个postbaccalaureate项目在北卡罗莱纳大学。

雏菊属于丽贝卡·比斯利和Bhubo属于Ashwin Sakhardande。人类的实验研究得到国家眼科研究所的资助支持。

参考:菲利普斯EM,吉列KD, Dilks DD, Berns GS。通过狗的眼睛:fMRI的自然的视频解码狗皮层。J视觉其实并。2022,(187):e64442。doi:10.3791/64442

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。