面试:一个更深的切成与麦肯齐马西斯的行为

在未受训者的眼里,DeepLabCut似乎做一些非常基本的。增加点和线视频移动的动物。但这项技术是革新行为分析的自动化。不要把我的话;看陈扎克伯格研究所最近宣布DeepLabCut是32的建议之一选择重要的开源软件科学资助,将500万美元用于重要的软件项目,设计时考虑到访问和社区。

在这次采访中,进行2019年神经科学会议上,我们跟DeepLabCut的共同创造者,Mackenzie马修斯博士,哈佛大学的首席研究员罗兰学院关于开放科学,DeepLabCut假肢的潜力,以及如何防止自动化的软件被用于错误的原因。

Ruairi Mackenzie (RM):我们能了解大脑通过研究身体如何移动?

麦肯齐马西斯(毫米):从我的角度来看,这是非常集中关注大脑的计算的核心原则,行为最终的输出,这是最重要的事情,大脑。特别是,我在电机控制领域,所以,作为一个点头丹尼尔沃伯特我们有大脑,唯一的原因是,对吗?海鞘吸入自己的大脑,当它发现它岩石想留任。但是不是所以的舌头在脸颊,简化的方法的行为真的很强大,但我认为这是一个现代复兴的理解有很多复杂的行为。能够打开一个工具箱量化复杂行为是富有成效的,如果你想理解大脑如何参与其中。

RM:我们如何推断从运动到动物的目的是什么?

MM:这取决于你的意图的定义是什么。我想如果我们继续成神经元方面有很多的研究,从外面可以测量,像动物的运动。您可以关联到神经活动和扰乱神经活动与高保真看到行为变化。没有计算机视觉甚至历史很复杂。这是手工劳动密集型做这种类型的工作。这是做小一点,因为它是如此昂贵。

与意图,当然,你得到更多的概念”是什么动物的内部状态驱动行为的行为?”,因此在这个意义上我们开发或多或少的工具,试图把人类从方程的体力劳动方面。那么整个世界其他你怎么处理这些数据。

RM: DeepLabCut进来吗?

MM:DeepLabCut本质上是一个工具,代替人类劳动的标签数据。姿势是通过定义一个身体部位的几何配置,所以你可以标签无论你想标签,只要你可以看到它你可以跟踪它。如果你需要,你可以分析跟踪动物后的行为;这通常是人们想要做什么。很高兴做成酷视频但在一天结束的时候,我们关心理解行为和大脑的关系。我们看到DeepLabCut模块,允许这是自动化,使可共享的网络更健壮和可再生的科学。这些都是非常重要的因素。有很多其他模块的输出DeepLabCut可以插入研究行为和运动学和soforth。

RM:什么样的节省了时间我们谈论从人工分析,自动分析?

MM:如果我想手动标注高速视频鼠标伸出手,抓住一个操纵杆,这也是我们研究的行为在我的实验室里,我们把视频在250帧每秒。如果你想注释20要点,你已经可以开始考虑多少时间会带你去点击每一帧。通常人们会花半年到一年的博士或他们的本科或硕士论文工作只是注释数据之前可以做科学。

现在,你基本上可以在一个下午,标签几百帧在几小时内,深处的神经网络训练4到6个小时,然后你有一个探测器,你只需运行新的视频。六个月的工作变成一个下午或一天的工作是一些相当大的节省时间的。

DeepLabCut的案例研究:这个视频软件培训在95年拍摄的图像从一个棕色的马……信贷:马修斯实验室/数据和human-annotation拜伦罗杰斯表现遗传学

它就能自动跟踪新马的镜头……信贷:马修斯实验室/数据和human-annotation拜伦罗杰斯表现遗传学

随后,只有11个额外的框架的培训,跟踪美国三重Crown-winning马证明的这段录像。信贷:马修斯实验室

RM:你有来自用户的反馈好吗?

MM:是的,这是通常很奇妙的体验。这是一个工具,是我们自己的研究证实的必要性;我们从来没有设想它是这样一个大型项目,但在这个意义上,我很高兴通过社区的吸收。我认为用户是最好的见证。这是非常好的,安心工作,人们对它很满意。越来越多的工具基础和我们不断把新的更新和功能也随着人们给我们的反馈,我们意识到并不是所有人都适应使用深度学习语言和过程,所以我们试图分享大量的清闲可用的代码以使这个非常方便。

RM:它总是一个简单的决定开放吗?

MM:是的,这对我们来说无疑是一个非常简单的决定。合作开发者,我丈夫亚历山大·马修斯和我感觉很强烈开放科学和开放数据,可访问的预印本出版基金研究的人,即纳税人。这是非常重要的对我们来说没有闭源,这是非常开放的。我认为这也值得很多人感到兴奋因为开源项目和他们想要贡献有很多贡献者构建模块。如果总是封闭源代码的开发人员和肯定的是,你赚钱(这可能是伟大的雇佣更多的程序员),但与此同时世界上有很多有才华的科学家想要贡献。他们也把自己的创造力,需要项目,这是激动人心的。一般来说,它只是一个这些开源项目得到足够的关注,如果你愿意,推出。显然,有吨的惊人的开放源码项目。这是我们想到的一件事在更大的计划;我们如何建立平台开源工具开发人员,就像团队吗打开Ephys和微型示波器做得好极了。这是他们第一次布斯(2019年神经科学),神奇的是,看看有多少人会走过;在他们的展位有堵塞的人。真是令人兴奋的看到人们得到这些开源项目背后。

RM:多一点思考DeepLabCut的应用,我理解你的实验室搬到洛桑明年…

MM:EPFL)是的,我们来了!

RM:你会搬到中心Neuroprosthetics EPFL。你看到DeepLabCut拥有应用程序吗?

MM:是的,当然。我想它会奖励接近实验室实际做转化工作,当然这是一个我们感兴趣的方向和合作工作。我们通常关注很多基础科学,电路和系统性的问题,但我认为这是一个很好的工具建筑商合并让人们在一起,工程师,神经科学家,理论家,数学家之类的东西真正推动下一个层次。中心Neuroprosthetics已经相当强大的平台从啮齿动物到人类。这是一个非常酷的努力。

RM:你能详细说明如何用于DeepLabCut假肢的研究呢?

MM:我不知道他们的研究项目的目的,但为例格雷戈勒库尔蒂纳的团队已经详细的运动学分析用于很长时间看康复和运动的动物。我认为他们的过程的一部分,DeepLabCut可以恭维是消除一些体力劳动,即把标志放在动物,使它更自然的看这些动物,你可以尽量不干扰他们和他们的行为。我们也在做在线反馈行为与大脑之间的一个有趣的空间工作,即试图建立新的工具和算法,帮助他们和我们的研究。

RM: DeepLabCut的技术,同时它有许多积极的应用程序,我还可以看到,邪恶的组织,公司,政府希望能够分析人们在做什么,了解他们在想什么。有什么我们可以采取的措施来防范呢?

Mackenzie马修斯(见图)与Ruairi J Mackenzie说,科学技术网络作家188金宝搏备用