预测鸟类行为与一个新的Markerless成像技术

研究人员仍苦思如何动物集体行为,但最近的进步在机器学习和计算机视觉革新研究动物行为的可能性。复杂的行为,如社会学习或集体可以破译警惕新技术。集群的一个跨学科研究团队卓越中心的先进研究集体行为(CASCB)康斯坦茨大学的动物行为的马克斯普朗克研究所已经成功地开发一个新的标记更少的方法来跟踪鸟姿势在3 d通过相机图像。用这种方法可以记录一群鸽子和确定每个人的目光和精细的行为鸟类和动物如何在与他人的空间。

将在未来3 d了解动物行为的研究

3 d-pop代表3 d姿势鸽子的大规模数据集包含准确信息的3 d位置,姿态的嘴或眼睛,身份自由移动的鸽子。“一个动物数据集的规模和复杂性从未做过的,”亚历克斯Chan说,在CASCB博士生。“3 d-pop是一个数据集,将帮助社区发展自动方法提取位置和姿态(3 d)通过使用机器学习和人工智能。数据集,研究人员可以研究集体行为的鸟类使用至少两个摄像机,甚至在野外。”

数据集是如何发展的

3 d-pop数据集开发使用动作捕捉系统和周围十个鸽子。只对数据集的发展是又必要的鸽子穿小反光标记。标记有一个独特的几何配置跟踪每一只鸟的个人身份。“动作捕捉相机计算3 d与sub-millimetre反光标记的位置精度,”亚历克斯Chan解释道。三维动作捕捉系统的数据映射到视频图像标记的位置鸟和特性,比如他们的眼睛,鼻子或尾巴。

“行为得分,也称为注释,到目前为止主要是手动完成的。我们试图解决这一问题提供一个新的解决方案,自动生成注释”,Naik血管轮廓。“大规模监测、人工智能系统将使用动作和姿态信息自动分类行为特征如侵略,顺从的行为,或者交配显示。“但是社区需要的数据集构建技术来检测运动,姿势,并确定动物图片。“这就是我们的方法帮助,因为我们可以用几次点击产生数以百万计的注解,“奈克说。此外,该方法是一个巨大的一步向前因为数据集存在标记不再需要为研究鸽子3 d-pop数据集。

3 d-pop桥梁生物学家和计算机科学家之间的差距

“3 d-pop桥梁之间的差距生物学家和计算机科学家,因为计算机科学家不会获得动物来创建这样的数据集,计算机科学家和生物学家很少知道什么类型的数据需要推动发展的新方法,”亚历克斯Chan说在生物学背景与计算机科学非常感兴趣。集群内的卓越CASCB,跨学科合作高度要求。这就是为什么这两个油田的研究人员聚在一起,交换他们的特定需求。

数据集被释放在计算机视觉与模式识别会议(CVPR) 2023年6月通过开放存取和可用由其他研究人员,以便它可以被重用。奈克和陈看到两个潜在的应用领域:科学家和鸽子一起工作可以直接使用数据集。至少有两个摄像头可以研究多个行为的自由移动的鸽子。注释的方法可以用于其他鸟类,甚至其他动物,所以研究人员可以很快破解其他动物的行为。

参考:奈克H,陈啊,杨J, et al . 3 d-pop,自动注释方法促进markerless 2 d-3d跟踪自由移动的概略介绍动作捕捉鸟类。2023年。doi:10.48550 / ARXIV.2303.13174

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。