十亿像素3D显微镜捕捉到前所未有的生命细节

当两个勇敢的研究生用他们的拼接显微镜拍摄第一张照片时，结果比他们希望的要好。当然，一个地方有个洞，另一个地方是上下颠倒的——但他们还是能找到沃尔多。

第二天，两人解决了他们的软件问题，并成功地在经典儿童益智书上演示了原理验证设备。通过将24个智能手机摄像头组合到一个平台上，并将它们的图像拼接在一起，他们创造了一个能够在一张纸大小的区域内拍摄10亿像素图像的单一摄像头。

六年后，经过几次设计迭代和一家初创公司，研究人员有了一个意想不到的发现。将数十个独立相机以亚像素分辨率同时拼接在一起的过程更加完善，使他们也能看到物体的高度。

杜克大学生物医学工程助理教授Roarke Horstmeyer说:“这就像人类的视觉。”“如果你将多个视点合并在一起(就像你的两只眼睛一样)，你会从不同的角度看到物体，这就给了你高度。当我们研究斑马鱼的同事第一次使用它时，他们被震撼了。它立即揭示了它们从未见过的涉及音调和深度的新行为。”

在3月20日在线发表在《自然光子学》杂志上的一篇论文中，Horstmeyer和他的同事展示了他们新型高速3D十亿像素显微镜的能力，称为多摄像机阵列显微镜(MCAM)。无论是记录数十条自由游动的斑马鱼的行为的3D电影，还是在非常宽的视野内以接近细胞水平的细节记录果蝇的梳理活动，该设备都为世界各地的研究人员提供了新的可能性。最新版本的MCAM依靠54个镜头，比发现沃尔多的原型速度和分辨率更高。基于最近与杜克大学伊娃·罗曼博士实验室密切合作完成的工作，创新软件使显微镜能够进行3D测量，在更小的尺度上提供更多细节，并制作更流畅的电影。

然而，MCAM的高度并行设计带来了自身的数据处理挑战，因为几分钟的记录可以产生超过1tb的数据。“我们已经开发出了新的算法，可以有效地处理这些超大的视频数据集，”霍斯特梅尔实验室的博士后研究员、该论文的主要作者凯文·c·周(Kevin C. Zhou)说。“我们的算法将物理学与机器学习结合起来，融合来自所有摄像机的视频流，并恢复跨空间和时间的3D行为信息。我们的代码已经在Github上开源，供所有人试用。”

在加州大学旧金山分校，马修·麦卡罗尔观察了暴露在神经活性药物下的斑马鱼的行为。通过寻找不同种类药物引起的行为变化，研究人员可以发现新的潜在治疗方法或更好地了解现有的治疗方法。

在论文中，麦卡罗和他的团队描述了他们以前从未见过的有趣的运动，这要归功于使用这种相机。MCAM的3D功能，再加上其全方位的视野，使他们能够记录鱼的音调差异，它们是倾向于鱼缸的顶部还是底部，以及它们是如何跟踪猎物的。

“长期以来，我们一直在用单镜头和相机建造自己的设备，这些设备对我们的目的来说效果很好，但这是在一个完全不同的层面上，”在加州大学系统的专业研究员系列中研究药物化学的独立科学家McCarroll说。“我们只是修理光学的生物学家。看到一个合法的物理学家能提出什么让我们的实验更好，这是令人难以置信的。”

在杜克大学，细胞生物学教授米歇尔·巴格纳特(Michel Bagnat)的实验室也在研究斑马鱼。但研究人员并没有观察药物引起的行为变化，而是在细胞水平上研究动物是如何从卵子发育成完全成形的成年动物的。

在之前的研究中，研究人员需要麻醉和安装正在发育的鱼，以保持它们的稳定，同时用激光进行测量。但是，长时间将它们剔除可能也会导致它们的发育发生变化，从而扭曲实验结果。在新的MCAM的帮助下，研究人员已经证明，他们能够在鱼不受阻碍地生活的同时获得所有这些测量数据，不需要敲除或夹钳。

“有了这种显微镜的3D和荧光成像能力，它可能会改变许多发育生物学家做实验的过程，”巴格纳特实验室的研究科学家兼实验室经理詹妮弗·巴格韦尔(Jennifer Bagwell)说。“特别是如果麻醉鱼会影响它们的发育，这是我们目前正在研究的问题。”

除了在实验中追踪整个小动物群落，如斑马鱼，Horbet188真人stmeyer希望这项工作还可以进行更大规模的自动化并行研究。例如，显微镜可以观察384个装有各种类器官的板，以测试潜在的药物反应，记录每个微小实验的细胞反应，并自主标记任何感兴趣的结果。

Horstmeyer说:“现代实验室每天都在变得越来越自动化，现在大型井板的填充和维护都不需要人手。”“大量的数据产生了对新技术的需求，这些技术可以帮助自动化跟踪和捕获结果。”

霍斯特梅尔和合作者马克·哈福什(Mark Harfouche)一起成立了一家名为Ramona Optics的初创公司，将这项技术商业化。马克是拍摄沃尔多第一张照片的幕后主脑。MIRA Imaging是该技术的早期授权商之一，该公司正在利用这项技术为艺术品、收藏品和奢侈品“指纹”，以防止伪造和欺诈。

显微镜在行动的进一步例子可以在:

• MCAM项目网页:https://mcam.deepimaging.io/
• 视频示例:https://gigazoom.rc.duke.edu/
• 开放源代码:https://github.com/kevinczhou/3D-RAPID
• 原始视频文件样本:https://doi.org/10.7924/r4db86b1q

参考:周建昌，李志强，李志强，等。以每秒几十亿像素的速度对自由移动的生物体进行并行计算3D视频显微镜观察。Nat光子．2023.doi:10.1038 / s41566 - 023 - 01171 - 7

本文已从以下地方重新发布材料．注:材料的长度和内容可能经过编辑。如需进一步信息，请联系所引用的来源。