NeuWS在光学成像相机的答案“圣杯”的问题

来自莱斯大学和马里兰大学的工程师创造了全动态视频的技术可能会被用来制造相机透过雾、烟、暴雨,浑浊的水,皮肤、骨头和其他媒体反映散射光和模糊对象的视图。

“通过散射成像媒体是光学成像的“圣杯问题”在这一点上,”赖斯说Ashok Veeraraghavan,共同通讯作者,一个开放的研究今天发表在科学的进步。“散射是光,较低的波长,因此给更好的空间分辨率,无法使用在许多许多场景。如果你能撤消散射的影响,然后进一步成像是如此之多。”

Veeraraghavan马里兰的实验室与研究小组合作共同通讯作者克里斯托弗•麦茨勒创建一个名为NeuWS的技术,这是一个缩写“神经波前整形”技术的核心技术。

“如果你问在自主驾驶车辆的人他们面临的最大挑战,他们会说,“坏天气。我们不能做很好的成像在恶劣的天气。”Veeraraghavan说。“他们说“天气不好”,但他们的意思是,在技术方面,光散射。如果你问生物学家显微镜的最大挑战,他们会说,‘我们不能体内深层组织形象。”他们说“组织”和“体内深处,“但他们真正的意思是,他们想看到的皮肤和其他层的组织,是散射光。如果你问水下摄影师对自己最大的挑战,他们会说,“我只能图像接近我。他们实际上是什么意思是光散射在水里,因此不会对他们足够深专注于遥远的事情。

“在所有这些情况下,和其他人来说,真正的技术问题是散射,“Veeraraghavan说。

他说NeuWS可能被用来克服散射在这些场景和其他人。

“这对我们来说是一大进步,在解决这个潜在的实用,”他说。“之前有很多工作要做,我们可以在每一个应用程序域建立原型,但是我们已经证明可以遍历的方法。”

从概念上讲,NeuWS是基于光波的原则是复杂的数学量两个关键属性能够被计算为任何给定的位置。级,第一波携带的能量位置,第二个阶段,即波的振荡状态的位置。麦茨勒Veeraraghavan说测量阶段为克服散射是至关重要的,但它是不切实际的直接测量,因为高频率的可见光。

所以他们测量入射光为“时”——单一测量含有相位和强度信息,使用后端处理快速破译从每秒几百波前测量相位信息。

“的技术挑战是找到一种快速测量相位信息,”麦茨勒说,计算机科学助理教授在马里兰和“三重猫头鹰”大米明矾赢得了他的博士,硕士和学士学位的电气和计算机工程从2019年的水稻,分别为2014人和2013人。麦茨勒是莱斯大学期间wavefront-processing的早期迭代技术的发展希望Veeraraghavan及其同事于2020年出版。

“希望解决同样的问题,但它在假设一切都是静止的,不错,”Veeraraghavan说。“当然,在现实世界中,事情改变所有的时间。”

NeuWS,他说,这个想法是为了不仅消除散射的影响,但撤销他们不够快所以在测量散射介质本身并没有改变。

”而不是测量振动的状态本身,你测量与已知的相关波阵面时,“Veeraraghavan说。“你把一个已知的波前,你干涉,在未知的波前测量产生的干涉图样。这是这两个之间的相关性的波阵面时。”

麦茨勒使用类比的晚上看北极星阴霾的云层。“如果我知道北极星应该是什么样子的,我可以告诉它是模糊在一个特定的方式,然后告诉我如何模糊一切。”

Veerarghavan说:“这不是一个比较,这是一个相关性,如果你测量至少有三个这样的相关性,可以唯一地恢复未知的波阵面”。

最先进的空间光调节器可以使这种测量每分钟,几百,Veeraraghavan麦茨勒和他的同事们展示了他们可以使用调制器及其计算方法来捕获视频的移动物体遮挡视线的通过干预散射媒体。

“这是第一步,证明原则,这种技术可以实时纠正光散射,”赖斯说Haiyun郭该研究的主要作者之一、和Veeraraghavan博士生的研究小组。

在一组实验中,例如,一个显微镜幻灯片包含印刷图像的猫头鹰或一只乌龟在主轴旋转,头顶的摄像机拍摄的。光散射媒体被摄像机和目标之间滑动,研究人员测量了NeuWS正确的光散射能力。散射介质的例子包括洋葱皮,涂上指甲油,片鸡胸肉组织光漫射的电影。对于每一个,实验显示NeuWS能正确旋转的光散射,产生清晰的视频数据。

“我们开发的算法,让我们不断估计散射和场景,”麦茨勒说。“这就是允许我们这样做,我们做数学机械称为神经表示,允许它既高效又快。”

NeuWS迅速调节光入射波阵面时创建几个稍微改变相位测量。改变阶段然后直接输入16000参数神经网络快速计算必要的相关性来恢复原始波前的相位信息。

“神经网络可以更快的通过允许我们设计算法,需要更少的测量,“Veeraraghavan说。

麦茨勒说:“这实际上是最大的卖点。较少的测量,基本上,意味着我们需要更少的捕获时间。这就是让我们捕捉视频而不是静态帧。”

这项研究是由美国空军科学研究办公室(FA9550 - 22-1-0208),美国国家科学基金会(1652633、1652633和1652633)和美国国立卫生研究院(DE032051)和部分资金提供的开放获取是马里兰大学图书馆的开放获取出版基金。

参考:冯,郭H,谢米,et al。NeuWS:神经波前整形guidestar-free成像通过静态和动态散射媒体。Sci睡觉。2023;9 (26):eadg4671。doi:10.1126 / sciadv.adg4671

这篇文章被转载从以下材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。