人工智能可以识别类似的材料图片

机器人操纵对象,说,在厨房工作,将受益于理解哪些物品是由相同的材料。有了这些知识,机器人会知道施加类似的力量是否拿起一小块奶油从阴暗的角落的柜台或整个贴在冰箱里灯火通明。

识别对象的场景是由相同的材料,称为材料的选择,机器是一个特别具有挑战性的问题,因为材料的外观可以大幅改变基于物体的形状或照明条件。

麻省理工学院的科学家和Adobe研究一步解决这一挑战。他们开发了一种技术,它可以识别图像中的所有像素代表一个给定的材料,所示一个像素由用户选定。

方法是准确即使物体有不同的形状和大小,和机器学习模型开发不是欺骗阴影或照明条件,可以使相同的材料出现不同。

尽管他们训练他们的模型只使用“合成”数据,这是由一个电脑修改3 d场景产生许多不同的图像,系统有效工作的室内和室外场景它从未见过的。该方法还可以用于视频;一旦用户标识第一帧的像素,该模型可以识别对象由相同的材料在其余的视频。

除了应用在现场了解机器人技术,该方法可用于图像编辑或纳入计算系统,推导出材料的参数图像。它还可以用于材料网站推荐系统。(可能是一个顾客正在寻找服装由一种特殊的面料,例如)。

“知道什么材料你是相互作用通常是相当重要的。虽然两个物体看起来相似,他们可以有不同的材料属性。我们的方法可以方便的选择其他像素的图像是由相同的材料,“Prafull Sharma说,电子工程和计算机科学研究生的主要作者纸在这个技术。

一种新方法

现有的材料选择方法难以准确识别所有像素代表相同的材料。例如,一些方法专注于整个对象,但一个对象可以由多个材料,像一把椅子,木制武器和皮革座位。其他方法可能利用一组预先确定的材料,但这些经常有广泛的标签像木头,“尽管有成千上万的品种的木材。

相反,沙玛和他的同事发明了一种机器学习方法,动态地评价图像中的所有像素来确定像素之间的相似材料用户选择和其他地区的形象。如果一个图像包含一张桌子和两把椅子,椅子的腿和桌面是由相同类型的木头,他们的模型可以准确地识别这些类似的区域。

之前研究人员可以开发一种人工智能方法,学习如何选择类似的材料,他们必须克服一些障碍。首先,没有标记现有数据集包含的材料足够精细训练他们的机器学习模型。研究者呈现自己的室内场景的合成数据集,其中包括50000张图片和16000多个随机材料应用于每个对象。

“我们想要一个数据集,每个类型的材料是独立,”Sharma说。

合成数据集,他们训练的任务的机器学习模型识别类似的材料真实图像——但它失败了。研究人员意识到分布转变是罪魁祸首。这发生在一个模型训练在合成数据,但不能当真实的测试数据与训练集可以非常不同。

为了解决这个问题,他们建造了他们的模型pretrained计算机视觉模型之上,看到数以百万计的真实图像。他们利用的先验知识,模型利用视觉特征已经学会了。

“在机器学习,当你使用神经网络,通常是学习表示,一起解决任务的过程。我们有分。pretrained模型给我们表示,那么我们的神经网络关注解决的任务,”他说。

解相似

研究者的模型转换的通用,pretrained视觉特征到material-specific特性,和它的方式是健壮的对象形状或不同的照明条件。

该模型可以计算材料为图像中每个像素相似性得分。当用户点击一个像素,模型计算出距离在外表上每一个像素是查询。它产生一个地图,每个像素规模排名从0到1相似。

“用户点击一个像素,然后模型会自动选择所有区域有相同的材料,”他说。

由于模型输出每个像素的相似性得分,用户可以调整结果通过设置一个阈值,如90%相似,和接收图像与这些地区的地图高亮显示。方法也适用于cross-image选择,用户可以选择一个像素在一个图像,发现同样的材料在一个单独的图像。

在实验中,研究人员发现,他们的模型可以预测区域的图像包含相同的材料比其他方法更准确。测量时的预测相比,地面真理,这意味着实际图像的区域由相同的材料,他们的模型匹配精度约92%。

在未来,他们想要提高模型,因此可以更好地捕捉图像中对象的细节,这将提高他们的方法的准确性。

“丰富的材料导致的功能和我们生活的这个世界的美丽。但是计算机视觉算法通常忽略材料,严重关注的对象。本文识别材料的一个重要贡献在广泛的图像和视频困难的条件下,“说故事巴拉,康奈尔大学院长鲍尔斯学院的计算和信息科学和计算机科学教授,他并没有参与这项工作。“这项技术可以向终端消费者和设计师都非常有用。例如,房屋所有者可以想象有多贵选择像给一个沙发,或改变一个房间的地毯,可能出现,可以更有信心在他们的设计选择基于这些可视化。”

参考:Sharma P,菲利普J, Gharbi M,弗里曼B, F杜兰,Deschaintre诉物质:选择类似的材料
图像。ACM反式。2023年。doi:10.1145 / 3592390

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。