照射一个AI的黑盒

日内瓦大学的研究人员(UNIGE),日内瓦大学医院(拥抱)和新加坡国立大学(NUS)已经开发出一种新方法来评估人工智能(AI)技术的可解释性,更高的透明度和打开大门相信AI-driven诊断和预测工具。创新的方法揭示了不透明的运作的所谓“黑盒”的智能算法,帮助用户了解影响人工智能产生的结果和结果是否可以信任。这是特别重要的情况下,对人们的健康和生活造成重大影响,比如使用人工智能在医学应用。蕴含着特殊的意义在即将到来的欧盟环境中人工智能行为旨在规范欧盟内部人工智能的开发和使用。这项研究最近发表在《华尔街日报》自然机器智能。

时间序列数据——代表的进化信息随着时间的推移——无处不在:例如在医学,当记录心脏活动与心电图(ECG);地震的研究;跟踪天气模式;经济学或监控金融市场。这些数据可以被人工智能建模技术建立诊断或预测工具。

人工智能特别是深度学习的进步——这包括培训机器使用这些大量数据的解读和学习有用的模式,打开了通往越来越准确的诊断和预测的工具。然而没有洞察Al算法如何工作和影响他们的结果,人工智能技术的“黑盒”自然在诚信提出了一些重要问题。

“这些算法的工作方式是不透明的,至少可以这样说,“基督教洛维斯教授说,放射学和医学信息学系主任UNIGE医学院、医学信息科学分工的拥抱,一同工作。“当然,股权,特别是金融、非常高。但是我们如何相信一个机器不了解其推理的基础?这些问题是必不可少的,特别是在医学等行业,在AI-powered决策可以影响人们的健康,甚至生命;和金融,在那里他们可以导致巨大损失的资本。”

可解释性方法旨在回答这些问题通过破译一个AI为什么以及如何达到给定的决定,和背后的原因。“知道元素的支持或反对一个解决方案在一个特定的情况下,从而使一些透明度,增加信任,可以放置在他们,”维Mengaldo助理教授说MathEXLab主任新加坡国立大学的设计和工程学院一同工作。“然而,当前可解释性的方法广泛应用于实际应用和工业工作流时提供明白地不同的结果应用于相同的任务。这就提出了一个重要的问题:可解释性的方法是正确的,因为应该有一个独特的,正确答案吗?因此,可解释性方法的评价变得可解释性本身一样重要。”

区分重要与不重要

歧视发展中可判断的数据是至关重要的人工智能技术。例如,当一个人工智能分析图像,它关注一些特有的属性。博士生在洛维斯教授的实验室和研究的第一作者Hugues Turbe解释说:“例如,AI可以区分图像的一只狗和一只猫的形象。同样的原则也适用于分析时间序列:这台机器需要能够选择元素——峰值比其他人更明显,例如,基础的推理。与心电图信号,这意味着协调信号从不同的电极来评估可能的不和谐,是一个特定的心脏病的征兆。”

选择一个可解释性方法在所有可用的特定目的并不是一件容易的事。不同的人工智能可解释性方法往往产生非常不同的结果,即使在相同的数据集和任务应用。为了应对这一挑战研究者开发了两个新的评价方法来帮助了解人工智能决策:一个用于确定最相关的部分的信号,另一个用于评估其相对重要性对于最终的预测。评估可解释性,他们藏的一部分数据来验证是否与人工智能相关的决策。然而,这种方法有时会导致错误的结果。为了纠正这一点,他们训练有素的AI增广数据集,包括隐藏数据,帮助保持平衡和精确的数据。然后团队创建了两个方法来衡量可解释性方法的效果如何,显示如果AI是使用正确的数据做决策,如果所有的数据被认为是相当。“总的来说我们的方法旨在评估模型,该模型会使用在其经营领域,从而确保其可靠性,”解释Hugues Turbe。

继续他们的研究,该团队已经开发出一种合成数据集,它们提供给科学界,轻松地评估任何新的AI旨在解释时间序列。

未来的医学应用

展望未来,团队现在计划测试他们的方法在临床环境中,关于人工智能仍然普遍忧虑的地方。“建设信心AIs的评估是一个关键的一步在临床的设置,采用“Mina Bjelogrlic博士解释道,机器学习团队负责人洛维斯教授”的部门,本研究是第二作者。“我们的研究集中在AIs的评价基于时间序列,但同样的方法可以应用于基于AIs其他形式用于医学,如图片或文本。”

参考:洛维斯Turbe H, Bjelogrlic M C, Mengaldo g .因果解释能力评价方法在时间序列分类。Nat马赫智能。2023;5 (3):250 - 260。doi:10.1038 / s42256 - 023 - 00620 - w

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。