您的位置:首页>知识>

当前可解释的AI方法有什么问题

导读 2022年1月18日整理发布:你会相信一个运行得非常好、99 9% 的时间都能做出准确决策的人工智能算法,但却是一个神秘的黑匣子吗?每个系统都

2022年1月18日整理发布:你会相信一个运行得非常好、99.9% 的时间都能做出准确决策的人工智能算法,但却是一个神秘的黑匣子吗?每个系统都会时不时地失败,当它失败时,我们需要解释,尤其是当人类生命受到威胁时。一个无法解释的系统是不可信的。这是人工智能社区面临的问题之一,因为他们的创作变得更智能,更有能力处理复杂和关键的任务。

在过去的几年里,可解释的人工智能已经成为一个越来越受关注的领域。科学家和开发人员正在医学成像分析和自动驾驶汽车等敏感领域部署深度学习算法。然而,人们担心这些人工智能是如何运作的。研究深度神经网络的内部工作非常困难,他们的工程师通常无法确定影响其输出的关键因素是什么。

例如,假设神经网络已将皮肤痣的图像标记为癌变。是因为它在痣中发现了恶性图案,还是因为不相关的元素,如图像照明、相机类型或图像中存在其他一些伪影,如钢笔标记或尺子?

研究人员开发了各种可解释性技术,帮助调查各种机器学习算法做出的决策。但研究人工智能在医学成像中的应用的科学家丹尼尔·埃尔顿认为,这些方法不足以解决人工智能的可解释性问题并建立对深度学习模型的信任。

Elton 讨论了为什么我们需要从解释 AI 决策的技术转变为能够像人类一样自行解释决策的 AI 模型。他最近在arXiv 预印本服务器上发表的论文“自我解释 AI 作为可解释 AI 的替代方案”扩展了这一想法。

经典的符号 AI 系统基于开发人员创建的手动规则。无论它们变得多么庞大和复杂,他们的开发人员都可以逐行跟踪他们的行为,并调查错误,直至错误发生的机器指令。相比之下,机器学习算法通过比较训练示例和创建统计模型来发展它们的行为。因此,即使对他们的开发人员来说,他们的决策逻辑也常常是模棱两可的。

机器学习的可解释性问题既是众所周知的,也是经过充分研究的。在过去的几年里,它引起了著名学术机构和国防部研究机构 DARPA的兴趣。

该领域的努力一般分为两类:全局解释和局部解释。全局解释技术专注于寻找对机器学习模型如何工作的一般解释,例如它认为其输入数据的哪些特征与其决策更相关。局部解释技术专注于确定特定输入的哪些部分与 AI 模型做出的决策相关。例如,他们可能会生成对特定决策做出贡献的图像部分的显着性图。

埃尔顿写道,所有这些技术“都有缺陷,并且在如何正确解释解释方面存在混淆”。

Elton 还挑战了另一个关于深度学习的流行信念。许多科学家认为,深度神经网络从其潜在问题域中提取高级特征和规则。这意味着,例如,当您在许多标记图像上训练卷积神经网络时,它将调整其参数以检测它们之间共享的各种特征。

这是真的,这取决于您所说的“功能”。有大量研究表明,神经网络实际上确实可以学习图像和其他数据类型中的重复模式。同时,有大量证据表明深度学习算法无法学习其训练示例的一般特征,这就是为什么它们严格限于其狭窄领域的原因。

“实际上,深度神经网络是‘愚蠢的’——它们似乎在内部捕获的任何规律性都完全是由于提供给它们的数据,而不是一个自我导向的‘规律性提取’过程,”埃尔顿写道。

Elton引用了发表在同行评审科学杂志Neuron上的一篇论文,认为事实上,深度神经网络“通过数据点的插值而不是外推来发挥作用”。

一些研究的重点是开发“可解释的”人工智能模型来取代当前的黑匣子。这些模型使他们的推理逻辑对开发人员可见和透明。在许多情况下,尤其是在深度学习中,将现有模型替换为可解释模型会导致准确性权衡。这将是一个弄巧成拙的目标,因为我们选择更复杂的模型,因为它们首先提供了更高的准确性。

“在处理复杂的现实世界数据(如图像或人类语言)时,尝试将深度神经网络压缩成具有同等精度的更简单的可解释模型通常会失败,”Elton 指出。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。