由国立信息研究所(NII)的 ISHIKAWA Fuyuki 领导的研究团队与九州大学的 MA Lei 领导的研究团队开发了通过图像识别 AI 的错误感知有效且高效地降低风险的技术。这项研究是在科学技术厅(JST，)资助的MIRAI-eAI 项目(*1)下进行的。

深度神经网络 (DNN) 技术的一个关键问题是意外的性能回归。改善某种类型错误感知的修复可能会导致其他类型的回归，因为大量参数会错综复杂地影响不同对象类型的感知。

(资料图)

在 eAI 项目中，我们研究了如何通过结合不同角色的 DNN 修复技术，以可控的方式修复图像识别 DNN。具体来说，我们开发了技术来探索不同误解类型 (NII) 的原因和修复，通过分析目标 DNN (NII) 的历史来抑制意外回归，并更新 DNN 的结构(架构)，而不仅仅是参数值(九州)大学)。

在我们的自动驾驶系统实验中，我们使用安全预期定义的安全基准评估了这些技术，尤其是来自汽车公司的安全基准。我们在保留许多安全要求的情况下，通过受控的 DNN 修复展示了有效且高效的风险缓解。

我们计划根据各个企业对自动驾驶的愿景和政策、驾驶数据的特点等不同需求，将修复技术整合为框架，进行产业示范。

NII和九州大学的研究成果。在软件工程领域的旗舰会议和期刊ICST 2023 (*2)、SANER 2023 (*3)和 TOSEM (*4)中发表。

背景

图像识别人工智能在自动驾驶系统或高级驾驶员辅助系统中起着重要作用，用于检测和分类行人、路标和车道等物体。为了实现图像识别 AI，使用了深度学习技术，其中数百万或更多参数在称为深度神经网络 (DNN) 的计算模型中通过对数据集的训练自动配置。

另一方面，必须证明在自动驾驶系统等安全关键系统中，由各种错误和故障引起的风险小到可以接受的程度。通过系统地和单独地分析每种类型的错误或故障导致的严重危害以及在什么情况下，探索目标系统的设计和配置以减轻风险。因此，有必要评估和减轻由于人工智能对不同对象和环境的误解而带来的风险。这一原则已被广泛要求，因为它显示在最近的人工智能系统质量指南(AIQM (*5)、QA4AI (*6))以及自主产品安全标准(ISO 21448 (*7)、ANSI /UL 4600 (*8))。

然而，用现有的 DNN 技术修复错误感知存在很大困难。假设工程师发现经过训练的 DNN 模型“将行人错误分类为另一个物体”的误判率很高，并打算对其进行修复。通常，常见的做法是针对错误感知类型收集额外的训练数据，并对 DNN 模型进行再训练。然而，再训练的结果往往出人意料，因为数百万个参数值在 DNN 模型中被“打乱”。这一点需要大量的反复试验才能获得预期的修复。此外，对一种错误感知类型的修复可能会导致其他类型的回归，即更新后的模型可能对其成功的输入有错误感知。这样，

NII的研究

为了解决这个问题，NII 研究团队研究了一种 DNN 修复技术，该技术探索了负责每种错觉类型的参数集。该技术首先通过使用称为故障定位的技术识别导致每种错误类型的参数集，例如“将人错误分类为骑手”和“将火车错误分类为公共汽车”。然后，探索参数修复以修复每种误解类型。最后，通过考虑误解类型的风险级别(图 1)，合并针对不同误解类型获得的候选修复，从而实现比现有技术更有效和高效的风险缓解。

该技术的优势通过安全基准原型进行了评估，该原型由来自汽车公司和其他公司的从业人员参与的工作组定义。该基准通过将 12 种误解分为 3 个风险级别来定义整体风险评分。评估结果证明了 DNN 修复多种错误类型的可行性，这是现有技术难以做到的。该结果将于2023 年 4 月在软件测试的旗舰会议ICST 2023 (*2)上公布。

NII 研究团队还与富士通有限公司的一个团队合作研究了一种 DNN 修复技术，该技术可防止重要目标对象的预测性能意外下降(2022 年 3 月发布 (*9) )。该技术利用从过去版本的 DNN 分析中获得的见解来抑制重要对象预测性能的回归。2022 年秋季，回归控制修复技术的有效性在社会保障 AI 应用程序实验中得到了实证证实。这些实验结果将于2023年3月在软件分析旗舰会议SANER 2023 (*3)的行业赛道上展示。

九州大学研究

九州大学的团队。研究了由 Assoc 领导的 DNN 修复技术的不同方法。马磊教授和赵建军教授。在 2021 年提出的技术中(*10)，一种称为 styler transfer 的技术用于将失败输入图像的特征附加到训练数据，以处理在操作中检测到​​的未知噪声模式。因此，该技术实现了 DNN 修复，可以处理工程师无法明确说明的故障模式和运行中意外的噪声分布。在 2022 年的另一项研究中，通过修改 DNN 的结构(架构)而不仅仅是参数值，探索了 DNN 修复的更多潜力。这种方法可以与其他修复技术相结合，例如 NII 和 Fujitsu 的修复技术。这项关于架构级 DNN 修复的研究将于2023 年发表在软件工程领域的旗舰期刊ACM TOSEM (*4)上。