MIT开发高效技术 提高机器学习模型的可靠性

强大的机器学习模型通常被用于解决棘手的问题，例如在医学图像中识别疾病，或为自动驾驶汽车检测道路障碍物。但是机器学习模型可能会出错，因此在高风险环境中，人类知道何时相信模型的预测至关重要。

不确定性量化是提高模型可靠性的一种工具。该模型会产生一个分数以及表示预测正确的置信度的预测。虽然不确定性量化可能很有用，但现有方法通常需要重新训练整个模型才能实现。训练涉及向模型展示数百万个示例，以便可以学习任务，然后再训练还需要数以百万计的新数据输入。如此大规模的数据输入成本高昂也难以获得，并且还会使用大量的计算资源。

(相关资料图)

据外媒报道，麻省理工学院（MIT）和MIT-IBM沃森人工智能实验室（Watson AI Lab）的研究人员现已开发出新技术，使模型能够执行更有效的不确定性量化，同时使用更少的计算资源，并且不需要额外的数据。该技术不需要用户重新训练或修改模型，因此对于许多应用程序来说足够灵活。

图片来源：麻省理工学院

该技术涉及创建一个更简单的伴随模型，以协助原始机器学习模型估计不确定性。 这个较小模型旨在识别不同类型的不确定性，从而帮助研究人员深入研究不准确预测的根本原因。

电气工程和计算机科学研究生、该技术论文的主要作者Maohao Shen表示：“不确定性量化对于机器学习模型的开发人员和用户而言必不可少。开发人员可以利用不确定性测量来帮助开发更强大的模型；而对于用户来说，它可以在现实世界中部署模型时增加另一层信任和可靠性。我们的工作为不确定性量化提供了一种更灵活、更实用的解决方案。”

量化不确定性

在不确定性量化中，机器学习模型会为每个输出生成一个数值分数，以反映其对该预测准确性的信心。通过构建新模型或重新训练现有模型来纳入不确定性量化通常需要大量数据和昂贵的计算，但这通常不切实际。更重要的是，现有方法有时会产生降低模型预测质量的意外后果。

麻省理工学院和MIT-IBM沃森人工智能实验室的研究人员因此将注意力集中在以下问题上：给定一个预训练模型，如何使其能够执行有效的不确定性量化？

研究人员通过创建一个更小、更简单的模型（称为元模型）来解决这个问题。该模型附加到更大的预训练模型，并使用更大的模型已经学会的特征来帮助进行不确定性量化评估。

麻省理工学院和MIT-IBM沃森人工智能实验室的研究人员Prasanna Sattigeri表示：“元模型可以应用于任何预训练模型。但最好能够访问模型的内部结构，因为我们可以获得有关基本模型的更多信息，但如果只有最终输出，元模型也可以预测置信度得分。”

研究人员设计出元模型，以使用包括两种类型的不确定性（数据不确定性和模型不确定性）的技术产生不确定性量化输出。数据不确定性是由损坏的数据或不准确的标签引起的，只能通过修复数据集或收集新数据来减少。在模型不确定性中，模型不确定如何解释新观察到的数据，并可能做出错误的预测，这很可能是因为模型没有看到足够多的相似训练示例。在部署模型时，该问题非常棘手但很常见。在现实世界中，模型经常遇到与训练数据集不同的数据。

验证量化

一旦模型产生了不确定性量化分数，用户仍然需要确保分数本身是准确的。研究人员通常通过创建一个较小的数据集来验证准确性，该数据集是从原始训练数据中提取出来的，然后在提取的数据上测试模型。然而，这种技术在测量不确定性量化方面效果不佳，因为该模型可以实现良好的预测精度，且仍然过于自信。

通过向验证集中的数据添加噪声，研究人员创建了一种新的验证技术。这种噪声数据更像是可能导致模型不确定性的分布外数据。研究人员使用这个嘈杂的数据集来评估不确定性量化。

通过查看元模型如何为各种下游任务捕获不同类型的不确定性，研究人员对新方法进行测试，包括分布外检测和错误分类检测。新方法不仅在每个下游任务中优于所有基线，而且实现这些结果所需的训练时间更少。

这项技术可以帮助研究人员启用更多机器学习模型来有效地执行不确定性量化，最终帮助用户更好地决定何时相信预测。

展望未来，研究人员希望将他们的技术应用于更新的模型类别，例如具有与传统神经网络不同结构的大型语言模型。