通过观察邻近点的一致性，研究人员可以评估模型的可靠性。

盖世汽车讯 基础模型是大规模深度学习模型，已在大量通用、未标记的数据上进行了预训练，可应用于各种任务，例如生成图像或回答客户问题。这些模型是 ChatGPT 和 DALL-E 等人工智能工具的支柱，但它们可能会提供错误或误导性的信息，在安全攸关的情况下（例如行人接近自动驾驶汽车）这些错误信息可能造成严重后果。

（图片来源：麻省理工学院）

据外媒报道，为了帮助防止出现此类错误，麻省理工学院（MIT）和 MIT-IBM 沃森人工智能实验室（MIT-IBM Watson AI Lab）的研究人员开发出一种技术，可以在将基础模型部署到特定任务之前评估其可靠性。

研究人员考虑通过一组彼此略有不同的基础模型来实现这一目标，然后利用其算法来评估每个模型学习到的关于同一测试数据点的表示（representation）的一致性。如果这些表示一致，则意味着模型可靠。

与最先进的基线方法相比，这种技术能够更好地体现在各种下游分类任务中基础模型的可靠性。人们可以利用这种技术来决定是否可以在特定环境中应用模型，而无需在真实数据集上进行测试。当数据集可能因隐私问题而无法访问时（例如在医疗保健环境中），这可能特别有用。此外，该技术还可用于根据可靠性评分对模型进行排名，从而使用户能够为其任务选择最佳模型。