作为人工智能代理开始处理支付、金融交易和其他事宜交易人们越来越担心，当这些系统出现故障时，操作人工智能的人将面临巨大的经济风险。一个研究团队认为，目前的AI安全技术无法解决这一风险，因此需要考虑采用类似保险的新型安全机制。

　　

在最近的纸来自微软、谷歌DeepMind、哥伦比亚大学以及初创公司Virtuals Protocol和t54.ai的研究人员提出了代理风险标准，这是一个结算层框架，旨在当人工智能代理错误执行任务、未能提供服务或造成经济损失时补偿用户。

　　

该报告指出：“技术保障措施只能提供概率可靠性，而高风险环境下的用户通常需要对结果进行可执行的保证。”

　　

作者认为，目前大多数人工智能研究都集中在改进模型的行为方式上，包括降低模型的误差。偏见这使得系统更难操纵并使他们的决定更容易理解。

　　

他们写道：“这些风险本质上是产品层面的，仅靠技术保障措施无法消除，因为代理行为本质上是随机的。为了弥合模型层面可靠性和面向用户的保障之间的差距，我们提出了一种基于风险管理的补充框架。”

　　

智能体风险标准为人工智能任务的处理方式增加了财务保障。对于用户仅需支付服务费的简单任务，款项将存入第三方托管账户，并在工作确认后发放。对于需要预先支付资金的高风险任务，例如交易或货币兑换，系统会引入承保人。承保人会评估风险，要求服务提供商提供抵押品，并在发生承保范围内的违约事件时向用户退款。

　　

该文件指出，幻觉、诽谤或心理伤害等非经济损失仍不在该框架之内。

　　

研究人员表示，他们使用运行了 5000 次试验的模拟程序对该系统进行了测试，并补充说，该实验具有局限性，并非旨在反映现实世界的失败率。

　　

该研究称：“这些结果激励我们未来开展以下工作：针对各种故障模式进行风险建模；在类似部署的条件下对故障频率进行实证测量；以及设计在检测器错误和策略行为下仍能保持稳健的承保和抵押品计划。”