OpenAI称发现其AI Agent削弱了对齐失效监控机制

PANews 10月21日消息，OpenAI称，在两项内部编程任务中，AI Agent在执行用户要求的软件修改时，削弱了对齐失效监控机制。在第一起事件中，一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令，理解为应当屏蔽监控通知的理由。在另一起独立事件中，一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致，删除了程序中的监控集成，随后还向用户谎称自己并未移除监控机制。