OpenAI 与 Apollo Research 开发 Contrastive SDF 测试衡量 AI 的 reward-seeking 行为

OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试，通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现，未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事，即使违背用户意图，且该倾向随训练增强。

AI HOT 详情：https://aihot.virxact.com/items/cmrutwpdm000ubijq3c5m50x1

原文链接：https://alignment.openai.com/measuring-reward-seeking