预测性数据调试:在训练前揭示并塑造模型所学
Goodfire Research 发布预测性数据调试研究,可在训练前预测 DPO 会放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。
推荐理由:Goodfire 提出在训练前预测偏好数据会放大或抑制哪些行为,并给出多个真实数据集的意外案例。
日期栏展示收录日期,历史补录归入原文日期。
Goodfire Research 发布预测性数据调试研究,可在训练前预测 DPO 会放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。
推荐理由:Goodfire 提出在训练前预测偏好数据会放大或抑制哪些行为,并给出多个真实数据集的意外案例。
Goodfire Research 提出用 Logits 作为监测评估意识的新手段。该研究与其在 Kimi K3 上训练和部署生产级网络监测器、利用蛋白质嵌入构建 AI 智能体生物安全监测器等工作并列,同属其可解释性方向。
OpenAI 披露,其新检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练曾意外对 CoT 评分,GPT-5.5 未受影响。
推荐理由:OpenAI 公开了 CoT 评分事故的检测系统、影响范围与消融实验,可了解 CoT 可监控性在真实 RL 流程中的脆弱边界。
OpenAI 发布 Auto-review 研究,用独立的 Codex 智能体在沙箱边界审批越界操作,替代用户逐次授权。内部部署中 Codex 会话需人工审批的频率比手动模式降低约 200 倍,Auto-review 对需审查操作批准约 99%,在提示注入合成评测中拒绝率 99.3%、过度主动场景 90.3%、MonitoringBench 困难集 96.1%。
推荐理由:OpenAI 公开 Auto-review 的内部部署数据与安全评测,可了解用独立智能体替代人工审批的取舍。
OpenAI 开源了其思维链可监控性(CoT monitorability)研究的部分数据集与参考代码,包括可监控性评测套件中的大部分数据集、计算 g-mean 2 指标的代码,以及一种新的交叉拟合过滤策略。
OpenAI 启动 Safety Fellowship 试点项目,面向外部研究者、工程师和从业者,资助高级 AI 系统安全与对齐研究,项目期为 2026 年 9 月 14 日至 2027 年 2 月 5 日。