AI 测量中的国际评估最佳实践与开放问题
国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。
日期栏展示收录日期,历史补录归入原文日期。
国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。
英国 AI 安全研究所(UK AISI)与美国 AI 标准与创新中心(CAISI)联合评估了月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3,发现其网络能力明显低于最新前沿网络能力模型。
推荐理由:英国 AISI 与美国 CAISI 联合评测 Kimi K3 的网络攻击能力,给出与前沿模型的具体差距数据。
LiveKit 正式发布 Unity SDK v2.0.0,结束开发者预览,功能与现有 LiveKit SDK 达到对齐。该 SDK 支持实时语音视频、机器人遥操作,以及接入 LiveKit agent 打造语音驱动的 AI NPC,可运行 STT → LLM → TTS 管线或单一实时模型。
Modem 发布博客系列第一篇,指出 Claude Code、Codex 等编码智能体主要靠 ripgrep 做文本搜索来导航代码库,因此代码中的命名和文件路径本身就是搜索词。
推荐理由:Modem 用自家 68 万行 AI 生成代码的实测数据,说明命名与类型如何影响智能体的检索成本与准确率。
LiveKit 发布教程,介绍如何构建不会脱离既定脚本的语音智能体,并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠,需在模型内外分层设防:结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工,再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱,真正的规则应在代码中强制执行。
推荐理由:原文给出语音智能体防跑偏的分层做法,从提示词结构到代码校验与独立审核,可迁移到自己的 Agent 项目。
Modem 面向所有用户开放 Stripe 集成 beta 版,可在 Settings → Integrations → Stripe 中连接。接入后 Modem 能结合账单上下文回答用户所处套餐、是否试用或付费、发票与付款状态及未决争议等问题,并按 Stripe ARR 而非投票数对功能请求排序。
在智能体自动写代码、跑测试并提交 PR 之后,打磨(polish)成为复合工程中仍属于人的最后一步。作者用 /ce-polish 命令检出分支、后台启动开发服务器并在编辑器内打开应用,通过 Monologue 语音反馈让智能体修正 Cora 邮件卡片的动画与布局密度。
随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10,基准测试显示推理价格每年下降 9x 至 900x(中位数约 50x),数据系统面临三大新挑战:为智能体设计的数据系统、由智能体运行的数据系统、以及由智能体合成的数据系统。
Modem 面向所有用户推出 Zendesk 集成 beta,可在 Settings → Integrations → Zendesk 通过 OAuth 连接,无需 API key。
Modem 面向所有用户上线 Notion 集成,可从 Settings 连接或让 @Modem 协助设置。连接后 Modem 智能体可创建页面、填充数据库行、更新属性并向已有页面追加内容,Slack 和仪表盘中默认需用户批准后执行,Automations、Discord、Teams 和 MCP 运行则无审批提示。
Compound Engineering 方法论从四步扩展为八步:Ideate → brainstorm → plan → work → review → polish → compound → repeat,新增前置的 Ideate、brainstorm 与收尾的 polish。
Modem 面向所有用户上线 Automation Templates,可在 Automations 页面浏览并几键安装经过测试的现成智能体自动化。模板预填提示词、调度和输出目标,未修改提示词时会随官方改进自动更新,也可随时 fork 自定义。示例包括 GitHub PR 合并后向 Slack 推送客户跟进提醒、每日发现新对话参与者、每周一从已合并 PR 生成面向客户的更新日志。
Every 为每位员工部署了基于 OpenClaw 的 AI 智能体 Plus One,但上线数周后这些智能体带来的困扰多于效率,常声称未连接邮件、Notion、PostHog 等应用,还会回复“Terminated”或打哈欠表情。Every 因此调整 Plus One 产品方向,下一代将更像有明确职责的共享团队资源,而非反映主人个性的个人宠物。
资深记者兼传播专家指出,AI 尚无法复制优秀人类提问者从访谈中挖掘隐性知识的能力,这种"苏格拉底式服务"仍是人类工作。文中引用 Michael Polanyi 的隐性知识概念与 Ikujiro Nonaka 1991 年文章中松下电器派软件开发者向酒店面包师学徒、最终改良揉面技术的案例。Every 内部已用 AI 智能体在撰写 OKR 时向员工提问。
Zyphra 发布 ZAYA1-74B-Preview,这是一个经过预训练、中训练和上下文扩展的 pre-RL 推理基座 checkpoint,尚未做 RL 后训练或指令对话微调。
Every 旗下 AI 写作产品 Spiral 的总经理 Marcus Moretti 用 Claude Code 独自承担代码、客服、营销和产品管理,把原本分散在 10 个应用里的工作收进单一对话线程。他唯一手写的产品文档是路线图,六易其稿后作为 README 建入 GitHub 项目,其余 PRD 和 ticket 全部由 Claude 生成。
OpenAI 发布 Auto-review 研究,用独立的 Codex 智能体在沙箱边界审批越界操作,替代用户逐次授权。内部部署中 Codex 会话需人工审批的频率比手动模式降低约 200 倍,Auto-review 对需审查操作批准约 99%,在提示注入合成评测中拒绝率 99.3%、过度主动场景 90.3%、MonitoringBench 困难集 96.1%。
推荐理由:OpenAI 公开 Auto-review 的内部部署数据与安全评测,可了解用独立智能体替代人工审批的取舍。
Reflection 宣布完成 20 亿美元融资,组建了曾参与 PaLM、Gemini、AlphaGo、AlphaCode、AlphaProof 及 ChatGPT 等项目的 AI 团队,并搭建起可训练前沿规模 MoE 模型的大规模 LLM 与强化学习平台。该平台已在自主编程领域验证有效,下一步将把方法拓展到通用智能体推理,并从头结合大规模预训练与先进强化学习来构建开放模型。