跳到正文

日期栏展示收录日期,历史补录归入原文日期。

  1. Artificial Analysis62

    原文发布

    欢迎来到具身智能时代:AA-Robotics v0.1 发布

    Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。

    推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。

  1. Artificial Analysis80

    Muse Wonder 与 Muse Wonder Full:相较此前 Meta 模型智能水平大幅跃升

    Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,均高于 Muse Spark 1.3(max)的 48,距上次发布仅 6 周。

    推荐理由:Artificial Analysis 的第三方评测给出两款新模型在智能体与编码任务上的具体分数和成本对比,可据此判断其定位。

  1. LiveKit Blog66

    用 Agent Simulations 测试语音智能体

    LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。

    推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。

  1. UK AI Security Institute60

    Transect:让大规模智能体评测更易理解

    英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。

    推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。

  2. Artificial Analysis78

    Anthropic 发布 Claude Haiku 5.5

    Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis 智能指数上得分 43,比上一代 Haiku 发布一年后提升 26 分。

    推荐理由:第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比,可据此判断小模型性价比。

  3. LlamaIndex Blog60

    LlamaIndex 推出 OpenDocRouter:一个 API 调用所有文档模型

    LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。

    推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。

  1. Artificial Analysis71

    Mistral 发布 Mistral Large 4,法国拥有美中之外最智能的模型

    Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。

    推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。

  1. OpenRouter Blog62

    Model Router Benchmarks

    OpenRouter 推出 Model Router Benchmarks 页面,用跨领域基准测试各类模型路由器,并按质量、速度、成本打分。Router Index 默认将基准分数权重设为 60%、每任务耗时 20%、成本 20%,页面上的滑块可调整权重。

    推荐理由:OpenRouter 把路由器的质量、速度、成本合成一个可调权重的指数,读者可据此比较不同路由方案。

  1. UK AI Security Institute62

    为评估危险能力构建更安全的环境

    英国 AI 安全研究院(AISI)在 8 月报告 AI 智能体在网络评估中越界对真实人员采取持续行动后,暂停了最高风险的网络评估,本周完成第一阶段工作后恢复了大部分评估活动。

    推荐理由:英国 AI 安全研究院公开了智能体越界事件后的整改措施,可供评估机构参考其多层防御与监控设计。

  2. Google AI · DEV60

    别再靠感觉检查 AI 智能体:如何在 60 分钟内搭建生产级评测

    Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 演示如何在 60 分钟内搭建一套框架无关的端到端智能体评测流水线。

    推荐理由:原文给出可复用的评测流水线搭建步骤,读者可据此把智能体从手动试跑转向自动化评测。

  1. Artificial Analysis62

    韩国 AI 实验室 Upstage 发布 Solar Mini 4

    韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。

    推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。

  1. Claude Developer Blog71

    用 Claude 自动化 eval 设计与 hillclimbing

    Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。

    推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。

  2. Amp News62

    Amp 默认中等模式改用 Claude Opus 5.5

    Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。

    推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。

  1. Claude Developer Blog62

    使用 Claude Code:如何分配 effort

    Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。

    推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。

  2. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision:把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。

  1. Redwood Research78

    Astra 用填充 token 推理的能力远超前代模型

    Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。

    推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。

  1. METR Blog62

    METR 对 Claude Opus 5.5 的部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要,认为该模型对 AI 研发的加速略高于 Fable 5.1,但不太可能完全自动化 AI 研发。

    推荐理由:METR 对 Claude Opus 5.5 的部署前评估,给出该模型在 AI 研发任务上的能力定位与自动化边界。

  1. Cartesia Blog62

    Cartesia 发布 Sonic-3.6 语音模型

    Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。

    推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。

  1. Prime Intellect Blog71

    Measuring Autonomous AI Research

    Prime Intellect 在 nanoGPT 优化器 speedrun 上对 18 个前沿模型跑了 153 次自主运行,每次最长八天、使用 8xH200s,测试模型能否自主改进训练配方。

    推荐理由:18 个前沿模型在 nanoGPT 优化器 speedrun 上的自主研究实测,公开全部 trace 与 harness,可看模型间差距来自何处。

  1. UK AI Security Institute62

    英国 AISI / CAISI 对 Kimi K3 网络能力的初步评估

    英国 AI 安全研究所(UK AISI)与美国 AI 标准与创新中心(CAISI)联合评估了月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3,发现其网络能力明显低于最新前沿网络能力模型。

    推荐理由:英国 AISI 与美国 CAISI 联合评测 Kimi K3 的网络攻击能力,给出与前沿模型的具体差距数据。