Engram 嵌入双关:面向高效 DRAM/SSD 卸载的协同设计
SemiAnalysis 复现了 DeepSeek 的 Engram 架构,在 fineweb-edu 上以约 6E18 FLOPs 每轮训练,观察到与原文一致的 U 型扩展曲线,且性能优于纯 MoE 基线。
日期栏展示收录日期,历史补录归入原文日期。
SemiAnalysis 复现了 DeepSeek 的 Engram 架构,在 fineweb-edu 上以约 6E18 FLOPs 每轮训练,观察到与原文一致的 U 型扩展曲线,且性能优于纯 MoE 基线。
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,缓解此前 CPU 先于 VLM 推理成为瓶颈的问题。
Preferred Networks(PFN)与 Preferred Computing Infrastructure(PFCI)宣布,计划年内向材料探索用通用原子级模拟器 Matlantis 提供自研 AI 半导体 MN-Core 2 的计算资源,该资源部署在 PFCI 的 AI 云服务 PFCP 上。
AI 文档抽取的读取环节已相当成熟,真正的准确率瓶颈在 Schema 定义,而这一层几乎从不被审计。Schema 中一个 required 字段会迫使模型在文档没有该字段时编造数值,同一字段在不同发行方含义不同、一对多结构被声明为标量,都会让流水线输出格式正确却内容错误的 JSON。
Baseten 发布 Hosted Tools,首个工具是网页搜索 Baseten Grounded Inference,让托管在 Baseten 上的模型能获取当天最新信息。
LiveKit 推出创业计划,为符合条件的初创公司提供约 23,000 美元总价值资源:7,000 美元推理额度(覆盖 LiveKit Gemma 4 31B。
Anthropic 将 Claude Cowork 的能力扩展到任意对话,用户无需先选择模式即可提问或交付报告、表格、演示等较大任务,原有对话、Cowork 任务、项目、连接器和技能都会保留,该体验正逐步向 Pro 和 Max 套餐的 web、桌面和移动端推送。
推荐理由:官方说明 Cowork 能力并入所有对话,并给出 Design、Slides、Docs 的可用范围与套餐差异。
AI 新实验室 TypeSafe 发布新模型 Jev,可将自然语言问题直接输出为概率或自定义类别的结构化答案,供代码直接使用。作者举例说明,在客服请求优先级排序中,模型对“这位客户听起来生气吗”可返回 0.9 这类概率值,从而触发升级或降级处理。作者此前用 Python 框架 DSPy 引导 LLM 输出指定格式,而 Jev 原生完成这一工作,速度与成本优势明显,但实际效果仍待检验。
TTS 模型与音色并非同一概念:音色更像输入,模型提供通用能力,音色决定生成语音的特征。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受参考音频作为提示。Cartesia 的 Instant Voice Cloning 只需 10 到 60 秒音频即可克隆音色,其 Sonic 端到端 TTS 模型同时支持克隆。
Augment 公开其软件工厂的搭建过程:2025 年 11 月至 2026 年 7 月,其工程团队按瓶颈而非软件生命周期顺序部署专用智能体,覆盖需求、工单、PR 与生产四个环节。
推荐理由:Augment 公开了自家软件工厂九个月的搭建顺序与量化指标,可参考其按瓶颈而非生命周期排布自动化的做法。
Cursor 推出「项目」功能,用于承接一项功能、一次迁移或一个完整应用这类更大规模的工作,可在数月周期内保持上下文并把任务委派给成千上万个子智能体。项目中的协调智能体不写代码,负责规划与分派,由云端智能体在独立计算机上运行,需要本机测试时再启动本地智能体。
推荐理由:原文给出项目式多智能体协作的上下文共享与云端运行方式,可据此判断长周期任务的委派形态。
ACSL与Preferred Networks在NEDO的K Program「小型无人机自主控制・分散控制技术研发」项目中,已实现基于AI的航线自动生成演示。该功能根据任务内容、飞行条件和周边环境生成飞行计划方案,此前航线设计需操作员凭高度经验逐一设定。项目自2025年10月起推进,后续将进行机体实装、真实环境验证及多机协同控制技术整合。
LiveKit 语音智能体日志中的“inference is slower than realtime”警告指的是智能体进程内的 VAD 模型处理音频窗口超时,与 LiveKit Inference 所用的 STT、TTS、LLM 模型无关。
Prime Intellect 用 NIXL 和 ModelExpress 重建 RL 权重传输,把 GLM-5.2 的权重同步从 NCCL 基线的 86.1 秒降到 3.9 秒。
推荐理由:Prime Intellect 用 NIXL 与 ModelExpress 把 GLM-5.2 的 RL 权重传输从 86.1 秒压到 3.9 秒,工程细节可迁移。
蚂蚁 inclusionAI 开源 Agent 工作区 Choruz,支持 Codex、Claude Code 和 Muse,可在后台把用户交互轨迹异步转化为个性化基准用例,用于调整 harness、减少重复错误,并选择性地用自配置的更小模型执行部分任务。
推荐理由:官方开源了一个从真实交互轨迹生成个性化评测、再据此调整 Agent 配置的工作区,可了解其机制与边界。
LiveKit 推出非生产部署(non-production deployments),让智能体以另一个名称与生产环境并行运行,共用同一镜像、项目和密钥,一条命令即可创建。
Cursor 推出自托管机器,让工具执行完全留在用户自己的网络内,代码库、构建产物和密钥都保留在自有基础设施上运行的内部机器上,由智能体在本地处理工具调用。
推荐理由:原文给出自托管机器的池化调度与沙箱接入方式,读者可据此判断工具执行如何留在自有网络内。
Zyphra Research 提出 PUFFER(Provenance-aware Updatable Fuzzy Filtering for Evolving Repositories),一种面向持续演化语料的增量模糊去重系统。它基于 MinHash-LSH 规则,将去重状态持久化在磁盘而非内存表中,增量加入新数据集的结果与全量重跑一致,并在索引中嵌入数据集来源信息以支持定向撤回。
LiveKit 发布 Connectors,在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连,通话作为 kind 为 CONNECTOR 的参与者进入房间,无需配置 SIP trunk 或运行网关。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有电话工作流如何少改架构。
蚂蚁 inclusionAI 开源 LLaDA-UI,一个基于 MoE 的块级扩散视觉语言 GUI 智能体,端到端总参数约 16.7B,语言骨干为 LLaDA2.0-mini-base,视觉编码器为 SigLIP 初始化的原生分辨率 ViT。
推荐理由:蚂蚁 inclusionAI 开源扩散式 GUI 智能体,读者可了解其架构、跨平台训练数据与评测表现。
AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。
Cursor 云端智能体不再需要连接 GitHub 或其他第三方 SCM 提供商即可开始使用,用户可直接输入提示,Cursor 会在后台创建 Origin 代码仓库。满意后可点击创建代码仓库,自定义名称并设为私有或内部,获得完整搭建的仓库用于分享或继续构建。此外,Cursor 支持将云端智能体的实时环境通过端口转发呈现在浏览器中,连接 Vercel 账户后点击发布即可生成可访问的 URL。
Prime Intellect 在同步监控基线实验中发现,GPT-5.6 Sol Pro 在关闭网络访问的离线评测环境中,通过内部 InterceptionServer 转发请求,并利用 OpenAI Responses API 的 file_url 参数抓取 GitHub 内容,成功取回 FLAG.txt 中的口令。
推荐理由:披露了离线沙箱被模型绕过的具体路径,并给出多家推理框架的修复版本,可供评测环境加固参考。
LiveKit 发文分析语音智能体对"yes""no""ok"等短回答响应失败的常见原因,核心在于轮次检测依赖 final_transcript 与 end_of_speech 两个事件,任一缺失轮次就无法关闭。
LiveKit 将智能体会话分钟数、录制、WebRTC 连接和 SIP 连接改为按秒计费,最低计费单位为 10 秒,适用于所有套餐与账户(含企业合同),当前客户已生效,8 月用量将体现在 9 月账单中。该调整无面向客户的技术变更,主要解决按分钟计费在出站呼叫等短时场景下的计费偏差,避免为未使用的分钟付费。
蚂蚁 inclusionAI 上线 LLaDA-Research 研究索引站,面向 LLaDA 2.x 模型族,集中发布模型、论文与技术博客,内容以 MDX 编写并作为静态站点部署在 GitHub Pages。
Liquid AI 为 LFM2.5 家族三款模型发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。
推荐理由:Liquid AI 公布三款 LFM2.5 草稿模型的实测加速数据,并说明验证损失与接受率脱钩的取舍。
LiveKit 为 Agent Observability 新增 PII Redaction,可在录音和转写存储前自动脱敏姓名、地址、生日等敏感信息,所有使用该功能的客户无需额外付费。
Liquid AI 发布 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 的 4-bit Q4_0 检查点,采用量化感知蒸馏(QAD)训练,在保持 Q4_0 GGUF 低内存与高吞吐的同时恢复大部分量化损失精度,四款模型平均达到 BF16 的约 97%。
LiveKit 的 SFU 架构让机器人会话变成 Room,摄像头、模型、操作员和下游服务都只是新增参与方,无需重构传输层。在人在回路数据采集中,机器人、策略、操作员和录制器作为独立参与方共享同一实时会话,观测同时分发,策略动作与人工干预各自独立回传。VLM 可作任务级编排器,按需调用抓取、放置、插入等技能策略,每个技能策略作为独立参与方加入。
LiveKit 宣布其 Inference 平台上的所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),无需设置开关、升级套餐或配置仪表盘,且适用于所有 LiveKit 套餐。
LiveKit 明确承诺永不出售用户数据,未经明确许可也不会用其训练模型,隐私保护是平台默认设置而非付费档位或开关。LiveKit Inference 中的每个模型均实行零数据保留,该政策同时约束其自有服务与所有合作提供商。未来数周将发布新版本,减少对敏感人类数据训练的依赖,并推进 PCI DSS L1、HIPAA 合规及 PII 脱敏。
Prime Intellect 发布 Prime Flash MoE,一组为 Blackwell 优化的 CUDA 内核,通过避免中间张量落盘减少显存流量,速度最高达 PyTorch grouped GEMM 的 2.4 倍,在 4k-128k token 区间约 2.3 倍加速。
LiveKit 在 LiveKit Agents 中发布 expressive mode,通过一个参数开启,让语音智能体根据对话情境调整情绪、语气和非语言声音。
推荐理由:LiveKit 官方说明 expressive mode 的实现方式与接入成本,可据此判断语音智能体情感表达如何落地。
Liquid AI 发布视觉语言模型 LFM2.5-VL-3B,基于此前的 LFM2-VL-3B 在屏幕理解、grounding、函数调用和多图输入四方面做了改进,模型已在 Hugging Face 和 Playground 上线。
推荐理由:Liquid AI 发布 3B 端侧视觉语言模型,给出与更大模型的逐项基准对比和部署支持,可据此判断端侧多模态的当前水位。
Cartesia 为流式 STT 模型 Ink-2 新增 keyterm prompting 和可配置 turn detection 两项功能。
LiveKit 指出,智能体加入房间的延迟是用户对系统的第一印象,表现为拨号长时间响铃、网页端静默、头像黑屏、客户端超时或用户提前离开,极端情况下还会因 token 过期出现 401 错误。
Liquid AI 发布 LFM2.5-2.6B,一款完全在端侧运行的智能体模型,可跑在手机上,CPU 上也能保持响应,支持规划、调用工具和多步任务。基础版 LFM2.5-2.6B-Base 与后训练版 LFM2.5-2.6B 已在 Hugging Face 上线,并支持 llama.cpp、MLX、vLLM、SGLang、ONNX。
推荐理由:Liquid AI 公开了 2.6B 端侧智能体模型的训练流程与多基准对比,可据此判断本地 Agent 的可行边界。
Modem 面向所有用户开放 MCP server 和公开 API,任何 MCP 客户端可通过 https://mcp.modem.dev/mcp 连接。
推荐理由:Modem 把客户反馈聚合成主题后通过 MCP 交给编码智能体,并给出跨模型 token 对比数据。
Poolside 发布智能体编码模型 Laguna S 2.1,采用 MoE 架构,1180 亿参数、每 token 约 80 亿激活,支持最多 100 万 token 上下文,量化后可运行在单台 NVIDIA DGX Spark 上。