Baseten Blog·原文发布· 13 天前精选AI 评分62
智能体推理优化：引擎提速 50-90%
Agentic inference optimization: 50-90% faster engines
AI 导读
Baseten 作者让 Claude Code 基于 MetaInfer 技能框架自动生成推理引擎，在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）生成的 VibeQwen 相比 vLLM 0.25.1 单流解码提速最高 90%，首 token 时间从 28ms 降至 12ms，并发 32 时输出吞吐提升 71%。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 Baseten Blog · baseten.co
推荐理由
作者用两个模型实测了让智能体自动生成推理引擎的流程，给出了与 vLLM 的对比数据和成本量级。