vLLM Blog· vLLM Team, Inferact, Red Hat, and NVIDIA·原文发布· 7 天前精选AI 评分62
vLLM 支持 NVIDIA Vera Rubin NVL72：吞吐量达 GB200 NVL72 的 7.8 倍
vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72
AI 导读
vLLM 现已支持 NVIDIA Vera Rubin NVL72，官方称在 AgentX 上匹配交互性时每 GPU 吞吐量最高达 GB200 NVL72 的 7.8 倍，在 MLPerf 中 VLM 吞吐量最高达 GB300 NVL72 的 3.7 倍。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据，可据此判断新硬件上的推理部署进展。