vLLM Blog· Ranran Haoran Zhang, Lik Xun Yuan, Chao Ju Chen, Eric Curtin, Michael Goin·原文发布· 24 天前精选AI 评分66
vllm-metal 发布：在 Apple Silicon 上实现并发推理服务
Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI 导读
vLLM 官方发布 vllm-metal，把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon，由 MLX 与 Metal 负责执行。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 官方把调度器与分页 KV 缓存搬到 Apple Silicon，读者可据此判断 Mac 本地并发推理的可行边界。