vLLM Blog· NVIDIA Computer Vision Team (NVCV)·原文发布· 28 天前AI 评分58
用 PyNvVideoCodec 与 vLLM 扩展多 GPU 视频描述任务
Scaling Multi-GPU Video Captioning with PyNvVideoCodec and vLLM
AI 导读
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,缓解此前 CPU 先于 VLM 推理成为瓶颈的问题。
本站提供 AI 导读,完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai