VL工具 / vLLM Project
vLLM
面向大语言模型的高吞吐推理与服务引擎，支持连续批处理、前缀缓存、量化、分布式并行以及 OpenAI 兼容 API。
模型推理OpenAI API本地部署
它能帮你做什么？
面向大语言模型的高吞吐推理与服务引擎，支持连续批处理、前缀缓存、量化、分布式并行以及 OpenAI 兼容 API。适合部署自有模型服务的平台工程师和研究团队。
- 部署本地或私有大模型 API 的平台工程师
- 需要评估推理吞吐和多模型兼容性的研究团队
研究与数据科学研究、数据分析与数据库
部署与运维云基础设施、故障诊断与安全
如何开始使用
按官方硬件安装文档使用 uv 或 pip 安装 vllm，下载适配内核后可从 CLI 启动模型服务；生产环境需根据 GPU、模型架构、量化和并行策略单独压测。
LinuxPythonNVIDIA GPUAMD GPU多种硬件插件OpenAI 兼容 API
查看原始项目文档 费用与使用条件
vLLM 采用 Apache-2.0；模型许可证、GPU、存储与云基础设施费用另行承担。
查看 Apache-2.0 许可证特点与使用边界
专注模型推理调度和服务吞吐，不提供聊天应用或 Agent 工作流；相比桌面本地模型工具，更适合服务器与集群部署。
- 不同硬件、模型和量化方式的支持程度不同，部署前查看对应安装矩阵。
- 模型权重与 vLLM 代码许可证相互独立，商用前需核对模型条款。
介绍依据与原始来源
本站整理介绍并引导访问原始项目。功能、支持平台与价格可能变化，实际使用前请核对官方文档。
- 原始项目
https://github.com/vllm-project/vllm - 参考资料
https://github.com/vllm-project/vllm/blob/817fa3518cd4bcc94b31e044c534c002e701c801/README.md - 参考资料
https://github.com/vllm-project/vllm/blob/817fa3518cd4bcc94b31e044c534c002e701c801/LICENSE - 核验所依据的上游提交
https://github.com/vllm-project/vllm/commit/817fa3518cd4bcc94b31e044c534c002e701c801