vLLM

精选项目

模型训练与部署

社区推荐

全国

Python

vLLM 是一个高吞吐量和内存友好的开源推理与服务引擎，专为需要部署大规模语言模型服务的团队设计。它适合从事自然语言处理、对话系统等项目的开发者，能够有效提升模型推理的效率并降低资源消耗。通过使用 vLLM，团队可以更便捷地实现和优化大模型的部署。