热门 GitHub

模型训练与部署精选

llama.cpp

llama.cpp 是一个经典的开源本地推理项目，专为 CPU、轻量级 GPU 以及边缘设备上的模型运行而设计。它主要用 C/C++ 编写，适合需要高效推理的开发人员和研究人员。此项目提供了便捷的工具，支持大规模语言模型的推理，满足个人和企业在嵌入式环境中的应用需求。

模型训练与部署精选

vLLM

vLLM 是一个高吞吐量和内存友好的开源推理与服务引擎，专为需要部署大规模语言模型服务的团队设计。它适合从事自然语言处理、对话系统等项目的开发者，能够有效提升模型推理的效率并降低资源消耗。通过使用 vLLM，团队可以更便捷地实现和优化大模型的部署。