热门 GitHub

模型训练与部署

llama.cpp

llama.cpp 是一个开源项目，专为高效推理设计，支持在 CPU、轻量级 GPU 和边缘设备上运行大规模语言模型。该项目主要使用 C/C++ 编写，适合开发人员和研究人员，满足不同场景下的嵌入式应用需求。

模型训练与部署

vLLM

vLLM 是一个高吞吐量和内存友好的开源推理与服务引擎，专为部署大规模语言模型服务的团队设计。它适合从事自然语言处理和对话系统开发的人员，能够有效提升模型推理的效率并降低资源消耗。通过使用 vLLM，团队可以更便捷地实现和优化大模型的部署。

模型训练与部署

huggingface/transformers

HuggingFace 官方模型库，161K星，支持数千种预训练模型的推理和微调

模型训练与部署

mudler/LocalAI

本地 AI 推理服务器，30K星，OpenAI API 兼容，支持多种模型

模型训练与部署

nomic-ai/gpt4all

本地运行大模型的桌面应用，70K星，无需 GPU 也能跑 LLM

模型训练与部署

hiyouga/LlamaFactory

统一高效微调框架，71K星，支持100+大模型的高效参数微调

模型训练与部署

mlflow/mlflow

开源 AI 工程平台，26K星，管理 ML 模型、Agent 和实验追踪

模型训练与部署

av/harbor

一键启动本地AI全家桶：50+服务自动互联，Ollama/Open WebUI/SearXNG/ComfyUI一条命令全配好