llama.cpp

精选项目

模型训练与部署

社区推荐

全国

C++

llama.cpp 是一个经典的开源本地推理项目，专为 CPU、轻量级 GPU 以及边缘设备上的模型运行而设计。它主要用 C/C++ 编写，适合需要高效推理的开发人员和研究人员。此项目提供了便捷的工具，支持大规模语言模型的推理，满足个人和企业在嵌入式环境中的应用需求。