大模型
jundot/omlx
omlx 是一个为 Apple Silicon 设备优化的 LLM 推理服务器,具备持续批处理和 SSD 缓存功能,用户可以方便地通过 macOS 菜单栏进行管理。该项目适合需要在本地高效执行大模型推理的开发者和科研人员,典型用途包括自然语言处理和机器学习应用。项目采用 Python 编写,并遵循 Apache-2.0 许可协议。
#大模型#Python#jundot#推荐
Stars
7.4k
Forks
607
Language
Python
License
Apache-2.0
