jundot/omlx

大模型

社区推荐

全球

Python

omlx 是一个为 Apple Silicon 设备优化的 LLM 推理服务器，具备持续批处理和 SSD 缓存功能，用户可以方便地通过 macOS 菜单栏进行管理。该项目适合需要在本地高效执行大模型推理的开发者和科研人员，典型用途包括自然语言处理和机器学习应用。项目采用 Python 编写，并遵循 Apache-2.0 许可协议。