AnythingLLM：零门槛搭建你的私有ChatGPT，数据完全自己掌控

你是不是也有这些烦恼？

每次把公司文档、客户资料传到ChatGPT上，心里总有点不踏实——万一数据泄露了怎么办？想用AI分析内部资料，又不敢把东西放到云上；想给团队每人配个AI助手，又不想每人花200块充ChatGPT Plus；好不容易找了个开源方案，结果配置一大堆，光看文档就头大了……

如果你有以上任何一种感受，那今天这个项目你一定会喜欢。

AnythingLLM 是什么？

AnythingLLM 是一个全功能的私有AI平台，你可以把它理解为"自己搭建的ChatGPT"——但它不只是聊天，还能让AI读你的文档、帮你执行任务、甚至搭自动化工作流，而且所有数据都存在你自己的电脑或服务器上，没有任何第三方能看到。

项目在GitHub上已经有 58,000+ 颗星，采用MIT开源协议，完全可以商用。

核心功能一览

• 📄 文档对话（RAG）：上传PDF、Word、TXT等文档，AI基于文档内容精确回答，不再瞎编
• 🤖 内置AI Agent：不只是聊天，Agent可以浏览网页、运行代码、执行自动化任务
• 🔧 无代码Agent构建器：可视化拖拽创建自定义AI工作流（Agent Flows），不会写代码也能搭自动化
• 🔌 MCP协议兼容：完整支持MCP（Model Context Protocol），可以接入各种外部工具，扩展能力几乎无限
• 👥 多用户+权限管理：支持多用户使用，每人独立权限，适合团队部署
• 🖼️ 多模态支持：无论开源还是闭源模型，都支持图片、语音输入
• ⚡ 智能工具选择：给Agent分配无限工具的同时，减少80%的token消耗，省钱又高效
• 🌐 网站嵌入聊天窗口：可以把AnythingLLM聊天组件嵌入到你自己的网站上
• 🧩 浏览器扩展：Chrome浏览器插件，随时随地和AI对话
• 📡 完整API接口：开发者友好，方便自定义集成到你的系统里

安装步骤：三选一，总有一款适合你

AnythingLLM提供三种安装方式，从最简单到最灵活，按需选择。

方式一：桌面应用（最推荐小白使用）

适合人群：个人用户、不想折腾的开发者

最低配置：2GB RAM + 10GB磁盘空间

Windows 安装

1. 打开下载页面：https://anythingllm.com/download
2. 点击 Windows 下载安装包（.exe文件）
3. 双击安装包，一路"下一步"即可
4. 安装完成后，桌面上会出现 AnythingLLM 图标，双击打开
5. 首次打开会引导你选择LLM模型，选一个你喜欢的就行

Mac 安装

1. 打开下载页面：https://anythingllm.com/download
2. 点击 Mac 下载 .dmg 文件（注意区分 Intel 和 Apple Silicon 芯片）
3. 双击 .dmg 文件，把 AnythingLLM 拖到 Applications 文件夹
4. 首次打开时，如果提示"无法验证开发者"，右键点击 → 选择"打开"即可
5. 按引导完成初始配置

Linux 安装

1. 打开下载页面：https://anythingllm.com/download
2. 下载 .AppImage 文件
3. 添加执行权限：

chmod +x AnythingLLM*.AppImage

1. 运行：

./AnythingLLM*.AppImage

1. 按引导完成初始配置

💡 桌面版的优点：零配置，下载就能用，自带的LanceDB向量数据库无需额外安装。对于大多数个人用户来说，这是最省心的方式。

方式二：Docker 部署（推荐团队/服务器使用）

适合人群：团队使用、服务器部署、需要多用户管理

前提条件

• 已安装 Docker 和 Docker Compose
• 服务器最低配置：2GB RAM + 10GB磁盘

安装步骤

# 1. 克隆项目
git clone https://github.com/Mintplex-Labs/anything-llm.git

# 2. 进入docker目录
cd anything-llm/docker

# 3. 复制环境变量配置文件
cp .env.example .env

# 4. 编辑 .env 文件，配置你的LLM（下面有示例）

# 5. 启动服务
docker compose up -d

启动后，打开浏览器访问：http://localhost:3001

配置示例一：连接本地 Ollama（完全离线，最安全）

编辑 .env 文件，添加或修改以下内容：

LLM_PROVIDER='ollama'
OLLAMA_BASE_PATH='http://host.docker.internal:11434'
OLLAMA_MODEL_PREF='qwen3:8b'
OLLAMA_MODEL_TOKEN_LIMIT=8192

💡 这里用 host.docker.internal 是因为 Ollama 运行在宿主机上，Docker容器需要通过这个地址访问宿主机。如果你是Linux系统，可能需要替换为宿主机的实际IP地址。

💡 推荐模型：通义千问（qwen3）系列对中文支持非常好，8b参数版在普通电脑上就能流畅运行。

配置示例二：连接 DeepSeek（性价比之王）

LLM_PROVIDER='openai'
OPEN_AI_KEY='sk-你的deepseek-api-key'
OPEN_MODEL_PREF='deepseek-chat'
OPEN_AI_BASE_PATH='https://api.deepseek.com/v1'

💡 DeepSeek的API价格极低，大约是ChatGPT的1/100，中文能力强，是性价比最高的选择之一。

配置示例三：连接 Moonshot AI（月之暗面/Kimi）

和DeepSeek类似，使用OpenAI兼容接口：

LLM_PROVIDER='openai'
OPEN_AI_KEY='你的moonshot-api-key'
OPEN_MODEL_PREF='moonshot-v1-8k'
OPEN_AI_BASE_PATH='https://api.moonshot.cn/v1'

方式三：裸机部署（不用Docker）

适合人群：不想用Docker、想要更多控制权的开发者

前提条件

• NodeJS v18+
• Yarn 包管理器

安装步骤

# 1. 克隆项目
git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm

# 2. 安装依赖并初始化
yarn setup

# 3. 复制环境变量配置文件
cp server/.env.example server/.env

# 4. 编辑 server/.env 配置你的LLM

# 5. 构建前端
cd frontend
yarn build
cd ..

# 6. 启动后端服务（终端1）
cd server
node index.js

# 7. 启动文档收集服务（终端2）
cd collector
node index.js

启动后访问：http://localhost:3001

使用方法：从简单到进阶

用法一：和文档聊天（最基础）

这是AnythingLLM最核心的用法——上传文档，让AI基于文档内容回答。

1. 打开AnythingLLM，创建一个工作区（Workspace）
2. 点击上传文档，支持 PDF、TXT、DOCX、CSV、XLSX 等格式
3. 文档上传后会自动被分块、建立向量索引
4. 在聊天框中提问，AI会基于你上传的文档精确回答，并告诉你答案来自哪个文档的哪一页

💡 这就是RAG（检索增强生成）技术——AI不再凭记忆答题，而是先从你的文档中找到相关内容，再基于这些内容组织答案，准确性大大提高。

用法二：使用AI Agent（进阶）

除了聊天，AnythingLLM内置的Agent可以帮你做更多事：

• 浏览网页：让Agent去网上搜索信息、抓取网页内容
• 运行代码：让Agent写Python/JavaScript代码并执行，比如帮你处理数据、生成图表
• 调用MCP工具：如果你配置了MCP服务器，Agent可以调用各种外部工具

使用方法很简单：在聊天界面中，点击"Agent"模式，就像和真人助手对话一样描述你要做的事。

用法三：创建Agent工作流（高级）

AnythingLLM的可视化Agent Flow构建器是最强大的功能之一：

1. 进入Agent Flows页面
2. 拖拽组件到画布上，像搭积木一样组合工作流
3. 比如你可以搭建一个"每日新闻总结"工作流：

- 第一步：Agent浏览指定新闻网站 - 第二步：提取关键信息 - 第三步：总结摘要 - 第四步：发送到你的邮箱

全程零代码，拖拽即可完成。

实际场景举例

跟同类项目对比

简单总结：如果你想要一个能直接用的、功能全面的、数据完全私有的AI平台，AnythingLLM是目前最佳选择。

小结

AnythingLLM 让你用最简单的方式搭建一个完全私有的AI助手——数据在自己手里，模型可以选最便宜的，功能从文档对话到自动化工作流一应俱全。桌面版下载即用，Docker版一条命令启动，中文模型友好，是中国用户自建AI平台的最佳选择之一。

🔗 项目地址：https://github.com/Mintplex-Labs/anything-llm 🔗 官网下载：https://anythingllm.com 🔗 中文文档：https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/README.zh-CN.md