Harbor：一键跑通本地AI全家桶，Ollama+Open WebUI+50个服务全配好

想在家里跑大模型，你是不是也被折腾过？装Ollama、配Open WebUI、接搜索引擎、搞语音对话、弄图片生成……光是让这些服务互相认识就能让人崩溃。每次配置一堆环境变量、端口映射，搞完一个忘了另一个，到最后AI工具没怎么用，光配环境就累了。

Harbor就是为了解决这个问题而生的——一条命令，帮你把本地AI全家桶全部拉起来，所有服务自动连好，开箱即用。

Harbor是什么？

Harbor是一个开源的本地AI服务编排工具（GitHub 2900+星）。它帮你在Docker里一键启动50多个AI相关的服务——推理后端、对话界面、搜索引擎、语音合成、图片生成、工作流引擎——所有服务之间自动接好线，你只需要告诉它"我要什么"，不用管"怎么连"。

简单说：之前你可能花一整天配置本地AI环境，现在一条harbor up就搞定。

项目地址：https://github.com/av/harbor

核心功能

1. 一键启动本地大模型

harbor up

这条命令会自动启动Ollama（推理后端）+ Open WebUI（对话界面），两者之间自动连通，打开浏览器就能跟本地大模型聊天。

2. 支持10+推理引擎

Harbor支持目前几乎所有主流的本地推理后端：

所有后端都自动对接Open WebUI，切换后端就像换灯泡一样简单。

3. 搜索+语音+图片一站全搞定

不只是文字聊天，Harbor把常见的AI辅助服务也一键集成：

# 加上网页搜索（SearXNG），自动启用Open WebUI的联网搜索
harbor up searxng

# 加上语音对话（Speaches），支持语音输入和TTS语音输出
harbor up speaches

# 加上AI图片生成（ComfyUI + FLUX）
harbor up comfyui

# 全都要！
harbor up searxng speaches comfyui

每个服务加进去后，Open WebUI会自动识别并启用对应功能——搜索结果、语音对话、图片生成，全部直接在聊天界面里用。

4. MCP工具生态

Harbor内置了MetaMCP，让你管理MCP（Model Context Protocol）服务器变得可视化：

# 启动MCP管理界面
harbor up metamcp

# 把MCP对接到Open WebUI
harbor up metamcp mcpo

MCP是什么？简单说就是AI的"USB接口"——让大模型能调用外部工具（搜索、数据库、API等）。Harbor帮你把这块也配好了。

5. 深度搜索/研究

# Perplexica - 开源AI搜索引擎
harbor up searxng perplexica

# Local Deep Research - 本地深度研究工具
harbor up searxng ldr

# Morphic - AI搜索界面
harbor up searxng morphic

配上SearXNG后，所有搜索工具自动共享搜索能力。你本地就有一个完整的AI搜索引擎了。

6. 工作流自动化

# Dify - AI工作流平台
harbor up dify

# n8n - 工作流自动化
harbor up n8n

# Flowise - 可视化AI工作流
harbor up flowise

7. Boost优化代理

Harbor内置了一个Boost代理，可以免费提升模型输出质量：

harbor up boost

Boost通过优化提示词和推理参数，让同一模型的输出效果更好，类似于给你的大模型"加特效"。

8. 手机访问+远程隧道

# 生成二维码，手机扫码访问
harbor qr

# 暴露到互联网（谨慎使用！）
harbor tunnel

你可以在手机上访问本地运行的AI服务，甚至通过隧道让别人也能用。

安装步骤

前置条件

你需要先安装Docker。Harbor运行在Docker容器里，这是它能同时管理50+服务的核心。

各平台Docker安装：

Mac：

1. 下载 Docker Desktop for Mac
2. Apple Silicon选ARM64版本，Intel选x86版本
3. 打开.dmg文件，拖到Applications
4. 启动Docker Desktop
5. 终端验证：

docker --version
docker compose version
docker run hello-world

Windows：

1. 先装WSL2：PowerShell管理员模式运行wsl --install，然后重启
2. 下载 Docker Desktop for Windows
3. 安装时勾选"Use WSL 2 instead of Hyper-V"
4. 重启后启动Docker Desktop
5. 在Docker设置里→Resources→WSL Integration→启用你的WSL发行版
6. WSL终端验证：

docker --version
docker compose version

Linux：

# Ubuntu/Debian
sudo apt update
sudo apt install docker.io docker-compose-plugin
sudo usermod -aG docker $USER
# 重新登录后生效

# 验证
docker --version
docker compose version

安装Harbor

方法一：快速安装脚本（推荐）

curl https://raw.githubusercontent.com/av/harbor/refs/heads/main/install.sh | bash

方法二：从源码安装

git clone https://github.com/av/harbor.git
cd harbor
./harbor.sh link

验证安装

harbor --version
harbor doctor

harbor doctor会检查你的系统兼容性，告诉你哪里有问题。

使用方法

用法一：最简单——直接开聊

# 启动默认服务（Ollama + Open WebUI）
harbor up

# 打开浏览器
harbor open

第一次启动时，Open WebUI会要求你创建管理员账号。创建完后就能直接聊天了。

但这时还没有模型，需要拉一个：

# 拉取模型
harbor pull llama3.2
harbor pull gemma3:8b

# 也可以从HuggingFace拉取
harbor pull hf.co/bartowski/gemma-2-2b-it-GGUF:Q4_K_M

拉取完成后，回到Open WebUI刷新一下，模型就出现了。

用法二：打造全能AI工作站

# 文字聊天 + 联网搜索 + 语音对话 + 图片生成
harbor up searxng speaches comfyui

这一条命令启动4个服务，全部自动连通。你在Open WebUI里就能：

• 联网搜索最新消息
• 用语音跟AI说话
• 让AI画图

用法三：多引擎切换

# 同时启动多个推理后端
harbor up vllm llamacpp

# 设定vLLM使用的模型
harbor vllm model Qwen/Qwen3.5-4B

# 设定llama.cpp使用的模型
harbor llamacpp model https://huggingface.co/lm-kit/gemma-2-2b-gguf/blob/main/gemma-2-2B-Q8_0.gguf

Open WebUI会自动识别所有后端的模型，你在对话时可以随意切换。

配置管理

# 查看所有配置项
harbor config ls

# 修改配置
harbor config set webui.host.port 8080
harbor config set webui.name "我的AI助手"

# 查看某个配置
harbor config get vllm.version

配置文件导出

如果你想把Harbor配置迁移到别的机器，或者脱离Harbor用原生Docker Compose：

harbor eject searxng llamacpp > docker-compose.harbor.yml

这会导出一个独立的docker-compose文件，你可以直接docker compose up来运行。

实际场景举例

跟同类方案对比

Harbor App（图形界面）

除了命令行，Harbor还提供了一个桌面App，让你用图形界面管理所有服务：

• 一键启动/停止服务
• 可视化查看服务状态
• 直接在App里打开服务页面
• 管理配置项

App和CLI共用同一套配置，你用哪个都行，随心切换。

GPU加速设置

如果你有NVIDIA显卡，可以开启GPU加速，让模型跑得更快：

# Harbor会自动检测NVIDIA GPU
# 启用GPU只需要在启动后端时指定参数
harbor llamacpp args -ngl 32  # 使用GPU运行llama.cpp

AMD GPU和Apple Silicon也支持，但部分服务可能没有对应的Docker镜像。

中国用户注意事项

1. Docker镜像加速：国内拉Docker镜像可能比较慢，建议配置国内镜像源（如阿里云、DaoCloud等）
2. 模型下载：Ollama的模型库在国内直连速度还行；HuggingFace的模型可以从镜像站hf-mirror.com下载
3. 中文模型推荐：先拉Qwen3（通义千问）系列，中文效果好；或者DeepSeek系列
4. 磁盘空间：建议至少50GB空闲空间，模型文件动辄好几GB
5. 内存要求：跑7B模型至少8GB内存，13B需要16GB+，33B需要32GB+

小结

Harbor是目前最方便的本地AI全家桶方案——一条命令搞定50+AI服务的安装、配置和互联。无论你是想在家搭个私人ChatGPT，还是搞个完整的AI工作站（搜索+语音+图片+工作流），Harbor都能帮你省下大量折腾环境的时间。对国内用户来说，配合Ollama拉Qwen系列模型，中文体验非常好。

项目地址：https://github.com/av/harbor