本地LLM部署实战：使用Ollama + Open WebUI搭建私有AI助手

痛点的开始：ChatGPT很好用，但你舍得把数据交给它吗？#

ChatGPT 很好用，这没人否认。但当你准备把公司内部代码、客户数据、或者个人笔记喂给云端 AI 时，心里总会咯噔一下：

• 数据会不会被拿去训练？
• 隐私条款哪天变了我都不知道
• 用的越多，依赖性越强
• API 调用量上来后，账单越来越贵

你开始想：能不能在本机跑一个大模型？ 就放在自己的电脑或服务器上，性能足够用，数据完全本地，不联网也能用。

答案是：可以，而且比你想的简单得多。

这篇文章带你用 Ollama + Open WebUI 在 Docker 中部署一套完整的本地 LLM 方案。从拉取模型、管理对话、到进阶配置，10 分钟上手。

Ollama 是什么？#

Ollama 是一个开源工具，专为本地运行大语言模型而设计。它能让你像拉 Docker 镜像一样拉取模型：

1
ollama pull llama3.2
2
ollama pull qwen2.5
3
ollama pull deepseek-r1

然后一条命令启动交互式对话：

1
ollama run llama3.2

它把模型下载、量化、推理、API 服务全部打包成了一个命令行工具。底层用了 llama.cpp，但你不必关心这些——拿来就用。

Open WebUI 是什么？#

Ollama 自带命令行交互，但大多数人还是习惯 Web 界面——像 ChatGPT 那样有一个对话框、有历史记录、能传文件。

Open WebUI 就是干这个的。它是一个功能丰富的 AI 对话前端，支持：

• 多模型切换
• 对话历史管理
• 文档上传（RAG 检索增强生成）
• 用户权限管理
• 深色/浅色主题
• Markdown / 代码高亮

部署后打开浏览器，就是一个私有的 ChatGPT。

第一步：Docker Compose 部署（推荐）#

最推荐的方案是 Docker Compose 一键部署 Ollama + Open WebUI：

1
version: "3.8"
2

3
services:
4
  ollama:
5
    image: ollama/ollama:latest
6
    container_name: ollama
7
    ports:
8
      - "11434:11434"
9
    volumes:
10
      - ollama_data:/root/.ollama
11
    environment:
12
      - OLLAMA_KEEP_ALIVE=24h  # 模型保持加载，避免频繁加载卸载
13
    deploy:
14
      resources:
15
        reservations:
16
          devices:
17
            - driver: nvidia
18
              count: all
19
              capabilities: [gpu]
20
    restart: unless-stopped
21

22
  open-webui:
23
    image: ghcr.io/open-webui/open-webui:main
24
    container_name: open-webui
25
    ports:
26
      - "3000:8080"
27
    volumes:
28
      - open-webui_data:/app/backend/data
29
    environment:
30
      - OLLAMA_BASE_URL=http://ollama:11434
31
      - WEBUI_SECRET_KEY=your-secret-key-here
32
    depends_on:
33
      - ollama
34
    restart: unless-stopped
35

36
volumes:
37
  ollama_data:
38
  open-webui_data:

1
docker compose up -d

第二步：拉取模型#

Open WebUI 启动后，界面里可能还没有模型。你需要先让 Ollama 下载模型。

1
# 进入 Ollama 容器
2
docker exec -it ollama ollama pull qwen2.5:7b
3

4
# 或直接在本机执行（如果本机也装了 Ollama CLI）
5
ollama pull llama3.2:3b

第三步：在 Open WebUI 中开始对话#

模型拉取完成后，在 Open WebUI 界面中：

1. 点击左上角的模型选择器
2. 选择你拉取的模型（比如 qwen2.5:7b）
3. 输入你的问题，点击发送

你会得到一个完全本地、完全免费、无任何隐私风险的 AI 对话体验。

而且 Open WebUI 支持文档上传——你可以上传 PDF、Word、TXT 文件，AI 会自动读取内容并基于文档回答。这就是最简单的 RAG（检索增强生成）。

进阶配置#

1
environment:
2
  - OLLAMA_HOST=0.0.0.0
3
  - HTTP_PROXY=http://your-proxy:7890
4
  - HTTPS_PROXY=http://your-proxy:7890

1
docker exec -it ollama bash
2
export HTTP_PROXY=http://host.docker.internal:7890
3
ollama pull qwen2.5:7b

1
# 配置 Open WebUI
2
environment:
3
  - WEBUI_SECRET_KEY=your-secure-key-here
4
  - OLLAMA_BASE_URL=http://192.168.1.100:11434  # 改成你服务器 IP
5
  - WEBUI_HOST=0.0.0.0

1
FROM qwen2.5:7b
2

3
# 设置系统提示词
4
SYSTEM "你是一个中文AI助手，只能使用中文回答。你知识渊博、回答简洁。"
5

6
# 设置参数
7
PARAMETER temperature 0.7
8
PARAMETER top_p 0.9

1
ollama create my-chinese-assistant -f ./Modelfile

1
from openai import OpenAI
2

3
client = OpenAI(
4
    base_url="http://localhost:11434/v1",
5
    api_key="ollama"  # Ollama 不校验 API Key
6
)
7

8
response = client.chat.completions.create(
9
    model="qwen2.5:7b",
10
    messages=[{"role": "user", "content": "你好！"}]
11
)
12
print(response.choices[0].message.content)

1
import OpenAI from 'openai';
2

3
const client = new OpenAI({
4
  baseURL: 'http://localhost:11434/v1',
5
  apiKey: 'ollama',
6
});
7

8
const response = await client.chat.completions.create({
9
  model: 'qwen2.5:7b',
10
  messages: [{ role: 'user', content: '你好！' }],
11
});
12
console.log(response.choices[0].message.content);

三步走：从零到私有 ChatGPT 的完整流程#

如果你觉得有点乱，这里给你一条清晰的路线图：

第一步：准备环境

• 一台有 Docker 的 Linux 服务器（或你的 Windows/Mac 笔记本）
• 至少 8GB+ 内存（16GB 以上体验更好）
• 有 NVIDIA GPU 是加分项，没有也别急

第二步：部署核心服务

• 按本文的 Docker Compose 配置启动 Ollama 和 Open WebUI
• 访问 http://localhost:3000，注册管理员账号

第三步：拉取模型，开始使用

• 先拉一个轻量模型 ollama pull qwen2.5:7b
• 在 Open WebUI 中选择模型，开始对话
• 体验满意后，再拉更多模型备用

从零到能用，10 分钟以内。这是本地 LLM 的黄金时代——部署门槛已经低到任何开发者都能轻松上手。

Open WebUI 的高级玩法#

1
# Docker Compose 中配置
2
environment:
3
  - RAG_EMBEDDING_MODEL=sentence-transformers/all-MiniLM-L6-v2
4
  - RAG_TOP_K=5  # 检索前 K 个相关片段

生产环境部署建议#

如果你要把 Ollama + Open WebUI 放到生产环境（团队共享或对外服务），注意以下几点：

1. 使用反向代理

1
# 在 Nginx 或 Caddy 后面
2
services:
3
  caddy:
4
    image: caddy:2-alpine
5
    ports:
6
      - "80:80"
7
      - "443:443"
8
    volumes:
9
      - ./Caddyfile:/etc/caddy/Caddyfile
10
    environment:
11
      - DOMAIN=ai.yourdomain.com

Caddyfile：

1
ai.yourdomain.com {
2
    reverse_proxy open-webui:8080
3
}

2. 配置 HTTPS

用 Caddy 会自动申请 Let’s Encrypt 证书，无需手动管理。

3. 资源限制

防止某个模型把服务器吃满：

1
services:
2
  ollama:
3
    deploy:
4
      resources:
5
        limits:
6
          memory: 16G
7
        reservations:
8
          memory: 8G

4. 定期备份

备份 Open WebUI 的数据目录（对话历史和用户数据）：

1
# 简单的 tar 备份
2
tar -czf open-webui-backup-$(date +%Y%m%d).tar.gz \
3
  /path/to/open-webui/data

常见问题（FAQ）#

Q：部署后 Open WebUI 页面打不开怎么办？

A：检查 Docker 是否正常运行：docker compose ps。确保 3000 端口没有被占用。查看日志：docker compose logs open-webui。

Q：拉取模型太慢了，有没有办法离线导入？

A：可以在有网络的环境下载好 GGUF 格式模型文件，放到 ~/.ollama/models/blobs/ 目录下，然后创建 Modelfile 导入。或者直接用国内的镜像源下载。

Q：显存不够怎么办？

A：三个方案：1）用更小的模型（qwen2.5:0.5b 或 llama3.2:3b）；2）开启 CPU offloading（部分层跑 CPU）；3）纯 CPU 模式（慢点但能用）。7B 模型 4-bit 量化需要约 6GB 显存。

Q：Open WebUI 有没有中文界面？

A：有的，Open WebUI 支持多语言，在设置里切换为中文即可。

Q：我可以同时跑多个模型吗？

A：显存够就可以。Ollama 允许多个模型同时加载，Open WebUI 也可以在不同对话中使用不同模型。

Q：Ollama 和开源模型可以用来写商业代码吗？

A：大多数开源模型使用宽松许可（Apache 2.0 / MIT / Llama 2 Community License），可以商用。但建议检查具体模型的 LICENSE 文件。

Q：和 ChatGPT 比起来，本地模型的效果差多少？

A：7B 级别的模型在简单任务（翻译、摘要、问答）上表现已经相当不错。但在复杂推理、长上下文、创意写作等方面，和 GPT-4 还有差距。好消息是模型进步极快，每个季度都有新的突破。

总结#

用 Ollama + Open WebUI 部署本地 LLM 的优势很清晰：

• 隐私安全：数据不出本机，100% 本地运行
• 零成本：没有 API 费用，一次部署永久使用
• 高度可控：自由选择模型、自定义提示词、微调参数
• 无需联网：断网也能用，出差也不影响

部署指南到这里就结束了。你只需要一个 docker compose up -d，10 分钟就能拥有一个私有 ChatGPT。不要再犹豫数据安全问题了——把你的 AI 放在自己的服务器上，才是真正的掌控。

而随着模型能力的持续提升（今年的 7B 模型已经比去年的 70B 还强），本地 LLM 的意义只会越来越大。现在部署，就是跑在趋势的前面。

延伸阅读#

• Docker 换源避坑指南 — 部署前的必备准备
• Nginx Proxy Manager 反代面板 — 统一管理所有服务的访问入口
• Stirling PDF 自建 PDF 工具箱 — 30多种PDF处理工具合一