个人 AI

搭建一个由自己控制的私人 AI 助手

使用 Ollama、Open WebUI、安全远程访问和可恢复的运维方案,搭建一个浏览器可用的私人 AI 助手。

难度:进阶90 分钟独立开发者、重视隐私的用户与小型团队

最终目标

你将得到一个由自己控制模型运行环境的私人聊天界面。浏览器界面、模型服务和公网入口彼此分离,便于分别加固和替换。

方案架构

Open WebUI 提供界面,Ollama 运行模型,Caddy 负责 HTTPS,并作为唯一公网入口。不要把 Ollama 的 11434 端口直接暴露到公网。

成本与风险

应先选择符合实际内存、硬盘和加速卡容量的模型。小模型可使用 CPU 体验,但生产延迟和并发能力必须通过真实负载测试。

运维方式

备份 Open WebUI 数据和配置,记录模型版本,限制公开注册,并监控内存、硬盘及登录失败事件。

实施路径

从需求到可运行结果

01

明确隐私与负载边界

明确允许哪些人访问、提示词是否可以离开服务器,以及服务必须运行的最大模型。

02

安装并验证 Ollama

按照当前官方 Linux 文档安装,运行一个小型测试模型,并保持 API 仅监听私有接口。

03

使用持久化数据部署 Open WebUI

使用持久化卷和固定密钥运行界面,并通过私有网络连接 Ollama。

04

配置 HTTPS 与访问控制

在服务前配置 Caddy,关闭公开注册,并通过防火墙限制内部服务端口。

05

邀请用户前测试恢复

备份配置和应用数据,在测试位置完成恢复,并记录回滚流程。

工具组合

完成方案所需的 AI 工具

实操教程

继续完成技术部署

25 分钟 · 难度 3/5

在 Linux 上安装 Ollama 并安全提供服务

在 Linux 上安装 Ollama、运行首个模型、验证本地 API,并理解为什么不能在没有认证的情况下把 11434 端口直接暴露到公网。

20 分钟 · 难度 2/5

使用 Docker 和持久化存储部署 Open WebUI

使用 Docker 运行 Open WebUI、持久化应用数据、连接 Ollama,并补充官方文档建议的生产环境安全措施。

常见问题

决策前需要知道的事项

私人助手一定需要 GPU 吗?

不一定。小型量化模型可以使用 CPU,但响应速度、模型大小和并发需求决定 GPU 是否更合适。

可以把 Ollama 直接暴露到公网吗?

不要在缺少认证保护层时暴露 API。应保持私有访问,并让用户通过受保护的应用界面使用。

需要备份哪些内容?

应备份 Open WebUI 数据、环境配置、密钥和自定义知识文件。模型文件通常可以重新下载。