个人 AI 助理系统 · 作品说明

从零自建的全栈 AI 应用:记忆系统 · 网关开发 · 服务运维 · 前端 · 语音 · 硬件接入 · 网站交付
Seren Qi · 个人项目 · 2026.06 — 至今 · 独立完成
一句话概括:零技术背景起步,三个多月内独立完成一套长期运行的 AI 助理系统—— 从服务器部署、网关开发、记忆架构设计,到前端、语音链路、嵌入式设备接入与公网站点交付, 全流程通过 AI 辅助开发实现,由我负责需求定义、架构决策与质量验收。
可验证:其中的缓存网关已开源并附带测试 —— github.com/SerenQi/llm-cache-gateway

核心模块

① 分层记忆系统

解决长对话 AI 的上下文丢失问题。设计双层结构:稳定层(长期特质)与经历层(事件记录), 配合关键词触发式检索——提到相关内容时自动召回历史,无需手动查询。 另有全量原文索引兜底(5 万条以上),摘要作为入口、原文保留细节。 设计原则包括:记录保留现场而非结论、事实与感受双轨存储、人格特征需多轮复核才可升格、 推测内容单独隔离并标注来源。

SQLiteFTS5 全文检索向量检索 REST APIMCP 协议写入审计

② LLM 缓存网关(已开源)

解决长对话按轮次重复计费的问题。OpenAI 兼容的转发网关,自动为稳定内容插入缓存断点, 并锁定上游供应商以保证缓存一致性。实测单次请求:上下文 26,460 tokens,其中 26,239 命中缓存, 新增计费 221 tokens,命中率 99.16%(连续对话下的峰值,非长期均值)。 仓库含中英文文档、7 个单元测试,并完整记录了已知局限与不适用场景。

PythonFastAPIPrompt Cache 流式转发单元测试MIT 开源

③ 会话网关

Node.js 自建网关,处理 SSE 流式响应、长驻会话管理、多路由分发与多模型切换; 支持图片/文档等多模态输入,含权限控制与请求审计。

Node.jsSSE 流式会话管理 OpenAI 兼容接口

④ 服务部署与运维

多个常驻服务的部署、进程守护与故障排查:systemd 单元编写、崩溃自动重启、 开机自启、日志分析、定时任务与告警推送。曾定位并修复多起线上故障 (服务停机、端口误绑公网、依赖缺失、反向代理 Host 头导致的接口拒绝、 进程多实例并行引发的间歇性故障)。

Linuxsystemd故障排查 定时任务安全加固

⑤ 网络与访问控制

无公网 IP 环境下的服务暴露方案:Cloudflare Tunnel 内网穿透、多域名路由、 nginx 反向代理与访问认证。

Cloudflare TunnelnginxHTTPS

⑥ 前端应用

移动端优先的单页应用:流式对话、多媒体消息、终端控制台、数据可视化页面, 十余个功能页面。从无构建单文件重构为工程化项目,含 PWA 支持与版本更新提示。

React 19TypeScriptVite Tailwind CSSPWA

⑦ 系统控制台

为整套系统自建的运维面板:服务健康状态与资源占用监控、数据统计、 任务与日程视图、实时日志与文件查看、远程命令执行、模型与运行参数在线调度。 把分散的多个服务收进一个可视化入口,日常运维与排障不再依赖命令行。

状态监控数据可视化远程执行 日志查看参数调度

⑧ 语音链路

端到端实时语音对话:浏览器端 VAD 静音检测与音频重采样、语音识别接入、 自定义音色 TTS 合成、流式播放与打断处理。

AudioWorkletVADASR TTS 音色定制

⑨ 嵌入式设备接入

将 ESP32-S3 桌面机器人从默认云端服务迁移至自建服务:固件配置修改与交叉编译(ESP-IDF)、 WebSocket 长连接、传感器事件上报、自定义 TTS 音色接入,并封装 20 余个设备控制工具 (语音播报、舵机转向、屏幕表情、灯带、摄像头、触摸传感)供 AI 直接调用。 期间修复了长连接 NAT 超时断线、音频依赖缺失导致合成无声、自定义表情被尺寸校验拒绝等问题。

ESP32-S3ESP-IDFWebSocket 固件编译MCP 工具封装

⑩ 公网站点交付

独立完成多个站点从开发到上线的完整链路:静态与带后台两种形态, 涉及边缘部署、数据库与对象存储的创建与绑定、管理员鉴权、自定义域名与缓存策略。 交付物与账号均可移交,具备对外承接的完整流程。

Cloudflare PagesD1 数据库R2 对象存储 WorkersCI 部署

我在项目中的角色

技术栈

后端 / 服务

Node.js · Python · FastAPI · SQLite · REST · SSE · WebSocket

运维 / 基础设施

Linux · systemd · nginx · Cloudflare Tunnel · Pages · D1 · R2

前端

React · TypeScript · Vite · Tailwind · PWA · Canvas

AI 集成

MCP 协议 · 多模型接入 · Prompt Cache · Prompt 工程 · ASR / TTS

嵌入式

ESP32-S3 · ESP-IDF · 固件编译

工作方式

AI 辅助开发 · 需求拆解 · 迭代验收 · 开源协作

时间线

2026.06

零基础起步。完成首个服务器部署与前端页面。

2026.07

自建 API 网关,打通流式对话与多模态输入;语音链路上线;缓存策略调优,单次对话成本显著下降。

2026.08

前端重构为工程化项目;记忆系统重构为分层架构,接入自动摘要与关键词召回;嵌入式设备接入启动。

2026.09

记忆系统迁移与反向代理故障修复;前端扩充至十余个功能页面;完成多个公网站点交付;缓存网关整理开源,附中英文档与单元测试

可点开的部分