Sakurasan
8c12207478
按性能分析逐项落地，实测对比（16 并发、mock 上游零延迟、SQLite）： - 每请求 SQL 10 → 2：模型/渠道目录（模型行、绑定、渠道行）进程内缓存 10s， 运行期状态（冷却、健康）仍每次实时判定；管理端写操作经中间件、 健康状态变化经回调立即失效。新增 TestProxyRequestSQLBudget 钉住预算。 - 端到端 p50 1.3–1.6ms → 0.66–0.70ms，RPS 3.5–8.9k → 16–18k。 - 流式正文累积：字符串 += 改 strings.Builder（原为 O(n²)）， 逐行 JSON 提取改字节快路径，并加廉价的子串预过滤、拿到输出 usage 后停累积。 500 块：949µs/7.9MB 分配 → 83µs/136KB。 - 请求体定点改写：模型映射从整包 unmarshal/marshal 改为顶层字段替换 （100KB：585µs → 29µs），stream_options 注入同理；requestText 改为 只在「上游没报用量」时按需提取，亲和键改用原始体前缀。 - 渠道满载背压：新增 Acquire 有界排队（OT_PROXY_CHANNEL_ACQUIRE_WAIT， 默认 150ms）；排队仍满时返回 503 + Retry-After 而不是 502。 实测渠道上限 4、16 并发：无排队 81 次 503；排队 150ms 后 400/400 成功。 - 记账按批聚合：同批同用户一次扣款、流水批量插入、日表按 (user,model,日期) 聚合，替代每行 5 条语句；幂等仍靠 ref_id 唯一索引兜底。 - gorm 开启 PrepareStmt（SQL 解析此前占 CPU 15%）；tiktoken 编码器按模型复用。 - 管理端用量列表不再返回原始请求/响应体（可能几十 MB）， 改为 has_raw 标记 + GET /admin/usage/:id 按需拉取，前端弹窗打开时取。 验证：go vet、go test ./...、go test -race（proxy/channel/usage/tokenizer）、 vue-tsc、eslint、vite build 全绿；本地起 mock 上游实测列表/详情接口与 管理页弹窗按需加载。
8.7 KiB
8.7 KiB
openteam · 大模型中转站
自托管的 LLM API 中转网关，功能对标 OpenRouter / one-api：统一 OpenAI 与 Anthropic 协议入口，背后对接多个上游渠道，内置用户体系、API Key 管理与用量计费。
规划文档见 PLANNING.md。当前进度：M0-M2 + M4-M5 + M3 收尾已完成（基建 + 用户/密钥/核心代理 + 前端 MVP + 管理后台基础 + 三协议互转 + 渠道体系 + 限流/配额 + 前端骨架屏）。
功能（当前）
- 代理端点（Bearer API Key）
POST /v1/chat/completions— OpenAI Chat（非流式 + 流式 SSE）POST /v1/responses— OpenAI Responses API（非流式 + 流式事件）POST /v1/messages— Anthropic Messages API（非流式 + 流式事件）GET /v1/models— 可用模型列表：只列调用方真能用的模型（叠加用户与密钥白名单），带上下文长度与能力位；Anthropic 客户端（带x-api-key/anthropic-version）返回 Anthropic 形状- 三协议互转：客户端协议 × 渠道协议不匹配时自动转换（如 Chat 调用 Claude、Messages 调用 OpenAI、Responses 调用 Claude），流式逐事件转换；协议匹配时直通
- 错误按客户端协议返回（OpenAI 格式 / Anthropic 格式）
- 热路径开销：模型/渠道目录进程内缓存（每请求 SQL 从 10 条降到 2 条，管理端写操作与健康状态变化即时失效）、流式正文按字节快路径提取、请求体定点改写（模型映射不再整包 unmarshal/marshal）、tiktoken 编码器复用
- 渠道体系：按模型绑定选渠道 + 加权负载均衡；模型已有绑定时只用绑定渠道（都不可用则 503，不会把请求发给不认识它的渠道）；每渠道并发信号量（满载排队
OT_PROXY_CHANNEL_ACQUIRE_WAIT，默认 150ms，仍满则 503 + Retry-After 而不是 502）；后台健康检查（探测/models，连续失败进 cooldown、恢复放回）+ 运行期健康（按失败原因分类冷却：网络错误/5xx 连续 3 次进冷却且指数退避，余额/配额类第一次即冷却 30 分钟，成功清零退避计数）；可安全重试的失败自动故障转移（网络错误/429/5xx/超时/流式首个内容事件之前的任何失败）；会话亲和（OT_PROXY_AFFINITY_TTL，默认 5m）：同一会话粘住上次应答的渠道，命中上游提示词缓存而不是全价重算，冷却/下线自动回退加权随机 - 上游超时：渠道
timeout_ms生效——非流式为整段请求上限，流式仅约束首包（正文不限时长）；上游请求绑定客户端 context，断连即取消 - 故障转移与流式细节（借鉴 magpie 的 holdWriter）：流式请求在首个内容事件到达前由网关缓冲——上游的错误事件、空流、断连、协议形态不符（要流给了整包，didNotStream）都在放行前换渠道消化，客户端无感知；
OT_PROXY_FIRST_TOKEN_WAIT限定放行前等内容的最长时间（0=不限）；429 不一定是限流——错误体带余额/配额特征时按配额类长冷却；上游Retry-After会延长该渠道冷却（夹在 10 分钟内）；重试受OT_PROXY_FAILOVER_BUDGET时间预算约束（首个渠道不受限，避免坏渠道把客户端拖到 N×timeout）；流式空闲超过OT_PROXY_STREAM_HEARTBEAT补一行 SSE 注释心跳（扣住期间也照发），防止 nginx/Cloudflare 的空闲超时掐掉长思考；响应头已被心跳先行写出时，全部候选失败以 SSE 错误事件收尾 - 渠道观测：
GET /api/v1/admin/channels/stats?window=5m|1h|6h|24h|7d按渠道聚合请求量、成功率、错误码分布与 P50/P95 延迟；渠道页直接展示近况与运行期冷却剩余时间，可一键恢复 - 限流/配额（内存计数）：密钥级每日请求数 / Token 数配额、用户级每秒速率（
OT_RATELIMIT_USER_RPS）；超限返回 429 - 用量计费：请求级
usage_logs异步批量落库，按模型价格扣减余额，日粒度预聚合（usage_daily）；模型可单独配置缓存写价（留空按输入价 ×1.25）；记录思考 token（reasoning_tokens，展示口径不重复计费）、Anthropic 1h 缓存写（计价 2× 输入）与上游实际应答的模型名（served_model，映射/聚合商场景对账用） - 认证面防护：登录按「单 IP」+「单 IP×账号」双桶滑动窗口限速、注册按 IP 限速（429 +
Retry-After）；/v1请求体上限OT_PROXY_MAX_BODY_MB（超限按客户端协议返回 413）；CORS 改为显式 origin 白名单（默认不发跨域头）；env=production启动时断言 JWT secret / 主密钥 / 管理员密码不能是仓库默认值，否则拒绝启动 - 前端：Dashboard / 管理总览骨架屏加载态
- 用户体系：注册（开放/邀请码可切换，管理后台可改）、登录（JWT access + HttpOnly refresh cookie）、argon2id 密码
- API Key：
sk-ot-48 位 base62，仅存 SHA-256 哈希，明文一次性展示；支持限额/过期/白名单字段 - 用量计费：请求级
usage_logs异步批量落库，按模型价格扣减余额，日粒度预聚合（usage_daily） - 管理 API：渠道 CRUD + 连通测试 + 立即恢复（清运行期冷却）+ 模型导入、模型管理 + 定价 + 渠道绑定、用户管理、全局用量/统计、系统配置
- 前端（Vue3 + Tailwind，taste-skill 设计，深色优先）
- Landing / 登录 / 注册
- 控制台：Dashboard（余额/用量/趋势图）、API Keys、用量明细
- 管理后台：运营总览、渠道管理、模型与定价、用户管理、系统配置
- 后端：Go + Gin + GORM，SQLite（开发）/ PostgreSQL（生产）
剩余：M6 充值（待定）与 M3 收尾（限流、骨架屏）。
快速开始（开发）
前置：Go 1.23+。
# 1. 配置（复制并修改，至少设置上游 key）
cp .env.example .env
# 2. 启动后端（SQLite 起步，无需数据库）
cd server && go run ./cmd/server
# 默认管理员 admin / admin123（生产务必修改）
# 3. 用 mock 上游联调（无需真实 key，另开终端）
make mock-upstream # :9000 起一个模拟 OpenAI 服务
.env 中 OT_PROXY_UPSTREAM_KEY / OT_PROXY_UPSTREAM_BASE_URL 指向 mock 上游时，服务首次启动会自动创建默认渠道与示例模型。
冒烟测试（curl）
# 注册 → 登录 → 建 key
curl -s -X POST localhost:8080/api/v1/auth/register -H 'Content-Type: application/json' \
-d '{"username":"alice","email":"a@b.com","password":"password123"}'
TOKEN=$(curl -s -X POST localhost:8080/api/v1/auth/login -H 'Content-Type: application/json' \
-d '{"username":"alice","password":"password123"}' | jq -r .data.access_token)
KEY=$(curl -s -X POST localhost:8080/api/v1/keys -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d '{"name":"dev"}' | jq -r .data.key)
# 对话（非流式 + 流式）
curl -s localhost:8080/v1/chat/completions -H "Authorization: Bearer $KEY" \
-H 'Content-Type: application/json' \
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"你好"}],"stream":false}'
curl -N localhost:8080/v1/chat/completions -H "Authorization: Bearer $KEY" \
-H 'Content-Type: application/json' \
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"你好"}],"stream":true}'
# 用量
curl -s localhost:8080/api/v1/usage/summary -H "Authorization: Bearer $TOKEN"
curl -s "localhost:8080/api/v1/usage/logs?page_size=5" -H "Authorization: Bearer $TOKEN"
前端（开发）
cd web && pnpm i && pnpm dev # http://localhost:5173（/api、/v1 代理到 8080）
测试
cd server && go test ./...
cd web && pnpm build # vue-tsc 类型检查 + 构建
仓库结构
server/ # Go 后端
cmd/server/ # 入口
internal/
config/ # viper + env（OT_ 前缀）
store/ # GORM models + 连接
pkg/ # apikey / crypto / jwt / resp
api/ # 管理 API（认证、用户、密钥、用量、渠道/模型/管理后台）
proxy/ # 代理网关（鉴权、直通、流式、记账）
channel/ # 渠道选择与密钥解密
usage/ # 异步记账
web/ # Vue3 前端（Tailwind，taste-skill 设计 tokens）
src/
views/ # Landing / 登录注册 / console / admin
components/ # ui（Button/Input/Modal/Badge/Toast/TrendChart）+ layout
stores/ · api/ · router/ · lib/
scripts/mockupstream/ # mock 上游（联调）
deploy/ # Docker 部署（后续里程碑）