Sakurasan
e865f69a41
- 超时：NewGateway 里 gw_timeout*time.Second 把已是 Duration 的值二次换算， int64 溢出后无论 OT_PROXY_TIMEOUT 填多少都等于没有超时，渠道 timeout_ms 也从没被读过。现在非流式用 context deadline 约束整段时长，流式只约束首包 （Transport.ResponseHeaderTimeout），正文不限时长，长回答不会被砍。 - 断连：上游请求改用 NewRequestWithContext 绑定客户端 context，客户端断开即 取消上游并记 canceled，不再空转生成继续付费；PATCH 已写 200 头后不再往 响应里追加错误体。 - 白名单：APIKey.AllowedModels 以前只存不用，现在 Auth 注入 context 并参与 判定（用户黑名单 > 密钥白名单 > 用户白名单 > 全局）。 - 选路：模型已有渠道绑定时只用绑定渠道，都不可用直接 503 no_channel，不再 把请求发给不认识它的渠道；新增运行期健康（连续 3 次网络错误/超时/429/5xx 进 30s 冷却，成功清零），与 60s 一次的 /models 探测互补。 - 密钥 API：PATCH 回显更新后的完整对象；限额填 0 统一视为不限制（原来 token 配额存 0 会让密钥第一次请求就被 429 打死，而请求配额存 0 又等于 不限制，两个字段语义相反）；前端编辑框总是提交白名单，清空能真的取消。 测试：新增 proxy 链路集成测试（超时生效、流式不被截断、断连取消并记账、 密钥白名单 403、连续 429 后候选剔除）与 channel 用例（绑定模型不退全局、 冷却阈值与到期恢复、成功清零）。
108 lines
5.9 KiB
Markdown
108 lines
5.9 KiB
Markdown
# openteam · 大模型中转站
|
||
|
||
自托管的 LLM API 中转网关，功能对标 OpenRouter / one-api：统一 OpenAI 与 Anthropic 协议入口，背后对接多个上游渠道，内置用户体系、API Key 管理与用量计费。
|
||
|
||
> 规划文档见 [PLANNING.md](./PLANNING.md)。当前进度：**M0-M2 + M4-M5 + M3 收尾已完成**（基建 + 用户/密钥/核心代理 + 前端 MVP + 管理后台基础 + 三协议互转 + 渠道体系 + 限流/配额 + 前端骨架屏）。
|
||
|
||
## 功能（当前）
|
||
|
||
- **代理端点**（Bearer API Key）
|
||
- `POST /v1/chat/completions` — OpenAI Chat（非流式 + 流式 SSE）
|
||
- `POST /v1/responses` — OpenAI Responses API（非流式 + 流式事件）
|
||
- `POST /v1/messages` — Anthropic Messages API（非流式 + 流式事件）
|
||
- `GET /v1/models` — 可用模型列表
|
||
- **三协议互转**：客户端协议 × 渠道协议不匹配时自动转换（如 Chat 调用 Claude、Messages 调用 OpenAI、Responses 调用 Claude），流式逐事件转换；协议匹配时直通
|
||
- 错误按客户端协议返回（OpenAI 格式 / Anthropic 格式）
|
||
- **渠道体系**：按模型绑定选渠道 + 加权负载均衡；模型已有绑定时只用绑定渠道（都不可用则 503，不会把请求发给不认识它的渠道）；每渠道并发信号量（满载溢出）；后台健康检查（探测 `/models`，连续失败进 cooldown、恢复放回）+ 运行期健康（连续 3 次网络错误/超时/429/5xx 进 30s 冷却，成功即清零）；可安全重试的失败自动故障转移（网络错误/429/5xx/超时且未写出响应头）
|
||
- **上游超时**：渠道 `timeout_ms` 生效——非流式为整段请求上限，流式仅约束首包（正文不限时长）；上游请求绑定客户端 context，断连即取消
|
||
- **限流/配额**（内存计数）：密钥级每日请求数 / Token 数配额、用户级每秒速率（`OT_RATELIMIT_USER_RPS`）；超限返回 429
|
||
- **前端**：Dashboard / 管理总览骨架屏加载态
|
||
- **用户体系**：注册（开放/邀请码可切换，管理后台可改）、登录（JWT access + HttpOnly refresh cookie）、argon2id 密码
|
||
- **API Key**：`sk-ot-` 48 位 base62，仅存 SHA-256 哈希，明文一次性展示；支持限额/过期/白名单字段
|
||
- **用量计费**：请求级 `usage_logs` 异步批量落库，按模型价格扣减余额，日粒度预聚合（`usage_daily`）
|
||
- **管理 API**：渠道 CRUD + 连通测试 + 模型导入、模型管理 + 定价 + 渠道绑定、用户管理、全局用量/统计、系统配置
|
||
- **前端**（Vue3 + Tailwind，taste-skill 设计，深色优先）
|
||
- Landing / 登录 / 注册
|
||
- 控制台：Dashboard（余额/用量/趋势图）、API Keys、用量明细
|
||
- 管理后台：运营总览、渠道管理、模型与定价、用户管理、系统配置
|
||
- **后端**：Go + Gin + GORM，SQLite（开发）/ PostgreSQL（生产）
|
||
|
||
> 剩余：M6 充值（待定）与 M3 收尾（限流、骨架屏）。
|
||
|
||
## 快速开始（开发）
|
||
|
||
前置：Go 1.23+。
|
||
|
||
```bash
|
||
# 1. 配置（复制并修改，至少设置上游 key）
|
||
cp .env.example .env
|
||
|
||
# 2. 启动后端（SQLite 起步，无需数据库）
|
||
cd server && go run ./cmd/server
|
||
# 默认管理员 admin / admin123（生产务必修改）
|
||
|
||
# 3. 用 mock 上游联调（无需真实 key，另开终端）
|
||
make mock-upstream # :9000 起一个模拟 OpenAI 服务
|
||
```
|
||
|
||
`.env` 中 `OT_PROXY_UPSTREAM_KEY` / `OT_PROXY_UPSTREAM_BASE_URL` 指向 mock 上游时，服务首次启动会自动创建默认渠道与示例模型。
|
||
|
||
### 冒烟测试（curl）
|
||
|
||
```bash
|
||
# 注册 → 登录 → 建 key
|
||
curl -s -X POST localhost:8080/api/v1/auth/register -H 'Content-Type: application/json' \
|
||
-d '{"username":"alice","email":"a@b.com","password":"password123"}'
|
||
TOKEN=$(curl -s -X POST localhost:8080/api/v1/auth/login -H 'Content-Type: application/json' \
|
||
-d '{"username":"alice","password":"password123"}' | jq -r .data.access_token)
|
||
KEY=$(curl -s -X POST localhost:8080/api/v1/keys -H "Authorization: Bearer $TOKEN" \
|
||
-H 'Content-Type: application/json' -d '{"name":"dev"}' | jq -r .data.key)
|
||
|
||
# 对话（非流式 + 流式）
|
||
curl -s localhost:8080/v1/chat/completions -H "Authorization: Bearer $KEY" \
|
||
-H 'Content-Type: application/json' \
|
||
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"你好"}],"stream":false}'
|
||
curl -N localhost:8080/v1/chat/completions -H "Authorization: Bearer $KEY" \
|
||
-H 'Content-Type: application/json' \
|
||
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"你好"}],"stream":true}'
|
||
|
||
# 用量
|
||
curl -s localhost:8080/api/v1/usage/summary -H "Authorization: Bearer $TOKEN"
|
||
curl -s "localhost:8080/api/v1/usage/logs?page_size=5" -H "Authorization: Bearer $TOKEN"
|
||
```
|
||
|
||
### 前端（开发）
|
||
|
||
```bash
|
||
cd web && pnpm i && pnpm dev # http://localhost:5173（/api、/v1 代理到 8080）
|
||
```
|
||
|
||
### 测试
|
||
|
||
```bash
|
||
cd server && go test ./...
|
||
cd web && pnpm build # vue-tsc 类型检查 + 构建
|
||
```
|
||
|
||
## 仓库结构
|
||
|
||
```
|
||
server/ # Go 后端
|
||
cmd/server/ # 入口
|
||
internal/
|
||
config/ # viper + env（OT_ 前缀）
|
||
store/ # GORM models + 连接
|
||
pkg/ # apikey / crypto / jwt / resp
|
||
api/ # 管理 API（认证、用户、密钥、用量、渠道/模型/管理后台）
|
||
proxy/ # 代理网关（鉴权、直通、流式、记账）
|
||
channel/ # 渠道选择与密钥解密
|
||
usage/ # 异步记账
|
||
web/ # Vue3 前端（Tailwind，taste-skill 设计 tokens）
|
||
src/
|
||
views/ # Landing / 登录注册 / console / admin
|
||
components/ # ui（Button/Input/Modal/Badge/Toast/TrendChart）+ layout
|
||
stores/ · api/ · router/ · lib/
|
||
scripts/mockupstream/ # mock 上游（联调）
|
||
deploy/ # Docker 部署（后续里程碑）
|
||
```
|