 Sakurasan
|
8c12207478
|
perf: 目录缓存与流式正文快路径，请求热路径开销减半
按性能分析逐项落地，实测对比（16 并发、mock 上游零延迟、SQLite）：
- 每请求 SQL 10 → 2：模型/渠道目录（模型行、绑定、渠道行）进程内缓存 10s，
运行期状态（冷却、健康）仍每次实时判定；管理端写操作经中间件、
健康状态变化经回调立即失效。新增 TestProxyRequestSQLBudget 钉住预算。
- 端到端 p50 1.3–1.6ms → 0.66–0.70ms，RPS 3.5–8.9k → 16–18k。
- 流式正文累积：字符串 += 改 strings.Builder（原为 O(n²)），
逐行 JSON 提取改字节快路径，并加廉价的子串预过滤、拿到输出 usage 后停累积。
500 块：949µs/7.9MB 分配 → 83µs/136KB。
- 请求体定点改写：模型映射从整包 unmarshal/marshal 改为顶层字段替换
（100KB：585µs → 29µs），stream_options 注入同理；requestText 改为
只在「上游没报用量」时按需提取，亲和键改用原始体前缀。
- 渠道满载背压：新增 Acquire 有界排队（OT_PROXY_CHANNEL_ACQUIRE_WAIT，
默认 150ms）；排队仍满时返回 503 + Retry-After 而不是 502。
实测渠道上限 4、16 并发：无排队 81 次 503；排队 150ms 后 400/400 成功。
- 记账按批聚合：同批同用户一次扣款、流水批量插入、日表按 (user,model,日期)
聚合，替代每行 5 条语句；幂等仍靠 ref_id 唯一索引兜底。
- gorm 开启 PrepareStmt（SQL 解析此前占 CPU 15%）；tiktoken 编码器按模型复用。
- 管理端用量列表不再返回原始请求/响应体（可能几十 MB），
改为 has_raw 标记 + GET /admin/usage/:id 按需拉取，前端弹窗打开时取。
验证：go vet、go test ./...、go test -race（proxy/channel/usage/tokenizer）、
vue-tsc、eslint、vite build 全绿；本地起 mock 上游实测列表/详情接口与
管理页弹窗按需加载。
|
2026-10-30 14:14:21 +08:00 |
|
|
Sakurasan
|
04dfb4285d
|
feat: 会话亲和粘住缓存渠道；透传 opaque 字段；用量记思考/1h 缓存写/实际模型
会话亲和（proxy/affinity.go）：同一会话粘住上次应答的渠道，命中上游提示词
缓存而非被加权随机打散后全价重算。会话身份 = 密钥 + 模型 + 请求文本稳定前缀
摘要，不依赖各客户端会话头；TTL 默认 5m（OT_PROXY_AFFINITY_TTL，0=关闭），
成功应答刷新。亲和渠道必须在候选集内（健康/未冷却/绑定），否则回退加权随机。
proxyOne 增加 served 返回值区分「应答成功」与「已终结但失败」。
opaque 透传（convert）：chat↔responses 互转原样携带 metadata、service_tier、
parallel_tool_calls。此前逐字段重建请求体会丢它们，而中转上游会校验/使用。
用量细化（proxy+store）：usage_logs 新增 reasoning_tokens（展示口径，不重复
计费）、cache_write_1h_tokens（Anthropic 1h 缓存写按 2× 输入价，此前统一
1.25× 少算 60%）、served_model（上游实际应答模型，映射/聚合商场景对账）。
schema v6→v7。
验证：go vet ./... 干净；go test ./... 与 go test -race ./... 全绿；
新增测试覆盖亲和粘性与冷却回退、opaque 双向透传、reasoning 不重复计费、
1h/5m 缓存写分开计价、served_model 提取（非流式与流式）。
|
2026-10-30 11:41:51 +08:00 |
|
|
Sakurasan
|
979973ddde
|
feat: 流式首包缓冲容错（hold）与失败分类冷却
流式请求在首个内容事件到达前由网关缓冲（借鉴 magpie 的 holdWriter）：上游的错误
事件、空流、断连、协议形态不符（要流给了整包）都在放行前换渠道消化，客户端无感知。
扣住期间照常发 SSE 注释心跳；缓冲超过 1MB 直接放行退化为普通转发，判定失效不吞正文。
- 新增 proxy/hold.go：streamHold（缓冲/放行/心跳/首 token 计时与放行互斥）、
sseEventHasContent（chat/messages/responses 三种协议的内容判定）、
sseUpstreamError（200+流式形式的错误事件识别）、classifyUpstreamError +
quotaSignals（余额/配额特征识别）
- 非流式改为先读完整响应再写头：读失败（网络错误/超时）发生在写出之前，可换渠道
重试；此前先写 200 头再读，超时只能给客户端留一个 200 空响应
- 协议形态校验：要流却给了整包（didNotStream）按失败换渠道，反复如此的渠道会被
健康计数剔除
- 记账：每次尝试独立 trySink，只有成功走到 EOF 才并入请求级 sink——失败渠道的
message_start 用量不计入账单
- 冷却按原因分类（channel.FailKind）：余额/配额类第一次失败即冷却 30 分钟（429 不
一定是限流，智谱 429「余额不足」也在此列）；其余按连续进冷却次数指数退避
30s→60s→120s，封顶 10 分钟；短于退避值的 Retry-After 不再缩短冷却
- 新增 OT_PROXY_FIRST_TOKEN_WAIT（默认 0=不限）：放行前等内容的最长时间，超时即
取消本次尝试换下一个渠道
- 渠道列表接口返回 cooldown_reason，后台可区分「限流」与「余额耗尽」
- 测试：hold 缓冲/放行/心跳、内容与错误事件判定、失败分类与指数退避、容量热生效
- docs/magpie-plugin-mechanism.md：参考实现的插件机制调研
|
2026-10-30 02:43:23 +08:00 |
|
|
Sakurasan
|
263bfb7845
|
chore: gofmt 对齐（远端提交带入的未格式化文件）
|
2026-10-30 01:42:54 +08:00 |
|
|
Sakurasan
|
c39c3e7da4
|
feat: 补齐上游细节、渠道观测与模型定价元数据
- 上游 429 的 Retry-After 转成渠道冷却时长（夹在 10 分钟内；比默认值短则不缩短，
否则 1s 就把坏渠道放回轮转）。失败计数改由 proxyOne 就地报——只有它读得到响应头。
- 故障转移时间预算 OT_PROXY_FAILOVER_BUDGET（默认 30s）：只约束第二个及以后的渠道，
首个不受限（长回答本就要跑几分钟），但坏渠道不再把客户端拖到 N×timeout。
- 流式空闲心跳 OT_PROXY_STREAM_HEARTBEAT（默认 15s）：补一行 SSE 注释 `: ping`，
防止 nginx/Cloudflare 的空闲超时掐掉长思考。心跳与正文共用一把写的锁，
gin 的 ResponseWriter 不是并发安全的；注释行不进转换也不计费。
- 渠道观测：GET /api/v1/admin/channels/stats?window=5m|1h|6h|24h|7d 聚合请求量、
成功率、P50/P95/max 延迟、成本与 top_errors；分位只取成功样本，canceled（客户端
主动断开）不计入渠道错误率。渠道页桌面表格加「近N小时」列、移动端加同内容条，
顶部可切窗口。
- 修一个让统计瞎掉的归因问题：全部渠道失败时 recordError 传的是 nil，
usage_logs 里 channel_id=0，这类失败在渠道维度完全看不见。改为归到最后一个
真正试过的渠道。
- 模型定价与元数据：Model 新增 cache_write_price（0 则回退输入价×1.25，可显式配
Anthropic 1h 的 ×2）、context_length 与 supports_tools/vision/reasoning；
finishUsage 走 CacheWritePriceOr()。/v1/models 叠加用户与密钥白名单过滤
（原来会把限制外的模型名直接泄漏在列表里）并返回元数据，价格不外泄。
- /v1/models 的 Anthropic 分支原是死代码：协议只按路径判，而两种客户端共用这个路径。
改为按 x-api-key / anthropic-version 头判，OpenAI SDK 从不发这两个头，互不影响。
- NewGateway 的十个位置参数换成 Options 结构体（三个 Duration 两个 int，传错编译期发现不了）。
新增 6 个用例：Retry-After 两种写法与夹顶、重试预算截止、空闲心跳出帧、
/v1/models 过滤与双形状、缓存写价两条路径、失败归因。
|
2026-10-17 04:09:39 +08:00 |
|
|
Sakurasan
|
ad10bdc400
|
security: 补上认证面与输入边界的四处防护
链路功能已经跑通，缺的是边界。这几处默认值都是仓库里公开已知的，忘配就等于没有认证。
- 认证端点限速：/auth/login、/auth/register 此前完全没接限速器（Limiter 只挂在代理
Auth 上），爆破与批量建号零成本。新增 AllowWindow 滑动窗口，登录按「单 IP」和
「单 IP×账号」两个桶（默认 30/min、10/min），注册按 IP（5/min）且在 argon2 之前拦，
避免光靠建号请求打满 CPU；超限返回 429 + Retry-After。
- 生产启动断言：env=production 时拒绝默认 OT_JWT_SECRET、缺失或短于 16 字节的
OT_MASTER_KEY（缺失时 NewEncryptor 会用 sha256("") 派生，渠道密文可被公开还原）、
默认管理员密码；一次列全所有问题，不再改一个试一个。development 不拦。
- 请求体上限：parseBody 原来全量 io.ReadAll 且全项目没有一处 MaxBytesReader，
合法密钥可把任意大 body 整份压进内存再转发。/v1 组挂 BodyLimit（默认 32MB，
OT_PROXY_MAX_BODY_MB），超限按客户端协议返回 413 request_too_large 并点名上限。
- CORS：不再无条件反射 Origin + Allow-Credentials: true——那唯一挡住跨站凭据读取的
是 refresh cookie 的 SameSite=Lax，改成 None 就立刻变成窃取面。改为显式白名单，
空白名单完全不发跨域头（同源部署与 vite proxy 本来就不需要），通配 * 不配凭据；
允许头补上 X-Api-Key / Anthropic-Version / OpenAI-*，否则浏览器里跑官方 SDK 预检会挂。
- 配套 OT_SERVER_TRUSTED_PROXIES：不配置就不信 X-Forwarded-For（防伪造头绕过 IP 限速）。
顺手删掉 .env.example 末尾重复的 OT_PROXY_LOG_RAW 段。
|
2026-10-17 03:25:30 +08:00 |
|
|
Sakurasan
|
d911881499
|
feat: add reset-password CLI command for any user
|
2026-09-07 02:33:11 +08:00 |
|
|
Sakurasan
|
923ac79039
|
删除请求超时
|
2026-09-02 13:08:32 +08:00 |
|
|
Sakurasan
|
d818cf3b4c
|
refactor: 命令树移入 internal/cli，去掉 DefaultRun 注入
- cmd/server/cmd → internal/cli，与 internal/api、internal/proxy 平级
- serve() 移入 cli 包作为默认子命令，main.go 退化为纯入口
- 消除 cmd/cmd 冗余层级和 main → cmd 的回调注入
|
2026-08-26 18:14:08 +08:00 |
|