feat: 余额预扣 reserve/capture、冷却兜底重试、Prometheus /metrics
- 预扣:每请求按 body 估算成本上界计入冻结额(1e-8 USD 原子计数),402 判定 改为「余额 - 在途冻结 ≤ 0」,并发的长流式请求不再互相透支;OT_PROXY_RESERVE_MAX_TOKENS 控制估算基数(默认 4096,0=关闭),handler defer 释放,失败/中断/panic 均覆盖 - 调度:全部候选都在运行期冷却时,剩余冷却 ≤ OT_PROXY_COOLDOWN_GRACE 的最早恢复渠道 兜底重试一次而不是 503(429 Retry-After 语义);DB 层不可用的渠道不参与兜底 - 指标:openteam_proxy_requests_total / request_duration / channel_failures / usage_queue_depth / frozen_balance,/metrics 默认关闭(OT_METRICS_ENABLED 开启)
This commit is contained in:
1 parent
b2e500ff51
commit
0e10f0bbde
14 files changed
+493
-36
No files matched your search
@@ -45,6 +45,16 @@ OT_PROXY_FAILOVER_CAPS_NET=4
|
||||
OT_PROXY_FAILOVER_CAPS_SERVER=3
|
||||
OT_PROXY_FAILOVER_CAPS_RATE=2
|
||||
OT_PROXY_FAILOVER_CAPS_QUOTA=3
|
||||
# 全部候选渠道都在运行期冷却时,最早恢复的渠道剩余冷却 ≤ 此值就兜底重试一次,
|
||||
# 而不是立刻 503(429 的 Retry-After 语义本就是"到点再试";0=关闭)
|
||||
OT_PROXY_COOLDOWN_GRACE=30s
|
||||
# 预扣(reserve/capture)估算的最大输出 token(0=关闭):每请求按 body 粗估成本上界
|
||||
# 计入冻结额,余额检查变为「余额 - 在途冻结 ≤ 0」,并发的长流式请求不再互相透支
|
||||
OT_PROXY_RESERVE_MAX_TOKENS=4096
|
||||
|
||||
# 暴露 Prometheus /metrics 端点(默认关):会泄露模型/渠道名与流量规模,
|
||||
# 公网部署开启时建议在反代层做访问控制
|
||||
OT_METRICS_ENABLED=false
|
||||
# 流式空闲多久补一行 SSE 注释心跳(0=关闭)。挂在 nginx/Cloudflare 后面时,
|
||||
# 上游长时间不出字(长思考)会被对端的空闲超时掐掉,心跳用来续住这条流。
|
||||
OT_PROXY_STREAM_HEARTBEAT=15s
|
||||
|
||||
Reference in new issue
Block a user