feat: 流式首包缓冲容错(hold)与失败分类冷却
流式请求在首个内容事件到达前由网关缓冲(借鉴 magpie 的 holdWriter):上游的错误 事件、空流、断连、协议形态不符(要流给了整包)都在放行前换渠道消化,客户端无感知。 扣住期间照常发 SSE 注释心跳;缓冲超过 1MB 直接放行退化为普通转发,判定失效不吞正文。 - 新增 proxy/hold.go:streamHold(缓冲/放行/心跳/首 token 计时与放行互斥)、 sseEventHasContent(chat/messages/responses 三种协议的内容判定)、 sseUpstreamError(200+流式形式的错误事件识别)、classifyUpstreamError + quotaSignals(余额/配额特征识别) - 非流式改为先读完整响应再写头:读失败(网络错误/超时)发生在写出之前,可换渠道 重试;此前先写 200 头再读,超时只能给客户端留一个 200 空响应 - 协议形态校验:要流却给了整包(didNotStream)按失败换渠道,反复如此的渠道会被 健康计数剔除 - 记账:每次尝试独立 trySink,只有成功走到 EOF 才并入请求级 sink——失败渠道的 message_start 用量不计入账单 - 冷却按原因分类(channel.FailKind):余额/配额类第一次失败即冷却 30 分钟(429 不 一定是限流,智谱 429「余额不足」也在此列);其余按连续进冷却次数指数退避 30s→60s→120s,封顶 10 分钟;短于退避值的 Retry-After 不再缩短冷却 - 新增 OT_PROXY_FIRST_TOKEN_WAIT(默认 0=不限):放行前等内容的最长时间,超时即 取消本次尝试换下一个渠道 - 渠道列表接口返回 cooldown_reason,后台可区分「限流」与「余额耗尽」 - 测试:hold 缓冲/放行/心跳、内容与错误事件判定、失败分类与指数退避、容量热生效 - docs/magpie-plugin-mechanism.md:参考实现的插件机制调研
This commit is contained in:
1 parent
d357134e97
commit
979973ddde
12 files changed
+1377
-168
No files matched your search
@@ -81,6 +81,7 @@ type ProxyConfig struct {
|
||||
MaxBodyMB int // /v1 请求体上限(MB),超限按客户端协议返回 413
|
||||
FailoverBudget time.Duration // 故障转移给"第二个及以后的渠道"留的时间预算,0=不限
|
||||
StreamHeartbeat time.Duration // 流式空闲多久发一次 SSE 注释心跳,0=关闭
|
||||
FirstTokenWait time.Duration // 流式放行前等内容的最长时间,0=不限;超时未出内容换下一个渠道
|
||||
HealthInterval time.Duration // 渠道健康检查周期
|
||||
HealthFailThreshold int // 连续失败 N 次进 cooldown
|
||||
LogRaw bool // 记录管理员原始请求体+响应到 usage_logs(调试用,默认关)
|
||||
@@ -148,6 +149,7 @@ func Load() (*Config, error) {
|
||||
v.SetDefault("proxy.max_body_mb", 32)
|
||||
v.SetDefault("proxy.failover_budget", "30s")
|
||||
v.SetDefault("proxy.stream_heartbeat", "15s")
|
||||
v.SetDefault("proxy.first_token_wait", "0s")
|
||||
v.SetDefault("proxy.health_interval", "60s")
|
||||
v.SetDefault("proxy.health_fail_threshold", 2)
|
||||
v.SetDefault("proxy.log_raw", false)
|
||||
@@ -197,6 +199,7 @@ func Load() (*Config, error) {
|
||||
MaxBodyMB: v.GetInt("proxy.max_body_mb"),
|
||||
FailoverBudget: v.GetDuration("proxy.failover_budget"),
|
||||
StreamHeartbeat: v.GetDuration("proxy.stream_heartbeat"),
|
||||
FirstTokenWait: v.GetDuration("proxy.first_token_wait"),
|
||||
HealthInterval: v.GetDuration("proxy.health_interval"),
|
||||
HealthFailThreshold: v.GetInt("proxy.health_fail_threshold"),
|
||||
LogRaw: v.GetBool("proxy.log_raw"),
|
||||
|
||||
Reference in new issue
Block a user