fix: 修掉模型调用链路上的四处失效逻辑

- 超时:NewGateway 里 gw_timeout*time.Second 把已是 Duration 的值二次换算,
  int64 溢出后无论 OT_PROXY_TIMEOUT 填多少都等于没有超时,渠道 timeout_ms
  也从没被读过。现在非流式用 context deadline 约束整段时长,流式只约束首包
  (Transport.ResponseHeaderTimeout),正文不限时长,长回答不会被砍。
- 断连:上游请求改用 NewRequestWithContext 绑定客户端 context,客户端断开即
  取消上游并记 canceled,不再空转生成继续付费;PATCH 已写 200 头后不再往
  响应里追加错误体。
- 白名单:APIKey.AllowedModels 以前只存不用,现在 Auth 注入 context 并参与
  判定(用户黑名单 > 密钥白名单 > 用户白名单 > 全局)。
- 选路:模型已有渠道绑定时只用绑定渠道,都不可用直接 503 no_channel,不再
  把请求发给不认识它的渠道;新增运行期健康(连续 3 次网络错误/超时/429/5xx
  进 30s 冷却,成功清零),与 60s 一次的 /models 探测互补。
- 密钥 API:PATCH 回显更新后的完整对象;限额填 0 统一视为不限制(原来
  token 配额存 0 会让密钥第一次请求就被 429 打死,而请求配额存 0 又等于
  不限制,两个字段语义相反);前端编辑框总是提交白名单,清空能真的取消。

测试:新增 proxy 链路集成测试(超时生效、流式不被截断、断连取消并记账、
密钥白名单 403、连续 429 后候选剔除)与 channel 用例(绑定模型不退全局、
冷却阈值与到期恢复、成功清零)。
This commit is contained in:
Sakurasan committed 2026-10-16 19:15:51 +08:00
1 parent d911881499
commit e865f69a41
10 files changed
+659 -69

No files matched your search

+54 -25
View File
@@ -13,11 +13,11 @@ import (
)
type createKeyReq struct {
Name *string `json:"name" binding:"required,min=1,max=64"`
QuotaTokensPerDay *int64 `json:"quota_tokens_per_day"`
QuotaRequestsPerDay *int `json:"quota_requests_per_day"`
AllowedModels []string `json:"allowed_models"`
ExpiresAt *string `json:"expires_at"` // RFC3339
Name *string `json:"name" binding:"required,min=1,max=64"`
QuotaTokensPerDay *int64 `json:"quota_tokens_per_day"`
QuotaRequestsPerDay *int `json:"quota_requests_per_day"`
AllowedModels []string `json:"allowed_models"`
ExpiresAt *string `json:"expires_at"` // RFC3339
}
// CreateKey POST /api/v1/keys — 创建密钥,明文仅此一次返回。
@@ -47,6 +47,13 @@ func (h *Handler) CreateKey(c *gin.Context) {
AllowedModels: req.AllowedModels,
Status: store.KeyStatusActive,
}
// 限额填 0 视为不限制(同 PatchKey),存成 0 会让密钥一发都发不出去
if k.QuotaTokensPerDay != nil && *k.QuotaTokensPerDay <= 0 {
k.QuotaTokensPerDay = nil
}
if k.QuotaRequestsPerDay != nil && *k.QuotaRequestsPerDay <= 0 {
k.QuotaRequestsPerDay = nil
}
if req.ExpiresAt != nil {
t, err := time.Parse(time.RFC3339, *req.ExpiresAt)
if err != nil {
@@ -68,6 +75,22 @@ func (h *Handler) CreateKey(c *gin.Context) {
})
}
// keyJSON 密钥的对外表示(列表与 PATCH 回显共用)。
func keyJSON(k store.APIKey) gin.H {
return gin.H{
"id": k.ID,
"name": k.Name,
"key_prefix": k.KeyPrefix,
"quota_tokens_per_day": k.QuotaTokensPerDay,
"quota_requests_per_day": k.QuotaRequestsPerDay,
"allowed_models": k.AllowedModels,
"expires_at": k.ExpiresAt,
"status": k.Status,
"last_used_at": k.LastUsedAt,
"created_at": k.CreatedAt,
}
}
// ListKeys GET /api/v1/keys
func (h *Handler) ListKeys(c *gin.Context) {
u, ok := userFromContext(c)
@@ -82,18 +105,7 @@ func (h *Handler) ListKeys(c *gin.Context) {
}
out := make([]gin.H, 0, len(keys))
for _, k := range keys {
out = append(out, gin.H{
"id": k.ID,
"name": k.Name,
"key_prefix": k.KeyPrefix,
"quota_tokens_per_day": k.QuotaTokensPerDay,
"quota_requests_per_day": k.QuotaRequestsPerDay,
"allowed_models": k.AllowedModels,
"expires_at": k.ExpiresAt,
"status": k.Status,
"last_used_at": k.LastUsedAt,
"created_at": k.CreatedAt,
})
out = append(out, keyJSON(k))
}
resp.OK(c, gin.H{"items": out})
}
@@ -111,11 +123,11 @@ func (h *Handler) PatchKey(c *gin.Context) {
return
}
var req struct {
Name *string `json:"name"`
QuotaTokensPerDay *int64 `json:"quota_tokens_per_day"`
QuotaRequestsPerDay *int `json:"quota_requests_per_day"`
AllowedModels *[]string `json:"allowed_models"`
Status *string `json:"status"`
Name *string `json:"name"`
QuotaTokensPerDay *int64 `json:"quota_tokens_per_day"`
QuotaRequestsPerDay *int `json:"quota_requests_per_day"`
AllowedModels *[]string `json:"allowed_models"`
Status *string `json:"status"`
}
if err := c.ShouldBindJSON(&req); err != nil {
resp.Fail(c, http.StatusBadRequest, "invalid input")
@@ -130,11 +142,21 @@ func (h *Handler) PatchKey(c *gin.Context) {
if req.Name != nil {
updates["name"] = *req.Name
}
// 限额:>0 生效,0 或负数视为"不限制"(写 NULL)。
// 不能存 0:token 配额判定是 `已用 >= 上限`,0 会让密钥第一次请求就被 429 打死。
if req.QuotaTokensPerDay != nil {
updates["quota_tokens_per_day"] = *req.QuotaTokensPerDay
if *req.QuotaTokensPerDay > 0 {
updates["quota_tokens_per_day"] = *req.QuotaTokensPerDay
} else {
updates["quota_tokens_per_day"] = nil
}
}
if req.QuotaRequestsPerDay != nil {
updates["quota_requests_per_day"] = *req.QuotaRequestsPerDay
if *req.QuotaRequestsPerDay > 0 {
updates["quota_requests_per_day"] = *req.QuotaRequestsPerDay
} else {
updates["quota_requests_per_day"] = nil
}
}
if req.Status != nil {
if *req.Status != store.KeyStatusActive && *req.Status != store.KeyStatusRevoked {
@@ -150,6 +172,7 @@ func (h *Handler) PatchKey(c *gin.Context) {
}
}
// allowed_models 是 jsonb:手动序列化为 JSON 字符串写入(跨 SQLite/Postgres)
// 显式传 [] 表示"清空白名单"(前端编辑框预填现值,字段内容即最终意图)
if req.AllowedModels != nil {
raw, _ := json.Marshal(*req.AllowedModels)
if err := h.a.DB.Model(&k).Update("allowed_models", string(raw)).Error; err != nil {
@@ -157,7 +180,13 @@ func (h *Handler) PatchKey(c *gin.Context) {
return
}
}
resp.OK(c, gin.H{"ok": true})
// 重新读出,回显更新后的完整密钥(含被清零的限额)
var updated store.APIKey
if err := h.a.DB.First(&updated, k.ID).Error; err != nil {
resp.Fail(c, http.StatusInternalServerError, "failed to reload key")
return
}
resp.OK(c, keyJSON(updated))
}
// DeleteKey DELETE /api/v1/keys/:id — 删除(硬删,立即失效不可恢复)。