Sakurasan
9f4d631fc4
路由与故障转移（参考 openteam 语义） - channel.Candidates：绑定模型优先（携带 upstream_model 映射）， 未绑定模型回退到权重最低的健康备用渠道；新增 Pick 加权随机与 FilterHealthy 内存健康过滤 - gateway.Dispatch：遍历候选渠道，可重试失败（连接错误/429/5xx）自动故障转移， 4xx 透传；不再使用单一 SelectChannel - 修复 gorm default 标签把渠道 weight=0 静默改写为 1 的问题（去掉 default， 权重 0 语义 = 不参与加权选择，仅作备用承接 unbound 流量） - RecordFailure 连续 2 次进入 degraded 快速熔断，健康检查成功或冷却过期后复位 网关功能补全 - /v1/models 返回 DB 中启用的模型列表（替换 TODO 存根） - 请求级 request_id 生成与用量记录接入：流式 SSE 逐块累计 usage、 非流式从响应提取，按模型定价计算成本后经 usage.Recorder 异步落库 - 流式结束检测：chat 的 [DONE]、messages 的 message_stop、responses 的 response.completed，避免 keep-alive 上游发完不关连接导致读阻塞到超时 - ResponsesRequest.input 兼容字符串与条目数组两种客户端写法 测试 - 修复 convert_test 对新 input 形态的断言 - 网关 e2e（/tmp/test_gateway.py + mock upstream）72/72 全部通过，连续 3 次稳定
70 lines
1.4 KiB
Go
70 lines
1.4 KiB
Go
package proxy
|
|
|
|
import (
|
|
"net/http"
|
|
"opencatd-open/internal/dao"
|
|
"time"
|
|
|
|
"github.com/gin-gonic/gin"
|
|
)
|
|
|
|
// HandleChat handles POST /v1/chat/completions
|
|
func (g *Gateway) HandleChat(c *gin.Context) {
|
|
req, err := g.ParseRequest(c, "chat")
|
|
if err != nil {
|
|
g.writeError(c, http.StatusBadRequest, err.Error())
|
|
return
|
|
}
|
|
|
|
g.Dispatch(c, req)
|
|
}
|
|
|
|
// HandleMessages handles POST /v1/messages
|
|
func (g *Gateway) HandleMessages(c *gin.Context) {
|
|
req, err := g.ParseRequest(c, "messages")
|
|
if err != nil {
|
|
g.writeError(c, http.StatusBadRequest, err.Error())
|
|
return
|
|
}
|
|
|
|
g.Dispatch(c, req)
|
|
}
|
|
|
|
// HandleResponses handles POST /v1/responses
|
|
func (g *Gateway) HandleResponses(c *gin.Context) {
|
|
req, err := g.ParseRequest(c, "responses")
|
|
if err != nil {
|
|
g.writeError(c, http.StatusBadRequest, err.Error())
|
|
return
|
|
}
|
|
|
|
g.Dispatch(c, req)
|
|
}
|
|
|
|
// HandleModels handles GET /v1/models
|
|
func (g *Gateway) HandleModels(c *gin.Context) {
|
|
modelDAO := dao.NewModelDAO(g.db)
|
|
models, _, err := modelDAO.List(1000, 0)
|
|
if err != nil {
|
|
g.writeError(c, http.StatusInternalServerError, "failed to list models")
|
|
return
|
|
}
|
|
now := time.Now().Unix()
|
|
data := make([]gin.H, 0, len(models))
|
|
for _, m := range models {
|
|
if !m.Enabled {
|
|
continue
|
|
}
|
|
data = append(data, gin.H{
|
|
"id": m.Name,
|
|
"object": "model",
|
|
"created": now,
|
|
"owned_by": "opencatd-open",
|
|
})
|
|
}
|
|
c.JSON(http.StatusOK, gin.H{
|
|
"object": "list",
|
|
"data": data,
|
|
})
|
|
}
|