Sakurasan
9f4d631fc4
路由与故障转移（参考 openteam 语义） - channel.Candidates：绑定模型优先（携带 upstream_model 映射）， 未绑定模型回退到权重最低的健康备用渠道；新增 Pick 加权随机与 FilterHealthy 内存健康过滤 - gateway.Dispatch：遍历候选渠道，可重试失败（连接错误/429/5xx）自动故障转移， 4xx 透传；不再使用单一 SelectChannel - 修复 gorm default 标签把渠道 weight=0 静默改写为 1 的问题（去掉 default， 权重 0 语义 = 不参与加权选择，仅作备用承接 unbound 流量） - RecordFailure 连续 2 次进入 degraded 快速熔断，健康检查成功或冷却过期后复位 网关功能补全 - /v1/models 返回 DB 中启用的模型列表（替换 TODO 存根） - 请求级 request_id 生成与用量记录接入：流式 SSE 逐块累计 usage、 非流式从响应提取，按模型定价计算成本后经 usage.Recorder 异步落库 - 流式结束检测：chat 的 [DONE]、messages 的 message_stop、responses 的 response.completed，避免 keep-alive 上游发完不关连接导致读阻塞到超时 - ResponsesRequest.input 兼容字符串与条目数组两种客户端写法 测试 - 修复 convert_test 对新 input 形态的断言 - 网关 e2e（/tmp/test_gateway.py + mock upstream）72/72 全部通过，连续 3 次稳定
75 lines
2.3 KiB
Go
75 lines
2.3 KiB
Go
package convert
|
|
|
|
import "encoding/json"
|
|
|
|
// ResponsesRequest represents an OpenAI Responses API request
|
|
type ResponsesRequest struct {
|
|
Model string `json:"model"`
|
|
Input json.RawMessage `json:"input,omitempty"`
|
|
Instructions string `json:"instructions,omitempty"`
|
|
MaxOutputTokens *int `json:"max_output_tokens,omitempty"`
|
|
Tools []Tool `json:"tools,omitempty"`
|
|
ToolChoice interface{} `json:"tool_choice,omitempty"`
|
|
Stream bool `json:"stream,omitempty"`
|
|
Temperature *float64 `json:"temperature,omitempty"`
|
|
TopP *float64 `json:"top_p,omitempty"`
|
|
Metadata interface{} `json:"metadata,omitempty"`
|
|
}
|
|
|
|
// InputItem represents a single input item
|
|
type InputItem struct {
|
|
Role string `json:"role"`
|
|
Content interface{} `json:"content,omitempty"`
|
|
}
|
|
|
|
// marshalInputItems 把 input 条目序列化为 Responses input 的 json.RawMessage 形态。
|
|
// Input 字段用 RawMessage 以兼容字符串与条目数组两种客户端写法。
|
|
func marshalInputItems(items []InputItem) json.RawMessage {
|
|
if len(items) == 0 {
|
|
return nil
|
|
}
|
|
b, err := json.Marshal(items)
|
|
if err != nil {
|
|
return nil
|
|
}
|
|
return b
|
|
}
|
|
|
|
// ResponsesResponse represents an OpenAI Responses API response
|
|
type ResponsesResponse struct {
|
|
ID string `json:"id"`
|
|
Object string `json:"object"`
|
|
CreatedAt int64 `json:"created_at"`
|
|
Status string `json:"status"`
|
|
Model string `json:"model"`
|
|
Output []OutputItem `json:"output"`
|
|
Usage Usage `json:"usage"`
|
|
Error interface{} `json:"error,omitempty"`
|
|
Incomplete *Incomplete `json:"incomplete,omitempty"`
|
|
}
|
|
|
|
type OutputItem struct {
|
|
Type string `json:"type"`
|
|
Content []OutputContent `json:"content,omitempty"`
|
|
Role string `json:"role,omitempty"`
|
|
}
|
|
|
|
type OutputContent struct {
|
|
Type string `json:"type"`
|
|
Text string `json:"text,omitempty"`
|
|
ID string `json:"id,omitempty"`
|
|
Name string `json:"name,omitempty"`
|
|
Input interface{} `json:"input,omitempty"`
|
|
}
|
|
|
|
type Incomplete struct {
|
|
Reason string `json:"reason"`
|
|
}
|
|
|
|
// ResponsesStreamEvent represents a Responses API streaming event
|
|
type ResponsesStreamEvent struct {
|
|
Type string `json:"type"`
|
|
Item *OutputItem `json:"item,omitempty"`
|
|
Delta string `json:"delta,omitempty"`
|
|
}
|