按性能分析逐项落地,实测对比(16 并发、mock 上游零延迟、SQLite): - 每请求 SQL 10 → 2:模型/渠道目录(模型行、绑定、渠道行)进程内缓存 10s, 运行期状态(冷却、健康)仍每次实时判定;管理端写操作经中间件、 健康状态变化经回调立即失效。新增 TestProxyRequestSQLBudget 钉住预算。 - 端到端 p50 1.3–1.6ms → 0.66–0.70ms,RPS 3.5–8.9k → 16–18k。 - 流式正文累积:字符串 += 改 strings.Builder(原为 O(n²)), 逐行 JSON 提取改字节快路径,并加廉价的子串预过滤、拿到输出 usage 后停累积。 500 块:949µs/7.9MB 分配 → 83µs/136KB。 - 请求体定点改写:模型映射从整包 unmarshal/marshal 改为顶层字段替换 (100KB:585µs → 29µs),stream_options 注入同理;requestText 改为 只在「上游没报用量」时按需提取,亲和键改用原始体前缀。 - 渠道满载背压:新增 Acquire 有界排队(OT_PROXY_CHANNEL_ACQUIRE_WAIT, 默认 150ms);排队仍满时返回 503 + Retry-After 而不是 502。 实测渠道上限 4、16 并发:无排队 81 次 503;排队 150ms 后 400/400 成功。 - 记账按批聚合:同批同用户一次扣款、流水批量插入、日表按 (user,model,日期) 聚合,替代每行 5 条语句;幂等仍靠 ref_id 唯一索引兜底。 - gorm 开启 PrepareStmt(SQL 解析此前占 CPU 15%);tiktoken 编码器按模型复用。 - 管理端用量列表不再返回原始请求/响应体(可能几十 MB), 改为 has_raw 标记 + GET /admin/usage/:id 按需拉取,前端弹窗打开时取。 验证:go vet、go test ./...、go test -race(proxy/channel/usage/tokenizer)、 vue-tsc、eslint、vite build 全绿;本地起 mock 上游实测列表/详情接口与 管理页弹窗按需加载。
101 lines
3.3 KiB
Go
101 lines
3.3 KiB
Go
package proxy
|
|
|
|
import (
|
|
"encoding/json"
|
|
"strings"
|
|
"testing"
|
|
)
|
|
|
|
func TestRewriteModelFieldTopLevelOnly(t *testing.T) {
|
|
in := `{"model":"a","messages":[{"role":"user","content":"{\"model\":\"nested\"}"}],"max_tokens":5}`
|
|
out, ok := rewriteModelField([]byte(in), "b")
|
|
if !ok {
|
|
t.Fatal("应改写顶层 model")
|
|
}
|
|
var m map[string]any
|
|
if err := json.Unmarshal(out, &m); err != nil {
|
|
t.Fatalf("输出必须是合法 JSON: %v\n%s", err, out)
|
|
}
|
|
if m["model"] != "b" {
|
|
t.Fatalf("顶层 model 未改写:%v", m["model"])
|
|
}
|
|
// 嵌套的 model 引用必须原样保留
|
|
if !strings.Contains(string(out), `\"model\":\"nested\"`) {
|
|
t.Fatalf("嵌套内容被改动了:%s", out)
|
|
}
|
|
if m["max_tokens"].(float64) != 5 {
|
|
t.Fatalf("其它字段丢失:%v", out)
|
|
}
|
|
}
|
|
|
|
func TestRewriteModelFieldKeepsByteShape(t *testing.T) {
|
|
in := "{\n \"model\" : \"old\",\n \"stream\": true\n}"
|
|
out, ok := rewriteModelField([]byte(in), "new")
|
|
if !ok {
|
|
t.Fatal("应改写")
|
|
}
|
|
want := "{\n \"model\" : \"new\",\n \"stream\": true\n}"
|
|
if string(out) != want {
|
|
t.Fatalf("应只替换值本身,实际:%q", out)
|
|
}
|
|
}
|
|
|
|
func TestRewriteModelFieldMissing(t *testing.T) {
|
|
if _, ok := rewriteModelField([]byte(`{"stream":true}`), "x"); ok {
|
|
t.Fatal("没有 model 时不应改写")
|
|
}
|
|
if _, ok := rewriteModelField([]byte(`not json`), "x"); ok {
|
|
t.Fatal("非 JSON 不应改写")
|
|
}
|
|
}
|
|
|
|
func TestInjectStreamOptions(t *testing.T) {
|
|
cases := []struct{ in, want string }{
|
|
{`{"model":"m"}`, `{"model":"m","stream_options":{"include_usage":true}}`},
|
|
{"{\n \"model\": \"m\"\n}", "{\n \"model\": \"m\"\n,\"stream_options\":{\"include_usage\":true}}"},
|
|
{`{}`, `{"stream_options":{"include_usage":true}}`}, // 空对象也能安全追加
|
|
}
|
|
for _, c := range cases {
|
|
out, ok := injectStreamOptions([]byte(c.in), `{"include_usage":true}`)
|
|
if !ok {
|
|
t.Fatalf("应注入:%s", c.in)
|
|
}
|
|
if string(out) != c.want {
|
|
t.Fatalf("注入结果 = %q,期望 %q", out, c.want)
|
|
}
|
|
var m map[string]any
|
|
if err := json.Unmarshal(out, &m); err != nil {
|
|
t.Fatalf("注入后不是合法 JSON: %v (%s)", err, out)
|
|
}
|
|
if _, ok := m["stream_options"]; !ok {
|
|
t.Fatalf("缺少 stream_options: %s", out)
|
|
}
|
|
}
|
|
// 已有 stream_options 时不重复注入
|
|
if _, ok := injectStreamOptions([]byte(`{"stream_options":{"include_usage":true}}`), `{}`); ok {
|
|
t.Fatal("已有该键时不应再注入")
|
|
}
|
|
}
|
|
|
|
// 快路径必须与 JSON 解析结果一致(含转义、非正文事件、三协议形态)。
|
|
func TestFastContentTextMatchesJSON(t *testing.T) {
|
|
lines := []string{
|
|
`data: {"choices":[{"delta":{"content":"hello"}}]}`,
|
|
`data: {"choices":[{"delta":{"content":"中文内容"}}]}`,
|
|
`data: {"choices":[{"delta":{"content":"带\"引号\"和\\反斜杠"}}]}`,
|
|
`data: {"choices":[{"delta":{"role":"assistant"}}]}`,
|
|
`data: {"choices":[{"delta":{},"finish_reason":"stop"}]}`,
|
|
`data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"块文本"}}`,
|
|
`data: {"type":"response.output_text.delta","delta":"响应增量"}`,
|
|
`data: {"type":"message_start","message":{"usage":{}}}`,
|
|
`data: [DONE]`,
|
|
}
|
|
for _, line := range lines {
|
|
got := fastContentText([]byte(line))
|
|
want := sseContentText([]byte(line))
|
|
if got != want {
|
|
t.Fatalf("不一致\n行: %s\n快路径: %q\nJSON: %q", line, got, want)
|
|
}
|
|
}
|
|
}
|