fix: 兼容上游 SSE data: 后无空格格式,流式记账不再 0 消耗
火山方舟等上游流式返回 data:{...}(data: 后无空格),原解析只认
'data: '(带空格),导致 content 文本与 usage 全部漏解析:
- sseContentText 抽成 sseDataPayload,统一处理 data: 前缀
(支持带/不带空格 + event:+data: 多行块)
- scanUsage 复用 sseDataPayload
- convert/stream.go parseLine 也支持 data:{ 无空格
- 新增回归测试覆盖无空格/带空格/多行块三种形态
This commit is contained in:
@@ -101,18 +101,32 @@ func requestText(body []byte) string {
|
||||
return strings.Join(parts, "\n")
|
||||
}
|
||||
|
||||
// sseContentText 提取一条 SSE 中的内容文本(chat delta.content / responses delta / messages delta.text)。
|
||||
// 兼容单 data: 行与 event:+data: 多行块(转换器 eventLine 产出的块)。
|
||||
func sseContentText(line []byte) string {
|
||||
// sseDataPayload 提取一条 SSE 的 JSON 载荷(去掉 data: 前缀与空白)。
|
||||
// 兼容三种写法:
|
||||
// - 单 data: 行:data: {...} 或 data:{...}(上游如火山方舟会省略 data: 后的空格)
|
||||
// - event:+data: 多行块:转换器 eventLine 产出的块(event: xxx\ndata: {...} 拼在一个 []byte)
|
||||
func sseDataPayload(line []byte) (string, bool) {
|
||||
s := string(line)
|
||||
// 多行块:取最后一个 data: 行(event: 头 + data: 载荷拼在一个 []byte 里)
|
||||
if idx := strings.LastIndex(s, "\ndata: "); idx >= 0 {
|
||||
s = s[idx+len("\ndata: "):]
|
||||
} else if strings.HasPrefix(s, "data: ") {
|
||||
s = strings.TrimPrefix(s, "data: ")
|
||||
idx := strings.LastIndex(s, "\ndata:")
|
||||
if idx >= 0 {
|
||||
s = s[idx+len("\ndata:"):] // 跳过 event: 头,落在 data: 之后
|
||||
} else if strings.HasPrefix(s, "data:") {
|
||||
s = strings.TrimPrefix(s, "data:")
|
||||
} else {
|
||||
return "", false
|
||||
}
|
||||
s = strings.TrimLeft(s, " ") // data: 后的可选空格
|
||||
s = strings.TrimSpace(s)
|
||||
if s == "" || s == "[DONE]" {
|
||||
return "", false
|
||||
}
|
||||
return s, true
|
||||
}
|
||||
|
||||
// sseContentText 提取一条 SSE 中的内容文本(chat delta.content / responses delta / messages delta.text)。
|
||||
func sseContentText(line []byte) string {
|
||||
s, ok := sseDataPayload(line)
|
||||
if !ok {
|
||||
return ""
|
||||
}
|
||||
var m map[string]any
|
||||
@@ -394,18 +408,11 @@ func extractUsage(data []byte) json.RawMessage {
|
||||
|
||||
// scanUsage 从 SSE 一行中提取 usage(OpenAI 末块 / responses completed / messages message_delta 等)。
|
||||
func scanUsage(line []byte) json.RawMessage {
|
||||
s := string(line)
|
||||
if !strings.Contains(s, `"usage"`) {
|
||||
if !bytes.Contains(line, []byte(`"usage"`)) {
|
||||
return nil
|
||||
}
|
||||
// 兼容单 data: 行与 event:+data: 多行块(转换器 eventLine 产出的块)
|
||||
if idx := strings.LastIndex(s, "\ndata: "); idx >= 0 {
|
||||
s = s[idx+len("\ndata: "):]
|
||||
} else if strings.HasPrefix(s, "data: ") {
|
||||
s = strings.TrimPrefix(s, "data: ")
|
||||
}
|
||||
s = strings.TrimSpace(s)
|
||||
if s == "[DONE]" || s == "" {
|
||||
s, ok := sseDataPayload(line)
|
||||
if !ok {
|
||||
return nil
|
||||
}
|
||||
var m map[string]json.RawMessage
|
||||
|
||||
Reference in New Issue
Block a user