// Package channel 渠道仓储:候选选择、加权负载均衡、并发控制、密钥加解密。 // M5 起支持多候选(负载均衡 + 故障转移)与每渠道并发信号量。 package channel import ( "crypto/rand" "errors" "log" "math/big" "sync" "time" "github.com/openteam/server/internal/pkg/crypto" "github.com/openteam/server/internal/store" "gorm.io/gorm" ) var ErrNoChannel = errors.New("no available channel") const ( // maxCooldown 运行期冷却上限:上游 Retry-After 再长也不让渠道缺席超过这个时间。 maxCooldown = 10 * time.Minute // quotaCooldown 余额/配额耗尽的一次性冷却时长:这类失败不会自己恢复, // 冷却到上限也没意义,半小时后渠道大概率已被管理员处理或配额已重置。 quotaCooldown = 30 * time.Minute ) // FailKind 上游失败原因分类。冷却策略随原因不同: // 余额/配额类第一次失败就长冷却(重试无意义);其余按指数退避。 type FailKind uint8 const ( FailNet FailKind = iota // 网络错误、超时、连接失败 FailServer // 5xx / 529 服务端错误 FailRate // 429 限流 FailQuota // 余额/配额耗尽(402、带配额特征的 429/403) ) func (k FailKind) String() string { switch k { case FailNet: return "network" case FailServer: return "server_error" case FailRate: return "rate_limited" case FailQuota: return "quota_exhausted" } return "unknown" } type Service struct { db *gorm.DB enc *crypto.Encryptor mu sync.Mutex sems map[uint64]*semEntry runt map[uint64]*runtimeHealth // 运行期冷却参数;NewService 给默认值,测试可覆盖。 failThreshold int cooldownFor time.Duration } // runtimeHealth 运行期健康:连续可重试失败(网络错误/超时/429/5xx)累计到阈值进入冷却。 // trips 记录连续进冷却的次数,退避时长按它翻倍;一次成功即清零。 // 与 HealthMonitor 的探测结果相互独立——探测只看 /models 是否 200, // 覆盖不了"models 正常但对话接口一直报错"的渠道。 type runtimeHealth struct { fails int until time.Time kind FailKind trips int } func NewService(db *gorm.DB, enc *crypto.Encryptor) *Service { return &Service{ db: db, enc: enc, sems: map[uint64]*semEntry{}, runt: map[uint64]*runtimeHealth{}, failThreshold: 3, cooldownFor: 30 * time.Second, } } // Candidate 一个候选渠道 + 该模型的映射关系。 type Candidate struct { Channel *store.Channel UpstreamModel string // 全局模型在此渠道的映射名(无绑定则为空,用客户端模型名) Weight int // 绑定级权重(默认 1;均衡权重 = 绑定级 × 渠道级) } // Candidates 返回可用渠道候选:健康 + 启用 + 不在运行期冷却,按优先级、权重降序、id 升序排列。 // model 非空且该模型有渠道绑定时,只返回绑定渠道(携带 upstream_model 映射); // 绑定渠道全部不可用则返回空(上层报 no_channel),不会退化到不认识该模型的全局渠道。 // 仅当模型完全没有任何绑定时才退回全局渠道。 func (s *Service) Candidates(model string) []Candidate { if model != "" { var modelIDs []uint64 var b []store.ChannelModelBinding s.db.Model(&store.Model{}).Where("name = ? AND enabled = ?", model, true).Pluck("id", &modelIDs) if len(modelIDs) > 0 { s.db.Where("model_id IN ?", modelIDs).Find(&b) } if len(b) > 0 { return s.loadBound(b) } } var chs []store.Channel s.db.Where("enabled = ? AND health_status = ?", true, store.ChannelHealthHealthy). Order("priority ASC, weight DESC, id ASC").Find(&chs) out := make([]Candidate, 0, len(chs)) for i := range chs { if s.InCooldown(chs[i].ID) { continue } out = append(out, Candidate{Channel: &chs[i]}) } return out } // loadBound 按绑定顺序加载渠道候选,过滤健康/启用/运行期冷却,携带 upstream_model 映射。 func (s *Service) loadBound(bindings []store.ChannelModelBinding) []Candidate { if len(bindings) == 0 { return nil } // channel_id -> 绑定(取该渠道对该模型的映射) byChannel := map[uint64]store.ChannelModelBinding{} ids := make([]uint64, 0, len(bindings)) for _, b := range bindings { if _, ok := byChannel[b.ChannelID]; !ok { ids = append(ids, b.ChannelID) } byChannel[b.ChannelID] = b } var chs []store.Channel s.db.Where("id IN ? AND enabled = ? AND health_status = ?", ids, true, store.ChannelHealthHealthy). Order("priority ASC, weight DESC, id ASC").Find(&chs) out := make([]Candidate, 0, len(chs)) // 按查询排好序的 chs 输出(而不是绑定返回顺序),保证候选保持 priority ASC 的故障转移顺序 for i := range chs { ch := &chs[i] if s.InCooldown(ch.ID) { continue } out = append(out, Candidate{ Channel: ch, UpstreamModel: byChannel[ch.ID].UpstreamModel, Weight: byChannel[ch.ID].Weight, }) } return out } // AvailableModelIDs 返回对外可见的模型 ID:启用的模型且至少绑定到一个启用且健康的渠道。 // 与 Candidates 的过滤口径一致(enabled + health_status=healthy),避免暴露绑定到已停用渠道的模型。 func (s *Service) AvailableModelIDs() []uint64 { var ids []uint64 s.db.Model(&store.ChannelModelBinding{}). Joins("JOIN channels ON channels.id = channel_model_bindings.channel_id"). Joins("JOIN models ON models.id = channel_model_bindings.model_id"). Where("channels.enabled = ? AND channels.health_status = ?", true, store.ChannelHealthHealthy). Where("models.enabled = ?", true). Distinct("channel_model_bindings.model_id"). Pluck("channel_model_bindings.model_id", &ids) return ids } // Pick 按权重加权随机选一个候选渠道(负载均衡)。 // 只在最高优先级层(priority 最小,候选已按 priority ASC 排序)内随机—— // 低优先级候选不参与首个请求的分配,仅作为故障转移备选。 // 权重 = 绑定级 Weight × 渠道级 Weight(见 pickWeight)。 func (s *Service) Pick(cands []Candidate) *store.Channel { if len(cands) == 0 { return nil } top := cands[0].Channel.Priority pool := cands for i, c := range cands { if c.Channel.Priority != top { pool = cands[:i] break } } total := 0 for _, c := range pool { total += pickWeight(c) } n, _ := rand.Int(rand.Reader, big.NewInt(int64(total))) acc := 0 for _, c := range pool { acc += pickWeight(c) if int(n.Int64()) < acc { return c.Channel } } return pool[len(pool)-1].Channel } // pickWeight 候选的均衡权重 = 绑定级权重 × 渠道级权重(各 ≤0 按 1)。 // 绑定级默认 1,未显式配置时等价于纯渠道权重;绑定上显式加权可对该模型单独放大。 func pickWeight(c Candidate) int { bw := c.Weight if bw <= 0 { bw = 1 } cw := c.Channel.Weight if cw <= 0 { cw = 1 } return bw * cw } // semEntry 渠道并发信号量。容量变更(管理后台改 MaxConcurrency)时在旧槽排空后 // 就地换新,改配置不再需要重启。release 闭包持有旧 chan:换新后旧持有者释放进旧 // chan 是无害的(新 chan 重新从 0 计数)。 type semEntry struct { sem chan struct{} cap int } // TryAcquire 尝试获取渠道并发槽;渠道满载返回 false(调用方可溢出到其他渠道)。 // MaxConcurrency<=0 视为不限制。 func (s *Service) TryAcquire(ch *store.Channel) (func(), bool) { if ch.MaxConcurrency <= 0 { return func() {}, true } s.mu.Lock() e, ok := s.sems[ch.ID] // 容量变了且旧槽已排空(len 即当前持有数)→ 换新;还有在途请求就先沿用旧槽 if !ok { e = &semEntry{sem: make(chan struct{}, ch.MaxConcurrency), cap: ch.MaxConcurrency} s.sems[ch.ID] = e } else if e.cap != ch.MaxConcurrency && len(e.sem) == 0 { e = &semEntry{sem: make(chan struct{}, ch.MaxConcurrency), cap: ch.MaxConcurrency} s.sems[ch.ID] = e } sem := e.sem s.mu.Unlock() select { case sem <- struct{}{}: return func() { <-sem }, true default: return nil, false } } // UpstreamKey 解密渠道上游密钥。 func (s *Service) UpstreamKey(ch *store.Channel) (string, error) { return s.enc.Decrypt(ch.APIKeyEnc) } // --------------------------------------------------------------------------- // 运行期健康(进程内,与 /v1/models 探测独立) // ReportFailure 记一次可重试的上游失败,按原因分类冷却: // - FailQuota(余额/配额耗尽):渠道在充值或配额重置前不会恢复,第一次失败就冷却 // quotaCooldown,不等阈值——429 不一定是限流(智谱 429 "余额不足" 也在此列); // - 其余原因:连续 failThreshold 次进入冷却,时长为基准冷却按连续进冷却次数的 // 指数退避(30s→60s→120s…),坏渠道不会以固定节拍被反复打。 // // retryAfter>0(上游 429 带的 Retry-After)且长于退避值时覆盖退避时长,仍夹到 // maxCooldown——不能让一个写错的重试头把渠道钉死几小时;比退避值短的 Retry-After // 不缩短冷却,否则 1s 就把坏渠道放回轮转。 func (s *Service) ReportFailure(ch *store.Channel, kind FailKind, retryAfter time.Duration) { s.mu.Lock() st := s.runt[ch.ID] if st == nil { st = &runtimeHealth{} s.runt[ch.ID] = st } st.kind = kind if kind == FailQuota { st.fails = 0 st.until = time.Now().Add(quotaCooldown) s.mu.Unlock() log.Printf("channel: %q cooled down for %s: %s", ch.Name, quotaCooldown, kind) return } d := s.cooldownFor << st.trips // 指数退避 if d > maxCooldown || d <= 0 { d = maxCooldown } if retryAfter > d { d = retryAfter if d > maxCooldown { d = maxCooldown } } st.fails++ if st.fails < s.failThreshold { s.mu.Unlock() return } st.fails = 0 st.trips++ st.until = time.Now().Add(d) s.mu.Unlock() log.Printf("channel: %q entered runtime cooldown (%s, %s)", ch.Name, d, kind) } // ReportSuccess 上游正常返回响应,清空该渠道的连续失败与冷却退避计数。 func (s *Service) ReportSuccess(ch *store.Channel) { s.mu.Lock() if st, ok := s.runt[ch.ID]; ok { st.fails = 0 st.trips = 0 } s.mu.Unlock() } // RuntimeState 渠道运行期健康快照:连续失败次数、冷却剩余时间与最近失败原因(管理后台展示用)。 // 只读,不做过期清理——清理仍由 InCooldown 在选路时惰性完成。 func (s *Service) RuntimeState(id uint64) (fails int, remaining time.Duration, reason string) { s.mu.Lock() defer s.mu.Unlock() st, ok := s.runt[id] if !ok { return 0, 0, "" } if !st.until.IsZero() { if d := time.Until(st.until); d > 0 { return 0, d, st.kind.String() // 冷却中:计数在写入时已归零 } return 0, 0, st.kind.String() // 已到期,等下次选路清理 } return st.fails, 0, st.kind.String() } // ClearRuntime 清除运行期状态(管理后台"立即恢复")。 // 不改 DB 的 health_status——那条由探测/管理端点负责,两者语义不同不要混在一起。 func (s *Service) ClearRuntime(id uint64) { s.mu.Lock() delete(s.runt, id) s.mu.Unlock() } // InCooldown 渠道是否处于运行期冷却;过期则清掉状态、恢复可用。 // until 为零值表示只在累计失败、尚未触发冷却,此时不能清状态(否则计数永远攒不满阈值)。 func (s *Service) InCooldown(id uint64) bool { s.mu.Lock() defer s.mu.Unlock() st, ok := s.runt[id] if !ok { return false } if st.until.IsZero() { return false } if time.Now().Before(st.until) { return true } delete(s.runt, id) return false }