wangbo
76bb730b13
fix(routing): 将 admission 排队计入平台负载
...
候选路由此前只统计 River 队列和历史尝试，未统计尚未生成 River Job 的异步 admission 等待任务，突发提交会集中绑定同一高优先级平台，导致其他平台容量闲置。\n\n将等待中的 gateway_task_admissions 纳入平台模型排队负载，并通过 task_id 去重保留原有统计语义，使候选路由可以在集群 admission 阶段按并发利用率分流。\n\n验证：\n- go test ./internal/store ./internal/runner -count=1\n- go vet ./internal/store ./internal/runner\n- gofmt -l internal/store/candidates.go
2026-08-03 12:33:49 +08:00
wangbo
d740e9f676
fix(acceptance): 按隔离额度执行平台降级路由
...
让 acceptance 候选负载读取同一 Run ID 下的并发、RPM 和 TPM 计数器，并在单个平台模型额度不足时继续尝试下一候选，生产与 canary 额度作用域保持不变。\n\n补齐本地容量控制器对宁波和香港测试 Worker 的最小 RBAC，避免初次应用生产反亲和配置时发生滚动死锁，并将突发负载对齐到完整限流窗口。\n\n验证：\n- go test ./internal/runner ./internal/store -count=1\n- go vet ./internal/runner ./internal/store\n- bash -n scripts/acceptance/local-cluster.sh scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh\n- shellcheck -x scripts/acceptance/local-cluster.sh scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh\n- kubectl apply --dry-run=client -f deploy/kubernetes/local-acceptance/capacity-controller-rbac.yaml
2026-08-03 12:06:09 +08:00
wangbo
c28bf74230
feat(worker): 实现集群限流与自适应负载
...
保留平台模型 RPM、TPM 和并发策略语义，增加 PostgreSQL 集群级租约、饱和候选重选和多平台自动负载，避免突发任务固定等待首个平台。\n\n新增 Worker 实时负载采样、自适应 active/heavy 容量、心跳与管理端指标，并扩展本地 acceptance runner，覆盖三 Worker、同模型三平台 2/4/6 并发和 48 个带图视频突发任务。\n\n验证：go test ./...、go vet ./...、PostgreSQL 跨 Store 集成测试、gofmt、bash -n、ShellCheck 及本地集群 provider-burst 验收通过；48/48 成功，无越限、重复提交、重复计费、重复回调或终态资源泄漏。
2026-08-03 00:13:46 +08:00
wangbo
31565af07a
refactor(runner): 收敛上游失败决策与轮转策略
...
将同平台重试、跨平台动作、健康副作用和冷却排队统一到单一失败决策，避免旧降级策略与 failover 重复执行。\n\n增加事务级单源保护、候选实时刷新、冷却错误契约、管理接口严格校验及兼容策略只读展示。\n\n验证：真实 Gateway HTTP/PostgreSQL 接受测试 10 项通过；go test ./...、pnpm openapi、pnpm lint、pnpm test、pnpm build 均通过。
2026-07-27 23:50:17 +08:00
wangbo
152885bbb6
fix(routing): 对齐缓存亲和力硬规则与审计
2026-07-24 23:51:27 +08:00
wangbo
6c5daf29ca
perf(queue): 按策略动态扩缩异步 Worker
...
将 River 执行容量按平台模型与用户组的有效并发策略动态调整，并为长任务续租、并发租约原子抢占和限流退避补充保护。\n\n统一平台模型限流继承语义，兼容历史 platformLimits/modelLimits，并为三个迁移图像模型建立独立并发租约。补充管理端显式继承/覆盖配置、指标、单元测试及隔离 PostgreSQL 验收。\n\n验证：go test ./... -count=1；pnpm lint；pnpm test；pnpm build；隔离 PostgreSQL 并发原子性/续租测试；128 任务与三分钟长任务动态 Worker 验收。
2026-07-24 12:26:56 +08:00
wangbo
8b8e09cc22
fix(media): 支持大尺寸图像响应并补齐迁移契约
...
- 为图像协议放宽 JSON 响应上限并显式处理读取与超限错误
- 合并基础模型与平台能力，避免运行时丢失分辨率和比例约束
- 固化稳定 Gemini 图像模型的能力、计价和 preview 兼容别名
2026-07-24 08:40:30 +08:00
wangbo
8d86c4b3b3
feat(catalog): 统一模型调用身份并梳理生命周期
...
新增官方调用名、供应商真实名、显示名和兼容别名的独立契约，调整路由、目录聚合、管理端与 OpenAPI。
增加 Gemini、Qwen、DeepSeek、Claude 和 MiniMax 生命周期迁移、别名观测及引用保护，并补充数据库与聚合测试。
2026-07-22 20:23:36 +08:00
wangbo
8847d973a8
feat: add Responses API compatibility
2026-07-10 23:33:15 +08:00
wangbo
b7351f3b9b
feat(runtime): 适配推理模式开关
2026-07-06 02:03:03 +08:00
wangbo
24eb68cc09
feat: use message LCP cache affinity keys
2026-06-29 15:47:57 +08:00
wangbo
0e675e259c
feat: add runner failover rules and cache affinity
2026-06-28 20:50:23 +08:00
wangbo
6089aa6085
feat: support cloned voice deletion
2026-06-17 12:03:13 +08:00
wangbo
c4341335d7
feat: 支持 MiniMax 音色克隆和 2.8 语音模型
2026-06-17 02:13:21 +08:00
wangbo
dc14866210
迁移音频生成与语音合成到 gateway 并补充 simulation 测试
2026-06-07 10:26:57 +08:00
wangbo
2aeb47d6a5
fix(gateway): normalize model alias billing identity
2026-05-28 01:19:28 +08:00
wangbo
71950d2b4f
fix(rate-limits): treat empty policies as unlimited
2026-05-24 22:28:25 +08:00
wangbo
c2696e7bbe
feat(api): add load-aware client fallback
2026-05-12 16:59:51 +08:00
wangbo
7e220b7477
feat: add river-backed async task queue
2026-05-12 10:11:54 +08:00
wangbo
ba850a06c6
feat: improve model rate limit tracking
2026-05-12 03:22:29 +08:00
wangbo
0431cb8157
feat: improve model catalog aggregation
2026-05-11 17:44:57 +08:00
wangbo
ca7e76e815
fix gateway loopback validation chains
2026-05-11 08:48:02 +08:00
wangbo
0fc23d7eb8
feat(api): migrate volces client to gateway
2026-05-10 23:14:10 +08:00
wangbo
d59756a27c
chore: commit pending gateway changes
2026-05-10 22:34:15 +08:00
wangbo
fdcdcd477b
feat: implement AI gateway phase one runtime
2026-05-09 21:18:32 +08:00
wangbo