BCAI/easyai-ai-gateway
3
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
499 Commits 24 Branches 10 Tags
5c7d6ac9aab194208036ac5592bc1bb3506f3d9e
Commit Graph
138 Commits
Author SHA1 Message Date
wangbo 5c7d6ac9aa fix(runner): 修复转存后残留二进制误判 
统一结果二进制探测与上传规则，避免将 thinking_bytes 等上游元数据误判为待转存媒体，同时保留显式媒体字段和签名识别。\n\n补充不含原始内容的安全诊断，并兼容对象存储前缀旧字段；修正真实 OSS 验收脚本使用的正式字段。\n\n验证：Go 全量测试、go vet、迁移安全检查、真实 Gemini 上游响应及阿里云 OSS 转存均通过。
 2026-08-04 14:33:04 +08:00
wangbo 394cc6288f fix(runner): 修复图像结果转存与任务租约失效 
修正非语义字段长 Base64 元数据被误判为媒体的问题，并允许按文件签名识别真实媒体后转存 OSS；同时将网关本地存储失败与上游失败分离，避免重复调用和错误降权。

异步任务复用已分配并发名额前立即刷新租约，租约已丢失时重新排队获取，避免排队耗时侵蚀租约后错误调用上游。生产环境关闭 server-main 尚未实现的进度回调，保留 Gateway 任务详情与事件查询。

验证：API 全量 go test、go vet、gofmt、Kubernetes 渲染、迁移安全检查及真实阿里云 OSS 读写/生命周期验收通过。
 2026-08-04 13:48:44 +08:00
wangbo 6a64d3936a feat(storage): 完善对象存储配置与过期策略 
补齐 OSS/S3 的 Endpoint、Region、Bucket、CDN、对象前缀和签名有效期配置，并为生成结果与请求素材自动维护分级生命周期规则。普通上传继续保持永久，私有资源按配置生成限时签名 URL，管理端连接测试覆盖生命周期、上传、读取和删除。\n\n新增可重复的真实 OSS 验收脚本，凭据仅从本地环境读取，接口响应继续保持脱敏。\n\n验证：Go 全量测试、迁移安全检查、pnpm lint、pnpm test、pnpm build、本地阿里云 OSS 真实上传下载删除验收。
 2026-08-04 12:44:24 +08:00
wangbo fe56aa46b9 fix(errors): 区分平台限流并保留上游状态码 
原因：公开错误层将平台并发限流误标为上游限流，并把多种上游 4xx 统一压成 400，影响定位和客户端处理。

影响：新增公开错误 source，平台限流使用 gateway_rate_limited，上游请求按安全分类返回对应状态；数据库与管理端继续保留原始错误码、消息和状态用于审计。

验证：Go 全量测试、pnpm test、pnpm lint、pnpm build、pnpm openapi、gofmt 和 diff 检查均通过。
 2026-08-04 10:46:46 +08:00
wangbo 0f0998cbcf feat(storage): 统一二进制对象存储与公开错误 
新增 Aliyun OSS 与 S3 协议、通道内重试和按优先级跨通道切换，保留 server-main 兼容与环境 OSS 内存通道。

将请求及结果中的 Base64、Data URI、Buffer、multipart 和内联二进制统一对象化，生产路径不再写入本机静态目录，历史本地资源仅保留只读兼容。

引入 PublicErrorV1 并统一 API、异步查询、兼容协议和失败回调的安全错误输出，同时补充迁移、管理端、指标、OpenAPI 与本地模拟验收。

验证：go test ./... -count=1；go vet ./...；pnpm lint；pnpm test；pnpm build；pnpm openapi；tests/ci/migrations-test.sh。
 2026-08-04 08:14:39 +08:00
wangbo d129bcccbd fix(runner): 保留同平台重试的并发租约 
同平台 retry_same 之前会在首个 attempt 失败时释放任务级 admission 租约，下一次 attempt 继续续租旧租约并进入 upstream_submission_unknown。

现在明确区分 attempt 自有租约与任务级 admission 租约，只在 attempt 结束时释放前者；补充回归测试覆盖同平台重试继续续租 admission 租约。

验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；go vet ./...；gofmt；git diff --check。
 2026-08-03 21:06:23 +08:00
wangbo c8d04ca731 fix(billing): 重排任务复用钱包预留 
平台额度跨窗口重排时保留任务已有的钱包预留，后续 Worker 领取复用同一幂等键，避免重复 reserve/release 事务。\n\n补齐排队任务取消后的原子结算释放，并允许任务 attempt 持久化软负载、满载原因和选择原因等有界路由快照。\n\n验证：go test ./...；go vet ./...；钱包预留复用与排队取消 PostgreSQL 集成测试。
 2026-08-03 18:09:47 +08:00
wangbo 8362d6d27a feat(routing): 完善平台满载避让与故障轮转 
为未配置并发上限的平台增加基于运行和等待任务数的软负载，并按非满载、有效优先级、缓存亲和与负载稳定排序。\n\n平台模型 RPM、TPM 和并发额度竞争失败时只轮转候选，不触发冷却、禁用或降级；用户组额度保持不可绕过。补齐异步冷却排队恢复、满载原因、选择原因与低基数指标。\n\n验证：go test ./...；go vet ./...；PostgreSQL 原子额度、准入队列、Worker 容量回收及故障策略 HTTP acceptance。
 2026-08-03 17:42:34 +08:00
wangbo 7376d6fab6 refactor(access): 统一分层白名单权限语义 
取消跨主体专属占用，按租户、用户组、用户、当前 API Key 和 scope 分层求交，并在任务落库前统一校验候选。\n\n增加旧 allow 规则归档清理迁移、脱敏审计工具和回滚运行手册，补齐主体隔离、deny 优先及列表与运行时一致性测试。
 2026-08-03 15:43:49 +08:00
wangbo b933d59783 fix(routing): 额度饱和时解除任务候选固定 
已取得并发租约的任务继续保持候选绑定；仅当已绑定平台的 RPM 或 TPM 已满且存在可用候选时，允许任务在执行前原子迁移到下一平台，避免等待窗口重置。\n\n验证：\n- go test ./internal/runner -count=1\n- go vet ./internal/runner
 2026-08-03 12:19:52 +08:00
wangbo d740e9f676 fix(acceptance): 按隔离额度执行平台降级路由 
让 acceptance 候选负载读取同一 Run ID 下的并发、RPM 和 TPM 计数器，并在单个平台模型额度不足时继续尝试下一候选，生产与 canary 额度作用域保持不变。\n\n补齐本地容量控制器对宁波和香港测试 Worker 的最小 RBAC，避免初次应用生产反亲和配置时发生滚动死锁，并将突发负载对齐到完整限流窗口。\n\n验证：\n- go test ./internal/runner ./internal/store -count=1\n- go vet ./internal/runner ./internal/store\n- bash -n scripts/acceptance/local-cluster.sh scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh\n- shellcheck -x scripts/acceptance/local-cluster.sh scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh\n- kubectl apply --dry-run=client -f deploy/kubernetes/local-acceptance/capacity-controller-rbac.yaml
 2026-08-03 12:06:09 +08:00
wangbo 8485f14bc4 test(acceptance): 验证厂商三类额度与优先路由 
为 provider-burst 固定三平台并发、RPM、TPM 和优先级组合，使用稳定 token 用量的本地视频负载验证同级按容量分流及低优先级溢出。\n\n报告升级为 v2，强制校验三类额度峰值精确命中上限、不越界、队列回收、三 Worker 分发以及重复提交和回调安全。\n\n验证：\n- env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1\n- go vet ./...\n- bash -n scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh\n- shellcheck -x scripts/acceptance/provider-burst.sh scripts/acceptance/run-local-acceptance.sh
 2026-08-03 11:48:54 +08:00
wangbo c28bf74230 feat(worker): 实现集群限流与自适应负载 
保留平台模型 RPM、TPM 和并发策略语义，增加 PostgreSQL 集群级租约、饱和候选重选和多平台自动负载，避免突发任务固定等待首个平台。\n\n新增 Worker 实时负载采样、自适应 active/heavy 容量、心跳与管理端指标，并扩展本地 acceptance runner，覆盖三 Worker、同模型三平台 2/4/6 并发和 48 个带图视频突发任务。\n\n验证：go test ./...、go vet ./...、PostgreSQL 跨 Store 集成测试、gofmt、bash -n、ShellCheck 及本地集群 provider-burst 验收通过；48/48 成功，无越限、重复提交、重复计费、重复回调或终态资源泄漏。
 2026-08-03 00:13:46 +08:00
wangbo a4046c2b81 perf(worker): 解耦准入调度与远端执行 
原因：线上 P24 同构验收确认两台香港 Worker 的全局容量为 48，但跨地域逐行准入事务每轮只能形成 8 个活跃租约，队列最老等待超过 15 分钟。\n\n影响：新增可配置的异步准入 dispatcher 角色；生产两地 API 负责准入和过期回收，Worker 仅执行 River job。当前主库同站点 API 可低延迟填满容量，主库切换后另一地 API 通过既有数据库锁安全接管；未配置环境变量时保持原 Worker 一体化行为。\n\n验证：Go 全量测试、go vet、gofmt、真实 PostgreSQL 1000 任务双进程回归、前端 lint/test/build、Kubernetes server-side dry-run、Compose、ShellCheck、cluster/manual release tests 全部通过。
 2026-08-01 23:24:30 +08:00
easyai 9c093974a1 fix(gateway): 修复 Qwen3.8 推理参数并增加上游自愈 
统一 Qwen3.8 固定思考、推理档位、预算互斥与温度下限规则，并覆盖 Chat Completions 和原生 Responses 请求。

新增安全参数纠正、有限重试和并发安全的进程内 LRU 学习；补充共享行为向量、httptest 回归与真实模型验收用例。

验证：go test ./... -count=1 通过，gofmt 检查通过；真实 Qwen3.8 流式、非流式及缓存重学习验收通过。
 2026-08-01 22:50:45 +08:00
wangbo 56a5176c92 perf(worker): 持久化准入快照提升队列吞吐 
原因：线上 P24 验收显示 Worker 在每轮准入前逐条恢复媒体、重算候选和查询 attempts，跨地域查询导致 48 个执行槽长期只能使用约 8 至 16 个。\n\n影响：任务首次排队时保存鉴权后的 admission scope 快照，Worker 单次批量读取并只刷新动态总容量；显式重新选路保留完整慢路径。验收模拟器改到非数据库专用 Worker 节点，运行期 85% 作为立即中止硬门禁，80% 继续作为容量认证目标。\n\n验证：Go 全量测试、go vet、govulncheck、真实 PostgreSQL 迁移与跨 Store 集成测试、ShellCheck、发布及验收脚本、OpenAPI、前端 lint/test/build、pnpm audit high、Compose 与 Kubernetes 渲染均通过。
 2026-08-01 21:25:54 +08:00
wangbo c89c56ca65 perf(worker): 以有界微批次提升准入吞吐 
原因：线上 P24 同构验收中，单任务同步复制提交与全局容量锁串行化，使两个 Worker 的 48 个执行槽只能维持约 10–14 个运行任务，最老等待超过 15 分钟。

影响：新增可配置的 1–32 条准入微批次，默认 8；租约、任务准入与唯一 River job 在一个有界事务内原子提交，并按确定顺序预锁任务和容量范围，避免整窗 48 条大事务和多 Dispatcher 死锁。并容忍 rebind 已被其他 Dispatcher 完成的幂等竞态。

验证：Go 全量测试、go vet、真实 PostgreSQL 跨 Store 集成测试、ShellCheck、迁移安全检查、OpenAPI、前端 lint/test/build、Compose/Kubernetes 渲染及人工发布脚本均通过。
 2026-08-01 20:26:47 +08:00
wangbo 92e328a575 fix(acceptance): 隔离容量压测并稳定数据库连接 
将协议模拟验收的供应商并发限额与 Worker 容量门禁分离，真实金丝雀继续保留生产限流。readyz 改用关键连接池并预热关键及 River 池，延长生产连接空闲周期，降低跨地域连接抖动。失败 Run 现在可以原子替换且失败报告记录任务数量，避免 validation 之间短暂放开正式流量。\n\n验证：Go 全量测试、go vet、PostgreSQL 集成测试、ShellCheck、迁移安全、发布脚本、pnpm lint/test/build、OpenAPI 无漂移均通过。
 2026-08-01 19:29:08 +08:00
wangbo edcbbd6a87 fix(worker): 拆分准入事务并收敛验收失败状态 
将批量准入改为每任务独立事务，避免 P24 压测时 48 条任务共享长事务造成 transactionid 锁潮与 Worker 槽位空转。失败验收在保持 validation 的同时清理未提交任务，并记录精确压力门禁原因。统一生产 0+2 Worker 拓扑、运行时 ConfigMap 与发布配置，补充镜像预检诊断和回归测试。\n\n验证：Go 全量测试、go vet、真实 PostgreSQL 48 任务集成测试、迁移安全检查、发布脚本测试、bash -n、ShellCheck、Compose 配置均通过。
 2026-08-01 18:23:00 +08:00
wangbo 215b6b607f fix(acceptance): 解除八任务准入瓶颈 
线上 P24 验收证明 Worker 注册容量为 48，但异步 admission 始终只有 8 条活跃租约。将单事务调度窗口覆盖当前 2 x P32 的 64 槽，避免多 Worker 在同一 FIFO 小批次上竞争形成隐性全局上限。\n\nGemini 流式请求补充可回放 GetBody 与精确 Content-Length，使带幂等键的 POST 遇到 HTTP/2 可重试传输错误时可安全重放；同时提前部署验收回调收集器，保证旧 Run side effects 能在接管前收口。\n\n已通过 Go 全量测试、go vet、gofmt、Shell bash -n、ShellCheck、验收与人工发布脚本测试、迁移安全检查，以及独立 PostgreSQL 48 条 admission/租约/River job 原子集成测试。
 2026-08-01 16:59:28 +08:00
wangbo 132cda35d8 fix(acceptance): 隔离控制面抖动与租约瞬态故障 
线上 P24 验收暴露出高频 kubectl exec 放大 K3s API 压力、门禁查询挤占关键连接池，以及 PostgreSQL 锁超时被误判为租约所有权丢失。

本次合并验收身份查询、在租约有效期内重试瞬态续期错误、修复人工审核残留 attempt，并增加滚动后 etcd 稳定窗口、节点直连指标和双站独立报告。

验证：Go 全量测试、go vet、聚焦 race、gofmt、迁移安全检查、bash -n、ShellCheck、manual release test。
 2026-08-01 01:51:44 +08:00
wangbo 015ff8ea6c fix(acceptance): 允许受信模拟源的媒体物化 
验收任务物化最终媒体时，仅允许访问 Acceptance Run 登记的协议模拟器精确 origin；其他私网、协议、端口及带 userinfo 的地址继续由 SSRF 防护拒绝。\n\n验证：Go 全量测试、go vet、gofmt 和 git diff --check 通过。
 2026-07-31 21:39:19 +08:00
wangbo add99e5421 fix(acceptance): 物化验收任务的最终媒体 
仅对已认证 Acceptance Run 强制下载并持久化 URL 型结果，确保集群外压测端能验证最终视频；普通生产任务继续遵循现有文件存储策略。压测器仅对 Gateway 自有地址做双入口重写，避免向第三方媒体域名泄露验收凭据。\n\n同时修复本地集群重复使用同一快照文件时的幂等复制失败。验证：Go 全量测试、go vet、gofmt、bash -n、ShellCheck 和 git diff --check 通过。
 2026-07-31 21:25:42 +08:00
wangbo 29a9b8c89f fix(acceptance): 使用可完整解码的 WebP 样本 
替换截断的 WebP 验收夹具，新增全量图片像素解码回归，并保留 6K 外部水化与三参考图归一化测试，避免协议模拟样本缺陷被误判为 Worker 运行故障。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check 通过。
 2026-07-31 21:11:50 +08:00
wangbo 29533537ec fix(worker): 限制大图归一化峰值内存 
6K 多参考图在 P24 下会并发进入高内存缩放并击穿 2 GiB Worker。新增独立可配置的图片归一化并发，生产默认 2，只约束解码、缩放和重编码阶段，不占用视频上游等待槽；缩放器改为内存稳定的近似双线性实现。\n\n验证：6K 到 6000x2400 转换、信号量串行化、Go 全量测试、gofmt、Kubernetes 客户端 dry-run。
 2026-07-31 20:54:11 +08:00
wangbo e05922b0f4 feat(acceptance): 建立同构验收与弹性容量体系 
实现本地三节点 K3s 同构环境、脱敏生产快照、Gemini 图片和多参考图视频协议模拟、统一验收报告及故障注入。\n\n新增 Worker 容量控制器、资源与连接预算、任务恢复保护，并将生产验收拆分为 validation 执行和人工 CAS 放量。\n\n验证包括 Go 全量测试、PostgreSQL HTTP 集成测试、go vet、OpenAPI、ShellCheck、前端检查、迁移及发布脚本测试。
 2026-07-31 18:02:24 +08:00
wangbo cae97b6f77 perf(worker): 缩短媒体完成链路 
生成媒体在启用直传 OSS 时绕过后端存储通道，异步任务持久化成功后不再在 Worker 内二次水化 Base64。\n\n将任务事件与回调 outbox 合并到同一事务，降低跨地域同步复制提交次数并消除事件已落库但回调未登记的崩溃窗口。文件通道健康遥测改为异步复制提交，避免非关键状态占用执行槽。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check、相对 447e7ed701 的迁移安全检查均通过。
 2026-07-31 10:15:53 +08:00
wangbo b0dac9f8ec fix(worker): 固定等待任务的准入候选 
双 Worker 会按动态运行态排序重复规划同一批 waiting 任务，导致候选绑定来回迁移并把同步事务消耗在 rebind 上。\n\n调度 waiting 任务时优先使用首次登记的候选；仅当候选不再可用或已不在合法候选集时才按现有顺序迁移。执行阶段的 admitted 候选固定逻辑保持不变。\n\n验证：新增 waiting 候选固定回归测试；Go 全量测试、go vet、gofmt 通过。
 2026-07-31 08:58:57 +08:00
wangbo 17433bf2da perf(worker): 持续批量填满异步执行槽 
异步准入通知在突发提交时会合并，原调度器每次只填充一个 8 任务批次，导致全局容量长期空闲并反向拖慢入口登记。\n\n收到通知或周期唤醒后连续拉取并提交批次，直到队列为空或全局执行容量真正饱和；保留每批 8 个的短事务边界。\n\n验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；go vet ./...；gofmt -l 无输出。
 2026-07-31 08:32:39 +08:00
wangbo d5b5d4b4cd perf(worker): 缩短异步批量填槽延迟 
将单次异步准入准备批次限制为 8 个任务，使双节点调度器以多个短事务批次渐进填满全局容量，避免准备 48 个媒体任务后才首次提交造成的长时间冷启动空槽。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过。
 2026-07-31 08:09:17 +08:00
wangbo 5dd7765ae3 perf(worker): 批量填充异步执行槽 
跨地域同步复制下逐任务准入会为每个 River Job 支付一次事务提交 RTT，导致 P24 实际只能维持少量运行任务。调度器现在按全局容量窗口准备 FIFO 批次，在同一 PostgreSQL 事务内逐项校验队首、创建租约并插入唯一 River Job，一次提交即可填满可用槽；任一 Hook 失败时整批原子回滚。\n\n验收压力采样同时排除正在终止的 Ready Pod，避免滚动切换期间误连已移除容器。\n\n验证：真实 PostgreSQL 批量提交及整批回滚集成测试、Go 全量测试、go vet、runner/store race、gofmt、bash -n、ShellCheck、迁移安全检查通过。
 2026-07-31 07:59:57 +08:00
wangbo b625edcd71 fix(worker): 收敛异步重准入到调度器 
准入租约失效时 Worker 仅释放执行准备并短暂让出 River 槽位，由异步调度器统一恢复 waiting 或无有效租约的任务，避免多 Worker 同时争抢全局容量锁并放大数据库同步提交等待。\n\n调度扫描覆盖到期且可运行的 scheduled/available/retryable River 任务，但跳过正在执行或仍持有有效准入租约的任务；新增 PostgreSQL/River 状态集成回归测试。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过；专用数据库集成用例因本机未配置 AI_GATEWAY_TEST_DATABASE_URL 明确跳过。
 2026-07-31 07:37:37 +08:00
wangbo d1b482c2f3 fix(worker): 容量饱和后停止重复准入扫描 
双 Worker 每秒遍历全部 waiting 任务，在全局执行槽已满时仍重复探测，导致 River 执行协程长时间等待同一 worker_capacity 进程锁。

异步 FIFO 头部未准入时立即结束本轮扫描，等待租约释放通知后再继续；任务级错误仍跳过并处理后续任务。

验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
 2026-07-31 07:23:46 +08:00
wangbo bfd1257db0 fix(worker): 统一异步执行准入范围 
Worker 执行阶段重建准入范围时遗漏 worker_capacity，导致已预留 River 槽的任务再次同步等待准入并占住执行槽。

调度、执行和候选切换统一复用 taskAdmissionScopes，确保异步任务始终携带同一全局 Worker 容量范围。

验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
 2026-07-31 07:15:44 +08:00
wangbo 238798e47c fix(worker): 固定异步准入候选避免执行槽空转 
异步任务在调度器准入后，Worker 会再次按实时负载排序候选；排序变化会让已准入任务退回 waiting，同时继续占用 River 执行槽，导致高并发吞吐塌陷。

执行前复用已持久化的 admitted 候选并稳定置顶，候选失效时仍保留原有重选路径；增加候选固定与非准入场景单测。

验证：Go 全量测试、runner race、go vet、OpenAPI 生成一致性、迁移安全检查通过。
 2026-07-31 07:06:06 +08:00
wangbo 4af86b22ee fix(worker): 将 Gemini 同步请求交由异步队列执行 
将非流式 Gemini generateContent 改为 River Worker 执行，API 通过批量状态查询等待完成，避免高并发同步请求耗尽 API 数据库连接池。\n\n生成图片在持久化时保存带哈希的资产引用，响应恢复时下载并校验后重建 Base64，数据库不保存媒体原文。请求体物化增加前置内存门禁，并扩展双 API/Worker PostgreSQL 压力测试。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；64 与 256 请求双角色异步 Gemini 压力测试。
 2026-07-31 05:49:45 +08:00
wangbo 352e23e099 perf(media): 生产媒体直传阿里云 OSS 
生产同构验收确认 server_main_openapi 上传通道在媒体高并发下产生 381 个 502，并将已创建任务的 p95 拉高到 172 秒。\n\n为 request_asset 与 image_result 增加环境配置控制的阿里云 OSS 直传，保留普通上传原通道；使用 Kubernetes Secret 注入凭据，并对签名、重试、场景隔离和生产配置校验增加测试。\n\n验证：Go 全量测试、go vet、OpenAPI、迁移安全检查、Kustomize/Compose 渲染、gofmt 与 git diff --check 均通过；真实 OSS PUT/CDN 读取探针通过且对象已清理。
 2026-07-31 05:20:27 +08:00
wangbo e0f841e8fb fix(admission): 按候选唤醒同步队列头 
同步准入释放容量后，分别唤醒每个独立平台模型队列的 FIFO 队头；只有任务实际绑定用户组时才同时约束用户组队头，避免一个已饱和候选阻塞其他候选补位。\n\n调度器单次最多处理 256 个真实队头，不唤醒整个等待队列。新增 PostgreSQL 集成测试覆盖无用户组的双候选并行唤醒，以及共享用户组下仍保持组级 FIFO。\n\n验证：gofmt；Store/Runner 聚焦测试；一次性 PostgreSQL 集成测试；git diff --check。
 2026-07-31 02:18:22 +08:00
wangbo 2bfeb3e179 fix(acceptance): 为高并发验收启用有界排队 
生产同构 Gemini 千请求在真实候选并发饱和后因 queueing disabled 返回 429，同时单台压测机建立千条 WAN TCP 产生连接层 reset。仅对 acceptance 与 acceptance_canary 覆盖为 10000 条、最长 15 分钟的有界等待队列，保留候选原始并发和 RPM/TPM 上限；压测传输强制 HTTP/2 复用连接，避免单源连接风暴。正式 production 策略不变。\n\n验证：acceptance-load 与 runner 定向测试通过，新增生产策略不变和验收队列边界单测；gofmt、bash -n、ShellCheck、git diff --check 通过。
 2026-07-31 01:34:16 +08:00
wangbo 3053ba4925 feat(acceptance): 增加生产同构媒体压力验收模式 
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。

新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。

验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
 2026-07-30 23:06:19 +08:00
wangbo f33d6d64e0 fix(queue): 回收失效任务并阻止不确定提交重放 
Worker 进程心跳不能证明单个 River job goroutine 仍存活，改以任务执行租约作为回收所有权栅栏。\n\n排队任务若上一次 attempt 在租约中断时处于 submitting 或 response_received，则转入人工复核并生成 release 记录，不再重新提交上游；明确被上游拒绝的响应仍允许重试。\n\n验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 下相关 store 与 River 集成测试通过。
 2026-07-30 19:15:19 +08:00
wangbo 38f87b6970 fix(queue): 防止过期执行占位阻塞与重复提交 
队列恢复后，仍在运行标记中的 River job 可能保留 waiting admission，形成全局 FIFO 队头阻塞；同时旧执行在租约被接管后仍可能创建 attempt 或切换到 submitting。

新增 stale admission 自动让出机制，并用当前 execution token 对 attempt 创建和上游提交状态切换做 fencing。任务、River job 和结算状态均不在让出流程中改写。

验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 集成测试覆盖 stale admission 让出与旧 token 提交拦截。
 2026-07-30 18:25:00 +08:00
wangbo fa818e9ebf fix(queue): 重新调度终态 River 任务 
等待异步准入的任务只跳过仍处于活跃状态的 River Job；missing 或 terminal Job 交由准入调度器重新创建，避免非空 river_job_id 永久阻断旧任务。\n\n通用 River 恢复排除等待准入任务，消除双恢复循环与误导日志；事务回滚继续使用独立有界上下文。\n\n验证：真实 PostgreSQL 下异步 Worker 准入验收和跨 Store 队列集成测试均通过。
 2026-07-30 17:42:33 +08:00
wangbo 6bab0f0749 fix(worker): 防止事务泄漏并恢复滞留队列 
为 PostgreSQL 连接增加可配置的事务空闲与锁等待超时，并在请求取消或 Worker 退出后使用独立有界上下文回滚事务。\n\n恢复过期任务时按批次使用 SKIP LOCKED，周期重建缺失或终态 River Job；锁等待超时只在确认尚未提交上游时安全重排，避免重复执行和重复结算。\n\n验证：完整 Go 测试、go vet、生产 Kustomize 渲染、gofmt 与 git diff --check 均通过。
 2026-07-30 17:27:11 +08:00
wangbo 3aa78d3e5c perf(worker): 按实例内存上限扩展异步容量 
将策略推导出的集群目标与单 Worker 内存安全上限分离，避免失活实例的全部容量转移到单个 2 GiB Pod。

生产环境单实例上限和媒体物化并发设为 24；两实例正常时总容量由 16 提升至 48，后续可通过增加 Worker 节点继续扩展。新增 0093 迁移保存实例容量上限，并兼容滚动发布中的旧实例。

风险：更高媒体并发会增加 Worker 和节点内存压力，保留单实例 24 的硬边界并由持续监控观察 RSS、OOM、队列与节点余量。

验证：go test ./... -count=1；go vet ./...；真实 PostgreSQL 分配与故障转移测试；迁移安全检查；kubectl kustomize；gofmt -l；git diff --check。
 2026-07-30 15:08:54 +08:00
wangbo ea58d21d03 perf(queue): 限制大媒体任务内存并消除准入惊群 
将同步与异步非文本任务的准入唤醒改为按任务和全局队首推进，批量续租等待者，避免大量请求同时争抢 advisory lock 和数据库连接。

对 Base64 请求解析、素材解码、上游媒体执行和结果物化增加分层并发限制，复用请求素材并释放重复 Gemini wire 数据；生产 API 默认入口解析并发 16，媒体物化并发 8。

新增 1000 个同步 Gemini 图像编辑请求的模拟上游压力验收，10 MiB 输入和输出下全部成功，Heap 峰值增长约 2.58 GiB，并验证共享上传哈希、单次 attempt 与本地零落盘。

验证：go test ./... -count=1；go vet ./...；gofmt -l 无输出；kubectl kustomize deploy/kubernetes/production；10 MiB Gemini Base64 千任务压力测试通过。
 2026-07-30 13:13:32 +08:00
wangbo fd3b6bf042 fix(worker): 增强队列启动与租约到期恢复 
River 初始化遇到瞬时数据库超时时最多重试三次，并确保启动异常时先取消后台 LISTEN 和 Worker 上下文再关闭连接池，避免不就绪 Pod 卡在退出路径。Worker 维护循环每 15 秒执行幂等运行时恢复，使旧实例中断任务在执行租约到期后自动重排并继续触发孤儿 Job 救援。验证通过完整 Go 测试、go vet、竞态检查和迁移安全检查。
 2026-07-29 23:55:49 +08:00
wangbo f3dd7cd262 fix(queue): 自动救援失活 Worker 遗留任务 
新增基于任务状态、执行租约和 Worker 心跳的孤儿 River Job 精确识别，每 15 秒将确认失活的 Job 恢复为可重试，避免等待 River 一小时通用救援窗口。运行时恢复同步清除中断及终态任务的 admission、执行令牌和并发租约，防止状态残留污染队列指标。正常运行中的长任务仍由 running 状态和活跃心跳保护。验证通过完整 Go 测试、go vet、竞态检查、迁移安全检查和 PostgreSQL 18 集成测试。
 2026-07-29 23:44:29 +08:00
wangbo 91451b3c86 fix(cluster): 修复身份事务阻塞与 Worker 容量抖动 
将身份协调和安全事件心跳改为 PostgreSQL 单 Leader 执行，并从独立 Worker 进程中移除身份运行时，避免多副本重复写同一状态。

为安全事件事务增加锁等待、空闲事务超时及独立回滚上下文；Worker 需连续丢失六次心跳后才判定失效，降低跨节点抖动导致的容量反复扩缩。

验证：Go 全量测试、go vet、Race 聚焦测试、PostgreSQL 18 Leader/安全事件/Worker 分配集成测试及迁移测试通过。
 2026-07-29 23:04:41 +08:00
wangbo 3886048e0f fix(gemini): 移除空返图占位并暴露失败原因 
Gemini 图片响应未包含可提取资源时，不再返回伪造占位图，改为非重试失败并保留安全拦截、候选结束状态和上游错误等结构化诊断。\n\n同步将诊断写入 HTTP 错误、任务结果、attempt 指标和日志，确保任务失败时不结算，并补充单元及 PostgreSQL 验收测试。\n\n验证：gofmt、go test ./... -count=1、go vet ./...、迁移安全检查、pnpm openapi。
 2026-07-29 19:50:43 +08:00