wangbo
edcbbd6a87
fix(worker): 拆分准入事务并收敛验收失败状态
...
将批量准入改为每任务独立事务，避免 P24 压测时 48 条任务共享长事务造成 transactionid 锁潮与 Worker 槽位空转。失败验收在保持 validation 的同时清理未提交任务，并记录精确压力门禁原因。统一生产 0+2 Worker 拓扑、运行时 ConfigMap 与发布配置，补充镜像预检诊断和回归测试。\n\n验证：Go 全量测试、go vet、真实 PostgreSQL 48 任务集成测试、迁移安全检查、发布脚本测试、bash -n、ShellCheck、Compose 配置均通过。
2026-08-01 18:23:00 +08:00
wangbo
215b6b607f
fix(acceptance): 解除八任务准入瓶颈
...
线上 P24 验收证明 Worker 注册容量为 48，但异步 admission 始终只有 8 条活跃租约。将单事务调度窗口覆盖当前 2 x P32 的 64 槽，避免多 Worker 在同一 FIFO 小批次上竞争形成隐性全局上限。\n\nGemini 流式请求补充可回放 GetBody 与精确 Content-Length，使带幂等键的 POST 遇到 HTTP/2 可重试传输错误时可安全重放；同时提前部署验收回调收集器，保证旧 Run side effects 能在接管前收口。\n\n已通过 Go 全量测试、go vet、gofmt、Shell bash -n、ShellCheck、验收与人工发布脚本测试、迁移安全检查，以及独立 PostgreSQL 48 条 admission/租约/River job 原子集成测试。
2026-08-01 16:59:28 +08:00
wangbo
8749f38eb3
fix(acceptance): 完善跨版本验收状态收口
...
生产流量处于旧失败验收 Run 的 validation 状态时，允许新验收接管任意已验证的 Git 祖先 release，而非仅允许 release manifest 的直接 base；仍保留 Run 状态、镜像 digest、revision 与当前集群 release CAS 校验。\n\n允许 pending Run 在激活前异常时直接标记为 failed，避免验收工具在 CAS 或网络错误后遗留无法结束的 Run。新增祖先关系脚本测试及临时 PostgreSQL 集成验证。\n\n验证：Go 全量测试、go vet、临时 PostgreSQL 集成测试、bash -n、ShellCheck、manual-release-test。
2026-08-01 13:59:37 +08:00
wangbo
80801b7bbb
fix(capacity): 允许显式禁用无节点站点
...
当 Worker Deployment 为零副本且站点没有 eligible Worker 节点时返回零容量状态，避免 min/max=0 的禁用站点令容量控制器持续 NotReady；非零副本仍保持失败关闭。\n\n验证：容量控制器单测、Go 全量测试、go vet、gofmt、迁移安全检查和人工发布脚本测试。
2026-08-01 13:02:55 +08:00
wangbo
53589fe3ef
fix(cluster): 以宁波专用节点替换深圳 Worker
...
移除深圳节点及中继拓扑，新增第二台宁波 K3s agent 的全互联 WireGuard 接入和严格 UFW 门禁。\n\nWorker Deployment 与容量控制器仅选择 easyai.io/worker=true 节点，使原宁波混部节点退出 Worker 资源预算，生产基线恢复为宁波专用节点与香港节点各一实例。\n\n已通过 Go 全量测试、go vet、gofmt、迁移安全检查、bash -n、ShellCheck、发布脚本测试和 Kubernetes 清单渲染。
2026-08-01 10:47:01 +08:00
wangbo
132cda35d8
fix(acceptance): 隔离控制面抖动与租约瞬态故障
...
线上 P24 验收暴露出高频 kubectl exec 放大 K3s API 压力、门禁查询挤占关键连接池，以及 PostgreSQL 锁超时被误判为租约所有权丢失。
本次合并验收身份查询、在租约有效期内重试瞬态续期错误、修复人工审核残留 attempt，并增加滚动后 etcd 稳定窗口、节点直连指标和双站独立报告。
验证：Go 全量测试、go vet、聚焦 race、gofmt、迁移安全检查、bash -n、ShellCheck、manual release test。
2026-08-01 01:51:44 +08:00
wangbo
b6ef0435ab
fix(controller): 隔离无关媒体凭据校验
...
容量控制器只负责读取容量状态和调整 Worker 副本，按最小权限不注入 OSS 或供应商凭据；全局媒体配置校验却导致控制器在生产启动时 CrashLoop。
容量控制器角色现在跳过不会使用的直传 OSS 校验，API/Worker 仍保持原校验；发布先以零副本应用目标状态，再用精确镜像和同构配置运行 Ready 预检，成功后才扩到双副本；同时补齐迁移 Job 的 restricted PodSecurity 配置。
验证：Go 全量测试、go vet、角色回归测试、bash -n、ShellCheck、人工发布测试、生产 server-side dry-run。
2026-07-31 23:52:22 +08:00
wangbo
a95184b5b6
fix(acceptance): 阻断本地控制面漂移污染验收
...
本地 K3s 节点此前在 Kubelet 中登记为宿主机资源，负载可挤压 etcd 并在 server 重启后继续污染同一 Run。现在为三节点设置真实可调度预算、独立 etcd/数据卷和锁定依赖镜像，并持续核对 server 与 API/etcd 健康。\n\n每次验收生成独立 Run ID，报告使用独占或原子写入，负载错误记录具体阶段；数据库鉴权不可用返回带 Retry-After 的 503，避免基础设施故障被误报为 401。\n\n验证：Go 全量测试、go vet、gofmt、OpenAPI、bash -n、ShellCheck、报告测试和 k3d 配置解析均通过。
2026-07-31 23:07:19 +08:00
wangbo
015ff8ea6c
fix(acceptance): 允许受信模拟源的媒体物化
...
验收任务物化最终媒体时，仅允许访问 Acceptance Run 登记的协议模拟器精确 origin；其他私网、协议、端口及带 userinfo 的地址继续由 SSRF 防护拒绝。\n\n验证：Go 全量测试、go vet、gofmt 和 git diff --check 通过。
2026-07-31 21:39:19 +08:00
wangbo
add99e5421
fix(acceptance): 物化验收任务的最终媒体
...
仅对已认证 Acceptance Run 强制下载并持久化 URL 型结果，确保集群外压测端能验证最终视频；普通生产任务继续遵循现有文件存储策略。压测器仅对 Gateway 自有地址做双入口重写，避免向第三方媒体域名泄露验收凭据。\n\n同时修复本地集群重复使用同一快照文件时的幂等复制失败。验证：Go 全量测试、go vet、gofmt、bash -n、ShellCheck 和 git diff --check 通过。
2026-07-31 21:25:42 +08:00
wangbo
29a9b8c89f
fix(acceptance): 使用可完整解码的 WebP 样本
...
替换截断的 WebP 验收夹具，新增全量图片像素解码回归，并保留 6K 外部水化与三参考图归一化测试，避免协议模拟样本缺陷被误判为 Worker 运行故障。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check 通过。
2026-07-31 21:11:50 +08:00
wangbo
29533537ec
fix(worker): 限制大图归一化峰值内存
...
6K 多参考图在 P24 下会并发进入高内存缩放并击穿 2 GiB Worker。新增独立可配置的图片归一化并发，生产默认 2，只约束解码、缩放和重编码阶段，不占用视频上游等待槽；缩放器改为内存稳定的近似双线性实现。\n\n验证：6K 到 6000x2400 转换、信号量串行化、Go 全量测试、gofmt、Kubernetes 客户端 dry-run。
2026-07-31 20:54:11 +08:00
wangbo
f190af00be
fix(acceptance): 修复快照迁移重放与派发死锁
...
本地同构验收在全量迁移后导入生产快照，导致本次发布的数据迁移被旧能力覆盖；增加仅允许严格本地集群标记启用的导入后迁移重放，并新增幂等 Seedance 约束校准。\n\n批量异步派发改为在事务开始按全局顺序预锁全部任务与容量作用域，同时对 PostgreSQL 死锁和序列化失败做退避重试，避免双 API 重叠批次形成环形等待。\n\n验证：Go 全量测试、gofmt、bash -n、ShellCheck、迁移安全检查。
2026-07-31 20:39:42 +08:00
wangbo
bfdabd3853
fix(acceptance): 校准 Seedance 图片转换验收
...
按 Volces 官方输入边界补齐 Seedance 2.0 候选能力，将错误的合法 4K 转换样本替换为真实越界图片，并让协议模拟器校验物化后的 Base64 data URL。\n\n验证：Go 全量测试、迁移安全检查、gofmt。
2026-07-31 20:07:28 +08:00
wangbo
e05922b0f4
feat(acceptance): 建立同构验收与弹性容量体系
...
实现本地三节点 K3s 同构环境、脱敏生产快照、Gemini 图片和多参考图视频协议模拟、统一验收报告及故障注入。\n\n新增 Worker 容量控制器、资源与连接预算、任务恢复保护，并将生产验收拆分为 validation 执行和人工 CAS 放量。\n\n验证包括 Go 全量测试、PostgreSQL HTTP 集成测试、go vet、OpenAPI、ShellCheck、前端检查、迁移及发布脚本测试。
2026-07-31 18:02:24 +08:00
chengcheng
59f0817938
feat(identity): 收敛 AI Gateway 统一认证入口
...
Web 登录页合并为单一统一认证入口，未指定上下文时由认证中心在登录后决策。继续接受旧客户端显式传入 platform 或 tenant，并保持回调上下文及 tenant_hint 的绑定校验。同步更新 OpenAPI 产物。\n\n验证：Go 全量测试与 go vet 通过；Web lint、141 项 Vitest 和生产构建通过；本地 platform.admin 登录及管理工作台访问通过。
2026-07-31 15:28:12 +08:00
chengcheng
c0296dbf06
fix(identity): 支持平台用户显式登录 AI Gateway
...
修复多租户身份配置将所有人类登录都强制解释为租户上下文的问题。Web 现在提供平台与租户两个受控入口，API 严格绑定 context_type、tid、issuer、application 和 subject，并为平台用户建立独立本地投影与可刷新会话。\n\n风险：新增会话身份列保持旧会话可读，新会话一律使用严格约束；未改变租户数据隔离和 API Key 行为。\n\n验证：Go 全量测试与 go vet 通过；PostgreSQL 平台投影、会话和安全事件集成测试通过；前端 lint、141 项测试与生产 build 通过；OpenAPI 生成和迁移安全测试通过。
2026-07-31 14:24:40 +08:00
wangbo
cae97b6f77
perf(worker): 缩短媒体完成链路
...
生成媒体在启用直传 OSS 时绕过后端存储通道，异步任务持久化成功后不再在 Worker 内二次水化 Base64。\n\n将任务事件与回调 outbox 合并到同一事务，降低跨地域同步复制提交次数并消除事件已落库但回调未登记的崩溃窗口。文件通道健康遥测改为异步复制提交，避免非关键状态占用执行槽。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check、相对 447e7ed701
2026-07-31 10:15:53 +08:00
wangbo
447e7ed701
perf(worker): 提交后发送准入唤醒通知
...
将准入登记、派发、释放、恢复和验收清理中的 PostgreSQL NOTIFY 从同步复制业务事务移到提交后的独立异步提交事务，避免数据库对象锁串行阻塞跨城事务。通知继续作为有轮询兜底的限时提示，不改变任务状态、租约和账务的同步提交语义。
验证：Go 全量测试、go vet、迁移安全检查、gofmt、diff check 通过；新增集成回归确认 NOTIFY 对象锁存在时准入状态仍先提交可见。
2026-07-31 09:56:47 +08:00
wangbo
387bf5842d
perf(worker): 隔离异步等待登记与执行锁
...
为异步等待队列登记增加独立的进程内和 PostgreSQL advisory lock 域，使严格队列上限校验不再等待 Worker 执行槽事务的跨城同步提交。任务级锁保持不变，调度期间 active 与 waiting 总量守恒。\n\n新增 PostgreSQL 集成测试，验证执行 scope 锁被占用时等待登记仍可独立完成。\n\n验证：go vet ./...；go test ./... -count=1；隔离 PostgreSQL 集成测试；迁移安全检查；gofmt；git diff --check。
2026-07-31 09:29:01 +08:00
wangbo
11ec057e6a
perf(worker): 消除运行态计数跨城热行阻塞
...
将仅用于候选负载均衡的 runtime_client_states 分配和释放写入改为事务级异步提交，避免同步复制期间持续持有单候选热行锁。\n\n运行态计数仍由本地 WAL 持久化，并在运行时恢复中按 running attempt 重建；任务、账务、租约和状态提交不受影响。新增 PostgreSQL 并发与恢复集成测试。\n\n验证：go vet ./...；go test ./... -count=1；64 并发 PostgreSQL 集成测试；迁移安全检查；gofmt；git diff --check。
2026-07-31 09:14:13 +08:00
wangbo
b0dac9f8ec
fix(worker): 固定等待任务的准入候选
...
双 Worker 会按动态运行态排序重复规划同一批 waiting 任务，导致候选绑定来回迁移并把同步事务消耗在 rebind 上。\n\n调度 waiting 任务时优先使用首次登记的候选；仅当候选不再可用或已不在合法候选集时才按现有顺序迁移。执行阶段的 admitted 候选固定逻辑保持不变。\n\n验证：新增 waiting 候选固定回归测试；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:58:57 +08:00
wangbo
1e12522f0c
perf(worker): 解耦异步等待登记与跨城提交
...
媒体突发中的等待准入行是已同步持久化任务的可恢复派生状态，却逐条等待跨城同步提交并串行占用全局容量锁。\n\n仅对异步等待登记事务设置 synchronous_commit=off；任务实体、素材、执行准入、River job、租约、状态与账务继续同步提交。主备切换若命中极小窗口，由既有 queued-task 恢复器重建等待登记。\n\n验证：临时 PostgreSQL 18 跨 Store 分布式准入集成测试通过；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:49:37 +08:00
wangbo
a34a508140
perf(worker): 公平调度跨节点异步准入锁
...
持续突发提交会通过 pg_try_advisory_xact_lock 反复抢占全局容量锁，使 Worker 补槽器在首批之后饥饿。\n\n跨进程锁改为 PostgreSQL 公平等待；进程内锁仍保证每个 API 或 Worker 最多一条连接参与等待，30 秒 lock_timeout 会回到原有重试路径，60 秒空闲事务超时继续处理失主会话。\n\n验证：临时 PostgreSQL 18 上 64 并发锁竞争峰值连接不超过 2；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:40:54 +08:00
wangbo
17433bf2da
perf(worker): 持续批量填满异步执行槽
...
异步准入通知在突发提交时会合并，原调度器每次只填充一个 8 任务批次，导致全局容量长期空闲并反向拖慢入口登记。\n\n收到通知或周期唤醒后连续拉取并提交批次，直到队列为空或全局执行容量真正饱和；保留每批 8 个的短事务边界。\n\n验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；go vet ./...；gofmt -l 无输出。
2026-07-31 08:32:39 +08:00
wangbo
d5b5d4b4cd
perf(worker): 缩短异步批量填槽延迟
...
将单次异步准入准备批次限制为 8 个任务，使双节点调度器以多个短事务批次渐进填满全局容量，避免准备 48 个媒体任务后才首次提交造成的长时间冷启动空槽。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过。
2026-07-31 08:09:17 +08:00
wangbo
5dd7765ae3
perf(worker): 批量填充异步执行槽
...
跨地域同步复制下逐任务准入会为每个 River Job 支付一次事务提交 RTT，导致 P24 实际只能维持少量运行任务。调度器现在按全局容量窗口准备 FIFO 批次，在同一 PostgreSQL 事务内逐项校验队首、创建租约并插入唯一 River Job，一次提交即可填满可用槽；任一 Hook 失败时整批原子回滚。\n\n验收压力采样同时排除正在终止的 Ready Pod，避免滚动切换期间误连已移除容器。\n\n验证：真实 PostgreSQL 批量提交及整批回滚集成测试、Go 全量测试、go vet、runner/store race、gofmt、bash -n、ShellCheck、迁移安全检查通过。
2026-07-31 07:59:57 +08:00
wangbo
14d13ad3a7
fix(worker): 隔离任务创建与队列恢复窗口
...
高媒体并发下，任务创建后的请求恢复和候选准入可能持续数十秒；通用 River 恢复扫描会在准入记录落库前误把新任务当成崩溃遗留任务，提前创建 Job 并占满 Worker 执行槽。\n\n为无活动 River Job 的通用兜底恢复增加 5 分钟新任务保护窗。正常提交、准入调度以及已有 River Job 的 Worker 强杀恢复保持原路径；新增 PostgreSQL 集成回归，验证新任务不被抢占且超过保护窗后仍可恢复。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过。
2026-07-31 07:46:47 +08:00
wangbo
b625edcd71
fix(worker): 收敛异步重准入到调度器
...
准入租约失效时 Worker 仅释放执行准备并短暂让出 River 槽位，由异步调度器统一恢复 waiting 或无有效租约的任务，避免多 Worker 同时争抢全局容量锁并放大数据库同步提交等待。\n\n调度扫描覆盖到期且可运行的 scheduled/available/retryable River 任务，但跳过正在执行或仍持有有效准入租约的任务；新增 PostgreSQL/River 状态集成回归测试。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过；专用数据库集成用例因本机未配置 AI_GATEWAY_TEST_DATABASE_URL 明确跳过。
2026-07-31 07:37:37 +08:00
wangbo
d1b482c2f3
fix(worker): 容量饱和后停止重复准入扫描
...
双 Worker 每秒遍历全部 waiting 任务，在全局执行槽已满时仍重复探测，导致 River 执行协程长时间等待同一 worker_capacity 进程锁。
异步 FIFO 头部未准入时立即结束本轮扫描，等待租约释放通知后再继续；任务级错误仍跳过并处理后续任务。
验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
2026-07-31 07:23:46 +08:00
wangbo
bfd1257db0
fix(worker): 统一异步执行准入范围
...
Worker 执行阶段重建准入范围时遗漏 worker_capacity，导致已预留 River 槽的任务再次同步等待准入并占住执行槽。
调度、执行和候选切换统一复用 taskAdmissionScopes，确保异步任务始终携带同一全局 Worker 容量范围。
验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
2026-07-31 07:15:44 +08:00
wangbo
238798e47c
fix(worker): 固定异步准入候选避免执行槽空转
...
异步任务在调度器准入后，Worker 会再次按实时负载排序候选；排序变化会让已准入任务退回 waiting，同时继续占用 River 执行槽，导致高并发吞吐塌陷。
执行前复用已持久化的 admitted 候选并稳定置顶，候选失效时仍保留原有重选路径；增加候选固定与非准入场景单测。
验证：Go 全量测试、runner race、go vet、OpenAPI 生成一致性、迁移安全检查通过。
2026-07-31 07:06:06 +08:00
wangbo
3d9ae74b87
fix(admission): 避免高并发准入锁占满连接池
...
将同进程相同准入键的请求先在内存中串行化，跨节点使用 pg_try_advisory_xact_lock 非阻塞竞争并在事务外退避，避免等待 advisory lock 时长期占用 PostgreSQL 连接。\n\n新增 64 路竞争回归测试，验证被占用锁下连接池峰值仅保留持锁者和单个尝试者；256 路 Gemini Base64 端到端压力通过，advisory wait 峰值为 0。
2026-07-31 06:31:24 +08:00
wangbo
4fa44f4c41
fix(admission): 限制媒体任务准入锁等待并发
...
媒体请求从认证、任务创建到异步准入登记共用可配置的请求并发令牌，完成登记后立即释放。这样仍会尽早丢弃 Base64 正文，但不会让高并发请求各占一个 PostgreSQL 连接等待 advisory lock。\n\n扩展 Gemini 双角色压力测试，使用生产同档 API/Worker 连接池并记录数据库连接与 advisory lock 峰值。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；256 个 256 KiB 异步 Gemini 请求全部通过，连接峰值 45、锁等待峰值 14。
2026-07-31 06:05:54 +08:00
wangbo
4af86b22ee
fix(worker): 将 Gemini 同步请求交由异步队列执行
...
将非流式 Gemini generateContent 改为 River Worker 执行，API 通过批量状态查询等待完成，避免高并发同步请求耗尽 API 数据库连接池。\n\n生成图片在持久化时保存带哈希的资产引用，响应恢复时下载并校验后重建 Base64，数据库不保存媒体原文。请求体物化增加前置内存门禁，并扩展双 API/Worker PostgreSQL 压力测试。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；64 与 256 请求双角色异步 Gemini 压力测试。
2026-07-31 05:49:45 +08:00
wangbo
352e23e099
perf(media): 生产媒体直传阿里云 OSS
...
生产同构验收确认 server_main_openapi 上传通道在媒体高并发下产生 381 个 502，并将已创建任务的 p95 拉高到 172 秒。\n\n为 request_asset 与 image_result 增加环境配置控制的阿里云 OSS 直传，保留普通上传原通道；使用 Kubernetes Secret 注入凭据，并对签名、重试、场景隔离和生产配置校验增加测试。\n\n验证：Go 全量测试、go vet、OpenAPI、迁移安全检查、Kustomize/Compose 渲染、gofmt 与 git diff --check 均通过；真实 OSS PUT/CDN 读取探针通过且对象已清理。
2026-07-31 05:20:27 +08:00
wangbo
262090db7b
perf(acceptance): 使用多钱包身份分片模拟并发
...
单一验收钱包会把预留和结算串行化，掩盖双节点 Worker 的真实吞吐。验收现在幂等准备 32 个隔离身份和钱包，按请求轮询 API Key，并在 Run 配置中登记允许的 Key/User 身份对；密钥仅经 stdin 传给集群内压测进程。\n\n仍保留真实账务、候选权限、回调、重复扣费和强杀恢复校验。\n\n验证：Go 全量测试、临时 PostgreSQL 集成测试、go vet、OpenAPI 生成、迁移安全检查、bash -n、ShellCheck。
2026-07-31 04:25:09 +08:00
wangbo
add80f781e
perf(wallet): 避免同钱包预留占满数据库池
...
千并发验收的 pg_stat_activity 显示大量事务锁等待集中在同一验收钱包，等待行锁的请求持续占用 API Pool，导致 canceled acquire 和排队增长。
在每个 Store 内增加 256 槽钱包预留分片锁，同一钱包先在进程内串行再申请数据库连接；跨 API 节点仍由 PostgreSQL 行锁保证余额与幂等正确性。
验证：Go 全量测试、临时 PostgreSQL 并发账务集成测试、gofmt 和 git diff --check 通过。
2026-07-31 03:55:22 +08:00
wangbo
36546bd5c4
perf(postgres): 回收突发连接并等待验收副作用
...
失败 Run 的未提交任务已取消，但退款 outbox 尚未完成时下一轮会继承 API 连接高水位和 canceled acquire 增量，污染容量验收。
新增 AI_GATEWAY_DATABASE_MAX_CONN_IDLE_SECONDS，生产配置 30 秒回收突发空闲连接；验收中止后等待旧任务、退款、回调和数据库连接全部收敛后才允许新负载启动。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:46:41 +08:00
wangbo
2529679b67
perf(postgres): 分离 API 池并降低连接预热
...
生产同构千并发请求在干净队列上复现 API Pool 31/32、idle=1 且 canceled acquire 持续增长，Worker Pool 仅使用少量连接，确认瓶颈位于 API 数据库连接预算而非 Worker 执行槽。
新增可配置的 AI_GATEWAY_DATABASE_MIN_IDLE_CONNS，生产仅预热 4 条连接；API Pool 独立固定为 48，Worker Pool 继续跟随 P24/P28/P32 的 32/36/40 档位。发布工具、Kubernetes 清单、验收门禁和文档同步更新。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:28:43 +08:00
wangbo
2606cc8223
fix(acceptance): 清理中止验收的未提交任务
...
验收失败后，排队及尚未提交上游的任务会继续占用队列与 API 数据库连接池，导致下一轮容量测试被历史负载污染。
中止验收时仅取消确认未提交上游的任务，删除其未提交 attempt 与准入记录，释放租约并生成幂等退款事件；提交中或已收到上游响应的任务继续自然收敛。新建验收前也会清理历史失败 Run 的安全遗留任务，并等待其余任务终态。
验证：Go 全量测试通过；临时 PostgreSQL 集成测试覆盖排队、运行未提交、提交中与退款事件；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 03:16:38 +08:00
wangbo
e0f841e8fb
fix(admission): 按候选唤醒同步队列头
...
同步准入释放容量后，分别唤醒每个独立平台模型队列的 FIFO 队头；只有任务实际绑定用户组时才同时约束用户组队头，避免一个已饱和候选阻塞其他候选补位。\n\n调度器单次最多处理 256 个真实队头，不唤醒整个等待队列。新增 PostgreSQL 集成测试覆盖无用户组的双候选并行唤醒，以及共享用户组下仍保持组级 FIFO。\n\n验证：gofmt；Store/Runner 聚焦测试；一次性 PostgreSQL 集成测试；git diff --check。
2026-07-31 02:18:22 +08:00
wangbo
2bfeb3e179
fix(acceptance): 为高并发验收启用有界排队
...
生产同构 Gemini 千请求在真实候选并发饱和后因 queueing disabled 返回 429，同时单台压测机建立千条 WAN TCP 产生连接层 reset。仅对 acceptance 与 acceptance_canary 覆盖为 10000 条、最长 15 分钟的有界等待队列，保留候选原始并发和 RPM/TPM 上限；压测传输强制 HTTP/2 复用连接，避免单源连接风暴。正式 production 策略不变。\n\n验证：acceptance-load 与 runner 定向测试通过，新增生产策略不变和验收队列边界单测；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 01:34:16 +08:00
wangbo
3053ba4925
feat(acceptance): 增加生产同构媒体压力验收模式
...
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。
新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。
验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
2026-07-30 23:06:19 +08:00
wangbo
f33d6d64e0
fix(queue): 回收失效任务并阻止不确定提交重放
...
Worker 进程心跳不能证明单个 River job goroutine 仍存活，改以任务执行租约作为回收所有权栅栏。\n\n排队任务若上一次 attempt 在租约中断时处于 submitting 或 response_received，则转入人工复核并生成 release 记录，不再重新提交上游；明确被上游拒绝的响应仍允许重试。\n\n验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 下相关 store 与 River 集成测试通过。
2026-07-30 19:15:19 +08:00
wangbo
38f87b6970
fix(queue): 防止过期执行占位阻塞与重复提交
...
队列恢复后，仍在运行标记中的 River job 可能保留 waiting admission，形成全局 FIFO 队头阻塞；同时旧执行在租约被接管后仍可能创建 attempt 或切换到 submitting。
新增 stale admission 自动让出机制，并用当前 execution token 对 attempt 创建和上游提交状态切换做 fencing。任务、River job 和结算状态均不在让出流程中改写。
验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 集成测试覆盖 stale admission 让出与旧 token 提交拦截。
2026-07-30 18:25:00 +08:00
wangbo
fa818e9ebf
fix(queue): 重新调度终态 River 任务
...
等待异步准入的任务只跳过仍处于活跃状态的 River Job；missing 或 terminal Job 交由准入调度器重新创建，避免非空 river_job_id 永久阻断旧任务。\n\n通用 River 恢复排除等待准入任务，消除双恢复循环与误导日志；事务回滚继续使用独立有界上下文。\n\n验证：真实 PostgreSQL 下异步 Worker 准入验收和跨 Store 队列集成测试均通过。
2026-07-30 17:42:33 +08:00
wangbo
6bab0f0749
fix(worker): 防止事务泄漏并恢复滞留队列
...
为 PostgreSQL 连接增加可配置的事务空闲与锁等待超时，并在请求取消或 Worker 退出后使用独立有界上下文回滚事务。\n\n恢复过期任务时按批次使用 SKIP LOCKED，周期重建缺失或终态 River Job；锁等待超时只在确认尚未提交上游时安全重排，避免重复执行和重复结算。\n\n验证：完整 Go 测试、go vet、生产 Kustomize 渲染、gofmt 与 git diff --check 均通过。
2026-07-30 17:27:11 +08:00
wangbo
3aa78d3e5c
perf(worker): 按实例内存上限扩展异步容量
...
将策略推导出的集群目标与单 Worker 内存安全上限分离，避免失活实例的全部容量转移到单个 2 GiB Pod。
生产环境单实例上限和媒体物化并发设为 24；两实例正常时总容量由 16 提升至 48，后续可通过增加 Worker 节点继续扩展。新增 0093 迁移保存实例容量上限，并兼容滚动发布中的旧实例。
风险：更高媒体并发会增加 Worker 和节点内存压力，保留单实例 24 的硬边界并由持续监控观察 RSS、OOM、队列与节点余量。
验证：go test ./... -count=1；go vet ./...；真实 PostgreSQL 分配与故障转移测试；迁移安全检查；kubectl kustomize；gofmt -l；git diff --check。
2026-07-30 15:08:54 +08:00
wangbo
ea58d21d03
perf(queue): 限制大媒体任务内存并消除准入惊群
...
将同步与异步非文本任务的准入唤醒改为按任务和全局队首推进，批量续租等待者，避免大量请求同时争抢 advisory lock 和数据库连接。
对 Base64 请求解析、素材解码、上游媒体执行和结果物化增加分层并发限制，复用请求素材并释放重复 Gemini wire 数据；生产 API 默认入口解析并发 16，媒体物化并发 8。
新增 1000 个同步 Gemini 图像编辑请求的模拟上游压力验收，10 MiB 输入和输出下全部成功，Heap 峰值增长约 2.58 GiB，并验证共享上传哈希、单次 attempt 与本地零落盘。
验证：go test ./... -count=1；go vet ./...；gofmt -l 无输出；kubectl kustomize deploy/kubernetes/production；10 MiB Gemini Base64 千任务压力测试通过。
2026-07-30 13:13:32 +08:00
wangbo
chengcheng