wangbo
7623449e33
fix(acceptance): 复用集群 SSH 控制连接
...
线上验收在宁波 SSH 建连超时时于负载前失败。为集群脚本增加受限 ControlMaster 复用和仅建连阶段的 ConnectionAttempts，避免重放远程命令。\n\n生产快照导出增加三次只读重试、原子落盘和空 Pod 清理防护。已通过 bash -n、ShellCheck、production acceptance 脚本测试、人工发布脚本测试，并验证宁波真实 SSH 控制连接可复用。
2026-08-01 15:59:00 +08:00
wangbo
8ca3e2dbc2
fix(acceptance): 实时执行压力资源硬门禁
...
压力采样一旦发现节点内存、数据库连接、Pod RSS、租约或排队等待越线，立即联动停止负载，避免失败档继续堆积任务。\n\n同时保证连接池零值写入报告，并增加边界回归测试。已通过 bash -n、ShellCheck、production acceptance 脚本测试和人工发布脚本测试。
2026-08-01 15:44:57 +08:00
wangbo
3514c13b0d
fix(acceptance): 按实际节点聚合多 Worker 指标
...
同站点存在多个物理节点时，按每个 Ready Pod 的 nodeName 映射真实 SSH 主机采集 metrics，并隔离 ssh 标准输入，避免吞掉后续 Pod 目标。所有 Worker Pod 指标按容量最小/最大、连接池最小/最大和计数器总和聚合，不再随机漏采一个实例。\n\n运行时门禁根据已启用的第四节点计算 Ready 节点数，并跳过零副本站点，同时继续逐 Pod 校验 P24/P28/P32 容量、连接池和租约。\n\n验证：bash -n、ShellCheck、双节点 metrics 映射测试、生产只读双 Worker metrics 探针、manual-release-test。
2026-08-01 15:14:39 +08:00
wangbo
53fc79691a
fix(acceptance): 联动压力采样与负载停止
...
零副本 Worker 站点没有 metrics，应从聚合采样中跳过；有副本的站点采样失败仍保持硬失败。补充缺失字段诊断，避免只输出无上下文的采样失败。\n\n容量轮次和混合长稳压测现在持续监视压力采样进程；采样器提前退出时立即终止当前负载并走失败收口，避免在资源监控失效后继续造任务。\n\n验证：bash -n、ShellCheck、零副本站点测试、采样失败联动停止测试、manual-release-test。
2026-08-01 14:37:45 +08:00
wangbo
8749f38eb3
fix(acceptance): 完善跨版本验收状态收口
...
生产流量处于旧失败验收 Run 的 validation 状态时，允许新验收接管任意已验证的 Git 祖先 release，而非仅允许 release manifest 的直接 base；仍保留 Run 状态、镜像 digest、revision 与当前集群 release CAS 校验。\n\n允许 pending Run 在激活前异常时直接标记为 failed，避免验收工具在 CAS 或网络错误后遗留无法结束的 Run。新增祖先关系脚本测试及临时 PostgreSQL 集成验证。\n\n验证：Go 全量测试、go vet、临时 PostgreSQL 集成测试、bash -n、ShellCheck、manual-release-test。
2026-08-01 13:59:37 +08:00
wangbo
4d84210344
fix(release): 修正 Worker 滚动与失败传播
...
单站点 Worker 启用硬反亲和后，maxSurge=1 会让新 Pod 无法调度并造成滚动超时。将 Worker 改为先下线旧 Pod 再创建新 Pod，同时保持 API 的零中断滚动策略。\n\n发布辅助脚本为关键 kubectl 操作补充显式失败返回，避免函数位于条件表达式时 Bash 忽略 errexit，进而把失败发布误报为成功。新增回归测试模拟 rollout status 失败且旧 Pod 仍 Ready 的场景。\n\n验证：bash -n、ShellCheck、cluster-release-helper-test、manual-release-test、生产 API Server dry-run。
2026-08-01 13:43:33 +08:00
wangbo
80801b7bbb
fix(capacity): 允许显式禁用无节点站点
...
当 Worker Deployment 为零副本且站点没有 eligible Worker 节点时返回零容量状态，避免 min/max=0 的禁用站点令容量控制器持续 NotReady；非零副本仍保持失败关闭。\n\n验证：容量控制器单测、Go 全量测试、go vet、gofmt、迁移安全检查和人工发布脚本测试。
2026-08-01 13:02:55 +08:00
wangbo
773d310214
fix(cluster): 强制关键副本跨节点分散
...
避免同站点 Worker 与容量控制器在滚动发布时集中到同一节点，并让 Kubernetes 运行态清单变更进入可追溯的 API release。\n\n验证：bash -n、ShellCheck、manual-release-test、生产集群 server-side dry-run。
2026-08-01 12:33:19 +08:00
wangbo
fcc3dc3cb9
fix(acceptance): 排空后切换验收 Worker 拓扑
...
首次 CAS 只校验 release 与镜像，进入 validation 并排空既有任务后再快照并应用 P24 基线，随后执行副本放置与资源门禁。避免在 live 流量下从 1+1 竞态切换到 0+2，也解除验收前置副本与安全排空之间的循环依赖。\n\n验证：bash -n、ShellCheck、git diff --check。
2026-08-01 11:45:32 +08:00
wangbo
c9fbf6e6f6
fix(cluster): 稳定 Worker 节点首次接入
...
在新增 WireGuard 对等后等待全部握手并预热双向路由，再执行严格 10 包链路门禁；K3s 安装器检测到既有 unit 时显式启动未运行的 agent，并补充 Worker 标签校验。\n\n验证：bash -n、ShellCheck、四节点六向链路复测、K3s agent Ready 与隔离状态逐项核对。
2026-08-01 11:38:19 +08:00
wangbo
ed3b970178
refactor(cluster): 通用化第四个 Worker 节点接入
...
将原宁波专用接入脚本改为由环境变量控制节点名称、站点和 WireGuard 端口，支持香港双物理节点 Worker 池。增加候选节点启用开关和服务商网络许可门禁，未明确批准时禁止任何 WireGuard 或 K3s 写操作。同步调整生产验收、巡检、拓扑校验和运行手册。\n\n验证：\n- scripts/cluster 全部 Shell 脚本 bash -n\n- scripts/cluster 全部 ShellCheck\n- git diff --check\n- 本地凭据值扫描\n- 当前三节点 WireGuard/K3s/PostgreSQL 只读基线检查
2026-08-01 11:23:19 +08:00
wangbo
e77bd17754
fix(cluster): 固化宁波 Worker 隧道端口
...
新宁波节点改用 UDP/443 监听，其他三台节点保留 UDP/51820，并在全量 WireGuard 引导中按节点配置 endpoint 端口。\n\n三轮六向实测均为零丢包，香港 RTT 从 73-77ms 降至 48-53ms；已通过 bash -n、ShellCheck 和差异检查。
2026-08-01 10:54:30 +08:00
wangbo
53589fe3ef
fix(cluster): 以宁波专用节点替换深圳 Worker
...
移除深圳节点及中继拓扑，新增第二台宁波 K3s agent 的全互联 WireGuard 接入和严格 UFW 门禁。\n\nWorker Deployment 与容量控制器仅选择 easyai.io/worker=true 节点，使原宁波混部节点退出 Worker 资源预算，生产基线恢复为宁波专用节点与香港节点各一实例。\n\n已通过 Go 全量测试、go vet、gofmt、迁移安全检查、bash -n、ShellCheck、发布脚本测试和 Kubernetes 清单渲染。
2026-08-01 10:47:01 +08:00
wangbo
d3b36cf63d
fix(cluster): 保留深圳原有 UFW 防火墙
...
移除会与 UFW 冲突的 iptables-persistent 安装，改由 UFW 持久化 WireGuard、kubelet、Flannel 和 NodePort 规则。\n\n预检新增 UFW 已安装且处于 active 的硬门禁，避免包管理器切换防火墙后保留 DROP 默认策略并中断远程接入。\n\n已通过 bash -n、ShellCheck 和差异检查。
2026-08-01 09:51:03 +08:00
wangbo
c63709d785
fix(cluster): 经宁波中继深圳香港链路
...
香港与深圳公网直连出现高丢包和高时延时，固定将两地 WireGuard 数据前缀经宁波转发，同时保留直接 peer 心跳。\n\n中继规则和转发状态持久化，接入与全量 WireGuard 引导脚本保持一致；链路验收仍使用端到端丢包和 RTT 硬门禁。\n\n已通过 bash -n、ShellCheck、深圳资源预检和差异检查。
2026-08-01 09:42:59 +08:00
wangbo
70b0ffb9ae
feat(cluster): 接入深圳专用 Worker 节点
...
新增深圳 K3s agent 与四节点 WireGuard 全互联接入脚本，将深圳归入香港逻辑 Worker 池并用污点限制为 Worker 专用。\n\n生产验收支持宁波 0、香港逻辑池 2 的双物理节点基线，补充副本拓扑分散、容量档位、链路巡检和零副本站点校验。\n\n已通过 Go 全量测试、go vet、govulncheck、迁移安全检查、ShellCheck、发布脚本测试、前后端 lint/test/build、Compose 与 Kubernetes 渲染校验。
2026-08-01 09:38:10 +08:00
wangbo
132cda35d8
fix(acceptance): 隔离控制面抖动与租约瞬态故障
...
线上 P24 验收暴露出高频 kubectl exec 放大 K3s API 压力、门禁查询挤占关键连接池，以及 PostgreSQL 锁超时被误判为租约所有权丢失。
本次合并验收身份查询、在租约有效期内重试瞬态续期错误、修复人工审核残留 attempt，并增加滚动后 etcd 稳定窗口、节点直连指标和双站独立报告。
验证：Go 全量测试、go vet、聚焦 race、gofmt、迁移安全检查、bash -n、ShellCheck、manual release test。
2026-08-01 01:51:44 +08:00
wangbo
be6ce7f78a
fix(acceptance): 修复线上双站压测失真
...
将线上压力生成器拆分为宁波、香港宿主机上的 K3s 外进程，按全局序号分片并保守合并站点报告，避免操作者本机上行带宽成为容量瓶颈。\n\n为每次负载执行生成独立幂等键和 Run 级图片变体，阻止三轮验收重放旧任务或复用历史媒体缓存，并新增直接 OSS 物化一致性门禁。\n\n验证：Go 全量测试、go vet、迁移安全检查、bash -n、ShellCheck、manual-release-test 和双宿主机 linux/amd64 启动冒烟通过。
2026-08-01 01:02:07 +08:00
wangbo
9fd9c267d6
fix(acceptance): 配置化资源预热门槛
...
宁波节点混部 legacy 生产服务，固定 65% 预热门槛无法反映当前可用资源，也无法通过停止 staging/CI 实质改善。
预热内存门槛现在可在 50–79% 显式配置并写入报告；80%运行目标、85%硬上限和 15 分钟稳定窗口保持不变。
验证：bash -n、ShellCheck、验收报告测试。
2026-08-01 00:15:05 +08:00
wangbo
3a01a5c93e
fix(acceptance): 允许无运行时差异的工具更新
...
验收编排修复被正确分类为 components=none，但旧 CAS 要求工具 HEAD 与线上 release 完全相等，导致无运行时变化也必须重发镜像。
现在仅允许线上 release 到工具 HEAD 之间为无迁移、无 API/Web 运行时变化的后代提交；任何运行时或迁移差异仍立即阻断。
验证：bash -n、ShellCheck、验收报告测试、release-components 分类检查。
2026-08-01 00:11:25 +08:00
wangbo
a612c3cb4a
fix(acceptance): 按发布隔离验收身份组
...
历史验收主身份仍引用固定 production-acceptance 组，严格隔离门禁因此在切换 validation 前正确阻断。
验收组改为包含 release SHA 的稳定键；历史身份保持可审计，本次分片及已有 API Key 幂等迁移到当前发布专属组，避免清理或影响正式身份。
验证：bash -n、ShellCheck、验收报告测试、线上引用关系只读审计。
2026-08-01 00:10:41 +08:00
wangbo
b6ef0435ab
fix(controller): 隔离无关媒体凭据校验
...
容量控制器只负责读取容量状态和调整 Worker 副本，按最小权限不注入 OSS 或供应商凭据；全局媒体配置校验却导致控制器在生产启动时 CrashLoop。
容量控制器角色现在跳过不会使用的直传 OSS 校验，API/Worker 仍保持原校验；发布先以零副本应用目标状态，再用精确镜像和同构配置运行 Ready 预检，成功后才扩到双副本；同时补齐迁移 Job 的 restricted PodSecurity 配置。
验证：Go 全量测试、go vet、角色回归测试、bash -n、ShellCheck、人工发布测试、生产 server-side dry-run。
2026-07-31 23:52:22 +08:00
wangbo
993fb7d8be
fix(release): 兼容首次创建容量控制器
...
旧生产集群没有 capacity-controller，部署前精确快照此前对缺失 Deployment 直接报错，导致目标状态尚未应用就阻断发布。
快照现在允许目标 Deployment 不存在；失败恢复时，快照中原本不存在的资源会被删除，从而同时支持首次创建和精确回退。
验证：bash -n、ShellCheck、人工发布脚本测试、线上缺失控制器只读快照演练。
2026-07-31 23:38:55 +08:00
wangbo
744e4acd1f
fix(cluster): 消除发布前门禁假阴性
...
发布前巡检在 pipefail 下直接将 K3s readyz 管给 grep -q，可能因 SIGPIPE 误报 etcd 失败；链路和 PostgreSQL 断言失败时也缺少可定位证据。
改为完整读取 readyz，输出六向链路指标，并为复制、归档、备份和配置投影增加明确失败原因；同时缩短 10 包探测间隔，不改变丢包与 RTT 门槛。
验证：bash -n、ShellCheck、生产 precutover 只读巡检。
2026-07-31 23:34:22 +08:00
wangbo
709434a256
fix(acceptance): 自举线上隔离验收身份
...
线上验收此前依赖人工准备管理员 Token、专属用户、API Key、参考图片和数据库连接，导致跳过本地验收后仍无法安全、可重复执行。
本提交增加短期 Manager 登录、隔离用户/钱包/API Key 幂等创建、Pod 内脱敏快照导出和合成图片真实上传；敏感材料仅保留在进程或 0600 临时文件中。
验证：bash -n、ShellCheck、验收报告测试、参考图片生成测试、git diff --check。
2026-07-31 23:25:43 +08:00
wangbo
0b681275ed
fix(acceptance): 支持显式跳过本地验收
...
在用户明确授权时，将本地原生与 amd64 制品阶段记录为 skipped/waived，并直接使用当前生产脱敏快照进入线上模拟。修复线上报告合并未写入生产 Run ID 导致后续 promote CAS 必然失败的问题。已通过报告回归测试、bash -n、ShellCheck 和 diff 检查。
2026-07-31 23:15:22 +08:00
wangbo
a95184b5b6
fix(acceptance): 阻断本地控制面漂移污染验收
...
本地 K3s 节点此前在 Kubelet 中登记为宿主机资源，负载可挤压 etcd 并在 server 重启后继续污染同一 Run。现在为三节点设置真实可调度预算、独立 etcd/数据卷和锁定依赖镜像，并持续核对 server 与 API/etcd 健康。\n\n每次验收生成独立 Run ID，报告使用独占或原子写入，负载错误记录具体阶段；数据库鉴权不可用返回带 Retry-After 的 503，避免基础设施故障被误报为 401。\n\n验证：Go 全量测试、go vet、gofmt、OpenAPI、bash -n、ShellCheck、报告测试和 k3d 配置解析均通过。
2026-07-31 23:07:19 +08:00
wangbo
015ff8ea6c
fix(acceptance): 允许受信模拟源的媒体物化
...
验收任务物化最终媒体时，仅允许访问 Acceptance Run 登记的协议模拟器精确 origin；其他私网、协议、端口及带 userinfo 的地址继续由 SSRF 防护拒绝。\n\n验证：Go 全量测试、go vet、gofmt 和 git diff --check 通过。
2026-07-31 21:39:19 +08:00
wangbo
add99e5421
fix(acceptance): 物化验收任务的最终媒体
...
仅对已认证 Acceptance Run 强制下载并持久化 URL 型结果，确保集群外压测端能验证最终视频；普通生产任务继续遵循现有文件存储策略。压测器仅对 Gateway 自有地址做双入口重写，避免向第三方媒体域名泄露验收凭据。\n\n同时修复本地集群重复使用同一快照文件时的幂等复制失败。验证：Go 全量测试、go vet、gofmt、bash -n、ShellCheck 和 git diff --check 通过。
2026-07-31 21:25:42 +08:00
wangbo
29a9b8c89f
fix(acceptance): 使用可完整解码的 WebP 样本
...
替换截断的 WebP 验收夹具，新增全量图片像素解码回归，并保留 6K 外部水化与三参考图归一化测试，避免协议模拟样本缺陷被误判为 Worker 运行故障。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check 通过。
2026-07-31 21:11:50 +08:00
wangbo
29533537ec
fix(worker): 限制大图归一化峰值内存
...
6K 多参考图在 P24 下会并发进入高内存缩放并击穿 2 GiB Worker。新增独立可配置的图片归一化并发，生产默认 2，只约束解码、缩放和重编码阶段，不占用视频上游等待槽；缩放器改为内存稳定的近似双线性实现。\n\n验证：6K 到 6000x2400 转换、信号量串行化、Go 全量测试、gofmt、Kubernetes 客户端 dry-run。
2026-07-31 20:54:11 +08:00
wangbo
f190af00be
fix(acceptance): 修复快照迁移重放与派发死锁
...
本地同构验收在全量迁移后导入生产快照，导致本次发布的数据迁移被旧能力覆盖；增加仅允许严格本地集群标记启用的导入后迁移重放，并新增幂等 Seedance 约束校准。\n\n批量异步派发改为在事务开始按全局顺序预锁全部任务与容量作用域，同时对 PostgreSQL 死锁和序列化失败做退避重试，避免双 API 重叠批次形成环形等待。\n\n验证：Go 全量测试、gofmt、bash -n、ShellCheck、迁移安全检查。
2026-07-31 20:39:42 +08:00
wangbo
bfdabd3853
fix(acceptance): 校准 Seedance 图片转换验收
...
按 Volces 官方输入边界补齐 Seedance 2.0 候选能力，将错误的合法 4K 转换样本替换为真实越界图片，并让协议模拟器校验物化后的 Base64 data URL。\n\n验证：Go 全量测试、迁移安全检查、gofmt。
2026-07-31 20:07:28 +08:00
wangbo
2c7ed905a9
fix(acceptance): 打通本地集群内验收链路
...
为本地三节点验收补齐 Gateway 内部 DNS、TLS CA 信任与端口映射，并让仅限验收命名空间的网络故障代理以所需 UID 获取 NET_ADMIN。\n\n验证：bash -n、ShellCheck、K3d 三节点实测。
2026-07-31 20:07:21 +08:00
wangbo
26f3b3fb0a
fix(acceptance): 消除 bootstrap 产物竞态
...
bootstrap 主容器完成后 Kubernetes 不允许继续 exec，导致无法取回只存在容器文件系统中的私密运行参数。使用共享 emptyDir 与限时导出 sidecar，在主容器退出码为零后复制 0600 产物并立即删除 Pod。\n\n验证：bash -n；ShellCheck；本地 CNPG 环境 32 身份 bootstrap、sidecar 导出和 runtime Schema 校验通过。
2026-07-31 19:47:51 +08:00
wangbo
805b677e86
fix(acceptance): 明确身份序号 SQL 类型
...
PostgreSQL 无法从 jsonb_build_object 的多态参数推断验收身份序号类型，导致本地 32 身份 bootstrap 失败。将序号绑定参数显式转换为 integer。\n\n验证：gofmt；go test ./cmd/acceptance-bootstrap -count=1；本地 CNPG 已复现原始 SQLSTATE 42P18。
2026-07-31 19:39:59 +08:00
wangbo
3ba6026e12
fix(acceptance): 安全暂存脱敏快照
...
ConfigMap 投影文件是符号链接，而快照导入器必须拒绝链接输入。新增 initContainer 将只读投影复制为 emptyDir 中的 0600 普通文件，保留防链接安全门禁并让本地导入可执行。\n\n验证：bash -n；ShellCheck；本地 CNPG 双实例实际快照导入通过。
2026-07-31 19:32:28 +08:00
wangbo
38207494d7
fix(acceptance): 修复本地数据库身份标记
...
通过 psql 标准输入执行变量替换，并校验本地集群标识格式，确保安全标记在导入生产脱敏快照前可靠写入，避免验收编排因 -c 参数不展开变量而退出。\n\n验证：bash -n；ShellCheck；本地 CNPG 双实例实际写入与查询标记通过。
2026-07-31 19:26:25 +08:00
wangbo
0bc4c00581
fix(acceptance): 固定本地节点交换内存上限
...
设置 K3d 节点资源限制时同步更新 memory 与 memory-swap，避免 Docker 因既有 swap 上限较低而拒绝节点内存预算，并禁止验收节点依赖额外交换空间。\n\n验证：bash -n scripts/acceptance/local-cluster.sh；shellcheck scripts/acceptance/local-cluster.sh
2026-07-31 19:20:16 +08:00
wangbo
ed3bae4ba6
fix(acceptance): 修正本地 K3d 节点资源约束
...
本地同构环境创建后使用 K3d 实际容器名设置宁波、香港和洛杉矶节点的 CPU 与内存限制，避免集群已创建但验收编排在组件安装前退出。\n\n验证：bash -n scripts/acceptance/local-cluster.sh；shellcheck scripts/acceptance/local-cluster.sh
2026-07-31 19:18:44 +08:00
wangbo
aec61eecb1
fix(acceptance): 固定相对快照路径解析
...
在本地集群脚本切换到 apps/api 前，将已校验的快照路径解析为绝对路径，确保文档中的相对路径可以直接执行。\n\n验证：bash -n、ShellCheck。
2026-07-31 18:44:50 +08:00
wangbo
0b9634b74c
fix(postgres): 修正跨地域 WAL 归档带宽预算
...
将生产 archive_timeout 从 60 秒调整为 5 分钟，避免 16 MiB WAL 段在当前宁波香港链路上持续产生高于复制吞吐的空闲流量。\n\n同步复制保持开启，双库健康时 RPO 仍为 0；单库降级时对象存储归档 RPO 保持在 5 分钟目标内。补充发布回归门禁，防止配置退回无法追平的 60 秒。\n\n验证：kubectl kustomize、bash -n、ShellCheck、manual-release-test。
2026-07-31 18:42:46 +08:00
wangbo
e05922b0f4
feat(acceptance): 建立同构验收与弹性容量体系
...
实现本地三节点 K3s 同构环境、脱敏生产快照、Gemini 图片和多参考图视频协议模拟、统一验收报告及故障注入。\n\n新增 Worker 容量控制器、资源与连接预算、任务恢复保护，并将生产验收拆分为 validation 执行和人工 CAS 放量。\n\n验证包括 Go 全量测试、PostgreSQL HTTP 集成测试、go vet、OpenAPI、ShellCheck、前端检查、迁移及发布脚本测试。
2026-07-31 18:02:24 +08:00
wangbo
cae97b6f77
perf(worker): 缩短媒体完成链路
...
生成媒体在启用直传 OSS 时绕过后端存储通道，异步任务持久化成功后不再在 Worker 内二次水化 Base64。\n\n将任务事件与回调 outbox 合并到同一事务，降低跨地域同步复制提交次数并消除事件已落库但回调未登记的崩溃窗口。文件通道健康遥测改为异步复制提交，避免非关键状态占用执行槽。\n\n验证：Go 全量测试、go vet、gofmt、git diff --check、相对 447e7ed701
2026-07-31 10:15:53 +08:00
wangbo
447e7ed701
perf(worker): 提交后发送准入唤醒通知
...
将准入登记、派发、释放、恢复和验收清理中的 PostgreSQL NOTIFY 从同步复制业务事务移到提交后的独立异步提交事务，避免数据库对象锁串行阻塞跨城事务。通知继续作为有轮询兜底的限时提示，不改变任务状态、租约和账务的同步提交语义。
验证：Go 全量测试、go vet、迁移安全检查、gofmt、diff check 通过；新增集成回归确认 NOTIFY 对象锁存在时准入状态仍先提交可见。
2026-07-31 09:56:47 +08:00
wangbo
580f84f569
perf(acceptance): 解耦 API 媒体请求并发
...
生产同构验收将 API 请求体并发独立配置为 AI_GATEWAY_ACCEPTANCE_API_MEDIA_REQUEST_CONCURRENCY，默认每个 API 128；Worker 执行槽和媒体物化仍按 P24/P28/P32 阶梯变化。\n\n这避免同步 Gemini 请求在整个任务生命周期占用仅 24/28/32 个入口槽，并继续由 RSS 与节点内存门禁验证安全上限。\n\n验证：bash -n；shellcheck -x；git diff --check。
2026-07-31 09:39:23 +08:00
wangbo
387bf5842d
perf(worker): 隔离异步等待登记与执行锁
...
为异步等待队列登记增加独立的进程内和 PostgreSQL advisory lock 域，使严格队列上限校验不再等待 Worker 执行槽事务的跨城同步提交。任务级锁保持不变，调度期间 active 与 waiting 总量守恒。\n\n新增 PostgreSQL 集成测试，验证执行 scope 锁被占用时等待登记仍可独立完成。\n\n验证：go vet ./...；go test ./... -count=1；隔离 PostgreSQL 集成测试；迁移安全检查；gofmt；git diff --check。
2026-07-31 09:29:01 +08:00
wangbo
11ec057e6a
perf(worker): 消除运行态计数跨城热行阻塞
...
将仅用于候选负载均衡的 runtime_client_states 分配和释放写入改为事务级异步提交，避免同步复制期间持续持有单候选热行锁。\n\n运行态计数仍由本地 WAL 持久化，并在运行时恢复中按 running attempt 重建；任务、账务、租约和状态提交不受影响。新增 PostgreSQL 并发与恢复集成测试。\n\n验证：go vet ./...；go test ./... -count=1；64 并发 PostgreSQL 集成测试；迁移安全检查；gofmt；git diff --check。
2026-07-31 09:14:13 +08:00
wangbo
b0dac9f8ec
fix(worker): 固定等待任务的准入候选
...
双 Worker 会按动态运行态排序重复规划同一批 waiting 任务，导致候选绑定来回迁移并把同步事务消耗在 rebind 上。\n\n调度 waiting 任务时优先使用首次登记的候选；仅当候选不再可用或已不在合法候选集时才按现有顺序迁移。执行阶段的 admitted 候选固定逻辑保持不变。\n\n验证：新增 waiting 候选固定回归测试；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:58:57 +08:00
wangbo
1e12522f0c
perf(worker): 解耦异步等待登记与跨城提交
...
媒体突发中的等待准入行是已同步持久化任务的可恢复派生状态，却逐条等待跨城同步提交并串行占用全局容量锁。\n\n仅对异步等待登记事务设置 synchronous_commit=off；任务实体、素材、执行准入、River job、租约、状态与账务继续同步提交。主备切换若命中极小窗口，由既有 queued-task 恢复器重建等待登记。\n\n验证：临时 PostgreSQL 18 跨 Store 分布式准入集成测试通过；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:49:37 +08:00
wangbo
a34a508140
perf(worker): 公平调度跨节点异步准入锁
...
持续突发提交会通过 pg_try_advisory_xact_lock 反复抢占全局容量锁，使 Worker 补槽器在首批之后饥饿。\n\n跨进程锁改为 PostgreSQL 公平等待；进程内锁仍保证每个 API 或 Worker 最多一条连接参与等待，30 秒 lock_timeout 会回到原有重试路径，60 秒空闲事务超时继续处理失主会话。\n\n验证：临时 PostgreSQL 18 上 64 并发锁竞争峰值连接不超过 2；Go 全量测试、go vet、gofmt 通过。
2026-07-31 08:40:54 +08:00
wangbo
17433bf2da
perf(worker): 持续批量填满异步执行槽
...
异步准入通知在突发提交时会合并，原调度器每次只填充一个 8 任务批次，导致全局容量长期空闲并反向拖慢入口登记。\n\n收到通知或周期唤醒后连续拉取并提交批次，直到队列为空或全局执行容量真正饱和；保留每批 8 个的短事务边界。\n\n验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；go vet ./...；gofmt -l 无输出。
2026-07-31 08:32:39 +08:00
wangbo
d5b5d4b4cd
perf(worker): 缩短异步批量填槽延迟
...
将单次异步准入准备批次限制为 8 个任务，使双节点调度器以多个短事务批次渐进填满全局容量，避免准备 48 个媒体任务后才首次提交造成的长时间冷启动空槽。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过。
2026-07-31 08:09:17 +08:00
wangbo
5dd7765ae3
perf(worker): 批量填充异步执行槽
...
跨地域同步复制下逐任务准入会为每个 River Job 支付一次事务提交 RTT，导致 P24 实际只能维持少量运行任务。调度器现在按全局容量窗口准备 FIFO 批次，在同一 PostgreSQL 事务内逐项校验队首、创建租约并插入唯一 River Job，一次提交即可填满可用槽；任一 Hook 失败时整批原子回滚。\n\n验收压力采样同时排除正在终止的 Ready Pod，避免滚动切换期间误连已移除容器。\n\n验证：真实 PostgreSQL 批量提交及整批回滚集成测试、Go 全量测试、go vet、runner/store race、gofmt、bash -n、ShellCheck、迁移安全检查通过。
2026-07-31 07:59:57 +08:00
wangbo
14d13ad3a7
fix(worker): 隔离任务创建与队列恢复窗口
...
高媒体并发下，任务创建后的请求恢复和候选准入可能持续数十秒；通用 River 恢复扫描会在准入记录落库前误把新任务当成崩溃遗留任务，提前创建 Job 并占满 Worker 执行槽。\n\n为无活动 River Job 的通用兜底恢复增加 5 分钟新任务保护窗。正常提交、准入调度以及已有 River Job 的 Worker 强杀恢复保持原路径；新增 PostgreSQL 集成回归，验证新任务不被抢占且超过保护窗后仍可恢复。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过。
2026-07-31 07:46:47 +08:00
wangbo
b625edcd71
fix(worker): 收敛异步重准入到调度器
...
准入租约失效时 Worker 仅释放执行准备并短暂让出 River 槽位，由异步调度器统一恢复 waiting 或无有效租约的任务，避免多 Worker 同时争抢全局容量锁并放大数据库同步提交等待。\n\n调度扫描覆盖到期且可运行的 scheduled/available/retryable River 任务，但跳过正在执行或仍持有有效准入租约的任务；新增 PostgreSQL/River 状态集成回归测试。\n\n验证：Go 全量测试、go vet、runner/store race、gofmt、迁移安全检查通过；专用数据库集成用例因本机未配置 AI_GATEWAY_TEST_DATABASE_URL 明确跳过。
2026-07-31 07:37:37 +08:00
wangbo
d1b482c2f3
fix(worker): 容量饱和后停止重复准入扫描
...
双 Worker 每秒遍历全部 waiting 任务，在全局执行槽已满时仍重复探测，导致 River 执行协程长时间等待同一 worker_capacity 进程锁。
异步 FIFO 头部未准入时立即结束本轮扫描，等待租约释放通知后再继续；任务级错误仍跳过并处理后续任务。
验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
2026-07-31 07:23:46 +08:00
wangbo
bfd1257db0
fix(worker): 统一异步执行准入范围
...
Worker 执行阶段重建准入范围时遗漏 worker_capacity，导致已预留 River 槽的任务再次同步等待准入并占住执行槽。
调度、执行和候选切换统一复用 taskAdmissionScopes，确保异步任务始终携带同一全局 Worker 容量范围。
验证：Go 全量测试、runner race、go vet、迁移安全检查通过。
2026-07-31 07:15:44 +08:00
wangbo
238798e47c
fix(worker): 固定异步准入候选避免执行槽空转
...
异步任务在调度器准入后，Worker 会再次按实时负载排序候选；排序变化会让已准入任务退回 waiting，同时继续占用 River 执行槽，导致高并发吞吐塌陷。
执行前复用已持久化的 admitted 候选并稳定置顶，候选失效时仍保留原有重选路径；增加候选固定与非准入场景单测。
验证：Go 全量测试、runner race、go vet、OpenAPI 生成一致性、迁移安全检查通过。
2026-07-31 07:06:06 +08:00
wangbo
3d9ae74b87
fix(admission): 避免高并发准入锁占满连接池
...
将同进程相同准入键的请求先在内存中串行化，跨节点使用 pg_try_advisory_xact_lock 非阻塞竞争并在事务外退避，避免等待 advisory lock 时长期占用 PostgreSQL 连接。\n\n新增 64 路竞争回归测试，验证被占用锁下连接池峰值仅保留持锁者和单个尝试者；256 路 Gemini Base64 端到端压力通过，advisory wait 峰值为 0。
2026-07-31 06:31:24 +08:00
wangbo
4fa44f4c41
fix(admission): 限制媒体任务准入锁等待并发
...
媒体请求从认证、任务创建到异步准入登记共用可配置的请求并发令牌，完成登记后立即释放。这样仍会尽早丢弃 Base64 正文，但不会让高并发请求各占一个 PostgreSQL 连接等待 advisory lock。\n\n扩展 Gemini 双角色压力测试，使用生产同档 API/Worker 连接池并记录数据库连接与 advisory lock 峰值。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；256 个 256 KiB 异步 Gemini 请求全部通过，连接峰值 45、锁等待峰值 14。
2026-07-31 06:05:54 +08:00
wangbo
4af86b22ee
fix(worker): 将 Gemini 同步请求交由异步队列执行
...
将非流式 Gemini generateContent 改为 River Worker 执行，API 通过批量状态查询等待完成，避免高并发同步请求耗尽 API 数据库连接池。\n\n生成图片在持久化时保存带哈希的资产引用，响应恢复时下载并校验后重建 Base64，数据库不保存媒体原文。请求体物化增加前置内存门禁，并扩展双 API/Worker PostgreSQL 压力测试。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；64 与 256 请求双角色异步 Gemini 压力测试。
2026-07-31 05:49:45 +08:00
wangbo
352e23e099
perf(media): 生产媒体直传阿里云 OSS
...
生产同构验收确认 server_main_openapi 上传通道在媒体高并发下产生 381 个 502，并将已创建任务的 p95 拉高到 172 秒。\n\n为 request_asset 与 image_result 增加环境配置控制的阿里云 OSS 直传，保留普通上传原通道；使用 Kubernetes Secret 注入凭据，并对签名、重试、场景隔离和生产配置校验增加测试。\n\n验证：Go 全量测试、go vet、OpenAPI、迁移安全检查、Kustomize/Compose 渲染、gofmt 与 git diff --check 均通过；真实 OSS PUT/CDN 读取探针通过且对象已清理。
2026-07-31 05:20:27 +08:00
wangbo
7b2ab786a2
perf(acceptance): 流式生成唯一图片输入
...
避免千请求验收重复复用同一图片内容而争用同一资产记录，使每个任务走真实独立上传与物化链路。\n\nGemini 请求体改为流式 Base64 编码，降低压测客户端的大对象内存峰值；新增尺寸、哈希唯一性和请求体还原测试。\n\n验证：Go 全量测试、go vet、迁移安全检查、bash -n、ShellCheck、gofmt、git diff --check 均通过。
2026-07-31 04:55:31 +08:00
wangbo
1bb4b2ab12
fix(acceptance): 同步配置 API 媒体并发
...
P24/P28/P32 之前只调整 Worker 媒体并发，API 仍使用默认每实例 16，导致入口实际容量低于 Worker 执行槽。现在按档位同时设置两地 API 的媒体请求与物化并发。\n\n验证：bash -n、ShellCheck。
2026-07-31 04:40:59 +08:00
wangbo
61b4417695
fix(acceptance): 继承分片身份的验收角色
...
分片 API Key 已具有正确 scopes 和候选规则，但空角色无法通过基础接口权限检查。创建和重用分片身份时同步主验收用户角色，保持专属用户组与钱包隔离不变。\n\n验证：bash -n、ShellCheck。
2026-07-31 04:31:50 +08:00
wangbo
262090db7b
perf(acceptance): 使用多钱包身份分片模拟并发
...
单一验收钱包会把预留和结算串行化，掩盖双节点 Worker 的真实吞吐。验收现在幂等准备 32 个隔离身份和钱包，按请求轮询 API Key，并在 Run 配置中登记允许的 Key/User 身份对；密钥仅经 stdin 传给集群内压测进程。\n\n仍保留真实账务、候选权限、回调、重复扣费和强杀恢复校验。\n\n验证：Go 全量测试、临时 PostgreSQL 集成测试、go vet、OpenAPI 生成、迁移安全检查、bash -n、ShellCheck。
2026-07-31 04:25:09 +08:00
wangbo
8ce120631f
fix(acceptance): 仅在连接池持续满载时阻断验收
...
验收压力采样仍记录连接获取取消计数，但单次上下文取消不再被误判为池饱和。继续对连续六个采样周期满池、租约错误、数据库连接、节点内存和 Pod RSS 执行硬门禁。\n\n验证：bash -n、ShellCheck、真实 P24 压力报告回归。
2026-07-31 04:07:14 +08:00
wangbo
add80f781e
perf(wallet): 避免同钱包预留占满数据库池
...
千并发验收的 pg_stat_activity 显示大量事务锁等待集中在同一验收钱包，等待行锁的请求持续占用 API Pool，导致 canceled acquire 和排队增长。
在每个 Store 内增加 256 槽钱包预留分片锁，同一钱包先在进程内串行再申请数据库连接；跨 API 节点仍由 PostgreSQL 行锁保证余额与幂等正确性。
验证：Go 全量测试、临时 PostgreSQL 并发账务集成测试、gofmt 和 git diff --check 通过。
2026-07-31 03:55:22 +08:00
wangbo
36546bd5c4
perf(postgres): 回收突发连接并等待验收副作用
...
失败 Run 的未提交任务已取消，但退款 outbox 尚未完成时下一轮会继承 API 连接高水位和 canceled acquire 增量，污染容量验收。
新增 AI_GATEWAY_DATABASE_MAX_CONN_IDLE_SECONDS，生产配置 30 秒回收突发空闲连接；验收中止后等待旧任务、退款、回调和数据库连接全部收敛后才允许新负载启动。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:46:41 +08:00
wangbo
75a56b21bc
perf(acceptance): 将 API 连接池提升至 64
...
P24 千并发在 API Pool 48 下仍出现 acquired 接近上限及 canceled acquire 增长，而 Worker Pool 仅使用 3 条连接，PostgreSQL 实际连接数仍有安全余量。
将生产 API Pool 默认值提升至 64，并允许通过 AI_GATEWAY_ACCEPTANCE_API_DATABASE_MAX_CONNS 配置单次验收；Worker 档位与 min-idle=4 保持不变。
验证：bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:38:28 +08:00
wangbo
2529679b67
perf(postgres): 分离 API 池并降低连接预热
...
生产同构千并发请求在干净队列上复现 API Pool 31/32、idle=1 且 canceled acquire 持续增长，Worker Pool 仅使用少量连接，确认瓶颈位于 API 数据库连接预算而非 Worker 执行槽。
新增可配置的 AI_GATEWAY_DATABASE_MIN_IDLE_CONNS，生产仅预热 4 条连接；API Pool 独立固定为 48，Worker Pool 继续跟随 P24/P28/P32 的 32/36/40 档位。发布工具、Kubernetes 清单、验收门禁和文档同步更新。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:28:43 +08:00
wangbo
2606cc8223
fix(acceptance): 清理中止验收的未提交任务
...
验收失败后，排队及尚未提交上游的任务会继续占用队列与 API 数据库连接池，导致下一轮容量测试被历史负载污染。
中止验收时仅取消确认未提交上游的任务，删除其未提交 attempt 与准入记录，释放租约并生成幂等退款事件；提交中或已收到上游响应的任务继续自然收敛。新建验收前也会清理历史失败 Run 的安全遗留任务，并等待其余任务终态。
验证：Go 全量测试通过；临时 PostgreSQL 集成测试覆盖排队、运行未提交、提交中与退款事件；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 03:16:38 +08:00
wangbo
1bd9e618ca
fix(acceptance): 重试瞬时压力采样失败
...
Pod 滚动后的首次 metrics 读取可能短暂失败，原采样器会直接退出且主流程忽略后台状态，导致验收缺少资源曲线。\n\n采样器现在允许两次瞬时失败，连续三次失败才中止；主流程同时检查采样进程状态，确保任何曲线中断都会明确阻断验收。\n\n验证：bash -n、ShellCheck、git diff --check。
2026-07-31 03:03:11 +08:00
wangbo
78005aaf85
fix(acceptance): 兼容只读压测容器报告
...
验收模拟器 Pod 使用只读根文件系统，失败报告缓冲不能依赖 mktemp。改为在 Shell 内存中捕获并回放压测 JSON，同时保留原始退出状态。\n\n验证：bash -n、ShellCheck、远端脚本语法检查、git diff --check。
2026-07-31 02:56:11 +08:00
wangbo
489208cef9
fix(acceptance): 纳入 API 数据库池容量门禁
...
高并发 Gemini 验收暴露两地 API 数据库池仍固定为 16，导致连接池满载、readiness 失败且压力曲线只监测 Worker，无法及时识别真实瓶颈。\n\n将容量档位的数据库连接池同步应用到 API，发布工具和生产清单保持同一配置；压力采样及日志门禁覆盖 API 与 Worker 四个连接池，并在失败时保留验收 JSON 报告。\n\n验证：bash -n、ShellCheck、kubectl kustomize、git diff --check。
2026-07-31 02:46:10 +08:00
wangbo
7a193934ed
fix(acceptance): 优先选择稳定版 Gemini 图片模型
...
生产同构验收默认优先选择当前稳定版 gemini-3.1-flash-image，并在回退选择中将非 preview 模型置于预览版之前，避免选中并发 5 的预览候选后与千请求八分钟门槛产生物理冲突。\n\n候选确定后的正式路由优先级与真实限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 02:27:19 +08:00
wangbo
e0f841e8fb
fix(admission): 按候选唤醒同步队列头
...
同步准入释放容量后，分别唤醒每个独立平台模型队列的 FIFO 队头；只有任务实际绑定用户组时才同时约束用户组队头，避免一个已饱和候选阻塞其他候选补位。\n\n调度器单次最多处理 256 个真实队头，不唤醒整个等待队列。新增 PostgreSQL 集成测试覆盖无用户组的双候选并行唤醒，以及共享用户组下仍保持组级 FIFO。\n\n验证：gofmt；Store/Runner 聚焦测试；一次性 PostgreSQL 集成测试；git diff --check。
2026-07-31 02:18:22 +08:00
wangbo
3976cfb64d
fix(acceptance): 在集群内驱动媒体压力
...
将验收负载二进制改为在协议模拟器 Pod 内执行，并继续通过两个公网入口均分请求，避免本机上行带宽污染 Gateway 的 8 分钟吞吐门槛。\n\nAPI Key 与 Run Token 仅通过 kubectl exec 标准输入传入进程，不写入 Pod 规格、命令参数或验收报告；响应仍由客户端流式解码并计算哈希。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 02:07:50 +08:00
wangbo
66db98ec1c
fix(acceptance): 避免用户组阻塞候选队列
...
验收用户组仅承担身份和账务隔离，不再创建非约束性的组级并发队列，避免不同生产候选之间出现 FIFO 队头阻塞。真实候选自身的并发、排队和限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 01:59:09 +08:00
wangbo
a2dea335e0
fix(acceptance): 隔离高并发验收用户组
...
为生产同构验收创建并绑定专属用户组，避免验收账号继承默认并发 5 的限流。\n\n验收脚本通过管理 API 幂等维护用户组，并在数据库侧校验唯一用户、唯一活跃 Key、并发策略和无外部引用。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 01:49:12 +08:00
wangbo
2bfeb3e179
fix(acceptance): 为高并发验收启用有界排队
...
生产同构 Gemini 千请求在真实候选并发饱和后因 queueing disabled 返回 429，同时单台压测机建立千条 WAN TCP 产生连接层 reset。仅对 acceptance 与 acceptance_canary 覆盖为 10000 条、最长 15 分钟的有界等待队列，保留候选原始并发和 RPM/TPM 上限；压测传输强制 HTTP/2 复用连接，避免单源连接风暴。正式 production 策略不变。\n\n验证：acceptance-load 与 runner 定向测试通过，新增生产策略不变和验收队列边界单测；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 01:34:16 +08:00
wangbo
0c9960d2e6
fix(acceptance): 预授权生产候选访问规则
...
生产同构 Gemini 验收在入口路由修复后暴露专属 API Key 无法通过生产 Access Rule，所有已创建任务均以 no_model_candidate 失败。验收脚本现在会为选中的 Gemini 和视频候选幂等授予 platform、platform_model、base_model 三层访问权限，并在创建 Run 前反查规则完整性。\n\n验证：bash -n、ShellCheck 与 git diff --check 通过。
2026-07-31 01:18:14 +08:00
wangbo
cd9c8d56ab
fix(nginx): 将原生模型接口转发至 API
...
生产同构 Gemini 验收发现 /v1beta 请求被 Web 入口返回 405，导致请求在到达 Worker 前全部失败。补齐 /v1 和 /v1beta 原生兼容路由，沿用 API 的长请求超时、无缓冲和双上游故障切换配置。\n\n验证：使用 nginx:1.27-alpine 对完整站点配置执行 nginx -t 通过。
2026-07-31 01:03:51 +08:00
wangbo
3b67038660
fix(acceptance): 移除生产验收持久管理隧道
...
管理 API 改为通过短 SSH 在宁波节点调用内部 api-ningbo-edge Service，避免长期端口转发与大量集群控制连接竞争导致 SSH 握手限流。Token 和请求体以 Base64 传输且不输出。\n\n验证：内部 traffic-mode 端到端返回 200；GNU Bash 3.2；bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:41:56 +08:00
wangbo
0e22ccb0b8
fix(acceptance): 兼容 macOS Bash 3.2
...
将容量报告路径中的 Bash 4 小写参数展开替换为 POSIX tr，避免验收在提交首轮负载前因 bad substitution 中断。\n\n验证：GNU Bash 3.2.57 实际执行；bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:34:02 +08:00
wangbo
02f9071a37
fix(acceptance): 安全接管直接基线失败任务
...
允许新发布在 validation 状态下接管其直接 base release 的失败 Run。接管前严格核对旧 Run 状态、流量 CAS 字段和 manifest 基线，并使用旧 CAS 字段中止旧 Run，再激活新 Run。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:28:28 +08:00
wangbo
cec3d429af
fix(acceptance): 支持失败验收无缝重试
...
在 validation 保持正式流量关闭时，允许为同一 release 与镜像 digest 创建新 Run，并仅在确认旧 Run 已失败后通过 CAS 中止旧 Run、立即激活新 Run。避免验收控制连接异常后必须先长时间切回 live 才能重试。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:25:52 +08:00
wangbo
3053ba4925
feat(acceptance): 增加生产同构媒体压力验收模式
...
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。
新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。
验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
2026-07-30 23:06:19 +08:00
wangbo
f33d6d64e0
fix(queue): 回收失效任务并阻止不确定提交重放
...
Worker 进程心跳不能证明单个 River job goroutine 仍存活，改以任务执行租约作为回收所有权栅栏。\n\n排队任务若上一次 attempt 在租约中断时处于 submitting 或 response_received，则转入人工复核并生成 release 记录，不再重新提交上游；明确被上游拒绝的响应仍允许重试。\n\n验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 下相关 store 与 River 集成测试通过。
2026-07-30 19:15:19 +08:00
wangbo
9e06ed6162
fix(k3s): 让数据库探针访问节点本地 API
...
避免 kubernetes Service 在跨地域 API endpoint 间负载，导致 CNPG liveness/readiness 探针受 WireGuard 拥塞影响。\n\n通过 Downward API 将 KUBERNETES_SERVICE_HOST 设为 Pod 所在节点名，并使用本地 K3s 6443 端口。节点名解析、TLS 主机名校验和 kubectl 服务端 dry-run 均已通过。
2026-07-30 19:00:01 +08:00
wangbo
e1e18dbe58
fix(k3s): 放宽数据库隔离探针容忍窗口
...
避免跨节点控制面短时拥塞导致主库被默认 30 秒 liveness 窗口误判并重启。\n\n保持隔离检查开启，将 livenessProbeTimeout 调整为 300 秒，并把隔离检查连接与请求超时调整为 5 秒。已通过线上 CRD 字段核验和 kubectl 服务端 dry-run。
2026-07-30 18:55:47 +08:00
wangbo
38f87b6970
fix(queue): 防止过期执行占位阻塞与重复提交
...
队列恢复后，仍在运行标记中的 River job 可能保留 waiting admission，形成全局 FIFO 队头阻塞；同时旧执行在租约被接管后仍可能创建 attempt 或切换到 submitting。
新增 stale admission 自动让出机制，并用当前 execution token 对 attempt 创建和上游提交状态切换做 fencing。任务、River job 和结算状态均不在让出流程中改写。
验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 集成测试覆盖 stale admission 让出与旧 token 提交拦截。
2026-07-30 18:25:00 +08:00
wangbo
fa818e9ebf
fix(queue): 重新调度终态 River 任务
...
等待异步准入的任务只跳过仍处于活跃状态的 River Job；missing 或 terminal Job 交由准入调度器重新创建，避免非空 river_job_id 永久阻断旧任务。\n\n通用 River 恢复排除等待准入任务，消除双恢复循环与误导日志；事务回滚继续使用独立有界上下文。\n\n验证：真实 PostgreSQL 下异步 Worker 准入验收和跨 Store 队列集成测试均通过。
2026-07-30 17:42:33 +08:00
wangbo
e8893e2b8f
chore(release): 重新生成可回滚发布基线
...
当前 K3s 工作负载已核验并登记为 3aa78d3e5c0ba83227aaf33849c098405a89ceb5。\n\n使用新的不可变 SHA 重新生成 release manifest，避免覆盖已推送镜像 Tag，并恢复部署前后的自动回滚链。
2026-07-30 17:32:18 +08:00
wangbo
6bab0f0749
fix(worker): 防止事务泄漏并恢复滞留队列
...
为 PostgreSQL 连接增加可配置的事务空闲与锁等待超时，并在请求取消或 Worker 退出后使用独立有界上下文回滚事务。\n\n恢复过期任务时按批次使用 SKIP LOCKED，周期重建缺失或终态 River Job；锁等待超时只在确认尚未提交上游时安全重排，避免重复执行和重复结算。\n\n验证：完整 Go 测试、go vet、生产 Kustomize 渲染、gofmt 与 git diff --check 均通过。
2026-07-30 17:27:11 +08:00
wangbo
bc44af751e
fix(worker): 为容量扩展预留数据库连接
...
原因：单实例执行容量提升到 24 后，Worker 的 24 条数据库连接会被执行任务全部占用，导致心跳、选主、健康检查和并发租约续期超时。
影响：生产 Worker 连接池提高到 32，在 24 个执行槽之外保留 8 条控制连接；PostgreSQL max_connections=200，两实例与 API 的理论连接总量仍在安全范围内。
验证：kubectl kustomize deploy/kubernetes/production、git diff --check 通过；线上两地 Worker 按 32 条连接滚动后连续 3 分钟 Ready、0 重启、0 数据库控制错误、0 租约丢失。
2026-07-30 16:17:16 +08:00
wangbo
3aa78d3e5c
perf(worker): 按实例内存上限扩展异步容量
...
将策略推导出的集群目标与单 Worker 内存安全上限分离，避免失活实例的全部容量转移到单个 2 GiB Pod。
生产环境单实例上限和媒体物化并发设为 24；两实例正常时总容量由 16 提升至 48，后续可通过增加 Worker 节点继续扩展。新增 0093 迁移保存实例容量上限，并兼容滚动发布中的旧实例。
风险：更高媒体并发会增加 Worker 和节点内存压力，保留单实例 24 的硬边界并由持续监控观察 RSS、OOM、队列与节点余量。
验证：go test ./... -count=1；go vet ./...；真实 PostgreSQL 分配与故障转移测试；迁移安全检查；kubectl kustomize；gofmt -l；git diff --check。
2026-07-30 15:08:54 +08:00
wangbo
ea58d21d03
perf(queue): 限制大媒体任务内存并消除准入惊群
...
将同步与异步非文本任务的准入唤醒改为按任务和全局队首推进，批量续租等待者，避免大量请求同时争抢 advisory lock 和数据库连接。
对 Base64 请求解析、素材解码、上游媒体执行和结果物化增加分层并发限制，复用请求素材并释放重复 Gemini wire 数据；生产 API 默认入口解析并发 16，媒体物化并发 8。
新增 1000 个同步 Gemini 图像编辑请求的模拟上游压力验收，10 MiB 输入和输出下全部成功，Heap 峰值增长约 2.58 GiB，并验证共享上传哈希、单次 attempt 与本地零落盘。
验证：go test ./... -count=1；go vet ./...；gofmt -l 无输出；kubectl kustomize deploy/kubernetes/production；10 MiB Gemini Base64 千任务压力测试通过。
2026-07-30 13:13:32 +08:00
wangbo
fd3b6bf042
fix(worker): 增强队列启动与租约到期恢复
...
River 初始化遇到瞬时数据库超时时最多重试三次，并确保启动异常时先取消后台 LISTEN 和 Worker 上下文再关闭连接池，避免不就绪 Pod 卡在退出路径。Worker 维护循环每 15 秒执行幂等运行时恢复，使旧实例中断任务在执行租约到期后自动重排并继续触发孤儿 Job 救援。验证通过完整 Go 测试、go vet、竞态检查和迁移安全检查。
2026-07-29 23:55:49 +08:00
wangbo