 wangbo
|
c89c56ca65
|
perf(worker): 以有界微批次提升准入吞吐
原因：线上 P24 同构验收中，单任务同步复制提交与全局容量锁串行化，使两个 Worker 的 48 个执行槽只能维持约 10–14 个运行任务，最老等待超过 15 分钟。
影响：新增可配置的 1–32 条准入微批次，默认 8；租约、任务准入与唯一 River job 在一个有界事务内原子提交，并按确定顺序预锁任务和容量范围，避免整窗 48 条大事务和多 Dispatcher 死锁。并容忍 rebind 已被其他 Dispatcher 完成的幂等竞态。
验证：Go 全量测试、go vet、真实 PostgreSQL 跨 Store 集成测试、ShellCheck、迁移安全检查、OpenAPI、前端 lint/test/build、Compose/Kubernetes 渲染及人工发布脚本均通过。
|
2026-08-01 20:26:47 +08:00 |
|
|
wangbo
|
ed3b970178
|
refactor(cluster): 通用化第四个 Worker 节点接入
将原宁波专用接入脚本改为由环境变量控制节点名称、站点和 WireGuard 端口，支持香港双物理节点 Worker 池。增加候选节点启用开关和服务商网络许可门禁，未明确批准时禁止任何 WireGuard 或 K3s 写操作。同步调整生产验收、巡检、拓扑校验和运行手册。\n\n验证：\n- scripts/cluster 全部 Shell 脚本 bash -n\n- scripts/cluster 全部 ShellCheck\n- git diff --check\n- 本地凭据值扫描\n- 当前三节点 WireGuard/K3s/PostgreSQL 只读基线检查
|
2026-08-01 11:23:19 +08:00 |
|
|
wangbo
|
e77bd17754
|
fix(cluster): 固化宁波 Worker 隧道端口
新宁波节点改用 UDP/443 监听，其他三台节点保留 UDP/51820，并在全量 WireGuard 引导中按节点配置 endpoint 端口。\n\n三轮六向实测均为零丢包，香港 RTT 从 73-77ms 降至 48-53ms；已通过 bash -n、ShellCheck 和差异检查。
|
2026-08-01 10:54:30 +08:00 |
|
|
wangbo
|
53589fe3ef
|
fix(cluster): 以宁波专用节点替换深圳 Worker
移除深圳节点及中继拓扑，新增第二台宁波 K3s agent 的全互联 WireGuard 接入和严格 UFW 门禁。\n\nWorker Deployment 与容量控制器仅选择 easyai.io/worker=true 节点，使原宁波混部节点退出 Worker 资源预算，生产基线恢复为宁波专用节点与香港节点各一实例。\n\n已通过 Go 全量测试、go vet、gofmt、迁移安全检查、bash -n、ShellCheck、发布脚本测试和 Kubernetes 清单渲染。
|
2026-08-01 10:47:01 +08:00 |
|
|
wangbo
|
d3b36cf63d
|
fix(cluster): 保留深圳原有 UFW 防火墙
移除会与 UFW 冲突的 iptables-persistent 安装，改由 UFW 持久化 WireGuard、kubelet、Flannel 和 NodePort 规则。\n\n预检新增 UFW 已安装且处于 active 的硬门禁，避免包管理器切换防火墙后保留 DROP 默认策略并中断远程接入。\n\n已通过 bash -n、ShellCheck 和差异检查。
|
2026-08-01 09:51:03 +08:00 |
|
|
wangbo
|
c63709d785
|
fix(cluster): 经宁波中继深圳香港链路
香港与深圳公网直连出现高丢包和高时延时，固定将两地 WireGuard 数据前缀经宁波转发，同时保留直接 peer 心跳。\n\n中继规则和转发状态持久化，接入与全量 WireGuard 引导脚本保持一致；链路验收仍使用端到端丢包和 RTT 硬门禁。\n\n已通过 bash -n、ShellCheck、深圳资源预检和差异检查。
|
2026-08-01 09:42:59 +08:00 |
|
|
wangbo
|
70b0ffb9ae
|
feat(cluster): 接入深圳专用 Worker 节点
新增深圳 K3s agent 与四节点 WireGuard 全互联接入脚本，将深圳归入香港逻辑 Worker 池并用污点限制为 Worker 专用。\n\n生产验收支持宁波 0、香港逻辑池 2 的双物理节点基线，补充副本拓扑分散、容量档位、链路巡检和零副本站点校验。\n\n已通过 Go 全量测试、go vet、govulncheck、迁移安全检查、ShellCheck、发布脚本测试、前后端 lint/test/build、Compose 与 Kubernetes 渲染校验。
|
2026-08-01 09:38:10 +08:00 |
|
|
wangbo
|
132cda35d8
|
fix(acceptance): 隔离控制面抖动与租约瞬态故障
线上 P24 验收暴露出高频 kubectl exec 放大 K3s API 压力、门禁查询挤占关键连接池，以及 PostgreSQL 锁超时被误判为租约所有权丢失。
本次合并验收身份查询、在租约有效期内重试瞬态续期错误、修复人工审核残留 attempt，并增加滚动后 etcd 稳定窗口、节点直连指标和双站独立报告。
验证：Go 全量测试、go vet、聚焦 race、gofmt、迁移安全检查、bash -n、ShellCheck、manual release test。
|
2026-08-01 01:51:44 +08:00 |
|
|
wangbo
|
be6ce7f78a
|
fix(acceptance): 修复线上双站压测失真
将线上压力生成器拆分为宁波、香港宿主机上的 K3s 外进程，按全局序号分片并保守合并站点报告，避免操作者本机上行带宽成为容量瓶颈。\n\n为每次负载执行生成独立幂等键和 Run 级图片变体，阻止三轮验收重放旧任务或复用历史媒体缓存，并新增直接 OSS 物化一致性门禁。\n\n验证：Go 全量测试、go vet、迁移安全检查、bash -n、ShellCheck、manual-release-test 和双宿主机 linux/amd64 启动冒烟通过。
|
2026-08-01 01:02:07 +08:00 |
|
|
wangbo
|
9fd9c267d6
|
fix(acceptance): 配置化资源预热门槛
宁波节点混部 legacy 生产服务，固定 65% 预热门槛无法反映当前可用资源，也无法通过停止 staging/CI 实质改善。
预热内存门槛现在可在 50–79% 显式配置并写入报告；80%运行目标、85%硬上限和 15 分钟稳定窗口保持不变。
验证：bash -n、ShellCheck、验收报告测试。
|
2026-08-01 00:15:05 +08:00 |
|
|
wangbo
|
a612c3cb4a
|
fix(acceptance): 按发布隔离验收身份组
历史验收主身份仍引用固定 production-acceptance 组，严格隔离门禁因此在切换 validation 前正确阻断。
验收组改为包含 release SHA 的稳定键；历史身份保持可审计，本次分片及已有 API Key 幂等迁移到当前发布专属组，避免清理或影响正式身份。
验证：bash -n、ShellCheck、验收报告测试、线上引用关系只读审计。
|
2026-08-01 00:10:41 +08:00 |
|
|
wangbo
|
709434a256
|
fix(acceptance): 自举线上隔离验收身份
线上验收此前依赖人工准备管理员 Token、专属用户、API Key、参考图片和数据库连接，导致跳过本地验收后仍无法安全、可重复执行。
本提交增加短期 Manager 登录、隔离用户/钱包/API Key 幂等创建、Pod 内脱敏快照导出和合成图片真实上传；敏感材料仅保留在进程或 0600 临时文件中。
验证：bash -n、ShellCheck、验收报告测试、参考图片生成测试、git diff --check。
|
2026-07-31 23:25:43 +08:00 |
|
|
wangbo
|
0b681275ed
|
fix(acceptance): 支持显式跳过本地验收
在用户明确授权时，将本地原生与 amd64 制品阶段记录为 skipped/waived，并直接使用当前生产脱敏快照进入线上模拟。修复线上报告合并未写入生产 Run ID 导致后续 promote CAS 必然失败的问题。已通过报告回归测试、bash -n、ShellCheck 和 diff 检查。
|
2026-07-31 23:15:22 +08:00 |
|
|
wangbo
|
a95184b5b6
|
fix(acceptance): 阻断本地控制面漂移污染验收
本地 K3s 节点此前在 Kubelet 中登记为宿主机资源，负载可挤压 etcd 并在 server 重启后继续污染同一 Run。现在为三节点设置真实可调度预算、独立 etcd/数据卷和锁定依赖镜像，并持续核对 server 与 API/etcd 健康。\n\n每次验收生成独立 Run ID，报告使用独占或原子写入，负载错误记录具体阶段；数据库鉴权不可用返回带 Retry-After 的 503，避免基础设施故障被误报为 401。\n\n验证：Go 全量测试、go vet、gofmt、OpenAPI、bash -n、ShellCheck、报告测试和 k3d 配置解析均通过。
|
2026-07-31 23:07:19 +08:00 |
|
|
wangbo
|
29533537ec
|
fix(worker): 限制大图归一化峰值内存
6K 多参考图在 P24 下会并发进入高内存缩放并击穿 2 GiB Worker。新增独立可配置的图片归一化并发，生产默认 2，只约束解码、缩放和重编码阶段，不占用视频上游等待槽；缩放器改为内存稳定的近似双线性实现。\n\n验证：6K 到 6000x2400 转换、信号量串行化、Go 全量测试、gofmt、Kubernetes 客户端 dry-run。
|
2026-07-31 20:54:11 +08:00 |
|
|
wangbo
|
bfdabd3853
|
fix(acceptance): 校准 Seedance 图片转换验收
按 Volces 官方输入边界补齐 Seedance 2.0 候选能力，将错误的合法 4K 转换样本替换为真实越界图片，并让协议模拟器校验物化后的 Base64 data URL。\n\n验证：Go 全量测试、迁移安全检查、gofmt。
|
2026-07-31 20:07:28 +08:00 |
|
|
wangbo
|
0b9634b74c
|
fix(postgres): 修正跨地域 WAL 归档带宽预算
将生产 archive_timeout 从 60 秒调整为 5 分钟，避免 16 MiB WAL 段在当前宁波香港链路上持续产生高于复制吞吐的空闲流量。\n\n同步复制保持开启，双库健康时 RPO 仍为 0；单库降级时对象存储归档 RPO 保持在 5 分钟目标内。补充发布回归门禁，防止配置退回无法追平的 60 秒。\n\n验证：kubectl kustomize、bash -n、ShellCheck、manual-release-test。
|
2026-07-31 18:42:46 +08:00 |
|
|
wangbo
|
e05922b0f4
|
feat(acceptance): 建立同构验收与弹性容量体系
实现本地三节点 K3s 同构环境、脱敏生产快照、Gemini 图片和多参考图视频协议模拟、统一验收报告及故障注入。\n\n新增 Worker 容量控制器、资源与连接预算、任务恢复保护，并将生产验收拆分为 validation 执行和人工 CAS 放量。\n\n验证包括 Go 全量测试、PostgreSQL HTTP 集成测试、go vet、OpenAPI、ShellCheck、前端检查、迁移及发布脚本测试。
|
2026-07-31 18:02:24 +08:00 |
|
|
wangbo
|
262090db7b
|
perf(acceptance): 使用多钱包身份分片模拟并发
单一验收钱包会把预留和结算串行化，掩盖双节点 Worker 的真实吞吐。验收现在幂等准备 32 个隔离身份和钱包，按请求轮询 API Key，并在 Run 配置中登记允许的 Key/User 身份对；密钥仅经 stdin 传给集群内压测进程。\n\n仍保留真实账务、候选权限、回调、重复扣费和强杀恢复校验。\n\n验证：Go 全量测试、临时 PostgreSQL 集成测试、go vet、OpenAPI 生成、迁移安全检查、bash -n、ShellCheck。
|
2026-07-31 04:25:09 +08:00 |
|
|
wangbo
|
36546bd5c4
|
perf(postgres): 回收突发连接并等待验收副作用
失败 Run 的未提交任务已取消，但退款 outbox 尚未完成时下一轮会继承 API 连接高水位和 canceled acquire 增量，污染容量验收。
新增 AI_GATEWAY_DATABASE_MAX_CONN_IDLE_SECONDS，生产配置 30 秒回收突发空闲连接；验收中止后等待旧任务、退款、回调和数据库连接全部收敛后才允许新负载启动。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
|
2026-07-31 03:46:41 +08:00 |
|
|
wangbo
|
75a56b21bc
|
perf(acceptance): 将 API 连接池提升至 64
P24 千并发在 API Pool 48 下仍出现 acquired 接近上限及 canceled acquire 增长，而 Worker Pool 仅使用 3 条连接，PostgreSQL 实际连接数仍有安全余量。
将生产 API Pool 默认值提升至 64，并允许通过 AI_GATEWAY_ACCEPTANCE_API_DATABASE_MAX_CONNS 配置单次验收；Worker 档位与 min-idle=4 保持不变。
验证：bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
|
2026-07-31 03:38:28 +08:00 |
|
|
wangbo
|
2529679b67
|
perf(postgres): 分离 API 池并降低连接预热
生产同构千并发请求在干净队列上复现 API Pool 31/32、idle=1 且 canceled acquire 持续增长，Worker Pool 仅使用少量连接，确认瓶颈位于 API 数据库连接预算而非 Worker 执行槽。
新增可配置的 AI_GATEWAY_DATABASE_MIN_IDLE_CONNS，生产仅预热 4 条连接；API Pool 独立固定为 48，Worker Pool 继续跟随 P24/P28/P32 的 32/36/40 档位。发布工具、Kubernetes 清单、验收门禁和文档同步更新。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
|
2026-07-31 03:28:43 +08:00 |
|
|
wangbo
|
3053ba4925
|
feat(acceptance): 增加生产同构媒体压力验收模式
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。
新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。
验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
|
2026-07-30 23:06:19 +08:00 |
|
|
wangbo
|
7c142f5960
|
fix(deploy): 补齐集群备份兼容与切换前门禁
阿里云 OSS 的 S3 兼容层要求 virtual-hosted addressing，且 boto3 需要使用 Signature V2。本提交为 Barman 的归档、备份、保留与恢复统一挂载 AWS 配置，并将实际 WAL 归档和近期全备设为切换硬门禁。
同时补充 CNPG/etcdutl 固定版本安装、显式主库切换、三节点逐台停机、OSS 快照下载校验与远端临时 Secret 清理。已通过 ShellCheck、Kustomize、服务端 dry-run、迁移测试、发布脚本测试、敏感信息扫描及生产 precutover 验收。
|
2026-07-28 06:46:09 +08:00 |
|
|
wangbo
|
95ddfb2a04
|
fix(deploy): 为 K3s 配置容器镜像端点
三节点 containerd 增加 Docker Hub、GHCR 与 Quay 的 DaoCloud 镜像端点，解决生产节点直连公共 Registry 超时导致 Pod sandbox 无法创建的问题。
新增逐节点滚动刷新脚本，每次等待节点重新 Ready 并实际拉取 pause 镜像后才继续，避免同时重启 etcd 成员。初始 K3s 安装也会预置同一 registries.yaml。
验证：三节点镜像端点均返回 Registry 认证响应，bash -n、ShellCheck。
|
2026-07-28 05:05:33 +08:00 |
|
|
wangbo
|
4e60bf1c64
|
fix(deploy): 本地校验并分发固定 K3s 二进制
生产节点访问 GitHub Release 失败时，改由本机下载 v1.36.2+k3s1 amd64 二进制，使用固定官方 SHA-256 校验后分发到三节点，再让官方安装器跳过远端下载。
同时将运行手册顺序改为先完成公网端口隔离，再安装 K3s。
验证：bash -n、ShellCheck、官方 checksum 获取与节点失败现场。
|
2026-07-28 04:50:54 +08:00 |
|
|
wangbo
|
971540a2a4
|
feat(deploy): 增加三节点 K3s 高可用迁移能力
新增 WireGuard 全互联、三 server embedded-etcd K3s、CloudNativePG 双实例、Barman OSS 备份、双 NGINX、Kubernetes Secret/RBAC 与本地旧文件按严格 24 小时清理。
新增维护窗口数据迁移、digest 固定滚动发布、应用回滚、跨节点文件 E2E、节点和数据库故障演练、CNPG 恢复与 etcd 快照验收脚本；洛杉矶仅作为带 NoSchedule 污点的仲裁节点。
所有生产 Secret 只在执行时从 0600 本地环境和旧生产容器导入，仓库不保存凭据；公网入口保持人工 DNS 故障切换边界。
验证：bash -n、ShellCheck、kubectl kustomize、Node 语法检查、Secret 扫描、OSS put/head/delete 实测。
|
2026-07-28 04:37:31 +08:00 |
|