wangbo
3d9ae74b87
fix(admission): 避免高并发准入锁占满连接池
...
将同进程相同准入键的请求先在内存中串行化，跨节点使用 pg_try_advisory_xact_lock 非阻塞竞争并在事务外退避，避免等待 advisory lock 时长期占用 PostgreSQL 连接。\n\n新增 64 路竞争回归测试，验证被占用锁下连接池峰值仅保留持锁者和单个尝试者；256 路 Gemini Base64 端到端压力通过，advisory wait 峰值为 0。
2026-07-31 06:31:24 +08:00
wangbo
4fa44f4c41
fix(admission): 限制媒体任务准入锁等待并发
...
媒体请求从认证、任务创建到异步准入登记共用可配置的请求并发令牌，完成登记后立即释放。这样仍会尽早丢弃 Base64 正文，但不会让高并发请求各占一个 PostgreSQL 连接等待 advisory lock。\n\n扩展 Gemini 双角色压力测试，使用生产同档 API/Worker 连接池并记录数据库连接与 advisory lock 峰值。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；256 个 256 KiB 异步 Gemini 请求全部通过，连接峰值 45、锁等待峰值 14。
2026-07-31 06:05:54 +08:00
wangbo
4af86b22ee
fix(worker): 将 Gemini 同步请求交由异步队列执行
...
将非流式 Gemini generateContent 改为 River Worker 执行，API 通过批量状态查询等待完成，避免高并发同步请求耗尽 API 数据库连接池。\n\n生成图片在持久化时保存带哈希的资产引用，响应恢复时下载并校验后重建 Base64，数据库不保存媒体原文。请求体物化增加前置内存门禁，并扩展双 API/Worker PostgreSQL 压力测试。\n\n验证：go test ./... -count=1；go vet ./...；pnpm openapi；迁移安全检查；64 与 256 请求双角色异步 Gemini 压力测试。
2026-07-31 05:49:45 +08:00
wangbo
352e23e099
perf(media): 生产媒体直传阿里云 OSS
...
生产同构验收确认 server_main_openapi 上传通道在媒体高并发下产生 381 个 502，并将已创建任务的 p95 拉高到 172 秒。\n\n为 request_asset 与 image_result 增加环境配置控制的阿里云 OSS 直传，保留普通上传原通道；使用 Kubernetes Secret 注入凭据，并对签名、重试、场景隔离和生产配置校验增加测试。\n\n验证：Go 全量测试、go vet、OpenAPI、迁移安全检查、Kustomize/Compose 渲染、gofmt 与 git diff --check 均通过；真实 OSS PUT/CDN 读取探针通过且对象已清理。
2026-07-31 05:20:27 +08:00
wangbo
7b2ab786a2
perf(acceptance): 流式生成唯一图片输入
...
避免千请求验收重复复用同一图片内容而争用同一资产记录，使每个任务走真实独立上传与物化链路。\n\nGemini 请求体改为流式 Base64 编码，降低压测客户端的大对象内存峰值；新增尺寸、哈希唯一性和请求体还原测试。\n\n验证：Go 全量测试、go vet、迁移安全检查、bash -n、ShellCheck、gofmt、git diff --check 均通过。
2026-07-31 04:55:31 +08:00
wangbo
1bb4b2ab12
fix(acceptance): 同步配置 API 媒体并发
...
P24/P28/P32 之前只调整 Worker 媒体并发，API 仍使用默认每实例 16，导致入口实际容量低于 Worker 执行槽。现在按档位同时设置两地 API 的媒体请求与物化并发。\n\n验证：bash -n、ShellCheck。
2026-07-31 04:40:59 +08:00
wangbo
61b4417695
fix(acceptance): 继承分片身份的验收角色
...
分片 API Key 已具有正确 scopes 和候选规则，但空角色无法通过基础接口权限检查。创建和重用分片身份时同步主验收用户角色，保持专属用户组与钱包隔离不变。\n\n验证：bash -n、ShellCheck。
2026-07-31 04:31:50 +08:00
wangbo
262090db7b
perf(acceptance): 使用多钱包身份分片模拟并发
...
单一验收钱包会把预留和结算串行化，掩盖双节点 Worker 的真实吞吐。验收现在幂等准备 32 个隔离身份和钱包，按请求轮询 API Key，并在 Run 配置中登记允许的 Key/User 身份对；密钥仅经 stdin 传给集群内压测进程。\n\n仍保留真实账务、候选权限、回调、重复扣费和强杀恢复校验。\n\n验证：Go 全量测试、临时 PostgreSQL 集成测试、go vet、OpenAPI 生成、迁移安全检查、bash -n、ShellCheck。
2026-07-31 04:25:09 +08:00
wangbo
8ce120631f
fix(acceptance): 仅在连接池持续满载时阻断验收
...
验收压力采样仍记录连接获取取消计数，但单次上下文取消不再被误判为池饱和。继续对连续六个采样周期满池、租约错误、数据库连接、节点内存和 Pod RSS 执行硬门禁。\n\n验证：bash -n、ShellCheck、真实 P24 压力报告回归。
2026-07-31 04:07:14 +08:00
wangbo
add80f781e
perf(wallet): 避免同钱包预留占满数据库池
...
千并发验收的 pg_stat_activity 显示大量事务锁等待集中在同一验收钱包，等待行锁的请求持续占用 API Pool，导致 canceled acquire 和排队增长。
在每个 Store 内增加 256 槽钱包预留分片锁，同一钱包先在进程内串行再申请数据库连接；跨 API 节点仍由 PostgreSQL 行锁保证余额与幂等正确性。
验证：Go 全量测试、临时 PostgreSQL 并发账务集成测试、gofmt 和 git diff --check 通过。
2026-07-31 03:55:22 +08:00
wangbo
36546bd5c4
perf(postgres): 回收突发连接并等待验收副作用
...
失败 Run 的未提交任务已取消，但退款 outbox 尚未完成时下一轮会继承 API 连接高水位和 canceled acquire 增量，污染容量验收。
新增 AI_GATEWAY_DATABASE_MAX_CONN_IDLE_SECONDS，生产配置 30 秒回收突发空闲连接；验收中止后等待旧任务、退款、回调和数据库连接全部收敛后才允许新负载启动。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:46:41 +08:00
wangbo
75a56b21bc
perf(acceptance): 将 API 连接池提升至 64
...
P24 千并发在 API Pool 48 下仍出现 acquired 接近上限及 canceled acquire 增长，而 Worker Pool 仅使用 3 条连接，PostgreSQL 实际连接数仍有安全余量。
将生产 API Pool 默认值提升至 64，并允许通过 AI_GATEWAY_ACCEPTANCE_API_DATABASE_MAX_CONNS 配置单次验收；Worker 档位与 min-idle=4 保持不变。
验证：bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:38:28 +08:00
wangbo
2529679b67
perf(postgres): 分离 API 池并降低连接预热
...
生产同构千并发请求在干净队列上复现 API Pool 31/32、idle=1 且 canceled acquire 持续增长，Worker Pool 仅使用少量连接，确认瓶颈位于 API 数据库连接预算而非 Worker 执行槽。
新增可配置的 AI_GATEWAY_DATABASE_MIN_IDLE_CONNS，生产仅预热 4 条连接；API Pool 独立固定为 48，Worker Pool 继续跟随 P24/P28/P32 的 32/36/40 档位。发布工具、Kubernetes 清单、验收门禁和文档同步更新。
验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
2026-07-31 03:28:43 +08:00
wangbo
2606cc8223
fix(acceptance): 清理中止验收的未提交任务
...
验收失败后，排队及尚未提交上游的任务会继续占用队列与 API 数据库连接池，导致下一轮容量测试被历史负载污染。
中止验收时仅取消确认未提交上游的任务，删除其未提交 attempt 与准入记录，释放租约并生成幂等退款事件；提交中或已收到上游响应的任务继续自然收敛。新建验收前也会清理历史失败 Run 的安全遗留任务，并等待其余任务终态。
验证：Go 全量测试通过；临时 PostgreSQL 集成测试覆盖排队、运行未提交、提交中与退款事件；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 03:16:38 +08:00
wangbo
1bd9e618ca
fix(acceptance): 重试瞬时压力采样失败
...
Pod 滚动后的首次 metrics 读取可能短暂失败，原采样器会直接退出且主流程忽略后台状态，导致验收缺少资源曲线。\n\n采样器现在允许两次瞬时失败，连续三次失败才中止；主流程同时检查采样进程状态，确保任何曲线中断都会明确阻断验收。\n\n验证：bash -n、ShellCheck、git diff --check。
2026-07-31 03:03:11 +08:00
wangbo
78005aaf85
fix(acceptance): 兼容只读压测容器报告
...
验收模拟器 Pod 使用只读根文件系统，失败报告缓冲不能依赖 mktemp。改为在 Shell 内存中捕获并回放压测 JSON，同时保留原始退出状态。\n\n验证：bash -n、ShellCheck、远端脚本语法检查、git diff --check。
2026-07-31 02:56:11 +08:00
wangbo
489208cef9
fix(acceptance): 纳入 API 数据库池容量门禁
...
高并发 Gemini 验收暴露两地 API 数据库池仍固定为 16，导致连接池满载、readiness 失败且压力曲线只监测 Worker，无法及时识别真实瓶颈。\n\n将容量档位的数据库连接池同步应用到 API，发布工具和生产清单保持同一配置；压力采样及日志门禁覆盖 API 与 Worker 四个连接池，并在失败时保留验收 JSON 报告。\n\n验证：bash -n、ShellCheck、kubectl kustomize、git diff --check。
2026-07-31 02:46:10 +08:00
wangbo
7a193934ed
fix(acceptance): 优先选择稳定版 Gemini 图片模型
...
生产同构验收默认优先选择当前稳定版 gemini-3.1-flash-image，并在回退选择中将非 preview 模型置于预览版之前，避免选中并发 5 的预览候选后与千请求八分钟门槛产生物理冲突。\n\n候选确定后的正式路由优先级与真实限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 02:27:19 +08:00
wangbo
e0f841e8fb
fix(admission): 按候选唤醒同步队列头
...
同步准入释放容量后，分别唤醒每个独立平台模型队列的 FIFO 队头；只有任务实际绑定用户组时才同时约束用户组队头，避免一个已饱和候选阻塞其他候选补位。\n\n调度器单次最多处理 256 个真实队头，不唤醒整个等待队列。新增 PostgreSQL 集成测试覆盖无用户组的双候选并行唤醒，以及共享用户组下仍保持组级 FIFO。\n\n验证：gofmt；Store/Runner 聚焦测试；一次性 PostgreSQL 集成测试；git diff --check。
2026-07-31 02:18:22 +08:00
wangbo
3976cfb64d
fix(acceptance): 在集群内驱动媒体压力
...
将验收负载二进制改为在协议模拟器 Pod 内执行，并继续通过两个公网入口均分请求，避免本机上行带宽污染 Gateway 的 8 分钟吞吐门槛。\n\nAPI Key 与 Run Token 仅通过 kubectl exec 标准输入传入进程，不写入 Pod 规格、命令参数或验收报告；响应仍由客户端流式解码并计算哈希。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 02:07:50 +08:00
wangbo
66db98ec1c
fix(acceptance): 避免用户组阻塞候选队列
...
验收用户组仅承担身份和账务隔离，不再创建非约束性的组级并发队列，避免不同生产候选之间出现 FIFO 队头阻塞。真实候选自身的并发、排队和限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 01:59:09 +08:00
wangbo
a2dea335e0
fix(acceptance): 隔离高并发验收用户组
...
为生产同构验收创建并绑定专属用户组，避免验收账号继承默认并发 5 的限流。\n\n验收脚本通过管理 API 幂等维护用户组，并在数据库侧校验唯一用户、唯一活跃 Key、并发策略和无外部引用。\n\n验证：bash -n；ShellCheck；git diff --check。
2026-07-31 01:49:12 +08:00
wangbo
2bfeb3e179
fix(acceptance): 为高并发验收启用有界排队
...
生产同构 Gemini 千请求在真实候选并发饱和后因 queueing disabled 返回 429，同时单台压测机建立千条 WAN TCP 产生连接层 reset。仅对 acceptance 与 acceptance_canary 覆盖为 10000 条、最长 15 分钟的有界等待队列，保留候选原始并发和 RPM/TPM 上限；压测传输强制 HTTP/2 复用连接，避免单源连接风暴。正式 production 策略不变。\n\n验证：acceptance-load 与 runner 定向测试通过，新增生产策略不变和验收队列边界单测；gofmt、bash -n、ShellCheck、git diff --check 通过。
2026-07-31 01:34:16 +08:00
wangbo
0c9960d2e6
fix(acceptance): 预授权生产候选访问规则
...
生产同构 Gemini 验收在入口路由修复后暴露专属 API Key 无法通过生产 Access Rule，所有已创建任务均以 no_model_candidate 失败。验收脚本现在会为选中的 Gemini 和视频候选幂等授予 platform、platform_model、base_model 三层访问权限，并在创建 Run 前反查规则完整性。\n\n验证：bash -n、ShellCheck 与 git diff --check 通过。
2026-07-31 01:18:14 +08:00
wangbo
cd9c8d56ab
fix(nginx): 将原生模型接口转发至 API
...
生产同构 Gemini 验收发现 /v1beta 请求被 Web 入口返回 405，导致请求在到达 Worker 前全部失败。补齐 /v1 和 /v1beta 原生兼容路由，沿用 API 的长请求超时、无缓冲和双上游故障切换配置。\n\n验证：使用 nginx:1.27-alpine 对完整站点配置执行 nginx -t 通过。
2026-07-31 01:03:51 +08:00
wangbo
3b67038660
fix(acceptance): 移除生产验收持久管理隧道
...
管理 API 改为通过短 SSH 在宁波节点调用内部 api-ningbo-edge Service，避免长期端口转发与大量集群控制连接竞争导致 SSH 握手限流。Token 和请求体以 Base64 传输且不输出。\n\n验证：内部 traffic-mode 端到端返回 200；GNU Bash 3.2；bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:41:56 +08:00
wangbo
0e22ccb0b8
fix(acceptance): 兼容 macOS Bash 3.2
...
将容量报告路径中的 Bash 4 小写参数展开替换为 POSIX tr，避免验收在提交首轮负载前因 bad substitution 中断。\n\n验证：GNU Bash 3.2.57 实际执行；bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:34:02 +08:00
wangbo
02f9071a37
fix(acceptance): 安全接管直接基线失败任务
...
允许新发布在 validation 状态下接管其直接 base release 的失败 Run。接管前严格核对旧 Run 状态、流量 CAS 字段和 manifest 基线，并使用旧 CAS 字段中止旧 Run，再激活新 Run。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:28:28 +08:00
wangbo
cec3d429af
fix(acceptance): 支持失败验收无缝重试
...
在 validation 保持正式流量关闭时，允许为同一 release 与镜像 digest 创建新 Run，并仅在确认旧 Run 已失败后通过 CAS 中止旧 Run、立即激活新 Run。避免验收控制连接异常后必须先长时间切回 live 才能重试。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
2026-07-31 00:25:52 +08:00
wangbo
3053ba4925
feat(acceptance): 增加生产同构媒体压力验收模式
...
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。
新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。
验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
2026-07-30 23:06:19 +08:00
wangbo
f33d6d64e0
fix(queue): 回收失效任务并阻止不确定提交重放
...
Worker 进程心跳不能证明单个 River job goroutine 仍存活，改以任务执行租约作为回收所有权栅栏。\n\n排队任务若上一次 attempt 在租约中断时处于 submitting 或 response_received，则转入人工复核并生成 release 记录，不再重新提交上游；明确被上游拒绝的响应仍允许重试。\n\n验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 下相关 store 与 River 集成测试通过。
2026-07-30 19:15:19 +08:00
wangbo
9e06ed6162
fix(k3s): 让数据库探针访问节点本地 API
...
避免 kubernetes Service 在跨地域 API endpoint 间负载，导致 CNPG liveness/readiness 探针受 WireGuard 拥塞影响。\n\n通过 Downward API 将 KUBERNETES_SERVICE_HOST 设为 Pod 所在节点名，并使用本地 K3s 6443 端口。节点名解析、TLS 主机名校验和 kubectl 服务端 dry-run 均已通过。
2026-07-30 19:00:01 +08:00
wangbo
e1e18dbe58
fix(k3s): 放宽数据库隔离探针容忍窗口
...
避免跨节点控制面短时拥塞导致主库被默认 30 秒 liveness 窗口误判并重启。\n\n保持隔离检查开启，将 livenessProbeTimeout 调整为 300 秒，并把隔离检查连接与请求超时调整为 5 秒。已通过线上 CRD 字段核验和 kubectl 服务端 dry-run。
2026-07-30 18:55:47 +08:00
wangbo
38f87b6970
fix(queue): 防止过期执行占位阻塞与重复提交
...
队列恢复后，仍在运行标记中的 River job 可能保留 waiting admission，形成全局 FIFO 队头阻塞；同时旧执行在租约被接管后仍可能创建 attempt 或切换到 submitting。
新增 stale admission 自动让出机制，并用当前 execution token 对 attempt 创建和上游提交状态切换做 fencing。任务、River job 和结算状态均不在让出流程中改写。
验证：go vet ./...；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；真实 PostgreSQL 集成测试覆盖 stale admission 让出与旧 token 提交拦截。
2026-07-30 18:25:00 +08:00
wangbo
fa818e9ebf
fix(queue): 重新调度终态 River 任务
...
等待异步准入的任务只跳过仍处于活跃状态的 River Job；missing 或 terminal Job 交由准入调度器重新创建，避免非空 river_job_id 永久阻断旧任务。\n\n通用 River 恢复排除等待准入任务，消除双恢复循环与误导日志；事务回滚继续使用独立有界上下文。\n\n验证：真实 PostgreSQL 下异步 Worker 准入验收和跨 Store 队列集成测试均通过。
2026-07-30 17:42:33 +08:00
wangbo
e8893e2b8f
chore(release): 重新生成可回滚发布基线
...
当前 K3s 工作负载已核验并登记为 3aa78d3e5c0ba83227aaf33849c098405a89ceb5。\n\n使用新的不可变 SHA 重新生成 release manifest，避免覆盖已推送镜像 Tag，并恢复部署前后的自动回滚链。
2026-07-30 17:32:18 +08:00
wangbo
6bab0f0749
fix(worker): 防止事务泄漏并恢复滞留队列
...
为 PostgreSQL 连接增加可配置的事务空闲与锁等待超时，并在请求取消或 Worker 退出后使用独立有界上下文回滚事务。\n\n恢复过期任务时按批次使用 SKIP LOCKED，周期重建缺失或终态 River Job；锁等待超时只在确认尚未提交上游时安全重排，避免重复执行和重复结算。\n\n验证：完整 Go 测试、go vet、生产 Kustomize 渲染、gofmt 与 git diff --check 均通过。
2026-07-30 17:27:11 +08:00
wangbo
bc44af751e
fix(worker): 为容量扩展预留数据库连接
...
原因：单实例执行容量提升到 24 后，Worker 的 24 条数据库连接会被执行任务全部占用，导致心跳、选主、健康检查和并发租约续期超时。
影响：生产 Worker 连接池提高到 32，在 24 个执行槽之外保留 8 条控制连接；PostgreSQL max_connections=200，两实例与 API 的理论连接总量仍在安全范围内。
验证：kubectl kustomize deploy/kubernetes/production、git diff --check 通过；线上两地 Worker 按 32 条连接滚动后连续 3 分钟 Ready、0 重启、0 数据库控制错误、0 租约丢失。
2026-07-30 16:17:16 +08:00
wangbo
3aa78d3e5c
perf(worker): 按实例内存上限扩展异步容量
...
将策略推导出的集群目标与单 Worker 内存安全上限分离，避免失活实例的全部容量转移到单个 2 GiB Pod。
生产环境单实例上限和媒体物化并发设为 24；两实例正常时总容量由 16 提升至 48，后续可通过增加 Worker 节点继续扩展。新增 0093 迁移保存实例容量上限，并兼容滚动发布中的旧实例。
风险：更高媒体并发会增加 Worker 和节点内存压力，保留单实例 24 的硬边界并由持续监控观察 RSS、OOM、队列与节点余量。
验证：go test ./... -count=1；go vet ./...；真实 PostgreSQL 分配与故障转移测试；迁移安全检查；kubectl kustomize；gofmt -l；git diff --check。
2026-07-30 15:08:54 +08:00
wangbo
ea58d21d03
perf(queue): 限制大媒体任务内存并消除准入惊群
...
将同步与异步非文本任务的准入唤醒改为按任务和全局队首推进，批量续租等待者，避免大量请求同时争抢 advisory lock 和数据库连接。
对 Base64 请求解析、素材解码、上游媒体执行和结果物化增加分层并发限制，复用请求素材并释放重复 Gemini wire 数据；生产 API 默认入口解析并发 16，媒体物化并发 8。
新增 1000 个同步 Gemini 图像编辑请求的模拟上游压力验收，10 MiB 输入和输出下全部成功，Heap 峰值增长约 2.58 GiB，并验证共享上传哈希、单次 attempt 与本地零落盘。
验证：go test ./... -count=1；go vet ./...；gofmt -l 无输出；kubectl kustomize deploy/kubernetes/production；10 MiB Gemini Base64 千任务压力测试通过。
2026-07-30 13:13:32 +08:00
wangbo
fd3b6bf042
fix(worker): 增强队列启动与租约到期恢复
...
River 初始化遇到瞬时数据库超时时最多重试三次，并确保启动异常时先取消后台 LISTEN 和 Worker 上下文再关闭连接池，避免不就绪 Pod 卡在退出路径。Worker 维护循环每 15 秒执行幂等运行时恢复，使旧实例中断任务在执行租约到期后自动重排并继续触发孤儿 Job 救援。验证通过完整 Go 测试、go vet、竞态检查和迁移安全检查。
2026-07-29 23:55:49 +08:00
wangbo
f3dd7cd262
fix(queue): 自动救援失活 Worker 遗留任务
...
新增基于任务状态、执行租约和 Worker 心跳的孤儿 River Job 精确识别，每 15 秒将确认失活的 Job 恢复为可重试，避免等待 River 一小时通用救援窗口。运行时恢复同步清除中断及终态任务的 admission、执行令牌和并发租约，防止状态残留污染队列指标。正常运行中的长任务仍由 running 状态和活跃心跳保护。验证通过完整 Go 测试、go vet、竞态检查、迁移安全检查和 PostgreSQL 18 集成测试。
2026-07-29 23:44:29 +08:00
wangbo
98820378b7
perf(store): 消除同步复制下的鉴权与心跳锁阻塞
...
将 Worker 心跳与容量分配事务设为本地异步提交，避免同步副本延迟期间长期持有全局分配锁。API Key 使用时间改为异步提交并按分钟合并，消除高并发请求对同一热行的锁排队。业务任务、钱包、结算、并发租约等关键数据仍保持同步复制。验证通过完整 Go 测试、go vet、竞态测试、迁移安全检查及 PostgreSQL 18 集成测试。
2026-07-29 23:25:54 +08:00
wangbo
91451b3c86
fix(cluster): 修复身份事务阻塞与 Worker 容量抖动
...
将身份协调和安全事件心跳改为 PostgreSQL 单 Leader 执行，并从独立 Worker 进程中移除身份运行时，避免多副本重复写同一状态。
为安全事件事务增加锁等待、空闲事务超时及独立回滚上下文；Worker 需连续丢失六次心跳后才判定失效，降低跨节点抖动导致的容量反复扩缩。
验证：Go 全量测试、go vet、Race 聚焦测试、PostgreSQL 18 Leader/安全事件/Worker 分配集成测试及迁移测试通过。
2026-07-29 23:04:41 +08:00
wangbo
3886048e0f
fix(gemini): 移除空返图占位并暴露失败原因
...
Gemini 图片响应未包含可提取资源时，不再返回伪造占位图，改为非重试失败并保留安全拦截、候选结束状态和上游错误等结构化诊断。\n\n同步将诊断写入 HTTP 错误、任务结果、attempt 指标和日志，确保任务失败时不结算，并补充单元及 PostgreSQL 验收测试。\n\n验证：gofmt、go test ./... -count=1、go vet ./...、迁移安全检查、pnpm openapi。
2026-07-29 19:50:43 +08:00
wangbo
012823adff
fix(cluster): 保护 API 持久队列恢复启动阶段
...
API 角色启动时同样会恢复持久队列状态，积压较多时可能超过 liveness 初始窗口并被误杀。为两地 API 增加最长 10 分钟 startupProbe，旧 Pod 在新 Pod Ready 前继续服务。\n\n验证：kubectl kustomize、服务端 dry-run、生产滚动更新。
2026-07-29 19:18:42 +08:00
wangbo
d810881901
fix(cluster): 修正 server-main 内网端口
...
生产 easyai-server 实际监听 3001，原 K3s 配置指向 3000 导致内部调用和任务进度回调 connection refused。将 SERVER_MAIN_BASE_URL 与回调地址修正为 WireGuard 内网 3001。\n\n当前 server-main v3.8.3 尚未实现任务进度回调路由，后续仍需 backend 配套并重放回调。验证：两节点访问 3001、kubectl kustomize、服务端 dry-run。
2026-07-29 19:12:27 +08:00
wangbo
4371e57212
fix(cluster): 进一步收紧媒体 Worker 并发上限
...
全局 48 槽在持续观察中仍导致宁波 Worker OOM。按实测内存占用将生产全局异步执行上限降至 16，双节点各 8 槽，单节点接管最多 16 槽；高并发请求继续由持久队列吸收。\n\n未开启 queue_size 生产策略。验证：kubectl kustomize、服务端 dry-run。
2026-07-29 18:51:26 +08:00
wangbo
8ce1f857a4
fix(cluster): 延长 Worker 启动探针保护期
...
Worker 在切换后恢复积压 River 任务时可能超过原 liveness 初始窗口，导致健康端口尚未监听就被误杀。增加最长 10 分钟 startupProbe，启动完成后仍沿用原 readiness 和 liveness。\n\n验证：kubectl kustomize、服务端 dry-run、生产滚动更新。
2026-07-29 17:49:13 +08:00
wangbo
ba01cbef53
fix(cluster): 限制生产异步 Worker 执行容量
...
切换后集中恢复积压时，单 Worker 155 槽导致数据库连接池 24/24 饱和并触发香港 Pod OOM。将集群异步执行硬上限暂定为 48，使双 Worker 正常时各分配 24 槽，与每 Pod 连接池上限对齐。\n\n未开启任何 queue_size 生产策略。验证：kubectl kustomize、服务端 dry-run。
2026-07-29 17:45:23 +08:00
wangbo