BCAI/easyai-ai-gateway
3
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
440 Commits 24 Branches 10 Tags
e77bd177547e2fad9e18117e95116533c02d4f34
Commit Graph
34 Commits
Author SHA1 Message Date
wangbo 53589fe3ef fix(cluster): 以宁波专用节点替换深圳 Worker 
移除深圳节点及中继拓扑，新增第二台宁波 K3s agent 的全互联 WireGuard 接入和严格 UFW 门禁。\n\nWorker Deployment 与容量控制器仅选择 easyai.io/worker=true 节点，使原宁波混部节点退出 Worker 资源预算，生产基线恢复为宁波专用节点与香港节点各一实例。\n\n已通过 Go 全量测试、go vet、gofmt、迁移安全检查、bash -n、ShellCheck、发布脚本测试和 Kubernetes 清单渲染。
 2026-08-01 10:47:01 +08:00
wangbo 70b0ffb9ae feat(cluster): 接入深圳专用 Worker 节点 
新增深圳 K3s agent 与四节点 WireGuard 全互联接入脚本，将深圳归入香港逻辑 Worker 池并用污点限制为 Worker 专用。\n\n生产验收支持宁波 0、香港逻辑池 2 的双物理节点基线，补充副本拓扑分散、容量档位、链路巡检和零副本站点校验。\n\n已通过 Go 全量测试、go vet、govulncheck、迁移安全检查、ShellCheck、发布脚本测试、前后端 lint/test/build、Compose 与 Kubernetes 渲染校验。
 2026-08-01 09:38:10 +08:00
wangbo 132cda35d8 fix(acceptance): 隔离控制面抖动与租约瞬态故障 
线上 P24 验收暴露出高频 kubectl exec 放大 K3s API 压力、门禁查询挤占关键连接池，以及 PostgreSQL 锁超时被误判为租约所有权丢失。

本次合并验收身份查询、在租约有效期内重试瞬态续期错误、修复人工审核残留 attempt，并增加滚动后 etcd 稳定窗口、节点直连指标和双站独立报告。

验证：Go 全量测试、go vet、聚焦 race、gofmt、迁移安全检查、bash -n、ShellCheck、manual release test。
 2026-08-01 01:51:44 +08:00
wangbo be6ce7f78a fix(acceptance): 修复线上双站压测失真 
将线上压力生成器拆分为宁波、香港宿主机上的 K3s 外进程，按全局序号分片并保守合并站点报告，避免操作者本机上行带宽成为容量瓶颈。\n\n为每次负载执行生成独立幂等键和 Run 级图片变体，阻止三轮验收重放旧任务或复用历史媒体缓存，并新增直接 OSS 物化一致性门禁。\n\n验证：Go 全量测试、go vet、迁移安全检查、bash -n、ShellCheck、manual-release-test 和双宿主机 linux/amd64 启动冒烟通过。
 2026-08-01 01:02:07 +08:00
wangbo 9fd9c267d6 fix(acceptance): 配置化资源预热门槛 
宁波节点混部 legacy 生产服务，固定 65% 预热门槛无法反映当前可用资源，也无法通过停止 staging/CI 实质改善。

预热内存门槛现在可在 50–79% 显式配置并写入报告；80%运行目标、85%硬上限和 15 分钟稳定窗口保持不变。

验证：bash -n、ShellCheck、验收报告测试。
 2026-08-01 00:15:05 +08:00
wangbo 3a01a5c93e fix(acceptance): 允许无运行时差异的工具更新 
验收编排修复被正确分类为 components=none，但旧 CAS 要求工具 HEAD 与线上 release 完全相等，导致无运行时变化也必须重发镜像。

现在仅允许线上 release 到工具 HEAD 之间为无迁移、无 API/Web 运行时变化的后代提交；任何运行时或迁移差异仍立即阻断。

验证：bash -n、ShellCheck、验收报告测试、release-components 分类检查。
 2026-08-01 00:11:25 +08:00
wangbo a612c3cb4a fix(acceptance): 按发布隔离验收身份组 
历史验收主身份仍引用固定 production-acceptance 组，严格隔离门禁因此在切换 validation 前正确阻断。

验收组改为包含 release SHA 的稳定键；历史身份保持可审计，本次分片及已有 API Key 幂等迁移到当前发布专属组，避免清理或影响正式身份。

验证：bash -n、ShellCheck、验收报告测试、线上引用关系只读审计。
 2026-08-01 00:10:41 +08:00
wangbo 744e4acd1f fix(cluster): 消除发布前门禁假阴性 
发布前巡检在 pipefail 下直接将 K3s readyz 管给 grep -q，可能因 SIGPIPE 误报 etcd 失败；链路和 PostgreSQL 断言失败时也缺少可定位证据。

改为完整读取 readyz，输出六向链路指标，并为复制、归档、备份和配置投影增加明确失败原因；同时缩短 10 包探测间隔，不改变丢包与 RTT 门槛。

验证：bash -n、ShellCheck、生产 precutover 只读巡检。
 2026-07-31 23:34:22 +08:00
wangbo 709434a256 fix(acceptance): 自举线上隔离验收身份 
线上验收此前依赖人工准备管理员 Token、专属用户、API Key、参考图片和数据库连接，导致跳过本地验收后仍无法安全、可重复执行。

本提交增加短期 Manager 登录、隔离用户/钱包/API Key 幂等创建、Pod 内脱敏快照导出和合成图片真实上传；敏感材料仅保留在进程或 0600 临时文件中。

验证：bash -n、ShellCheck、验收报告测试、参考图片生成测试、git diff --check。
 2026-07-31 23:25:43 +08:00
wangbo 0b681275ed fix(acceptance): 支持显式跳过本地验收 
在用户明确授权时，将本地原生与 amd64 制品阶段记录为 skipped/waived，并直接使用当前生产脱敏快照进入线上模拟。修复线上报告合并未写入生产 Run ID 导致后续 promote CAS 必然失败的问题。已通过报告回归测试、bash -n、ShellCheck 和 diff 检查。
 2026-07-31 23:15:22 +08:00
wangbo e05922b0f4 feat(acceptance): 建立同构验收与弹性容量体系 
实现本地三节点 K3s 同构环境、脱敏生产快照、Gemini 图片和多参考图视频协议模拟、统一验收报告及故障注入。\n\n新增 Worker 容量控制器、资源与连接预算、任务恢复保护，并将生产验收拆分为 validation 执行和人工 CAS 放量。\n\n验证包括 Go 全量测试、PostgreSQL HTTP 集成测试、go vet、OpenAPI、ShellCheck、前端检查、迁移及发布脚本测试。
 2026-07-31 18:02:24 +08:00
wangbo 580f84f569 perf(acceptance): 解耦 API 媒体请求并发 
生产同构验收将 API 请求体并发独立配置为 AI_GATEWAY_ACCEPTANCE_API_MEDIA_REQUEST_CONCURRENCY，默认每个 API 128；Worker 执行槽和媒体物化仍按 P24/P28/P32 阶梯变化。\n\n这避免同步 Gemini 请求在整个任务生命周期占用仅 24/28/32 个入口槽，并继续由 RSS 与节点内存门禁验证安全上限。\n\n验证：bash -n；shellcheck -x；git diff --check。
 2026-07-31 09:39:23 +08:00
wangbo 5dd7765ae3 perf(worker): 批量填充异步执行槽 
跨地域同步复制下逐任务准入会为每个 River Job 支付一次事务提交 RTT，导致 P24 实际只能维持少量运行任务。调度器现在按全局容量窗口准备 FIFO 批次，在同一 PostgreSQL 事务内逐项校验队首、创建租约并插入唯一 River Job，一次提交即可填满可用槽；任一 Hook 失败时整批原子回滚。\n\n验收压力采样同时排除正在终止的 Ready Pod，避免滚动切换期间误连已移除容器。\n\n验证：真实 PostgreSQL 批量提交及整批回滚集成测试、Go 全量测试、go vet、runner/store race、gofmt、bash -n、ShellCheck、迁移安全检查通过。
 2026-07-31 07:59:57 +08:00
wangbo 1bb4b2ab12 fix(acceptance): 同步配置 API 媒体并发 
P24/P28/P32 之前只调整 Worker 媒体并发，API 仍使用默认每实例 16，导致入口实际容量低于 Worker 执行槽。现在按档位同时设置两地 API 的媒体请求与物化并发。\n\n验证：bash -n、ShellCheck。
 2026-07-31 04:40:59 +08:00
wangbo 61b4417695 fix(acceptance): 继承分片身份的验收角色 
分片 API Key 已具有正确 scopes 和候选规则，但空角色无法通过基础接口权限检查。创建和重用分片身份时同步主验收用户角色，保持专属用户组与钱包隔离不变。\n\n验证：bash -n、ShellCheck。
 2026-07-31 04:31:50 +08:00
wangbo 262090db7b perf(acceptance): 使用多钱包身份分片模拟并发 
单一验收钱包会把预留和结算串行化，掩盖双节点 Worker 的真实吞吐。验收现在幂等准备 32 个隔离身份和钱包，按请求轮询 API Key，并在 Run 配置中登记允许的 Key/User 身份对；密钥仅经 stdin 传给集群内压测进程。\n\n仍保留真实账务、候选权限、回调、重复扣费和强杀恢复校验。\n\n验证：Go 全量测试、临时 PostgreSQL 集成测试、go vet、OpenAPI 生成、迁移安全检查、bash -n、ShellCheck。
 2026-07-31 04:25:09 +08:00
wangbo 8ce120631f fix(acceptance): 仅在连接池持续满载时阻断验收 
验收压力采样仍记录连接获取取消计数，但单次上下文取消不再被误判为池饱和。继续对连续六个采样周期满池、租约错误、数据库连接、节点内存和 Pod RSS 执行硬门禁。\n\n验证：bash -n、ShellCheck、真实 P24 压力报告回归。
 2026-07-31 04:07:14 +08:00
wangbo 36546bd5c4 perf(postgres): 回收突发连接并等待验收副作用 
失败 Run 的未提交任务已取消，但退款 outbox 尚未完成时下一轮会继承 API 连接高水位和 canceled acquire 增量，污染容量验收。

新增 AI_GATEWAY_DATABASE_MAX_CONN_IDLE_SECONDS，生产配置 30 秒回收突发空闲连接；验收中止后等待旧任务、退款、回调和数据库连接全部收敛后才允许新负载启动。

验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
 2026-07-31 03:46:41 +08:00
wangbo 75a56b21bc perf(acceptance): 将 API 连接池提升至 64 
P24 千并发在 API Pool 48 下仍出现 acquired 接近上限及 canceled acquire 增长，而 Worker Pool 仅使用 3 条连接，PostgreSQL 实际连接数仍有安全余量。

将生产 API Pool 默认值提升至 64，并允许通过 AI_GATEWAY_ACCEPTANCE_API_DATABASE_MAX_CONNS 配置单次验收；Worker 档位与 min-idle=4 保持不变。

验证：bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
 2026-07-31 03:38:28 +08:00
wangbo 2529679b67 perf(postgres): 分离 API 池并降低连接预热 
生产同构千并发请求在干净队列上复现 API Pool 31/32、idle=1 且 canceled acquire 持续增长，Worker Pool 仅使用少量连接，确认瓶颈位于 API 数据库连接预算而非 Worker 执行槽。

新增可配置的 AI_GATEWAY_DATABASE_MIN_IDLE_CONNS，生产仅预热 4 条连接；API Pool 独立固定为 48，Worker Pool 继续跟随 P24/P28/P32 的 32/36/40 档位。发布工具、Kubernetes 清单、验收门禁和文档同步更新。

验证：Go 全量测试、gofmt、bash -n、ShellCheck、kubectl kustomize 和 git diff --check 通过。
 2026-07-31 03:28:43 +08:00
wangbo 2606cc8223 fix(acceptance): 清理中止验收的未提交任务 
验收失败后，排队及尚未提交上游的任务会继续占用队列与 API 数据库连接池，导致下一轮容量测试被历史负载污染。

中止验收时仅取消确认未提交上游的任务，删除其未提交 attempt 与准入记录，释放租约并生成幂等退款事件；提交中或已收到上游响应的任务继续自然收敛。新建验收前也会清理历史失败 Run 的安全遗留任务，并等待其余任务终态。

验证：Go 全量测试通过；临时 PostgreSQL 集成测试覆盖排队、运行未提交、提交中与退款事件；gofmt、bash -n、ShellCheck、git diff --check 通过。
 2026-07-31 03:16:38 +08:00
wangbo 1bd9e618ca fix(acceptance): 重试瞬时压力采样失败 
Pod 滚动后的首次 metrics 读取可能短暂失败，原采样器会直接退出且主流程忽略后台状态，导致验收缺少资源曲线。\n\n采样器现在允许两次瞬时失败，连续三次失败才中止；主流程同时检查采样进程状态，确保任何曲线中断都会明确阻断验收。\n\n验证：bash -n、ShellCheck、git diff --check。
 2026-07-31 03:03:11 +08:00
wangbo 78005aaf85 fix(acceptance): 兼容只读压测容器报告 
验收模拟器 Pod 使用只读根文件系统，失败报告缓冲不能依赖 mktemp。改为在 Shell 内存中捕获并回放压测 JSON，同时保留原始退出状态。\n\n验证：bash -n、ShellCheck、远端脚本语法检查、git diff --check。
 2026-07-31 02:56:11 +08:00
wangbo 489208cef9 fix(acceptance): 纳入 API 数据库池容量门禁 
高并发 Gemini 验收暴露两地 API 数据库池仍固定为 16，导致连接池满载、readiness 失败且压力曲线只监测 Worker，无法及时识别真实瓶颈。\n\n将容量档位的数据库连接池同步应用到 API，发布工具和生产清单保持同一配置；压力采样及日志门禁覆盖 API 与 Worker 四个连接池，并在失败时保留验收 JSON 报告。\n\n验证：bash -n、ShellCheck、kubectl kustomize、git diff --check。
 2026-07-31 02:46:10 +08:00
wangbo 7a193934ed fix(acceptance): 优先选择稳定版 Gemini 图片模型 
生产同构验收默认优先选择当前稳定版 gemini-3.1-flash-image，并在回退选择中将非 preview 模型置于预览版之前，避免选中并发 5 的预览候选后与千请求八分钟门槛产生物理冲突。\n\n候选确定后的正式路由优先级与真实限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
 2026-07-31 02:27:19 +08:00
wangbo 3976cfb64d fix(acceptance): 在集群内驱动媒体压力 
将验收负载二进制改为在协议模拟器 Pod 内执行，并继续通过两个公网入口均分请求，避免本机上行带宽污染 Gateway 的 8 分钟吞吐门槛。\n\nAPI Key 与 Run Token 仅通过 kubectl exec 标准输入传入进程，不写入 Pod 规格、命令参数或验收报告；响应仍由客户端流式解码并计算哈希。\n\n验证：bash -n；ShellCheck；git diff --check。
 2026-07-31 02:07:50 +08:00
wangbo 66db98ec1c fix(acceptance): 避免用户组阻塞候选队列 
验收用户组仅承担身份和账务隔离，不再创建非约束性的组级并发队列，避免不同生产候选之间出现 FIFO 队头阻塞。真实候选自身的并发、排队和限流策略保持不变。\n\n验证：bash -n；ShellCheck；git diff --check。
 2026-07-31 01:59:09 +08:00
wangbo a2dea335e0 fix(acceptance): 隔离高并发验收用户组 
为生产同构验收创建并绑定专属用户组，避免验收账号继承默认并发 5 的限流。\n\n验收脚本通过管理 API 幂等维护用户组，并在数据库侧校验唯一用户、唯一活跃 Key、并发策略和无外部引用。\n\n验证：bash -n；ShellCheck；git diff --check。
 2026-07-31 01:49:12 +08:00
wangbo 0c9960d2e6 fix(acceptance): 预授权生产候选访问规则 
生产同构 Gemini 验收在入口路由修复后暴露专属 API Key 无法通过生产 Access Rule，所有已创建任务均以 no_model_candidate 失败。验收脚本现在会为选中的 Gemini 和视频候选幂等授予 platform、platform_model、base_model 三层访问权限，并在创建 Run 前反查规则完整性。\n\n验证：bash -n、ShellCheck 与 git diff --check 通过。
 2026-07-31 01:18:14 +08:00
wangbo 3b67038660 fix(acceptance): 移除生产验收持久管理隧道 
管理 API 改为通过短 SSH 在宁波节点调用内部 api-ningbo-edge Service，避免长期端口转发与大量集群控制连接竞争导致 SSH 握手限流。Token 和请求体以 Base64 传输且不输出。\n\n验证：内部 traffic-mode 端到端返回 200；GNU Bash 3.2；bash -n；shellcheck -x -P .；git diff --check。
 2026-07-31 00:41:56 +08:00
wangbo 0e22ccb0b8 fix(acceptance): 兼容 macOS Bash 3.2 
将容量报告路径中的 Bash 4 小写参数展开替换为 POSIX tr，避免验收在提交首轮负载前因 bad substitution 中断。\n\n验证：GNU Bash 3.2.57 实际执行；bash -n；shellcheck -x -P .；git diff --check。
 2026-07-31 00:34:02 +08:00
wangbo 02f9071a37 fix(acceptance): 安全接管直接基线失败任务 
允许新发布在 validation 状态下接管其直接 base release 的失败 Run。接管前严格核对旧 Run 状态、流量 CAS 字段和 manifest 基线，并使用旧 CAS 字段中止旧 Run，再激活新 Run。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
 2026-07-31 00:28:28 +08:00
wangbo cec3d429af fix(acceptance): 支持失败验收无缝重试 
在 validation 保持正式流量关闭时，允许为同一 release 与镜像 digest 创建新 Run，并仅在确认旧 Run 已失败后通过 CAS 中止旧 Run、立即激活新 Run。避免验收控制连接异常后必须先长时间切回 live 才能重试。\n\n验证：bash -n；shellcheck -x -P .；git diff --check。
 2026-07-31 00:25:52 +08:00
wangbo 3053ba4925 feat(acceptance): 增加生产同构媒体压力验收模式 
引入动态流量门禁、隔离验收身份与协议级 Gemini/Volces 模拟器，覆盖双站点 API、Worker、PostgreSQL、River、账务、回调和媒体物化链路。

新增 P24/P28/P32 容量阶梯、Worker 强杀恢复、真实小流量 canary、CAS 放量和失败保持 validation 的生产编排；Worker 执行槽、连接池、媒体并发和双站点副本数改为环境配置。

验证：Go 全量测试、真实 PostgreSQL 迁移集成测试、迁移安全检查、OpenAPI 生成、ShellCheck、Kustomize、gofmt 和 git diff --check。
 2026-07-30 23:06:19 +08:00