BCAI/easyai-ai-gateway
3
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
350 Commits 24 Branches 10 Tags
3aa78d3e5c0ba83227aaf33849c098405a89ceb5
Commit Graph
68 Commits
Author SHA1 Message Date
wangbo 3aa78d3e5c perf(worker): 按实例内存上限扩展异步容量 
将策略推导出的集群目标与单 Worker 内存安全上限分离，避免失活实例的全部容量转移到单个 2 GiB Pod。

生产环境单实例上限和媒体物化并发设为 24；两实例正常时总容量由 16 提升至 48，后续可通过增加 Worker 节点继续扩展。新增 0093 迁移保存实例容量上限，并兼容滚动发布中的旧实例。

风险：更高媒体并发会增加 Worker 和节点内存压力，保留单实例 24 的硬边界并由持续监控观察 RSS、OOM、队列与节点余量。

验证：go test ./... -count=1；go vet ./...；真实 PostgreSQL 分配与故障转移测试；迁移安全检查；kubectl kustomize；gofmt -l；git diff --check。
 2026-07-30 15:08:54 +08:00
wangbo 4eb394bfbd test(cluster): 支持固定成功候选执行文件验收 
为跨节点真实文件验收增加可选平台模型筛选，避免同名模型的失效候选掩盖共享文件链路结果。\n\n验证：真实任务 7888708e-a870-4676-bdfc-4021853365a7 由香港 Worker 执行，输入与生成结果在两节点下载的长度和 SHA-256 一致；单 attempt、结算、扣费及回调去重断言通过。
 2026-07-29 17:43:34 +08:00
wangbo de1ce2274b fix(cluster): 等待 Worker 完全退出后执行跨节点验收 
修正缩容期间 Deployment 已显示零就绪但旧 Worker Pod 尚在退出时仍可能领取验收任务的竞态。真实任务提交前现在会确认宁波 Worker Pod 数量为零，并在失败路径尝试取消未完成的测试任务。\n\n验证：node --check、bash -n、ShellCheck、git diff --check。
 2026-07-29 17:29:15 +08:00
wangbo a073c840ac fix(cluster): 兼容 Worker 缩容后的空就绪状态 
Kubernetes 在 Deployment 缩容为 0 后可能省略 status.readyReplicas；验收脚本将空值按 0 处理，避免在提交真实任务前误判失败。
 2026-07-29 17:05:59 +08:00
wangbo 39b1541fa1 build(migrations): 固化 OIDC 迁移安全复核 
为已进入主干且会重建约束的 OIDC 迁移增加 SHA-256 锁定的精确规则豁免，文件内容或违规类型变化时仍会拒绝发布。

生产只读预检确认受影响表规模很小，现有 6 条身份配置均为 schema v1，OIDC 会话和撤销水位均为空；新增校验器测试覆盖允许项和校验和篡改。
 2026-07-29 16:19:00 +08:00
wangbo 9e4fc7362d feat(queue): 增加非文本模型分布式准入队列 
使用 PostgreSQL 统一同步与异步非文本任务的并发准入、持久化等待和 Worker 容量分配，并将生产 API 与独立 Worker 角色拆分。

补充策略管理、共享契约、OpenAPI、Kubernetes 双节点 Worker 清单及跨节点验收脚本；未默认启用任何生产 queue_size 策略。

已在原基线完成 Go、前端、迁移、Shell、Kustomize 与长任务容量验收；合入最新主干后将重新执行发布门禁。
 2026-07-29 16:15:43 +08:00
wangbo 135fb3d5b8 fix(deploy): 延长数据库副本重同步门限 
CNPG 主库在 5 秒内晋升，但跨地域 pg_rewind 需要重传约 1.27GB，原 6 分钟等待不足。将同步副本恢复等待扩展到 30 分钟，并增加退出时清理写入探针的保护。\n\n已通过 bash -n、ShellCheck 和 git diff --check。
 2026-07-29 03:46:16 +08:00
wangbo ea33be5d69 fix(deploy): 强化跨节点真实任务验收门禁 
修正宁波旧 Worker 在滚动退场期间仍可能领取任务的竞态，提交任务前要求仅保留唯一且明确禁用 Worker 的新 Pod。\n\n为临时验收 Key 分配 gpt-image-2 所需的最小平台访问资源，并让 multipart 参数对齐线上 2K 图像编辑请求。已通过 bash -n、ShellCheck、node --check，并完成真实跨节点任务验收。
 2026-07-29 03:24:02 +08:00
wangbo a642f43cf2 fix(deploy): 校准跨节点图片验收请求 
真实成功样本使用 2048x2048，验收脚本改用相同默认尺寸并允许环境覆盖。修正创建 API Key 响应中的 apiKey.id 读取，每次运行前清理本脚本遗留 Key，结束时删除新 Key。\n\n验证：bash -n、ShellCheck、node --check、git diff --check。
 2026-07-29 03:13:01 +08:00
wangbo 0bef13fbd7 fix(deploy): 完整读取边缘验收响应 
OpenAPI 响应较大，curl 通过管道交给 grep -q 时会因下游提前退出报写端关闭，造成健康服务被误判失败。改为完整读取各响应后再断言内容。\n\n验证：bash -n、ShellCheck、git diff --check。
 2026-07-29 02:56:50 +08:00
wangbo 6897fb3b66 fix(deploy): 使用站点专属 NodePort 
HostPort 被命名空间 PodSecurity baseline 拒绝，因此恢复无特权 Pod 配置，并为宁波、香港的 API/Web 增加只选择本站 Pod 的专属 NodePort Service。双 NGINX 和验收脚本按站点使用 31088/31089 与 31178/31179，避免主机本地访问共享 NodePort 时随机命中不可达的跨站 Pod。\n\n验证：kubectl kustomize、服务端 dry-run、bash -n、ShellCheck、无 hostPort/hostIP、git diff --check。
 2026-07-29 02:40:57 +08:00
wangbo 006609569d fix(deploy): 稳定边缘到站点的固定入口 
主机本地访问跨站点 NodePort 时 kube-proxy 会随机选择不可达的对端 Pod，导致约四分之一请求被拒绝。为两地应用绑定仅位于 WireGuard 地址的 HostPort 31088/31178，双 NGINX 和集群验收改用该固定入口；原 NodePort 30088/30178 继续保留。端口处于现有公网 DROP、wg0 私网放行范围。\n\n验证：kubectl kustomize、服务端 dry-run、bash -n、ShellCheck、Secret 与 digest 静态检查、git diff --check。
 2026-07-29 02:36:29 +08:00
wangbo 39a8fd2ce0 fix(deploy): 移除激活阶段外网依赖 
正式激活时不再从 GitHub 下载并重装已健康运行的 cert-manager、CloudNativePG 和 Barman Operator；Operator 安装继续保留在 prepare 阶段。激活阶段只渲染、校验并启动已锁定 digest 的应用清单，避免维护窗口受外网波动影响。\n\n验证：bash -n、ShellCheck、git diff --check。
 2026-07-29 02:25:43 +08:00
wangbo f12f352bf0 fix(deploy): 规范化数据库版本对比 
PostgreSQL 官方与 CNPG 镜像的 server_version 展示字符串包含不同构建后缀，造成同为 18.4 的数据库被误判不一致。改用 server_version_num 进行精确版本校验。\n\n验证：旧 Docker 与已恢复 CNPG 的完整验收快照 diff 无差异，server_version_num 均为 180004。
 2026-07-29 02:17:13 +08:00
wangbo 945fc83c60 fix(deploy): 修正切换快照目录表名 
切换前验收快照误用了不存在的 gateway_providers，导致在数据库导出前触发安全回滚。改为实际的 model_catalog_providers。\n\n验证：完整快照 SQL 已对线上旧库只读执行，版本、扩展、表、序列和关键计数均成功生成。
 2026-07-29 02:11:48 +08:00
wangbo 5d2796337b fix(deploy): 等待维护入口完成重载 
NGINX 优雅重载期间旧 worker 可能短暂继续返回 200，单次状态码断言会误触发安全回滚。改为最多轮询 15 秒等待维护页返回 503。\n\n验证：bash -n、ShellCheck、git diff --check、真实维护页 503 与恢复后公网 200。
 2026-07-29 02:09:45 +08:00
wangbo b7c03d348e fix(deploy): 适配宁波 NGINX 配置加载路径 
宁波 NGINX 仅加载 conf.d/*.conf，原切换脚本写入 sites-enabled 后不会生效。统一将维护页、集群入口和回滚配置写入实际加载的 conf.d 入口，并保留切换前配置备份。\n\n验证：bash -n、ShellCheck、git diff --check、双节点 nginx -t 与 prepare。
 2026-07-29 02:06:12 +08:00
wangbo 74cf0ed5c8 fix(deploy): 避免验收入口端口冲突 
将宁波跨节点验收私有入口从被 staging Docker 占用的 18088 调整为 18089，避免 NGINX reload 在切换前失败。同步更新真实文件任务验收脚本默认地址。已通过 node --check、bash -n、ShellCheck 和 git diff --check。
 2026-07-29 02:02:42 +08:00
wangbo 7c142f5960 fix(deploy): 补齐集群备份兼容与切换前门禁 
阿里云 OSS 的 S3 兼容层要求 virtual-hosted addressing，且 boto3 需要使用 Signature V2。本提交为 Barman 的归档、备份、保留与恢复统一挂载 AWS 配置，并将实际 WAL 归档和近期全备设为切换硬门禁。

同时补充 CNPG/etcdutl 固定版本安装、显式主库切换、三节点逐台停机、OSS 快照下载校验与远端临时 Secret 清理。已通过 ShellCheck、Kustomize、服务端 dry-run、迁移测试、发布脚本测试、敏感信息扫描及生产 precutover 验收。
 2026-07-28 06:46:09 +08:00
wangbo f5b6ff72f2 fix(deploy): 无损传输证书同步 SSH 公钥 
将包含空格与注释的 Ed25519 host key、公钥先 Base64 编码为单个 SSH 参数，远端解码后再次校验，并清理前次失败产生的无效 authorized_keys 单词行。

验证：Base64 完整往返、bash -n、ShellCheck，两次首次连接失败现场。
 2026-07-28 05:53:43 +08:00
wangbo 5d8ed1f293 fix(deploy): 固定证书同步的香港 SSH Host Key 
通过已认证的香港管理连接读取 Ed25519 host 公钥，将 WireGuard 地址 10.77.0.2 的精确键写入宁波 known_hosts，再执行证书同步；不关闭 StrictHostKeyChecking。

验证：远端 host key 格式解析、bash -n、ShellCheck，首次同步因缺少 known_hosts 的现场复现。
 2026-07-28 05:53:00 +08:00
wangbo 1c0c298267 fix(deploy): 放宽数据库 Operator 首次拉取超时 
CNPG 与 Barman Cloud 的固定镜像经跨境 mirror 首次拉取可能超过 180 秒，将 rollout 门限提升到 600 秒；cert-manager 保持原 180 秒快速门禁。

验证：CNPG 已实际 Ready，Barman 证书与插件注册正常且事件显示仅处于镜像拉取。
 2026-07-28 05:17:25 +08:00
wangbo 6d7b2e88ba fix(deploy): 递归验证 containerd Registry 主机配置 
K3s 1.36 将 Registry 镜像端点生成在 containerd/certs.d 子目录；验收改为递归检查整个 containerd 配置树，并继续以实际拉取 pause 镜像作为最终门禁。

验证：洛杉矶节点 Ready，三个 hosts.toml 端点存在，pause 镜像拉取成功。
 2026-07-28 05:07:23 +08:00
wangbo 95ddfb2a04 fix(deploy): 为 K3s 配置容器镜像端点 
三节点 containerd 增加 Docker Hub、GHCR 与 Quay 的 DaoCloud 镜像端点，解决生产节点直连公共 Registry 超时导致 Pod sandbox 无法创建的问题。

新增逐节点滚动刷新脚本，每次等待节点重新 Ready 并实际拉取 pause 镜像后才继续，避免同时重启 etcd 成员。初始 K3s 安装也会预置同一 registries.yaml。

验证：三节点镜像端点均返回 Registry 认证响应，bash -n、ShellCheck。
 2026-07-28 05:05:33 +08:00
wangbo 44915c1343 fix(deploy): 使用 Server-Side Apply 安装大型 CRD 
cert-manager、CloudNativePG 与 Barman 清单改用 server-side apply，避免 CNPG CRD 的 last-applied annotation 超过 Kubernetes 256KiB 限制；force-conflicts 仅用于已固定 checksum 的 operator 清单。

验证：cert-manager 组件已实际滚动成功，CNPG 客户端 apply 在 annotation 门禁处复现。
 2026-07-28 05:00:52 +08:00
wangbo 19ce2d4272 fix(deploy): 保留 Kustomize digest 行缩进 
替换真实 release manifest 的 API/Web digest 时固定输出 Kustomization 所需的四空格缩进，避免 awk 字段重建破坏 YAML。

验证：使用已发布 971540a 完整 manifest 实际渲染 696 行清单，确认所有应用镜像均为非零 digest。
 2026-07-28 04:59:43 +08:00
wangbo d342462a3d fix(deploy): 兼容 macOS Bash 3.2 下载平台清单 
将 operator URL 与固定 SHA-256 从关联数组改为并行索引数组，避免 macOS Bash 3.2 将带连字符的文件名解析为算术变量。远端资源复制前仍逐项校验 checksum。

验证：bash -n、ShellCheck、Bash 3.2 索引遍历。
 2026-07-28 04:59:04 +08:00
wangbo 4e60bf1c64 fix(deploy): 本地校验并分发固定 K3s 二进制 
生产节点访问 GitHub Release 失败时，改由本机下载 v1.36.2+k3s1 amd64 二进制，使用固定官方 SHA-256 校验后分发到三节点，再让官方安装器跳过远端下载。

同时将运行手册顺序改为先完成公网端口隔离，再安装 K3s。

验证：bash -n、ShellCheck、官方 checksum 获取与节点失败现场。
 2026-07-28 04:50:54 +08:00
wangbo 85e14f2cb8 fix(deploy): 过滤 WireGuard 安装阶段标准输出 
节点首次安装 wireguard-tools 时 apt 输出会混入公钥命令替换，导致格式门禁误判并安全停止。仅取远端输出最后一行作为公钥，同时保留原有长度和字符校验。

验证：bash -n、ShellCheck、远端公钥长度与权限只读检查。
 2026-07-28 04:40:26 +08:00
wangbo 971540a2a4 feat(deploy): 增加三节点 K3s 高可用迁移能力 
新增 WireGuard 全互联、三 server embedded-etcd K3s、CloudNativePG 双实例、Barman OSS 备份、双 NGINX、Kubernetes Secret/RBAC 与本地旧文件按严格 24 小时清理。

新增维护窗口数据迁移、digest 固定滚动发布、应用回滚、跨节点文件 E2E、节点和数据库故障演练、CNPG 恢复与 etcd 快照验收脚本；洛杉矶仅作为带 NoSchedule 污点的仲裁节点。

所有生产 Secret 只在执行时从 0600 本地环境和旧生产容器导入，仓库不保存凭据；公网入口保持人工 DNS 故障切换边界。

验证：bash -n、ShellCheck、kubectl kustomize、Node 语法检查、Secret 扫描、OSS put/head/delete 实测。
 2026-07-28 04:37:31 +08:00
wangbo 2c7f8c14eb chore(release): 明确生产发布授权并支持集群发布 
将发布与上线授权边界调整为一次明确的生产发布指令可连续执行 publish 和 deploy，同时保留仅构建镜像时的停止边界。

为现有发布脚本增加 compose/kubernetes helper 选择和显式 SSH 私钥支持，保持完整 SHA、digest 与生产基线校验不变。

验证：bash -n、ShellCheck、manual-release-test。
 2026-07-28 04:36:53 +08:00
wangbo b29d539d49 feat(database): 优化开发环境数据库连接配置逻辑 
- 添加 database_url_targets_local_port 函数验证数据库URL端口匹配
- 新增 database_url_matches_container 变量标识数据库URL与容器匹配状态
- 更新 postgres_port 变量获取容器实际端口值
- 重构数据库URL配置条件判断逻辑
- 添加容器凭证刷新提示信息
- 优化Docker数据库创建条件判断流程
 2026-07-24 23:54:31 +08:00
wangbo 22ee5bb624 fix(release): 修复首次发布基线解析 2026-07-23 23:54:31 +08:00
easyai c305603589 fix(dev): 兼容 Compose 数据库容器启动 
保留显式数据库连接配置，自动识别 Compose PostgreSQL 容器及宿主机端口，并在容器不存在时跳过不适用的 Docker 建库。\n\n验证：bash -n；ShellCheck；scripts/create-database.sh；pnpm dev 真实启动 API 与 Web
 2026-07-22 17:12:48 +08:00
easyai dae5d16a58 refactor(release): 改为 Agent 双阶段人工发布 
删除 Gitea Actions、Tag/Main 自动流水线和旧 Runner 配置，取消 Git 操作与发布授权的绑定。\n\n新增本地镜像发布、固定生产部署助手、digest manifest、迁移安全检查、simulation 冒烟及显式回滚流程。\n\n验证：pnpm lint、pnpm test、pnpm build、Go 全量测试、ShellCheck、Compose 配置、人工发布测试和 linux/amd64 完整栈冒烟。
 2026-07-22 15:13:40 +08:00
easyai eb37b568ae fix(deploy): 使用 /api/v1 执行发布健康检查
ci / verify (pull_request) Failing after 3m41s 
将 Compose 发布脚本的 API、就绪和 Web 反代探针切换到统一公开前缀，避免发布完成后仍只验证旧兼容入口。\n\n验证：bash -n；ShellCheck；ci-build-images-test.sh；pipeline-test.sh。
 2026-07-22 08:50:55 +08:00
wangbo fe83da56d2 test(e2e): 增加视频生产验收脚本与记录
ci / verify (pull_request) Failing after 3m43s
2026-07-22 00:25:22 +08:00
chengcheng 0aa9b3e88f fix(ci): 使用隔离服务运行 PostgreSQL 集成库
ci / verify (pull_request) Successful in 11m30s 
将 PostgreSQL 16 改为固定 digest 的 Actions service container，并通过专用 Job 网络向 Go migrator 和集成测试提供数据库。

移除 PR Job 对 Docker CLI 的依赖，继续禁止宿主及内层 Docker API 暴露；同步发布工作流、契约测试和镜像代理恢复说明。
 2026-07-21 10:45:52 +08:00
chengcheng 3561efa7da fix(ci): 允许复用固定摘要的 Runner 镜像
ci / verify (pull_request) Failing after 8s 
本地已存在完全相同 digest 的 Runner 镜像时跳过外部拉取，继续执行二进制校验与隔离探针；仅在镜像缺失时访问仓库。

避免 Docker Hub 瞬时不可达导致专用 CI Runner 无法恢复。
 2026-07-21 10:36:56 +08:00
chengcheng b7bb9ed8d5 fix(ci): 为集成测试提供固定 Docker CLI
ci / verify (pull_request) Failing after 8s 
从固定 digest 的 Runner 镜像提取 Docker CLI 29.6.0，校验二进制 SHA-256 后通过只读工具链挂载给 Job。

同步 PR 与 Tag 工作流的版本探针，并增加流水线契约测试，避免 PostgreSQL 集成测试再次因缺少 docker 命令失败。
 2026-07-21 10:33:39 +08:00
chengcheng 4426eeccf7 chore(merge): 整合最新 main 与统一认证变更
ci / verify (pull_request) Successful in 12m18s 
合并远端生产 CI、依赖与 API 文档改动，保留统一认证和 SSF 能力。由于远端生产基线已占用 0062，将尚未发布的身份迁移整理为 0063 至 0068 的最终增量 Schema，移除仅用于开发期草稿升级的破坏性迁移步骤。

验证：go test ./...。其余生产门禁在合并提交后继续执行。
 2026-07-17 19:06:37 +08:00
chengcheng 86509d5c43 fix(ci): reject procedural migration bodies
ci / verify (pull_request) Successful in 9m24s
2026-07-17 17:04:05 +08:00
chengcheng f226f9c953 ci: enforce production-safe database migrations
ci / verify (pull_request) Successful in 8m50s
2026-07-17 16:59:50 +08:00
chengcheng 74c20b1976 Merge remote-tracking branch 'origin/main' into codex/production-cicd 
# Conflicts:
#	pnpm-lock.yaml
 2026-07-17 16:21:49 +08:00
chengcheng a6e95be0c5 fix(ci): use reachable vulnerability database mirror
ci / verify (pull_request) Successful in 11m20s
2026-07-17 15:38:59 +08:00
chengcheng e77ec9e842 security(ci): bound runner resources 2026-07-17 15:22:44 +08:00
chengcheng 5e8fb4276f fix(ci): verify rootless pid namespace without proc links
ci / verify (pull_request) Failing after 6m9s
2026-07-17 15:15:55 +08:00
chengcheng 06f95c5d86 ci: validate runner before registration
ci / verify (pull_request) Failing after 6m9s
2026-07-17 15:08:37 +08:00
chengcheng 1f8c5a3d03 fix(ci): support digest-verified runner mirrors
ci / verify (pull_request) Failing after 7m54s
2026-07-17 14:50:38 +08:00
chengcheng 6ba46514c1 fix(ci): expose pinned node during runner setup
ci / verify (pull_request) Failing after 6m8s
2026-07-17 14:43:27 +08:00