BCAI/easyai-ai-gateway
3
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
333 Commits 24 Branches 10 Tags
2e5a90731bebf875b60c6f00ef3fec9af3181317
Commit Graph
333 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
chengcheng 2e5a90731b fix(oidc): 修复登录会话落库兼容问题 
部分已配对环境在 0090 首次执行后缺少 oidc_client_id，导致统一认证完成投影后无法写入 Gateway 服务端会话。新增幂等前向迁移补齐该列，并为 Token 处理及会话创建增加不泄露凭据的稳定失败分类和关联诊断。\n\n验证：OIDC Session 全量单测、HTTP 回调定向测试、迁移升级集成测试、隔离 PostgreSQL 跨仓库 OIDC E2E 和本地 Chrome 真实登录均通过。
 2026-07-29 10:40:33 +08:00
chengcheng fd9bbbb508 chore(git): 合并远端主分支最新变更 2026-07-29 08:59:08 +08:00
wangbo 135fb3d5b8 fix(deploy): 延长数据库副本重同步门限 
CNPG 主库在 5 秒内晋升，但跨地域 pg_rewind 需要重传约 1.27GB，原 6 分钟等待不足。将同步副本恢复等待扩展到 30 分钟，并增加退出时清理写入探针的保护。\n\n已通过 bash -n、ShellCheck 和 git diff --check。
 2026-07-29 03:46:16 +08:00
wangbo ea33be5d69 fix(deploy): 强化跨节点真实任务验收门禁 
修正宁波旧 Worker 在滚动退场期间仍可能领取任务的竞态，提交任务前要求仅保留唯一且明确禁用 Worker 的新 Pod。\n\n为临时验收 Key 分配 gpt-image-2 所需的最小平台访问资源，并让 multipart 参数对齐线上 2K 图像编辑请求。已通过 bash -n、ShellCheck、node --check，并完成真实跨节点任务验收。
 2026-07-29 03:24:02 +08:00
wangbo a642f43cf2 fix(deploy): 校准跨节点图片验收请求 
真实成功样本使用 2048x2048，验收脚本改用相同默认尺寸并允许环境覆盖。修正创建 API Key 响应中的 apiKey.id 读取，每次运行前清理本脚本遗留 Key，结束时删除新 Key。\n\n验证：bash -n、ShellCheck、node --check、git diff --check。
 2026-07-29 03:13:01 +08:00
wangbo 5d5284e068 test(api): 显式启用异步执行验收 Worker 
动态并发验收直接构造 Config 时需显式开启 AsyncQueueWorkerEnabled，避免零值 false 把该测试误变为仅入队模式。\n\n验证：gofmt、go test ./internal/httpapi -count=1。
 2026-07-29 03:07:13 +08:00
wangbo 9a3cc582ce fix(api): 分离异步队列入队与执行开关 
AI_GATEWAY_ASYNC_QUEUE_WORKER_ENABLED=false 时仍初始化 River schema 与控制客户端，允许 HTTP 请求持久化并入队；仅跳过执行客户端和动态容量 Worker。关闭上下文时同步清理控制客户端引用。\n\n新增数据库集成测试覆盖无执行 Worker 时成功创建 River job 且 attempted_by 为空。验证：gofmt、go test ./... -count=1、go vet ./...。
 2026-07-29 03:03:14 +08:00
wangbo 0bef13fbd7 fix(deploy): 完整读取边缘验收响应 
OpenAPI 响应较大，curl 通过管道交给 grep -q 时会因下游提前退出报写端关闭，造成健康服务被误判失败。改为完整读取各响应后再断言内容。\n\n验证：bash -n、ShellCheck、git diff --check。
 2026-07-29 02:56:50 +08:00
wangbo 6897fb3b66 fix(deploy): 使用站点专属 NodePort 
HostPort 被命名空间 PodSecurity baseline 拒绝，因此恢复无特权 Pod 配置，并为宁波、香港的 API/Web 增加只选择本站 Pod 的专属 NodePort Service。双 NGINX 和验收脚本按站点使用 31088/31089 与 31178/31179，避免主机本地访问共享 NodePort 时随机命中不可达的跨站 Pod。\n\n验证：kubectl kustomize、服务端 dry-run、bash -n、ShellCheck、无 hostPort/hostIP、git diff --check。
 2026-07-29 02:40:57 +08:00
wangbo 006609569d fix(deploy): 稳定边缘到站点的固定入口 
主机本地访问跨站点 NodePort 时 kube-proxy 会随机选择不可达的对端 Pod，导致约四分之一请求被拒绝。为两地应用绑定仅位于 WireGuard 地址的 HostPort 31088/31178，双 NGINX 和集群验收改用该固定入口；原 NodePort 30088/30178 继续保留。端口处于现有公网 DROP、wg0 私网放行范围。\n\n验证：kubectl kustomize、服务端 dry-run、bash -n、ShellCheck、Secret 与 digest 静态检查、git diff --check。
 2026-07-29 02:36:29 +08:00
wangbo 8e387ca553 fix(deploy): 固定 API 容器运行身份 
API 镜像使用名称用户 appuser，Kubelet 无法仅凭 runAsNonRoot 验证其非 root 身份，导致 CreateContainerConfigError。按照 Dockerfile 中固定 UID 10001 显式设置 runAsUser、runAsGroup 和 fsGroup，确保 EmptyDir 可写且满足 Pod 安全约束。\n\n验证：kubectl kustomize 渲染成功，两个 API Deployment 均包含 UID/GID 10001，git diff --check 通过。
 2026-07-29 02:28:19 +08:00
wangbo 39a8fd2ce0 fix(deploy): 移除激活阶段外网依赖 
正式激活时不再从 GitHub 下载并重装已健康运行的 cert-manager、CloudNativePG 和 Barman Operator；Operator 安装继续保留在 prepare 阶段。激活阶段只渲染、校验并启动已锁定 digest 的应用清单，避免维护窗口受外网波动影响。\n\n验证：bash -n、ShellCheck、git diff --check。
 2026-07-29 02:25:43 +08:00
wangbo f12f352bf0 fix(deploy): 规范化数据库版本对比 
PostgreSQL 官方与 CNPG 镜像的 server_version 展示字符串包含不同构建后缀，造成同为 18.4 的数据库被误判不一致。改用 server_version_num 进行精确版本校验。\n\n验证：旧 Docker 与已恢复 CNPG 的完整验收快照 diff 无差异，server_version_num 均为 180004。
 2026-07-29 02:17:13 +08:00
wangbo 945fc83c60 fix(deploy): 修正切换快照目录表名 
切换前验收快照误用了不存在的 gateway_providers，导致在数据库导出前触发安全回滚。改为实际的 model_catalog_providers。\n\n验证：完整快照 SQL 已对线上旧库只读执行，版本、扩展、表、序列和关键计数均成功生成。
 2026-07-29 02:11:48 +08:00
wangbo 5d2796337b fix(deploy): 等待维护入口完成重载 
NGINX 优雅重载期间旧 worker 可能短暂继续返回 200，单次状态码断言会误触发安全回滚。改为最多轮询 15 秒等待维护页返回 503。\n\n验证：bash -n、ShellCheck、git diff --check、真实维护页 503 与恢复后公网 200。
 2026-07-29 02:09:45 +08:00
wangbo b7c03d348e fix(deploy): 适配宁波 NGINX 配置加载路径 
宁波 NGINX 仅加载 conf.d/*.conf，原切换脚本写入 sites-enabled 后不会生效。统一将维护页、集群入口和回滚配置写入实际加载的 conf.d 入口，并保留切换前配置备份。\n\n验证：bash -n、ShellCheck、git diff --check、双节点 nginx -t 与 prepare。
 2026-07-29 02:06:12 +08:00
wangbo 74cf0ed5c8 fix(deploy): 避免验收入口端口冲突 
将宁波跨节点验收私有入口从被 staging Docker 占用的 18088 调整为 18089，避免 NGINX reload 在切换前失败。同步更新真实文件任务验收脚本默认地址。已通过 node --check、bash -n、ShellCheck 和 git diff --check。
 2026-07-29 02:02:42 +08:00
chengcheng 021ee9ab8f fix(identity): 允许清理未收到 Manifest 的配对 
0090 的 Manifest 约束要求无 issuer 的 Revision 保持 draft，原取消流程将其改为 failed，导致取消事务被数据库拒绝。现在由 cancelled Pairing 记录终态，并仅允许明确标记 pairing_cancelled 的预 Manifest 草稿完成清理。\n\n验证：IdentityPairing PostgreSQL 定向测试通过；PairingService 定向测试通过。
 2026-07-28 18:42:13 +08:00
chengcheng 206e367dbf fix(identity): 兼容多租户 V2 无固定租户映射 
多租户 Revision 改为按 Token tid 动态解析租户，配对和验证不再要求 default 映射；单租户 V1 继续保留固定映射门禁。同步补齐 tenantMode 共享契约与 OpenAPI 产物。\n\n验证：Web 测试 129 项通过；pnpm lint 通过；Web 生产构建通过；pnpm openapi 通过。
 2026-07-28 18:02:59 +08:00
chengcheng 5c679ff13f feat(identity): 接入认证中心多租户登录 
支持 Manifest V2 动态 tid 验证、Tenant Context 同步和租户内 JIT 投影，并保留 Manifest V1 与旧 Session 兼容。\n\n增加 tenantHint、租户切换、普通注册关闭及 application/principal/tenant 两级 SSF 撤销；迁移、定向安全测试和本地双租户跨仓 E2E 已通过。\n\nrelease_required=true；未执行 Release、Staging 或真实链路。
 2026-07-28 17:28:35 +08:00
chengcheng 0b02e62c72 chore(git): 同步主分支发布与业务变更 
# Conflicts:
#	apps/api/go.mod
#	apps/api/go.sum
 2026-07-28 10:47:41 +08:00
chengcheng 9dfd1aafa5 test(identity): 禁止 Gateway 依赖认证内核语义 
将 OIDC 与安全事件集成测试中的 Realm 风格 Issuer 收敛为稳定 Issuer，并增加扫描所有 Gateway 已跟踪源码类别的回归门禁，避免 Keycloak 或 Realm URL 成为消费方契约。\n\n验证：go vet ./...；go test -race ./... -count=1；go test ./... -count=1；govulncheck ./...。
 2026-07-28 10:17:39 +08:00
wangbo 7c142f5960 fix(deploy): 补齐集群备份兼容与切换前门禁 
阿里云 OSS 的 S3 兼容层要求 virtual-hosted addressing，且 boto3 需要使用 Signature V2。本提交为 Barman 的归档、备份、保留与恢复统一挂载 AWS 配置，并将实际 WAL 归档和近期全备设为切换硬门禁。

同时补充 CNPG/etcdutl 固定版本安装、显式主库切换、三节点逐台停机、OSS 快照下载校验与远端临时 Secret 清理。已通过 ShellCheck、Kustomize、服务端 dry-run、迁移测试、发布脚本测试、敏感信息扫描及生产 precutover 验收。
 2026-07-28 06:46:09 +08:00
chengcheng 4a464cacca feat(observability): 增加 OIDC 失败关联诊断 
将 OIDC Access Token 与 ID Token 校验失败映射为固定安全分类，并生成 diagnosticId 关联浏览器错误与服务端日志。日志不记录授权码、Token 或底层敏感输入，且保留 errors.Is(ErrUnauthorized) 兼容语义。

验证：go test ./... -count=1（apps/api）
 2026-07-28 06:19:24 +08:00
wangbo f5b6ff72f2 fix(deploy): 无损传输证书同步 SSH 公钥 
将包含空格与注释的 Ed25519 host key、公钥先 Base64 编码为单个 SSH 参数，远端解码后再次校验，并清理前次失败产生的无效 authorized_keys 单词行。

验证：Base64 完整往返、bash -n、ShellCheck，两次首次连接失败现场。
 2026-07-28 05:53:43 +08:00
wangbo 5d8ed1f293 fix(deploy): 固定证书同步的香港 SSH Host Key 
通过已认证的香港管理连接读取 Ed25519 host 公钥，将 WireGuard 地址 10.77.0.2 的精确键写入宁波 known_hosts，再执行证书同步；不关闭 StrictHostKeyChecking。

验证：远端 host key 格式解析、bash -n、ShellCheck，首次同步因缺少 known_hosts 的现场复现。
 2026-07-28 05:53:00 +08:00
chengcheng b51ecc5eed fix(identity): 拒绝跨站浏览器会话端点 
统一认证使用 HttpOnly SameSite=Strict 会话 Cookie。配对时若 Public Base 与 Web Base 不属于同一 schemeful site，浏览器回调会丢失事务 Cookie。新增基于 Public Suffix List 的同站校验，并在运行时重建时重复门禁，防止旧持久化数据绕过。

验证：go test ./... -count=1（apps/api）
 2026-07-28 05:52:46 +08:00
wangbo 1c0c298267 fix(deploy): 放宽数据库 Operator 首次拉取超时 
CNPG 与 Barman Cloud 的固定镜像经跨境 mirror 首次拉取可能超过 180 秒，将 rollout 门限提升到 600 秒；cert-manager 保持原 180 秒快速门禁。

验证：CNPG 已实际 Ready，Barman 证书与插件注册正常且事件显示仅处于镜像拉取。
 2026-07-28 05:17:25 +08:00
wangbo 6d7b2e88ba fix(deploy): 递归验证 containerd Registry 主机配置 
K3s 1.36 将 Registry 镜像端点生成在 containerd/certs.d 子目录；验收改为递归检查整个 containerd 配置树，并继续以实际拉取 pause 镜像作为最终门禁。

验证：洛杉矶节点 Ready，三个 hosts.toml 端点存在，pause 镜像拉取成功。
 2026-07-28 05:07:23 +08:00
wangbo 95ddfb2a04 fix(deploy): 为 K3s 配置容器镜像端点 
三节点 containerd 增加 Docker Hub、GHCR 与 Quay 的 DaoCloud 镜像端点，解决生产节点直连公共 Registry 超时导致 Pod sandbox 无法创建的问题。

新增逐节点滚动刷新脚本，每次等待节点重新 Ready 并实际拉取 pause 镜像后才继续，避免同时重启 etcd 成员。初始 K3s 安装也会预置同一 registries.yaml。

验证：三节点镜像端点均返回 Registry 认证响应，bash -n、ShellCheck。
 2026-07-28 05:05:33 +08:00
wangbo 44915c1343 fix(deploy): 使用 Server-Side Apply 安装大型 CRD 
cert-manager、CloudNativePG 与 Barman 清单改用 server-side apply，避免 CNPG CRD 的 last-applied annotation 超过 Kubernetes 256KiB 限制；force-conflicts 仅用于已固定 checksum 的 operator 清单。

验证：cert-manager 组件已实际滚动成功，CNPG 客户端 apply 在 annotation 门禁处复现。
 2026-07-28 05:00:52 +08:00
wangbo 19ce2d4272 fix(deploy): 保留 Kustomize digest 行缩进 
替换真实 release manifest 的 API/Web digest 时固定输出 Kustomization 所需的四空格缩进，避免 awk 字段重建破坏 YAML。

验证：使用已发布 971540a 完整 manifest 实际渲染 696 行清单，确认所有应用镜像均为非零 digest。
 2026-07-28 04:59:43 +08:00
wangbo d342462a3d fix(deploy): 兼容 macOS Bash 3.2 下载平台清单 
将 operator URL 与固定 SHA-256 从关联数组改为并行索引数组，避免 macOS Bash 3.2 将带连字符的文件名解析为算术变量。远端资源复制前仍逐项校验 checksum。

验证：bash -n、ShellCheck、Bash 3.2 索引遍历。
 2026-07-28 04:59:04 +08:00
wangbo 4e60bf1c64 fix(deploy): 本地校验并分发固定 K3s 二进制 
生产节点访问 GitHub Release 失败时，改由本机下载 v1.36.2+k3s1 amd64 二进制，使用固定官方 SHA-256 校验后分发到三节点，再让官方安装器跳过远端下载。

同时将运行手册顺序改为先完成公网端口隔离，再安装 K3s。

验证：bash -n、ShellCheck、官方 checksum 获取与节点失败现场。
 2026-07-28 04:50:54 +08:00
chengcheng 1b48a91af0 fix(ssf): 允许同一配对恢复未完成连接 
首次创建 SSF Stream 失败后，恢复管理器会因缺少尚未生成的 Audience 而将同一 Revision 误判为凭据交接冲突。现在仅对同一 owner、Transmitter、机器客户端且尚未绑定 Stream 的可恢复状态放行重试，跨 Revision 与不完整绑定配置仍保持安全拒绝。\n\n验证：gofmt、go vet ./...、env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1。
 2026-07-28 04:48:15 +08:00
wangbo 85e14f2cb8 fix(deploy): 过滤 WireGuard 安装阶段标准输出 
节点首次安装 wireguard-tools 时 apt 输出会混入公钥命令替换，导致格式门禁误判并安全停止。仅取远端输出最后一行作为公钥，同时保留原有长度和字符校验。

验证：bash -n、ShellCheck、远端公钥长度与权限只读检查。
 2026-07-28 04:40:26 +08:00
wangbo 971540a2a4 feat(deploy): 增加三节点 K3s 高可用迁移能力 
新增 WireGuard 全互联、三 server embedded-etcd K3s、CloudNativePG 双实例、Barman OSS 备份、双 NGINX、Kubernetes Secret/RBAC 与本地旧文件按严格 24 小时清理。

新增维护窗口数据迁移、digest 固定滚动发布、应用回滚、跨节点文件 E2E、节点和数据库故障演练、CNPG 恢复与 etcd 快照验收脚本；洛杉矶仅作为带 NoSchedule 污点的仲裁节点。

所有生产 Secret 只在执行时从 0600 本地环境和旧生产容器导入，仓库不保存凭据；公网入口保持人工 DNS 故障切换边界。

验证：bash -n、ShellCheck、kubectl kustomize、Node 语法检查、Secret 扫描、OSS put/head/delete 实测。
 2026-07-28 04:37:31 +08:00
wangbo edf7e66941 feat(cluster): 增加跨节点任务执行与请求素材场景 
新增 AI_GATEWAY_ASYNC_QUEUE_WORKER_ENABLED，默认保持启用；关闭时仅停止 River 异步任务执行器，HTTP、健康检查、结算与其他后台任务继续运行。

新增 0089 迁移并同步管理端默认场景，将 request_asset 加入现有上传渠道，确保 multipart 请求素材先转换为跨节点共享 URL。

验证：gofmt、go test ./... -count=1、go vet ./...、pnpm lint、pnpm test、pnpm build、迁移测试。
 2026-07-28 04:36:58 +08:00
wangbo 2c7f8c14eb chore(release): 明确生产发布授权并支持集群发布 
将发布与上线授权边界调整为一次明确的生产发布指令可连续执行 publish 和 deploy，同时保留仅构建镜像时的停止边界。

为现有发布脚本增加 compose/kubernetes helper 选择和显式 SSH 私钥支持，保持完整 SHA、digest 与生产基线校验不变。

验证：bash -n、ShellCheck、manual-release-test。
 2026-07-28 04:36:53 +08:00
chengcheng 9e8722dc9f fix(deps): 修复 Gateway 依赖拒绝服务风险 
将 Nx 间接使用的 minimatch 收敛到 10.2.6，从而使用带长度上限的 brace-expansion 5.0.8；同时升级 DOMPurify 到 3.4.12。\n\n变更保留 Node 22 运行基线，并通过 filelist 兼容检查、Gateway 全量 Go 与 Web 测试、构建、OpenAPI、迁移、发布脚本、govulncheck 和 pnpm audit。审计结果为 0 个已知漏洞。
 2026-07-28 04:04:55 +08:00
wangbo 31565af07a refactor(runner): 收敛上游失败决策与轮转策略 
将同平台重试、跨平台动作、健康副作用和冷却排队统一到单一失败决策，避免旧降级策略与 failover 重复执行。\n\n增加事务级单源保护、候选实时刷新、冷却错误契约、管理接口严格校验及兼容策略只读展示。\n\n验证：真实 Gateway HTTP/PostgreSQL 接受测试 10 项通过；go test ./...、pnpm openapi、pnpm lint、pnpm test、pnpm build 均通过。
 2026-07-27 23:50:17 +08:00
wangbo 046c16fc69 fix(audio): 兼容百炼 OpenAI 音频输入 
为阿里云百炼 OpenAI-compatible Chat 统一保留标准 input_audio，并将旧版 audio_url 转换为 input_audio，同时根据 MIME 或扩展名补齐音频格式。

补充请求资产水合测试，确认 input_audio.data 会转换为裸 Base64 且保留 format。

验证：在 apps/api 执行 env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1 全部通过。
 2026-07-27 23:50:17 +08:00
wangbo 95776c84f6 fix(media): 规范比例与 OpenAI 图像尺寸参数 
统一过滤非 x:x 比例，避免默认值参与候选匹配或透传上游。

支持 xK 分辨率归一化，并按 Gemini、Volces 和 OpenAI 的参数规范生成上游请求；OpenAI 显式 WxH 始终保留用户原始尺寸。

验证：在独立临时 worktree 中执行 apps/api 全量 go test ./... -count=1 通过，真实 OpenAI 请求已到达上游但受本地无效凭据阻断。
 2026-07-27 23:50:17 +08:00
wangbo 039220c835 feat(models): 注册 Kimi K3 和 Qwen3.8 2026-07-27 23:50:17 +08:00
chengcheng 31c32690b2 feat(models): 支持按使用场景筛选模型 
Gateway 模型接口校验 usage_scene，并与 server-main 严格场景目录取交集；显式场景查询在上游不可用时关闭失败，避免返回不应暴露的模型。\n\n验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1
 2026-07-27 13:15:23 +08:00
wangbo de10875439 feat(admin): 优化后台运维与任务管理 
完善平台、基准模型、定价规则和实时负载的紧凑查询与滚动展示，并固定关键操作列。

新增管理员任务记录、批量计费结算和用户组限流、额度及模型权限维护能力，同时补充任务脱敏、查询索引与 OpenAPI 契约。

验证：pnpm openapi、Go 全量测试、pnpm lint、pnpm test、pnpm build、gofmt 与差异格式检查均通过。
 2026-07-25 01:32:49 +08:00
wangbo b29d539d49 feat(database): 优化开发环境数据库连接配置逻辑 
- 添加 database_url_targets_local_port 函数验证数据库URL端口匹配
- 新增 database_url_matches_container 变量标识数据库URL与容器匹配状态
- 更新 postgres_port 变量获取容器实际端口值
- 重构数据库URL配置条件判断逻辑
- 添加容器凭证刷新提示信息
- 优化Docker数据库创建条件判断流程
 2026-07-24 23:54:31 +08:00
wangbo 152885bbb6 fix(routing): 对齐缓存亲和力硬规则与审计 2026-07-24 23:51:27 +08:00
easyai d7a0ec56f5 feat(web): 支持登录密码显示与隐藏 
原因：登录时缺少密码可见性切换，长密码输入难以核对。

影响：新增可复用 PasswordInput，在登录表单提供眼睛按钮，并补充禁用态、焦点样式和无障碍标签。

风险：密码仅在用户主动点击时于当前输入框显示，不改变提交、存储或日志行为。

验证：前端 112 项测试通过；pnpm lint 通过；@easyai-ai-gateway/web 生产构建通过。
 2026-07-24 23:27:28 +08:00
easyai 1fc80ffe23 test(http): 防止集成测试误用非测试数据库 
原因：共享迁移辅助函数会直接对 AI_GATEWAY_TEST_DATABASE_URL 指向的数据库执行迁移，需要在任何写入前阻止误连非测试库。

影响：HTTP 集成测试仅允许名称明确包含 test 边界的数据库；不影响未配置数据库环境变量时的普通单元测试。

风险：自定义测试库名称若不符合规则会被拒绝，需要改用 test、test_*、*_test 或包含 _test_ 的名称。

验证：gofmt 无差异；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1 通过。
 2026-07-24 23:27:17 +08:00