BCAI/easyai-ai-gateway
3
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
346 Commits 24 Branches 10 Tags
98820378b7536910503ebb5367f9917f16ff30f0
Commit Graph
190 Commits
Author SHA1 Message Date
wangbo 98820378b7 perf(store): 消除同步复制下的鉴权与心跳锁阻塞 
将 Worker 心跳与容量分配事务设为本地异步提交，避免同步副本延迟期间长期持有全局分配锁。API Key 使用时间改为异步提交并按分钟合并，消除高并发请求对同一热行的锁排队。业务任务、钱包、结算、并发租约等关键数据仍保持同步复制。验证通过完整 Go 测试、go vet、竞态测试、迁移安全检查及 PostgreSQL 18 集成测试。
 2026-07-29 23:25:54 +08:00
wangbo 91451b3c86 fix(cluster): 修复身份事务阻塞与 Worker 容量抖动 
将身份协调和安全事件心跳改为 PostgreSQL 单 Leader 执行，并从独立 Worker 进程中移除身份运行时，避免多副本重复写同一状态。

为安全事件事务增加锁等待、空闲事务超时及独立回滚上下文；Worker 需连续丢失六次心跳后才判定失效，降低跨节点抖动导致的容量反复扩缩。

验证：Go 全量测试、go vet、Race 聚焦测试、PostgreSQL 18 Leader/安全事件/Worker 分配集成测试及迁移测试通过。
 2026-07-29 23:04:41 +08:00
wangbo 3886048e0f fix(gemini): 移除空返图占位并暴露失败原因 
Gemini 图片响应未包含可提取资源时，不再返回伪造占位图，改为非重试失败并保留安全拦截、候选结束状态和上游错误等结构化诊断。\n\n同步将诊断写入 HTTP 错误、任务结果、attempt 指标和日志，确保任务失败时不结算，并补充单元及 PostgreSQL 验收测试。\n\n验证：gofmt、go test ./... -count=1、go vet ./...、迁移安全检查、pnpm openapi。
 2026-07-29 19:50:43 +08:00
wangbo 9e4fc7362d feat(queue): 增加非文本模型分布式准入队列 
使用 PostgreSQL 统一同步与异步非文本任务的并发准入、持久化等待和 Worker 容量分配，并将生产 API 与独立 Worker 角色拆分。

补充策略管理、共享契约、OpenAPI、Kubernetes 双节点 Worker 清单及跨节点验收脚本；未默认启用任何生产 queue_size 策略。

已在原基线完成 Go、前端、迁移、Shell、Kustomize 与长任务容量验收；合入最新主干后将重新执行发布门禁。
 2026-07-29 16:15:43 +08:00
chengcheng 2e5a90731b fix(oidc): 修复登录会话落库兼容问题 
部分已配对环境在 0090 首次执行后缺少 oidc_client_id，导致统一认证完成投影后无法写入 Gateway 服务端会话。新增幂等前向迁移补齐该列，并为 Token 处理及会话创建增加不泄露凭据的稳定失败分类和关联诊断。\n\n验证：OIDC Session 全量单测、HTTP 回调定向测试、迁移升级集成测试、隔离 PostgreSQL 跨仓库 OIDC E2E 和本地 Chrome 真实登录均通过。
 2026-07-29 10:40:33 +08:00
chengcheng fd9bbbb508 chore(git): 合并远端主分支最新变更 2026-07-29 08:59:08 +08:00
wangbo 5d5284e068 test(api): 显式启用异步执行验收 Worker 
动态并发验收直接构造 Config 时需显式开启 AsyncQueueWorkerEnabled，避免零值 false 把该测试误变为仅入队模式。\n\n验证：gofmt、go test ./internal/httpapi -count=1。
 2026-07-29 03:07:13 +08:00
wangbo 9a3cc582ce fix(api): 分离异步队列入队与执行开关 
AI_GATEWAY_ASYNC_QUEUE_WORKER_ENABLED=false 时仍初始化 River schema 与控制客户端，允许 HTTP 请求持久化并入队；仅跳过执行客户端和动态容量 Worker。关闭上下文时同步清理控制客户端引用。\n\n新增数据库集成测试覆盖无执行 Worker 时成功创建 River job 且 attempted_by 为空。验证：gofmt、go test ./... -count=1、go vet ./...。
 2026-07-29 03:03:14 +08:00
chengcheng 021ee9ab8f fix(identity): 允许清理未收到 Manifest 的配对 
0090 的 Manifest 约束要求无 issuer 的 Revision 保持 draft，原取消流程将其改为 failed，导致取消事务被数据库拒绝。现在由 cancelled Pairing 记录终态，并仅允许明确标记 pairing_cancelled 的预 Manifest 草稿完成清理。\n\n验证：IdentityPairing PostgreSQL 定向测试通过；PairingService 定向测试通过。
 2026-07-28 18:42:13 +08:00
chengcheng 5c679ff13f feat(identity): 接入认证中心多租户登录 
支持 Manifest V2 动态 tid 验证、Tenant Context 同步和租户内 JIT 投影，并保留 Manifest V1 与旧 Session 兼容。\n\n增加 tenantHint、租户切换、普通注册关闭及 application/principal/tenant 两级 SSF 撤销；迁移、定向安全测试和本地双租户跨仓 E2E 已通过。\n\nrelease_required=true；未执行 Release、Staging 或真实链路。
 2026-07-28 17:28:35 +08:00
chengcheng 0b02e62c72 chore(git): 同步主分支发布与业务变更 
# Conflicts:
#	apps/api/go.mod
#	apps/api/go.sum
 2026-07-28 10:47:41 +08:00
chengcheng 9dfd1aafa5 test(identity): 禁止 Gateway 依赖认证内核语义 
将 OIDC 与安全事件集成测试中的 Realm 风格 Issuer 收敛为稳定 Issuer，并增加扫描所有 Gateway 已跟踪源码类别的回归门禁，避免 Keycloak 或 Realm URL 成为消费方契约。\n\n验证：go vet ./...；go test -race ./... -count=1；go test ./... -count=1；govulncheck ./...。
 2026-07-28 10:17:39 +08:00
chengcheng 4a464cacca feat(observability): 增加 OIDC 失败关联诊断 
将 OIDC Access Token 与 ID Token 校验失败映射为固定安全分类，并生成 diagnosticId 关联浏览器错误与服务端日志。日志不记录授权码、Token 或底层敏感输入，且保留 errors.Is(ErrUnauthorized) 兼容语义。

验证：go test ./... -count=1（apps/api）
 2026-07-28 06:19:24 +08:00
chengcheng b51ecc5eed fix(identity): 拒绝跨站浏览器会话端点 
统一认证使用 HttpOnly SameSite=Strict 会话 Cookie。配对时若 Public Base 与 Web Base 不属于同一 schemeful site，浏览器回调会丢失事务 Cookie。新增基于 Public Suffix List 的同站校验，并在运行时重建时重复门禁，防止旧持久化数据绕过。

验证：go test ./... -count=1（apps/api）
 2026-07-28 05:52:46 +08:00
chengcheng 1b48a91af0 fix(ssf): 允许同一配对恢复未完成连接 
首次创建 SSF Stream 失败后，恢复管理器会因缺少尚未生成的 Audience 而将同一 Revision 误判为凭据交接冲突。现在仅对同一 owner、Transmitter、机器客户端且尚未绑定 Stream 的可恢复状态放行重试，跨 Revision 与不完整绑定配置仍保持安全拒绝。\n\n验证：gofmt、go vet ./...、env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1。
 2026-07-28 04:48:15 +08:00
wangbo edf7e66941 feat(cluster): 增加跨节点任务执行与请求素材场景 
新增 AI_GATEWAY_ASYNC_QUEUE_WORKER_ENABLED，默认保持启用；关闭时仅停止 River 异步任务执行器，HTTP、健康检查、结算与其他后台任务继续运行。

新增 0089 迁移并同步管理端默认场景，将 request_asset 加入现有上传渠道，确保 multipart 请求素材先转换为跨节点共享 URL。

验证：gofmt、go test ./... -count=1、go vet ./...、pnpm lint、pnpm test、pnpm build、迁移测试。
 2026-07-28 04:36:58 +08:00
wangbo 31565af07a refactor(runner): 收敛上游失败决策与轮转策略 
将同平台重试、跨平台动作、健康副作用和冷却排队统一到单一失败决策，避免旧降级策略与 failover 重复执行。\n\n增加事务级单源保护、候选实时刷新、冷却错误契约、管理接口严格校验及兼容策略只读展示。\n\n验证：真实 Gateway HTTP/PostgreSQL 接受测试 10 项通过；go test ./...、pnpm openapi、pnpm lint、pnpm test、pnpm build 均通过。
 2026-07-27 23:50:17 +08:00
wangbo 046c16fc69 fix(audio): 兼容百炼 OpenAI 音频输入 
为阿里云百炼 OpenAI-compatible Chat 统一保留标准 input_audio，并将旧版 audio_url 转换为 input_audio，同时根据 MIME 或扩展名补齐音频格式。

补充请求资产水合测试，确认 input_audio.data 会转换为裸 Base64 且保留 format。

验证：在 apps/api 执行 env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1 全部通过。
 2026-07-27 23:50:17 +08:00
wangbo 95776c84f6 fix(media): 规范比例与 OpenAI 图像尺寸参数 
统一过滤非 x:x 比例，避免默认值参与候选匹配或透传上游。

支持 xK 分辨率归一化，并按 Gemini、Volces 和 OpenAI 的参数规范生成上游请求；OpenAI 显式 WxH 始终保留用户原始尺寸。

验证：在独立临时 worktree 中执行 apps/api 全量 go test ./... -count=1 通过，真实 OpenAI 请求已到达上游但受本地无效凭据阻断。
 2026-07-27 23:50:17 +08:00
wangbo 039220c835 feat(models): 注册 Kimi K3 和 Qwen3.8 2026-07-27 23:50:17 +08:00
chengcheng 31c32690b2 feat(models): 支持按使用场景筛选模型 
Gateway 模型接口校验 usage_scene，并与 server-main 严格场景目录取交集；显式场景查询在上游不可用时关闭失败，避免返回不应暴露的模型。\n\n验证：env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1
 2026-07-27 13:15:23 +08:00
wangbo de10875439 feat(admin): 优化后台运维与任务管理 
完善平台、基准模型、定价规则和实时负载的紧凑查询与滚动展示，并固定关键操作列。

新增管理员任务记录、批量计费结算和用户组限流、额度及模型权限维护能力，同时补充任务脱敏、查询索引与 OpenAPI 契约。

验证：pnpm openapi、Go 全量测试、pnpm lint、pnpm test、pnpm build、gofmt 与差异格式检查均通过。
 2026-07-25 01:32:49 +08:00
wangbo 152885bbb6 fix(routing): 对齐缓存亲和力硬规则与审计 2026-07-24 23:51:27 +08:00
easyai 1fc80ffe23 test(http): 防止集成测试误用非测试数据库 
原因：共享迁移辅助函数会直接对 AI_GATEWAY_TEST_DATABASE_URL 指向的数据库执行迁移，需要在任何写入前阻止误连非测试库。

影响：HTTP 集成测试仅允许名称明确包含 test 边界的数据库；不影响未配置数据库环境变量时的普通单元测试。

风险：自定义测试库名称若不符合规则会被拒绝，需要改用 test、test_*、*_test 或包含 _test_ 的名称。

验证：gofmt 无差异；env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1 通过。
 2026-07-24 23:27:17 +08:00
wangbo a2ed32447a fix(storage): 补齐嵌套结果二进制转存 
生产真实 Gemini 图片任务可能在标准 data 之外保留嵌套 Base64，导致最终持久化关口拒绝任务成功。\n\n在所有生成结果返回前统一执行递归转存，并对仍未被常规媒体转换识别的二进制回退到本地结果物化，确保 PostgreSQL 不接收原始二进制。\n\n验证：go test ./... -count=1；go vet ./...；使用生产 Gemini Flash Image 平台配置完成本地真实图片编辑请求，文件哈希一致且持久化结果无内联二进制。
 2026-07-24 21:57:52 +08:00
wangbo 4f163ea6d7 perf(storage): 拦截任务二进制并本地暂存结果 
原因：任务标准结果中的 Base64、Data URI 和 Buffer 会进入 PostgreSQL JSON，导致 TOAST 与备份体积快速增长。

影响：新增统一 JSON 持久化关口；upload_none 将二进制原子写入本地结果目录，数据库仅保存带 SHA-256 的有界占位符；任务详情、同步响应、异步查询和兼容协议按需校验恢复。补充 24 小时清理、容量上限、历史小批量治理命令及管理端说明。

风险：本地结果超过 TTL、丢失或损坏时分别返回明确的 410/500；空间不足时返回 503 且不重试上游。未自动执行历史治理。

验证：三种真实图片模型同步/异步与幂等重放通过；Go vet/全量测试、前端 111 测试、lint/typecheck/build、OpenAPI、迁移安全、govulncheck、依赖审计、手工发布测试及 Linux amd64 构建通过。
 2026-07-24 21:13:09 +08:00
wangbo 810dcfeee6 perf(storage): 极简化任务历史并增加保留治理 
停止持久化 provider 原始响应、兼容响应快照、attempt/event/outbox 重复 JSON，并由标准任务结果动态生成 Kling/Keling/Volces 兼容响应。

增加事件去重与预算、极简 callback 投递、7/30 天分批清理、安全删除条件、并发迁移索引及可实际恢复的任务域排除备份。历史清理默认关闭，待兼容协议和异步恢复在线验证后单独启用。

验证：Go 全量测试与 go vet、PostgreSQL 18 集成与实际备份恢复、迁移安全测试、bash -n、ShellCheck、Compose 配置和人工发布脚本测试均通过。
 2026-07-24 18:23:22 +08:00
wangbo 09375bfae7 fix(queue): 移除未配置的 GPT 图像并发上限 2026-07-24 17:03:28 +08:00
wangbo 20945dbbcb fix(runner): 延长媒体上游请求超时 
图像生成上游同步响应可能超过 120 秒，原共享 HTTP 客户端会把仍在处理的提交标记为结果不确定。将客户端超时调整为 10 分钟，并增加回归测试；任务执行仍由现有租约、任务超时和取消机制约束。\n\n验证：\n- env -u AI_GATEWAY_TEST_DATABASE_URL go test ./internal/runner -run 'TestProviderHTTPClientTimeoutAllowsLongRunningMediaRequests|TestPlatformProxyMode' -count=1\n- env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1
 2026-07-24 13:42:47 +08:00
wangbo 6c5daf29ca perf(queue): 按策略动态扩缩异步 Worker 
将 River 执行容量按平台模型与用户组的有效并发策略动态调整，并为长任务续租、并发租约原子抢占和限流退避补充保护。\n\n统一平台模型限流继承语义，兼容历史 platformLimits/modelLimits，并为三个迁移图像模型建立独立并发租约。补充管理端显式继承/覆盖配置、指标、单元测试及隔离 PostgreSQL 验收。\n\n验证：go test ./... -count=1；pnpm lint；pnpm test；pnpm build；隔离 PostgreSQL 并发原子性/续租测试；128 任务与三分钟长任务动态 Worker 验收。
 2026-07-24 12:26:56 +08:00
wangbo 290b8c1854 fix(queue): 扩展生产媒体任务吞吐 2026-07-24 10:37:20 +08:00
wangbo d80b2e5ebf fix(queue): 提升媒体任务执行并发 2026-07-24 10:31:18 +08:00
wangbo 36d1b18e10 fix(images): 规范 OpenAI 图像尺寸参数 2026-07-24 09:28:18 +08:00
wangbo 8df87875de fix(images): 优先转换编辑图片为 multipart 二进制 
OpenAI 编辑即使声明支持 URL，也必须在 multipart 提交前转存为二进制文件。
 2026-07-24 09:04:23 +08:00
wangbo db640c1211 fix(images): 兼容 OpenAI 多图编辑 multipart 
- 将 OpenAI images/edits 请求构造成 multipart/form-data
- 在运行时安全转存 URL 图片为 data URL 后提交二进制文件
- 覆盖多图字段、真实上游模型名和内部元数据过滤测试
 2026-07-24 08:59:42 +08:00
wangbo 8b8e09cc22 fix(media): 支持大尺寸图像响应并补齐迁移契约 
- 为图像协议放宽 JSON 响应上限并显式处理读取与超限错误
- 合并基础模型与平台能力，避免运行时丢失分辨率和比例约束
- 固化稳定 Gemini 图像模型的能力、计价和 preview 兼容别名
 2026-07-24 08:40:30 +08:00
wangbo fb7e08fe5c fix(runtime): honor requested platform for routing 2026-07-24 07:56:48 +08:00
wangbo 76a7702925 fix(media): 对齐 EasyAI 媒体响应与转存策略 
统一媒体异步提交和轮询响应，扩展 /ai/result 到当前用户的 Gateway 媒体任务，并保持既有 Gateway 字段兼容。\n\n启用转存但无可用渠道时回退到 24 小时本地静态资源；关闭转存时保留图片、音频等上游 Base64 字段。同步更新文件上传兼容结构、OpenAPI、管理端说明和回归测试。\n\n验证：cd apps/api && env -u AI_GATEWAY_TEST_DATABASE_URL go test ./... -count=1；gofmt -l 无输出；pnpm nx run web:typecheck。
 2026-07-23 22:35:41 +08:00
wangbo 8b7d3e9c9a feat(seedance): 同步输入图片约束与自动转换 2026-07-23 21:55:42 +08:00
wangbo 46cdb1a288 fix(api): 缺失输出能力配置时透传请求 2026-07-23 11:07:31 +08:00
wangbo 8d86c4b3b3 feat(catalog): 统一模型调用身份并梳理生命周期 
新增官方调用名、供应商真实名、显示名和兼容别名的独立契约，调整路由、目录聚合、管理端与 OpenAPI。

增加 Gemini、Qwen、DeepSeek、Claude 和 MiniMax 生命周期迁移、别名观测及引用保护，并补充数据库与聚合测试。
 2026-07-22 20:23:36 +08:00
easyai 2812cadd4f fix(openapi): 补回图片异步响应契约 
为 Images 生成与编辑接口重新声明 X-Async 参数和 202 TaskAcceptedResponse，保持 OpenAPI 与真实运行时行为一致。

已重新生成 Swagger，并通过 HTTP API 测试和桌面端生成客户端类型检查验证。
 2026-07-22 15:43:32 +08:00
easyai e07a997aa9 feat(api): 统一官方兼容接口响应协议 
兼容接口现在以入口协议作为最终响应协议，同协议保留官方 Wire 响应，跨协议统一转换成功、任务状态与错误结构。

同时修正异步提交状态边界，持久化兼容公开任务标识和官方提交响应，并新增迁移、流式响应及协议契约测试。

验证：go vet ./...；go test ./...；govulncheck ./...；pnpm lint；pnpm test；pnpm build；pnpm audit --audit-level high；pnpm openapi；全部 CI 脚本。
 2026-07-22 15:34:59 +08:00
easyai 3056cf8fca feat(gateway): 补齐桌面端高级媒体直连接口
ci / verify (pull_request) Successful in 15m34s 
新增图片矢量化、视频超分、每日用量、计价与任务隔离能力，并通过环境变量解析平台凭据。

已通过 Go 全量门禁、迁移检查、镜像构建以及 Vectorizer 五格式和 Topaz 3 秒视频真实 DEV 验收。
 2026-07-22 14:02:53 +08:00
easyai d37fb3ea60 fix(keling): 统一 Omni 模型别名与生产绑定
ci / verify (pull_request) Successful in 21m44s
2026-07-22 10:00:30 +08:00
easyai a23b28c27d test(api): 等待异步任务完成后校验结果
ci / verify (pull_request) Successful in 12m38s 
真实队列环境中 X-Async 请求会先返回 queued。集成测试改为轮询任务完成并重新读取详情，避免把正确的异步受理状态误判为失败。
 2026-07-22 08:56:30 +08:00
easyai 5432760cf7 fix(identity): 避免未配置 SSF 时触发空指针 
SecurityEventReceiver 不再把空 ConnectionManager 包装为非空接口；未启用 SSF 时公开端点明确返回 404。补充运行时和 HTTP 回归测试。\n\n验证：go test ./internal/identityruntime ./internal/httpapi。
 2026-07-22 08:48:36 +08:00
easyai 7c5a999e32 feat(api): 统一公开接口为 /api/v1 前缀 
将通用生成、Gemini、可灵、火山、健康检查与 OpenAPI 的推荐入口统一到 /api/v1，并保留历史路径作为兼容别名。同步更新代理配置、接入文档、接口清单和前缀回归测试。\n\n验证：go vet ./...；go test ./...；pnpm openapi；pnpm lint；pnpm test；pnpm build；公开 OpenAPI 71 个方法与接口清单机器比对一致。
 2026-07-22 08:48:32 +08:00
easyai 5954afef55 fix(gemini): 保留兼容平台的 API 版本路径
ci / verify (pull_request) Successful in 9m42s
2026-07-22 04:53:42 +08:00
easyai 16149260c7 fix(universal): 映射脚本上游模型名
ci / verify (pull_request) Successful in 9m51s 
让 server-main 参数预处理兼容上下文使用平台绑定的真实模型名，避免把用户侧别名提交给上游。
 2026-07-22 03:56:00 +08:00