暴露gptimage2编辑api #300

Closed

k88936 wants to merge 0 commits from feat/expose-image2edit into feat/ui-editor-auto-seperation

pull from: feat/expose-image2edit

merge into: GenarrativeAI:feat/ui-editor-auto-seperation

GenarrativeAI:master

GenarrativeAI:design_agent_refactor

GenarrativeAI:feat/ui-editor-auto-seperation

GenarrativeAI:feat/agc-canvas-resource-workbench-v3

GenarrativeAI:agent-organize

GenarrativeAI:feat/game-agent-canvas-resource-workbench-v2

GenarrativeAI:fix/ui-editor-minor-adjusts

GenarrativeAI:fix/agc-release-version-sync

GenarrativeAI:feat/agc-new-workflow

GenarrativeAI:fix/codex-session-management

GenarrativeAI:codex/shared-components-followup

GenarrativeAI:codex/agc-runtime-generation-reliability

GenarrativeAI:codex/game-agent-runtime-interaction-design

GenarrativeAI:feat/spine-sequence-export-v2

GenarrativeAI:codex/agc-platform-account-editor-api

GenarrativeAI:codex/game-agent-run

GenarrativeAI:codex/ui-spritesheet-durable-transaction-latest

GenarrativeAI:feat/art-agent-more-tools

GenarrativeAI:codex/editor-canvas-null-source-repair

GenarrativeAI:hotfix/editor-layout-2mib

GenarrativeAI:codex/showcase

Conversation 1 Commits - Files Changed -

k88936 commented 2026-09-07 15:39:11 +08:00

Member

Copy Link

Copy Source

在 /api/raw/v1/image/edit提供gptimage2的编辑功能, 为切图层功能服务.
原因:

1. 要提供自由的分辨率参数
2. 切图层的中间输入输出在将来的实现里可能需要各种前后, 原始输入输出不适合留在素材库里.
   实现:

• 代理到 vectorengine
• trunsaction中预扣款, 失败退款

在 /api/raw/v1/image/edit提供gptimage2的编辑功能, 为切图层功能服务. 原因: 1. 要提供自由的分辨率参数 2. 切图层的中间输入输出在将来的实现里**可能**需要各种前后, 原始输入输出不适合留在素材库里. 实现: * 代理到 vectorengine * trunsaction中预扣款, 失败退款

k88936 referenced this pull request 2026-09-07 15:49:35 +08:00

UI编辑器自动分图层切图标 #239

k88936 changed title from WIP: 暴露gptimage2编辑能力 to WIP: 暴露gptimage2编辑api 2026-09-07 18:03:03 +08:00

k88936 self-assigned this 2026-09-07 18:03:27 +08:00

k88936 added this to the 美术Agent project 2026-09-07 18:03:32 +08:00

k88936 modified the project from 美术Agent to 陶泥儿gameAgent 2026-09-07 18:03:42 +08:00

k88936 added a new dependency 2026-09-07 20:20:42 +08:00

#304 WIP: UI编辑器自动分图层切图标

k88936 changed target branch from master to feat/ui-editor-auto-seperation 2026-09-09 10:48:18 +08:00

k88936 added 32 commits 2026-09-09 10:48:18 +08:00

补充 Raw GPT Image 2 代理方案 ... 302b4addae

明确 JSON 请求与 data 数组响应

记录预检查和钱包事务边界

拆分 api-server 与 platform-image 文件职责

实现 Raw GPT Image 2 图片编辑代理 ... 4e1316e272

新增受 Bearer 保护的 /api/raw/v1/images/edit JSON 路由

按单图 image 与可选 mask 转发 GPT Image 2 参数

固定 model 与 n 并返回仅含 data[].b64_json 的响应

复用钱包计费与退款边界并补充单元测试

补充 Raw 图片参数预检查 ... 18d60feb04

在计费前校验质量、背景和输出格式

规范化可选参数并保持单图请求契约

UI编辑器一批细节优化 (#278) ... 4db6d28603

* 提示词:完善组件建议，增加容器背景与节点大小一致的实现
* 支持Delete删除节点 ctrl + -缩放
* 步骤结束弹窗提醒
![shotmd-1788599068.jpg](/attachments/99a1e4aa-d778-41bf-9dda-0df703723407)
![shotmd-1788605840.jpg](/attachments/31ab883d-32bc-467b-9308-616b83387a79)

* UI 树快捷删除
![shotmd-1788605655.jpg](/attachments/3d451201-3f68-4eb6-b558-864ecf0cb5a3)

* zoom滑动条样式

before:
![image.png](/attachments/e4a04304-e6eb-4da6-9352-99e093fee42e)
after:
![shotmd-1788606577.jpg](/attachments/6cdc377c-f2a3-4a7e-b78e-772a3fdb13b7)

Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/278
Co-authored-by: 王德宇 <kvtodev@outlook.com>
Co-committed-by: 王德宇 <kvtodev@outlook.com>

简化图片编辑 multipart 请求分支 ... 5836aaec26

统一通过带选项的 multipart 传输函数发送请求

移除冗余包装函数调用与未使用导入

减少图片编辑 multipart 字节复制 ... d1f9f4e1ef

将已克隆的选项按值传入阻塞传输函数

构造 mask 与参考图表单时直接移动字节缓冲

补充图片编辑选项 multipart 测试 ... 4dcf38715b

覆盖质量、背景、输出格式与 mask 文件字段

断言文件名、MIME 类型和字节内容均正确发送

移除未使用的 multipart 请求包装函数 ... a576fdcc37

无选项测试直接调用统一传输入口

避免生产构建保留未使用函数告警

收口 Raw 图片 base64 校验错误 ... 7fc1b841be

客户端仅返回稳定的 base64 格式错误提示

补充测试避免泄露解码器内部诊断细节

隔离 Raw 图片代理实现 ... f087ba3e2b

移除对现有图片编辑 client 与 curl transport 的复用

将 Raw GPT Image 2 请求、multipart 构造和响应解析收敛到独立文件

保持现有 editor 图片链路代码不变

优化泥点流水的素材消耗原因展示 (#302) ... 456cc42dd3

Close #296

## 问题

钱包流水目前只把素材类扣费暴露为 `asset_operation_consume`，共享账单组件统一显示“资产操作消耗”，无法说明本次泥点实际用于哪类素材生成。

## 落地方案

- 在既有钱包流水 metadata 中记录服务端确定的 `assetKind`，不修改 SpacetimeDB schema。
- `api-server` 只将内部素材类型白名单映射为用户可见 `reason`，不暴露原始 metadata、资源 ID 或任务 ID。
- 共享钱包流水契约与组件优先展示具体原因；历史、未知或空 metadata 继续回退为“资产操作消耗”。
- 主站、图片画布与 AGC 继续复用同一共享账单组件。

## 当前进度

- [x] 补充权威后端数据契约
- [x] 写入素材操作类型 metadata
- [x] 扩展钱包流水公开 DTO 与安全映射
- [x] 更新共享账单展示与回归测试
- [x] 完成定向验证与边界检查

## 用户可见映射

- 图片、图标图集、美术规范、UI 设计、发布素材：生成美术素材
- 图片修改：编辑美术素材
- UI 素材提取：提取美术素材
- 角色动画：生成角色动画
- 视频：生成视频素材
- 音效：生成音效素材
- 背景音乐：生成背景音乐
- 历史、未知、空 metadata：资产操作消耗

## 验证

- `cargo fmt --all -- --check`
- `cargo test -p api-server profile_wallet_ledger_reason_only_exposes_known_asset_operations`
- `cargo test -p api-server worker_billing_context_freezes_charge_and_preserves_job_metadata`
- `cargo test -p shared-contracts profile_wallet_ledger_response_uses_camel_case_fields`
- `npx vitest run packages/shared/src/components/PlatformProfileWalletLedgerModal/index.test.tsx`
- `npm run typecheck`
- `npx eslint packages/shared/src/components/PlatformProfileWalletLedgerModal/model.ts packages/shared/src/components/PlatformProfileWalletLedgerModal/index.test.tsx packages/shared/src/contracts/runtime.ts`
- `npm run check:encoding`
- `npm run check:spacetime-schema`
- `git diff --check`

以上均通过；Rust 仅输出仓库已有 dead-code warnings。

## 未验证边界

- 未执行真实登录、生成并读取新钱包流水的端到端联调。本机 `8082/3101` 已由另一套本地栈占用，为避免当前分支挂接同一数据库并带起 worker 处理现有队列，本轮未启动 `npm run dev:api-server`。
- 四项远端 CI 已全部通过，PR 已转为 Ready for review。

## 不变项

- 不修改历史流水数据。
- 不调整泥点价格、扣费顺序、幂等 ledger、失败退款或余额结算。
- 不修改 SpacetimeDB schema。

---------

Co-authored-by: 段舒康 <kdletters@qq.com>
Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/302
Co-authored-by: Suzumiya <suzmii@qq.com>
Co-committed-by: Suzumiya <suzmii@qq.com>

AGC产物迁移npm与Phaser4 ... 1498247e9f

新增 npm + Vite + Phaser 4.2.1 游戏工程脚手架

允许 DirectProject 在项目边界内安装依赖并执行构建

让预览、静态检查、投影和试玩导出统一使用 dist 产物

补充 Phaser Skill、技术方案、项目记忆和定向测试

修复 Raw 图片失败审计与响应格式 ... 35d0db6377

为 Raw provider 失败分支补齐结构化 failure audit 并接入 api-server 记录链

使用 VectorEngine 响应 output_format 生成返回图片 MIME 与扩展名

补充响应格式和审计字段定向测试并同步技术方案

收紧 Raw 图片编辑输入契约 ... b22eae2726

新增 3840 边长、16 像素对齐、3:1 比例和总像素范围校验

要求 image 与 mask 为可完整解码的 PNG 并在扣费前拒绝非法输入

将 Raw 路由 JSON body limit 提升至 64 MiB

同步 Raw 图片编辑技术方案和边界测试

简化 Raw 图片编辑响应类型 ... a86a2ee4d2

移除无必要的 JSON Value 转换
保持响应结构由类型系统校验

限制 Raw 图片解码资源 ... 22785b4d7b

为 PNG 解码设置边长和分配上限
避免压缩图片膨胀导致内存耗尽

移出 Raw 图片同步解码 ... 0136bfe564

将请求预校验放入阻塞线程
避免占用 Tokio 异步工作线程

减少 Raw 图片编辑请求拷贝 ... cea8bf77fa

移动 multipart 选项字段而非克隆
降低掩码和字符串的峰值内存

修正 Raw 图片输出格式回退 ... 35dcfea3ef

忽略空值后再使用载荷级格式
补充空字符串和 null 回归测试

修正 Raw 图片传输失败阶段标记 ... e7f66ce950

区分请求发送和响应读取失败
让错误详情准确反映故障阶段

完善 Raw 图片尺寸错误类型 ... 55d2a393d1

为公开错误实现 Error trait
支持通用错误链处理

遵守 Raw 图片请求截止时间 ... ad7c059603

发送前裁剪有效超时预算
预算耗尽时提前返回结构化错误

AGC 客户端 MCP 能力暴露 (#274) ... 1f904d28e9

## 目标
保留现有客户端对话与 Codex app-server 链路，把客户端自身受控业务能力通过 MCP 暴露给 Codex。

## 范围
- 客户端会话、项目文件、资源、画布、生成、预览等稳定能力
- 审核 Skill 的索引与按需指导资源
- 复用现有账号、项目路径、权限、计费、幂等、锁和恢复边界

## 明确不做
- 不替换客户端对话入口或 Codex app-server
- 不让客户端替 Codex 判断高层意图、完成状态或规划
- 不暴露任意 Tauri command、shell、凭据、内部 URL、数据库和管理能力

当前 PR 先建立独立分支与审查边界，后续提交实现与定向验证。

Reviewed-on: #274

Feat/AGC对话渲染markdown (#281) ... 01e057d047

before:
 ![image.png](/attachments/ca6f46f7-dcbd-4132-bad2-cf5c83c49096)

after:
 ![shotmd-1788500615.jpg](/attachments/719539a1-9dfb-412a-a9b9-298547b1791c)
![shotmd-1788500598.jpg](/attachments/4656815f-caca-4325-bca3-b29fe5742b6e)

考虑到在AGC场景下不是很有理由, 暂不实现链接, 图片, 内嵌html

---------

Co-authored-by: 段舒康 <kdletters@qq.com>
Reviewed-on: #281
Co-authored-by: 王德宇 <kvtodev@outlook.com>
Co-committed-by: 王德宇 <kvtodev@outlook.com>

feat/AGC codex的工具调用 持久化处理 (#282) ... d3f5d0a355

重构directproject的thread持久化,  保存response items用来恢复thread

修改了DirectProject的对话jsonl格式,  不兼容不迁移. (测试需要手动清理旧对话jsonl文件)

AGC显式写入user msg, 对codex 返回的user msg忽略
清理原来的上下文滑动窗口, 因为codex内部会自动compact

工具调用后重启,继续对话:
![shotmd-1788579616.jpg](/attachments/8350c924-9498-47cd-b3da-8be6b79696f9)

close #249
close #277

---------

Co-authored-by: 段舒康 <kdletters@qq.com>
Reviewed-on: #282
Co-authored-by: 王德宇 <kvtodev@outlook.com>
Co-committed-by: 王德宇 <kvtodev@outlook.com>

修复 AGC 模型选择入口、交互与默认模型回退 (#299) ... a0e6a83691

### 背景

AGC 后台已支持维护 LLM 模型目录（`agc_model_catalog`），客户端此前只在项目右侧对话浮出模型选择，且存在几个体验问题：

1. 首页聊天框架缺少模型选择入口；
2. 首次进入项目时，右侧模型选择器「点不动」（被 disabled）；
3. 模型选择下拉失去焦点不自动收起；
4. 默认模型缺少可视标识；
5. 已保存的选择被后台停用/移除后，客户端显示「请选择模型」，未自动回退默认模型；首页因懒加载在打开前也一直显示「选择模型」。

### 改动内容（完整变更集）

- **首页聊天框架新增模型选择入口**，复用项目右侧对话的 `ConversationModelSelect`；上传按钮在左，模型选择器与发送按钮在右（同一组，模型选择器紧挨发送按钮）。
- **修复首次进入项目时右侧模型选择器点不动**：选择器不再因目录加载（`busy`）或对话进行中（`controlBusy`）被禁用；切换模型只写回客户端配置并作用于后续轮次，发送仍由 `controlBusy` / `modelReady` 把关。
- **模型下拉支持点击外部 / Esc 自动收起**：给组件容器挂 ref，监听 `document` 的 `mousedown` 与 `keydown`，点击容器外或按 Esc 即收起（仅在展开时挂监听）。
- **默认模型增加「默认」标识**：组件记录 `defaultModelId`，在下拉选项中给默认模型显示小标签；亮暗主题自适应。
- **模型选择始终回退默认模型**：已保存选择仍可用时沿用；被停用/移除或从未选择时回退到后台默认模型并写回配置；只有默认模型本身不可用才走错误分流。首页由「懒加载」改为「挂载即加载」，触发按钮直接落在默认模型上，不再出现「选择模型」空态。
- **清理**：移除组件中已无调用方的 `lazy` 加载路径。
- **文档**：同步更新 `【技术方案】AGC后台模型别名与对话选择-2026-09-05.md`（首页入口、对话进行中可切换模型、失焦收起等行为）。

### 关键交互/行为说明

- 触发按钮永远显示模型名（默认或当前选择），不再出现「选择模型」占位，除非默认模型不可用。
- 模型下拉的加载中、刷新、选中态沿用原有交互；默认模型有「默认」标签，便于识别。
- 首页模型选择器不改动「开启创作」门控：目录不可用时仍可创建项目并走后台默认项。

### 验证

- `npm run test -- apps/ai-game-creator-shell/tests/conversationModelSelect.test.tsx` -> 7/7 通过
- `npm run test -- apps/ai-game-creator-shell/tests/appSurface.test.ts` -> 386/386 通过
- `npm run ai-game-creator-shell:typecheck` 通过
- `npm run check:encoding`（4309 文件）通过
- `git diff --check` 通过

### 影响范围与注意事项

- 变更集中在 AGC 客户端（`apps/ai-game-creator-shell`），不涉及 SpacetimeDB schema / 后端接口 / 契约。
- `GET /api/llm/models` 语义不变（仍只返回启用项 + 默认项），本次不改后端。
- 模型下拉在窄屏的换行/遮挡，以及「默认」标签对比度，建议在真机确认一下观感（单测只覆盖逻辑）。

### 关联

- 无关联 Issue；本 PR 独立提交。

---------

Co-authored-by: 段舒康 <kdletters@qq.com>
Reviewed-on: #299
Co-authored-by: 董羽秦 <suzmii@qq.com>
Co-committed-by: 董羽秦 <suzmii@qq.com>

统一 GPT Image 2 尺寸常量 ... 0e244c64ea

集中维护像素边界和对齐规则
供生成与编辑路径共同引用

补充 Raw 图片编辑请求日志 ... 6068eeda83

记录上游响应状态与耗时
记录传输失败阶段和结构化上下文

补充 Raw 图片生成成功追踪 ... 65e73eee02

记录成功任务与输出数量
完善上游响应和失败阶段日志

修正 Raw 图片追踪结果类型 ... ed86963de2

明确输出数据集合类型
保持 API 编译检查通过

同步 Raw 图片编辑技术方案 ... 3a95715990

记录解码资源上限和阻塞线程策略
补充输出格式回退与成功追踪约定

Merge remote-tracking branch 'origin/master' into feat/expose-image2edit c75a7725ce

k88936 added 4 commits 2026-09-09 11:34:34 +08:00

修正 Raw 图片尺寸校验错误语义 ... 5ee2d940c1

尺寸校验失败改用请求参数无效语义

补充错误文案回归测试

补充 Raw 图片客户端错误上下文 ... f7cccd8592

为 HTTP 客户端构造失败统一保留操作上下文

补充配置错误文案回归测试

提前检查 Raw 图片请求预算 ... f60771dd00

在构造 multipart 表单前校验请求 deadline

避免预算耗尽时复制输入图片并缩短耗时统计范围

区分 Raw 图片 PNG 资源限制错误 ... f7edc9d0ee

将有效但超出解码限制的 PNG 映射为明确的 400 提示

补充超大合法 PNG 的回归测试

k88936 marked the pull request as ready for review 2026-09-09 13:32:22 +08:00

k88936 commented 2026-09-09 13:32:53 +08:00

Author

Member

Copy Link

Copy Source

cherry picked already

cherry picked already

k88936 closed this pull request 2026-09-09 13:32:53 +08:00

Some checks are pending

Hide all checks

Project CI / Frontend tests (pull_request) Successful in 4m43s

Details

Project CI / Repository checks (pull_request) Failing after 11s

Details

Project CI / Backend tests (pull_request) Failing after 10s

Details

Project CI / Native shell tests (pull_request) Failing after 5m14s

Details

Pull request closed

Please reopen this pull request to perform a merge.

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

Compat/Breaking

Breaking change that won't be backward compatible

Kind/Bug

Something is not working

Kind/Documentation

Documentation changes

Kind/Enhancement

Improve existing functionality

Kind/Feature

New functionality

Kind/Security

This is security issue

Kind/Testing

Issue or pull request related to testing

Priority

Critical

1

The priority is critical

Priority

High

2

The priority is high

Priority

Low

4

The priority is low

Priority

Medium

3

The priority is medium

Reviewed

Confirmed

1

Issue has been confirmed

Reviewed

Duplicate

2

This issue or pull request already exists

Reviewed

Invalid

3

Invalid issue

Reviewed

Won't Fix

3

This issue won't be fixed

Status

Abandoned

3

Somebody has started to work on this but abandoned work

Status

Blocked

1

Something is blocking this issue or pull request

Status

Need More Info

2

Feedback is required to reproduce issue or to continue work

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project 陶泥儿gameAgent

Assignees

Clear assignees

HuangJiaJia JenkenB k88936 (王德宇) kdletters (段舒康) laura2008 (王乐) lhk229 (孔令弘) Loer (农洛儿) loong suzmii (董羽秦) taobaisu (叶东旭) wuxiangwanzi (王子民) YixuanLiu ziyu

No Assignees k88936

1 Participants

Notifications

Subscribe

Due Date

No due date set.

Blocks

#304 WIP: UI编辑器自动分图层切图标

GenarrativeAI/Genarrative

Reference: GenarrativeAI/Genarrative#300