WIP: UI编辑器自动分图层切图标 #304

Draft

k88936 wants to merge 100 commits from feat/ui-editor-auto-seperation into master

pull from: feat/ui-editor-auto-seperation

merge into: GenarrativeAI:master

GenarrativeAI:master

GenarrativeAI:design_agent_refactor

GenarrativeAI:feat/agc-canvas-resource-workbench-v3

GenarrativeAI:agent-organize

GenarrativeAI:feat/expose-image2edit

GenarrativeAI:feat/game-agent-canvas-resource-workbench-v2

GenarrativeAI:fix/ui-editor-minor-adjusts

GenarrativeAI:fix/agc-release-version-sync

GenarrativeAI:feat/agc-new-workflow

GenarrativeAI:fix/codex-session-management

GenarrativeAI:codex/shared-components-followup

GenarrativeAI:codex/agc-runtime-generation-reliability

GenarrativeAI:codex/game-agent-runtime-interaction-design

GenarrativeAI:feat/spine-sequence-export-v2

GenarrativeAI:codex/agc-platform-account-editor-api

GenarrativeAI:codex/game-agent-run

GenarrativeAI:codex/ui-spritesheet-durable-transaction-latest

GenarrativeAI:feat/art-agent-more-tools

GenarrativeAI:codex/editor-canvas-null-source-repair

GenarrativeAI:hotfix/editor-layout-2mib

GenarrativeAI:codex/showcase

Conversation 0 Commits 100 Files Changed 98

+5177 -1142

k88936 commented 2026-09-07 20:19:44 +08:00

Member

Copy Link

Copy Source

close #239

close #239

k88936 self-assigned this 2026-09-07 20:19:44 +08:00

k88936 added this to the 陶泥儿gameAgent project 2026-09-07 20:19:44 +08:00

k88936 referenced this pull request 2026-09-07 20:20:03 +08:00

UI编辑器自动分图层切图标 #239

k88936 added a new dependency 2026-09-07 20:20:42 +08:00

#300 暴露gptimage2编辑api

k88936 added the due date 2026-09-10 2026-09-07 20:36:39 +08:00

k88936 added 53 commits 2026-09-09 13:31:52 +08:00

补充 Raw GPT Image 2 代理方案 ... 302b4addae

明确 JSON 请求与 data 数组响应

记录预检查和钱包事务边界

拆分 api-server 与 platform-image 文件职责

实现 Raw GPT Image 2 图片编辑代理 ... 4e1316e272

新增受 Bearer 保护的 /api/raw/v1/images/edit JSON 路由

按单图 image 与可选 mask 转发 GPT Image 2 参数

固定 model 与 n 并返回仅含 data[].b64_json 的响应

复用钱包计费与退款边界并补充单元测试

补充 Raw 图片参数预检查 ... 18d60feb04

在计费前校验质量、背景和输出格式

规范化可选参数并保持单图请求契约

简化图片编辑 multipart 请求分支 ... 5836aaec26

统一通过带选项的 multipart 传输函数发送请求

移除冗余包装函数调用与未使用导入

减少图片编辑 multipart 字节复制 ... d1f9f4e1ef

将已克隆的选项按值传入阻塞传输函数

构造 mask 与参考图表单时直接移动字节缓冲

补充图片编辑选项 multipart 测试 ... 4dcf38715b

覆盖质量、背景、输出格式与 mask 文件字段

断言文件名、MIME 类型和字节内容均正确发送

移除未使用的 multipart 请求包装函数 ... a576fdcc37

无选项测试直接调用统一传输入口

避免生产构建保留未使用函数告警

收口 Raw 图片 base64 校验错误 ... 7fc1b841be

客户端仅返回稳定的 base64 格式错误提示

补充测试避免泄露解码器内部诊断细节

隔离 Raw 图片代理实现 ... f087ba3e2b

移除对现有图片编辑 client 与 curl transport 的复用

将 Raw GPT Image 2 请求、multipart 构造和响应解析收敛到独立文件

保持现有 editor 图片链路代码不变

修复 Raw 图片失败审计与响应格式 ... 35d0db6377

为 Raw provider 失败分支补齐结构化 failure audit 并接入 api-server 记录链

使用 VectorEngine 响应 output_format 生成返回图片 MIME 与扩展名

补充响应格式和审计字段定向测试并同步技术方案

收紧 Raw 图片编辑输入契约 ... b22eae2726

新增 3840 边长、16 像素对齐、3:1 比例和总像素范围校验

要求 image 与 mask 为可完整解码的 PNG 并在扣费前拒绝非法输入

将 Raw 路由 JSON body limit 提升至 64 MiB

同步 Raw 图片编辑技术方案和边界测试

简化 Raw 图片编辑响应类型 ... a86a2ee4d2

移除无必要的 JSON Value 转换
保持响应结构由类型系统校验

限制 Raw 图片解码资源 ... 22785b4d7b

为 PNG 解码设置边长和分配上限
避免压缩图片膨胀导致内存耗尽

移出 Raw 图片同步解码 ... 0136bfe564

将请求预校验放入阻塞线程
避免占用 Tokio 异步工作线程

减少 Raw 图片编辑请求拷贝 ... cea8bf77fa

移动 multipart 选项字段而非克隆
降低掩码和字符串的峰值内存

修正 Raw 图片输出格式回退 ... 35dcfea3ef

忽略空值后再使用载荷级格式
补充空字符串和 null 回归测试

修正 Raw 图片传输失败阶段标记 ... e7f66ce950

区分请求发送和响应读取失败
让错误详情准确反映故障阶段

完善 Raw 图片尺寸错误类型 ... 55d2a393d1

为公开错误实现 Error trait
支持通用错误链处理

遵守 Raw 图片请求截止时间 ... ad7c059603

发送前裁剪有效超时预算
预算耗尽时提前返回结构化错误

统一 GPT Image 2 尺寸常量 ... 0e244c64ea

集中维护像素边界和对齐规则
供生成与编辑路径共同引用

补充 Raw 图片编辑请求日志 ... 6068eeda83

记录上游响应状态与耗时
记录传输失败阶段和结构化上下文

补充 Raw 图片生成成功追踪 ... 65e73eee02

记录成功任务与输出数量
完善上游响应和失败阶段日志

修正 Raw 图片追踪结果类型 ... ed86963de2

明确输出数据集合类型
保持 API 编译检查通过

同步 Raw 图片编辑技术方案 ... 3a95715990

记录解码资源上限和阻塞线程策略
补充输出格式回退与成功追踪约定

Merge remote-tracking branch 'origin/master' into feat/expose-image2edit c75a7725ce

修正 Raw 图片尺寸校验错误语义 ... 5ee2d940c1

尺寸校验失败改用请求参数无效语义

补充错误文案回归测试

补充 Raw 图片客户端错误上下文 ... f7cccd8592

为 HTTP 客户端构造失败统一保留操作上下文

补充配置错误文案回归测试

提前检查 Raw 图片请求预算 ... f60771dd00

在构造 multipart 表单前校验请求 deadline

避免预算耗尽时复制输入图片并缩短耗时统计范围

区分 Raw 图片 PNG 资源限制错误 ... f7edc9d0ee

将有效但超出解码限制的 PNG 映射为明确的 400 提示

补充超大合法 PNG 的回归测试

透传 Raw 图片结果避免解码回显字段 ... b3693765ef

仅转发上游 data.b64_json 并忽略 output_format

同步 Raw 技术方案并补充不解码回归测试

为 Raw 成功响应收紧类型透传 ... 6c77de4a36

使用 typed JSON DTO 提取并原样转发 b64_json

不解码图片内容且忽略 output_format 回显

在扣费前校验 Raw mask 尺寸 ... 40316d82c4

解码时保留 image 与 mask 宽高并拒绝不一致输入

同步 Raw 图片编辑请求合同与回归测试

限制 Raw prompt 原始字节大小 ... 5bbedd9a5c

将 prompt UTF-8 原始字节限制为 16 KiB

补充超限回归测试并同步请求合同

同步 platform-image 的 serde 锁定依赖 ... acfcf0c158

为 Raw typed 响应记录 serde workspace 依赖

收紧 Raw 成功响应字段类型 ... c049d68b8e

要求 data 与 b64_json 必填并移除无用 provider id

prompt 上限调整为 4 KiB 原始字节并同步文档

将 Raw 图片编辑入站改为 multipart ... 0400103a19

移除 JSON/base64 入站兼容，仅接受 multipart 图片与参数字段

复用扣费前 PNG、尺寸、mask 和 prompt 校验并补充 multipart 测试

优化上游图片字节转发，避免再次克隆 image bytes

同步 Raw 图片编辑技术方案与 Axum multipart 依赖

补充UI编辑器自动分离工作流合同 ... b2d4690f94

新增自动分离、临时 sidecar 与视觉绑定设计合同

明确前端资产登记职责与恢复 TODO

实现UI自动分离命令 ... 4cc7f4dd64

新增分离树、批次处理与sidecar状态

接入Raw GPT Image 2与视觉绑定重试

注册Tauri命令并补充识别组件草稿

完善UI自动分离批次处理 ... f796aef7e2

复用资源ID安全路径并修正像素坐标

加入标记图、Raw编辑、视觉绑定修复与问题节点继续处理

拆分UI自动分离命令模块 ... 109cc81740

保留原始图片分离与绑定提示词

提取模型、树、持久化和工作流子模块

新增可配置 more_turn 反馈重试 harness

保留原始分离提示并拆分模块 ... 187faa607d

按模型、树、持久化、提示词和工作流拆分 separation

提取支持 more_turn 的反馈重试 harness

删除旧 separation.rs 文件

修复分离树合成根节点 ID 冲突 ... aff40f794d

避免单图根节点重复进入重做计数
补充根图片构造回归测试

阻止识别结果引用未授权字体素材 ... dda6b3946a

补齐识别阶段字体引用校验
增加伪造字体绑定回归测试

保留分离问题节点的真实重做次数 ... 3c1e7bd599

避免基础设施失败伪造达到上限
保持 problematic 节点诊断信息准确

隔离非法分离区域导致的批次失败 ... 19f3d62d78

将裁切错误记录为 problematic 并继续流程
避免单个模型区域终止整页分离

统一分离树文件格式 ... 207b0820dd

按仓库 rustfmt 规范整理 synthetic root 实现

补充自动分离 sidecar 并发边界约束 ... 884c5ec5ee

记录前端单次运行与 runWithStateLocked 的并发前提

明确 sidecar 不参与正式资产写入和项目 revision

补充未来多窗口多进程场景的进程级锁 TODO

记录图像本地处理使用 spawn_blocking 的执行边界

将自动分离图像处理移出异步执行器 ... 56fff8325b

在 spawn_blocking 中构建标记图并编码写入处理图

在 spawn_blocking 中完成处理图裁切与文件输出

保留 image-edit 和视觉绑定网络请求的 async 调度边界

调整UI识别指令细节，明确文字组件识别规则与粒度标准 15e30acb0f

补充分离流程排障日志 ... 99c19e3ed9

记录 separation sidecar 状态读写与恢复阶段

记录树构造、批次选择、视觉绑定、裁切和 patch 结果

避免输出 base64、完整提示词和敏感凭据

简化识别树验证测试中的断言格式 592b6b4ee7

调整UI识别指令，细化粒度要求并优化组件返回规则 418d5732de

适配 UI 分离图片编辑 multipart 接口 ... 11d4d3d930

将标记图 data URL 解码为 PNG 文件部件。

按 Raw GPT Image 2 新合同发送 prompt、尺寸和输出参数。

保留响应 data[].b64_json 解析与 separation 流程不变。

k88936 force-pushed feat/ui-editor-auto-seperation from 9426ac3a16 to 11d4d3d930 2026-09-09 13:31:52 +08:00 Compare

k88936 added 10 commits 2026-09-09 16:27:48 +08:00

补充分离树与批次算法约定 ... bc5398894e

明确真实根节点、逻辑叶和非重叠贪心选择
补充父节点紫色重建与错误恢复边界

重构分离树与非重叠批次选择 ... 26b9ad7fad

保留真实根节点并记录 root_extractable
按终态反查和 DFS 贪心筛选逻辑叶
拆出父子区域标记图生成模块

格式化自动分离 Rust 模块 ... d30bc462c5

统一树选择、标记图和批次流程代码风格

补充分离批次重叠筛选测试 ... 9b4924c73e

验证 DFS 顺序下贪心跳过重叠叶节点

补充 Raw GPT Image 2 multipart 合同 ... df3a172bc9

明确分离图片编辑请求字段与旧协议边界

同步分离状态 TypeScript 类型 ... f349350d60

加入 root_extractable 并将树字段统一为 trees

修正分离失败恢复边界 ... feb6bc0ad4

图片编辑、写入和裁切失败保留状态并返回错误
仅视觉模型返工结果进入 problematic

统一分离标记图中文注释 ... 7aa96e8438

说明紫色重建与绿色框绘制层级

重命名 separated_image_area 为 extracted_area，优化命名一致性并明确区域含义 aa2a78f7e0

增强分离标记框的可视辨识度 ... 8a0dcf8be7

为分离标记框增加两条绿色角到角交叉线。

新增 MARKER_LINE_WIDTH 常量统一配置标记线宽，并确保绘制结果裁剪在矩形内。

补充标记框像素级回归测试并同步更新自动分离专题文档。

k88936 added 3 commits 2026-09-09 19:11:39 +08:00

完善 UI 自动分离返工意见链路 ... 6e4f9a6f1f

记录视觉模型 NeedRework 意见并注入后续提取提示

同步返工次数、problematic 终态和 512 字符校验

补充 separation DTO 类型、回归测试与技术方案

重构 UI Editor LLM repair history ... d4b5f9fc14

将 request_with_feedback 改为 run_with_repair_history 并统一 max_retries 与 validater 命名。

让 requester 接收 append-only LlmMessage history，业务校验失败追加序列化响应和错误反馈。

迁移 visual_binding 调用方并补充 retry-only 与业务反馈 history 测试。

同步 UI Editor 结构化请求 repair history 决策文档。

优化 UI 分离工作流程的提示生成与历史处理 ... 53a919e39b

- 调整 initial_history 构建逻辑，增强系统与用户消息的一致性。
- 简化 SeparationNode 提示生成逻辑，仅保留节点 ID 与注释。
- 明确 extracted_area 的权威性为 processed 图像，并更新生成提示的规则。

k88936 added 16 commits 2026-09-10 13:09:40 +08:00

补充自动分离前端接入合同 ... 3e1e172f9c

明确 UI 编辑器单次调用 separation 与 sidecar 恢复弹窗

补充资源登记、State 回填、保存和 finalize 顺序

划定旧 binding 与 Runtime workflow 的本次不改范围

补齐自动分离恢复状态胶水 ... 615d1a28cd

新增 separation 恢复探测、完成清理命令与 DTO。

持久化项目相对 cut 图片路径并保留 state sidecar 到最终提交。

抽取自动分离素材状态变换 ... 5844afa14d

复用 SpriteAsset 校验并支持锁内构造下一份 State。

保留公开 addSpriteAssets 的锁保护与历史提交行为。

将视觉步骤切换为自动分离 ... 7fb7d246c0

前端仅调用一次 separate_ui，并完成 cut 图片登记、SpriteAsset 回填和 State 保存。

增加 sidecar 恢复选择面板，旧 bind_components 标记为未调用遗留命令。

更新自动分离接入文档状态 ... 8cd7c43b9e

将前端接入 TODO 更新为联调与失败注入测试待办。

补充自动分离文字遮罩方案 ... b3d6543d73

记录普通文字归属、遮罩字段与标记图绘制规则

明确不进入分离树、绑定结果和视觉模型契约

拆分自动分离模型并增加文字遮罩区域 ... 761d32cebf

将 separation model 拆为 note、node、binding、result 模块

为 SeparationNode 增加 text_mask_areas 字段并同步 TypeScript 类型

补充文字遮罩状态字段契约 ... c84df3d88f

明确 text_mask_areas 为当前 separation state 必选字段

保持开发阶段 v1 且不提供旧 sidecar 迁移回退

构造自动分离文字遮罩 ... 56f8c9a6a1

按最近未绑定图片祖先收集 Text 布局像素矩形

补充嵌套图片与根图片遮罩构造测试

在分离标记图中遮罩普通文字 ... 22d9958d18

绘制文字紫色区域并保持绿色元素框在最上层

增加文字遮罩图层顺序测试

完善绑定区域值类型约束 ... 989440173f

为 BindingArea 增加 Eq 以支持分离区域比较

UI编辑器分离区域像素边界归一化 ... 5d0f3e6be6

新增独立 BindingArea 像素边界归一化模块与回归测试

在 cut 裁切前按透明像素收缩或扩展四条边并记录约束结果

接入分离工作流并保留原始与归一化区域日志

补充分离区域像素归一化约定 ... 3733e86272

记录透明像素边界扫描、方向锁定与四边同步推进规则

明确 50% 与图像边界约束、透明图处理、日志字段和性能 TODO

收窄分离区域模块导出 ... 086aa91d70

让裁切工作流直接依赖面积归一化模块

移除未使用的公共重导出，保持分离模块边界清晰

纠正分离模块导出提交边界 ... d6c720ecdd

撤销误入的组件字段重命名测试改动

仅保留裁切工作流对面积归一化模块的直接依赖

UI编辑器节点改为单组件模型 ... 51f629b2f9

修改 Node、Binding DTO、识别与分离链路为 component 单字段

为识别和绑定 LLM 工具引入 PureNode/WithComponent 显式载荷

移除前端组件索引、排序和组件栈操作

同步生成 ts-rs TypeScript 类型、状态校验、测试与专题文档

k88936 added 9 commits 2026-09-10 19:32:22 +08:00

规范分离模块格式化写法 30c469e9a1

完善分离命令说明，新增禁止未请求文本的指引 d9b153ed78

完善分离与识别命令说明，调整嵌套格式与结构化指引 1c992c69fe

统一自动切分素材工作流命名 ... 1509235c1b

将 UI 编辑器第三步和内部流程 ID 统一为自动切分素材。
重命名前端切分概览模块并更新完成、恢复和导航文案。
同步 Runtime 最终编辑器路由、测试与相关技术文档。

修正自动切分素材检查条件 ... 74f726e65d

移除自动切分对预先导入独立素材的错误要求。
统一自动切分前置与结果检查，并补齐图片和字体引用校验。
在新建和重新开始自动切分时执行前置检查，恢复流程继续尽力完成。

调整切分区域边界扩展上限 ... 69a0804c03

将像素边界每边调整上限常量设为百分之百

同步更新受影响的区域归一化测试

技术方案仅引用上限常量，不重复写死数值

移除 UI 预览适配与缩放输入 ... 8c521ca891

删除预览工具栏适配按钮、适配回调与对应快捷键
将缩放百分比改为只读显示并移除输入组件及测试

增加UI自动切分耗时日志 ... 4bbc77fc32

补充 marker、area、LLM、图片编辑及 batch 阶段耗时观测
记录成功与失败路径的性能字段
同步自动切分工作流技术方案中的日志约定

重命名分离模块 problem_description 为 advice 并同步更新相关校验逻辑与测试 c5c7339c4a

k88936 added 9 commits 2026-09-10 19:54:56 +08:00

修正 UI 编辑器校验器命名 ... b69bd88e5e

将 run_with_repair_history 的 Validater/validater 更正为 Validator/validator。

不改变重试流程和运行时行为。

记录 UI 编辑器重试中的请求错误 ... ae2f5fc80b

在结构化 LLM 请求的中间重试失败时写入尝试次数和错误日志。

保留原有重试次数、历史消息和最终错误语义。

避免标记图编码重复复制像素缓冲 ... f200cb4d3c

复用同一个 DynamicImage 完成文件保存和返回数据编码。

保持标记图内容和错误处理不变。

忽略完全位于图片外的切分标记矩形 ... 5b441d389c

矩形起点超出图片边界时直接返回 None，避免在边缘绘制伪影。

新增越界矩形回归测试。

明确拒绝无效的处理图数据地址 ... 1eb4bd5ec0

处理图缺少 data URL 分隔符时直接返回格式错误。

避免先写入空文件再在后续裁切阶段暴露误导性错误。

过滤图片编辑响应中的空图像数据 ... a50cbfb6c8

忽略上游返回的空 b64_json 条目，避免把空字符串转发为图像结果。

新增空条目与有效条目混合响应的回归测试。

移除自动切分结果的冗余类型断言 ... 4e1064266f

依赖空值检查后的 TypeScript 类型收窄直接使用 SeparationDTO。

不改变自动切分流程或运行时行为。

修复工作流完成弹窗的多行错误展示 ... 462caa33c5

让完成通知中的换行字符按实际换行渲染，避免多项回填错误挤成一行。

保持通知内容和弹窗交互不变。

完善识别命令说明，新增禁止冗余背景节点的指引 b8d8072267

Some checks are pending

Hide all checks

Project CI / Repository checks (pull_request) Failing after 9s

Details

Project CI / Backend tests (pull_request) Failing after 10s

Details

Project CI / Frontend tests (pull_request) Successful in 2m44s

Details

Project CI / Native shell tests (pull_request) Failing after 3m5s

Details

This pull request has changes conflicting with the target branch.

• apps/ai-game-creator-shell/src-tauri/src/agent/prompt.rs
• apps/ai-game-creator-shell/tests/previewWorkspaceZoom.test.tsx

View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.

git fetch -u origin feat/ui-editor-auto-seperation:feat/ui-editor-auto-seperation

git checkout feat/ui-editor-auto-seperation

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

Compat/Breaking

Breaking change that won't be backward compatible

Kind/Bug

Something is not working

Kind/Documentation

Documentation changes

Kind/Enhancement

Improve existing functionality

Kind/Feature

New functionality

Kind/Security

This is security issue

Kind/Testing

Issue or pull request related to testing

Priority

Critical

1

The priority is critical

Priority

High

2

The priority is high

Priority

Low

4

The priority is low

Priority

Medium

3

The priority is medium

Reviewed

Confirmed

1

Issue has been confirmed

Reviewed

Duplicate

2

This issue or pull request already exists

Reviewed

Invalid

3

Invalid issue

Reviewed

Won't Fix

3

This issue won't be fixed

Status

Abandoned

3

Somebody has started to work on this but abandoned work

Status

Blocked

1

Something is blocking this issue or pull request

Status

Need More Info

2

Feedback is required to reproduce issue or to continue work

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project 陶泥儿gameAgent

Assignees

Clear assignees

HuangJiaJia JenkenB k88936 (王德宇) kdletters (段舒康) laura2008 (王乐) lhk229 (孔令弘) Loer (农洛儿) loong suzmii (董羽秦) taobaisu (叶东旭) wuxiangwanzi (王子民) YixuanLiu ziyu

No Assignees k88936

1 Participants

Notifications

Subscribe

Due Date

2026-09-10

Depends on

#300 暴露gptimage2编辑api

GenarrativeAI/Genarrative

Reference: GenarrativeAI/Genarrative#304