Commit Graph

927 Commits

Author SHA1 Message Date
k88936 28a63eaf88 实现 UI 组件智能绑定
新增 Rust 组件绑定命令,向 LLM 提供真实界面与素材像素并接受完整 Component 参数。

拆分节点布局与组件状态及 LLM 编辑权限,允许根节点承载组件并保持 Transform 只读。

接入五个素材一批的前端绑定循环、增量结果合并和调试入口。

生成更新后的 TypeScript 契约,并补齐 UI Editor 状态测试。
2026-08-18 21:10:27 +08:00
k88936 6d93bbe457 新增组件编辑相关功能:
- 实现 `ComponentPanel`,支持组件的新增、删除、移动和更新操作。
- 添加组件字段编辑表单 (`ComponentField`) 及组件类型编辑接口。
- 引入支持图片和文本组件的渲染逻辑 (`ImagePanel`, `TextPanel`)。
- 添加组件到 CSS 转换的工具函数 (`componentToCss.ts`),支持图片和文本样式生成。
- 优化 Inspector,支持多层级组件的编辑和操作。
2026-08-18 21:10:27 +08:00
k88936 0a1c0f2d81 扩展和优化 UI 识别逻辑:
- 实现多图片输入的 UI 树分离与独立验证。
- 引入 `RecognitionTree` 数据结构,支持每张输入图片一棵独立树。
- 重构节点转换逻辑,统一 pixels_per_unit 坐标系统。
- 添加逻辑以验证树与上下文图片的一一对应关系。
- 优化节点转换函数和 UI 树生成流程,提高结构一致性。
- 补充测试用例,验证树结构生成和转换正确性。
2026-08-18 21:10:27 +08:00
k88936 ab0d929d3d 重构和扩展 UI 编辑器功能:
- 改进页面树同步逻辑,统一设计图像树管理。
- 引入节点组件操作接口,支持新增、删除、移动与更新组件。
- 增加组件和节点验证逻辑,提升数据一致性。
- 优化合并 UI 树相关功能,支持界面树合并状态跟踪和操作。
- 调整 UI 布局细节,增强交互体验。
2026-08-18 21:10:27 +08:00
k88936 eca6659e86 优化 TransformEditor:
- 本地化锚点、偏移及相关 UI 文本。
- 添加字段提示说明,提升编辑体验。
- 改进输入框布局和样式,增强可读性和交互性。
- 引入 `FieldLabel` 组件,支持带提示的字段标签渲染。
2026-08-18 21:10:27 +08:00
k88936 7c2be4abd2 重构 Inspector 组件和 PreviewWorkspace 功能:
- 合并 InspectorContent 逻辑到 InspectorSidebar。
- 优化 Inspector 内容渲染,移除重复代码,支持组件统一删除操作。
- 添加节点交互逻辑接口 (`useNodeTransformInteraction`),提升 PreviewWorkspace 的可维护性。
2026-08-18 21:10:27 +08:00
k88936 a213f5b503 优化 Inspector 组件:
- 调整输入框样式以提升可读性。
- 新增上下按钮与键盘上下箭头支持,用于调整数值变换。
- 修复数值格式化逻辑,提升输入精度控制。
- 增强只读模式的视觉提示与操作不可用状态。
2026-08-18 21:10:27 +08:00
k88936 9ea3b3cfe6 重构 UI 编辑器逻辑以增强页面树操作:
- 添加页面树同步逻辑,确保 `Page` 节点与 UI 树一致。
- 实现节点的新增、删除、移动和元数据更新功能。
- 扩展节点 Inspector,支持查看和修改选中节点的名称、描述和变换属性。
- 重构相关测试,覆盖新的页面树和节点操作功能。
- 引入嵌套节点坐标计算逻辑,确保节点相对位置一致性。
2026-08-18 21:10:27 +08:00
k88936 588d0d4728 优化 UI 编辑器前置条件检查和资源预览管理:
- 更新 UI 树遍历逻辑,改用 `root` 替代 `children`。
- 添加资源预览作用域和请求 ID,防止并发冲突。
- 调整资源导入模块以支持作用域级预览管理。
- 优化界面设计建议合并逻辑,新增节点继承规则。
2026-08-18 21:10:27 +08:00
k88936 580f0198c8 重构 UI 设计语义建议和结构:
- 替换 `UIDesignSuggestion` 为树型结构 `UIDesignSuggestionTreeNode`,统一描述界面图语义。
- 更新 UI 树 `UITree` 数据结构,新增 `root` 字段取代 `children`。
- 调整 `NodeSource` 枚举,添加新值 `System`。
- 修改语义建议逻辑:移除 `oneOf` 节点限制,强制所有字段不可省略。
- 增强验证和测试覆盖率,确保数据模型和树结构一致性。
2026-08-18 21:10:27 +08:00
k88936 1723aa4322 扩展 UI 编辑器功能
- 添加选中节点状态管理,支持节点选择和预览交互。
- 优化 `PreviewWorkspace`,引入缩放逻辑和节点层级渲染。
- 更新 `UiTreePanel`,支持节点选中状态的 UI 表现。
- 集成节点选择状态到 `InputSidebar` 和数据模型。
- 添加 `recognizeUi` 方法,支持界面树识别响应逻辑。
2026-08-18 21:10:27 +08:00
k88936 0440ab6eb6 新增 UI 结构识别功能
- 实现 Rust 中的 `recognize_ui_impl` 函数,支持基于多图的 UI 树识别。
- 增加 TypeScript 定义的 `RecognitionDTO` 数据结构,集成到前端。
- 支持通过 Tauri 命令调用 `recognize_ui`。
- 引入 `utils` 模块,提供严格 JSON Schema 支持。
- 更新依赖添加 `schemars` 和其衍生模块,支持 JSON Schema 生成和验证。
- 扩展 Cargo 配置和锁文件适配新依赖。
2026-08-18 21:10:27 +08:00
k88936 190423084e 扩展 UI 编辑器数据模型
- 为 `Node` 添加 `id` 字段,支持更全面的节点标识。
- 在 `NodeMetadata` 中新增 `status` 和 `source` 字段,增强元数据定义。
- 调整模块定义路径,优化类型序列化支持。
- 更新 Rust 结构体的字段为 `pub`,提升数据访问灵活性。
- 整理导入路径,移除或调整重复声明。
2026-08-18 21:10:26 +08:00
k88936 0c9216b91d 新增 ImportOverview 组件
新增 `ImportOverview` 组件
集成至 `InputSidebar`,展示导入资源和组件概览
2026-08-18 21:10:26 +08:00
k88936 66881c8e9f 优化 SpriteBorder 编辑器样式
新增边框dragger
2026-08-18 21:10:26 +08:00
k88936 09eb9ee202 实现 UI 编辑器参考图语义建议
新增 Rust 参考图语义建议命令与严格 DTO 校验

支持名称、描述、角色和归属页面建议的前端合并

允许界面图与独立素材名称为空并增强导入错误详情

在 Inspector 暴露界面图描述编辑并保留调试入口
2026-08-18 21:10:26 +08:00
k88936 1be413a296 新增依赖支持增强功能和优化模块
- 引入 `react-arborist`、`@cubone/react-file-manager` 等新依赖,支持文件管理和树形结构操作
- 更新相关的锁文件,确保依赖版本一致性
2026-08-18 21:10:26 +08:00
k88936 b5f911ced4 更新资源上传路径
更新资源上传路径以适配新目录结构
2026-08-18 21:10:26 +08:00
k88936 137fd58fce 新增 UI 编辑器核心模块
- 引入 UI 设计图片和精灵素材批处理准备功能
- 新增界面图和组件前置条件校验逻辑
- 添加与 SpriteBorder 相关的验证和字段编辑组件
- 支持 UI 状态管理,包括设计图和精灵素材的增删改功能
2026-08-18 21:10:26 +08:00
k88936 39aabd77fc 重构 UI 编辑器数据结构和模块设计
- 修改资源模块的类型定义和导入路径,使结构更清晰
- 为数据模型扩展更多元数据字段(如 `NodeStatus`, `NodeSource`, 等)以及类型支持
- 引入命令模块,增加 `UIDesignSuggestion` 实体
- 更新 `SpriteBorder` 和相关组件实现,优化错误校验逻辑
2026-08-18 21:10:26 +08:00
k88936 c51cd973fc 优化模块组织
重构Transform类型路径
2026-08-18 21:10:26 +08:00
k88936 4532388572 重构 UI 编辑器数据结构并扩展序列化支持
- 重构导入的 UI 数据结构,移除过时的 `ui_editor/import` 模块
- 引入和扩展 `serde` 序列化支持,为大部分核心组件添加 `Deserialize` 和 `Serialize`
- 增加新模块 `state`,设计 UI 状态管理,包括 UI Tree 和素材管理
- 拓展现有类型(如 `SpriteAsset`, `Node`, `ImageComponent` 等),添加更多元数据字段
2026-08-18 21:10:26 +08:00
k88936 c5eaebdfdd 新增素材导入功能
支持从本地或云端导入图片素材,包含预览, 限制检查。
2026-08-18 21:10:26 +08:00
k88936 f30f1e5829 新增 UI Transform 编辑器组件
新增 Unity 风格锚点预设与自定义锚点编辑

始终展示并编辑 Offset Min 与 Offset Max

支持按父级尺寸保持解析矩形不变
2026-08-18 21:10:26 +08:00
k88936 b426af27a3 支持 UI 编辑器Transform 到 CSS 属性的转换
新增 tf2css 函数及其单元测试
2026-08-18 21:10:26 +08:00
k88936 8f6573cff0 设计UI布局编辑器数据结构
参考godot和ugui的api拆分布局, 资源, 样式
实现ts type binding
2026-08-18 21:10:26 +08:00
kdletters 15c227cebf 修复AGC Windows运行与全量测试稳定性
完善Codex CLI、App Server、ConPTY与进程会话在Windows下的发现、启动、恢复和退出行为
修复Agent Runtime、Provider重试、项目写锁及工具交接账本的并发与跨测试串线问题
补齐配置目录、路径脱敏、原子写入、浏览器探测和本地Provider smoke的跨平台兼容
增强Goal Contract、自动策略、资源生成及运行态恢复的契约和回归测试
更新AI游戏创作智能体App技术文档中的Windows稳定性说明
验证AGC开发态、Release打包、打包后GUI运行及完整agc:check门禁
2026-08-13 13:36:21 +08:00
kdletters f395a6ed36 稳定Agent失败审计时序测试
Project CI / Repository checks (push) Successful in 1m1s
Project CI / Frontend tests (push) Successful in 2m58s
Project CI / Backend tests (push) Successful in 4m0s
Project CI / Native shell tests (push) Successful in 14m15s
等待 Runtime 失败后的审计记录有界落盘
保持 final-reply-failed 审计最终存在的强断言
连续五次验证流式连接中断回归
2026-08-12 22:38:59 +08:00
kdletters da7c4dc71c 修正Agent失败关闭回归语义
Project CI / Repository checks (push) Successful in 1m0s
Project CI / Frontend tests (push) Successful in 3m4s
Project CI / Backend tests (push) Successful in 3m44s
Project CI / Native shell tests (push) Failing after 10m20s
将流式连接中断断言为 Runtime 失败
禁止 transport 错误提交 planning fallback 冒充成功
保留安全失败消息与 final-reply-failed 审计验证
2026-08-12 22:24:17 +08:00
kdletters fd423770d8 根治Repository checks本地漏检
Project CI / Repository checks (push) Successful in 1m18s
Project CI / Frontend tests (push) Successful in 3m1s
Project CI / Backend tests (push) Successful in 4m17s
Project CI / Native shell tests (push) Failing after 12m32s
修复 Agent 失败展示变更中的 import 排序错误
统一 CI 与 master pre-push 的 Repository checks 入口
让 staged JS 和 TS 自动执行 ESLint 修复与 Prettier
补充部分暂存、忽略文件和待推 SHA 回归测试
同步分支保护与本地门禁流程文档
2026-08-12 22:06:35 +08:00
kdletters 794f3d4cf8 修复Agent失败原因丢失与成功误判
Project CI / Repository checks (push) Failing after 45s
Project CI / Frontend tests (push) Successful in 3m39s
Project CI / Backend tests (push) Successful in 4m44s
Project CI / Native shell tests (push) Failing after 13m11s
解析 Codex app-server 稳定失败分类并生成安全可行动摘要
统一 Runtime 事件、任务、阶段记录和各 Agent 状态面的失败展示
限制自主构建最终回复 fallback,避免鉴权与网络错误被提交为成功
补充失败分类、防泄漏、待核对和 fallback 回归测试
同步技术方案与共享决策记录
2026-08-12 21:35:11 +08:00
kdletters e04a8310a0 重做AGC智能体设置界面
Project CI / Repository checks (push) Successful in 1m32s
Project CI / Frontend tests (push) Successful in 3m2s
Project CI / Backend tests (push) Successful in 4m5s
Project CI / Native shell tests (push) Successful in 14m27s
将常用设置、Agent 模型、连接工具和高级参数分层展示

补充保存中、保存成功和失败状态反馈

更新设置页测试与项目决策记录
2026-08-12 21:04:30 +08:00
kdletters 82957fe1d4 修复子 Agent 澄清回执中转 (#165)
Project CI / Repository checks (push) Successful in 1m14s
Project CI / Frontend tests (push) Successful in 3m2s
Project CI / Backend tests (push) Successful in 4m5s
Project CI / Native shell tests (push) Successful in 14m31s
Closes #163

实现 child 澄清回执到 Supervisor 的 needs-user-input 中转。

- child 返回结构化问题回执,Runtime fail-closed 校验问题和 SHA-256。
- Supervisor 创建自己的 durable user.input_request,重复唤醒复用同一 action。
- 用户回答沿用 same-run 回灌,后续 continuation 绑定原 delegation。
- 补充 Rust 定向测试、技术方案和共享排障记忆。

验证:
- cargo check --tests
- cargo test ... claimed_needs_user_input_delivery_becomes_one_supervisor_wait
- cargo test ... static_delegate_user_input
- git diff --check

注:npm run check:encoding 在当前受限执行环境中因 spawnSync git EPERM 未能运行。

Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/165
Co-authored-by: kdletters <kdletters@qq.com>
Co-committed-by: kdletters <kdletters@qq.com>
2026-08-12 20:07:59 +08:00
kdletters 5e16837f3d 恢复游戏创作 External Editor 配置入口
Project CI / Repository checks (push) Successful in 1m34s
Project CI / Frontend tests (push) Successful in 3m5s
Project CI / Backend tests (push) Successful in 4m12s
Project CI / Native shell tests (push) Failing after 10m55s
普通 Launcher、开发工作台和独立 game-chat 统一显示 External Editor 配置。

补齐配置可见性、密码输入和持久化回归测试。

同步配置静态门禁、PRD、技术合同与共享决策。
2026-08-12 18:43:55 +08:00
kdletters effdaefc63 修复游戏智能体计划拒绝后的重复规划
Project CI / Repository checks (push) Successful in 1m5s
Project CI / Frontend tests (push) Successful in 3m22s
Project CI / Backend tests (push) Successful in 3m55s
Project CI / Native shell tests (push) Failing after 12m42s
在 runtime.plan_update 被拒绝后按角色收窄下一轮工具目录

恢复 Supervisor 首次项目修改的活性门禁

补充请求目录与活性门禁回归测试

同步更新游戏创作智能体实施规则
2026-08-12 17:00:50 +08:00
kdletters 4c3c0e9cd4 修正GameAgent灵感区数据接入
Project CI / Repository checks (push) Successful in 1m24s
Project CI / Frontend tests (push) Successful in 3m31s
Project CI / Backend tests (push) Successful in 4m22s
Project CI / Native shell tests (push) Successful in 15m18s
保留灵感推荐空态展示

移除主站精选接口与素材类型接入

补充无数据状态回归测试与产品边界文档
2026-08-12 14:17:47 +08:00
menghao 8e3d9991fa 完成资源管理的功能修复 (#154)
Project CI / Repository checks (push) Successful in 1m5s
Project CI / Frontend tests (push) Successful in 3m0s
Project CI / Backend tests (push) Successful in 4m4s
Project CI / Native shell tests (push) Successful in 14m17s
实现资源卡本体化与图片视频音频预览播放

实现四个资源分区独立高度与内外滚动

实现依赖视图确定性聚类与拓扑变化重排

补齐布局、SVG、AppSurface、性能和媒体回归

同步工作台PRD、技术方案与项目共享记忆

---------

Co-authored-by: kdletters <kdletters@qq.com>
Co-authored-by: 段舒康 <kdletters@qq.com>
Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/154
Co-authored-by: menghao <mh18530625731@163.com>
Co-committed-by: menghao <mh18530625731@163.com>
2026-08-12 13:14:55 +08:00
kdletters 51e35468a5 修复自主构建测试项目锁竞态
Project CI / Repository checks (push) Successful in 1m21s
Project CI / Frontend tests (push) Successful in 3m8s
Project CI / Backend tests (push) Successful in 4m24s
Project CI / Native shell tests (push) Successful in 16m33s
将纯继续契约测试改为异步并等待子任务持久化终态。

等待 Agent lane 释放后再执行后续 manifest 写入,避免后台终态投影竞争项目锁。
2026-08-12 11:42:49 +08:00
menghao 03a4410272 game agent无限画布开发 (#136)
Project CI / Repository checks (push) Successful in 1m5s
Project CI / Frontend tests (push) Successful in 3m20s
Project CI / Backend tests (push) Successful in 4m1s
Project CI / Native shell tests (push) Failing after 11m56s
主要工作是共享同一套“画布内核与通用 UI 源码”,网站和 Tauri 只分别实现宿主适配层。

---------

Co-authored-by: 段舒康 <kdletters@qq.com>
Co-authored-by: kdletters <kdletters@qq.com>
Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/136
Co-authored-by: menghao <mh18530625731@163.com>
Co-committed-by: menghao <mh18530625731@163.com>
2026-08-12 10:54:16 +08:00
kdletters 1363b9374c 引入游戏智能体动态目标验收图 (#161)
Project CI / Repository checks (push) Successful in 1m14s
Project CI / Frontend tests (push) Successful in 3m16s
Project CI / Backend tests (push) Successful in 4m26s
Project CI / Native shell tests (push) Successful in 16m2s
## 变更

- 冻结根 Supervisor 的 Goal Contract
- 引入动态 Acceptance Graph 并传播到专业 Agent
- 使用当前 revision 的真实动作回执作为完成证据
- 安全处理 steer 后旧根任务树替换

## 验证

- `npm run check:native-shells`
- `npm run agc:typecheck`
- `npm run check:encoding`
- `cargo fmt --manifest-path apps/ai-game-creator-shell/src-tauri/Cargo.toml -- --check`
- `git diff --check`

Reviewed-on: http://192.168.35.82/git/GenarrativeAI/Genarrative/pulls/161
Co-authored-by: kdletters <kdletters@qq.com>
Co-committed-by: kdletters <kdletters@qq.com>
2026-08-12 10:34:20 +08:00
kdletters aa5c857060 修复 Godot 项目提交后的 CI 门禁
Project CI / Repository checks (push) Successful in 1m8s
Project CI / Frontend tests (push) Successful in 2m59s
Project CI / Backend tests (push) Successful in 4m0s
Project CI / Native shell tests (push) Successful in 13m41s
移除根 H5 包中冗余的 Tauri HTTP 依赖并同步锁文件
修正客户端错误边界测试的 import 顺序
固定两项后台 Runtime 恢复测试使用 Provider 模式
补充 AGC 原生 HTTP 依赖归属约束
2026-08-11 14:34:42 +08:00
kdletters 755bf80858 支持 AI 游戏创作打开现有 Godot 项目
Project CI / Repository checks (push) Failing after 44s
Project CI / Native shell tests (push) Failing after 1m42s
Project CI / Frontend tests (push) Successful in 2m50s
Project CI / Backend tests (push) Successful in 3m41s
新增 Godot 项目选择、校验、导入和项目上下文切换入口。

只在所选项目根保留 .agent 元数据,并让总控使用标准运行档。

修复发布版原生 API 访问和 React runtime 重复加载问题。

收紧 Provider 工具 Schema 子集并增加回归门禁。

补充 Rust、前端测试及 PRD、技术方案和共享决策记录。
2026-08-11 13:25:29 +08:00
kdletters 7f129ddd6e 修复 Native CI 的 Agent 模式测试隔离
Project CI / Repository checks (push) Successful in 1m10s
Project CI / Frontend tests (push) Successful in 2m52s
Project CI / Backend tests (push) Successful in 3m53s
Project CI / Native shell tests (push) Successful in 14m31s
为 Provider handoff 与 mock 请求测试显式固定 Provider 模式
同步 Goal steer 测试到条件中断语义
补充模拟 Provider 测试不得依赖本机 Codex 的排障约束
2026-08-11 11:14:38 +08:00
kdletters 4d79971d6b 修复多模式 Provider 请求栈溢出
Project CI / Repository checks (push) Successful in 57s
Project CI / Frontend tests (push) Successful in 2m51s
Project CI / Backend tests (push) Successful in 3m36s
Project CI / Native shell tests (push) Failing after 10m48s
装箱持久重试与非持久压缩的完整 Provider 请求 future
补充默认 Tokio worker 栈溢出排障经验
同步 AI 游戏创作 Runtime 的异步装箱约束
2026-08-11 10:24:58 +08:00
kdletters 5550e24f83 接入 Codex 节点 Agent 并完善总控交互
Project CI / Repository checks (push) Successful in 1m13s
Project CI / Frontend tests (push) Successful in 2m54s
Project CI / Backend tests (push) Successful in 3m57s
Project CI / Native shell tests (push) Failing after 6m11s
新增 Codex app-server 与 CLI 节点执行模式并保留 Provider 回退
加固节点凭据隔离、终态未知回收、进程生命周期与持久恢复边界
修复资源画布等价刷新闪烁
为 Supervisor steer 增加 LLM 回复与条件中断
补齐配置界面、测试和技术文档
2026-08-10 20:58:43 +08:00
kdletters dfcd67bd05 修复进程会话终止清理竞态
Project CI / Repository checks (push) Successful in 52s
Project CI / Frontend tests (push) Successful in 2m46s
Project CI / Backend tests (push) Successful in 4m6s
Project CI / Native shell tests (push) Successful in 14m34s
在发布终态通知前先移除 live registry 会话\n避免取消清理瞬时误判仍有未收束进程
2026-08-08 22:33:55 +08:00
kdletters a27798be77 合并生成参数恢复与改造入口修复
合入 PR 135 的 GenerationInputs V2 稳定字段与严格恢复链路
统一缺失来源时保留改造入口并在点击后复检拒绝
保留主分支 SFX V2 自动时长、Loop 与权威元数据语义
将队列引用槽位与场景配方修复移植到 PR 137 的模块结构
2026-08-08 22:03:50 +08:00
k88936 a43c84fd75 修正AGC图集规范引用字段
AI游戏创作图集请求改用External v1必填referenceId
持久生成账本兼容回读旧本地sidecar并补充请求断言
同步Agent提示合同与项目文档
2026-08-08 19:08:29 +08:00
k88936 9e70f7a07c 再次合并远端主分支更新
同步 AGC 启动脚本导入顺序修复
2026-08-08 17:37:43 +08:00
k88936 dc3e92433f 合并主分支并同步AGC启动脚本修复
调整开发端口与启动栈模块的导入顺序
保持启动脚本符合ESLint导入顺序规则
2026-08-08 17:37:35 +08:00