diff --git a/docs/project-memory/shared-memory/project-overview.md b/docs/project-memory/shared-memory/project-overview.md index 765f3a318..a2a5e39cc 100644 --- a/docs/project-memory/shared-memory/project-overview.md +++ b/docs/project-memory/shared-memory/project-overview.md @@ -54,7 +54,7 @@ SpacetimeDB crate、SDK、CLI / standalone 与生成 bindings 按 `2.8.3` 对齐 - 通用 Agent Rust 分层为 `agent-runtime-core`（catalog、执行生命周期、ToolHost/spawn/all-join/Provider 契约）、`agent-runtime-orchestration`（动态无环任务图、ready、依赖波次、返工下游闭包和受限自主扩图提案）与 `platform-agent` 游戏适配器；循环返工通过新 pass / epoch 表达，不在单张依赖图中建立回边。LLM 可经宿主结构化 function call 提出新增节点/边，编排层只生成经校验的新候选图，epoch 与持久化仍由宿主掌控。 - DirectProject 始终连接客户端内置的 `agc_tools` STDIO MCP，并在启动时额外读取客户端扩展仓库中已启用的第三方 MCP 独立项。第三方 STDIO/HTTP 配置只写入本次隔离 `CODEX_HOME`，单项非 required，启停、重命名和内容指纹进入 app-server pool identity；完整 Plugin Runtime、hooks/apps 和单文件脚本手动指定入口仍关闭。Skill 正文与 references 由 Codex 原生按需读取；`agc_tools` 负责标准美术准备、已登记资源有界查询、视频 / 角色动画 / 音效 / BGM 的 create-or-derive、已登记图片去背景、desktop/mobile 浏览器试玩和受控 `agc_web_search`；付费资源调用仍由客户端绑定回合、幂等账本、请求上限和投影权威。 - DirectProject 的 Codex 原生文件、搜索、命令、图片查看和 Skill 仅在真实 `game/` cwd 与 `workspaceWrite(writableRoots=[game])` 内可用；原生命令网络保持关闭。多 Agent、Apps、插件、hooks、图片生成、Goals、Workspace Dependencies、Tool Suggestion 和原生浏览器/电脑控制保持关闭。app-server 使用隔离 `CODEX_HOME`，provider 凭据只由 AGC 客户端代理持有，不能进入模型上下文或 shell 环境。 -- `ui-prototype`（设计图片）与 UI 编辑器 `UI` JSON 是不同资源。白名单 `ui.workflow.run` 按页面执行 `prepare → recognize → status → finalize`，由 provider-backed 识别、合并和组件绑定持久化 State/revision，并把 `reference-ready → structure-ready → merge-ready → binding-ready → application-ready → completed` 投影到 manifest。Provider 缺失、请求失败、工具缺失、结果不匹配或仍有待审节点时保留真实阶段并返回 blocker，不得用 deterministic seed 伪造完成。 +- `ui-prototype`（设计图片）与 UI 编辑器 `UI` JSON 是不同资源。白名单 `ui.workflow.run` 按页面执行 `prepare → recognize → status → finalize`，由 provider-backed 联合识别与组件绑定持久化 State/revision，并把 `reference-ready → binding-ready → application-ready → completed` 投影到 manifest。每次显式 `recognize` 都是新的识别+绑定请求，会替换 UI 树并产生新的 State revision；不会自动恢复旧结果或自动 finalize。Provider 缺失、请求失败、工具缺失、结果不匹配或仍有待审节点时保留真实阶段并返回 blocker，不得用 deterministic seed 伪造完成。 - UI workflow 的资源桥接与 Runtime 边界以 `docs/【技术方案】UI工作流资源桥接与Runtime执行-2026-08-24.md` 和 AGC 实施计划的 2026-08-24 覆盖段为准；只生成图片、登记空 JSON 或进入普通图片画布都不构成 workflow 完成。 ## 退役边界 diff --git a/docs/【技术方案】UI工作流资源桥接与Runtime执行-2026-08-24.md b/docs/【技术方案】UI工作流资源桥接与Runtime执行-2026-08-24.md index b7b64d80a..dad483d3e 100644 --- a/docs/【技术方案】UI工作流资源桥接与Runtime执行-2026-08-24.md +++ b/docs/【技术方案】UI工作流资源桥接与Runtime执行-2026-08-24.md @@ -51,6 +51,12 @@ ui-workflow.application-ready ui-workflow.completed ``` +`recognize` 是显式的重新计算动作，不做幂等短路：用户或 Runtime 再次点击/调用时，始终重新执行一次识别+绑定请求，并用新生成的 UI 树替换旧树、写入新的 UI State revision。它不会复用上一次 LLM 结果，也不会自动替用户重新执行 `finalize`；如果页面已经有 `application-ready`/`completed` 标记，重新识别后应重新检查状态并按需再次 finalize，使应用标记与最新 State revision 对齐。该行为是有意保留的 demo/workbench 语义，避免“重新点击”被悄悄解释成恢复旧结果。 + +联合请求一次携带全部页面参考图和已登记独立素材；页面参考图最多 4 张，独立素材最多 128 个。超过上限时在发起 Provider 请求前直接失败，不会退回旧的素材 batching 路径。 + +`workflow_stage_rank` 不是前端内存状态，也不是 UI 编辑器的步骤索引。它是 Rust workflow 模块里的内部比较函数：读取 UI JSON manifest 资产上持久化的 `source.generationKind`（例如 `ui-workflow.reference-ready`、`ui-workflow.binding-ready`），把阶段映射为数字 rank，用于 `update_page_manifest_stage` 的单调推进保护，避免较早阶段覆盖较晚阶段。真正的阶段值在项目 manifest 中持久化，并随项目 revision 更新；历史 `structure-ready`/`merge-ready` 是否迁移或继续认可属于持久化兼容决策，不由前端会话状态解决。 + 最终回执写入 `.agent/ui-workflows/.json`，客户端可据此恢复页面清单和最终编辑器路由。 `recognize` 现在直接复用 UI Editor 的 provider-backed `recognition_and_binding_impl`：一次请求同时分析页面设计图和全部已登记图片/图标，返回完整 UI 树及节点组件，并向模型提供 State 内已验证字体的 ID、family、face、weight 与 style。联合提示词由 `recognition_and_binding.rs` 中的 `RECOGNITION_AND_BINDING_SYSTEM_PROMPT` 常量提供，当前保留为实现占位符。由 Agent Runtime 调用时携带当前 `agent_id/run_id`，统一走活动 Provider 的 mode、请求快照、重试和恢复链路，不再从工作流偷偷创建另一套传统 HTTP client。Codex app-server 会把输入图片暂存到该连接的隔离工作区 `input-images/`，通过原生 `localImage` 输入发送；文本提示只保留图片占位符，避免把 base64 复制进提示词或 JSON-RPC。所有 LLM 工具参数仍沿用 UI Editor 的严格 schema、节点/深度/素材和字体白名单及有界输入校验。Provider 未配置、请求失败、工具调用缺失、结果不匹配、未知字体引用、绑定没有可渲染组件或仍有 `NeedReview/Blocked` 时，完成阶段不会推进；旧的 `merge_ui_impl` 仍作为未开放前端的独立能力保留，但不再参与本次 `recognize` 路径。