AGC 试玩回包遗漏玩法失败断言,私有报告又不可读,导致 Agent 猜错原因反复返工 #548

Closed
opened 2026-09-30 15:53:37 +08:00 by lhk229 · 0 comments
Member

问题与影响

试玩报告已保存明确的玩法阻断原因,但工具回包摘要只投影视觉检查。模型收到「双端画面正常、整体失败」后无法知道哪一步失败;返回的 reportPath 位于 .agent/runtime,受控读取又拒绝访问。失败后缺少可用于修复的证据,会放大无效修改与重复试玩。

现场证据

项目 情绪花灵安抚记-r17:

  • project.jsonl:122、150、178、247 的 canonical 工具结果没有实际报告中的 disabled、start-control 或具体失败断言,排除了单纯 UI 脱敏造成的显示缺失。
  • project.jsonl:153 尝试读取报告,:154 返回 private-control-path。
  • :156 转而推测素材来源问题;最终 :261 明确说结构化报告不可读,猜测 level/sequence 重置语义。真实首个阻断却是 start 控件被判 disabled。
  • 保存的最后报告 .agent/runtime/direct-validation-evidence/cbdcca3f4eaff24ffc93fcc2fb62a45e376da6eaf69930ba13a3de103369e684/14/validation.json:208、292 明确记录双端原因。

当前代码

修改边界与验收

  • 视觉通过而玩法失败时,工具直接返回各视口首个失败步骤、具体原因及有界断言摘要。
  • 多个失败视口都保留身份,不只显示一个总体 passed=false。
  • 工具输出与宿主持久报告一致,成功与失败都能准确解释检查层级。
  • 不开放整个 .agent,不暴露凭据、完整私密报告或任意脚本读取能力。
  • 覆盖「画面通过、start disabled」「start 可点击但 phase 不符合」「玩法成功」三种实际分支。

本问题独立于控件误判:即使以后出现真实游戏错误,也必须把原因传给模型。

核查范围

2026-09-30 对九份项目导出做只读审计,代码基线 3540c5660fd294b70e054810b5384a2855908df5。本 Issue 仅登记问题,尚未实施修复。未重放项目付费操作,不提交原始会话、凭据或本地私密绝对路径。已排除 #529、#525、#518;偶发 Provider/网络错误不作为新增缺陷。

## 问题与影响 试玩报告已保存明确的玩法阻断原因,但工具回包摘要只投影视觉检查。模型收到「双端画面正常、整体失败」后无法知道哪一步失败;返回的 reportPath 位于 `.agent/runtime`,受控读取又拒绝访问。失败后缺少可用于修复的证据,会放大无效修改与重复试玩。 ## 现场证据 项目 `情绪花灵安抚记-r17`: - `project.jsonl:122、150、178、247` 的 canonical 工具结果没有实际报告中的 `disabled`、`start-control` 或具体失败断言,排除了单纯 UI 脱敏造成的显示缺失。 - `project.jsonl:153` 尝试读取报告,`:154` 返回 `private-control-path`。 - `:156` 转而推测素材来源问题;最终 `:261` 明确说结构化报告不可读,猜测 level/sequence 重置语义。真实首个阻断却是 start 控件被判 disabled。 - 保存的最后报告 `.agent/runtime/direct-validation-evidence/cbdcca3f4eaff24ffc93fcc2fb62a45e376da6eaf69930ba13a3de103369e684/14/validation.json:208、292` 明确记录双端原因。 ## 当前代码 - [`agent/direct_validation.rs:486`](https://git.genarrative.world/git/GenarrativeAI/Genarrative/src/commit/3540c5660fd294b70e054810b5384a2855908df5/apps/ai-game-creator-shell/src-tauri/src/agent/direct_validation.rs#L486):回包包含 summary、reportPath 和视口身份,没有有界玩法失败详情。 - [`agent/direct_runtime/mod.rs:3751`](https://git.genarrative.world/git/GenarrativeAI/Genarrative/src/commit/3540c5660fd294b70e054810b5384a2855908df5/apps/ai-game-creator-shell/src-tauri/src/agent/direct_runtime/mod.rs#L3751) 至第 3836 行:摘要遍历 `viewport_results`,遗漏 `viewport_playtests` 的 assertions/diagnostics 及整体玩法诊断。 - [`agent/direct_project_context.rs:162`](https://git.genarrative.world/git/GenarrativeAI/Genarrative/src/commit/3540c5660fd294b70e054810b5384a2855908df5/apps/ai-game-creator-shell/src-tauri/src/agent/direct_project_context.rs#L162):受控读取保护 `.agent`;该保护规则本身应保留。 ## 修改边界与验收 - [ ] 视觉通过而玩法失败时,工具直接返回各视口首个失败步骤、具体原因及有界断言摘要。 - [ ] 多个失败视口都保留身份,不只显示一个总体 passed=false。 - [ ] 工具输出与宿主持久报告一致,成功与失败都能准确解释检查层级。 - [ ] 不开放整个 `.agent`,不暴露凭据、完整私密报告或任意脚本读取能力。 - [ ] 覆盖「画面通过、start disabled」「start 可点击但 phase 不符合」「玩法成功」三种实际分支。 本问题独立于控件误判:即使以后出现真实游戏错误,也必须把原因传给模型。 ## 核查范围 2026-09-30 对九份项目导出做只读审计,代码基线 `3540c5660fd294b70e054810b5384a2855908df5`。本 Issue 仅登记问题,尚未实施修复。未重放项目付费操作,不提交原始会话、凭据或本地私密绝对路径。已排除 #529、#525、#518;偶发 Provider/网络错误不作为新增缺陷。
lhk229 added the
Priority
High
2
Kind/Bug
labels 2026-09-30 15:53:37 +08:00
lhk229 self-assigned this 2026-09-30 17:13:34 +08:00
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: GenarrativeAI/Genarrative#548