合并主分支
处理合并冲突
This commit is contained in:
@@ -29,7 +29,8 @@ VectorEngine `gpt-image-2`、音频、LLM 等外部生成不能由面向外部
|
||||
- `claim_external_generation_jobs_and_return`：worker 按 `worker_id`、`limit` 和 lease 时长抢占 `pending` 或 lease 过期的 `running` 任务，返回本次 claim 的 `lease_token`。
|
||||
- `renew_external_generation_job_lease_and_return`：worker 长任务执行期间按 `worker_id + lease_token` 续租，防止外部生成超过单次 lease 后被重复领取。
|
||||
- `update_external_generation_job_phase_and_return`：worker 按 `job_id + worker_id + lease_token` 把当前执行阶段更新为 `generating` 或 `processing`，并同步现有摘要投影；不新增阶段任务或阶段表。procedure 用结构化结果区分 `LeaseFencingRejected` 与 `OtherRejected`，调用方不解析错误文案；`LeaseFencingRejected` 立即终止，`OtherRejected` 以及 SDK 的 `Procedure` / `Runtime` 错误不重试，只有 `Build` / `ConnectDropped` / `Timeout` 在同一个 job attempt 内重试 `1` 次。该重试只重新上报 phase，不把任务写回 `pending`，也不重新调用 provider；编辑器 job 入队固定 `max_attempts=1`，第二次传输失败后任务进入 `failed`，不会回到 `pending` 或从 provider 生成起点重跑。
|
||||
- `complete_external_generation_job_and_return`：worker 成功后按 `worker_id + lease_token` 写入 `result_payload_json`，任务进入 `completed`。
|
||||
- `complete_external_generation_job_and_return`：只保留给不携带编辑器正式 object/resource/asset/canvas 业务写回的兼容路径。现役编辑器生成成功时不得单独调用它。
|
||||
- `persist_editor_generation_result_and_return`：编辑器 queue / inline 共用的结果提交口。单一事务写入可选 asset object、全部 project resource / account asset / asset binding、可选 canvas V2 CAS、queue job 完成与 durable receipt；返回 `Applied / AlreadyApplied` 和权威快照。
|
||||
- `fail_external_generation_job_and_return`：worker 失败后按 `worker_id + lease_token` 回写错误，并按 `max_attempts` 决定回到 `pending` 重试或进入 `failed`。
|
||||
- `list_external_generation_job_summaries_and_return`：按当前账号从轻量摘要投影读取正式生成任务列表，返回 pending / running / 未确认终态数量、任务价格、执行阶段和完成提示确认状态。
|
||||
- `acknowledge_external_generation_job_summaries_and_return`：按当前账号确认已终态任务的完成 / 失败提示，写入摘要投影的 `notification_acknowledged_at` 并追加审计事件。
|
||||
@@ -87,6 +88,8 @@ BFF 只做鉴权、授权裁剪、字段脱敏和契约映射；worker 调度、
|
||||
|
||||
新增私有审计表 `external_generation_job_event`，记录 `enqueued/claimed/lease_renewed/completed/failed/acknowledged` 等事件。事件表只追加状态转换事实，不作为当前状态源；排障时先看 `external_generation_job` 当前状态，再按 `job_id` 追 `external_generation_job_event` 时间线。
|
||||
|
||||
另新增私有 `editor_generation_operation` durable commit receipt。它不与 `external_generation_job` 争抢任务状态：job 仍负责队列、lease、计费和通知，receipt 只固化某个 owner/kind/operation 的 request fingerprint、整笔 commit SHA-256、可选 project 以及 queue 的 job/worker/lease/result 绑定。inline 虽没有 job，也必须写 receipt；否则 API 进程重启后无法安全区分“完整提交”与“稳定 ID 巧合/历史部分记录”。
|
||||
|
||||
索引：
|
||||
|
||||
- `by_external_generation_job_status_available(status, available_at)`
|
||||
@@ -205,9 +208,11 @@ controller 配置：
|
||||
- `editor_video_generation`：画布视频生成和视频素材快速编辑。
|
||||
- `editor_sound_effect_generation` / `editor_background_music_generation`：画布音效与背景音乐。
|
||||
|
||||
画板结果的业务真相仍是 `editor_project_resource`、账号级 `editor_asset` 和 `editor_canvas.layers_json`。请求携带 `projectId + canvasCompletion` 时，worker 成功后读取当前项目 layout，用最新 generation dialog placeholder 或无 dialog 完成占位写入结果图层，并保存项目快照；前端轮询单 job 到 completed 后重新读取项目快照，不从队列 payload 或本地临时响应重建正式图层。生成器已被删除时，worker 只保留生成出的资源 / 素材记录，不把结果重新塞回画布。
|
||||
画板结果的业务真相仍是 `asset_object`、`editor_project_resource`、账号级 `editor_asset`、可选 `asset_entity_binding` 和对应的 legacy / structured canvas 表；`editor_generation_operation` 只是提交回执，不替代这些 read model。worker 在 Provider 与 OSS 完成后只做 prepare：使用 owner + operation kind + job ID + stable slot 派生 resource/asset ID，构造可选 object/binding、候选 layout 和 compact job result，然后一次调用 `persist_editor_generation_result_and_return`。该 procedure 必须在当前事务快照校验 owner、job kind、由 `request_payload_json` 重算的 fingerprint 与未过期 lease，最后与业务记录一起完成 job 和 receipt。任一验证、binding 或 canvas CAS 失败都回滚全部数据库事实；worker 不得随后再调用 `complete_external_generation_job_and_return`。前端轮询单 job 到 completed 后重新读取项目快照，不从队列 payload、receipt 或本地临时响应重建正式图层。
|
||||
|
||||
角色形象、图标 spritesheet 和 UI 素材提取在 provider 原图已经持久化后，如果透明背景处理最终失败，只用原图完成 `canvasCompletion`，不创建或回填透明处理图，图标和 UI 也不继续拆分，任务保持 `completed`。这个 source-only 降级只包住透明背景处理的最终失败；phase 上报、provider 原图持久化、透明处理图持久化或画布写回失败仍按任务错误传播。
|
||||
结果重放必须保持同一 operation fingerprint 和同一 prepared commit：receipt 存在时核对 commit SHA-256、project/job/worker/lease/result 绑定与逐 slot 权威记录，完全一致才返回 `AlreadyApplied`，不重复 job/binding 事件或 canvas revision。receipt 缺失但任一稳定 resource/asset/binding 已存在、同 operation 异指纹/异内容、已过期 lease 都失败关闭；事务前已确认 object 只在候选全字段精确一致时复用。canvas CAS 冲突时只刷新 project 重算 layout，不再次调用 Provider 或上传 OSS。`completed_at_micros` 必须为正数，候选原时间字段与它一起绑定到 commit SHA-256，重放不得重新取时；job 终态与事件使用 SpacetimeDB `ctx.timestamp`。OSS `PUT / HEAD` 仍位于事务外，可留下无引用 object，不声称跨 OSS exactly-once。
|
||||
|
||||
角色形象、图标 spritesheet 和 UI 素材提取在 provider 原图已可用且 OSS 上传已验证后，如果透明背景处理最终失败，最终 prepared commit 只保留原图并用它完成 `canvasCompletion`，不创建或回填透明处理图，图标和 UI 也不继续拆分，任务保持 `completed`。这个 source-only 降级只包住透明背景处理的最终失败；phase 上报、原图候选构造、透明处理图候选构造或统一原子提交失败仍按任务错误传播。
|
||||
|
||||
透明背景处理正常成功时，角色形象、图标 spritesheet 和 UI 素材提取的画布都同时放透明主结果与 provider 原图：透明主结果保持生成器 `generatedLayerId` 主锚点，provider 原图作为第二个图层放在其右侧；图标和 UI 实际拆分出的业务素材从 provider 原图右侧继续排列。
|
||||
|
||||
|
||||
@@ -0,0 +1,116 @@
|
||||
# 编辑器生成结果原子提交与幂等重放方案
|
||||
|
||||
日期：`2026-08-06`
|
||||
|
||||
## 目标
|
||||
|
||||
修复 Issue #134：现役图片、图片修改、背景移除、图标图集、UI 素材提取、角色动作、视频、音效和背景音乐生成，在 OSS 结果已经可用后，必须把正式 `asset_object`、`editor_project_resource`、`editor_asset`、可选画布完成和队列终态作为同一个可重放提交处理，禁止继续按多个独立 SpacetimeDB procedure 分段写入。
|
||||
|
||||
本方案只承诺数据库内原子性。OSS `PUT / HEAD` 仍位于 SpacetimeDB 事务外；事务失败可能留下尚未登记或尚未引用的对象，后续按 operation 前缀做异步清理，不把它描述成跨 OSS 的 exactly-once。
|
||||
|
||||
## 权威操作身份
|
||||
|
||||
- 默认 queue 模式：`external_generation_job.job_id` 是唯一 operation ID。External v1 的 `Idempotency-Key`、主站稳定 `x-request-id` 和 Editor Agent 确定性任务 ID 都先收敛为该 job ID。
|
||||
- inline 兼容模式：使用 `RequestContext.request_id` 作为 operation ID，并对规范请求计算 SHA-256 fingerprint；同 ID 异 fingerprint 必须返回幂等冲突。inline 也必须写 durable receipt，不能只靠进程内 prepared result 或稳定记录 ID 猜测是否已提交。
|
||||
- Provider `taskId` 只保留为生成审计字段，不参与正式记录唯一性。
|
||||
- 每个 operation 的产物以稳定 `slot` 区分，例如 `provider-source`、`primary`、`processed`、`slice-0000`、`animation-preview`、`animation-final`。记录 ID 按 `owner + operation kind + operation ID + slot + record kind` 做 domain-separated SHA-256 派生，产物顺序变化不能改变既有 slot 的 ID。
|
||||
|
||||
## 统一 procedure
|
||||
|
||||
在 `spacetime-module` 增加 `persist_editor_generation_result_and_return`。procedure 只允许 editor generation runtime service identity 调用，并在一个 `try_with_tx` 内完成全部动作。
|
||||
|
||||
输入的编码级形状：
|
||||
|
||||
```rust
|
||||
EditorGenerationResultPersistItemInput {
|
||||
slot: String,
|
||||
asset_object: Option<AssetObjectUpsertInput>,
|
||||
project_resource: Option<EditorProjectResourceCreateInput>,
|
||||
asset: Option<EditorAssetCreateInput>,
|
||||
binding: Option<AssetEntityBindingInput>,
|
||||
}
|
||||
|
||||
EditorGenerationResultPersistInput {
|
||||
owner_user_id: String,
|
||||
operation_kind: String,
|
||||
operation_id: String,
|
||||
operation_fingerprint: String,
|
||||
items: Vec<EditorGenerationResultPersistItemInput>,
|
||||
canvas_layout: Option<EditorProjectLayoutSaveV2Input>,
|
||||
job_completion: Option<ExternalGenerationJobCompleteInput>,
|
||||
completed_at_micros: i64,
|
||||
}
|
||||
```
|
||||
|
||||
输出返回 `Applied / AlreadyApplied`、逐 slot 的 object/resource/asset/binding 快照、可选 project 快照和可选 job 快照。
|
||||
|
||||
### Durable receipt
|
||||
|
||||
新增私有表 `editor_generation_operation`，它是 queue 和 inline 共用的 durable commit receipt，不是第二套业务状态或任务队列。主键 `operation_key` 由 owner 和 operation ID 做 domain-separated SHA-256 派生，因此同 owner 不得跨 operation kind 复用同一 operation ID；表内固化 `owner_user_id / operation_kind / operation_id / operation_fingerprint / commit_sha256 / project_id / job_id / job_worker_id / job_lease_token / job_result_payload_sha256 / completed_at`。
|
||||
|
||||
- `operation_fingerprint` 绑定用户请求；`commit_sha256` 对完整 `EditorGenerationResultPersistInput` 的稳定 BSATN 编码做 domain-separated SHA-256，另外绑定本次准备提交的 slot、object/resource/asset/binding、画布候选与 job completion。不得使用 Rust `Debug` 文本充当持久协议，两类指纹也不得混为一个。
|
||||
- queue 路径必须把 receipt 与原 `job_id + worker_id + lease_token + result_payload_json` 全量绑定；receipt 只保存 payload SHA-256，不复制正文。首次提交仍必须验证当前有效 lease，完成后重放以 receipt 为提交凭证，并回读已完成 job 核对业务身份、权威 compact result 及其 SHA-256。
|
||||
- receipt 只保存幂等校验所需的有界元数据与摘要，不复制 project/canvas 大快照，不代替 resource、asset、binding 和 job 的权威表。
|
||||
|
||||
### 首次提交顺序
|
||||
|
||||
1. 校验调用身份、operation 字段、fingerprint、item 数量上限和 slot 唯一性。统一提交最多接受 66 个 item，用于容纳最多 64 个图集切片以及 provider 原图和透明整图。
|
||||
2. queue 输入必须完整携带 `job_id + worker_id + lease_token + result_payload_json`；inline 输入必须全部省略，禁止半套 guard。
|
||||
3. queue 路径在同一事务快照内校验 job owner、kind、request fingerprint、running 状态和有效 lease；过期 worker 不得写业务结果。`source_entity_id` 必须精确等于本次唯一结果 `project_id`，不得用同 owner 的 job 向其他项目提交。
|
||||
4. 对每个 item 校验稳定 object/resource/asset ID、owner、project、folder、object key、source resource、task 审计字段和媒体字段的交叉一致性。project resource 和 account asset 的 `source_resource_id` 均必须单独验证：来源资源必须是本次同事务候选或已登记资源，属于同 owner，且在结果具有项目上下文时属于同 project；不接受 asset-only 分支绕过血缘校验。
|
||||
5. `asset_object` 存在于输入时在同一事务内做精确 upsert；省略时，resource/asset/binding 引用的 object 必须已登记且属于同 owner。事务前 OSS `HEAD` 成功不等于 object 已正式登记。
|
||||
6. 创建全部 project resource、account asset 和可选 `asset_entity_binding`。binding 必须指向同 slot 的 object 与对应 resource/asset 实体，且 owner、asset kind、entity kind/id 和稳定 binding ID 完全一致。不得接受普通 media reuse 返回另一个随机 resource ID；稳定 ID 已被占用且内容不一致时失败关闭。
|
||||
7. 有 `canvas_layout` 时调用既有 V2 layout 持久化函数，以 `expected_revision` 做 CAS，并继续执行 legacy / structured 大小、资源引用和媒体族门禁。
|
||||
8. queue 路径最后调用事务内 job complete，写入调用方预先按现有规则构造的 compact result payload；再写入 durable receipt。任一步失败时 object/resource/asset/binding/canvas/job/receipt 全部回滚。
|
||||
|
||||
`completed_at_micros` 必须为正数，首次提交把它固化为 receipt `completed_at`。object/resource/asset/binding/canvas 候选各自现有的时间字段连同 `completed_at_micros` 一起进入 commit SHA-256；同一 prepared commit 的未知结果重放必须复用原时间，不得重新取时。明确的 canvas CAS 表示该事务已回滚，刷新 project 后形成新的 layout candidate，使用刷新时的 `updated_at_micros`，避免把并发用户刚写入的项目时间回拨。job `completed_at/updated_at` 与 job event 时间仍由 SpacetimeDB 事务时间 `ctx.timestamp` 产生，不信任调用方时钟。成功重放返回原快照，不刷新 receipt、业务记录、事件或 canvas revision。
|
||||
|
||||
### 重放
|
||||
|
||||
- receipt 存在时，只允许相同 owner/kind/ID、operation fingerprint、commit SHA-256 与原 project/job 绑定的完整重放；queue 额外核对原 worker/lease/result payload。逐 slot 权威 object/resource/asset/binding 和可选 project/job 仍必须可读且与候选一致，不得只看 receipt 就伪造快照。
|
||||
- receipt 存在且全部事实一致时返回 `AlreadyApplied`，不得新增记录、重复 binding changed / job completed 事件、刷新时间或推进 canvas revision。
|
||||
- receipt 缺失但任一稳定 asset object/resource/asset/binding、画布结果或已完成 job 已存在，属于可疑的部分写入，必须失败关闭；不得临时补 receipt 后声称幂等。现役生成 prepare 阶段只做 OSS PUT/HEAD，不得在统一 procedure 前单独登记稳定 asset object。
|
||||
- procedure 调用结果未知时，调用方最多自动重放同一 prepared commit 两次，不重新调用 Provider 或重新上传 OSS；明确的业务错误和 CAS 冲突不进入传输重放。
|
||||
- `operation_id` 在 `external_generation_job` 中已存在时，首次提交和 receipt 重放都必须携带与它一致的完整 job completion guard；只有事务内确认不存在同 ID job 时才允许 inline。
|
||||
- 同一 item 的 resource/asset 尺寸、媒体引用、task、asset kind 与生成元数据必须一致；binding 必须匹配 operation 明确允许的 entity/slot/kind/profile tuple。音频使用 `sound-effect -> editor_sound_effect`、`background-music -> editor_background_music` 显式映射，不使用粗暴的全字段硬等。
|
||||
- item 省略 `asset_object` candidate 而复用已登记对象时，首次提交与 `AlreadyApplied` 重放都要回读 canonical object，重新验证存在性、owner、object key、task、kind 和音频媒体类型。
|
||||
|
||||
## api-server 接入
|
||||
|
||||
- 通用持久化改为 `prepare -> build canvas candidate -> atomic commit`。prepare 阶段只生成稳定 ID、上传/验证对象和构造候选 DTO，不创建 resource/asset。
|
||||
- api-server 继续复用现有画布 completion / replacement 逻辑计算候选 `layers_json` 和 `expected_revision`；统一 procedure 在最终事务内重新执行既有 layout 校验和 CAS。
|
||||
- CAS 冲突只刷新当前 project、重新计算 layout 并重试 prepared commit；相同 operation、slot、对象和记录候选保持不变，禁止重跑 Provider。
|
||||
- 重新计算 layout 时只允许 revision、layers 与 layout `updated_at_micros` 随最新 project 变化；业务 items、job result payload 和 `completed_at_micros` 保持不变。首次 CAS 事务已明确回滚，因此刷新后的 layout 是新的 prepared commit；该 commit 若结果未知，只能原样重放自身。调用方最多自动刷新一次，第二次冲突直接返回。
|
||||
- queue completion 不持久化 inline handler 的完整响应：普通画布任务只保留 source/warning 元数据，Editor Agent 只写入裁剪后的 `editor-agent-tool-call-result`，External API 只写入裁剪后的 `result`。图集/UI 切片不得在 queue payload 中重复携带完整 resource/asset/prompt/generationInputs，最终 JSON 必须在 512 KiB 持久化上限内。
|
||||
- compact result 必须先满足原消费 DTO 的必填字段：角色动作/视频保留 `ok`，图标/UI 正常与 source-only fallback 保留 `ok / prompt / actualPrompt`，音效/BGM 保留 `prompt`；Editor Agent 与 External v1 的二次 allowlist 裁剪都不得再删除 `prompt / actualPrompt`，最终持久 payload 必须能反序列化为对应 response contract。Editor Agent 图片生成/修改 DTO 的 `provider` 为可选审计字段，compact payload 可删除它而不影响终态回填。External API 的角色动作与视频结果还必须保留本次已创建账号素材的稳定 `assetId`；裁剪可移除大 payload，但不得让 completed 结果无法定位正式素材。
|
||||
- queue 消费者身份在 worker 从完整 claimed job 构造调用上下文时固化；原子提交不得再从 summary 兼容快照反推，因为该快照会清空 dedupe key 并裁剪 request payload。
|
||||
- queue 的 compact result 当前不保存 `project`，因此可在事务前由稳定候选 resource/asset 和生成响应元数据构造；HTTP 成功响应中的 project 使用 procedure 返回的权威快照。
|
||||
- worker 在统一 procedure 已完成 job 后不得再次调用 `complete_external_generation_job`。只有 `Applied / AlreadyApplied` 才能作为成功终态。
|
||||
- Provider 已成功且计费 attempt 已扣款后，若原子提交确定失败并要把 job 置为终态 `failed`，必须由同一 SpacetimeDB 事务先验证当前 worker/lease，再结算当前 attempt 退款并写失败终态。不得在 api-server 先独立退款，否则过期 worker 或已成功但回包丢失的提交可能同时得到正式结果与退款。
|
||||
- inline 模式没有 job 失败事务补退，计费成功边界必须延迟到 durable result commit 完成。Provider/上传成功后的明确持久化失败退还已扣泥点；`Build / PoolAcquire / ConnectBuild / ConnectHandshake` 等 procedure 未发出阶段的失败或取消仍通过 deferred guard 退款。procedure dispatch 后到明确回包前必须标记结果未知；连续传输不确定或此窗口内 HTTP future 被取消时保留扣款，避免远端已成功时变成「正式结果 + 退款」。`Procedure` 回包是确定结果，成功或明确失败后必须清除未知标记。
|
||||
|
||||
## 多产物与现有特例
|
||||
|
||||
- 图片的 provider source、透明/规整结果和 source-only fallback 必须在最终选择明确后一次提交；fallback 只提交实际保留的结果集合。fallback compact result 的尺寸、`prompt / actualPrompt`、model 和图标/UI `priceMudPoints` 必须来自本次已冻结生成上下文，不得从可选 project resource 反推；不带 `projectId` 时仍必须产生完整消费契约。
|
||||
- 图标图集和 UI 提取使用稳定 slot 提交 provider source、透明整图和成功切片；切片失败时按既有 warning 语义只提交可信整图集合。
|
||||
- 角色动作一次提交预览视频与最终序列素材；逐帧 `asset_object` 可作为 item upsert 或已登记对象被最终序列引用，正式 project resource / account asset 与 canvas 不得分段提交。
|
||||
- 视频、音效和背景音乐使用单个 primary item。
|
||||
- 完美像素保留现有专用 operation/fingerprint/procedure；手动图集拆分不调用 Provider，不属于本次九类生成 job 的原子提交范围，继续使用现有批量 procedure 与画布完成链路。
|
||||
|
||||
## Schema 与兼容性
|
||||
|
||||
- 新增私有 `editor_generation_operation` durable receipt 表；它与 `external_generation_job` 分工，前者证明一笔业务结果原子提交，后者仍是 queue 执行、lease、计费和通知真相。新表必须纳入 `migration.rs` 导入/导出、schema 检查和本文档表目录。
|
||||
- 新增 Spacetime procedure/type ABI 后必须重新生成 `spacetime-client` bindings，并同步 facade mapper。
|
||||
- HTTP 路由、请求/响应 DTO、header、状态码和 External v1 异步语义保持不变，因此不修改 OpenAPI；必须复跑 External v1 契约测试证明没有漂移。
|
||||
- inline 兼容模式没有 durable job，但必须具有同样的 durable receipt、稳定 ID、fingerprint 和单事务重放；这仍不授权浏览器自动重试已可能发出的生成 POST，调用方应先走结果对账。
|
||||
|
||||
## 验收
|
||||
|
||||
- 资源创建后资产或 binding 校验失败：事务结束后 object/resource/asset/binding/canvas/job/receipt 均无部分写入。
|
||||
- 资源/资产创建后 canvas revision 冲突：全部业务记录回滚；使用同 operation 和 prepared result 刷新布局后可成功。
|
||||
- 成功后相同 operation 重放：返回原 object/resource/asset/binding/project/job，receipt 只有一行，记录数、时间、完成事件数和 canvas revision 不变。
|
||||
- 同 operation 异 request fingerprint、异 commit SHA-256、异 project/job 绑定、除精确可复用 object 外的部分既有记录、缺失 receipt 和过期 lease：失败关闭且零新增写入。
|
||||
- queue job 的 `source_entity_id` 与结果项目不同、或 `source_resource_id` 不属于同 owner / project：失败关闭且零新增写入。
|
||||
- Provider 成功后原子持久化确定失败：有效 lease、当前计费 attempt 退款与 job `failed` 在同一事务内成功或回滚；已 completed 或过期 lease 失败关闭且不退款。External 角色动作/视频成功结果保留稳定素材引用。
|
||||
- legacy 与 structured canvas、dialog 已删除、无 project/asset folder、单产物、多产物、64 切片和角色动作序列均覆盖。
|
||||
- 图片、修改、背景移除、图集、UI 提取、角色动作、视频、音效、背景音乐的生产路径不得再出现 `create resource -> create asset -> save canvas -> complete job` 分段组合。
|
||||
Reference in New Issue
Block a user