feat: connect child motion warmup to mocap input
Some checks failed
CI / verify (push) Has been cancelled

This commit is contained in:
2026-05-10 21:22:50 +08:00
parent 7f2461313e
commit 54c2d6de47
6 changed files with 846 additions and 55 deletions

View File

@@ -21,7 +21,7 @@
9. 后续关卡使用热身记录的边界进行安全提醒和暂停恢复。
10. 热身结束后进入关卡选择。
当前阶段先落浏览器本地 Demo。浏览器摄像头视频流已接入舞台背景摄像头硬件动作识别 SDK、正式动作识别接口和正式语音播报接口继续预留适配层,不阻塞前端热身流程、调试输入和页面表现骨架落地。
当前阶段先落浏览器本地 Demo。浏览器摄像头视频流已接入舞台背景热身动作阶段已接入本地 mocap 动作检测接口,通过 `useMocapInput` 连接 `http://127.0.0.1:8876/stream` 对应的 WebSocket 流,消费手势、左右手坐标和跳跃事件推进招手、左右手挥动与原地跳跃步骤。正式语音播报接口继续预留适配层,不阻塞前端热身流程、调试输入和页面表现骨架落地。
## 2. 非目标范围
@@ -654,12 +654,21 @@
4. 鼠标右键按下并拖动映射右手轨迹。
5. 空格键映射原地跳跃。
当前硬件和动作检测接口接入:
1. 浏览器摄像头视频流已接入舞台背景。
2. 热身关手势阶段已通过 `src/services/useMocapInput.ts` 接入本地 mocap WebSocket `/stream`
3. mocap 包支持从 `actions/action/gesture/gestures/event/name/type` 读取动作名,并支持 `hands[]``leftHand/rightHand``left_hand/right_hand` 读取左右手坐标。
4. `wave_greeting` 可由 `wave/wave_greeting/hand_wave/open_palm` 等动作或 open palm 手势完成。
5. `wave_left_hand``wave_right_hand` 优先消费对应左右手动作名;当硬件只持续输出手部坐标时,也可以根据连续手部横向轨迹完成挥手检测。
6. `jump_once` 消费 `jump/jump_once/hop` 等跳跃动作事件完成。
7. 键盘 `A/D/Space` 与鼠标左右键拖拽仍保留为本地 Demo 调试兜底,不代表正式硬件口径。
当前未接入但已保留边界:
1. 浏览器摄像头视频流已接入;硬件动作识别 SDK 和正式动作识别接口暂不接入,后续通过动作输入适配层替换或并行接入调试输入
2. 正式语音播报接口暂不接入,当前先展示热身文案
3. 正式 gpt-image-2 视觉资源暂不接入,当前使用 CSS 占位表达相同位置和状态
4. 后续关卡安全边界暂停逻辑暂未落地,当前只完成热身记录和下一关按钮占位。
1. 正式语音播报接口暂不接入,当前先展示热身文案
2. 正式 gpt-image-2 视觉资源暂不接入,当前使用 CSS 占位表达相同位置和状态
3. 后续关卡安全边界暂停逻辑暂未落地,当前只完成热身记录和下一关按钮占位
已执行的定向验证命令: