feat: smooth mocap palm cursor

2026-05-10 18:51:43 +08:00
parent 46a254f142
commit 75bca28191
5 changed files with 256 additions and 52 deletions
--- a/docs/technical/RUNTIME_INPUT_DEVICE_ABSTRACTION_2026-05-10.md
+++ b/docs/technical/RUNTIME_INPUT_DEVICE_ABSTRACTION_2026-05-10.md
@@ -17,11 +17,13 @@

 ## 当前接入

+`useMocapInput` 解析 mocap `hands[].landmarks` 时应优先用 MediaPipe 21 点里的 `wrist / index_mcp / middle_mcp / ring_mcp / pinky_mcp` 加权计算掌心派生点；少于 3 个掌心关键点时才回退到 `wrist` 或直出 `hand.x/y`。这样运行态光标不会直接贴在腕部或指尖。
+
 拼图运行态已接入该层：

 - 鼠标/触控 `pointerdown / pointermove / pointerup` 进入同一个 drag controller。
 - mocap `grab` 进入同一个 drag controller，并强制使用持续拖拽语义。
- mocap 松手时按当前棋盘归一坐标提交 drop。
+- mocap 光标按 60Hz 插值更新 UI 位置，并在拖拽中用插值后的当前点持续驱动输入层，避免输入包帧率低或抖动时出现明显跳变。
 - 合并大块由拼图运行态把手部坐标命中到任一成员拼块；本地拼图运行时再按 `mergedGroupId` 执行整组平移。

 ## 接入规则
@@ -39,7 +41,7 @@
 基础抽象层验证：

 ```bash
-npm run test -- src\services\input-devices\runtimeDragInputController.test.ts
+npm run test -- src\services\input-devices\runtimeDragInputController.test.ts src\services\useMocapInput.test.ts
 ```

 拼图接入验证：