dsh-gesture-mouse

macOS 摄像头手势鼠标的 DeepSeek Harness 插件。DSH 插件是安装与控制入口， 随包附带的 Swift Helper 负责实时视觉识别和系统鼠标事件。

社区项目，非 DeepSeek 官方组件。当前版本是面向真机标定的 V0 基线。

定位

这不是把每一帧摄像头画面交给大模型。实时路径始终在 Mac 本机：

Camera → AVFoundation → Apple Vision hand joints → state machine
       → One Euro filter → CoreGraphics mouse events

named special gesture → structured trigger only → DSH plugin router
                       → deterministic action or opt-in DeepSeek plan

• 移动、点击、双击、拖拽、滚动、离合与紧急暂停不经过 LLM。
• IPC 只传状态、统计和 gestureId/confidence/timestamp，不传图像或关节点。
• 特殊手势默认禁用；DeepSeek 路由在 V0 只生成安全计划，不自动启动模型会话。

能力

• 食指指向控制相对光标。
• 拇指与食指捏合完成点击或按住拖拽。
• 食指与中指控制滚动。
• 张掌离合；保持张掌触发本地 panic。
• DSH 工具：gesture_status、gesture_start、gesture_stop、gesture_test_trigger。
• 每个特殊手势强制冷却、去重和每分钟上限。
• DSH dispose 时通过鉴权 IPC 退出 Helper，并在超时时仅终止已确认的 Helper PID。

要求与权限

• macOS 13 或更高版本。
• DeepSeek Harness / dsh CLI。
• Node.js 20 或更高版本。
• Xcode / Swift 6（从源码构建时需要）。
• Camera：读取摄像头帧，仅在内存中处理。
• Accessibility / PostEvent：通过 CoreGraphics 合成鼠标事件。

不需要 Screen Recording。默认不监听键盘，因此也不请求 Input Monitoring。

构建与验证

npm install
npm run build
npm run typecheck
npm test
npm run verify

npm run verify 会重新构建 Swift Helper、检查签名与 Info.plist、运行 TypeScript 类型检查、单元测试、doctor 和敏感信息扫描。

安装

npm pack
dsh plugin --profile web add ./dsh-gesture-mouse-0.1.0.tgz

重启 DeepSeek Harness。默认 autoStart: false，首次请显式调用 gesture_start，然后在 macOS 设置中批准 Camera 与 Accessibility 权限。

配置

DSH bundle 默认配置位于 cordis.patch.yml。完整示例见 examples/cordis.patch.yml。

关键配置：

• autoStart：默认 false，禁止安装后自动打开摄像头。
• sensitivity：相对光标灵敏度。
• ：目标采集帧率，默认 30。