dsh-mobile-control

DeepSeek Harness 插件 · 操控手机 / DSH plugin for controlling mobile devices

通过 WebDriverAgent（WDA） 驱动 iOS 模拟器：截图、点击、找元素、打开 URL、抓可访问性树。 WDA 是跑在模拟器内部的 XCUITest 运行器，暴露 localhost:8100 HTTP 服务——零 macOS 辅助功能授权、不依赖 idb、能点任意 app（含系统弹窗）。

Drives the iOS simulator through WebDriverAgent (WDA): screenshots, taps, element lookup, URL opening, accessibility-tree dumps. WDA is an in-simulator XCUITest runner exposing an HTTP API on localhost:8100 — no macOS accessibility permission, no idb, and it can tap any app, including system dialogs.

为什么用 WDA（而不是别的）

方案	问题
idb (Meta)	homebrew-core 的 idb-companion formula 已下架，装不上
cliclick / AppleScript	走 macOS CGEvent，需要给终端授「辅助功能」权限，否则点了没反应
WDA ✅	模拟器内部 XCTest 自动化特权点击，不走 CGEvent，任何 app 都能点

快速开始 Quick start

前置：完整版 Xcode（XCUITest 靠 testmanagerd 拉起，纯 simctl launch 起不来 HTTP 服务）。

bash scripts/wda-up.sh [UDID]            # 不传 UDID 用当前 Booted 的模拟器
curl -s localhost:8100/status | head -c 200   # 返回 build/os/device 即 OK

幂等设计：已在跑 → 秒返回；有缓存 → 免编译 ~30s；没缓存 → 首次 clone+编译一次（之后一直免编译）。模拟器包未签名、arch=arm64+x86_64，可跨 Mac 复用：把 Build/Products + .xctestrun 拷给别人，直接 test-without-building，谁都不用再编。真机不能这么白嫖（真机 WDA 必须用含设备 UDID 的描述文件重新签名）。

操控 API

见 docs/wda-drive.md：建会话、找元素、点击、坐标点击、可访问性树、截图、隐私预授权、scheme 打开 URL——全部 curl 可调。

DSH 工具 Tools

安装插件后，以下 mobile_* 工具自动注册进 agent 的工具集：

工具	说明
mobile_status	检查 WDA 是否在 localhost:8100 服务
mobile_wda_up	幂等启动 WDA（首次 clone+编译，之后免编译 ~30s）
mobile_screenshot	simctl 截图到 PNG
mobile_find_element	按 accessibility label / class 找 UI 元素（返回元素 id）