superclaude1/dsh-vision-android ↗★ 0
dsh-vision-android
Vision + Android UI automation plugin for DeepSeek Harness: gpt-5.6-luna screenshot understanding and real-tap mobile app testing via adb
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:superclaude1/dsh-vision-android说明文档
阅读完整 README ↗dsh-vision-android
DeepSeek Harness 插件:多模态视觉 + Android UI 自动化。
解决两个问题:
- 主模型没有多模态输入:把任意截图/图片发给 OpenAI 兼容的视觉模型提问(默认
gpt-5.6-luna,可配任意 OpenAI 兼容端点)。 - agent 测试手机软件:通过 adb 在模拟器/真机上做真实点击、滑动、输入、按键,形成"截图 → 视觉理解 → 真实点击 → 再截图验证"的闭环。
工具清单(注册到 ctx.tools,模型可见)
| 工具 | 作用 |
|---|---|
vision_ask | 把本地图片文件发给视觉模型提问(通用多模态) |
mobile_look | 截屏 + 视觉理解:返回屏幕描述 + 可交互元素 [{label, role, x, y}](像素中心坐标) |
mobile_dump | uiautomator 抓取 UI 层级:精确坐标兜底(不花视觉 token) |
mobile_screenshot | 只截屏存 PNG,返回路径 |
mobile_tap | 真实点击 (x, y) |
mobile_swipe | 真实滑动手势 |
mobile_text | 输入文本(adb 限制:仅 ASCII,空格自动转义) |
mobile_keyevent | 按键:back/home/enter/tab/esc/dpad_* 等 |
mobile_install | adb install -r 安装 APK(保留数据) |
mobile_launch | am start 启动组件 / monkey 启动包 |
mobile_screen_size | 屏幕物理分辨率(校验视觉坐标用) |
配置
插件 Config(Schemastery 校验,环境变量兜底):
| 字段 | 默认 | 说明 |
|---|---|---|
visionBaseUrl | https://api.openai.com/v1 | OpenAI 兼容地址(env DSH_VISION_BASE_URL) |
visionApiKey | 空 | API Key(env DSH_VISION_API_KEY;推荐用环境变量,不要写进配置) |
visionModel |