dsh-screen-agent
Desktop & web UI automation for DSH: full-screen capture, Windows OCR, mouse click/drag, typing, key press, window activate, plus battle-tested Paint drawing capability
AI Analysis
核心用途是赋予 AI Agent 操作系统桌面和进行 UI 自动化的能力。适合需要让 Agent 执行截图、OCR 识别、模拟鼠标键盘操作等任务的用户。
Install
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:lak321/dsh-screen-agentREADME
Read the full README ↗使用
- 截图：
POST /api/screen { "op": "capture" } - OCR：
POST /api/screen { "op": "ocr", "path": "...", "lang": "zh-CN" } - 点击：
POST /api/screen { "op": "click", "x": 100, "y": 200 } - 打字：
POST /api/screen { "op": "type", "text": "你好" }
对话用法（DSH agent）：你说「截图看看」「点右上角按钮」「在输入框输入 xxx」「在画图里画个碗」，agent 通过脚本/路由自动执行。