DSH Computer Use (Windows)

Windows Computer Use for DeepSeek Harness: window-bound screenshots, robust OCR, verified clicks, pure-OCR mode, and pluggable vision models.

为 DeepSeek Harness 提供的 Windows 电脑控制插件:窗口绑定截图、健壮 OCR、带验证闭环的点击、 纯 OCR 模式、可自由配置的视觉模型。填补 DSH 生态 Windows computer use 的空白。

为什么存在

DSH 生态里已有 Anionex/dsh-computer-use(macOS, Accessibility-first)与一批 vision 插件,但 Windows 上没有语义优先的 computer use 插件。 本项目把 2026-08-15 真实实验(操作保险"云助理"客户端提取客户数据)的教训固化为插件:

实验中最致命的三个问题,全部来自"盲坐标"工作流:

1. VLM/OCR 估坐标 → 点击系统性偏移("识别偏上、行为偏下"),点错入口;
2. 全屏截图混入其他窗口 → OCR 结果被无关文字污染,坐标张冠李戴;
3. 无验证闭环 → 每次点击都是盲试,靠人工盯着纠正。

本项目用四条原则解决它们:

• 窗口绑定:所有截图/OCR/点击都在一个目标窗口的坐标系内,点击时自动回加窗口偏移;
• 文字即坐标:提供 click_text,用 OCR 定位文字再点击——模型不再需要猜坐标;
• 验证闭环:每次点击后自动截图 + OCR 校验预期状态,失败按偏移网格重试,返回证据;
• 可配置感知:视觉模型可插拔(任意 OpenAI 兼容端点),也可以完全关闭——纯 OCR 模式 下全部操作不依赖任何视觉模型,零外部 API。

功能特性

能力	说明
computer_screenshot	全屏或目标窗口截图,返回窗口 rect 与坐标空间信息
computer_ocr	WinRT OCR(中文/英文),逐词坐标,窗口外词自动过滤,模糊匹配查询
computer_click_text	按文字点击:OCR 定位 → 点击 → 验证 → 失败重试(偏移网格)
computer_mouse / computer_keyboard