zouyuanqing/dsh-vision-primitives ↗★ 1
dsh-vision-primitives
Native interactive visual-reasoning plugin for DeepSeek Harness: precise pixel grounding (SOM grid, zoom, annotate, measure, diff, color, OCR) + MiMo V2.5 multimodal backend, with zero external MCP servers.
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:zouyuanqing/dsh-vision-primitives说明文档
阅读完整 README ↗dsh-vision-primitives
Native interactive visual-reasoning plugin for DeepSeek Harness (DSH).
给纯文本智能体装上"精确的眼睛":以 Set-of-Mark 编号网格 + 确定性像素坐标数学 为核心,让 Harness 智能体对屏幕/图片做精确到像素的视觉交互推理 —— 全程零外部 MCP 服务器,视觉推理内核 100% 在 DSH Host 运行时内以纯 JS 执行。
Design inspired by vision-primitives-mcp, re-implemented as a native DSH plugin (dynamic Cordis plugin, Host-only package).
特性
| 🧠 智能体即视觉模型 | 插件产出图片路径 + 确定性坐标数学;Harness 多模态智能体(或内置 MiMo 后端)看图决策,插件把"模糊感知"换算成"精确像素" |
| 🎯 SOM 编号网格 | vision_grid 叠加编号网格 → vision_resolve(cell) 得格子中心精确坐标,消除视觉模型坐标误差 |
| 🔍 局部无损放大 | vision_zoom 最近邻放大(像素级保真),保留到原帧的坐标映射链 |
| 📐 几何验证 | vision_annotate / vision_measure / vision_diff / vision_find_color / vision_ocr 确定性验证 |
| 🖥️ MiMo V2.5 后端 | vision_describe / vision_locate(多模态理解 + 视觉定位),并注册 mimo 模型路由(LlmAdapter,流式/函数调用/图像输入全支持) |
| 🧱 最小 OS 边界 | 仅截屏 / OCR / 二进制落盘 3 类走 Host 原生 subprocess 服务调用 Windows PowerShell 系统脚本;不含桌面键鼠控制 |
| 🔒 零硬编码密钥 | MiMo API key 从 DSH credentials 惰性读取,不写入源码 |
安装(官方 profile bundle 方式)
纯 JS 包,无 build 脚本,无需 pnpm allowBuilds 许可:
dsh plugin --profile add github:zouyuanqing/dsh-vision-primitives
然后启动 DSH 即可;插件注册 vision_* 工具集到当前会话。
也支持
github:zouyuanqing/dsh-vision-primitives#固定版本安装。 该包同时是一个 npm 包(dsh-vision-primitives),dsh plugin add dsh-vision-primitives也可。
配置 MiMo 后端(可选)
/ 与 模型路由需要 MiMo API key: