zhu1090093659/dsh-web--packages-dsh-tool-describe-image ↗★ 5.8k
@linxin666/dsh-tool-describe-image
Model-facing describe_image tool for the dsh web GUI: gives a text-only model image understanding by asking a vision-language model at an OpenAI-compatible endpoint to describe one image (local path, http(s) URL, or attachment reference). Hot-pluggable — mounted via ~/.dsh/cordis.patch.yml + a profile node_modules symlink, no dsh source changes.
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:zhu1090093659/dsh-web#8d02146df032e6de8d54b7a0aba2c9da039d47e4&path:packages/dsh-tool-describe-image说明文档
阅读完整 README ↗dsh-tool-describe-image — 图像理解工具插件
English | 中文
模型侧 describe_image 工具：为纯文本模型（DeepSeek V4 等）提供图像理解能力。
每次调用加载一张图片——本地文件路径、http(s) URL，或会话附件引用——交给
视觉模型端点（Qwen-VL、GLM-4V、GPT-4o、Claude 风格端点如 OpenCode Go、本地 Ollama 等）回答，
支持 Chat Completions / Responses / Anthropic Messages 三种协议；只有返回的文本进入对话，图片本身绝不进入会话记录。
本包由 deepseek-harness packages/vision/tool-describe-image 移植（镜像仓库
whitelonng/dsh-plugin-describe-image），
按 dsh-web 全家桶规范适配：仅官方 NPM SDK、host 侧插件配浏览器半部、设置区实时配置，不修改 DSH 源码。
能力
| 能力 | 说明 |
|---|---|
| 三种输入 | 本地绝对路径、http(s) URL（拒绝重定向）、完整的 [image attachment ...] 注记，或拖拽/粘贴产生的完整自描述 Markdown 引用（）。把完整 Markdown 引用直接传给工具：其中序列化的不可变元数据可在 Host 重启后及 PTC 嵌套工具调用中解析已存图片；裸 id 只作为当前进程的兼容兜底 |
| 直接发图 | 在纯文本会话里拖拽或粘贴图片，发送时被改写为自描述 describe-image 引用（），而不是模型读不了的图片块——图片在会话里正常渲染，模型经工具分析它。支持图片输入的模型（适配器声明 image 模态）会被自动识别：原图块直接交给模型本身的视觉，不再绕行 describe_image，且该会话的 describe_image 工具会被隐藏——多模态模型看不到、也无法调用它（包括 run_code 内的嵌套调用） |
| 自定义指令 | prompt 参数携带你的精确指令（OCR、图表解读、UI 诊断、翻译…）；defaultPrompt 配置设置模型未传指令时的兜底文案 |
| 实时配置卡 | 设置 → 插件配置 → Web UI 插件组 → 「图像理解」卡修改 baseURL / apiStyle / model / API key / 默认指令 / 各项上限（走设置服务），即时生效，无需重启 |
| 连通测试与模型获取 | 模型字段带「获取模型」控件，模型字段有值时再出现「测试连通性」控件，两者未保存也可用。获取把草稿提交到 POST /describe-image/models，Host 侧按密钥解析链解析凭证、只回模型 id 列表；列出成功即端点可达且鉴权通过，模型字段随之切换为已获取模型的下拉选择。测试连通性用所选模型发一次最小补全（max_tokens 1），回报模型本身的往返延迟 |
| 多协议 | apiStyle: chat-completions（默认）请求 并读取 ，content 为空时回退 （推理模型如 Kimi K2.x 可能把全部输出预算花在思维链上——issue #637；调大 或用 可避免）； 请求 ，使用 / 并读取 ，兼容只返回 SSE 流式响应的端点（自动解析 ）； 请求 （ 鉴权，Claude 风格端点如 OpenCode Go / 智谱 GLM / 月之暗面 Kimi），读取 |