shinjiyu/dsh-plugin-multimodal ↗★ 0
dsh-plugin-multimodal
Vision sidecar for DeepSeek Harness: accept image attachments on text-only models, describe them, then send text to the main model.
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal说明文档
阅读完整 README ↗dsh-plugin-multimodal
DeepSeek Harness 官方线路是纯文本。Web 里贴图会被拒:当前模型不支持图片。
这个插件补的是贴图准入,不是视觉工具箱。
- 主模型本身收图(Claude / GPT / 自建视觉网关)→ 原样把图交给模型,不转文字
- 主模型是纯文本(官方 DeepSeek)→ GUI 先收下图,sidecar 转成文字再发给主模型
see_image给磁盘上的截图用
官方 PI adapter 已经会做第 1 步,不会做第 2 步:不支持就 UNSUPPORTED_CONTENT。Anionex 的 dsh-vision-toolkit 是另一条路:给 agent 一堆 vision_* 工具,要模型自己去调。本插件让粘贴不被拒。
对应需求:Discussions #588 · 介绍帖:Show and tell #1709
安装
dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal
本地路径:
dsh plugin --profile web add D:\tempWorkspace\dsh-plugin-multimodal
然后重启 dsh web。旧会话的工具表不会更新。
GitHub topic:dsh-plugin
配置
环境变量(不要把 key 写进仓库):
| 变量 | 作用 |
|---|---|
DSH_VISION_BASE_URL | 视觉接口,例如 https://api.example/v1 |
DSH_VISION_API_KEY | 该接口的 key |
DSH_VISION_MODEL | 必须是真能看图的模型,例如 glm-4.5v |
DSH_VISION_PROMPT | 可选。默认 OCR + 描述界面 |
没设 DSH_VISION_* 时回退 OPENAI_BASE_URL / OPENAI_API_KEY。GLM-5.2-FP8 这类文本模型不能当 sidecar。
也可以在 profile 的 cordis.patch.yml 里写:
- id: dsh-plugin-multimodal
name: dsh-plugin-multimodal
inject: [llm, tools, attachments, systemPrompt]
config:
model: glm-4.5v
apiKeyEnv: DSH_VISION_API_KEY
30 秒验收
- 主模型仍用官方纯文本(或 PocketCity 文本模型)
- 配好一个真能看图的 sidecar
- 在 Web 里粘贴一张报错截图,问「红字说了什么」
