dsh-multimodal — DeepSeek Harness 多模态插件

English | 简体中文

给 DeepSeek 安装一双眼睛和一支画笔:会话里直接贴截图/图片,GLM 视觉模型先精确转写图片内容(报错信息、代码、界面逐字保留),然后 DeepSeek 继续处理你的问题——同一轮完成,全程无感;需要配图时,DeepSeek 自动调用文生图后端出图并显示在会话中。

兼容性:适配 DeepSeek Harness 0.1.0-rc.6(Web 与 headless 双端)。更新记录见 CHANGELOG。

功能

场景	行为
纯文本对话	全部走 DeepSeek API(不变)
发图 + 提问(如报错截图)	GLM 视觉模型先"看"→ 转写为文本注入 → DeepSeek 基于转写继续处理(修代码、解释、给方案)
附图时 UI	不再弹"当前模型不支持图片"
用户要求画图	DeepSeek 自动调用 generate_image → 阿里云通义万相 / 智谱 cogview-3-flash 等后端出图 → 图片显示在会话中
生图卡片	会话内 generate_image 调用渲染为专属图片卡片:缩略图网格、点击放大(Lightbox)、一键保存、提示词与模型信息(经 tool.call.toolview 槽位注入,不修改官方前端)
要求提取图中文字	DeepSeek 可调用 extract_text(OCR)→ Markdown / 纯文本 / JSON
接入其他视觉平台	extraProviders 支持任意 OpenAI 兼容视觉端点(讯飞星辰 / 魔搭 / 硅基流动 / 千帆 / 火山…)

安装

前置:官方 DeepSeek Harness(0.1.0-rc.6+)已安装并可运行、Node.js 18+。

# 方式一:直接引用 GitHub 仓库(需要 git)
dsh plugin --profile web add https://github.com//dsh-multimodal

# 方式二:克隆到本地后,用本地路径安装
git clone https://github.com//dsh-multimodal.git
dsh plugin --profile web add /path/to/dsh-multimodal

# headless 模式同样需要时:
dsh plugin --profile headless add /path/to/dsh-multimodal

仓库已包含构建产物(lib/),克隆后即可安装;如需从源码重新构建,见开发一节。

重启 dsh web 后,Settings(设置)侧栏出现 「多模态」 页面,所有配置在一个界面完成:

• GLM 视觉 Key(看图)、阿里云百炼 Key(画图)——粘贴保存即生效
• 生成后端下拉:阿里云通义万相 / 智谱 cogview-3-flash(免费,带水印)…
• 自定义视觉平台:填写名称、Base URL、Key 引用名、模型 ID、Key → 添加,立即出现在模型选择器