DeepSeek HarnessHub
提交插件

SilasSolivagus/dsh-plugin-multimodal ↗★ 0

dsh-plugin-multimodal

DeepSeek Harness (Cordis) 插件: 给 Agent 直接加上多模态(图/声/视频)能力

Agent 协作视觉
包名
dsh-plugin-multimodal
版本
0.1.0
最近更新
2026年8月17日

安装

此插件尚未提供可验证的 bundle，或兼容性检查未通过。请先阅读仓库说明。 阅读完整 README ↗

说明文档

阅读完整 README ↗

配置可配置性（四级优先级）

同一个旋钮有四层来源，优先级从高到低：

单条消息内联提示  >  会话内 set_multimodal_backend 工具  >  环境变量  >  patch.yml / schema 默认

  1. profile 级静态配置（cordis.patch.yml 的 config: 或 schema 默认值）—— 重启 dsh 生效。

  2. 环境变量（启动前 export，最高优先于静态配置，适合开发 / CI 临时覆盖）：

    环境变量对应旋钮
    MULTIMODAL_AUTO_INJECTautoInject（true/false）
    MULTIMODAL_VISION_BACKENDvisionBackend
    MULTIMODAL_VISION_MODELvisionModel
    MULTIMODAL_OLLAMA_URLollamaBaseUrl
    MULTIMODAL_VISION_HTTPhttpEndpoint
    MULTIMODAL_FFMPEG_BINffmpegBin
    MULTIMODAL_VIDEO_MAX_FRAMESvideoMaxFrames
    MULTIMODAL_VIDEO_FPSvideoFps
    MULTIMODAL_ASR_BACKENDasrBackend
    MULTIMODAL_ASR_MODELasrModel
    MULTIMODAL_WHISPER_BINwhisperBin
    MULTIMODAL_ASR_HTTPasrEndpoint
    MULTIMODAL_VISION_MODEL=llava MULTIMODAL_ASR_MODEL=small dsh --profile headless "看 /tmp/x.png"

  3. 会话内工具切换：set_multimodal_backend（参数 vision_backend / vision_model / asr_backend / asr_model / auto_inject，均可选），调用后影响该会话后续所有请求。

  4. 单条消息内联提示：@vision= / @asr= 仅作用于一条消息（见上）。

配置三级动态切换（均已实测）


# ② 环境变量覆盖（最高优先于 patch.yml；改模型无需编辑配置、无需重启）
MULTIMODAL_VISION_MODEL=llava dsh --profile headless "看 /tmp/x.png"