Hed1an/dsh-bring-local-llm0

dsh-bring-local-llm

本地 LLM 接入插件,支持将 Ollama、KoboldCpp、LM Studio 等本地端点作为冗余算力接入 DSH 进行分流处理。

AI 分析

实现本地与云端模型的混合双轨运行。适合拥有本地显卡算力、希望通过本地模型处理简单任务以节省云端 Token 费用的用户。

包名
dsh-bring-local-llm
版本
0.3.0
许可证
MIT
最近更新
2026年8月15日

安装

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Hed1an/dsh-bring-local-llm

本地后端配置(三种,皆由 Control Plane 定义)

在你本机的 Control Plane 配置文件(如 config/config.yamlconfig.local.yaml):

providers:
  ollama:
    type: ollama
    endpoint: http://127.0.0.1:11434
  koboldcpp:                 # KoboldCpp 暴露 OpenAI 兼容 /v1
    type: openai_compatible
    endpoint: http://127.0.0.1:5001/v1
  lmstudio:                  # 任意 OpenAI 兼容本地端点
    type: openai_compatible
    endpoint: http://127.0.0.1:1234/v1

models:
  executor:                  # 本地文本:分流优先用
    provider: ollama
    model: qwen3.5:9b
    fallback:
      - provider: koboldcpp
        model: 
  vision:
    provider: ollama
    model: qwen3.5:9b

fallback 就是 冗余算力:一个本地后端忙/挂了,自动切下一个本地后端;全失败才 needs_cloud。模型能力见 config/models.catalog.yamltext:true / vision:true)。

使用

  • 让主模型「本地处理」:local_llm_run {prompt, json_schema?}
  • 「本地优先、不行交给云端」:local_llm_route {prompt} → 返回 {ok,text}{needs_cloud:true}
  • 贴图/看图:粘图 → local_vision_read(OCR/分析),或 image_paths 传本地文件路径

主模型可通过工具描述里的提示习得:能本地就本地,难点才上云端