dsh-bring-local-llm

让用户个人/本地 LLM 接入 DeepSeek Harness：Ollama、KoboldCpp、LM Studio 及任意 OpenAI 兼容端点作为本地冗余算力，本地优先处理一部分信息，难点才交给云端主模型。充分利用本地算力并节省 token。

AI 分析

实现本地与云端模型的混合双轨运行。适合拥有本地显卡算力、希望通过本地模型处理简单任务以节省云端 Token 费用的用户。

パッケージ

dsh-bring-local-llm

バージョン

0.3.0

ライセンス

MIT

最終更新

2026/08/15

本地后端配置（三种，皆由 Control Plane 定义）

在你本机的 Control Plane 配置文件（如 config/config.yaml 或 config.local.yaml）：

providers:
  ollama:
    type: ollama
    endpoint: http://127.0.0.1:11434
  koboldcpp:                 # KoboldCpp 暴露 OpenAI 兼容 /v1
    type: openai_compatible
    endpoint: http://127.0.0.1:5001/v1
  lmstudio:                  # 任意 OpenAI 兼容本地端点
    type: openai_compatible
    endpoint: http://127.0.0.1:1234/v1

models:
  executor:                  # 本地文本：分流优先用
    provider: ollama
    model: qwen3.5:9b
    fallback:
      - provider: koboldcpp
        model: 
  vision:
    provider: ollama
    model: qwen3.5:9b

fallback 就是 冗余算力：一个本地后端忙/挂了，自动切下一个本地后端；全失败才 needs_cloud。模型能力见 config/models.catalog.yaml（text:true / vision:true）。

使用

让主模型「本地处理」：local_llm_run {prompt, json_schema?}
「本地优先、不行交给云端」：local_llm_route {prompt} → 返回 {ok,text} 或 {needs_cloud:true}
贴图/看图：粘图 → local_vision_read（OCR/分析），或 image_paths 传本地文件路径

主模型可通过工具描述里的提示习得：能本地就本地，难点才上云端。

dsh-bring-local-llm

AI 分析

インストール

ドキュメント

本地后端配置（三种，皆由 Control Plane 定义）

使用