Hed1an/dsh-bring-local-llm ↗★ 0
dsh-bring-local-llm
本地 LLM 接入插件,支持将 Ollama、KoboldCpp、LM Studio 等本地端点作为冗余算力接入 DSH 进行分流处理。
AI 分析
实现本地与云端模型的混合双轨运行。适合拥有本地显卡算力、希望通过本地模型处理简单任务以节省云端 Token 费用的用户。
安裝
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Hed1an/dsh-bring-local-llm說明文件
閱讀完整 README ↗本地后端配置(三种,皆由 Control Plane 定义)
在你本机的 Control Plane 配置文件(如 config/config.yaml 或 config.local.yaml):
providers:
ollama:
type: ollama
endpoint: http://127.0.0.1:11434
koboldcpp: # KoboldCpp 暴露 OpenAI 兼容 /v1
type: openai_compatible
endpoint: http://127.0.0.1:5001/v1
lmstudio: # 任意 OpenAI 兼容本地端点
type: openai_compatible
endpoint: http://127.0.0.1:1234/v1
models:
executor: # 本地文本:分流优先用
provider: ollama
model: qwen3.5:9b
fallback:
- provider: koboldcpp
model:
vision:
provider: ollama
model: qwen3.5:9b
fallback 就是 冗余算力:一个本地后端忙/挂了,自动切下一个本地后端;全失败才 needs_cloud。模型能力见 config/models.catalog.yaml(text:true / vision:true)。
使用
- 让主模型「本地处理」:
local_llm_run {prompt, json_schema?} - 「本地优先、不行交给云端」:
local_llm_route {prompt}→ 返回{ok,text}或{needs_cloud:true} - 贴图/看图:粘图 →
local_vision_read(OCR/分析),或image_paths传本地文件路径
主模型可通过工具描述里的提示习得:能本地就本地,难点才上云端。