Lbunc/dsh-local-llm-controller ↗★ 0
dsh-local-llm-controller
DSH 插件:在设置页面直接启动/停止本地 llama.cpp 服务器,并保持上下文窗口同步。
AI 分析
核心用途是免配置文件、图形化管理本地运行的 Qwen3.5/3.6 等大模型。适合拥有本地 GPU 资源、希望在 DSH 中一键切换和调用本地离线大模型的用户。需要本地有 llama.cpp 环境。
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Lbunc/dsh-local-llm-controller说明文档
阅读完整 README ↗✏️ 第一次使用(全部在卡片里,不碰文件)
-
打开 设置 → 插件 → Local LLM Controller,展开卡片。
-
在「配置」区填好:
表单项 说明 llama.cpp 目录llama-server.exe所在文件夹(必填)端口默认 55555;与 DSH provider 的 baseURL 保持一致 密钥留空 = 无鉴权(仅回环 127.0.0.1);需要时与 DSH_LOCAL_LLM_KEY一致35B / 9B 文件夹各模型所在文件夹;默认 llama.cpp 目录\qwen3.6-35B-A3B与...\qwen3.5-9B🔍 模型文件夹内自动识别:文件名含
mmproj的是视觉投影,其余一个是主模型——文件名、量化后缀都不影响。 -
「保存配置」→ 选模型(35B/9B)、模式(文本/视觉)、预设(快速/长上下文)→ 「启动」(首次加载 40~90s 属正常)。
-
状态变「运行中」后,会话里选 Qwen3.5-9B Local 或 Qwen3.6-35B-A3B Local 即可对话。
-
「停止」释放端口;出错时卡片会显示原因和最近日志。
⚙️ 高级参数(
ngl、线程数、模型别名、provider 自定义等)仍可通过settings.yaml的local-llm.config段配置,字段见源码注释。