Lbunc/dsh-local-llm-controller0

dsh-local-llm-controller

DSH 插件:在设置页面直接启动/停止本地 llama.cpp 服务器,并保持上下文窗口同步。

AI 分析

核心用途是免配置文件、图形化管理本地运行的 Qwen3.5/3.6 等大模型。适合拥有本地 GPU 资源、希望在 DSH 中一键切换和调用本地离线大模型的用户。需要本地有 llama.cpp 环境。

包名
dsh-local-llm-controller
版本
1.0.1
许可证
MIT
最近更新
2026年8月21日

安装

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Lbunc/dsh-local-llm-controller

✏️ 第一次使用(全部在卡片里,不碰文件)

  1. 打开 设置 → 插件 → Local LLM Controller,展开卡片。

  2. 在「配置」区填好:

    表单项说明
    llama.cpp 目录llama-server.exe 所在文件夹(必填)
    端口默认 55555;与 DSH provider 的 baseURL 保持一致
    密钥留空 = 无鉴权(仅回环 127.0.0.1);需要时与 DSH_LOCAL_LLM_KEY 一致
    35B / 9B 文件夹各模型所在文件夹;默认 llama.cpp 目录\qwen3.6-35B-A3B...\qwen3.5-9B

    🔍 模型文件夹内自动识别:文件名含 mmproj 的是视觉投影,其余一个是主模型——文件名、量化后缀都不影响。

  3. 「保存配置」→ 选模型(35B/9B)、模式(文本/视觉)、预设(快速/长上下文)→ 「启动」(首次加载 40~90s 属正常)。

  4. 状态变「运行中」后,会话里选 Qwen3.5-9B LocalQwen3.6-35B-A3B Local 即可对话。

  5. 「停止」释放端口;出错时卡片会显示原因和最近日志。

⚙️ 高级参数(ngl、线程数、模型别名、provider 自定义等)仍可通过 settings.yamllocal-llm.config 段配置,字段见源码注释。