b8yg7vjstj-ctrl/dsh-llamacpp-bridge ↗★ 0

dsh-llamacpp-bridge

将本地 llama.cpp 接入并作为模型服务商管理 适合需要本地运行 GGUF 模型、自动配对视觉投影并监控终端输出的用户。

套件
dsh-llamacpp-bridge
相容性
待驗證
版本
1.5.0
授權
MIT
最近更新
2026年9月27日

安裝

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:b8yg7vjstj-ctrl/dsh-llamacpp-bridge

配置

设置页(图形化引导)

设置 → llama.cpp 提供:

  • 可执行文件候选(自动探测 ~/llama.cpp/build/bin/release、build/bin、build、bin、~/llama.cpp 及 PATH),可手动选择或浏览;
  • 模型目录候选(含 .gguf 计数),可手动选择或浏览;
  • ③ 视觉投影文件(mmproj):列出目录内所有投影文件及其配对结果,未配对的可在该行填入目标模型 id 完成绑定;
  • 高级项:端口、运行策略、GPU 层数、上下文长度/自动推断、mmproj 后缀、附加参数、启动超时、调试日志。

设置命名空间 llamacpp-bridge

字段默认说明
displayNameLocal llama.cpp (bridge)provider 显示名
executable''llama-server 路径;留空 = 自动探测
modelsDir''模型目录;留空 = 自动探测
host / port127.0.0.1 / 8080服务监听地址与端口
strategyautoauto / single / router
contextLength—-c 上下文长度
autoContextfalse按显存自动推断上下文长度
gpuLayers-1-ngl,-1 = 交给 llama.cpp
mmprojSuffix-mmproj.gguf后缀约定式投影文件名
mmprojOverrides{}手动绑定 { 模型id: 投影文件名 }(优先级最高)
additionalArgs[]追加给 llama-server 的参数
startTimeoutMs120000启动就绪超时
debugfalse打印实际执行参数等调试信息

发现命名空间 llamacpp-bridge-discovery(只读)

启动探测结果,供设置页展示:executables[]、modelsDirs[]、models[]、projectors[](含 file 与已配对的 modelId)。