dsh-npu
燧心 · Hearthcore — DeepSeek Harness 的本机推理插件:AMD NPU(FLM)与 llama.cpp(Vulkan/ROCm/CUDA)按需加载,第五框架 amd-hybrid 让 NPU+GPU 协同,对外一个 OpenAI 兼容端口与原生 LLM provider;所有推理进程随 DSH 起退,零残留。
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:YarXVI/dsh-npu说明文档
阅读完整 README ↗配置(schema v2)
单文件:~/.dsh/dsh-npu.json(可用 configFile 或 DSH_NPU_DATA 改位置)。v1 → v2 自动迁移,迁移前在同目录留 dsh-npu.json.v1-.bak;归一化会自愈重复槽位 id、去重同模型、把缺失模型标 stale(不静默改你的选择)。
{
"schema": 2,
"provider": "npu-local",
"displayName": "燧心 · 本地推理",
"dataRoot": "D:\\dsh-npu-data",
"mode": "auto",
"hybrid": { "enabled": true, "mode": "auto", "draftModel": "qwen3.5:0.8b", "verifyModel": "Qwen2.5-1.5B-Instruct-Q4_K_M.gguf" },
"frontPort": 52630,
"bindHost": "127.0.0.1",
"slots": [
{ "id": "chat", "backend": "flm", "model": "qwen3.5:0.8b", "contextWindow": 8192, "embed": true, "alsoServes": ["embed-gemma:300m"] },
{ "id": "mt", "backend": "flm", "model": "hy-mt2-flash:1.8b", "contextWindow": 1024 },
{ "id": "gpu", "backend": "llamacpp-vulkan", "model": "Qwen2.5-1.5B-Instruct-Q4_K_M.gguf", "contextWindow": 4096 }
]
}
槽位字段:backend(flm / llamacpp-vulkan / -rocm / -cuda)、model、name、contextWindow、think、embed、alsoServes、idleSec、enabled、llm、args、stale。apiToken 保存后立即生效(不需要重启)。