YarXVI/dsh-npu ↗★ 0

dsh-npu

燧心 · Hearthcore — DeepSeek Harness 的本机推理插件:AMD NPU(FLM)与 llama.cpp(Vulkan/ROCm/CUDA)按需加载,第五框架 amd-hybrid 让 NPU+GPU 协同,对外一个 OpenAI 兼容端口与原生 LLM provider;所有推理进程随 DSH 起退,零残留。

패키지
dsh-npu
호환성
미검증
버전
1.0.0
라이선스
MIT
최근 업데이트
2026. 10. 31.

설치

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:YarXVI/dsh-npu

配置(schema v2)

单文件:~/.dsh/dsh-npu.json(可用 configFile 或 DSH_NPU_DATA 改位置)。v1 → v2 自动迁移,迁移前在同目录留 dsh-npu.json.v1-.bak;归一化会自愈重复槽位 id、去重同模型、把缺失模型标 stale(不静默改你的选择)。

{
  "schema": 2,
  "provider": "npu-local",
  "displayName": "燧心 · 本地推理",
  "dataRoot": "D:\\dsh-npu-data",
  "mode": "auto",
  "hybrid": { "enabled": true, "mode": "auto", "draftModel": "qwen3.5:0.8b", "verifyModel": "Qwen2.5-1.5B-Instruct-Q4_K_M.gguf" },
  "frontPort": 52630,
  "bindHost": "127.0.0.1",
  "slots": [
    { "id": "chat", "backend": "flm", "model": "qwen3.5:0.8b", "contextWindow": 8192, "embed": true, "alsoServes": ["embed-gemma:300m"] },
    { "id": "mt", "backend": "flm", "model": "hy-mt2-flash:1.8b", "contextWindow": 1024 },
    { "id": "gpu", "backend": "llamacpp-vulkan", "model": "Qwen2.5-1.5B-Instruct-Q4_K_M.gguf", "contextWindow": 4096 }
  ]
}

槽位字段:backend(flm / llamacpp-vulkan / -rocm / -cuda)、model、name、contextWindow、think、embed、alsoServes、idleSec、enabled、llm、args、stale。apiToken 保存后立即生效(不需要重启)。