Letter2025/dsh-model-failover ↗★ 1
dsh-model-failover
Two-level model circuit breaker with failover for DeepSeek Harness: trip a model or a whole provider after repeated request failures and route the next request to a configured fallback
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Letter2025/dsh-model-failover说明文档
阅读完整 README ↗dsh-model-failover
为 DeepSeek Harness 打造的两级模型熔断与回退插件。当某个模型(或整个平台)持续失败时,插件打开熔断并把下一个模型请求路由到配置好的备用模型——零核心改动,dsh plugin 即可安装。
功能
- 模型级熔断 — 某个
provider/model在burstWindowMs内失败达到modelCircuitThreshold次即打开。 - 平台级熔断 — 同一 provider 下有
platformCircuitThreshold个不同模型同时打开时,整个平台熔断(平台故障通常连带所有模型)。 - 自动回退 — 下一个请求路由到
fallbacks里第一个健康的备用路由;切换由 loop 自身落库(request/header变更),可选追加用户可见提示。 - 恢复探测 — 打开的模型熔断在
modelCooldownMs后用一次极小的真实调用探测;探测成功关闭熔断,失败则顺延冷却。 - 与
llm-retry协作 — 单次请求的重试仍归官方llm-retry策略负责,熔断器只观察逃逸出重试的失败;重试后恢复的瞬时抖动不会误触发熔断。
安装
dsh plugin --profile web add dsh-model-failover
然后按需在 profile 的 cordis.patch.yml 里配置 fallbacks(唯一必配项)和阈值——完整默认配置见 cordis.patch.yml 中的插件行。
配套引导技能 configure-model-failover:由 AI 探测当前模型配置、写入 fallback 覆盖配置、再请你确认。安装插件即自动注册:包内自带 skills/configure-model-failover/SKILL.md,只要 skills 服务存在,插件就会把它注册为捆绑技能,无需手动复制。独立安装(未装插件的 profile)时才需要复制到 ~/.dsh/skills/configure-model-failover/(用户级技能实时生效)。
工作原理
插件装饰两个 agent-loop 官方瀑布(均为官方扩展点,无核心改动):
| 瀑布 | 职责 |
|---|---|
agent/request-error | 把 tripCodes 内的失败记录进熔断器,然后 next() 委托,重试仍归 llm-retry。 |
agent/request | await next() 拿到解析后的配置,返回健康的主路由;主路由熔断时返回第一个健康的备用路由。 |
请求 ──> agent/request ──> 主路由 (mock/m1) ──> 失败×2 ──> 熔断打开
│
下一个请求 ──> agent/request ──> 主路由熔断 ──> 备用 (mock2/m2) ✔
│
冷却后探测 ──> 成功 ──> 熔断关闭