dsh-ttft-hedge

Hedged requests for streaming /v1/messages LLM calls: fires a second attempt when response headers miss a deadline and races them, retries immediately on 5xx/504, passes through 4xx/429, with statistics. 适合需要降低TTFT延迟、自动重试5xx错误的用户。

その他の拡張

パッケージ: dsh-ttft-hedge
互換性: 未検証
Harness ピア範囲: >=0.0.1-rc <2
バージョン: 0.0.1
ライセンス: MIT
最終更新: 2026/10/15

インストール

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:r-ayin/dsh-ttft-hedge

ドキュメント

README 全文を読む ↗

dsh-ttft-hedge

TTFT 优化：对发往 LLM 中继 /v1/messages 的流式请求做对冲（hedged request）——deadline 内未收到响应头则并行发第二个请求，先到先用；5xx/504 立即重抽；4xx/429 原样返回。附统计工具与 stats 文件。

由 dsh-super-injector dev_scaffold_plugin 生成。

构建与注入

bash scripts/build.sh
# 注入器环境内：dev_inject_plugin