dsh-ttft-hedge
对流式LLM请求进行对冲以优化首字响应时间 适合需要降低TTFT延迟、自动重试5xx错误的用户。
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:r-ayin/dsh-ttft-hedge说明文档
阅读完整 README ↗dsh-ttft-hedge
TTFT 优化：对发往 LLM 中继 /v1/messages 的流式请求做对冲（hedged request）——deadline 内未收到响应头则并行发第二个请求，先到先用；5xx/504 立即重抽；4xx/429 原样返回。附统计工具与 stats 文件。
由 dsh-super-injector dev_scaffold_plugin 生成。
构建与注入
bash scripts/build.sh
# 注入器环境内：dev_inject_plugin