dsh-cache-miss
DSH web plugin: a yellow one-line cache-miss notice under the first assistant reply of each turn, when that turn's first request rebuilt the prompt cache.
AI 분석
核心用途是直观展示提示词缓存未命中(Cache Miss)的具体开销和时延。适合需要优化 Prompt 结构、监控 Prefill 耗时与重算 Token 成本的用户。纯前端展示。
설치
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:wefio/dsh-cache-missdsh-cache-miss
DSH 网页插件:在一轮的第一条 assistant 回复正下方,以一条黄色单行提示该轮首次请求的提示缓存未命中(prompt cache miss)。
功能
一轮 Agent 对话是 assistant -> tool -> assistant -> tool ...。该轮第一次模型调用正是供应商提示缓存可能已过期、需要整段重新 prefill(重建缓存)的时机;同轮后续调用往往命中刚重建的缓存。DSH 自带的 token/缓存统计在输入框下方,产物文件行在轮尾,都无法在 miss 真正发生的位置就地提示。
本插件在轮首第一条 assistant 回复正下方,仅当该请求确为缓存未命中时渲染一条黄色单行:
Cache miss after 3m idle: 182k tokens re-billed · 0.8k cached · ttft 2.1s ↑
idle—— 距上一轮结束的空闲时长。re-billed—— 该请求未命中缓存的输入 token 数(缩写为 k)。cached—— 同一 prefill 中命中缓存的部分(provider 回报时显示),让“重算量 vs 命中量”一目了然。ttft—— 首 token 时延(取自 assistant timing,可用时显示);上箭头示意重建 prefill 通常更慢。
纯前端展示:不写入 session log,不修改 DSH 源码,也不占用 turn-tail 链,因此不会与产物文件行冲突(例如 DSH-better-sidebar)。
miss 判定
inputTokens 是"未命中缓存的输入"(disjoint 口径),cacheReadTokens 是同一 prefill 中命中的部分,因此缓存命中率 hitRatio = cacheReadTokens / (inputTokens + cacheReadTokens)。一个请求同时满足以下三条才算 miss:
inputTokens > 0;hitRatio = 1000(至少有 1k token 真正被重新计费)。
不回缓存字段的 provider 按命中率 0 处理。正常续写(命中率 ≥ 80%)保持静默;re-billed 只显示未命中的 inputTokens。
miss 数据取自流中的 usage chunk(adapter 在终止 finish 之前就会发出),因此提示在 usage 到达时就出现(回复仍在生成中),不必等到 assistant 消息结束。每步在浏览器控制台输出一次,时间戳按浏览器本地时区。
安装
dsh plugin --profile web add https://github.com/wefio/dsh-cache-miss/releases/latest/download/dsh-cache-miss.tgz
重启 dsh web(或硬刷新正在运行的 GUI)以加载 client bundle。
已知限制
- TTFT 是 step 的
step/start事件到首个非空 token delta 事件的墙钟间隔,取自会话事件时间;当任一边界落在已加载窗口之外时视为缺省(不显示· ttft ...段)。 - 节点对每个 assistant step 都会发布,但命中时渲染为空,因此命中轮不产生可见行;每一步至多输出一条控制台日志。