dsh-devtools

Metadata-first runtime profiler for DeepSeek Harness agents.

GitHub: · Issues:

一个社区（community）插件：把会话的持久化事件日志折叠成 Agent Runtime Profiler， 在 Web GUI 的会话视图里以 DevTools 标签页展示每次模型调用（Step）与回合（Turn）的 执行事实——模型归属、延迟、工具调用、重试与回合结局。只读、不拦截、不修改任何请求。

本插件不是 DeepSeek 官方发布的插件；它基于官方 NPM SDK （@deepseek-ai/*）开发，通过 DSH 的 cordis patch + profile 机制挂载。

1. What it does

公开版 0.1 提供的能力（全部来自对持久化会话事件的只读折叠）：

• Runtime Profiler：一眼看出 agent 做了什么、哪里最慢、哪里异常
• Agent Turn / Step runtime trace：按回合与步骤还原 agent 执行时间线
• Step runtime timeline：同一回合内的 model / tool 时长条按同一时间轴缩放； 并行工具调用分 lane 表达并行，极短工具保留最小可见宽度（tooltip 显示真实值）， 运行中的活动带 running 状态，失败工具带 error 标记
• Turn collapse / expand：进行中的 Turn 与最新 Turn 默认展开，较早 Turn 默认折叠； 折叠摘要展示 Turn 号、状态、步骤数、工具数与耗时；2 秒轮询刷新不会重置手动折叠状态
• Summary 三组：
  • Execution：Turns / Steps（含 completed · running 计数）/ Tool Calls / Retries / Errors（step / turn / tool 三类错误独立统计）/ Interrupted / Aborted
  • Performance：Model Wall / Tool Wall / Avg First Activity / Wall Time / Decode / Throughput
  • Tokens：Input / Output / Cache Read / Reasoning / Cache Reuse
• model / provider attribution：每个 Step 标注调用当时的模型与提供商
• TTFT / first-activity：由 step/start 到首个持久化 block-start 的时间戳派生 （UI 简称 Avg First Activity，tooltip 说明与 TTFT 的关系，不冒充 Provider 官方上报值）
• Model Wall / Tool Wall：assistantAt - startAt 的模型侧 Wall 时间； tool/call -> tool/result 的工具 Wall 时间（tooltip 说明含调用与结果之间的全部等待）
• tool errors：结构化失败码（如 FS_NOT_FOUND、ABORTED）标记在单个工具上
• retry trace：llm/retry 事件出现时，按 Step 归属展示 retry/maxRetries/delay/code
• provider-reported usage：input / output / cacheRead / reasoning tokens； cache reuse = cacheRead / (input + cacheRead)（内部派生指标，非 Provider 官方缓存命中率）
• 回合结局：completed / aborted / interrupted / error / max-tokens / blocked 等 turn/end.reason 的正确映射；Turn 级结局与 Step 状态、工具错误分开统计
• trace completeness：顶部横幅显示 Trace complete；发生 ring 淘汰时显示 ，不把截断后的页面伪装成完整历史