dsh-eval

English | 中文

基于 headless dsh profile 的 Agent 评测：一份 benchmark YAML 文档、每个 case × trial 一个 headless dsh 子进程、从持久化 session 日志收集 trace、自动指标折叠，以及 JSON/Markdown 运行报告。

该包既是 bundle 也是命令行应用。安装到 profile 后即可运行评测：

dsh plugin --profile eval add dsh-eval
dsh eval run benchmark.yaml
dsh eval report eval-run.json
dsh eval compare eval-v1.json eval-v2.json

dsh eval 是 --profile eval 的启动器别名；eval profile 由 dsh-base 加本 bundle 组成。每个 trial 使用独立的临时工作区、隔离的 DSH_HOME 和强制纯 JSONL 持久化与非交互 workspace-write/never-approval 权限的补丁层，以 benchmark 配置的 dsh 命令（默认 dsh）与 profile（默认 headless）运行。收获的主 session 日志即该 trial 的 trace；子 agent 日志暂不包含。

Benchmark 文档

name: skill-regression
model: deepseek-v4
profile: headless
command: [dsh]
trials: 3
timeoutMs: 600000
seed: 42
cases:
  - id: fix-tests-001
    prompt: Fix the failing tests in this workspace.
    workspace: ./fixtures/fix-tests
    expected:
      tool: bash
      check: ./check.sh
pricing:
  deepseek-v4:
    inputUsdPerMTokens: 0.27
    cacheReadUsdPerMTokens: 0.07
    cacheWriteUsdPerMTokens: 0.27
    outputUsdPerMTokens: 1.10

字段：name/model 必填；profile 默认 headless；command 默认 [dsh]；trials 默认 1；timeoutMs 默认 600000；seed 默认 0（为未来确定性配对预留）；每个 case 需要 id 和 prompt 或 promptFile（相对 benchmark 文件解析），可选 workspace；expected 为脚本化评分（tool 是匹配工具调用名的子串，check 是 agent 退出后在 trial 工作区运行的命令，退出码 0 视为任务成功，二者至少填一个）；pricing 以模型 id 为键，缺省模型的 costUsd 为 null。

字段	默认	含义
name	必填	Benchmark 名称，也是 run 记录的 字段。