yan77-h/dsh-agent-evaluator ↗★ 0
dsh-agent-evaluator
DeepSeek Harness 的 Agent 基准评估插件，提供 Web 面板、斜杠命令、命令行、测试集导入、模型/裁判切换及评分报告。
AI 分析
核心用途是对 DSH 中的 Agent 进行自动化基准测试与性能评估。适合需要导入测试集、切换不同模型或裁判进行批量评测与生成报告的开发者。
安装
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:yan77-h/dsh-agent-evaluator说明文档
阅读完整 README ↗Usage
Web UI: Settings → Agent Evaluation, or run /eval commands:
/eval import /path/to/suite.jsonl
/eval model provider/model
/eval judge provider/model
/eval run suite --parallel 4 --retries 1
/eval progress
/eval report
Subcommands: import, list, drop, model, models, judge, run, resume, kill, runs, progress, report.
Headless / CI:
cd /path/to/deepseek-harness
pnpm dsh --profile eval eval import suite.jsonl
pnpm dsh --profile eval eval model provider/model
pnpm dsh --profile eval eval run suite --parallel 4