dsh-arena
Local-first experiment and evaluation workbench for DeepSeek Harness.
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Apageoflove/DSH-arena说明文档
阅读完整 README ↗DSH Arena
DSH Arena 是 DeepSeek Harness(DSH)的本地实验与评估工作台插件。它拿同一个任务、同一份仓库快照去对比多个候选 profile:先把没过硬性门槛(hard gate)的跑法拦下来,再做 Pareto 排序;导出报告时自动脱敏常见凭据;还带一个 Web 实验台。


现在能做什么
- 原子化的本地持久化存储,运行队列有并发上限,支持中止和超时
- 确定性 hard gates:不满足直接判失败,不进入排序
- Pareto 排名与 winner 汇总
- Web 矩阵界面,实时刷新
- 执行走 adapter 驱动,不猜、不调 DSH 没文档化的 headless 命令
兼容性边界
- 只按官方文档化的 Cordis 契约写:
name、apply(ctx, config)、Schemastery 的Configschema - 不碰 DSH Client/Host 没文档化的内部接口;能力识别用特性探测(
ctx.arena),不用私有槽位 - 真实 DSH 上的 Web / Headless E2E 还没跑通,所以本仓库不声称 100% 兼容。等真机验证过了再改口
构建
Node 24 自带 TypeScript 类型剥离,构建不需要额外依赖:
cd dsh-arena
npm run build
npm test
产物是 lib/index.js(host 入口)和 lib/client.js(浏览器入口)。package.json 里声明了 dsh.bundle.patch 和 dsh.client;目前 private: true,还没发 npm。
装进 DSH
先构建:
npm run build
然后在官方 DeepSeek Harness 检出目录里执行(或把 pnpm dsh 换成全局安装的 dsh 命令):
pnpm dsh plugin --profile arena add
pnpm dsh --profile arena --dump-config
pnpm dsh --profile arena web
不想走源码目录安装的话,先 npm pack 打出本地 tgz,再直接 add 那个文件:
pnpm dsh plugin --profile arena add dsh-arena-0.1.15.tgz
cordis.patch.yml 是发布用的补丁,解析为 name: dsh-arena,里面没有本机绝对路径。
本地开发
cordis.local.patch.yml 直接指向工作区里的 TypeScript 入口,改完刷新即可。从 DSH 检出目录跑:
pnpm dsh web --patch /cordis.local.patch.yml
项目挪了位置,只需要改这个文件里的绝对路径。
服务接口
host 服务暴露的操作都是显式的:
startExperiment(input)、recordRun(run)、getSnapshot()、report(directions)、subscribe(listener)、clear()、、、