yu-xin-c/dsh-evolution-console ↗★ 0
@dsh-external/dsh-evolution-console
DeepSeek Harness 进化控制台:提供候选捕获、隔离评估、晋升、回滚以及可视化谱系功能。
AI 分析
核心用途是模型或提示词迭代的隔离评估与版本管理。适合需要对 Agent 表现进行精细化评测与演进的开发者。
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:yu-xin-c/dsh-evolution-console说明文档
阅读完整 README ↗配置
Bundle 默认配置如下:
- id: dsh-evolution-console
name: '@dsh-external/dsh-evolution-console'
config:
directory: .dsh/evolution-console
automaticPromotion: true
evaluationProfile: headless
dshBin: dsh
dshPrefixArgs: []
evaluationTimeoutMs: 600000
如果 dsh 没有安装到全局 PATH,可以在 Web Profile 的用户层 ~/.dsh/profiles/web/cordis.patch.yml 覆写完整配置。下面的源码开发配置会保留每次 Attempt 的临时工作目录;把所有绝对路径替换成你的 Harness checkout:
- id: dsh-evolution-console
config:
directory: .dsh/evolution-console
automaticPromotion: true
evaluationProfile: headless
dshBin: env
dshPrefixArgs:
- TSX_TSCONFIG_PATH=/absolute/path/to/deepseek-harness/tsconfig.json
- node
- --import
- /absolute/path/to/deepseek-harness/node_modules/tsx/dist/esm/index.mjs
- /absolute/path/to/deepseek-harness/apps/cli/src/bin.ts
evaluationTimeoutMs: 600000
DSH 的同 ID Patch 会替换整段 config,因此覆写时要保留所有需要的字段。
使用流程
1. 在 Creator 模式生成候选
让 Creator 使用 cordis_define 创建 Package,并用 cordis_run 验证它能挂载。最小 Host half 示例见 examples/evolution-probe.host.js。它会贡献默认 Smoke Suite 期待的 evolution_probe 工具。
2. 固化版本
进入会话的 进化 标签:
- 在“运行时包”中选择目标 Package。
- 点击“固化”。
- 如果它是从一个已运行 Package 更新而来,插件会先把当前 Package 固化为初始 Champion,再把新 Package 记录为其子版本。
候选源码一旦固化不会被覆盖。后续 Creator 对同一 Dynamic Plugin 再次 cordis_define,会产生新的 Package 和新的候选节点。
3. 运行前后对照
选择 Candidate 与 Benchmark,点击“开始评测”。每个任务会按以下顺序执行:
Champion / 原始 Runtime -> 新 Headless 进程 -> Session JSONL
Candidate -> 新 Headless 进程 -> Session JSONL
-> 断言 -> 加权分数 -> 门禁
Candidate Evaluator 在第一次 system-prompt/assemble 时装载 Package,然后重新组装 Prompt。这样新工具会进入本次模型请求,而不是等到下一轮才出现。
4. 查看证据或回滚
界面会展示:
- 版本父子关系、Champion、拒绝和回滚状态;
- 每次评测的基线分、候选分和差值;
- 每个任务的通过率、Token 和回归项;
- 门禁的代码判定原因;
- 捕获、评测、晋升、拒绝和回滚事件。
回滚会重新激活 Champion 历史中的上一版本,不会删除任何候选或报告。