yu-xin-c/dsh-evolution-console0

@dsh-external/dsh-evolution-console

DeepSeek Harness 进化控制台:提供候选捕获、隔离评估、晋升、回滚以及可视化谱系功能。

AI 分析

核心用途是模型或提示词迭代的隔离评估与版本管理。适合需要对 Agent 表现进行精细化评测与演进的开发者。

包名
@dsh-external/dsh-evolution-console
版本
0.1.0
许可证
MIT
最近更新
2026年8月19日

安装

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:yu-xin-c/dsh-evolution-console

配置

Bundle 默认配置如下:

- id: dsh-evolution-console
  name: '@dsh-external/dsh-evolution-console'
  config:
    directory: .dsh/evolution-console
    automaticPromotion: true
    evaluationProfile: headless
    dshBin: dsh
    dshPrefixArgs: []
    evaluationTimeoutMs: 600000

如果 dsh 没有安装到全局 PATH,可以在 Web Profile 的用户层 ~/.dsh/profiles/web/cordis.patch.yml 覆写完整配置。下面的源码开发配置会保留每次 Attempt 的临时工作目录;把所有绝对路径替换成你的 Harness checkout:

- id: dsh-evolution-console
  config:
    directory: .dsh/evolution-console
    automaticPromotion: true
    evaluationProfile: headless
    dshBin: env
    dshPrefixArgs:
      - TSX_TSCONFIG_PATH=/absolute/path/to/deepseek-harness/tsconfig.json
      - node
      - --import
      - /absolute/path/to/deepseek-harness/node_modules/tsx/dist/esm/index.mjs
      - /absolute/path/to/deepseek-harness/apps/cli/src/bin.ts
    evaluationTimeoutMs: 600000

DSH 的同 ID Patch 会替换整段 config,因此覆写时要保留所有需要的字段。

使用流程

1. 在 Creator 模式生成候选

让 Creator 使用 cordis_define 创建 Package,并用 cordis_run 验证它能挂载。最小 Host half 示例见 examples/evolution-probe.host.js。它会贡献默认 Smoke Suite 期待的 evolution_probe 工具。

2. 固化版本

进入会话的 进化 标签:

  1. 在“运行时包”中选择目标 Package。
  2. 点击“固化”。
  3. 如果它是从一个已运行 Package 更新而来,插件会先把当前 Package 固化为初始 Champion,再把新 Package 记录为其子版本。

候选源码一旦固化不会被覆盖。后续 Creator 对同一 Dynamic Plugin 再次 cordis_define,会产生新的 Package 和新的候选节点。

3. 运行前后对照

选择 Candidate 与 Benchmark,点击“开始评测”。每个任务会按以下顺序执行:

Champion / 原始 Runtime -> 新 Headless 进程 -> Session JSONL
Candidate                -> 新 Headless 进程 -> Session JSONL
                                           -> 断言 -> 加权分数 -> 门禁

Candidate Evaluator 在第一次 system-prompt/assemble 时装载 Package,然后重新组装 Prompt。这样新工具会进入本次模型请求,而不是等到下一轮才出现。

4. 查看证据或回滚

界面会展示:

  • 版本父子关系、Champion、拒绝和回滚状态;
  • 每次评测的基线分、候选分和差值;
  • 每个任务的通过率、Token 和回归项;
  • 门禁的代码判定原因;
  • 捕获、评测、晋升、拒绝和回滚事件。

回滚会重新激活 Champion 历史中的上一版本,不会删除任何候选或报告。