dsh-plugin-evaluation/dsh-agent-observe ↗★ 0
dsh-agent-observe
DSH 智能体观测插件：支持行为审计、成本追踪与异常检测
AI 分析
提供智能体行为审计和成本追踪，配合评测中心可运行安全评测实验。适合需要评估智能体安全性、监控运行成本和行为合规性的开发者或企业用户。
安裝
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:dsh-plugin-evaluation/dsh-agent-observe說明文件
閱讀完整 README ↗使用评测
- 打开 DSH Web 的“评测中心”。
- 打开“选择评测方案”。此时按需获取
dsh-plugin-evaluation-standards。 - 选择评测方案并创建实验。此时才按
catalog.json中的固定版本获取对应安全评测集。 - 执行实验。
数据默认缓存到：
~/.dsh/evaluation/
数据来源：
dsh-plugin-evaluation-standards：评测规则、指标和方案目录。dsh-security-evaluation-dataset：实际安全测试用例。
当前安全评测集固定使用 v1.0.0。可以通过环境变量覆盖目录：
export DSH_EVALUATION_HOME="$HOME/.dsh/evaluation"
export DSH_STANDARDS_ROOT="$DSH_EVALUATION_HOME/dsh-plugin-evaluation-standards"
export DSH_DATASET_ROOT="$DSH_EVALUATION_HOME/dsh-security-evaluation-dataset"