xiaomao49/dsh-model-probe ↗★ 0
dsh-model-probe
DeepSeek Harness plugin to audit and correct llm-pi-ai model capability declarations by probing the endpoint itself: out-of-range maxTokens, contextWindow, reasoning levels, image input.
AI 分析
该插件暂无 AI 分析内容。
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:xiaomao49/dsh-model-probe说明文档
阅读完整 README ↗Configuration
These defaults ship in the bundle patch, under the model-probe settings namespace in
settings.yaml. The page's switch and the agent tools write enabledProviders through,
so the file rarely needs editing by hand.
| Key | Default | Meaning |
|---|---|---|
enabledProviders | [] | Providers that may be probed. Empty means probing is off everywhere. |
maxRequestsPerScan | 60 | Request ceiling per scan, so a mis-click cannot become a burst of billed calls. |
visionProbe | true | Run the image probe — the only step that generates output tokens. |
toleranceRatio | 0.05 | Comparison tolerance for numeric fields (see below). Capped at 0.5. |
probeHeaders | {} | Extra headers for probe requests only, per provider: { providerId: { header: value } }. |
使用
设置 → 模型配置实测
- 为某个 provider 打开「允许探测」。探测默认关闭、逐 provider 开启,因为它会向该端点 发真实请求。
- 扫描——只读。列出每个字段的当前值、实测值、证据来源与置信度。
- 确认写入——先备份
settings.yaml,再通过settings.mutate带乐观锁写入。
写入用的是你刚看过的那次扫描。配置在扫描之后没动过,就直接复用它——不再发第二轮
探测请求,于是落盘的就是屏幕上显示的那一份。行为型探针(图像实证)第二次可能给出不同
答案,而证据只对它取证时的那份配置有效,所以修订号一变缓存即失效,这是刻意的。完全
没有可复用的扫描时(新进程、或 Agent 直接调 model_probe_apply),会先完整取证,包含
图像实证。返回值会说明用的是哪一次:evidence: reviewed-scan | fresh-scan。
同时为 Agent 注册了三个工具:model_probe_status、model_probe_scan、
model_probe_apply。
配置项
以下默认值随 bundle 补丁发布,位于 settings.yaml 的 model-probe 命名空间下。设置页的
开关与 Agent 工具会写 enabledProviders,所以基本不需要手工改这个文件。
| 键 | 默认值 | 含义 |
|---|---|---|
enabledProviders | [] | 允许探测的 provider。空数组表示全部关闭。 |
maxRequestsPerScan | 60 | 单次扫描的请求数上限,避免一次误点变成一批计费请求。 |
visionProbe | true | 是否做图像实证——唯一产生输出 token 的环节。 |
toleranceRatio | 0.05 | 数值字段的比较容差(见下)。上限 0.5。 |
probeHeaders | {} | 只用于探测请求的额外头,按 provider 分组:{ providerId: { header: value } }。 |