xiaomao49/dsh-model-probe0

dsh-model-probe

DeepSeek Harness plugin to audit and correct llm-pi-ai model capability declarations by probing the endpoint itself: out-of-range maxTokens, contextWindow, reasoning levels, image input.

AI 分析

该插件暂无 AI 分析内容。

包名
dsh-model-probe
版本
0.1.11
许可证
MIT
最近更新
2026年9月12日

安装

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:xiaomao49/dsh-model-probe

Configuration

These defaults ship in the bundle patch, under the model-probe settings namespace in settings.yaml. The page's switch and the agent tools write enabledProviders through, so the file rarely needs editing by hand.

KeyDefaultMeaning
enabledProviders[]Providers that may be probed. Empty means probing is off everywhere.
maxRequestsPerScan60Request ceiling per scan, so a mis-click cannot become a burst of billed calls.
visionProbetrueRun the image probe — the only step that generates output tokens.
toleranceRatio0.05Comparison tolerance for numeric fields (see below). Capped at 0.5.
probeHeaders{}Extra headers for probe requests only, per provider: { providerId: { header: value } }.

使用

设置 → 模型配置实测

  1. 为某个 provider 打开「允许探测」。探测默认关闭、逐 provider 开启,因为它会向该端点 发真实请求。
  2. 扫描——只读。列出每个字段的当前值、实测值、证据来源与置信度。
  3. 确认写入——先备份 settings.yaml,再通过 settings.mutate 带乐观锁写入。

写入用的是你刚看过的那次扫描。配置在扫描之后没动过,就直接复用它——不再发第二轮 探测请求,于是落盘的就是屏幕上显示的那一份。行为型探针(图像实证)第二次可能给出不同 答案,而证据只对它取证时的那份配置有效,所以修订号一变缓存即失效,这是刻意的。完全 没有可复用的扫描时(新进程、或 Agent 直接调 model_probe_apply),会先完整取证,包含 图像实证。返回值会说明用的是哪一次:evidence: reviewed-scan | fresh-scan

同时为 Agent 注册了三个工具:model_probe_statusmodel_probe_scanmodel_probe_apply

配置项

以下默认值随 bundle 补丁发布,位于 settings.yamlmodel-probe 命名空间下。设置页的 开关与 Agent 工具会写 enabledProviders,所以基本不需要手工改这个文件。

默认值含义
enabledProviders[]允许探测的 provider。空数组表示全部关闭。
maxRequestsPerScan60单次扫描的请求数上限,避免一次误点变成一批计费请求。
visionProbetrue是否做图像实证——唯一产生输出 token 的环节。
toleranceRatio0.05数值字段的比较容差(见下)。上限 0.5
probeHeaders{}只用于探测请求的额外头,按 provider 分组:{ providerId: { header: value } }