Chloride233/dsh-cot-profile ↗★ 1
dsh-cot-profile
Real-time chain-of-thought trajectory profiling for DeepSeek Harness: live wording indicators, profile-family judgment, and per-session measurement records
安装
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:Chloride233/dsh-cot-profile说明文档
阅读完整 README ↗dsh-cot-profile
面向 DeepSeek Harness 的实时思维链轨迹画像插件:边流式边统计 reasoning 里的签名措辞指标(let me / we / let's / I),对照内置基线判断当前会话的轨迹画像族,并可选的按会话记录测量聚合数据。
先读:关于"推断模型"的诚实边界
措辞指纹描述的是 (模型 × 装配) 组合——system prompt、工具 schema、reasoning effort——不是模型身份。来源研究(xiaobright/modeltest)证明:接口变化时,不同模型会呈现完全相同的措辞模式(V4 Flash 反例:minimal 装配下与 Pro 同样 we 高、let me 为零,但能力不同档)。
因此本插件回答的是**"当前会话的行为像哪个轨迹画像族"**(minimal-like / standard-like / gray-like),并把原始指标并列展示,结论由你自己下。不做"这就是某模型"的断言。
功能
- 实时 UI:会话头部徽章 + 可折叠悬浮面板,由会话投影推送帧驱动——无轮询、无自定义 RPC。
- 指标:
let me/we/let's/I计数、首行模式(We need…/The user wants…/Let me…/I…)、块长中位数、阶段性可见回复数。 - 判定:加权距离匹配内置基线画像 + 置信度;满 N 块(默认 10,可配置)才下结论。
- 可扩展:画像族与各维度权重均可编辑(Web 设置页或 cordis 配置)。
- 记录模式:会话结束时落一条聚合 JSON 记录(事件和/或 JSONL)——用真实数据校准基线的测量仪器。
- 隐私:只有聚合数据离开 host 计算;原始思维链文本从不记录、从不传输。
安装
dsh plugin --profile web add github:Chloride233/dsh-cot-profile
核心插件(徽章、面板、记录)立即可用。Web 设置页额外需要一个对 DeepSeek Harness 0.1.0-rc.6 的临时一次性补丁(见下文);不打补丁也可用——改用 cordis 配置。
配置
配置在 cot-profile 插件行(本仓库 cordis.patch.yml 或你的 profile 的 cordis.yml)。默认值:
- id: cot-profile
config:
minBlocksForJudgment: 10 # 满 N 块 reasoning 才给判定
badge: true # 会话头部徽章
panel: true # 右侧悬浮面板
weights: {} # 各维度权重;{} = 内置默认
profiles: [] # 自定义画像族;[] = 内置基线
record:
emit: true # 会话结束时发 cot-profile/record 事件
file: '' # 可选 JSONL 路径,如 ~/.dsh/cot-profile/records.jsonl
权重默认(let me/we 权重最高,对应研究中的分离度):
{ "letMe100": 3, "we100": 3, "lets100": 2, "i100": 1.5,
"firstLineWeNeed": 1.5, "firstLineUserWants": 1, "firstLineLetMe": 1.5,
"firstLineI": 1, "firstLineOther": 0.5, "p50BlockChars": 1, "visibleReplies": 1.5 }