agent-shepherd过程监督
观测 QwenPaw / Claude Code / Codex 的 reasoning 与 tool call 流,偏航时注入纠正。
- 两层检测。Tier 0 是确定性检测器,覆盖 loop、regression、越权编辑、binding drift、context rot,另有一路 CUSUM 漂移告警。Tier 1 是 PRM 式 LLM 判定,只在 natural checkpoint 或 CUSUM 接近告警线时唤醒。
- 阈值来自测量。漂移阈值用蒙特卡洛仿真标定到会话级误报预算,判定阈值用 conformal risk control 按实测拟合。工具结局先做 failed / ok / unknown 三态分类,错误串文法只作兜底。规则本条目按 Wilson 下界排序。
shepherd eval注入单点故障,按检测器报 precision、recall、detection latency、supervision cost,CI 以--fail-under-f1 0.8为门。- 0.4.0 把判定层接回规则本:每条真正注入的纠偏留待下次 judge review,按准入线标 agreed 或 disagreed;条目排序混合 adherence 与贴否率的收缩 Wilson 下界,累计 4 次以上且贴否过半的条目从 header 剔除。
shepherd uninstall只删安装写进去的条目,改前备份,--dry-run出计划。shepherd stop按/health报的 pid 分拣手动进程与 systemd unit。