AGENT SUPERVISOR · 02/12

agent-shepherd

在 agent 跑偏的当下注入一句纠偏。

ONE CORRECTIVE SENTENCE, MID-LOOP

lang Pythonver v0.4.0license MIT
SCROLL
SUPERVISIONMID-LOOPRISK GATECOUNTERFACTUALSUPERVISIONMID-LOOPRISK GATECOUNTERFACTUAL
SEC.01

$做什么

agent-shepherd 监督 QwenPaw、Claude Code、Codex 的推理与工具执行。Tier 0 是确定性探测器,不调用模型。Tier 1 是可选的 LLM 步骤打分器,只在 Tier 0 看到证据时唤醒。是否注入纠偏由一道用观测结果拟合的风险门决定,不采信裁判自报的置信度。

SEC.02

$快速开始

~/quickstart.sh
SEC.03

$架构

agent events ──► Tier 0 detectors · 0 cost · deterministic
        │  有证据?
        ▼
Tier 1 LLM scorer ──► on-goal / justified / verified
        │
        ▼
risk gate (fitted from outcomes) ──► 一句纠偏,注入循环中段
SEC.04

$要点

F01
⚡

Tier-0 确定性探测器

每个事件都跑,零模型成本,规则命中才算数。规则本条目按 Wilson 下界排序,样本少的案例压不过验证充分的条目。

F02
🧠

Tier-1 打分与风险门

为最近步骤评 on-goal / justified / verified;只在 Tier 0 有证据时唤醒。判定准入由观测到的结果拟合,不采信裁判自报的置信度。

F03
👁️

三宿主适配

QwenPaw · Claude Code · Codex 一套钩子全部覆盖。重装时先摘掉旧形状的 shepherd 条目再写当前形状,不会让同一个事件触发两次钩子。

F04
📒

可审计账本

看到的一切都追加进 ledger,支持离线 replay。

F05
📏

反事实基准

shepherd eval 注入单点故障,按检测器报 precision、recall、检测延迟与监督成本,用来回答监督是否值这个成本。

F06
🧯

监督者自身可靠

并发 ingest 下按会话串行化状态。风险分写失败只丢当次评分,不阻塞会话。QwenPaw 钩子为 async,不以超时阻塞 agent 事件循环。本机裁判流量默认绕开代理环境变量。

SEC.05

$路线与限制

← PREV · 01
dispatch-guard