跨家族多评审匿名排序,位次均值出共识。
MEAN-RANK CONSENSUS + SPEARMAN REPORT
QwenPaw 工具插件。多个跨家族 LLM 评委各自独立地为匿名化后的候选排序,每位评委拿到自己那套独立播种的 A/B/C 映射,位置偏见不跨评委共享。最终按位次均值合成共识,并输出 Spearman 一致性报告与逐评委位置稳定性。
candidates ──► normalize / dedupe ──► anonymize (每位评委独立 A/B/C) │ ▼ N × cross-family judges ──► 各自返回完整排序 (并发 · 失败跳过) │ ▼ mean-rank consensus + Spearman report
每位评委拿到独立播种的 A/B/C 映射,偏见不跨评委共享。
不同厂商、不同架构的 LLM 并发排序,失败评委跳过并告警。
完整排序按 rank 均值合成最终位次。
评委间一致性量化输出,一眼看出共识质量。
逐评委的 position-stability 指标,揪出摇摆裁判。
provider key 不进插件进程。
内置的三个评委配置指向示例网关,实际使用要换成自己的 judge 端点。
宿主版本窗口为 QwenPaw 1.1.6 到 2.3.0 之前,max 为右开区间。