MULTI-JUDGE RANKING · 08/12

qwenpaw-consensus-rank

跨家族多评审匿名排序,位次均值出共识。

MEAN-RANK CONSENSUS + SPEARMAN REPORT

lang Pythonver v1.4.10license MIT
SCROLL
CONSENSUSANONYMIZEDSPEARMANPOSITION STABILITYCONSENSUSANONYMIZEDSPEARMANPOSITION STABILITY
SEC.01

$做什么

QwenPaw 工具插件。多个跨家族 LLM 评委各自独立地为匿名化后的候选排序,每位评委拿到自己那套独立播种的 A/B/C 映射,位置偏见不跨评委共享。最终按位次均值合成共识,并输出 Spearman 一致性报告与逐评委位置稳定性。

SEC.02

$快速开始

~/install.sh
SEC.03

$架构

candidates ──► normalize / dedupe ──► anonymize (每位评委独立 A/B/C)
        │
        ▼
N × cross-family judges ──► 各自返回完整排序 (并发 · 失败跳过)
        │
        ▼
mean-rank consensus + Spearman report
SEC.04

$要点

F01
🎭

逐评委匿名化

每位评委拿到独立播种的 A/B/C 映射,偏见不跨评委共享。

F02
🌐

跨家族评委

不同厂商、不同架构的 LLM 并发排序,失败评委跳过并告警。

F03
📊

位次均值共识

完整排序按 rank 均值合成最终位次。

F04
📈

Spearman 报告

评委间一致性量化输出,一眼看出共识质量。

F05
🧷

位置稳定性

逐评委的 position-stability 指标,揪出摇摆裁判。

F06
🔒

密钥隔离

provider key 不进插件进程。

SEC.05

$路线与限制

← PREV · 07
site-kg