EvoRubric：让模型自己写评分标准，谁来判断标准对不对？

笔记日期： 2026 年 10 月 20 日
笔记作者： Zhongzhu Zhou
论文： EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation
论文作者： Xin Guan、Xiaomeng Hu、Shen Huang、Zhenyi Wang、Bo Zhang、Zijian Li、Pengjun Xie、Bo Liu、Jiuxin Cao
论文链接： arXiv:2605.29847v2，版本日期 2026 年 10 月 8 日

1. 为什么评分标准本身也需要学习

我读这篇论文时，首先想到的不是某一种新的强化学习优化器，而是一个更基本的问题：模型的回答变好了，原先用来判断它的那张清单，还能看出新的差别吗？

对于算术题，答案对错通常可以直接判断。对于解释一个科学现象、写一篇文章、回答需要兼顾多个条件的问题，好答案往往没有唯一写法。我们仍然可以列出一些要求：是否回应了问题、是否给出了必要证据、是否出现了无依据的断言。这些要求就是 rubric，可以理解成一条条可执行的评分条件。

固定清单的问题在于，它可能很快变成模型已经熟悉的目标。模型把清单里的项目都做到了，却在清单之外出现新的错误；也可能所有回答都缺少某种重要内容，但原有标准根本没有覆盖。只增加训练步数，不会自动让奖励发现这些遗漏。

EvoRubric 的想法是，把“发现遗漏的评价维度”也训练出来。同一个策略模型承担两项工作：先回答问题，再观察当前多个回答之间的差异，提出新的评分标准。新的标准又反过来指导回答训练。论文真正需要解决的难点，是在没有最终正确答案时，怎样给“标准写得好不好”提供奖励。

它把这个问题拆成三个部分：标准是否合理，标准是否能区分当前回答，以及不同标准组是否对回答质量给出相近的排序。三者分别对应有效性、区分性和共识。把它们分开，是我认为这篇论文最值得学习的地方。

图 1（原论文图 1）：从专家静态标准、模型静态标准，到外部模型动态生成和共享策略共同学习。区别在于，生成评分标准的行为是否随着训练获得明确反馈。

1.1 先说明本文的阅读边界

这份笔记依据 v2 的完整 22 页内容，包括附录 A 到 J。下面的实验数字来自论文，额外的代数推导和玩具例子会明确标出。重新绘制的图用于解释原文数据，不代表我重新训练了模型或复现了结果。

还有一个容易混淆的名字：本文是单数 EvoRubric，编号 2605.29847。另有一篇不同作者的 EvoRubrics，编号 2606.23038。名字只差一个 s，也不能把方法、作者和资源入口混在一起。

1.2 自我进化的边界在哪里

这里并不是所有角色都在一起更新。回答者和标准生成者共享可训练参数；判断标准是否有效的 Meta-Verifier 固定在初始模型；把标准应用到回答上的 Grader 也固定不动。

因此，更准确的理解是：模型在相对稳定的监督边界内，学习发现新的评分维度。它没有凭空产生一个独立于已有模型知识的正确性来源。固定检查者可以减缓反馈循环的漂移，但检查者本身的错误仍会影响学习。

这个边界会贯穿整篇笔记。后面看到多个 rubric 高度一致时，需要继续问：它们是在共同抓住一个真实问题，还是共同继承了同一种偏好？

2. 前置知识：一条文字标准怎样变成奖励

2.1 正分与负分的含义必须先统一

设一条标准的权重为 $w_c$，回答是否满足该条描述用 $z_c(o)\in\{0,1\}$ 表示。正权重通常描述好行为，例如“交代了结论所依赖的条件”；负权重描述已经发生的错误，例如“编造了支持结论的证据”。

对于负权重，指示值为 1 表示错误确实发生了，而不是表示回答成功避免了错误。这个约定看似只是符号问题，实际上会决定后面如何判断标准已经饱和、能否从记忆中移除。

把一组标准记为 $C$，论文首先定义原始分数，以及全部正权重和负权重的总量：

$$A(o;C)=\sum_{c\in C}w_cz_c(o),\qquad P(C)=\sum_{c\in C}\max(w_c,0),\qquad N(C)=\sum_{c\in C}\max(-w_c,0). \tag{1}$$

其中 $N$ 是负权重绝对值的总和，所以仍是非负数。这里的求和范围是整组标准，而不是某个回答恰好触发的那几条。所有回答都在同一把尺子下比较。

2.2 为什么分母取较大的权重总量

附录 C 使用下面的归一化：

$$F(o;C)= \begin{cases} A(o;C)/\max\{P(C),N(C)\},&\max\{P(C),N(C)\}>0,\\ 0,&\text{otherwise}. \end{cases} \tag{2}$$

可以逐步检查它的范围。所有正项相加，最多得到 $P$；所有负项相加，最差得到 $-N$。因此原始分数满足 $-N\leq A\leq P$。分母不小于两边的任何一个绝对值，除完以后自然落在 $[-1,1]$ 里面。

但落在这个区间，不代表每组标准都能覆盖整个区间。如果全是正向要求，实际范围是 $[0,1]$；如果全是负向错误，实际范围是 $[-1,0]$。后一种情况下，得到 0 可能表示回答没有犯清单里的错误，而不是没有被评价。

空标准集也得到 0，不过原因完全不同：它没有提供评价信息。一个数字在不同情境下可能表示“没有扣分”，也可能表示“根本没有标准”。阅读奖励曲线时，不能只看数字而忽略标准集的构成。

2.3 一个可以手算的小例子

我构造一个与具体应用领域无关的解释任务。三条标准分别是：覆盖核心结论加 4 分；给出支持证据加 2 分；出现虚构断言扣 3 分。此时 $P=6$、$N=3$，所以四个回答的分母都固定为 6。

回答 A 做到了两个正向要求，也没有错误，得分为 1。回答 B 只覆盖核心结论，得分为 $4/6$。回答 C 同时覆盖结论、提供证据，却夹带了虚构断言，得分是 $(4+2-3)/6=0.5$。回答 D 没有正向贡献，还出现错误，得分是 $-3/6=-0.5$。

图 2：本文构造的评分例子。左边是每个回答是否触发条件，右边是按共同分母计算的分数。它是公式说明，不是模型实验。

这里有一个重要设计选择：分母不能随每个回答触发了哪些条件而变化。否则，漏掉某项要求的回答可能连同那项要求的权重一起从自己的分母中删除，导致分数失去可比性。

同时，标准权重决定了质量偏好。同样的回答，在“覆盖内容更重要”和“避免错误更重要”的权重分配下，排序可能不同。归一化让尺度可控，却不会替我们解决价值权衡本身。

2.4 GRPO 为什么在意差异

EvoRubric 使用 GRPO，在同一个问题、同一个角色的一组采样里比较奖励。优势值写作：

$$\widehat A_i=\frac{r_i-\mu}{\sigma+\varepsilon}. \tag{3}$$

其中 $\mu$ 和 $\sigma$ 是这一组奖励的均值和标准差，$\varepsilon$ 用来避免数值除零。如果所有回答分数都相同，分子全部为零。即使加了稳定项，也不会凭空出现学习方向。

例如奖励为 $[1,0.5,0.5,0]$，均值是 0.5。采用总体标准差、忽略很小的稳定项后，优势约为 $[1.414,0,0,-1.414]$。第一条回答相对被鼓励，第四条相对被抑制，中间两条在这组里没有直接优势。

所以，一条标准完全正确，并不保证它对当前组的相对学习有帮助。如果八个回答都满足它，它没有区分力；如果八个回答都不满足它，同样没有区分力。后者尤其值得记住：集体失败也可能让一个重要维度暂时没有梯度信号。

3. 系统里到底谁在学习，谁在保持不动

3.1 四个角色的分工

角色	参数状态	主要工作
Reasoner	共享策略，持续更新	生成回答
Rubric Generator	同一共享策略，持续更新	发现遗漏的评分条件
Meta-Verifier	初始策略的冻结副本	检查标准是否有效
Grader	冻结的 GPT-OSS-120B	逐条判断回答是否触发标准

策略模型使用 Qwen3-8B 或 Qwen3-14B。通过不同角色提示，同一套参数生成回答或生成 rubric。这种共享可以让两种能力相互影响，也可能造成干扰。即使不对 Generator 单独计算训练损失，只更新回答能力，也会间接改变生成标准的行为。

每个问题先采样八个回答。Generator 再观察问题、这些回答、固定基础标准以及历史标准，采样四组候选 rubric。它提出的不是预先准备好的通用清单，而是基于当前回答之间的差异，寻找已有标准尚未覆盖的维度。

每个问题有独立记忆池，最多保留十条演化标准。基础标准另存，不占这十条容量，而且整个训练过程中固定不变。附录 D 给出的基础标准数量为每题二到八条，其中六条最常见。

图 3（原论文图 2）：先产生回答，再从回答中发现标准。标准经过有效性检查和打分，形成两类角色的奖励；被选中的标准进入后续访问该问题时使用的记忆。

3.2 为什么把 Meta-Verifier 冻结

假如标准生成器和标准有效性检查者一起移动，就可能出现相互认可的漂移：生成器提出越来越偏的标准，检查者也逐渐接受这些标准。固定初始模型，至少提供了一个相对稳定的入口检查。

但是稳定不等于正确。初始模型可能看不懂后来出现的高质量细节，也可能始终认可一个常见但不准确的要求。因此，冻结设计解决的是监督边界随训练共同漂移的问题，并没有解决边界本身是否足够可靠的问题。

Grader 的作用又不同。它判断回答是否满足某条已经保留的标准，而不是判断这条标准是否值得存在。即使标准本身写得很好，执行标准的模型也可能误判。必须把“标准错误”和“应用标准时判断错误”分开。

此外，论文虽然强调在共享的 8B 策略里学习 rubric，但训练 Grader 是 GPT-OSS-120B。不能把“没有单独训练一个更大的标准生成器”理解成“整个系统只使用一个 8B 模型”。可训练组件的规模和完整监督系统的成本是两回事。

3.3 提示词要求什么，不能证明什么

附录 J 要求 Generator 找出已有清单遗漏、并能在回答中观察到的具体差异，避免重复和泛泛要求。如果没有新缺口，应当允许返回空列表，而不是为了生成而生成。

负向标准需要描述主动发生的错误，正向标准描述值得奖励的性质。这个约定让权重和指示变量的含义一致。标准还应当能被执行，而不是笼统要求“更精彩”“更专业”却不给出可判断条件。

Meta-Verifier 针对不同领域使用不同的错误类别。Medical 包括事实冲突、不可测量、语义重复、泛化套话，以及无依据的篇幅和风格要求。Writing 和 Science 还强调是否违背任务明确约束。

这些提示词说明了系统想达到的目标，却不能当成它已经达到目标的证据。后面的人类标注发现，经过检查以后仍有无效标准残留。提示里写得严格，并不会让检查者自动获得完美能力。

4. 怎样奖励一组新标准

4.1 有效性奖励要把被拒绝的提议也算进去

假设第 $m$ 组一共提出 $K_m$ 条标准，经过 Meta-Verifier 后有 $V_m$ 条保留。有效性奖励是：

$$a_m=\frac{V_m}{\max(1,K_m)}. \tag{4}$$

分母使用过滤之前的提议数量。这个细节很合理：提出十条错误标准、碰巧留下一条正确标准，不应和只提出一条正确标准得到一样的有效性评价。如果只在过滤后的集合上计算比例，所有非空集合都会变成百分之百有效，奖励也就失去了意义。

空集合得到零。这里还存在一个值得关注的张力：提示词允许没有缺口时返回空列表，但有效性和区分性奖励天然偏向提出能够通过检查的条目。论文并没有把“正确选择不再增加标准”单独建模成一个正向奖励。

4.2 区分性奖励究竟在数什么

对每条保留标准，Grader 给八个回答分别打分。如果这八个分数的标准差大于零，就说明它至少把一些回答区分开了。记这样的标准数量为 $D_m$，附录 C 描述的区分性奖励可以整理为：

$$d_m=a_m\frac{D_m}{\max(1,V_m)}. \tag{5}$$

当 $V_m>0$ 时，把有效性比例代入，可以得到 $d_m=D_m/K_m$。也就是说，它最终相当于“全部提议里，有多少既有效又能区分当前回答”。这是对原文文字定义的代数整理，不是额外添加的新机制。

“标准差大于零”是一个很弱的阈值，并不要求稳定的较大差异。八个回答里只有一个被判为不同，就能通过。这有利于发现少数回答中的关键错误，也意味着一次误判可能制造出看似有用的区分。

因此，区分性不等于重要性。一个格式细节可能很容易区分回答，却不值得优化；一个重要事实要求可能八个回答都失败，反而暂时没有区分力。Meta-Verifier 和基础标准的作用，就是对这种纯相对信号加以约束。

4.3 共识比较的是回答分数向量

对第 $m$ 组通过验证的标准，形成一个长度为八的向量：

$$\mathbf v_m= \big[F(o_1;\widetilde R_m),\ldots,F(o_N;\widetilde R_m)\big]^\top. \tag{6}$$

它描述这组标准如何给同一批回答打分。论文不是逐字比较两组 rubric 是否相似，而是比较它们在这些回答上产生的评分模式。

取其他非恒定评分组的集合 $\mathcal P_m$，先平均，再计算相关系数：

$$\overline{\mathbf v}_{-m} =\frac{1}{|\mathcal P_m|}\sum_{j\in\mathcal P_m}\mathbf v_j, \qquad \rho_m=\operatorname{corr} (\mathbf v_m,\overline{\mathbf v}_{-m}). \tag{7}$$

这里是 Pearson 相关性。先对向量去均值，再比较变化方向，所以它关注的是相对变化，不要求绝对分数相同。一组标准整体打分更严格，只要对好坏变化的判断相近，仍可能高度相关。

如果没有其他非恒定组，或者其他组平均以后变成恒定向量，共识设为零。第二种情况不能漏掉：每个同伴单独都有变化，不代表平均以后仍有变化。两组相反的评分模式可能正好互相抵消。

候选组要进入当前回答监督，还需要自己的向量非恒定，并且 LOO 相关性大于 0.2。这个资格阈值与 Generator 的奖励组成是两个层次，不能简单混成一个步骤。

共识奖励使用正相关部分，并乘以有效性比例：

$$\widetilde\rho_m=a_m\max(0,\rho_m). \tag{8}$$

一组标准即使很符合其他组的评分方向，只要其中大量提议无效，共识贡献也会被削弱。系统试图避免只追求一致而忽略标准本身是否合理。

4.4 为什么必须“留一”

LOO 就是 leave-one-out：评价自己时，把自己的分数向量从参考平均里拿掉。否则，自己的意见会通过平均值重新证明自己。

可以构造两个去均值向量 $u=(-1,-1,1,1)$ 与 $v=(-1,1,-1,1)$。它们彼此正交，相关性为零。但如果用 $(u+v)/2$ 作为参考，$u$ 与这个平均值的相关性就变成 $1/\sqrt{2}$，约为 0.707。

更极端地，若另一组是 $-u/2$，真正的同伴相关性为 -1。把自己也平均进去，参考值变成 $u/4$，与自己却完美正相关。一个反对意见，就这样被自己的权重盖掉了。

图 4：本文构造的向量例子。把自己放进参考平均，会机械地提高一致性；留一法移除了这个直接的自我贡献。图中数值不是论文训练结果。

但留一并不等于独立。四组 rubric 仍来自同一个当前策略，看到相关输入，又由同一个 Grader 执行。它们可能共享偏见，或者共同偏爱某一种容易识别的风格。

所以，共识应被理解为一种降低孤立噪声的信号，而不是正确性证明。它可以抑制偶然出现的奇怪规则，也可能抑制一个少数派但正确的新标准。这两种作用需要实验区分。

5. 完整奖励里容易漏掉的细节

5.1 Generator 不只是追求共识

主文把有效性、区分性、共识，与数量和长度惩罚组合起来。附录 C 还增加了权重集中度惩罚。对于格式正确的标准输出，完整描述可整理为：

$$R_{\mathrm{gen},m} =\widetilde\rho_m+a_m+d_m -p_{\mathrm{num}}-p_{\mathrm{len}}-p_{\mathrm{conc}}. \tag{9}$$

数量惩罚在十条以内为零，超过十条后线性增加，最多为一：

$$p_{\mathrm{num}} =\min\!\left(1,\max\!\left(0,\frac{K-10}{10}\right)\right). \tag{10}$$

若一组至少有三条标准，再看有多大比例使用最常见的绝对权重。把这个比例记为 $f$，集中度惩罚为 $0.5\max(0,(f-0.6)/0.4)$；不足三条时为零。

这能避免所有标准都机械地写成同样分值，但它只是一个启发式约束。某个任务的要求真的同等重要时，均匀权重未必错误；反过来，权重看起来丰富，也不保证轻重安排合理。

5.2 长度惩罚从 4096 tokens 开始

两种角色都使用相同形式的过长惩罚。代入论文参数后：

$$p_{\mathrm{len}}(y) =\max\!\left(0,\frac{\ell(y)-4096}{4096}\right). \tag{11}$$

4096 tokens 以内为零，6144 tokens 时为 0.5，8192 tokens 时为 1。这里是 token 数量，不是汉字数、英文词数或页面长度。

这意味着，后面看到简洁性提升时，不能把全部效果归因于 rubric 学习。长度惩罚本身就在推动输出变短。它可能去除冗余，也可能抑制必要展开，需要与完整性表现一起看。

格式错误的 Generator 输出获得 -2 的格式奖励；空集或全部被拒绝的标准组不会加入新标准。算法阅读时，这些退化分支和正常分支一样重要，因为它们决定异常输出会怎样影响训练。

5.3 当前监督与历史监督各占一半

用 $H$ 表示在当前回答上仍有区分力的历史标准，$\mathcal E$ 表示本轮合格的候选组。当前分数为：

$$S_{\mathrm{current}}(o)= \begin{cases} \frac{1}{|\mathcal E|}\sum_{m\in\mathcal E}F(o;\widetilde R_m), &|\mathcal E|>0,\\ 0,&|\mathcal E|=0. \end{cases} \tag{12}$$

然后与历史分数组合：

$$S_{\mathrm{pool}}(o)=\tfrac12F(o;H)+\tfrac12S_{\mathrm{current}}(o), \qquad R_{\mathrm{rea}}(o)=F(o;C_{\mathrm{base}})+S_{\mathrm{pool}}(o)-p_{\mathrm{len}}(o). \tag{13}$$

需要特别注意，缺少某一项时，不会把另一项自动放大到全部权重。第一次访问某个问题，没有历史标准，当前标准仍只占一半。没有合格新组时，历史标准也仍只占一半。

例如基础分为 0.6、历史分为 0.2、当前分为 0.8，没有长度惩罚，总奖励为 $0.6+0.1+0.4=1.1$。若没有历史项，变成 1.0；若只有历史项而没有当前项，变成 0.7。

这个例子表明，记忆是否存在，会改变演化监督的有效强度。不能把“所有分数都归一化到同一区间”理解成“每个训练阶段的奖励构成完全相同”。

5.4 最容易混淆的两条路径

当前回答的奖励，会平均所有合格候选组；长期记忆却只接收共识最高的那个合格组提出的标准。前者是本轮怎样训练，后者是下一轮记住什么。

如果把所有合格组都写进记忆，池子会更快被占满；如果只用最高共识组给当前回答打分，则又丢掉了原方法使用的多组监督。两种改法都可能有自己的价值，但已经不是论文所描述的流程。

历史记忆必须先取快照，再计算当前奖励，之后才更新池子。否则，本轮刚发现的标准可能一边作为当前项，一边又作为历史项重复进入奖励。附录 B 明确说，新增条目用于下次访问该问题。

6. 记忆池怎样变化，策略怎样更新

6.1 零方差不等于已经学会

对于正向标准，八个回答都满足它，才是希望看到的饱和状态。对于负向标准，八个回答都没有犯该错误，才是希望看到的饱和状态。这样的历史条目可以退出活动记忆，为新维度腾位置。

反过来，八个回答都不满足正向要求，或都犯了同一个负向错误，也会产生零方差。它们在本轮历史评分中没有区分力，却不能被称为已经掌握。

这两种情况的处理应分开：零方差标准不参与当前历史池分数；只有所有回答都表现出期望行为时，才按饱和规则移除。集体失败的条目不应因为“大家分数一样”就被当成成功退休。

这个区分也暴露出方法的边界。如果所有采样都在重要维度上失败，单靠组内相对比较，很难直接告诉模型怎样越过这个共同障碍。其他基础条件和有区分力的维度仍可能推动学习，但这个难点本身需要采样先产生差异。

6.2 去重与容量管理并不是语义记忆的全部

候选进入记忆前会检查与保留条目的精确文本重复，池子超过十条就按先入先出的方式淘汰最老条目。Meta-Verifier 还会检查与基础标准的语义重叠。

不过，这不代表记忆池已经完成了全面的语义去重。同一个意思可以用不同文字表达，某条标准也可能既与基础标准部分重叠，又带一点新细节。后面的人类审计专门计算“有效且语义不同的新维度”，正是因为简单的接受率不够。

FIFO 的优点是清晰、便宜，不需要再训练一个选择器。缺点是年龄并不等于价值。一个很早出现但极为重要的少见错误标准，可能比一个刚提出的风格细节更值得保留。论文的容量和替换规则给出了一种具体取舍，而不是普遍最优的记忆管理方案。

算法 1：单个问题的评分与记忆更新

01  读取固定基础标准 B，并保存历史记忆快照 H_old。
02  用当前 rollout 策略采样 N = 8 个回答。
03  基于问题、回答、B、H_old，采样 M = 4 组新标准。
04  用冻结 Meta-Verifier 检查每条提议。
05  用冻结 Grader 对基础、历史、保留的新标准逐条打分。
06  计算有效性比例、区分性和每组回答分数向量。
07  用其他非恒定组计算 LOO 共识。
08  选择自身非恒定且 rho > 0.2 的合格候选组。
09  按当前快照计算 Generator 和 Reasoner 奖励。
10  从持久记忆移除真正达到期望行为饱和的历史标准。
11  若存在合格组，只选择共识最高的一组供记忆接收。
12  检查重复后插入新条目。
13  超过 10 条时淘汰最老条目；基础标准始终不变。

伪代码把奖励计算放在记忆变更之前，强调的是时间依赖。不能只看到“取出、打分、插入”几个动作，而忽略哪一份历史状态参与了本轮公式。

6.3 两个角色分别标准化，再共享一次更新

对于同一道题，八个回答属于 Reasoner 组，四个 rubric 输出属于 Generator 组。它们各自计算均值、标准差和优势，不能把两种语义完全不同的奖励放在一个组里标准化。

之后，两种角色的输入、输出和优势合在一起，更新同一套参数。用 $r_{b,t}(\theta)$ 表示当前策略与 rollout 策略对某个 token 的概率比，附录 B 的目标可以写成：

$$J(\theta)=\mathbb E\!\left[ \frac{\sum_{b\in\mathcal B}\sum_{t=1}^{|y_b|} \min\{r_{b,t}\widehat A_b, \operatorname{clip}(r_{b,t},0.8,1.28)\widehat A_b\}} {\sum_{b\in\mathcal B}|y_b|} \right]. \tag{14}$$

下界偏移是 0.2，上界偏移是 0.28，所以概率比裁剪区间为 $[0.8,1.28]$。不能习惯性地把它写成对称区间。论文报告的 KL 损失系数为零，也不能自动补上一项不存在的初始策略约束。

裁剪限制的是相对 rollout 策略的局部更新。每轮 rollout 策略本身也会更新，因此它不等于一个始终把模型拉回最初参数的惩罚。

另一个细节是分母按输出 token 总数归一化。八个回答对四组标准，不意味着两个角色的损失权重严格为二比一。回答如果长得多，就可能贡献更多 token 项。这是目标形式带来的推论，论文没有给出完整的角色梯度占比分析。

算法 2：两种角色的共享策略训练

01  固定初始策略副本作为 Meta-Verifier，固定 Grader。
02  为 minibatch 中每道题执行算法 1，收集两类奖励。
03  每题的 8 个 Reasoner 奖励单独计算优势。
04  每题的 4 个 Generator 奖励另行计算优势。
05  常数奖励组的优势设为零。
06  合并两类角色的输入、输出与优势。
07  计算各 token 相对 rollout 策略的概率比。
08  应用非对称裁剪，并按输出 token 总数求平均。
09  使用 AdamW 更新共享参数。
10  下一轮使用更新后的策略和各题记忆。

6.4 为什么共享参数的消融需要谨慎解释

论文的“去掉 Generator Loss”并不是让标准生成器完全静止。它仍使用共享模型产生标准，也保留验证、打分、记忆和选择流程。只是参数更新不再直接受到 Generator 奖励的训练损失驱动。

因此，Reasoner 的更新仍可能让标准生成行为发生变化。这个消融检验的是“显式学习标准是否比只有间接变化更好”，而不是“动态标准与静态标准谁更好”。明确这个区别，才能正确读后面的消融表。

7. 实验主结果应该怎么读

7.1 五个基准不代表一个统一训练的模型

论文对 Medical、Writing、Science 三个领域各采样 3,000 个训练问题。对于每个模型规模，每个领域分别训练一个策略，再在对应基准上测试。五基准平均是这些领域模型结果的汇总，不是一个共同训练模型在所有任务上的统一成绩。

Medical 包括 HealthBench 的 500 条留出样本和 LLMEval-Med；Writing 包括 WritingBench 和 Creative Writing；Science 使用留出的 ResearchQA。RL 方法平均三个训练种子，Base 则平均三次回答采样运行。

主要对比固定策略骨干、训练数据和策略侧配置。Static Rubric-RL 使用训练前生成的固定清单；External Evolving-RL 用单独冻结的同规模模型生成动态标准；EvoRubric 则在共享策略里显式学习标准生成。

最终评估保留各基准的协议和标准，模型裁判换成 Claude Sonnet 4.6。它与 Qwen3 策略、初始 Meta-Verifier 以及 GPT-OSS 训练 Grader 不同族。这减少了直接对同一个训练裁判过拟合的耦合，但并不能消除不同语言模型共同存在的评价偏好。

图 5：根据原论文表 1 的均值重绘。为了便于比较没有绘制误差条，原表给出了三次运行的标准差。三个领域分别训练，不应把这些柱子理解成一个统一策略的全部表现。

7.2 平均分提高了多少

8B 的五基准平均从最强匹配基线的 53.19 提高到 56.28，增加 3.09 分。14B 从 59.07 提高到 61.13，增加 2.06 分。两个规模的五个基准上，EvoRubric 都有最高的报告均值。

但具体列的参照不一定是同一个方法。8B HealthBench 的最强基线是 External，提升为 $45.13-39.53=5.60$ 分。LLMEval-Med 的最强基线是 Static，提升为 $53.75-52.95=0.80$ 分。

因此，不能为了方便，所有列都只减去 External 的数字，再说是超过“各列最强基线”。论文表中相对提升使用的是每列各自最强的基线，平均分比较则是方法整体的宏平均。

均值领先也不等于每一列都已经有充分的统计确定性。例如 8B LLMEval-Med 是 $53.75\pm0.84$，Static 是 $52.95\pm0.47$。只有三个训练种子，还混有评估噪声，不能仅凭这两个摘要数字就宣称每个差异都显著。

7.3 宏平均暗含怎样的领域权重

五基准使用简单平均，其中两个 Medical、两个 Writing、一个 Science，相当于领域权重为 40%、40%、20%。如果先对领域内部求平均，再给三个领域相同权重，会得到另一个指标。

这不是说论文的平均方式错误，而是提醒我们指标回答了一个特定问题。偏重科学问答的应用，应单独看 ResearchQA；重视完整说明的应用，应进一步看人工完整性判断。一个宏平均不能替代具体需求。

同样，某一领域提升很大，可以抬高整体平均；另一个领域的小幅变化可能仍具有实用意义，也可能受噪声影响。把汇总表拆回每个任务，是理解方法价值的必要步骤。

8. 消融、强基线和训练曲线

8.1 哪些组件被拿掉后会变差

图 6：原论文表 2 中完整方法减去各消融的差值。它表示在其余机制保留时移除某项的影响，不能把几根柱子相加当成总收益分解。

去掉 Generator Loss，HealthBench 降低 3.55 分，LLMEval-Med 降低 3.82 分。这支持显式标准学习的价值，超出了共享参数间接变化所能解释的效果。

去掉区分性反馈，HealthBench 下降 6.21 分，是表中该基准最大的下降。去掉 Meta-Verifier，LLMEval-Med 下降 5.94 分，甚至低于该列 Base 的 49.25。去掉共识和记忆，也使两个基准均值下降。

但是，这些组件并不相互独立。先过滤无效标准再计算共识，和直接让无效标准参与共识，得到的是性质不同的信号；保留历史记忆也会改变 Generator 看到的上下文。因此消融表支持整个组合设计，而不是提供了可以简单相加的贡献账单。

更细的研究可以进一步交叉消融。例如，共识在强验证器和弱验证器条件下是否同样有效？记忆容量增大后，语义重复的影响是否会上升？当前结果还不能直接回答这些交互问题。

8.2 用更强外部模型生成 rubric 会怎样

在 Medical 上，把外部生成器从冻结 Qwen3-8B 换成 GPT-4.1，HealthBench 从 39.53 提高到 42.25，LLMEval-Med 从 51.73 提高到 52.92。EvoRubric 进一步达到 45.13 和 53.75。

这说明在该受控设置下，显式学习标准生成可以比单纯换一个更强的外部生成器更有效。但这里比较的是借鉴 DR-Tulu 的外部标准生成策略，不是完整 DR-Tulu 的搜索、引用和训练系统。附录 A 对这个范围作了说明。

附录 H 记录 GPT-4.1 变体每次运行平均使用 8120 万输入 tokens、291 万输出 tokens，按实验当时价格约 185.70 美元。这只是标准生成 API 的费用，不包括回答训练、其他打分、硬件和评估。因此不能据此给出完整训练成本优劣的结论。

8.3 曲线用的裁判与最终表格不同

图 7（原论文图 3）：曲线使用 GPT-OSS-120B 在训练期间固定的基础 rubric 下评分。它与表 1 使用独立模型裁判的最终指标不同。

固定基础标准让曲线有一个稳定参照：虽然记忆池在变化，纵轴并不完全跟着新标准一起移动。EvoRubric 的曲线在训练后期与静态、外部动态基线拉开差距。

但固定目标仍可能有盲点。模型可以学会对某种固定评价偏好更友好，而不必在所有真实质量维度上进步。所以，训练曲线必须与独立最终评估、人工判断一起看。

专家初始化的实验也值得分开读。Static 从模型基础标准的 38.89，提高到专家标准的 41.83；在专家标准上继续共同演化，达到 44.64。模型初始化的 EvoRubric 是 45.13。

两个演化版本只差 0.49 分，不足以推导出“专家标准没有价值”。更稳妥的结论是：在这组实验里，动态发现可以补充专家先验，也能从模型生成的基础标准出发获得收益。

9. 标准变得更好了吗：有效性与多样性要一起看

9.1 检查机制有效，但错误没有消失

三位有医学 rubric 标注经验的人员，对同样二十个 Medical 问题，在四个 epoch 结束时检查记忆池。最终 8B 完整方法有 157 条池中标准，其中 8 条无效；没有 Meta-Verifier 时有 192 条，其中 75 条无效。

按原始整数计算，无效率的相对下降为：

$$1-\frac{8/157}{75/192}\approx0.8696. \tag{15}$$

这就是论文给出的 86.96% 相对下降。它不是下降了 86.96 个百分点，也不是在完全相同的 192 条标准里直接筛掉了多少错误。两种训练过程产生的池子已经不同，分母也不同。

图 8：根据原论文表 9、表 10 的整数计数重新计算比例。左图是无效率，右图是有效多样性。检查器大幅压低无效率，但完整方法也没有阻止残余错误随训练累积。

8B 完整方法第一轮只有 2/185 条无效，约 1.08%；最后变成 8/157，约 5.10%。14B 也从 2/167 上升到 6/139。无验证器的上升更明显，最后达到 75/192，约 39.06%。

因此，这个实验支持“验证器显著限制了错误积累”，不支持“演化出来的标准全部可靠”。尤其在反馈系统中，剩余的小比例错误也可能因为被重复使用而产生影响，不能只看平均有效率很高就结束分析。

作者报告验证器与人类判断一致率为 78.5% 和 81.2%。14B 更高，但这个比较同时改变了策略规模和验证器规模，不能把全部差异都归因于验证器单独变强。

9.2 有效、多样、超出基础清单，是三个要求

有效多样性的分子，要求标准既被人类判为有效，又在同一道题内代表语义不同的维度，而且超出固定基础标准。分母则保留池中的所有条目。

同一个意思写了两遍，只在分子算一次，但分母仍算两条。不同问题的相似标准不跨题合并，因为它们服务于不同任务。这个指标比“有多少条通过验证”更严格，也更接近我们真正关心的新增监督内容。

8B 从第一轮的 165/185，即 89.19%，下降到最后的 118/157，即 75.16%。14B 从 91.62% 下降到 76.26%。最后仍保留相当数量的新有效维度，但比例在持续降低。

8B 最终有 149 条有效标准，却只有 118 个超出基础清单、语义不同的有效维度。两者并不矛盾：有效标准可以重复，可以与基础清单重叠，也可以不形成独立的新维度。

如果只报告 94.90% 的有效率，读者容易产生“几乎每一条记忆都提供新知识”的印象。把有效多样性加进来以后，能看见系统虽然保持了较高的有效性，却仍在损失一部分记忆容量的使用效率。

9.3 怎样理解残余错误的类型

最终完整方法中，事实冲突仍是主要残余类别。没有验证器时，还能看到不可测量、泛化套话、无依据长度要求等多种错误。验证器对这些错误有明显抑制作用。

但这个审计范围只有二十道 Medical 问题，而且是在池中留下来的条目上观察。它没有给出所有提出后被丢弃标准的完整分布，也没有证明其他领域会出现相同比例。

如果某类错误特别容易被高共识保留，最终池中的比例可能低估或高估它在生成阶段的发生率。理解一个反馈循环，最好同时看“提出了什么、过滤了什么、留下了什么、被使用了多久”，而不只看最后的静态池子。

10. 人类更喜欢答案吗：结果比总分更复杂

10.1 总体偏好有提升，分维度存在取舍

另一组实验对五十道 Medical 问题进行盲评，比较最终回答。三位标注者对每个维度判断胜、平、负，多数票决定结果；三人分别给出胜、平、负时记作平局。

对同规模外部生成器，整体质量的胜平负为 42/30/28；对 GPT-4.1 外部生成器，分别是 48/14/38。换成实际问题数，前者为 21 胜、15 平、14 负，后者为 24 胜、7 平、19 负。

图 9：根据原论文表 6 重绘，保留平局。胜表示偏好 EvoRubric。最清晰的优势在简洁性和相关性，完整性则更常偏好对照方法。

去掉平局后，胜率变为 $42/(42+28)=60\%$ 和 $48/(48+38)\approx55.8\%$。这两个数字只针对非平局问题。把它写成“全部问题中胜率 60%”，就会改变原结果的含义。

分维度看，EvoRubric 的简洁性和相关性更受偏好；完整性上，对照方法赢得更多；事实正确性接近；安全性大多平局。因此更准确的描述是：回答质量的某些方面提升明显，整体偏好略有优势，但不是所有人类关心的维度一起提高。

10.2 为什么完整性下降值得认真对待

简洁与完整不是简单对立。好的回答可以去掉冗余同时保留所有必要信息，但实际训练也可能把“减少内容”当成提高简洁性的捷径。

这篇论文同时有显式长度惩罚和学习出来的标准。看到简洁性提升、完整性偏弱时，至少有几种解释：模型删去了多余信息；模型也删去了一些有用信息；或者评价器对简洁的偏好比用户实际需求更强。当前实验没有把这些机制完全拆开。

我认为下一步应在长度匹配条件下比较回答。把相近长度的回答放在一起，再分别评价信息覆盖、准确性和相关性，可以减少“只是更短”带来的混淆。

还可以按问题复杂度分层。简单问题可能主要受益于短答案，复杂问题则需要展开必要条件。如果把两类问题混在一个平均偏好里，容易掩盖方法在哪些场景真正适用。

10.3 固定回答以后，生成标准是否更强

作者还选取一百道 HealthBench 问题，每题配上同一个未对齐基础模型生成的三个固定回答。两种 Generator 看到完全相同的问题和回答，再由默认评估模型盲选 rubric。

EvoRubric 获得 72% 偏好，外部同规模生成器为 28%。这个控制有价值：它避免“因为自己先生成了更好的回答，所以自己的标准看起来也更好”的混淆。

但该结果仍是模型裁判按照专业性、细粒度和区分价值作出的选择。它与人类标准有效性审计、最终回答偏好是三种不同证据，不应当互相替代。

一种标准可以看起来更专业，却未必能改善训练；也可以确实改善当前训练，却对新问题没有帮助。把三种证据合在一起看，才能形成更完整的判断。

11. 从训练配置理解方法的实际适用范围

11.1 样本预算决定能看见哪些差异

附录 E 给出的配置包括：四个 epoch，训练 batch 和 minibatch 均为 64，每 GPU microbatch 为 16；AdamW 学习率 $10^{-6}$，恒定调度；硬件为八张 NVIDIA H20。采样温度 0.7，top-p 为 0.8，top-k 为 20。

最大输入长度为 12,288，最大输出长度为 8,192。Generator 要观察八个回答，还要放入问题、基础标准和历史记忆。若八个回答都接近最大输出长度，它们显然无法完整装入所述输入预算。

主文用“在输入预算内”限定了 Generator 对回答的访问。具体怎样截取、选择或组织这些回答，会影响它能发现什么差异。开头片段被保留、后面细节被截断，与均匀覆盖整段回答，可能产生不同的标准。

因此，后续实验如果想比较不同方法，应明确报告实际呈现给 Generator 的内容预算。仅仅写出同样的最大上下文长度，还不足以保证两种方法看到了相同的信息。

11.2 评分开销可能比直觉更大

每个回答需要对基础、历史和当前保留标准逐条评分。从逻辑工作量看，大致与 $N$ 乘上这些标准的总数成正比。四组新标准意味着不仅多生成几段文字，还增加了一批回答与标准的交叉判断。

可以通过批处理减少请求开销，但不能因此把逻辑评分量忽略掉。一个共享可训练策略确实减少了单独训练另一个模型的需求，却不代表整个训练过程只需要一次模型调用。

如果要讨论效率，我会同时记录回答生成 tokens、标准生成 tokens、有效性检查 tokens、Grader tokens、总加速器时间以及吞吐。只报训练步数，可能把大量额外监督计算藏在同一步里面。

11.3 每题记忆依赖重复访问

记忆按问题分别保存。训练四个 epoch 时，同一道题可以多次出现，先前发现的标准就有机会在后续回答上重新起作用。如果数据流中每道题只出现一次，历史通道的收益就不可能以同样方式产生。

即使两道问题语义相似，只要被当成不同键，记忆也未必直接共享。策略参数可以跨题泛化，但外部池子的复用范围仍受到键的组织方式约束。

这说明方法适合怎样的数据使用方式，也是未来扩展的方向。可以研究把相近问题的标准抽象成更一般的维度，但抽象过度又可能失去任务特异性，增加泛化套话和错误迁移。

11.4 我会补充哪些过程指标

除了最终分数，最值得记录的是：每组提议的有效比例、合格候选组比例、恒定奖励组比例、标准存活时长、退休后重新出现的次数，以及两种角色的输出 token 占比。

这些指标有助于区分几种情况。分数提高可能来自更好的标准，也可能来自更短的回答；训练停滞可能因为标准已经饱和，也可能因为所有回答共同失败；记忆很活跃可能代表持续发现，也可能代表旧内容不断换一种说法。

这些是我建议未来实验增加的测量，并非本轮已经完成的训练记录。本文做的是论文、公式、表格和图示的核对，没有额外声称运行模型实验。

12. 局限

首先，共识的来源并不独立。多个标准组由同一策略生成，由同一个 Grader 应用，可能产生相关错误。冻结 Meta-Verifier 提供稳定锚点，却无法保证锚点知识本身正确，也可能限制后来发现的细致标准。

其次，人工证据的范围有限。标准审计集中在二十道 Medical 问题，回答偏好比较为五十道。Writing 和 Science 没有同等规模、同样形式的人工回答审计，不能把一个领域的观察直接扩展成所有开放式生成任务的结论。

第三，训练种子只有三个。某些均值差异比较小，单看表格不能判断它们在更多种子、不同数据划分或另一组裁判下是否稳定。标准条目还嵌套在问题里面，把每条当独立样本会夸大审计精度。

第四，基础标准保持固定既是优点，也是限制。它提供持续参照，却会保留最初的遗漏或偏差。十条演化记忆可以补充覆盖，但容量有限；精确文本去重和 FIFO 也没有直接优化长期语义覆盖。

第五，严格正方差与相关性阈值是启发式规则。它们对八个采样的偶然波动可能敏感。论文没有证明 0.2 阈值、十条容量或固定的历史与当前各半权重，在其他任务分布下仍然合适。

最后，成本比较还不完整。强外部生成器的 API 费用只是总账的一部分。共同学习、验证、打分和评价都消耗计算，性能收益与资源收益需要分别建立证据，不能从其中一项直接推出另一项。

13. 批判性分析：我最想补做的几组实验

13.1 让“正确的少数派”有机会被看见

LOO 共识会偏好与其他组评分模式相近的标准。一个真正新颖、能抓住重要错误的标准，可能恰好是少数派，因此被阈值拦在当前监督和记忆之外。

我会专门构造一个独立测试集：多数 rubric 漏掉一个关键问题，少数 rubric 能正确指出。测量它通过有效性检查、获得候选资格、进入记忆并最终影响回答的概率。这样才知道共识是在抑制噪声，还是同时抑制了一部分有价值的新发现。

一个可比较的替代方案，是保留少量“有效异议”预算：最高共识组之外，再允许一条经过更强核验、影响较大的少数派标准进入临时记忆。代价是增加噪声和检查成本，收益则可能是更好的错误覆盖。

评价这个方案时，不应只看标准数量变多或文字更丰富，而要看独立错误检出率、人工有效性和后续回答质量是否一起改善。

13.2 退休标准是否会对应能力回退

饱和判断只看到八个当前回答。假设某类错误真实发生概率为 $p$，并且八次采样独立，那么完全没观察到错误的概率是 $(1-p)^8$。取 $p=0.1$，这个概率仍约为 0.43。

这说明，即便某错误仍有一成发生率，小样本也可能经常让它看起来已经消失。真实生成样本还可能相关，所以这个计算只是说明性的独立假设例子，不能当作系统保证。

我会为退休标准保留一个低成本档案，定期在新回答上抽查。发现回退时重新激活，而不是永久删除。活动池仍可以保持十条，档案只承担回归检查。

比较时要控制总评分预算，否则多做检查当然可能更好。关键问题是：同样成本下，把少量资源用于旧错误回访，是否比持续生成新标准更有价值？

13.3 把重要性与容易区分分开

当前目标奖励标准在样本间产生差异。但重要条件可能所有回答都失败，琐碎条件却轻易制造差异。这种偏好并不只属于 EvoRubric，而是相对学习普遍需要面对的问题。

一种扩展是双通道监督：保留相对优势用于可区分维度，对严重且一致失败的维度引入额外、经过独立校准的信号。这样做需要更强事实依据，也可能增加奖励设计偏差，不能假定加一项奖励就必然更好。

实验应明确区分“共同不会”和“已经都会”。如果两者都只是显示为零方差，研究者很容易误判训练瓶颈。给它们分别统计，再观察策略是否真正跨过共同失败的边界，会比只看平均奖励更有解释力。

13.4 检查空列表是否受到系统性惩罚

Generator 的提示鼓励在没有缺口时返回空列表，然而奖励主要来自有效、可区分、能形成共识的提议。如果空列表持续拿不到这些正向项，模型可能倾向于继续寻找勉强能成立的细节。

我会选取一组由独立专家确认已经覆盖充分的问题，比较随着训练推进，Generator 是否仍然持续添加新标准。这可以检验“不必总是提出改进”是否真的被学会。

若发现过度生成，可尝试把停止决策和标准质量分开评价。停止并不是天然正确，也不应该无条件奖励；它需要与独立覆盖检查对应。重点在于避免系统把持续产出误当成持续进步。

13.5 在同等总成本下比较质量，而不是只比较步数

我会同时控制 Grader、Meta-Verifier、回答采样和标准生成的 token 预算以及加速器时间。然后画出质量随总成本变化的曲线，比较静态标准、强外部动态标准、共享策略学习这几种方式。

还应加入一个简单替代方案：不学习 Generator，把相同计算投入更多样的回答采样。如果增加回答差异本身就能改善奖励信息，便需要重新估计“学习标准生成”相对于“增加探索”的边际价值。

这并不是否定论文的结果，而是让它的结论更可用于真实系统设计。团队通常需要决定有限预算花在哪里，而不只是选择哪个方法在自己的训练设置下得到最高分。

13.6 把标准的谱系和外部质量连接起来

有效多样性下降，说明接受标准与积累新监督之间仍有距离。我会记录每一条标准从哪里来、替换了什么、覆盖哪类错误、存活了多久，以及最终是否帮助未见问题。

一个更强的评估设计，是由独立人员先建立不参与训练的错误分类，再观察演化标准能否提高这些错误的覆盖和纠正率。这样可以减少“用自己生成的标准证明自己进步”的循环。

如果标准谱系确实对应新的外部错误覆盖，而且回答完整性、准确性和用户偏好保持或提升，“监督在自我进化”就不再只是形象说法，而是有明确可检验的内容。

14. 结论

EvoRubric 的价值，在于给没有唯一正确答案的任务提供了一种可训练的标准发现机制。回答暴露差异，Generator 把差异写成新条件，冻结检查者与 Grader 形成奖励，记忆把部分发现带到下一次训练。

我更愿意记住它对三种信号的区分：有效性回答“这条标准能不能成立”，区分性回答“它对这组样本有没有信息”，共识回答“它的相对评分是否得到同伴支持”。这三个问题相互补充，也分别有清楚的失败边界。

五个基准的均值提升和消融结果支持这个组合的实用价值。与此同时，人工评估提醒我们，简洁性、相关性与完整性并没有自动同步改善；记忆池审计也显示，残余错误会上升，有效多样性会下降。

因此，下一步最重要的不是让 rubric 永远产生更多变化，而是证明这些变化持续提高独立衡量的回答质量。评价标准可以学习，但它们越能适应训练，越需要来自循环之外的检验。

参考资料

1. Xin Guan 等：EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation，v2。本文方法、数值与图表的主要来源，重点为第 3-4 节、表 1-10 和附录 A-J。
2. Zhihong Shao 等：DeepSeekMath。EvoRubric 引用的 GRPO 背景来源。
3. Rulin Shao 等：DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research。相关方法入口；本文讨论的是 EvoRubric 设置中的外部生成器变体。
4. Leheng Sheng 等：Reinforcing Chain-of-Thought Reasoning with Self-Evolving Rubrics。附录 A 用于比较有最终正确性参照的 rubric 学习路线。