Silent Instrument Errors 阅读笔记｜智能体榜单的测量误差

笔记日期： 2026-11-09
作者： Zhongzhu Zhou
论文题名： Silent Instrument Errors Reorder Agent Leaderboards
论文作者： Yangze Liu
arXiv： 2611.04399，版本 v1，2026-11-03

1. 从一条已经改好的机票说起

客服智能体替乘客改完航班，说了句再见，随即结束自己的循环。数据库里已经是正确的新航班。模拟乘客没有回传约定的停止标记，环境也就没把这局交给评分器。结果文件里却有一个普通的零，和「调用了评分器，检查后发现改错了」共用同一个数值。只看排行榜，两件事几乎无法区分。

Yangze Liu 从公开档案研究了 Holistic Agent Leaderboard（HAL）和 $\tau^2$-bench 的四种测量偏差。HAL 的三个案例发生在原始测量链上。日志的父子 span 重复计费，结束事件漏触发评分，参考答案的动作混进智能体轨迹。第四个案例发生在读旧文件时，同一条轨迹会因评分规则变化而改分，也可能因重建了错误环境而得到无效分数。作者固定已经发生的交互，只变动测量方式，这让我们能看到分数变化究竟出在哪一环。

图 1. 根据论文第 2、3 节自绘。交互、评分、归档和重放各自有边界。成本来自另一条证据路径，也就是模型调用的日志树。

我把这篇论文看成一次对「分数如何生成」的拆解。论文在 41 项参考解包含非终止动作的航空任务上，对两套脚手架共同跑过的九个模型做汇总。Generalist 的原榜单分数为 0.30，补评分后为 0.43，与 Tool-Calling 的汇总差距从 13 个百分点收窄到约零。分数持平对应特定任务切片和加权口径。论文还报告，要求写数据库的切片上，Generalist 从 0.28 升到 0.33。这个较小的变化尤其值得看，因为这些任务无法靠保留原状态拿到数据库项的通过。

下面把论文给出的数字与我自己推导的公式分开。重绘图用论文数据，灵敏度算例使用明示的虚构队列。这里的复算只针对文章算术，档案重放和维护者的确认均按论文及公开讨论归属。

2. 前置知识

谁结束了交互，谁决定可以评分

脚手架负责组织模型上下文、调用工具、把环境反馈交回模型，以及决定是否继续请求下一轮。环境负责工具的真实状态转移，评分器则读取状态和输出。设第 $t$ 步的动作是 $a_t$，工具观察为 $o_t$，环境版本和模式合记作 $e$。可以用下面的抽象描述一次重放。

$$(x_{t+1},o_t)=F_e(x_t,a_t),\qquad t=0,\ldots,T-1.$$

给定初始状态 $x_0$ 和已执行动作，从 $t=0$ 开始反复取 $F_e$ 的状态分量，可以重建末状态 $x_T$。任务得分还可能依赖文本输出 $m$ 和参考条件 $g$，用 $R_v(x_T,m,g)$ 表示版本 $v$ 的评分函数。如果缺少用户侧工具，重放改变的是 $F_e$。如果调整「改签是否有效」的条件，变化落在 $g$ 或 $R_v$。两者都会改变标量分数，因果含义不同。

脚手架循环停止、环境认为这一局结束、评分器实际写入结果，是三个可以分开的事件。航空客服把乘客转给人工可以触发终止。模拟用户回复停止标记也能触发。Generalist 自己发完结束语离开时，环境未必收到这两个信号中的任何一个。若管线给未评分记录留的是默认零值，文件形式完全合法，普通的错误报警看不到这个缺口。

一次调用、两条日志和一个实际账单

span 是带父子关系的操作记录。例如脚手架的模型包装层发起调用，下面的提供方客户端又记一次，同一个响应及 token 用量可能出现在两条 span 上。费用应该按可独立计费的响应或尝试计算。两次参数相同的重试可能分别收费，同一次响应在两个组件中的转记却只应算一次。判断依据是事件身份和价格规则，单看文本内容或缩进层级不足以区分。

重放也有类似的归属问题。看见某个数据库写操作，得知道是谁写的、发生在哪个阶段、是否作用于在线环境。把工具动作都装进一列便于归档，却会把智能体动作、模拟用户操作和评分器参考重放混在一起。如果之后拿这列做行为诊断或训练，归属错误会直接改变数据含义。

一行准确率可能混合多个样本层次

episode 是一次实际交互。相同任务可由不同模型运行，也可能被同一脚手架运行多次。把所有 episode 合起来，会让记录更多的模型权重更高。先算每个模型的分数再取平均，则是模型等权。逐任务配对比较还要求两侧都在同一批任务上有记录。下面会分别讨论九模型汇总、单模型格子、27 个运行的两两排序。三个结果的分析单位不同。

3. 未评分的零如何改变差距

从全量分母推导漏评偏差

固定 $N$ 条交互。令 $G_i=1$ 表示第 $i$ 条触发评分，$Y_i$ 表示在目标规则下可取得的二值结果。把未评分记录填零，等价于在分子用乘积 $G_iY_i$。分母仍是所有交互。

$$\begin{aligned} f&=\frac{1}{N}\sum_iG_i,\qquad S_{\rm stored}=\frac{1}{N}\sum_iG_iY_i=f\bar Y_g,\\ S_{\rm all}&=\frac{1}{N}\sum_iY_i =\frac{1}{N}\sum_iG_iY_i+ \frac{1}{N}\sum_i(1-G_i)Y_i\\ &=f\bar Y_g+(1-f)\bar Y_u. \end{aligned}$$

$\bar Y_g$ 和 $\bar Y_u$ 分别是已评分与未评分组的通过率。第二行在每一项乘 $G_i+(1-G_i)=1$，把总分拆成两份；因此补评分增加 $(1-f)\bar Y_u$，条件是已有分数保持固定且漏评组有明确定义的目标结果。这个恒等式不要求随机缺失。用已评分组的通过率替代漏评组才需要额外假设。这里的触发取决于脚手架的收尾动作，两个组的行为和任务构成可能很不同。

比较 A、B 两套脚手架，分别补上遗漏项，再作差。

$$\Delta_{\rm all} =\Delta_{\rm stored}+(1-f_A)\bar Y_{u,A} -(1-f_B)\bar Y_{u,B}.$$

举一个同分母的例子。A、B 都做 100 局，完整评分时各通过 44 局。A 的 50 局获评，其中 30 局过关。B 的 98 局获评，其中 43 局过关。原数看起来 A 落后 13 点，补评分分别加 14 点和 1 点，回到同分。这个例子故意让分母一致。论文的 51% 是报告的 Generalist 评分覆盖，0.30 到 0.43 则有任务过滤与共享模型口径，直接用两者相除来估计未评分组的真实通过率会把不同样本混在一起。

图 2. 根据论文第 3.2 节自绘。两条路径可以从相同的数据库状态出发。结束语只有促成环境认可的结束事件才会触发原评分。

算法 1. 恢复遗漏评分的证据链

这是对第 3.2、3.3 节及附录 A 的概括。已评分样本用于检查重放保真，漏评样本用于估计补分；两者各有角色。

01 按任务、模型、脚手架和运行整理档案。
02 从模型日志抽取智能体实际执行的工具调用。
03 按工具名与参数，将调用顺序对齐到动作档案。
04 在档案任意位置识别未匹配的参考重放。
05 有参考重放或已存正奖励时，将该局记为已评分。
06 在已评分组核对结束事件及重放与原分的一致率。
07 保留已评分结果；对漏评记录从初态重建。
08 重放智能体自己的动作，模型与模拟用户用桩替代。
09 应用同一任务规则下的数据库与输出检查。
10 记录分数来源和任务是否要求写库，再汇总同口径结果。

搜索任意位置是关键。作者较早的公开版本只在动作列表末端找参考序列，漏掉了 73 条仅在中间出现参考副本的 Generalist 记录。附录 A 改正了这一步。若已经记录正奖励，也可判定有评分事件，即使参考序列没有留下额外动作。在参考动作空、动作重复或原始日志缺失的情况下，零分的解释仍可能不确定。成熟的归档格式应显式存储评分事件，省掉这层反推。

为何不重跑智能体？新交互会改变模拟用户答复和模型决策，无法把分差只归给测量。档案若保存了可信的末态快照，可以直接评分以减少重放误差。工具反馈和状态转移缺失时，重放就不能还原完整交互。这也是附录中的「在原结束点重跑」和「只重放智能体动作」需要分开评价的原因。

4. 重复 span 为什么会改变成本前沿

用事件重数写清计费偏差

令 $\mathcal B$ 表示实际独立计费的事件集合，$c_b$ 表示在统一计价规则下事件 $b$ 的费用，$k_b$ 是同一用量在日志里出现的次数。假定副本携带完全相同的用量，全部 span 相加会把 $c_b$ 加 $k_b$ 遍。

$$\begin{aligned} C_*&=\sum_{b\in\mathcal B}c_b,\\ C_{\rm all}&=\sum_{b\in\mathcal B}k_b c_b =C_*+\sum_{b\in\mathcal B}(k_b-1)c_b,\\ \frac{C_{\rm all}}{C_*} &=1+\sum_{b\in\mathcal B}\frac{c_b}{C_*}(k_b-1). \end{aligned}$$

最后一式要求 $C_*>0$，每个权重 $c_b/C_*$ 是事件对原账单的贡献。若所有事件都重复一次，倍率恰好等于二。若只重复一笔特别贵的调用，出现重复的 span 比例很低，账单也可能大幅偏离。把 $c_b$ 换成统一口径的 token 数能得到 token 倍率。输入、输出和缓存 token 的定价不同，所以混合运行的 token 倍率未必等于费用倍率。

图 3. 结构自绘，金额来自论文第 3.1 节。HAL 的一个 Claude Opus 4.1 高推理配置 Tool-Calling 航空运行，档案费用为 149.98 美元，按根调用为 74.99 美元。

算法 2. 按运行诊断费用重计

论文第 3.1 节和附录 A 对比了同一运行的三种用量。先确定归档统计到底使用了哪组 span，再讨论价格和前沿。

01 读取运行报告中的用量和模型调用树。
02 标记缺失用量的运行，单独报告其覆盖情况。
03 对所有带用量的模型调用 span 求和。
04 在同一树上只对根模型调用 span 求和。
05 对照档案聚合值，检查它与哪种求和一致。
06 在可用时用响应标识和用量定位重叠副本。
07 在相同价格规则下计算两组费用及比值。
08 按脚手架、提供方和基准分别报告分布。
09 只在可比的任务切片上重算成本与准确率前沿。

根 span 方案成立，依赖外层调用确实携带了下层的完整响应。在另一种日志设计中，一个顶层编排 span 可能包住数个各自收费的调用，自己没有用量。只取全局根会漏掉整个子树。用提供方响应 ID 去重可处理这种情况，但仍需区分命名空间与重试尝试。若一轮逻辑请求下两次都收费，只保留第一次也会低估。遇到费用异常，我会先看计费事件在日志树上是否有完整覆盖，再看倍率。

附录 A 在 134 个有日志的运行中发现 133 个原始用量与全 span 求和一致。表 1 的口径下，70 个运行的 token 恰好翻倍，46 个倍率为一。跨 133 个有用量的运行，论文报告费用比根 span 口径高 36.5%。第 3.1 节另有 94 条可匹配到带日志档案的榜单行，其中 44 条的归档费用翻倍。运行数、带用量运行数、匹配榜单行数回答不同问题，不能共用分母。附录提及的 138 个解密档案用于指定的三个基准，成本分析还使用另外两个基准的档案。

如果所有行同时乘以一个常数，价格顺序不变。只有部分行翻倍时，准确率不变也能改变选择。用一组纯示意数字，A 的准确率为 0.58、费用 40 美元，B 为 0.56、60 美元。按正确费用，A 更准也更省。若 A 被记成 80 美元，B 变成可选的低价点。第 3.1 节报告 SciCode 十个零样本运行都没有这种翻倍，而其他两种脚手架有很多接近两倍。这个算例解释了为什么分组差异值得关注，不需要从论文没有给出的单条坐标推断具体越过前沿的行。

5. 参考动作如何进入智能体的轨迹

为了获得期望数据库状态，评分器在初态上执行参考动作。重用工具环境能保持动作语义一致。航空环境的执行入口同时往动作列表追加事件，于是参考重放也留下了记录。HAL 归档了这张共享列表。对 Generalist，先转人工、评分器生成参考状态、脚手架再追加结束语，是一种能把参考动作放进列表中段的顺序。

图 4. 根据论文第 3.3 节和附录 A 自绘。删除列表末尾的一段无法清除中间注入。

设归档动作序列为 $L=(\ell_1,\ldots,\ell_n)$。理想情况下，只需按生产者字段选择智能体的事件，原序不变。

$$A=(\ell_j:\operatorname{actor}(\ell_j)=\mathrm{agent}).$$

旧记录没有这一标签时，作者从另一份模型调用日志得到序列 $A=(a_1,\ldots,a_m)$，再用工具名与参数作为匹配键，寻找保序映射 $\phi$。

$$1\le\phi(1)<\cdots<\phi(m)\le n,\qquad \operatorname{key}(a_i)=\operatorname{key}(\ell_{\phi(i)}).$$

用互相独立的事件流能提供额外证据，仍须注意重复动作。智能体和参考解可能先后做完全相同的查询。仅靠相同参数，两个副本都满足匹配式；要判断哪个反馈属于真实交互，还需事件标识、状态或时间。末尾裁剪依赖更强的排布假设。附录 A 的修正正好说明为什么不能把位置当作归属。

算法 3. 在归档边界保存动作归属

下面是我按论文第 5 节建议整理的设计。其目标是让以后分析档案时可以直接筛选证据。

01 为交互、事件、执行者和重放各分配标识。
02 在实时环境执行智能体和模拟用户的动作。
03 将参数、返回和状态检查点写入实时事件流。
04 在声明的边界固定实时末态。
05 在独立参考环境中从初态运行参考动作。
06 把参考重放记入单独的事件流或命名空间。
07 用实时证据和参考结果生成分数与有效性状态。
08 导出时核对实时事件流在评分前后的摘要。

可以用一张支持多生产者的追加表，也可以用分开的事件流。共享表应区分执行者与阶段，否则同一个模拟用户工具在实时交互和参考重放里仍然难以分辨。隔离环境对象和隔离日志都需要做，前者防止改写被评分的状态，后者保住行为归属。在工具并发或重试的系统中还要保留尝试标识，否则去重逻辑可能抹掉真正发生过的调用。

论文在 2,334 条公开航空记录中发现 68% 有参考动作注入。有 58 条记录里智能体没有工具调用，动作档案却出现完整的参考工具序列。在参考解含至少两个非终止动作的切片上，按归档原样重放，与历史奖励的一致率是 70%。先移除注入动作后为 92%。这 22 个百分点衡量的是解释历史记录的能力。如果以误标的工具调用训练策略，数据可能奖励智能体从未做过的动作，也会低估不调用工具的频率。

6. 给同一轨迹换尺子，先固定要比较的东西

交叉评分版本和任务版本

记 $s_i(v,g,e)$ 为第 $i$ 条旧轨迹在评分器版本 $v$、任务数据版本 $g$、重建环境模式 $e$ 下的分数。用同一批成功解析的文件和同一批交互取均值得 $S$。固定 $e$，比较旧组合 $(v_0,g_0)$ 和新组合 $(v_1,g_1)$。在差式中加减中间组合 $S(v_1,g_0)$。

$$\begin{aligned} S(v_1,g_1)-S(v_0,g_0) ={}&[S(v_1,g_0)-S(v_0,g_0)]\\ &+[S(v_1,g_1)-S(v_1,g_0)]. \end{aligned}$$

第一项固定旧任务数据，改评分器。第二项固定新评分器，改任务数据。如果先改数据再改评分器，最后的总变化一样，两个分量未必一样。差异来自交互项。

$$I=S(v_1,g_1)-S(v_1,g_0)-S(v_0,g_1)+S(v_0,g_0).$$

例如下面四个数完全是算例。旧组合得 0.40，新评分器配旧数据得 0.46，旧评分器配新数据得 0.37，新组合得 0.49。先改评分器，增量是 0.06 和 0.03；先改数据，增量是负 0.03 和 0.12。交互项 0.06，表明评分器效应随数据版本而变。若旧评分器读不了新格式，相应格子应留空并解释，不能用另一批文件的均值填上。

图 5. 根据论文第 3.4 节和附录 A 自绘。环境模式应单独固定。工具缺失时，进入奖励函数的世界状态就已经偏离原轨迹。

算法 4. 对照版本并约束重放有效性

前五步概括论文的交叉对照。后几步是按第 5 节思路补充的发布约束。

01 锁定旧轨迹，记录原任务数据和评分器版本。
02 读取环境模式，声明所需工具及命名空间。
03 组合新旧评分器和新旧任务数据。
04 在同一批轨迹上评估每个兼容组合。
05 逐局保留结果，保留不兼容格子的原因。
06 比对重放返回与保存的结果或状态检查点。
07 缺失必要工具或关键状态不一致时标为无效。
08 报告有效分母、逐任务变化及通过与失败转换。
09 在共同样本上统计排序反转和并列。

工具返回文字随版本变化时，严格要求逐字符一致可能过度排除。可以先对无关格式做明确的规范化，再对关键字段与状态变化做严格检查。双控制环境缺掉用户一侧的工具，已不是格式变化。此时应在装载或重放阶段暴露无效状态。论文的 telecom 案例由名称匹配间接推断 solo 模式，类似名称落入非 solo 分支。显式模式和能力验证可以把这个错误提前。

把归档缺陷转成可诊断的重放状态

重放有时不是在某一步突然变成全错。缺失工具首先改变一个观察，再改变后续工具看到的状态。可以用两个小账本找第一处偏差。一个记录原工具返回与重放返回的比较，另一个只记录任务相关状态摘要。对第 $i$ 局，令 $B_i$ 为可核查的必需工具调用集合，$d_{it}=1$ 表示第 $t$ 步关键字段或状态不符。在 $|B_i|>0$ 时定义

$$r_i=\frac{\sum_{t\in B_i}d_{it}}{|B_i|},\qquad \tau_i=\min\{t\in B_i:d_{it}=1\}.$$

若无关键不符，$\tau_i$ 留空。$r_i$ 衡量偏离占比，$\tau_i$ 指出偏离起点。这是笔记建议的诊断量。比如一次 30 步重放中，第二步的必要用户工具找不到，其他 29 步形式上都成功，$r_i$ 只有 $1/30$。但第二步可能正是把用户设备恢复到可用状态的动作，后面的系统命令不能代偿。反过来，如果所有返回都换了时间戳格式，字符串对比会报出 30 次变化，任务状态可能完全相同。阈值应该针对有语义的变化，并对缺失必要工具设置独立的失败条件。只设置一个统一百分比阈值会漏掉前一种，也会误伤后一种。

我会把结果状态直接接到聚合端。设计划评估 $N$ 条，其中 $V$ 条通过保真门槛，$P$ 条既有效又通过。若用有效记录作分母，$\hat S_{\rm valid}=P/V$ 回答「可用重放中有多少通过」。若关心原队列在新规则下的通过率，只知道其区间

$$\frac{P}{N}\le S_{\rm planned}\le \frac{P+N-V}{N}.$$

推导与漏评界相同。对每条无效记录，未知的潜在通过结果只能贡献零或一。报告 $\hat S_{\rm valid}$ 的同时给 $V/N$，读者才能把一次重放工具升级后的分数与先前记录比较。举例说，50 条旧轨迹在新版本中只成功读出 40 条，其中 28 条通过。有效集分数 70%，原队列的可识别区间为 56% 到 76%。如果对照行在原队列上是 62%，单看 70% 就会做出偏强的结论。论文 telecom 的错误反过来把本应无效的重放送进分母。两种做法都会让可比性从摘要里消失。

规则迁移与文件兼容性应该分别验证

版本更改至少有三种对象。任务规则说明怎样算通过。轨迹格式说明哪些事实能够被旧文件保存。重放适配器负责把这些事实变成可运行的状态与动作。正式升级时，可以先拿一组历史样本做两步校验。第一步在旧评分器下对迁移前后的同一记录评分，确认格式转换本身没有改变被评估的行为。第二步在新评分器下对通过校验的记录评分并发布逐任务差异。只允许将第二步的变化解读为规则变化。若第一步失败，先定位失真的轨迹、缺失的工具或无效的状态快照。

验证单元	固定条件	记录的对照
轨迹迁移	同一任务与旧规则	迁移前后状态、原始得分、解析失败数
规则更新	同一轨迹与重建模式	通过转失败、失败转通过、未变样本
排名重算	同一批可比提交	分差、并列变化、反转对及分母
历史留档	原记录与原计价规则	旧分、新分、覆盖率及证据引用

这张表是笔记建议的发布协议。需要保留兼容失败的样本标识，而非静默过滤。若未来只提供新格式而没有旧格式的模式字段，某些状态无法从档案中辨认，应该把历史组保留为独立比较版本。这与论文提到的 $\tau^2$-bench 2.0.0 将 1.x 和 2.0 分开显示的做法相通。

7. 论文的证据分别支持什么

航空客服的三种粒度

论文第 3.2 节报告，Generalist 获评 51%，Tool-Calling 获评 98%。Generalist 的漏评记录通常以发给用户的消息结束，中位数是九个动作，远早于步数上限。在参考解含非终止动作的 41 项任务上，共享模型的汇总比较从落后 13 点变成约持平。Tool-Calling 在单模型格子上的补分最多 2.5 个百分点，所以差距收窄主要发生在 Generalist 一侧。

读库切片贡献了大部分汇总补分。只读参考动作不会改变数据库，保留初态便可能通过数据库项，输出仍须按原规则看。要求写库的任务更有区分力，因为初态不能冒充参考末态。论文在这一切片上报告 0.28 到 0.33，23 条原本漏评、补评后通过的记录均在智能体自己的调用中包含必要写操作。这个证据把「实际做过写操作」与「档案只显示了参考写操作」分开了。

图 6. 依据论文表 2 重绘。三角是补评后的 Tool-Calling。每个模型有 40 到 82 条 Generalist 记录。图中使用表内四舍五入后的比率，未纳入已撤回的 Few-Shot。

九个共享模型的 Generalist 比较都朝同一方向变化。论文报告原来有八个模型的 Generalist 落后，补评后仍有七个落后。Gemini 2.0 Flash 改变两者顺序，Generalist 从 0.20 到 0.32，Tool-Calling 为 0.22。Claude 3.7 Sonnet 在补评前已经领先。DeepSeek V3 从 0.17 升到 0.37，离 Tool-Calling 的 0.38 很近。一个只有 41 条记录的格子中，一条交互就能移动约 2.44 点。两次运行也可能只是同一批任务再跑一遍。汇总偏差的方向有证据，单格最后差一两点就很难断定稳定胜负。

附录 A 做了两种保真检查。用每条记录内嵌的参考条件，在记录的结束点重跑评分器，1,951 条已评分记录的奖励都能重现。若仅重放智能体动作，在已评分记录上与原奖励一致的比例为 Tool-Calling 97%、Few-Shot 97%、Generalist 84%。第二种更接近给漏评记录补分的方法。Generalist 的大多数不一致是从原评分通过变成离线重放失败。作者据此认为补评分可能低估 Generalist；我会把这个方向视为线索，因为漏评组和已评组可能有不同的行为和缺失状态。作者也对两个参考版本中有差别的三项任务用记录内参考条件复跑，汇总数字未变。

正确的规则更新也会调换名次

$\tau^2$-bench 1.0.1 的银行任务更新明确提示跨版本分数不可比。论文在可交叉的文件中把变动归给评分代码，并未观察到通过变失败。官方更新前后 17 条提交中仍有四对反转，Gemini 3 Flash 从第九升至并列第五。即便每个模型都不降分，两个模型的增量不同，顺序也能改变。这个案例与错装环境不同，变化有公开说明且可追溯。

航空版本 1.0.0 保留数据库和政策，实质修改 50 个任务中 14 个的评估条件。把条件应用到四个较早文件，800 条模拟结果里有 77 条改变，且两种方向都有。论文报告各模型的净变动为负 7 到正 2.5 个百分点，GPT-4.1 mini 和 Claude 3.7 Sonnet 改变排序。可以把重评结果写成一张二乘二表，行是旧分，列是新分。设 $n_{01}$ 是失败变通过，$n_{10}$ 是通过变失败，另外两格保持原结果。

$$S_1-S_0=\frac{n_{01}-n_{10}}{N},\qquad F_{\rm flip}=\frac{n_{01}+n_{10}}{N}.$$

第一式中保持通过的格子从两边抵消。第二式只数变动格子。在这个案例，后一比例由 $77/800$ 复算为 9.625%。变化方向相反时，净分差可以接近零，却有不少任务从能力画像里进出。若只发布模型新总分，读者无法看出这种抵消。

telecom 的四个 solo 文件按非 solo 模式读取，重放缺少用户侧工具。宽松模式逐次发警告后继续，最终分数下跌 59 到 82 点。相近条件下，名称被正确识别的另一文件可重现原分。这是一条针对模式解释的对照。重放能返回标量，仍可能没有还原原始环境。要判断分数该怎么用，应先检查重放状态有效，再讨论规则变化的含义。

两两反转率怎样算

设共有 $n$ 个可比运行或提交。每个单位与其余 $n-1$ 个比较一次，再除去顺序重复，得到

$$\binom{n}{2}=\frac{n(n-1)}{2}.$$

对一对 $i,j$，令 $d_{ij}^0=S_i^0-S_j^0$、$d_{ij}^1=S_i^1-S_j^1$。严格反转要求两次差值异号，即 $d_{ij}^0 d_{ij}^1<0$。并列进入和退出应另记，尤其当显示精度低于排序精度时。论文在 27 个 HAL 运行中报告 351 对里有 48 对反转，在 17 条银行提交中报告 136 对里有四对反转。分别约为 13.7% 和 2.9%。两组描述的是不同更新和不同单位。任意一条运行参与多对比较，不能把这些对当成独立样本计算误差条。

图 7. 根据论文第 3.2、3.4 节重绘。分母分别是 HAL 运行对和银行提交对，百分比由文中计数复算。

8. 局限

论文从两个维护良好的公开榜单取证。有足够证据说明这些机制会在实践中发生，尚无法估计其他榜单的发生频率。同一测量栈里的几个错误也可能相关，例如终止时点同时决定何时打分和参考动作何时写入日志。若要研究普遍性，应先选定榜单与版本的抽样框架，再用统一规则寻找异常，避免只从容易被复查或已经被报告的问题出发。

HAL 的离线补评固定了历史交互，以桩替代模型客户端与用户模拟器，测量数据库和输出条件。原来没记录的用户反应不会在重放中出现。对话策略如果依赖用户补充的信息，或者该任务要求对交互过程评价，末态重放就不足以给出真实服务质量。补评修正的是明确规则在固定轨迹上的缺口，解释应同时保留任务过滤、有效性和评分定义。

原脚手架在步数预算和政策暴露方式上不同。论文指出 Tool-Calling 在系统提示里有航空政策，Generalist 则需要自己读文件。补评分让已录制的行为在同一口径下比较，无法从这个设计中单独识别「脚手架是否通用」的因果影响。附录的 Few-Shot 因示例包含测试任务而被撤回，保留历史对照时也应保留这个背景。

$\tau^2$-bench 银行的交叉实验用五个能被各版本解析的榜单文件，17 条提交的反转来自官方更新前后记录。若只能分析能顺利重放的旧文件，结论可能更偏向格式简单或记录完整的运行。遇到解析失败应记下分母变化，不能把新旧版本的有效样本当作同一总体。

9. 批判性分析

先画出不依赖补评分的范围

如果只知道原始分数和评分覆盖，可以先问「漏评者全部失败」和「漏评者全部通过」分别意味着什么。第 3 节的推导给出

$$S_{\rm stored}\le S_{\rm all}\le S_{\rm stored}+1-f.$$

左端保留所有已确认通过，右端把所有未评分记录计为通过。这是在已观测分数保持不变、每局可按目标规则评分的前提下得到的识别区间。它描述缺失结果能导致的最坏差异，与抽样置信区间的含义不同。对 A 减 B，取 A 最低与 B 最高得到左界，反过来得到右界。

$$\Delta_{\rm stored}-(1-f_B) \le \Delta_{\rm all} \le \Delta_{\rm stored}+(1-f_A).$$

如果区间跨过零，单凭原榜单分数和覆盖率无法确定谁强。若补评恢复了一部分记录，把可靠的新结果计入已知分子，并从不确定记录数中扣除。重放未验证时，应继续保留不确定性。

图 8. 用第 3 节的 100 局示意算例自绘。A 为 30% 到 80%，B 为 43% 到 45%。虚线的 44% 是算例指定的完整分数。

如果只剩一部分无法恢复，还可以问需要怎样的漏评通过率才会逆转结论。令脚手架 $j$ 有 $N_j$ 条原始记录、$P_j$ 条已确认通过和 $U_j$ 条未决记录。未决通过率记为 $q_j$，则 $S_j=P_j/N_j+(U_j/N_j)q_j$。把两套脚手架的分数设为相等，对 $q_A$ 解方程。

$$q_A^*(q_B)= \frac{N_A}{U_A} \left(\frac{P_B}{N_B}-\frac{P_A}{N_A} +\frac{U_B}{N_B}q_B\right),\quad U_A>0.$$

代入算例得 $q_A^*=0.26+0.04q_B$。若 B 的两条未决记录中有一条通过，即 $q_B=0.5$，A 需要 50 条未决记录中 14 条通过才打平。若阈值出界，则在给定 $q_B$ 下没有可行的平局。这个计算可以按读库、写库、工具缺失、正常结束但未落盘等类别分别做。把所有未决记录混成一种缺失机制，容易误估能改变结论的范围。

把终止、任务难度和重放保真放在同一张对照表里

我最想追问附录 A 的 84% 一致率。若差异集中在少数状态工具，未来可将相同工具条件下的漏评重放标为未决，再计算区间。若差异集中在一种与漏评无关的终止方式，离线补分在目标组的解释会更有说服力。表格可以逐任务同时给出终止原因、是否要求写库、重放检查点是否匹配、原结果和补评结果。前瞻性实验则可直接保存末态摘要，用统一边界评分，再与离线重放逐条比较。这样能把评分事件缺失与状态无法还原分开。

只读任务还值得做一个二轨比较。第一轨按原规则补分，用来测量旧管线的遗漏。第二轨增加针对答复内容的准确性条件，用来衡量客户到底有没有拿到所需信息。比如乘客问某张票可否退款，保持数据库原样与答对退款政策是两件事。第一轨如果大幅补分、第二轨只小幅变化，两者都应该展示。这样既保留固定规则的反事实，也能说明榜单对实际服务质量的解释边界。

我还会用共同的任务和模型分层权重做第二个汇总。设 $h$ 为有两套脚手架记录的共同分层，$w_h$ 是预先声明且总和为一的权重。

$$\Delta_w=\sum_h w_h(S_{A,h}-S_{B,h}).$$

换成模型等权或任务等权时，分差可能随权重变化。表 2 的 Claude Opus 4 只有 Generalist 记录，应在覆盖表里保留，在共享模型对照里排除。估计不确定性时可按共同任务进行区块重采样，并在同一块中保留两侧记录。若每个任务有足够重复运行，再加上运行层的变异。论文的排名反转计数仍是有效的描述统计，这种设计回答的是差距能否推广到新任务。

分数差距怎样传导到部署选择

榜单读者往往不直接选择最高分，而是从一批「足够准、足够便宜」的组合里挑。四个误差会同时干扰这个筛选。可以设一个最简单的业务效用 $U=S-\lambda C$，其中 $S$ 为通过率，$C$ 为相同任务组合下归一化成本，$\lambda$ 表示每单位成本愿意换取的准确率。对 A、B 比较，定义准确率差 $\Delta S$ 和成本差 $\Delta C$。

$$U_A-U_B=\Delta S-\lambda\Delta C.$$

假设 A 更准也更贵，即 $\Delta S,\Delta C>0$。从上式令两边效用相等，得到预算偏好的临界点 $\lambda_*=\Delta S/\Delta C$。榜单若把 A 的部分价格重复加总，估出来的 $\Delta C$ 变大，临界点就会变小。评分又漏掉了 A 的成功轨迹时，分子还会缩小。两个偏差同向叠加，能把原本可选的组合从不少预算区间内排除。

举个有意简化的例子。正确的准确率差是 0.08，A、B 的费用分别为 40 和 30 个单位，临界点为 0.008。若 A 的档案成本变成 80，同时漏评让准确率差看起来只有 0.03，临界点会变成 $0.03/(80-30)=0.0006$。这不是论文中任何真实行的部署效用，而是展示两列偏差叠加的后果。如果同时存在缺失评分与费用不确定，可以给分差区间 $[L_S,H_S]$ 和成本差区间 $[L_C,H_C]$。当 $\lambda\ge0$ 时，有保守边界

$$L_S-\lambda H_C\le U_A-U_B\le H_S-\lambda L_C .$$

只要区间跨零，结论就可能依赖尚未核实的测量。若价格误差和漏评恰好出在同一批脚手架，按独立假设计算区间会太乐观。更精细的做法是保留行级证据，逐场景改变评分与计费假设，而不是只看总价与总准确率的一张图。

让分数与证据一起流转

修复后可以保留旧记录和新记录，用分数差异表连起来。每行带上模型和脚手架、任务数据、评分器、价格、结束边界、模式及证据摘要。状态至少区分通过、失败、未评分、重放无效，并列出覆盖计数。仅在网页上加警示，下载出去的档案依然可能继续被拿来训练或引用。把更正清单跟数据一起分发，便于旧数据的使用者追溯。

图 9. 按论文第 5 节提出的检查自绘。固定证据可以支持多个版本的分数，逐任务差异和更正记录提供两者之间的对应。

我会把边界变成几个小的评测样例。同一末态走转人工与正常收尾，若规则同意评分，应取得一致结果。生成参考状态前后，实时动作流摘要应相同。一次响应的父子转记只收费一次，两次分别收费的重试应各计一次。删掉用户侧工具再读双控制轨迹，系统应报告无效重放。单测覆盖这些边界，比用一条普通成功轨迹证明全链路能出分更能暴露本文讨论的错误。

10. 复现要点与结论

若要把论文的结果拿来比较，先固定口径。HAL 的 13 点差距要用共享九模型、41 项任务和相同的原始档案，识别参考动作时还要覆盖列表中段。费用对比需要同一运行、同一价格和可追踪的用量覆盖。版本重评保留旧轨迹、重建模式、任务版本、评分器版本和逐局变化。附录 A 的银行保真对照是在 1.0.1 下 Claude Opus 4.5 重评为 0.2474，和官方 24.74% 相符。这一对照与 17 条提交的名次变化是不同层次的检查。

在复用这些档案前，我会核对原始披露、修订后的论文数字和榜单说明的时间。作者于 9 月 3 日提交三项 HAL 问题，维护者于 10 月 7 日在档案讨论里确认三项均能重现。作者于 11 月 2 日更新讨论，指出原先按末尾匹配遗漏了中段注入。第 3 节的覆盖率和分差应以论文 v1 及这个更正为准。公开确认增强了这三项现象的可信度；要引用具体数值，仍要明确是原始归档分数、作者重算结果，还是维护者标注的适用范围。

想引用的结果	首选核对位置	必须随数字保留的口径
Generalist 汇总补分	论文第 3.2 节、图 1	九个共享模型、41 项任务、补评前后
根 span 与归档用量差	论文第 3.1 节、附录 A	运行或榜单行、用量覆盖、相同计价
动作污染及重放一致率	论文第 3.3 节、附录 A	全航空档案或多动作参考解切片
版本更新后的名次	论文第 3.4 节、附录 A	共同有效文件或官方提交、版本和模式

本文笔记复算了论文的比例、前沿算例和灵敏度公式。论文及附录中的重放和维护者确认均为所引来源的报告。论文披露与产物入口及 HAL 档案公开讨论保存了案例与更正。HAL、$\tau$-bench和 $\tau^2$-bench说明了评测对象。Rollout Cards与智能体日志分析研究提供了相关的记录和分析方法。

下次看到一张智能体榜单，我会先核对获评局数、收费事件的归并规则，以及归档能否在声明的版本和模式下重放。航空案例表明，补齐评分事件足以改变对脚手架的判断。银行案例表明，一次合理并公开的规则更新也能重新排序。把这些条件和分数放在一起，才能分辨变的是智能体的行为、评价规则，还是生成分数的管线。