CAAS 阅读笔记|怎样让 LLM 智能体的一整批任务更早完成?

笔记日期 2026-11-15 UTC · 作者 Zhongzhu Zhou
所读论文 Reducing Batch Makespan for LLM Agent Workloads through Inference–Environment Coordination
论文作者 Wei Feng、Meiling Chen、Boxiao Chen、Lu Liu、Bin Zi、Libin Ye、Xingyu Lu、Lei Xu、Jun Zhou
arXiv 2611.16661v1 · 版本日期 2026-11-12 UTC

1. 一批任务为什么会等在最后几条轨迹上

设想晚上跑一批代码智能体评测。每题先读代码,再调用搜索或执行测试,拿到结果后决定下一步。报表要等最后一题结束。当大多数题已经做完,GPU 可能空着,最慢的那题还有后续工具调用。此时再提高单轮解码吞吐,对下一轮什么时候能发起帮助有限。另一种情形出现在批次前段。运行器为了保护外部服务,只让三个样本入场。三个样本都在等工具时,即使推理引擎能接下更多工作,也得等这三个样本中的一个恢复或退出。

这篇论文把推理服务和工具环境看成两个相互喂给对方工作的阶段。先用历史轨迹估算混合模型两个缓存池的配比,再用轨迹标签把后续轮次尽量发到保有缓存的副本,并在工作节点内提前处理有望复用的请求。运行器可以独立限制在场样本和正在运行的工具作业,最后由 CAAS(Chain-Advancing Action Scheduling)决定空出来的工具槽先交给谁。[1, §1、§3–4]

图 1. 批量任务在运行器、推理节点和外部环境之间流转(原论文图 1)。

图 1. 原图裁自 [1, Fig. 1]。样本在等待推理或工具时一直占一个样本槽。环境作业开始执行后才占环境槽。

作者的实跑对照给出 10.4%–65.0% 的平均批次完工时间降幅。这个区间汇总的是组合方案。MCP-Atlas 上,换成优化后的 FCFS 版本已经拿到了大部分绝对时间收益,再更换工具调度规则带来 3.1% 或 8.5% 的进一步降幅。读这个结果时,我想追的是每一段收益对应哪个比较,以及一次调度动作何时能真正影响批次末尾。

2. 前置知识

完工时间怎样由单个请求组成

用 aia_i 和 fif_i 表示任务 ii 的入场与终止时刻。在一条串行轨迹的第 kk 步,xi,kx_{i,k} 是实际推理时间,yi,ky_{i,k} 是实际环境服务时间,ui,ku_{i,k} 与 vi,kv_{i,k} 是两边的排队时间。没有环境操作的步骤可令对应的两项为零。从第一条任务入场的 t0t_0 起计时,有

fi−ai=∑k(ui,k+xi,k+vi,k+yi,k),T=max⁡ifi−t0.(1)\begin{aligned} f_i-a_i&=\sum_k(u_{i,k}+x_{i,k}+v_{i,k}+y_{i,k}),\\ T&=\max_i f_i-t_0 . \end{aligned} \tag{1}

从整批视角看,某任务还有一段入场前等待 ai−t0a_i-t_0。入场更早可以抵消它在引擎里变长的排队。TTFT 看单个请求多快收到首 token,TPOT 看后续输出的平均步速。两个指标与 TT 同时测量才知道代价落在哪里。比如把样本并发从 100 提到 250,可能让早期 GPU 工作更密集,却让每个短请求首 token 等得更久。只要最后完成的任务提前了,批次指标仍会改善。

多轮轨迹还带来释放约束。一次工具调用的结果回来以后,模型才知道下一步的输入。手里即使还有一张空闲 GPU,也无法用它提前跑那个未来请求。调度提前了一个工具作业,改变的是下一轮工作变为可执行的时钟。工具服务本身可以一秒也没省。后面会用一条四秒的算例把这一点画出来。

混合模型的两份缓存

含注意力层的模型把前缀的键值或潜在表示保存在 KV 池。带递归层的模型还要保存对应前缀的状态快照。把更新写成 st=F(st−1,zt)s_t=F(s_{t-1},z_t)。已知位置 pp 的正确快照 sps_p,就能用后缀 zp+1,…,zTz_{p+1},\ldots,z_T 接着算,前提是模型权重、输入前缀和位置语义都匹配。若可用快照落在更早的位置,缺的那段必须重算。保住一份 KV 缓存,并不能弥补同一前缀所需的递归状态已经被淘汰。

论文用 Ling-3.0-Flash 做受控回放。模型包含 KDA 与 MLA,回放的配置比例是 5:1,注意力侧缓存随着前缀增长,递归侧按槽分配。作者对一条不断追加内容的轨迹只保留最近一个可复用状态。这个做法遇到分支、回滚、上下文压缩或工具结果被回写时需要重新判断命中范围。轨迹标签可以指路,真正的复用仍要由前缀和缓存状态判定。

三种并发量

  • CSC_S 是在场的样本数上限。从入场到退出,一条样本一直占槽。
  • CEC_E 是同时执行的环境作业数上限。等待槽位的作业只占着所属样本的槽。
  • CI⋆C_I^\star 从推理节点的缓存容量推算,描述可同时让多少轨迹的两份状态留在缓存。它的量纲是样本。当前 API 请求数、GPU 的 decode 序列数和它各有各的计法。

另一个容易漏掉的条件是工具作业内的扇出。一个调度槽拿到手以后,作业若会自己并发调用多个 API,加上超时重试,单看 CEC_E 可能保护不了某个端点的配额。论文先把环境抽象成一组任意作业都能使用的非抢占槽,方便分析政策变化。

3. 先算缓存,再定入场规模

两个池在什么地方同时用满

扣除模型参数和运行时保留项后,设节点有 MM 的缓存预算。递归状态池预算 MsM_s,KV 池预算 MkM_k,定义比值 r=Ms/Mkr=M_s/M_k。把 Ms=rMkM_s=rM_k 代入总量约束,就得到 Mk=M/(1+r)M_k=M/(1+r)。设一条典型轨迹末轮需 LkL_k 个 KV 条目,每项 ckc_k 字节,递归侧需要 SsS_s 个状态槽,每槽 csc_s 字节。两份足迹 Fk=LkckF_k=L_kc_k 和 Fs=SscsF_s=S_sc_s 代入文中式 1–4:

Ck(r)=M(1+r)Fk,Cs(r)=Mr(1+r)Fs,C(r)=min⁡{Ck(r),Cs(r)}.(2)\begin{aligned} C_k(r)&=\frac{M}{(1+r)F_k},& C_s(r)&=\frac{Mr}{(1+r)F_s},\\ C(r)&=\min\{C_k(r),C_s(r)\}. \end{aligned} \tag{2}

随着 rr 变大,第一项一直降,第二项一直升。状态先耗尽时,把字节从 KV 侧挪过去有帮助,直到两池限制相等。再加状态预算就会牺牲 KV。把等式两边同乘 (1+r)/M(1+r)/M,再移项,得出

1Fk=rbalFs⟹rbal=FsFk,C(rbal)=MFk+Fs,CI⋆(r^)=W⌊C(r^)⌋.(3)\begin{aligned} \frac{1}{F_k}&=\frac{r_{\mathrm{bal}}}{F_s} &\Longrightarrow\quad r_{\mathrm{bal}}&=\frac{F_s}{F_k},\\ C(r_{\mathrm{bal}})&=\frac{M}{F_k+F_s}, &C_I^\star(\widehat r)&=W\left\lfloor C(\widehat r)\right\rfloor . \end{aligned} \tag{3}

第一行求的是连续模型的均衡比值。第二行把它代回任一池的容量式。最后一项用部署时选定的 r^\widehat r,按每副本向下取整再乘副本数 WW。如果两个副本各能容纳 10.9 条,参考值取 20。另一个副本零碎的空间无法直接拼到本副本。实际页分配和状态槽粒度还会让容量发生小幅跳变。

图 2. 连续模型下的两池容量与联合容量。

图 2. 根据 [1, Eq. 1–7] 自绘算例。44 GiB 缓存预算,典型轨迹占 2 GiB KV 与 0.2 GiB 状态,交点为比值 0.1、容量 20。

例如 r=0.05r=0.05 时,KV 池还有空间,按公式可支持 20.95 条,状态容量却只有 10.48。r=0.3r=0.3 时限制落到 KV,联合容量为 16.92。比值表示两池之比。比如 BFCL 的 2.26 表示递归状态侧约占总预算的 2.26/(1+2.26)=69.3%2.26/(1+2.26)=69.3\%。把它理解为 2.26% 会做出完全不同的配置。

这套估算适合拿来找运行起点。论文用每条轨迹最后一次推理的 KV 项数做均值,想近似单条的长期占用。若先把所有请求混在一起平均,长链条会以更多请求的次数进入样本,均值又会被轮数加权。即便使用轨迹均值,某一时刻的在场分布仍可能不同。例如进入频率相同的 60 秒和 10 秒轨迹,在时间截面上前者约是后者的六倍常见。短任务一批批退出时,剩余任务的前缀还在增长。

历史画像过期时,多少容量会丢

假定沿用历史均衡比值,真实 KV 足迹扩大为 sFksF_k,s≥1s\ge1。状态预算不变,KV 约束先碰线,所以旧方案的容量是旧均衡容量除以 ss。重新调配后,用新足迹代入式 (3)。把两个容量相除,

Cfixed(s)=Ms(Fk+Fs),Cfixed(s)Cnew(s)=sFk+Fss(Fk+Fs).(4)\begin{aligned} C_{\mathrm{fixed}}(s)&=\frac{M}{s(F_k+F_s)},\\ \frac{C_{\mathrm{fixed}}(s)}{C_{\mathrm{new}}(s)} &=\frac{sF_k+F_s}{s(F_k+F_s)}. \end{aligned} \tag{4}

图 2 的例子里 s=1.5s=1.5 时,新旧分别为 13.75 和 13.33。旧画像若继续让 20 条同时进场,损失比单纯保留旧比值更明显。若把任务换成状态足迹为 KV 两倍的短链,旧配比只剩新均衡容量的 77.8%。反过来,当上下文缩短,旧状态预算先碰线,空余的 KV 还可以留在那里,短任务吞吐潜力仍会受影响。这里算的是相同足迹,同时驻留的近似,没有纳入页面、分桶或存活时间。

可以让内存分配器在线借页,也可以把明显不同长度的样本放到不同 worker 组。借页减轻了画像漂移,但调拨与状态迁移带来复杂性。分组能隔离超长样本造成的挤占,发生分类错误或到达波动时,另一组的空闲容量却不一定用得上。论文的原选择是固定配比配合小范围校准,易于隔离因果,也符合反复执行相似批次的使用场景。

图 3. 附近的并发扫描与缓存失稳。

图 3. 按 [1, Fig. 3] 重绘 SWE 及 WideSearch 部分行。线只连接已完成点,SWE 的超时使用 6 小时上限单独标记。

SWE 的均衡点 r=0.09,CS=98r=0.09,C_S=98 为 131.9 分钟。扫描到 r=0.135,CS=147r=0.135,C_S=147 时走到 122.4 分钟,同一配比再把并发提到 157,回升到 236.6 分钟。WideSearch 在 r=0.15r=0.15 下从 123 加到 147,也由 82.43 回升到 139.90 分钟。原文图 4–5 对应转折区间里,SWE、BFCL、WideSearch 的新增预填充量约为原来的 11、3、9 倍。调上限时,接近这些陡坡意味着一个小小的误差就可能触发大量重算。

把斜率和粒度带回部署

相同的比值偏差在均衡点两边代价不同。以式 (2) 的连续模型为例,当 r<rbalr<r_{\mathrm{bal}},容量由状态侧决定,导数为 M/[Fs(1+r)2]M/[F_s(1+r)^2];当 r>rbalr>r_{\mathrm{bal}},容量由 KV 侧决定,导数为 −M/[Fk(1+r)2]-M/[F_k(1+r)^2]。做法是分别对 r/(1+r)r/(1+r) 和 1/(1+r)1/(1+r) 求导。两侧斜率绝对值之比为 Fk/FsF_k/F_s。若上下文类任务的 KV 足迹远大于状态,偏小的比值对容量的伤害更陡,偏大的比值损失较缓。图 2 中斜率之比就是 10。换成短轮工具任务,状态池可能更大,敏感性方向也会换。这个算式支持布局时用非对称的扫描范围,从而把测量预算放到敏感的一侧。

再考虑整数分配。令 KV 页的字节数为 PP,每条轨迹实际驻留的页数近似为 did_i,递归槽每槽 QQ 字节、每条需 sis_i 槽。给定一组正在考虑保留的轨迹 AA,两个池的必要条件是

P∑i∈Adi≤Mk,Q∑i∈Asi≤Ms.(5)P\sum_{i\in A}d_i\le M_k,\qquad Q\sum_{i\in A}s_i\le M_s . \tag{5}

如果每条前缀向上对齐到页,先对齐再求和通常高于把总条目相加后统一对齐。举个说明性例子,页大小 16 token,三条轨迹各占 17、18、31 token。实际要 6 页,简单按 66 token 算只会分 5 页。若跨轨迹共享前缀页,实际量又可能低于独立求和。式 (5) 对应独立页的近似预算,在树形共享或多 tier 场景应改为计算驻留页集合的并集。拿离散计数和续轮命中来校准,是把连续配比转成可用样本上限的一步。

进一步的问题是混合任务能否用同一比值。假如一组样本由短前缀函数调用和长代码修复组成,短任务退得早,尾段几乎只剩长上下文。全批平均可描述起始规划,但不一定描述峰值驻留。可以按活跃样本截面画「状态槽占用对 KV 页占用」的二维散点,再把候选比值映射成两条池上限线。落在界外的样本组合若同时对应预填充飙升,才有直接依据把容量模型往更保守的位置移。只记录单个高水位会丢掉两个池先后耗尽的顺序。

4. 网关决定去哪里,节点决定哪条先跑

算法 1. 有负载约束的一致性哈希

运行器为同一轨迹的各轮请求附上同一个标签。网关把标签哈希到环上,顺时针第一个节点是主副本。它维护各节点已有的推理请求数 L(w)L(w),既算排队也算运行。若所有后续请求都回主副本,最新的两份状态更可能在手边。但若一簇长轨迹落在同一节点,旁边还有空余 GPU 也帮不上忙。作者用原文式 (9) 的门槛判断何时外溢:

L(w)≤θ,θ=α(∑vL(v)+1)W,α≥1.(6)L(w)\le\theta,\qquad \theta=\frac{\alpha(\sum_vL(v)+1)}{W},\quad \alpha\ge1 . \tag{6}
1. Map the trajectory label to the worker ring.
2. Find the clockwise home worker.
3. Read current loads and compute the eligibility threshold.
4. Visit home, then clockwise successors at most once each.
5. Send the request to the first eligible worker.
6. If the scan fails, use the home worker.

式 (6) 分子中的 1 是本次正要路由的请求。左侧仍用候选节点的旧计数,所以通过检查后,节点计数可超过门槛。比如三个节点有 (8,1,2)(8,1,2) 个请求,α=1.25\alpha=1.25,门槛是 5。主副本已有 8 个,后面的 1 或 2 谁先在环上出现就交给谁。假定观察值是同一时刻的精确计数,至少一个节点不高于均值,因此原文保留的最后退路只在额外限制或读数不一致等实际条件下可能派上用场。

我对这个选择的理解是用便宜的排队信号换取大部分可达的亲和性。真实工作量与请求数之间有距离,一个 200k token 的冷前缀和一个只需补几百 token 的热请求在计数里各是 1。外溢还有时序代价。一次外溢后,最新快照可能在临时副本,下一轮却仍优先回旧家。用最近落点可以保住这次复用,但一串轨迹也可能被锁在热节点。用预填充欠账估算负载需要额外测量。比较这几种策略时,我会同时记录外溢次数、最新可用快照在哪里,以及因此重算了多少 token。

算法 2. 先按标签筛一轮,再按前缀排序

标签集合 AA 存的是最近被节点接纳进 batch 的轨迹,由 LRU 维护。每个等待请求第一次进入这一层时查 radix cache,记下命中的 token 数 ℓ(q)\ell(q)。以后在排队期间重复打分可用同一份记录。tqt_q 是排队时刻,键值按字典序从小到大:

p(q)={(0,−ℓ(q),tq),κ(q)∈A,(1,0,tq),κ(q)∉A.(7)p(q)= \begin{cases} (0,-\ell(q),t_q),&\kappa(q)\in A,\\ (1,0,t_q),&\kappa(q)\notin A. \end{cases} \tag{7}
1. Test each waiting request's label against the recent set.
2. If recent and unscored, query and record its cache hit.
3. Assign the two-tier key and sort the waiting queue.
4. Let the existing batch builder enforce worker limits.
5. Move admitted labels to the newest end of the set.
6. Trim to capacity and return the admitted batch.

每次组好 batch 才更新集合,等着的请求不能自己刷新标签。按正文语义应在把标签移到最新端后,保留最近 CAC_A 个。原文式子把截断写在追加之前,若按字面取最后 CAC_A 个再追加新标签,集合能长出一个元素。用 CA=2C_A=2、现有标签 A 和 B、即将追加 C 的小例子就可区分两种写法。本笔记的伪代码采用正文给出的容量语义。

图 4. 四条排队请求如何被 RP 重排。

图 4. 按 [1, Algorithm 2] 自绘。B 和 D 在最近集合中,D 的缓存前缀较长,于是排成 D、B、A、C。A 与 C 保持到达顺序。

标签簿和缓存池各自淘汰。缓存可能早已被淘汰,标签还在榜上,查到零命中仍能排进第一层。另一种情况是打分以后才淘汰,记录的命中长度高估了执行时真正能复用的量。标签先过期时则反过来,节点还有缓存,却失去抢先复用的机会。RP 用每次查找的实时性换掉重复匹配成本。它还要给每个等待请求赋键、重排整个队列,成本会随排队规模增加。

原文表 1 给出整个批次累计排序打分时间。SWE 在并发 289 时,LPM、DFS-weight、RP 分别是 735.00、1704.25、303.05 秒。BFCL 在 1950 时是 7.65、172.15、10.91 秒。BFCL 下 LPM 经常触发等待队列 128 条的门槛,回到 FCFS,累计打分开销较少,批次耗时 34.0 分钟,仍高于 RP 的 19.8 分钟。低压时各策略差距小,队列长且缓存紧张时,加速作用才明显。把打分时间从整批时长里直接相减也不稳妥,CPU 调度与 GPU 执行可以重叠,排序变化又会影响后续预填充工作量。

图 5. 两节点路由回放中的批次耗时、缓存命中与计数不均衡。

图 5. 根据 [1, Fig. 8–10] 重绘。三种路由共用两个 TP4 节点与 RP,SWE 耗时改善时命中比例略降。

分开看缓存和负载更容易解释图 5。原文的 β\beta 对同时有至少两个推理请求的时段计量,γ\gamma 对全批输出 token 求差,DwD_w 表示节点 ww 生成的 token 数:

J={t:N1(t)+N2(t)>1},β=1∣J∣∫J∣N1(t)−N2(t)∣N1(t)+N2(t) dt,γ=∣D1−D2∣D1+D2.(8)\begin{aligned} J&=\{t:N_1(t)+N_2(t)>1\},\\ \beta&=\frac{1}{|J|}\int_J \frac{|N_1(t)-N_2(t)|}{N_1(t)+N_2(t)}\,dt,\\ \gamma&=\frac{|D_1-D_2|}{D_1+D_2}. \end{aligned} \tag{8}

例如两段各 10 秒,计数分别是 (4,2)(4,2)、(2,2)(2,2),瞬时偏斜分别 1/31/3 和零,平均就是 1/61/6。最后只留一条在节点 1 时,时间不会计入 JJ。这样可减弱单条任务对路由诊断的偏置,但末尾的等待仍会影响完工时间。SWE 回放由 CA 换 LBCH,β\beta 从 57.8% 降到 19.9%,用时从 84.1 降到 72.7 分钟,命中率从 98.7% 变为 98.4%。到了 Ling-3.1 的实跑 WideSearch,优化后的计数偏斜反从 8.8% 升至 17.6%,完工仍从 459.9 降至 359.1 分钟。回放隔离的是路由;线上组合还改了入场与缓存。用同一指标解释两种对照容易得出相反结论。

5. 把工具槽和样本槽分开

在使用单一闸门的基线下,CSC_S 必须同时符合推理与工具容量。作者将两个默认值写成

CSunified=min⁡(CI⋆,CE),CSdecoupled=CI⋆.(9)\begin{aligned} C_S^{\mathrm{unified}}&=\min(C_I^\star,C_E),\\ C_S^{\mathrm{decoupled}}&=C_I^\star . \end{aligned} \tag{9}

第二种仍用 CEC_E 限制正在跑的工具作业。于是更多样本可以同时处于推理、等工具或跑工具三种状态,某些轨迹在等工具时,另一些轨迹能在 GPU 上做事。假设每轮串行经过一处推理槽和一处工具槽,平均服务时间是 μI\mu_I、μE\mu_E,推理侧共有 mIm_I 个等价槽。用两边单位时间所能给出的服务量作上界,再用样本每轮至少占用 μI+μE\mu_I+\mu_E 的时间作上界:

X≤min⁡{mIμI,CEμE,CSμI+μE}.(10)X\le\min\left\{\frac{m_I}{\mu_I}, \frac{C_E}{\mu_E},\frac{C_S}{\mu_I+\mu_E}\right\}. \tag{10}

这是说明性的稳态模型。取 mI=12m_I=12、CE=3C_E=3、μI=2\mu_I=2 秒、μE=6\mu_E=6 秒。当 CS=3C_S=3 时,样本约束给出 0.375 轮每秒,低于工具上限 0.5。提到 10 个在场样本后,工具上限可能先卡住。真实引擎会连续批处理,轨迹轮间又有不同工作量,式 (10) 用来解释为何加样本开始有用,随后收益迅速收敛。

图 6. 固定工具执行容量时,增加在场样本的效果(原论文图 11)。

图 6. 原图裁自 [1, Fig. 11]。两面板各自固定 CEC_E,第一点使用统一闸门。其余点仍用 FCFS。

MCP-Atlas 回放中把样本槽从 3 或 5 提到 10,时间约缩短三分之一。从 25 再加到 50,在飞请求数几乎不变。工具槽等于用来释放推理请求的阀门。增加的样本排在工具前面,就没有太多新工作送到 GPU。容量分离仍有意义,但下一步要看哪些等待作业的完成能串起还有好几步的任务。

在飞量的一个恒等式

实验把平均在飞请求数作为推理是否吃到更多工作的诊断。设第 jj 次调用在批次计时窗内的发起与结束分别为 ℓj\ell_j、rjr_j。把每个调用的区间“是否覆盖此刻”相加得到在飞数量,交换求和与积分,有

N‾=1T∫0TN(t) dt=∑j(rj−ℓj)T.(11)\overline N=\frac{1}{T}\int_0^T N(t)\,dt =\frac{\sum_j(r_j-\ell_j)}{T}. \tag{11}

这里假定调用区间已裁到 [0,T][0,T]。恒等式分子累计的是调用滞留秒数,既可能来自计算,也可能来自客户端等待或服务队列。假设 100 秒内完成 100 次请求,每次发起至结束均耗 2 秒,平均在飞等于 2。把等候拉长到 4 秒,完成数和窗口都没变,在飞读数也能变成 4。要把图 6 的上升解析成 GPU 喂饱,需要结合完工时间、单次请求延迟、运行队列长度或实际忙碌 GPU 的数据;成套看才能区别增加的工作供给和单纯堆高的等待。

作者的 MCP-Atlas 实跑也留下一个好对照。Ling-3.1 从 Opt-FCFS 变成 Opt-CAAS 后,平均在飞从 12.5 到 11.5,完工却由 140.5 分钟缩到 128.5。按式 (11) 把均值相乘可以粗读单次运行的调用秒数,但表 3 的 TT 与 N‾\overline N 是分别对三轮求均值,乘积一般不等于三轮调用秒数的均值。还要保存每轮原始总调用数才能区分调用少了、排队短了,或工作重叠形态变了。这里能确认的是优化配置在两项汇总指标上同时下降。

算法 3. CAAS 如何挑下一条工具作业

令 aja_j 为作业请求环境槽的时刻,njn_j 为它所属轨迹已经完成的推理轮数,包含刚生成这条作业的那轮。τj,m\tau_{j,m} 是第 mm 轮观测到的推理时间。入队时冻结如下的排序键:

gj=⌊aj/B⌋,τˉj=1nj∑m=1njτj,m,cj=⌈τˉj/ΔI⌉,pE(j)=(gj,−nj,cj,ej).(12)\begin{aligned} g_j&=\left\lfloor a_j/B\right\rfloor,& \bar{\tau}_j&=\frac{1}{n_j}\sum_{m=1}^{n_j}\tau_{j,m},\\ c_j&=\left\lceil\bar{\tau}_j/\Delta_I\right\rceil,& p_E(j)&=(g_j,-n_j,c_j,e_j). \end{aligned} \tag{12}
1. On job arrival, record its timestamp and completed turn count.
2. Bucket the mean observed inference time.
3. Build the fixed key with the arrival band and entry sequence.
4. Insert the job in the pending queue.
5. On a free slot, start the job with the smallest key.
6. On completion, release its next turn or finish the trajectory.

第一项把早到的时间带放在前面。同一带内,优先推进已看到较深的一条链。若深度相同,用推理均时较短的离散桶优先,再按全局序号 eje_j 打破平局。平均值可以增量更新,队列可以用堆。参数 B=30B=30 秒时,两条作业分别在 29.9 和 30.1 秒入队,即使只差 0.2 秒也互不越带。同一个带内却可能越过等待将近 30 秒的另一条。这个设计能防止新带一直插队。总等待是否有限仍取决于服务时间、到达过程与重试。桶宽 ΔI=1\Delta_I=1 秒则把精确秒数估计变成低灵敏度的同层排序信号。

图 7. 示例中,把长链工具调用提前,能让后续推理与短作业重叠。

图 7. 原创示意。一个环境槽在第 4 秒释放,两条作业属于同一到达带。FCFS 到第 22 秒完成,CAAS 到第 18 秒完成。

浅轨迹 S 先来,深轨迹 D 后到。两条工具作业都需要 4 秒。FCFS 让 S 先跑,D 在第 12 秒拿到结果,推理到第 18 秒,再占工具 4 秒。CAAS 让 D 在第 8 秒就开始推理,S 在第 8–12 秒同时用工具。D 再到第 14 秒拿槽,第 18 秒收尾。三个实际工具操作始终一共 12 秒。换个条件,让 S 的工具结束后还有一段很长的推理,优先推 D 也可能刚好推迟最后的完工时间。论文的深度是已观测进度,未来链还有多长,仍要根据工作负载来判断。

6. 受控回放能回答什么

图 8. 回放保留了真实推理,把工具返回改成按轨迹记录回填(原论文图 2)。

图 8. 原图裁自 [1, Fig. 2]。回放使用相同的目标生成长度、工具服务时长和记录结果。模型仍然在测量环境中实际生成 token。

回放器固定历史轨迹的阶段依赖。首轮带上原始用户消息;后来每轮带上这次回放已经生成的回复,以及此前按时钟释放的历史环境结果。到了工具阶段,作业照样排槽,但实际服务用一段记录时长替代。请求完成后固定的工具文本回填给下一轮。即使刚生成的工具名称和参数与历史动作不同,回放仍照着记录走。于是可以用同一批需求比较缓存、排队和调度,任务正确率则要等实跑来测。

附录 A.1 的推理侧回放有 SWE 289 条轨迹和 25,416 次请求、BFCL 5,106 条和 17,029 次、WideSearch 200 条和 5,672 次。相除分别约 87.9、3.34、28.36 轮。SWE 只挑历史成功样本,轮数分布和一次包含超时、重试及错误的评测可能不同。协调回放用 495 条历史成功的 MCP-Atlas 轨迹。它检验自同一条依赖图出发,策略能否推动其较早结束。其中工具时间固定,服务端高峰时的限流或重试传播并不会随新调度而改变。

要问的问题回放里固定什么改动项
配比和样本槽怎样配合单 TP4 副本、FCFS两参数联合扫描
节点里先处理谁单副本、均衡缓存比FCFS、LPM、DFS-weight、RP
多节点怎样分流两副本、RP、配比与入场CA、CH、LBCH
允许更多样本入场有何用工具容量不变、仍用 FCFS统一闸门与分离闸门
推进深链是否加快收尾样本槽 50、环境槽固定工具侧 FCFS 或 CAAS

最后一组里,环境容量为 3 和 5 时,CAAS 把批次完工时间减少 1.9% 和 3.5%,最后 5% 的区段则分别缩短 19.0% 和 21.4%。两条 CAAS 曲线更晚到达 95%,但更早到达 100%。这种现象说明批次收益可以来自牺牲部分较短任务的排序地位。若目标是让 95% 尽快拿到结果,优先级可能要重新设计。

实跑 SWE 给了一个更有用的并发对照

用相同硬件与任务设置,Ling-3.0 配两个 TP4 副本与八张 H20,Ling-3.1 配两个 TP8 副本与十六张 H20。SWE 有三列数据。Baseline-1 是保留旧缓存和调度条件之后,已调过的较低并发。Baseline-2 把并发提到与 Opt 相同,其余旧策略继续用。Opt 在这一高并发点联合改缓存分配、节点调度和路由。这里的两个模型套餐之间不宜直接做硬件效率比较,下面只读同一模型块内的差异。

图 9. 实跑 SWE 的整批用时、重做预填充与单请求首 token 延迟。

图 9. 根据 [1, Table A3] 重绘。每块里的 Baseline-2 和 Opt 并发相同,且 Baseline-1 的 TTFT 均最低。

Ling-3.0 从 100 加到 250,旧策略的未缓存预填充量从 22.2M 跳到 170.90M,整批从 166.9 分钟变为 197.7。保留 250,用组合改动后,这两个数降成 18.98M 和 149.5 分钟。Ling-3.1 从 50 加到 100 时发生同类变化,旧策略下未命中预填充达 211.81M,优化后只有 17.93M。按附录数据直接除回去,等并发下预填充量分别减少 88.9% 和 91.5%。这是支持「多放样本要有缓存托底」的最直观证据。表 2 已给输入总量和命中均值,但二者分别取均值、再四舍五入,直接乘起来只能粗估平均未缓存量;我们这里用了表 A3 的直接计数。

若从单个请求看,Ling-3.0 的三个 TTFT 平均值是 2.90、10.08、7.57 秒,Ling-3.1 是 2.54、11.81、5.88 秒。Opt 相比等并发基线更快,离低并发基线还有距离。作者在附录 A.3 也列了 TPOT,方向相同。给交互用户部署时,得看短请求是否在峰值时刻被长前缀延误,再把 SLO 作为调参约束。批量评测更关心块头最大的几个任务何时收尾。

MCP-Atlas 三个比较对应不同收益

图 10. 实跑 MCP-Atlas 的完工时间及最后 5% 所占区段。

图 10. 根据 [1, Table 3] 重绘。浅色区段按批次完工时间减去最后 5% 时长获得,深色表示最后 5% 本身。

两代模型的 MCP-Atlas 实跑都使用三个工具槽。统一闸门也只允许三个样本,Opt-FCFS 和 Opt-CAAS 都允许 50 个。原文表 3 用三次 500 题实跑取平均,重试与最终失败也计入完工时间。把三个配置顺着看,Ling-3.0 平均耗时为 466.1、168.2、163.0 分钟,Ling-3.1 为 333.5、140.5、128.5 分钟。第一步包含推理优化和分离工具并发;第二步只改工具作业优先级。Ling-3.0 的第一步节省 297.9 分钟,第二步节省 5.2,分别占全程绝对缩短时间的 98.3% 和 1.7%。Ling-3.1 对应 193.0 和 12.0 分钟,也以第一步为主。

尾部时长需要按同一个起点读。令 tqt_q 为首次完成至少 q%q\% 的任务时刻。作者测的是

L5=t100−t95,t95=T−L5.(13)L_5=t_{100}-t_{95},\qquad t_{95}=T-L_5 . \tag{13}

同一实验的平均完工时间减平均尾长,可复算平均 t95t_{95}。Ling-3.0 三种配置是 427.2、100.6、97.0 分钟;Ling-3.1 是 307.4、90.7、93.2 分钟。在后一组中,CAAS 比 Opt-FCFS 晚 2.5 分钟达 95%,最后一段省了 14.5 分钟,净赢 12 分钟。两代模型的 Opt-CAAS 从 95% 到 100% 又都比原始基线长。更早放进短任务,它们可以先完成,长任务在批次末尾所占比重变大。原文也按任务 ID 对照,发现 Opt-CAAS 的最后 25 个任务在基线里也更容易有较长轨迹。仅看「尾部持续了几分钟」会丢失时间轴起点和任务构成,图 10 把两项放回同一条轴。

7. 局限

受控回放的优点在于可把需求按住。真实工具可能在一波请求后给出 429,几个相关任务一起重试。调度本身改变了这些事件发生的机会,固定时长的回放没有这一反馈。SWE 与 MCP-Atlas 只挑历史成功轨迹,丢掉了一部分可能极慢的失败样本。实跑保留所有任务,补上了最后阶段的外部效度,但各次工具返回和生成的内容不完全一样。读因果时,固定迹线和真实语义要互相补充。

实验覆盖两种 Ling 混合模型和一套 GPU 系列。模型层类型比例、状态精度、缓存池层级、每条轨迹的上下文长度或环境资源的共享方式一变,几组调参点都可能移动。论文没有报告各对照的配对置信区间,也没有给出保质的非劣判定边界。例如 Ling-3.0 的 Opt-FCFS 与 Opt-CAAS 评分为 66.6 和 65.6。均分相近是有益观察,还需看这 1 分来自哪些题、重复运行的波动多大。真实并行工具或多代理的任务图还可能在同一轨迹中有多个后续分支,当前的串行释放假设会改变。

8. 批判性分析

深度观测值要和剩余工作量连起来

CAAS 把已完成轮数作为未来长短的线索。我更想知道这条统计关系在哪个区间成立。给离散总轮数 NN,当任务已经走到 nn 轮,余下轮数的条件期望可以展开:

E[N−n∣N≥n]=∑k=1∞Pr⁡(N−n≥k∣N≥n)=∑k=1∞Pr⁡(N≥n+k)Pr⁡(N≥n).(14)\begin{aligned} \mathbb E[N-n\mid N\ge n] &=\sum_{k=1}^{\infty}\Pr(N-n\ge k\mid N\ge n)\\ &=\sum_{k=1}^{\infty}\frac{\Pr(N\ge n+k)}{\Pr(N\ge n)}. \end{aligned} \tag{14}

第一步把整数余量拆成各门槛的指示变量,第二步用「至少 n+kn+k 轮自然也至少 nn 轮」。若停止是几何分布,条件尾部与 nn 无关,深度没有预测力。考虑一个混合例子,80% 的题两轮,20% 十二轮。第 1 轮余量平均为 0.8(1)+0.2(11)=30.8(1)+0.2(11)=3。能到第 3 轮的全是长题,余量变成 9;已经到第 11 轮,余量又降成 1。CAAS 可以在前段识别出幸存下来的长类,快到终点时按深度递增给优先级却会高估它。

可以按工具类型、重试标记、任务源和当前深度分层,对剩余轮数、再释放一个推理请求的概率以及剩余服务时间画条件分布。拿同一批任务比较 FCFS、窄时间带和宽时间带、深度优先和带等待时间上限的剩余工作估计。若深度只能预测轮数,不能预测繁忙工具的耗时,就要用端到端剩余服务量定义对照。一个长链可能全是短检索,一个浅链也可能要等几分钟的独占构建。

让优先规则在同一小图上失败一次

沿用图 7 的所有到达时刻和环境时长,只改浅轨迹 S。让它拿到工具结果后还需 20 秒推理,并假设推理槽足够,不和 D 相互等待。FCFS 仍让 S 在第 8 秒拿结果,最后到第 28 秒;D 在第 22 秒完成。CAAS 则让 S 到第 12 秒才开始最后推理,于第 32 秒完成;D 还是第 18 秒结束。批次从 28 秒变成 32 秒,预测失误造成了相反结局。这个反例允许改变后继计算,不需要增加环境服务预算或改变两条作业深度。它说明用已完成的轮数切换优先级,真正赌的是谁手里还握着关键路径。

对于单工种非抢占工具,时间带的宽度控制允许多少旧队列内部被重排。如果同一带有 KK 条已知作业等待,单条工具服务时间都有已知上界 bb,在单槽、无其它优先规则打断的简化条件下,同带重排引入的额外等待至多约为其余 K−1K-1 条的服务上界和。可超越的时间戳跨度为 BB,等待的量纲仍由服务时间和队列长度共同决定。真实数据中慢调用时间无稳定上界,工具重试也会形成同带或跨带的多次排队。若对用户暴露每题进度,除了监控完成尾部,我会量同带内等待增长最大的那一类样本,查看规则是否天然偏向有较多短轮的任务。

用工作量下界定位真正的瓶颈

给 CEC_E 个等价工具槽、整个批次工具总服务秒数 HEH_E,它们即使无缝填满也要 HE/CEH_E/C_E 秒。设 PiP_i 为轨迹 ii 的串行服务时间和,忽略排队、同时也忽略该任务迟迟入不了场所花的时间,那么

T≥max⁡{HECE, max⁡iPi}.(15)T\ge\max\left\{\frac{H_E}{C_E},\,\max_i P_i\right\}. \tag{15}

第一项来自把工具服务量平均摊到所有槽,第二项来自串行依赖不能并行执行。用图 7 的算例,时钟从 0 秒起,一开始在执行的占位作业也占 4 秒,因此工具总量 16 秒。D 从其工具可排队开始,自身串行服务至少 4+6+4=144+6+4=14 秒。两项分别约束资源总量和单轨迹。CAAS 的 18 秒更靠近 16 秒,FCFS 的 22 秒距下界更远。实际还有依赖释放和入场等约束,因为并不是每一秒都有可派发的下一单。若工具分为有独立配额的端点,则对每类各算一次工作量界再取最大。统一工具池的容量低估了热点端点排队的影响。

我会在回放增加相关的网络波动和重试突发,而不是给每条调用分别加独立噪声。共享上游会让一组轨迹同时卡住。针对同一组任务,要比较开始、半数完成、95% 完成和全部结束的绝对时间,还可以跟踪相同 ID 的个体完工量。分析工具等待和任务失败时,使用配对批次重复或按共享事件阻塞抽样,避免把同一轮限流里几十条调用当作独立证据。调度收益如果来自更快地把题跑失败,应在按状态分解中可见。

如果推理底座已经用了 FlashStates,哪些机制可以省掉?

我会先省掉第 3 节的预设配比和配比扫描。FlashStates [6] 让 attention KV 和递归检查点从同一张 GPU 的缓存预算分配。式 (3) 的两类足迹之和仍可用来粗估驻留量。实际能放进多少样本,还要看在飞请求占用、共享 KV,以及加并发后要淘汰多少有用的混合状态。样本入场上限仍需实测。

节点内的 RP 值得先试着拿掉。如果 FlashStates 的淘汰策略已经能让完整混合状态留到下一轮返回,靠插队赶在状态被淘汰前复用的收益可能会缩小。不过先跑热请求也会改变组 batch 与首 token 延迟,余下价值需要实测。多 worker 的路由是另一层问题。一个节点的缓存预算可以共享,轨迹换到另一个节点时仍可能丢掉亲和性。若副本之间的负载失衡明显,LBCH 仍有用武之地。

工具侧我会先保留独立的样本入场上限与工具并发上限,派发用 FCFS。缓存做得更好,前缀重算会少,工具作业到达的时序也会变。外部配额和长链的串行依赖仍在。只有当工具队列仍然拥堵、长链继续拖住最后完工时间时,才值得加 CAAS 的深度优先。原文表 3 量的是原有推理栈上的增量,FlashStates 上能省多少,现有两篇论文没有直接测量。

要知道剩多少复杂度值得留,我会固定模型、硬件、总缓存预算、任务和到达顺序,以及工具并发。先跑 FlashStates 加独立闸门,再分别测试单加 RP、单加 CAAS、两者一起加。多副本场景单测路由。第一轮固定样本并发以隔离机制,第二轮分别找各方案的入场上限。一起看未缓存预填充、工具排队、95% 完成时刻和整批完工时间,就能判断共享预算解决之后,剩下的时间花在哪里。

固定画像之外,还要观察在场压力

SWE 并发扫到缓存边缘,状态压力改变下轮工作量,工作量又改变在场时间。静态比值能告诉我们不可长期维持什么,到了陡坡附近可以观察单位时间新预填充 token、最近轨迹命中、等工具的样本比例和在场上下文分位数。降低 CSC_S 虽会让一部分任务晚入场,却可能减少驱逐带来的反复重算。若控制器刚看到排队缩短就立刻加样本,容易在两端振荡,设置迟滞或最短观察间隔才有可测的动态行为。

路由、节点和工具可以首先分开诊断。对网关记外溢时的可用快照时间差,估计「为了负载均衡额外做了多少预填充」。对 RP 记前缀命中在排队期间失效的比例,分别试启动前有界重查、基于缓存代际失效,或者低优先层按等待年龄提升。对工具层记录每个端点的排队时钟和重试传播。这样即便最终还是用固定阈值,也能知道下一次异常来自热点工具、缓存压力还是工作量偏置。

9. 复现时保留哪些量

用原文附录 A 对应配置做配对。推理回放用思考模式的 Ling-3.0,单副本 TP4。网关对照是双副本,SWE、BFCL、WideSearch 的 (r,CS)(r,C_S) 分别为 (0.09,196)(0.09,196)、(2.26,2000)(2.26,2000)、(0.10,200)(0.10,200)。受限工具回放用 r=0.14r=0.14、双 TP4、CS=50C_S=50 对照 FCFS 和 CAAS,工具槽各在 3、5 做一组。实跑两种模型的 MCP-Atlas 都是环境槽 3,优化配置样本槽 50,缓存比分别 0.14 与 0.34。时间带 30 秒,推理耗时桶 1 秒。保持任务集、生成设置、硬件和服务上游条件尽可能配对。SWE 图 3 的超时线为 6 小时,图 6 的特定对照超时时限是 13 小时,不应混用。

最小日志需要样本入场和终止、每轮推理请求起止、每次工具入队与服务起止、最终状态和重试类别。若要区分工具执行与排队,不应只记录完整 API 调用从发起到回来的总耗时。让回放在同一状态下释放相同后继,验证一条串行轨迹同时仅有一个待办环境阶段。对推理还应保存输入总量、实际预填充量和抽样的命中数据。公开汇报时把超时当成删失,保留失败题和失败时间。在本笔记中,算过容量交点、顺序样例、表 3 隐含分位数、表 A3 部分比值,训练和服务测量均引用原文。

10. 结论

这篇工作把智能体批量运行的两类延迟连在了一起。先用缓存容量和轨迹视角保护本来可复用的工作,再靠独立样本上限让推理与外部调用有机会重叠。到了工具侧,CAAS 用已出现的依赖线索提前推进可能决定完工的轨迹。最有说服力的证据来自等并发的 SWE 与固定其他条件的工具侧对照。历史画像能给出一个可解释的起点,最终还要读时钟、看状态驻留,并同时核查批次和单请求体验。

参考资料

  1. Feng 等。论文 arXiv 2611.16661v1,网页全文,论文 PDF。本文图 1、6、8 裁自 CC BY 4.0 论文,图 3、5、9、10 按原数据重绘。
  2. Mirrokni、Thorup 与 Zadimoghaddam。Consistent Hashing with Bounded Loads。
  3. Zheng 等。SGLang。Pan 等。Marconi。
  4. Bandi 等。MCP-Atlas。Khandpur 等。SWE-bench Multilingual。
  5. Ling Team。Ling-3.0-Flash 与 Ling-3.1-Flash 模型卡。
  6. Li、Xu、Zhang、Wang、Zhou、Xu。FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference。