论文阅读笔记|语言模型后训练中的谱秩与步进方向

笔记日期 2026-11-14
作者 Zhongzhu Zhou
所读论文 Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training
论文作者 Khurram Khalil、Khaza Anuarul Hoque
arXiv 2611.11752
版本与日期 v1,2026-11-09

从两个反差读起

同一张 OLMo-2-7B 的 PPO 查询投影更新矩阵,稳定秩为 9.58,保留 80% 的平方能量却要 532 个奇异分量。两数都来自同一次完整 SVD。再看论文的训练轨迹,九段公开 RLVR 共 131 对相邻位移,余弦全为负。作者自己做的对照里,把组相对优势换成学习型 critic 加 GAE,晚期平均余弦则由约 +0.259 降到 +0.012。公开模型的负号、对照实验中靠近零的正均值,两者可以同时成立,因为模型、训练配方和统计窗口都各有范围。

读这篇论文,我会先写下每个数字对应的对象。端点谱在一个权重矩阵上测量,反映更新量在奇异方向上如何分配。相邻余弦在全部参数上测量,需要一串有顺序的检查点。对照实验还多了一层问题:固定提示词流、优化日程和响应条数后,改变优势系统,三个种子对的余弦均值会怎样移动。下面把这三部分接起来,也把各自的适用边界留在读数旁边。

端点谱、检查点位移与配对干预分别需要的输入。

图 1。按论文第 2–4 节自绘。第一条线测矩阵,第二条线测完整参数向量,第三条线用种子配对比较训练配置。

原文 19 页,主文第 1–6 节,附录 A–G 依次给出证明、训练协议与健康检查、暴露量、检查点清单与时间相关、SVD 核对、早稿更正以及跨模型 SFT。我用自己的公式编号,引用时点出原论文图表。文中的有限和、矩阵和向量算例是阅读时做的运算,训练与评测数据来自论文。

前置知识

相减前先选对训练起点

对同名权重矩阵 WW,端点更新写成 Δ=Wend−Wstart\Delta=W_{\mathrm{end}}-W_{\mathrm{start}}。两端必须能按张量名、尺寸、方向和相同的参数坐标一一对齐。实际模型可能把输入词嵌入与输出头共享起来,计算全参数范数时共享参数只能计一次。论文在轨迹里计入一维归一化参数,矩阵谱的清单则只收二维矩阵。对矩阵转置会交换左右奇异向量,奇异值保持不变,所以比较谱和比较左奇异子空间时,对存储方向的要求不同。

公开 OLMo-2-7B 的训练阶段依次经历 SFT、DPO、RLVR。SFT 从给定对话学习下一个 token,DPO 从偏好数据学习,RLVR 则边采样边用可验证奖励训练。把三段末端分别记为 WS,WD,WRW_S,W_D,W_R。如果把 RLVR 末端减去 SFT,展开式为

WR−WS=(WR−WD)+(WD−WS).(1)W_R-W_S=(W_R-W_D)+(W_D-W_S). \tag{1}

右边第二项就是被混进来的 DPO 更新。矩阵可以这么相加,奇异谱却还要看两项的方向关系。同一方向上可能强化或抵消,在不同的奇异子空间里可能各自留下能量。所以论文附录 F 撤销了先前用错参考点时得到的 PPO MLP 稳定秩约 37 的说法。现稿 Table 2 把 PPO 末端减去紧邻的 DPO,把作者自训 SFT 末端减去对应 base,两者都按各自的训练边界取差。

相同参考点在两个固定内部检查点之间会消去。若内部的两个末端写成 Wj−W0W_j-W_0 与 Wj−1−W0W_{j-1}-W_0,它们的差仍是 Wj−Wj−1W_j-W_{j-1}。首段位移例外,因为首段的左端点就是起点。这里还有数值细节:若先把两个小差分别舍入成低精度,再互减,共同参考一般无法精确消去。论文的全坐标轨迹口径先扩大精度再求位移。

训练信号如何变成检查点位移

论文的跨模型 SFT 对比用全 token 的监督掩码,也就是说有前序 token 的非 padding 位置都参与损失,提示词也在内。只监督回答会改掉梯度的权重分配。固定每步 64 个样本,也只是固定例数,不同 tokenizer 和序列长度会带来不同的有效 token 数。再加上 AdamW 的历史状态、预条件、精度和学习率,保存的检查点位移已经是许多次有状态更新的合量。

RLVR 的一步首先由当前策略采样,再给结果打分。策略更新里的优势把奖励与某个基线比较。PPO 的裁剪作用在新旧策略对同一个动作的概率比上。正优势的一侧达到上阈值后,再提高概率比不再增加裁剪项的收益。负优势的一侧则在下阈值饱和。一个 rollout 多轮重用后,梯度还受到概率比变化和参考策略 KL 项的共同作用。本文的本地两组共享这种 actor 目标,具体差异放在优势计算里。

组相对方案对同一提示词的八条结果按组均值与总体标准差标准化,把一条回答的结果优势填到它的每个有效 token。举个说明性算例,八条二值奖励恰好一条为 1,其余为 0,均值 1/81/8,标准差 7/8\sqrt{7}/8。忽略稳定常数,成功样本的优势为 7\sqrt{7},每个失败样本为 −1/7-1/\sqrt{7}。八个响应层面的优势加起来为零。由于 actor 对保留 token 加权求平均,如果响应长度不同,所有 token 的优势加总仍可能偏向某一方。正文的真实协议还对缺失 EOS 的响应设置惩罚。

critic 方案给每个 token 状态预测价值。把终止 token 称为 TT,其后自举值为零。奖励 rjr_j 只在终点发放,价值记为 VV。先做时序差分,再累积后续差分:

δj=rj+γV(sj+1)−V(sj),Aj=∑ℓ=0T−j(γλ)ℓδj+ℓ=δj+γλAj+1,AT+1=0.(2)\begin{aligned} \delta_j &= r_j+\gamma V(s_{j+1})-V(s_j),\\ A_j &= \sum_{\ell=0}^{T-j}(\gamma\lambda)^\ell\delta_{j+\ell} =\delta_j+\gamma\lambda A_{j+1},\qquad A_{T+1}=0 . \end{aligned} \tag{2}

递推式来自单独拿出 ℓ=0\ell=0 项,余项统一乘出 γλ\gamma\lambda。取 λ=1\lambda=1 时,中间的价值项两两抵消,得到折扣回报减起始价值。论文用 γ=1,λ=0.95\gamma=1,\lambda=0.95,较远的残差权重较低。若 critic 恰好处处为零,终点奖励为 1,那么终点前十步的原始优势约为 0.9510=0.5990.95^{10}=0.599。实际 critic 会另外学习,作者还对 rollout 内所有有效响应 token 的优势做白化,critic 的目标则用未白化的回报。比较这两组时,建议同时记住信用分配粒度、归一化样本范围和是否拟合价值三个变化。

三种秩如何对同一矩阵提问

令 Δ=UΣV⊤\Delta=U\Sigma V^\top,奇异值降序排列。不同奇异方向对应的外积在 Frobenius 内积下正交,平方和就是总能量 F2F^2。谱范数是最大奇异值,因为沿第一右奇异向量拉伸最多。代数秩数有多少非零奇异值,稳定秩用最大的单项能量去量整个矩阵,能量阈值秩则查前多少项累计够用。

F2=∑iσi2,rs=F2σ12,Ek=∑i=1kσi2F2,kτ=min⁡{k:Ek≥τ}.(3)F^2=\sum_i\sigma_i^2,\quad r_{\mathrm{s}}=\frac{F^2}{\sigma_1^2},\quad E_k=\frac{\sum_{i=1}^k\sigma_i^2}{F^2},\quad k_\tau=\min\{k:E_k\geq\tau\}. \tag{3}

前 kk 项每一项最多为 σ12\sigma_1^2,所以 Ek≤k/rsE_k\leq k/r_{\mathrm{s}}。若希望 Ek≥τE_k\geq\tau,必要条件为 k≥τrsk\geq\tau r_{\mathrm{s}}。代入 PPO 的 9.58 和 80%,只能排除 8 以下的秩。实测的预算是 532。这也是读公式时最实用的一处:下界很容易算,拿下界当预算却没有保证。第一项占比刚好是 1/rs1/r_{\mathrm{s}},所以 PPO query 0 约为 10.4%,SFT query 0 约为 90.9%。两者出自相同名义层位,平方能量集中程度差很多。

元素稀疏度是另一种描述。对角线全非零的矩阵可以固定同一支持集,让对角元素全为 1,也可以让仅第一项接近 1 而其余很小。代数秩和非零位置相同,稳定秩却可以从维度大小变到接近 1。乘左右正交矩阵后,谱保留,坐标中原有的零元素通常会被填满。由两个稠密向量相乘得到的外积也可以同时稠密且秩一。若用“近似零”判断稀疏,还要把阈值和保存精度列清楚。

幂律尾部为什么能藏住能量

用上下积分夹住离散求和

令第 ii 个奇异值为 i−αi^{-\alpha},Sk=∑i=1ki−2αS_k=\sum_{i=1}^k i^{-2\alpha}。因为头项等于 1,稳定秩直接是 SnS_n。阈值要求 Sk≥τSnS_k\geq\tau S_n。先取 0<α<1/20<\alpha<1/2,记 b=1−2α>0b=1-2\alpha>0。把单调递减函数的离散项画成矩形:积分下界从 1 开始,末尾延到 n+1n+1;上界单独加第一项,余下从 1 积到 nn。对前缀,向左平移矩形,用从零开始的积分给上界。

nb−1b≤Sn≤1+nb−1b,Sk≤∫0kx−2α dx=kbb.(4)\frac{n^b-1}{b} \leq S_n \leq 1+\frac{n^b-1}{b}, \qquad S_k\leq\int_0^k x^{-2\alpha}\,dx=\frac{k^b}{b}. \tag{4}

虽然函数在零点发散,−2α>−1-2\alpha>-1 使这段积分有限。代入阈值条件,再乘上 bb,有 kb≥τ(nb−1)k^b\geq\tau(n^b-1)。取 1/b1/b 次方,kτk_\tau 至少按 nn 线性长,而最大也只有 nn。与此同时 rsr_{\mathrm{s}} 按 nbn^b 长。b<1b<1,所以二者之比趋零。再细看,对固定比例 cc,前 ⌊cn⌋\lfloor cn\rfloor 项的能量比例趋向 cbc^b;固定阈值的极限秩占比就是 τ1/b\tau^{1/b}。这个极限依赖 α\alpha,且有限维时保留的常数项可能很大。

α=1/2\alpha=1/2 时,求和变成调和级数,log⁡(k+1)≤Hk≤1+log⁡k\log(k+1)\leq H_k\leq1+\log k。把 Hk≥τHnH_k\geq\tau H_n 代入,得到 log⁡k+1≥τlog⁡n\log k+1\geq\tau\log n,即 kτ≥nτ/ek_\tau\geq n^\tau/e,稳定秩则最多 1+log⁡n1+\log n。即使线性增长消失,对数与幂之间仍有尺度分离。若 α>1/2\alpha>1/2,总和收敛;对任何固定 τ<1\tau<1,可以先在无限序列上找一个前缀超过阈值,这个长度也为有限维的阈值秩给上界。以上各段都固定 τ\tau,接近 100% 且随维度变化的目标需要另算。

维度 4,096 时四种幂律谱的前缀能量。

图 2。按附录 A 的构造自算。圆点标第一次越过 80% 的整数位置,横轴使用对数刻度。

我按 4,096 维、α=0.4\alpha=0.4、τ=0.8\tau=0.8 直接求和,稳定秩为 21.9533,阈值秩为 1,649。式 (4) 的严格上界约 22.3902,附录 A 给的是较松的 27.4。相应阈值的积分下界约 469.54,远低于本维度的真实秩。若只套用极限占比 0.850.8^5,预算约 1,342 项,也和 1,649 有差距。这是一个完全可求和的构造,用它可以量清渐近结论与有限预算的距离。论文在实测矩阵上展示相同现象,但没有要求全谱服从单一幂律。

80% 指的是平方能量

截断 SVD 保留前 kk 个正交的奇异外积。在固定秩、未加权的 Frobenius 指标下,这样做使残差平方和最小。剩余各项彼此正交,直接把尾部平方能量加起来即可:

∥Δ−Δk∥F2∥Δ∥F2=∑i>kσi2∑iσi2=1−Ek.(5)\frac{\|\Delta-\Delta_k\|_F^2}{\|\Delta\|_F^2} =\frac{\sum_{i>k}\sigma_i^2}{\sum_i\sigma_i^2}=1-E_k . \tag{5}

因此 80% 能量意味着残差平方占比最多 20%,相对范数在边界仍约为 44.7%。把能量阈值转成残差范数时,需要明确写平方根。把这种静态近似再转成模型质量,需要加入真实激活、网络后续传播和任务读数。训练一个同样秩数的 LoRA 则是另一个优化问题,训练轨迹会寻找低秩下的新端点。后面会用一个输出误差公式说明如何接上激活。

算法 1。测一个训练阶段的端点谱

以下是我按第 3.3 节和附录 E 提炼的测量伪代码。保留初始化与端点的元数据,方便后来判断能否横向比较。

1  读取同名起点、末端张量,确认尺寸、布局与坐标一致。
2  两端先转 FP64 再求差,另累积完整平方 Frobenius 范数。
3  若差为零,记录零更新;稳定秩和相对能量比无定义。
4  仅求奇异值时,可将宽矩阵转成高矩阵。
5  对高矩阵做薄 QR,得到较小的三角因子。
6  完整分解三角因子,按降序取所有奇异值。
7  用头项和总能量求稳定秩,再累计前缀能量。
8  记录首次过阈值的秩,以及预设预算的累计值。
9  若使用近似筛选,保留预算、种子和阈值不确定性。

薄 QR 的等谱性可以从右 Gram 矩阵看出来。若 Δ=QR\Delta=QR 且 Q⊤Q=IQ^\top Q=I,则 Δ⊤Δ=R⊤R\Delta^\top\Delta=R^\top R,两组奇异值都是这一半正定矩阵的特征值平方根。选样中最宽词表轴为 100,352,隐藏维为 4,096。FP64 的稠密矩阵输入约 3.29 GB,而 RR 的 4,096 平方个数约 134 MB。QR 仍要读取输入并做约 mn2mn^2 量级的工作。它减少后续 SVD 的行数,也避开先显式构造 Gram 并对条件数平方的矩阵做特征分解。

随机 SVD 用较少随机列近似主导空间,过采样能缓冲截止处的拥挤,幂迭代会加强头部方向。以排名或筛选为目的,头部精度可能足够;利用它判断长尾过阈值,需要看看遗漏的平方能量。作者在附录 E 独立比较 rank-256 与 rank-512 的分解,把 FP64 范数固定后,才分别计算奇异值估计和原先归一化方式的误差。用同一个近似矩阵同时替代分子和分母,容易让被投影掉的能量消失在两个量里。

论文完整 SVD 的三条能量曲线。

图 3(原论文图 1)。横轴为奇异分量数,纵轴是累计平方能量。蓝色 PPO query 0 的起始能量高于橙色 MLP down 16,达到虚线所需预算也较小。

把同层结果摊开看

作者在查看近似误差前按形状与层位置选了七个位置,每个位置比较 PPO 和 SFT 各一个端点。清单共 226 个二维矩阵,包括 128 个注意力投影、96 个 MLP 矩阵和两个词表方向的大矩阵。全谱样本覆盖三处 query、两处 up、一处 down 和 embedding。这个设计可以展示反例,也能暴露算法在几种主要形状上的数值问题。要估计 226 个矩阵的统计分布,还需覆盖 key、value、output、gate、输出头和更多深度。

矩阵PPO 稳定秩PPO 80% 秩SFT 稳定秩SFT 80% 秩
Query 09.585321.101
Query 1618.141,2221.48255
Query 3118.271,1491.99599
MLP down 1658.782,120792.322,250
Embedding1,026.352,831916.652,982

选自原论文表 2。PPO 从 DPO 起点取差,SFT 从 base 取差。

在 MLP down 16 上,PPO 与 SFT 的稳定秩相差约 13.5 倍,达到同一 80% 目标只相差 130 个分量。SFT 的 query 0 与 query 31 都有个位数稳定秩,阈值秩却由 1 变为 599。在固定总存储下,只按稳定秩为层排序,容易把预算让给错误的层。稳定秩也不显示更新幅度:一张变化极小的矩阵整体乘十,两个秩值都保持不变。做压缩时可同时记下绝对范数、相对原权重范数以及激活加权的残差。

利用原表数据对照稳定秩和 80% 能量秩。

图 4。由原论文表 2 重绘,涵盖全部十四个全谱案例。两坐标都是对数刻度,纵向距离表示预算的倍数差。

把秩换成参数条目也有具体边界。在 4096×40964096\times4096 的方形矩阵里,两因子用相同精度,奇异值吸收进一侧,条目比约为 k/2048k/2048。k=532k=532 是约 26%,k=1,222k=1,222 是约 60%。对矩形矩阵,可按 (m+n)k/(mn)(m+n)k/(mn) 核算。实际存储再加量化分组、对齐、索引和运行时常驻成本。若部署在稠密融合权重上执行,压缩更新只减少传输或存盘开销;若将因子保留在请求路径上,额外访存、kernel 启动和跨请求合批也会改变收益。这些运算是把论文数字换单位的算例。

相邻检查点在比较什么

从完整参数向量到 Gram 矩阵

把同一个模型的参数有序展开。第 jj 段位移 Dj(h)=θjh−θ(j−1)hD_j^{(h)}=\theta_{jh}-\theta_{(j-1)h} 表示宽度为 hh 的一次观测。分离距离 ℓ\ell 是拿它与前第几段比。固定 ℓ\ell 增大 hh,每个向量合入更多更新;固定 hh 增大 ℓ\ell,是在同一窗口粒度上看相隔更远的位移。论文的公共数据按各自的 release step 计时,本地对照按 rollout batch 计时,SFT 则用 optimizer step。相同的整数不自动等于相同曝光。

设 Gij=⟨Di,Dj⟩G_{ij}=\langle D_i,D_j\rangle,对角线是各段平方范数,非对角元素是未归一化点积。把当前段拆成沿上一段的投影和垂直余量:

ρj,ℓ(h)=Gj,j−ℓGjjGj−ℓ,j−ℓ,Dj=ajDj−1+Dj⊥,aj=Gj,j−1Gj−1,j−1.(6)\rho_{j,\ell}^{(h)}= \frac{G_{j,j-\ell}}{\sqrt{G_{jj}G_{j-\ell,j-\ell}}},\qquad D_j=a_jD_{j-1}+D_j^\perp,\qquad a_j=\frac{G_{j,j-1}}{G_{j-1,j-1}} . \tag{6}

推导时只需把分解两边与 Dj−1D_{j-1} 点乘,垂直项归零。再把分子写成余弦乘两段范数,aja_j 就是余弦乘当前段与前段的范数比。同样的余弦 −0.25-0.25,若范数比是 0.1,反向分量只有前一段的 2.5%;若范数比是 2,反向分量会达到前段的 50%。例如先走 (1,0)(1,0),再走 (−0.3,1)(-0.3,1),余弦约 −0.287-0.287,两段合计仍是一个长度约 1.22 的位移。沿某段方向抵消一部分,与总路程或任务效果之间还隔着别的方向。

选不同的保存间隔,可能就变号

若用矩阵 BB 把窄窗口两两相加,宽窗口点积由分配律展开成两组内所有窄窗口交叉项:

Gwide=BGnarrowB⊤.(7)G_{\mathrm{wide}}=B G_{\mathrm{narrow}} B^\top . \tag{7}

宽窗口的范数与余弦要用这个新矩阵重算。直接平均窄窗口已经归一化的余弦,会遗漏不同窄窗口范数和交叉项。图 5 用一维位置示范。位置依次是 0,1.7,1.0,2.7,2.00,1.7,1.0,2.7,2.0,后续同样交替。细看都是 +1.7,−0.7+1.7,-0.7 交错;按两段一组,粗窗口全向前走 1。细粒度相邻余弦为 −1-1,粗粒度为 +1+1。起点和终点可以完全一致。

一维轨迹在细网格和粗网格上的观测。

图 5。原创算例。每隔两个点保存一次时,交替摆动消失,只留下固定的正向漂移。

可以再从 Gram 矩阵计算总位移。把每段相加后平方,得到所有对角元素之和加上两倍的上三角和。于是知道相邻点积为负,仍不知道长跨度内合成后的长度。若把端点范数除以总路径长度,这个 [0,1][0,1] 内的比值还会反映训练走了多少弯路。对长窗口实验可以把这个比值与位移范数、余弦并列,就能区分几乎原地抖动和带有局部回摆的持续漂移。

算法 2。按参数分块累计方向

下面按论文第 3.3 节整理一套用全坐标测量的伪代码。大模型可以分块读入,无须把每个检查点拼成一整张稠密矩阵。

1  固定检查点顺序、窗口宽度、计时单位和起点。
2  匹配张量;共享参数按独立坐标只计一次。
3  按窗口数初始化 FP64 的 Gram 矩阵。
4  对每张张量,按坐标块读取各检查点的值。
5      扩大精度后相减,每一行放一段局部位移。
6      把此块与自身转置相乘,累加到 Gram 矩阵。
7  取对角范数归一化指定距离的点积,记录配对数。
8  零范数的余弦记无定义;对相邻段另求投影系数。

若窗口数为 JJ,参数总坐标数为 PP,临时坐标块长 CC,暂存量按 JCJC 计;全 Gram 运算量为 O(PJ2)O(PJ^2),结果内存为 O(J2)O(J^2)。只算预选的 LL 个距离可以将运算量降为 O(PJL)O(PJL),代价是之后无法用已有结果任意合并窗口。论文对八条保留轨迹重新算全 Gram,六条配对 RL 的在线与检查点余弦最大绝对差约 1.4×10−121.4\times10^{-12}。附录 G 在 Mistral 上另做内存与检查点口径的对照。我的随机小矩阵按七块划分与一次乘法相差约 1.71×10−131.71\times10^{-13},它只核对了分块恒等式。

原稿的坐标水库抽样在前两百万坐标以后实际没有录入新坐标。坐标顺序通常按张量和块固定,前缀无法代表全模型。附录 F 撤销原有误差估计;改用全坐标后,读到的余弦属于所有纳入的参数。相减与累加用 FP64 可以压低运算舍入,但保存时已经丢掉的位数不会恢复。一次使用 BF16 训练的对照还会改变优化过程本身。两种情况都可能影响角度,需要不同的诊断。

公开模型与 SFT 的时间证据

九个公开阶段的 131 对

原表 3 的相邻对数量分别为 5、12、12、12、12、12、16、43、7,合计 131,对应的余弦全负。均值分布在 OLMoE 的 −0.2633-0.2633 到 OLMo-2 32B 的 −0.1929-0.1929。OLMo-2 发布中有 PPO 也有 GRPO,Olmo-3 行标记为 OlmoRL。按相邻对合并会让 OLMoE 占更高权重;同一模型谱系的连续阶段共用较近的训练历史。相邻的两个余弦还会重复使用中间的位移向量。这 131 对适合描述整张可用检查点表,做显著性推断时不能当作 131 个独立训练试验。

看一段最易复核的轨迹,7B PPO 从 DPO 初始化开始,到 release step 360 每隔 60 取一个末端。距离一有 5 对,平均为 −0.220162-0.220162。距离二有 4 对,平均为 −0.024420-0.024420;距离三剩 3 对,平均为 −0.008670-0.008670。这说明在该网格上反向集中在相邻。更远只有几个样本,难以精确估计衰减时间。投影系数介于 −0.2204-0.2204 与 −0.1741-0.1741,即沿前一段反方向大约走了前段范数的 17%–22%。同一行里还存在与前段正交的分量,决定总位移时不能省去。

固定窗口宽度,比较更远的位移。

图 6。按原表 10 重绘,配对数来自原表 4。每条曲线内部宽度不变,两条曲线的时钟不同。

SFT 也能出现负余弦

作者用同一 Tülu-3 混合数据、格式、全 token 损失和学习率日程对比四个模型族。每 500 步测一次,5,000 步为短程结束点,保留预设两 epoch 日程,不在 5,000 步前挤完衰减。端点谱里的 OLMo seed 42 则训练到 29,356 步。在 BF16 基线里,OLMo、Llama 与 Qwen 的相邻对全正。两个 Mistral seed 各有 7/9 对为负,从终点步号 2,000 起出现,均值约 −0.01-0.01。这个负号与公开 RL 同向,数量级和上下文都有差异。它足以说明只看符号无法反推训练目标。

Llama 的两个后续种子把可训练参数与 Adam 状态改为 FP32,计算仍用 BF16 autocast。全程配对均值从约 +0.238 变为约 +0.021。到步号 3,000 的窗口开始转负,最终五对都为负,全程均值仍被早期较大的正值拉在零以上。附录 G 在若干重分桶宽度上再算相邻,对 1,500 步窗口只覆盖到 4,500,而且只剩两对。拿这些宽度比较时,要同时报告覆盖终点与对数。先看到 Mistral 结果才决定做后续实验,进一步支持它们作为反例的价值,也限制了对更大模型总体的统计外推。

Llama 两种参数和优化器状态精度下的相邻余弦。

图 7。按原表 16 重绘。FP32 组两条线在终点步号 3,000 首次落到零以下。这里的精度标签指训练配置。

对照实验只改哪些东西

固定优化时钟,保留策略自己的采样

六条本地运行分成种子 42、43、44 三对。全部从 OLMo-2-0425-1B-DPO 起步,用 RLVR-GSM 数学题,同种子对共享提示词流。每个 rollout 取 8 条提示,每条采 8 个响应,总计 64 个;一次训练 pass 把它们分成 8 个 minibatch,共重用 4 次,所以 actor 每轮做 32 次更新。宽度 60 等于 3,840 条响应、1,920 次 actor 更新。所有训练共 360 轮,actor 学习率从 4×10−74\times10^{-7} 线性衰减,ratio clip 为 0.2,参考 KL 权重为 0.05,提示和响应各上限 2,048 token。可训练参数与 Adam 状态用 FP32,计算用 BF16 autocast。

在 actor 中,论文把响应截到首个 EOS 并保留 EOS,本次 minibatch 的 token 损失和除以有效 token 总数,使微批累积对应同一权重。两种优势方案共享 actor 日程;critic 还要训练另一副主干和一个初值为零的标量头。策略会生成自己的响应,所以每个种子里的 token 数可以向任一方偏移。原表 8 的 seed 43 为 478 万对 586 万,按组相对作分母多了约 22.6%;seed 44 则约 507 万对 478 万。共享提示、响应条数、日程和 actor 更新次数,各能控制一个维度,FLOPs 和有效 token 暴露仍不同。

三个种子对如何得到区间

主要结果在训练前定义:宽度 60,保留端点超过 180 的三对余弦,对应终点 240、300 和 360。每条训练先内部求平均,再在同一 seed 上用 critic 均值减去组相对均值。设差值为 dsd_s:

dˉ=∑s=13ds3,sd2=∑s=13(ds−dˉ)22,I95=dˉ±t0.975,2sd3.(8)\bar d=\frac{\sum_{s=1}^3d_s}{3},\qquad s_d^2=\frac{\sum_{s=1}^3(d_s-\bar d)^2}{2},\qquad I_{95}=\bar d\pm t_{0.975,2}\frac{s_d}{\sqrt{3}} . \tag{8}

原表 5 的组相对均值依次为 0.3178、0.2363、0.2229,critic 为 0.0193、0.0094、0.0060。用显示值计算,差约为 −0.2985,−0.2269,−0.2169-0.2985,-0.2269,-0.2169,原表第三项独立四舍五入为 −0.2168-0.2168。把三个值用 2 个自由度求样本方差,乘 tt 分位数约 4.303,得到 −0.24743-0.24743 和约 [−0.35799,−0.13687][-0.35799,-0.13687]。尾数与表中区间的细差来自输入的小数位。统计单位是种子对,三个相邻窗共享的检查点影响早已在每条轨迹的聚合中,重复数不能算成九。

宽度为 60 时每个种子对的晚期均值。

图 8。按原论文表 5 重绘。线段连接共享 seed 和提示流的两条运行,critic 端均向零靠近。

critic 自身区间包括零。取 10、20、40 三种更短的窗宽,晚期配对差也均为负,且同样复用三个种子。这些窗口和超参数解释应当用作描述性观察。宽度 40 的“晚期”按端点筛选,会保留跨过 180 中点的一段。把共享种子看作三个独立符号,在中位数为零、无平局的对称符号模型下,三者同方向的双侧概率为 0.25。Student 区间还使用差值大小并假设种子均值差的分布适合该模型。一起展示原始差值和区间,能让读者判断单个种子对区间的影响。

训练健康检查记录了有限更新、EOS 和达上限比例。固定 32 道留出题贪心解码,起始答对 20,终点各组为 16 到 20。训练时 critic 达上限比例较低,留出题贪心 EOS 完成反而只有 27、28、29 条,组相对全部 32 条;这是两个不同的协议。读数支持在该受控场景下调整轨迹对齐,任务收益仍需更大的数据。本地两组的均值与公开九段一致为负的现象也有明显差距,扩大实验时应在生产配方做配对干预,并保留母配方中的响应预算与优化精度。

近似还会影响哪些结论

稳定秩差很小,阈值秩仍可能报错

在 SFT layer 16 query 上,精确的 E256E_{256} 为 0.80027920,实际首次过线是 255。基础 rank-256 草图三个种子约为 0.79754、0.79760、0.79759,加大过采样并多做幂迭代后为 0.79972833。全都使用同一个 FP64 分母。加强后的估计距阈值差约 −0.02717-0.02717 个百分点,完整谱超过约 0.02792 个百分点。这个例子确切地说明,某个近似预算未过线时,仍有可能是谱估计漏掉了足够的能量。本文的筛查建议是记录“该预算尚未判定”。

同一 FP64 分母下,近似与精确的 rank-256 能量。

图 9。按论文附录 E 重绘,横轴是距 80% 阈值的百分点差。完整分解首次过线的整数秩是 255。

论文 14 个案例里,固定 FP64 范数后,用基础配置估计稳定秩的最大相对差约 0.0088%,把原 FP32 范数与分母正则项算在内,旧流程最多差 2.38%。同口径的 rank-512 能量最多差 1.353 个百分点。头部误差和尾部误差由不同谱区段决定,需要独立报告。若有经过误差校验的能量上下界,区间在阈值同一侧时可确认是否够用,区间跨线就继续算。

例如取正交试探基 QQ,投影系数 A=Q⊤ΔA=Q^\top\Delta,残差 R=(I−QQ⊤)ΔR=(I-QQ^\top)\Delta。对任何列正交的 VV,∥ΔV∥F2=∥AV∥F2+∥RV∥F2\|\Delta V\|_F^2=\|AV\|_F^2+\|RV\|_F^2。取使 AA 的前 kk 项最大的 VV 就能给原能量下界。要取上界,可以用全部残差能量替掉第二项:

∑i=1kσi(A)2∥Δ∥F2≤Ek(Δ)≤∑i=1kσi(A)2+∥R∥F2∥Δ∥F2.(9)\frac{\sum_{i=1}^k\sigma_i(A)^2}{\|\Delta\|_F^2} \leq E_k(\Delta) \leq \frac{\sum_{i=1}^k\sigma_i(A)^2+\|R\|_F^2}{\|\Delta\|_F^2}. \tag{9}

尾巴很长时,这个上界可能太松,不能替代完整分解。实数恒等式用于有限精度还得检查正交误差与范数估计误差。它给的是一个决定何时升级到完整分解的办法。

怎样稳妥地算小角度

原论文附录 E 的主角度用的是起始权重和终点权重各自的前 64 个左奇异向量,与更新差矩阵的谱属于两个问题。设相应基为 U0,UTU_0,U_T。最大主角的余弦等于 U0⊤UTU_0^\top U_T 的最小奇异值;把终点子空间投到起点的正交补,可以直接求正弦。利用投影矩阵的幂等性,有

Z=(I−U0U0⊤)UT,Z⊤Z=I−(U0⊤UT)⊤(U0⊤UT),sin⁡ϕmax⁡=∥Z∥2.(10)\begin{aligned} Z&=(I-U_0U_0^\top)U_T,\\ Z^\top Z&=I-(U_0^\top U_T)^\top(U_0^\top U_T),\\ \sin\phi_{\max}&=\|Z\|_2 . \end{aligned} \tag{10}

角度为 0.00103∘0.00103^\circ 时,1−cos⁡ϕ1-\cos\phi 约为 1.6×10−101.6\times10^{-10},远小于 FP32 在 1 附近的典型间隔。若先把几乎等于 1 的奇异值舍入再做 arccos,容易丢失细微量级。用 FP64 的正交基算投影余量,直接对接近零的正弦读数更有分辨力。PPO embedding 的原估计为 0.09279∘0.09279^\circ,完整分解值为 0.00103∘0.00103^\circ。变化同时涉及原随机子空间与 arccos 精度,不能把差值全归给一个环节。14 个案例里最大绝对差约 3.09∘3.09^\circ,来自 SFT layer 31 MLP up。若第 64 与 65 个奇异值相近,切出来的子空间也会对小扰动敏感;报告角度时附上边界谱隙,可以判断读数应该保留几位。

可复现的测量要点

如果继续对另一条训练轨迹做分析,我会先整理一份检查点表。每行包括训练阶段、立即参考点、发布标签、优化步、采样轮次、有效响应与 token 数、参数和优化器状态精度。其次列出张量清单、共享关系、存储方向和一维参数的纳入口径。阶段变了或缺失起点时先把缺口标出来,避免后面拿统计差异解释数据输入的差异。

谱部分先用对角矩阵、正交旋转、零更新和高矩阵做四个算术检查。全分解结果保存阈值、前缀、头部和绝对量级;近似先把分母与准确范数对齐,再复核阈值两侧的误差。对相同模型跨层用固定秩和固定能量两套口径,前者保证预算可比,后者展示预算分布。轨迹部分保留 Gram、每个窗口的原始范数和相邻投影,先对少量坐标用直接合成重算,再展到全模型。重分桶时明确偏移、覆盖的末端与实际对数,必要时对两种网格取相同覆盖区间。

对照实验应让 seed 成为每张基础表的行单位,保留同种子两条轨迹的期初、期末以及报告宽度。预先定好一个主要终点,先报差值与暴露量,再补不同宽度的敏感性。附录 B 的协议与 D 的公开清单已经给了许多必要信息。读者还可以从表 7、表 8 对照健康指标和生成 token,避免把“训练输出数相同”误读成“训练成本相同”。

局限

全谱数据选自一个 7B 模型的两个端点与十四张张量。即便同属注意力,query 与 key、value、output 的谱也可能有不同结构。SFT 与 PPO 的初始化、目标、样本和训练时长各异。幂律证明允许低稳定秩与广尾共存,实测各谱是否服从幂律需要另行拟合。论文也没有在截断权重之后评估任务,或直接比较相同存储预算下训练出来的低秩适配器。平方能量靠近阈值时,误差区间、求和精度和定义必须跟着结果一起可查。

公开结果的检查点窗口依赖发布条件,同谱系阶段还有相关性。不同模型、精度和步数单位叠在一起,足以发现共性和反例,难以定位因果机制。SFT 对照包含后补实验,FP32 Llama 同时调整参数和优化器状态,训练时如何舍入与最后如何保存也未拆开。控制实验只有一个 1B 初始化、一个数据源、三个种子和一个很小的质量诊断。它干预的是一整个优势系统。公开部署配方上的效果,以及变化来自 critic、时序归因还是标准化,仍需额外比较。

批判性分析

共用的检查点可能在统计上引入反向项

相邻两段差分都经过中间的检查点,一段把它当终点,下一段把它当起点。设存储向量为 θ~j=θj+ej\tilde\theta_j=\theta_j+e_j,那么所测位移为真实位移加 ej−ej−1e_j-e_{j-1}。若作一个简化假设,误差跨时独立、均值为零且与真实位移无关,把相邻噪声点积逐项展开,只有被两次使用的中间误差还是同一个变量:

E⟨ej−ej−1,ej−1−ej−2⟩=−E∥ej−1∥22.(11)\mathbb E\langle e_j-e_{j-1},e_{j-1}-e_{j-2}\rangle =-\mathbb E\|e_{j-1}\|_2^2 . \tag{11}

间距二以上没有共用端点,这个模型下附加点积的期望为零。这个式子只针对分子,噪声也会改变范数;真实舍入误差也未必满足独立。它提供一个能被实测排查的替代解释。保留同一条高精度训练轨迹,在同一时点另存 BF16 副本,先比未归一化点积与范数,再比余弦。若差异集中在相邻窗口,继续测试随位移信噪比与宽度怎样变化。这样可以单独测保存舍入的贡献;改变训练时的参数和 Adam 状态精度,回答的是另一个问题。

建议另外做有偏移的重分桶。宽度固定时,把起始点向后挪半个窗,在共同覆盖区间比较方向和投影。如果只有某个边界出现反向,检查学习率、数据流与环境采样在这段的变化。若多个偏移和保存精度下仍出现同样的曲线,再进一步对不同滞后看信号。公开 7B PPO 只有三到五个对应距离的配对,在小样本内做这种拆解比为符号猜一个确定原因更扎实。

压缩的技术收益应该由输入分布决定

使用截断后的更新 Δk\Delta_k 替代 Δ\Delta 时,给定输入激活 xx 的局部输出误差为 MxMx,其中 M=Δ−ΔkM=\Delta-\Delta_k。用未中心化二阶矩 C=E[xx⊤]C=\mathbb E[xx^\top] 把分布纳入,先把向量范数写成迹,再移出期望:

E∥Mx∥22=E tr⁡(Mxx⊤M⊤)=tr⁡(MCM⊤)=∥MC1/2∥F2.(12)\mathbb E\|Mx\|_2^2 =\mathbb E\,\operatorname{tr}(Mxx^\top M^\top) =\operatorname{tr}(MCM^\top) =\|MC^{1/2}\|_F^2 . \tag{12}

如果 CC 接近单位阵的倍数,未加权截断有合理近似目标。如果主要激活集中在更新的几个尾部方向,删掉能量不大的项也可能伤输出;如果尾部方向在任务分布上很少被激活,80% 的刚性阈值又会浪费预算。我会以上游请求激活做校准,固定总因子字节数,比固定秩、固定能量和加权分解。保持起点与评估样本一致,另报长短上下文、难度分层、模型输出误差和 verifier 结果。把不同预算下主动训练的 LoRA 作为另一条曲线,直接看它是否找到质量更好的低秩解。这样才可回答观察到的谱尾对训练或部署是否重要。

对跨层分配,还可先看更新能量份额。假设两个同尺寸层各只能保留一部分,第一层的平方范数为第二层的 100 倍。就算第一层保留 90%,留下的绝对平方残差仍可超过第二层删掉全部更新。前者对权重误差贡献可能更大,后者对任务是否更敏感再用输入与网络传播估计。单独列每一层的阈值秩会隐藏这些权衡。图 4 中的每个点都应读成一张矩阵内部的分布,不宜直接拿来决定全模型预算。

优势归因需要拆开训练链条

可以在相同 rollout 上分别计算组内标准化、留一基线、完整回报减 critic、不同 λ\lambda 的 GAE,再固定优势的白化方式比较同批次的原始梯度。这个冻结批次实验测即时信用分配,在策略继续采样时,还需用配对运行测整个闭环的效应。每次都保存梯度、预条件更新和检查点位移的角度,结合范数和更新步幅,把共享数据、优势系统和优化器的影响分开。

我还会按张量组拆全局点积。全局余弦的分子是各组未归一化点积之和,分母由各组平方范数总和得到。若改为直接平均层余弦,一个能量很小的层就会和 embedding 同权。报每组带符号点积与在两段中的能量份额,可以检验集中度和总体反向是否由少数高能层主导。它还能帮助设计抽样和缩小需要保存的对象,但发布全局读数前仍可用完整坐标做核对。

把全局方向拆成可以复算的层贡献

对两段位移 Dj,Dj−1D_j,D_{j-1},第 gg 个张量组各自有范数 nj,g,nj−1,gn_{j,g},n_{j-1,g}。令总范数为 nj,nj−1n_j,n_{j-1},组内余弦为 ρg\rho_g。相同坐标只能归属一个组,所以不含跨组内积。先把每组内积写成余弦乘范数,再除全局范数,就有

ρglobal=∑gρgnj,gnjnj−1,gnj−1.(13)\rho_{\mathrm{global}} =\sum_g \rho_g \frac{n_{j,g}}{n_j} \frac{n_{j-1,g}}{n_{j-1}} . \tag{13}

这些权重的和最多为 1。用柯西不等式,两条归一化范数向量的长度各为 1,乘积之和最多为 1。两段的能量分布越不重合,即使每个能算的组内余弦都接近 1,全局余弦也可能很小。这个性质提供第三种解释:方向变得分散,既可能由同一组内部转向,也可能由哪组在动发生迁移。

比如上一段的两组范数是 (3,1)(3,1),下一段是 (1,3)(1,3)。即使每组都完全同向,两组分子都是 3,总范数积为 10,全局余弦仍只有 0.6。若第二组改成完全反向,两组分子相消,全局余弦变为零。另取两段范数都为 (3,1)(3,1),第一组余弦 −0.4-0.4,第二组余弦 +1+1,朴素平均可得 +0.3+0.3,全局却是 −0.26-0.26。上面说“按组报告”时,实际要保存的是组范数、组点积以及它如何进入全局分子。零范数组对点积的贡献自然为零,其组内余弦留空即可。

这套拆解还可用来核查不同尺寸模型的比较。一个被许多层共同推动的负值,与几个特别大的矩阵把负值压到全局,代表两种不同的轨迹。只报最大贡献组也会遗漏正负抵消。可以把表按有符号点积列正负两侧,同时注明在当前窗和上一窗分别占多少能量。若要汇总多个种子,可先在每个种子和窗口重构全局值,再报告各组贡献的分布;直接把矩阵平均以后再计算角度会改变被比较的量。

从固定能量阈值走向固定总预算

前面的激活加权也可以写成一个明确的低秩问题。在单层线性近似里,若 CC 可逆,只考虑秩约束而且没有额外结构限制,对 ΔC1/2\Delta C^{1/2} 做秩 kk 截断,再右乘 C−1/2C^{-1/2},就得到最小化该层期望输出平方误差的一个解。原因是右乘可逆矩阵保持秩,一旦把候选更新替换为候选更新乘 C1/2C^{1/2},目标便变成普通的 Frobenius 截断。若 CC 病态,应先检查低特征值空间里估计是否稳定,或用小的对角正则再做求逆。若 CC 奇异,损失对其零空间不敏感,满足目标的因子也可能不唯一。

一个两维的说明性例子会让层内排序发生反转。令更新矩阵对角线为 (10,1)(10,1),输入二阶矩对角线为 (0.001,4)(0.001,4)。平方权重能量分别为 100 和 1;改看平方输出贡献则为 0.1 和 4。一个秩只够留一项,按权重谱会留 10,按校准激活会留 1。换一个激活分布,排序也可能再变。这个例子没有估计端到端质量,它明确了为什么简单把 80% 权重能量作为所有层的硬约束,有机会同时低估和高估不同层的需要。

若硬件允许为每层分配不同整数秩,可以收集每个额外分量的平方输出收益与存储代价。相同的矩阵尺寸使每增加一阶的代价相同,此时按边际收益排序有直观解释。矩形层、不同精度和后备稠密 kernel 具有不同代价,逐层按同一能量截断并不能保证满足全局字节或延迟约束。多一阶还可能跨过 kernel 的对齐台阶。实践中可以先列出有限个可执行秩数,逐组比较固定总字节下的预测残差,再用真实任务和时延决定落在哪点。这个工作把原论文的测量作为输入,实际压缩策略仍需另做对照。

结论

这篇论文把三类证据接在了一起。幂律构造解释小稳定秩为何能与很大的截断预算共存,完整谱在几类 OLMo 更新上给出可核对的实数。九段公开轨迹的负余弦属于指定保存网格;三对种子的干预说明在共享 actor 日程下,切换优势系统能把晚期方向对齐降低到接近零。读类似结果时,我会先记清被相减的权重、能量的分母和窗口时钟,再问测量误差够不够改变结论。决定压缩预算时还要接上输入分布与任务质量,解释训练方向则应加上范数、投影和多种宽度。

参考资料

  • Khalil、Hoque,所读论文 v1。证明见附录 A,训练协议见 B–D,数值复核与更正见 E–F,SFT 设置见 G。
  • Hu 等,LoRA。低秩训练端点与先训练再截断的背景。
  • Schulman 等,GAE、PPO。时序信用与裁剪目标的技术背景。
  • Halko、Martinsson、Tropp,Finding Structure with Randomness。随机投影和幂迭代的背景。