笔记日期 2026-11-14
作者 Zhongzhu Zhou
所读论文 Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training
论文作者 Khurram Khalil、Khaza Anuarul Hoque
arXiv 2611.11752
版本与日期 v1,2026-11-09
从两个反差读起
同一张 OLMo-2-7B 的 PPO 查询投影更新矩阵,稳定秩为 9.58,保留 80% 的平方能量却要 532 个奇异分量。两数都来自同一次完整 SVD。再看论文的训练轨迹,九段公开 RLVR 共 131 对相邻位移,余弦全为负。作者自己做的对照里,把组相对优势换成学习型 critic 加 GAE,晚期平均余弦则由约 +0.259 降到 +0.012。公开模型的负号、对照实验中靠近零的正均值,两者可以同时成立,因为模型、训练配方和统计窗口都各有范围。
读这篇论文,我会先写下每个数字对应的对象。端点谱在一个权重矩阵上测量,反映更新量在奇异方向上如何分配。相邻余弦在全部参数上测量,需要一串有顺序的检查点。对照实验还多了一层问题:固定提示词流、优化日程和响应条数后,改变优势系统,三个种子对的余弦均值会怎样移动。下面把这三部分接起来,也把各自的适用边界留在读数旁边。

图 1。按论文第 2–4 节自绘。第一条线测矩阵,第二条线测完整参数向量,第三条线用种子配对比较训练配置。
原文 19 页,主文第 1–6 节,附录 A–G 依次给出证明、训练协议与健康检查、暴露量、检查点清单与时间相关、SVD 核对、早稿更正以及跨模型 SFT。我用自己的公式编号,引用时点出原论文图表。文中的有限和、矩阵和向量算例是阅读时做的运算,训练与评测数据来自论文。
前置知识
相减前先选对训练起点
对同名权重矩阵 ,端点更新写成 。两端必须能按张量名、尺寸、方向和相同的参数坐标一一对齐。实际模型可能把输入词嵌入与输出头共享起来,计算全参数范数时共享参数只能计一次。论文在轨迹里计入一维归一化参数,矩阵谱的清单则只收二维矩阵。对矩阵转置会交换左右奇异向量,奇异值保持不变,所以比较谱和比较左奇异子空间时,对存储方向的要求不同。
公开 OLMo-2-7B 的训练阶段依次经历 SFT、DPO、RLVR。SFT 从给定对话学习下一个 token,DPO 从偏好数据学习,RLVR 则边采样边用可验证奖励训练。把三段末端分别记为 。如果把 RLVR 末端减去 SFT,展开式为
右边第二项就是被混进来的 DPO 更新。矩阵可以这么相加,奇异谱却还要看两项的方向关系。同一方向上可能强化或抵消,在不同的奇异子空间里可能各自留下能量。所以论文附录 F 撤销了先前用错参考点时得到的 PPO MLP 稳定秩约 37 的说法。现稿 Table 2 把 PPO 末端减去紧邻的 DPO,把作者自训 SFT 末端减去对应 base,两者都按各自的训练边界取差。
相同参考点在两个固定内部检查点之间会消去。若内部的两个末端写成 与 ,它们的差仍是 。首段位移例外,因为首段的左端点就是起点。这里还有数值细节:若先把两个小差分别舍入成低精度,再互减,共同参考一般无法精确消去。论文的全坐标轨迹口径先扩大精度再求位移。
训练信号如何变成检查点位移
论文的跨模型 SFT 对比用全 token 的监督掩码,也就是说有前序 token 的非 padding 位置都参与损失,提示词也在内。只监督回答会改掉梯度的权重分配。固定每步 64 个样本,也只是固定例数,不同 tokenizer 和序列长度会带来不同的有效 token 数。再加上 AdamW 的历史状态、预条件、精度和学习率,保存的检查点位移已经是许多次有状态更新的合量。
RLVR 的一步首先由当前策略采样,再给结果打分。策略更新里的优势把奖励与某个基线比较。PPO 的裁剪作用在新旧策略对同一个动作的概率比上。正优势的一侧达到上阈值后,再提高概率比不再增加裁剪项的收益。负优势的一侧则在下阈值饱和。一个 rollout 多轮重用后,梯度还受到概率比变化和参考策略 KL 项的共同作用。本文的本地两组共享这种 actor 目标,具体差异放在优势计算里。
组相对方案对同一提示词的八条结果按组均值与总体标准差标准化,把一条回答的结果优势填到它的每个有效 token。举个说明性算例,八条二值奖励恰好一条为 1,其余为 0,均值 ,标准差 。忽略稳定常数,成功样本的优势为 ,每个失败样本为 。八个响应层面的优势加起来为零。由于 actor 对保留 token 加权求平均,如果响应长度不同,所有 token 的优势加总仍可能偏向某一方。正文的真实协议还对缺失 EOS 的响应设置惩罚。
critic 方案给每个 token 状态预测价值。把终止 token 称为 ,其后自举值为零。奖励 只在终点发放,价值记为 。先做时序差分,再累积后续差分:
递推式来自单独拿出 项,余项统一乘出 。取 时,中间的价值项两两抵消,得到折扣回报减起始价值。论文用 ,较远的残差权重较低。若 critic 恰好处处为零,终点奖励为 1,那么终点前十步的原始优势约为 。实际 critic 会另外学习,作者还对 rollout 内所有有效响应 token 的优势做白化,critic 的目标则用未白化的回报。比较这两组时,建议同时记住信用分配粒度、归一化样本范围和是否拟合价值三个变化。
三种秩如何对同一矩阵提问
令 ,奇异值降序排列。不同奇异方向对应的外积在 Frobenius 内积下正交,平方和就是总能量 。谱范数是最大奇异值,因为沿第一右奇异向量拉伸最多。代数秩数有多少非零奇异值,稳定秩用最大的单项能量去量整个矩阵,能量阈值秩则查前多少项累计够用。
前 项每一项最多为 ,所以 。若希望 ,必要条件为 。代入 PPO 的 9.58 和 80%,只能排除 8 以下的秩。实测的预算是 532。这也是读公式时最实用的一处:下界很容易算,拿下界当预算却没有保证。第一项占比刚好是 ,所以 PPO query 0 约为 10.4%,SFT query 0 约为 90.9%。两者出自相同名义层位,平方能量集中程度差很多。
元素稀疏度是另一种描述。对角线全非零的矩阵可以固定同一支持集,让对角元素全为 1,也可以让仅第一项接近 1 而其余很小。代数秩和非零位置相同,稳定秩却可以从维度大小变到接近 1。乘左右正交矩阵后,谱保留,坐标中原有的零元素通常会被填满。由两个稠密向量相乘得到的外积也可以同时稠密且秩一。若用“近似零”判断稀疏,还要把阈值和保存精度列清楚。
幂律尾部为什么能藏住能量
用上下积分夹住离散求和
令第 个奇异值为 ,。因为头项等于 1,稳定秩直接是 。阈值要求 。先取 ,记 。把单调递减函数的离散项画成矩形:积分下界从 1 开始,末尾延到 ;上界单独加第一项,余下从 1 积到 。对前缀,向左平移矩形,用从零开始的积分给上界。
虽然函数在零点发散, 使这段积分有限。代入阈值条件,再乘上 ,有 。取 次方, 至少按 线性长,而最大也只有 。与此同时 按 长。,所以二者之比趋零。再细看,对固定比例 ,前 项的能量比例趋向 ;固定阈值的极限秩占比就是 。这个极限依赖 ,且有限维时保留的常数项可能很大。
时,求和变成调和级数,。把 代入,得到 ,即 ,稳定秩则最多 。即使线性增长消失,对数与幂之间仍有尺度分离。若 ,总和收敛;对任何固定 ,可以先在无限序列上找一个前缀超过阈值,这个长度也为有限维的阈值秩给上界。以上各段都固定 ,接近 100% 且随维度变化的目标需要另算。

图 2。按附录 A 的构造自算。圆点标第一次越过 80% 的整数位置,横轴使用对数刻度。
我按 4,096 维、、 直接求和,稳定秩为 21.9533,阈值秩为 1,649。式 (4) 的严格上界约 22.3902,附录 A 给的是较松的 27.4。相应阈值的积分下界约 469.54,远低于本维度的真实秩。若只套用极限占比 ,预算约 1,342 项,也和 1,649 有差距。这是一个完全可求和的构造,用它可以量清渐近结论与有限预算的距离。论文在实测矩阵上展示相同现象,但没有要求全谱服从单一幂律。
80% 指的是平方能量
截断 SVD 保留前 个正交的奇异外积。在固定秩、未加权的 Frobenius 指标下,这样做使残差平方和最小。剩余各项彼此正交,直接把尾部平方能量加起来即可:
因此 80% 能量意味着残差平方占比最多 20%,相对范数在边界仍约为 44.7%。把能量阈值转成残差范数时,需要明确写平方根。把这种静态近似再转成模型质量,需要加入真实激活、网络后续传播和任务读数。训练一个同样秩数的 LoRA 则是另一个优化问题,训练轨迹会寻找低秩下的新端点。后面会用一个输出误差公式说明如何接上激活。
算法 1。测一个训练阶段的端点谱
以下是我按第 3.3 节和附录 E 提炼的测量伪代码。保留初始化与端点的元数据,方便后来判断能否横向比较。
1 读取同名起点、末端张量,确认尺寸、布局与坐标一致。
2 两端先转 FP64 再求差,另累积完整平方 Frobenius 范数。
3 若差为零,记录零更新;稳定秩和相对能量比无定义。
4 仅求奇异值时,可将宽矩阵转成高矩阵。
5 对高矩阵做薄 QR,得到较小的三角因子。
6 完整分解三角因子,按降序取所有奇异值。
7 用头项和总能量求稳定秩,再累计前缀能量。
8 记录首次过阈值的秩,以及预设预算的累计值。
9 若使用近似筛选,保留预算、种子和阈值不确定性。
薄 QR 的等谱性可以从右 Gram 矩阵看出来。若 且 ,则 ,两组奇异值都是这一半正定矩阵的特征值平方根。选样中最宽词表轴为 100,352,隐藏维为 4,096。FP64 的稠密矩阵输入约 3.29 GB,而 的 4,096 平方个数约 134 MB。QR 仍要读取输入并做约 量级的工作。它减少后续 SVD 的行数,也避开先显式构造 Gram 并对条件数平方的矩阵做特征分解。
随机 SVD 用较少随机列近似主导空间,过采样能缓冲截止处的拥挤,幂迭代会加强头部方向。以排名或筛选为目的,头部精度可能足够;利用它判断长尾过阈值,需要看看遗漏的平方能量。作者在附录 E 独立比较 rank-256 与 rank-512 的分解,把 FP64 范数固定后,才分别计算奇异值估计和原先归一化方式的误差。用同一个近似矩阵同时替代分子和分母,容易让被投影掉的能量消失在两个量里。

图 3(原论文图 1)。横轴为奇异分量数,纵轴是累计平方能量。蓝色 PPO query 0 的起始能量高于橙色 MLP down 16,达到虚线所需预算也较小。
把同层结果摊开看
作者在查看近似误差前按形状与层位置选了七个位置,每个位置比较 PPO 和 SFT 各一个端点。清单共 226 个二维矩阵,包括 128 个注意力投影、96 个 MLP 矩阵和两个词表方向的大矩阵。全谱样本覆盖三处 query、两处 up、一处 down 和 embedding。这个设计可以展示反例,也能暴露算法在几种主要形状上的数值问题。要估计 226 个矩阵的统计分布,还需覆盖 key、value、output、gate、输出头和更多深度。
| 矩阵 | PPO 稳定秩 | PPO 80% 秩 | SFT 稳定秩 | SFT 80% 秩 |
|---|---|---|---|---|
| Query 0 | 9.58 | 532 | 1.10 | 1 |
| Query 16 | 18.14 | 1,222 | 1.48 | 255 |
| Query 31 | 18.27 | 1,149 | 1.99 | 599 |
| MLP down 16 | 58.78 | 2,120 | 792.32 | 2,250 |
| Embedding | 1,026.35 | 2,831 | 916.65 | 2,982 |
选自原论文表 2。PPO 从 DPO 起点取差,SFT 从 base 取差。
在 MLP down 16 上,PPO 与 SFT 的稳定秩相差约 13.5 倍,达到同一 80% 目标只相差 130 个分量。SFT 的 query 0 与 query 31 都有个位数稳定秩,阈值秩却由 1 变为 599。在固定总存储下,只按稳定秩为层排序,容易把预算让给错误的层。稳定秩也不显示更新幅度:一张变化极小的矩阵整体乘十,两个秩值都保持不变。做压缩时可同时记下绝对范数、相对原权重范数以及激活加权的残差。

图 4。由原论文表 2 重绘,涵盖全部十四个全谱案例。两坐标都是对数刻度,纵向距离表示预算的倍数差。
把秩换成参数条目也有具体边界。在 的方形矩阵里,两因子用相同精度,奇异值吸收进一侧,条目比约为 。 是约 26%, 是约 60%。对矩形矩阵,可按 核算。实际存储再加量化分组、对齐、索引和运行时常驻成本。若部署在稠密融合权重上执行,压缩更新只减少传输或存盘开销;若将因子保留在请求路径上,额外访存、kernel 启动和跨请求合批也会改变收益。这些运算是把论文数字换单位的算例。
相邻检查点在比较什么
从完整参数向量到 Gram 矩阵
把同一个模型的参数有序展开。第 段位移 表示宽度为 的一次观测。分离距离 是拿它与前第几段比。固定 增大 ,每个向量合入更多更新;固定 增大 ,是在同一窗口粒度上看相隔更远的位移。论文的公共数据按各自的 release step 计时,本地对照按 rollout batch 计时,SFT 则用 optimizer step。相同的整数不自动等于相同曝光。
设 ,对角线是各段平方范数,非对角元素是未归一化点积。把当前段拆成沿上一段的投影和垂直余量:
推导时只需把分解两边与 点乘,垂直项归零。再把分子写成余弦乘两段范数, 就是余弦乘当前段与前段的范数比。同样的余弦 ,若范数比是 0.1,反向分量只有前一段的 2.5%;若范数比是 2,反向分量会达到前段的 50%。例如先走 ,再走 ,余弦约 ,两段合计仍是一个长度约 1.22 的位移。沿某段方向抵消一部分,与总路程或任务效果之间还隔着别的方向。
选不同的保存间隔,可能就变号
若用矩阵 把窄窗口两两相加,宽窗口点积由分配律展开成两组内所有窄窗口交叉项:
宽窗口的范数与余弦要用这个新矩阵重算。直接平均窄窗口已经归一化的余弦,会遗漏不同窄窗口范数和交叉项。图 5 用一维位置示范。位置依次是 ,后续同样交替。细看都是 交错;按两段一组,粗窗口全向前走 1。细粒度相邻余弦为 ,粗粒度为 。起点和终点可以完全一致。

图 5。原创算例。每隔两个点保存一次时,交替摆动消失,只留下固定的正向漂移。
可以再从 Gram 矩阵计算总位移。把每段相加后平方,得到所有对角元素之和加上两倍的上三角和。于是知道相邻点积为负,仍不知道长跨度内合成后的长度。若把端点范数除以总路径长度,这个 内的比值还会反映训练走了多少弯路。对长窗口实验可以把这个比值与位移范数、余弦并列,就能区分几乎原地抖动和带有局部回摆的持续漂移。
算法 2。按参数分块累计方向
下面按论文第 3.3 节整理一套用全坐标测量的伪代码。大模型可以分块读入,无须把每个检查点拼成一整张稠密矩阵。
1 固定检查点顺序、窗口宽度、计时单位和起点。
2 匹配张量;共享参数按独立坐标只计一次。
3 按窗口数初始化 FP64 的 Gram 矩阵。
4 对每张张量,按坐标块读取各检查点的值。
5 扩大精度后相减,每一行放一段局部位移。
6 把此块与自身转置相乘,累加到 Gram 矩阵。
7 取对角范数归一化指定距离的点积,记录配对数。
8 零范数的余弦记无定义;对相邻段另求投影系数。
若窗口数为 ,参数总坐标数为 ,临时坐标块长 ,暂存量按 计;全 Gram 运算量为 ,结果内存为 。只算预选的 个距离可以将运算量降为 ,代价是之后无法用已有结果任意合并窗口。论文对八条保留轨迹重新算全 Gram,六条配对 RL 的在线与检查点余弦最大绝对差约 。附录 G 在 Mistral 上另做内存与检查点口径的对照。我的随机小矩阵按七块划分与一次乘法相差约 ,它只核对了分块恒等式。
原稿的坐标水库抽样在前两百万坐标以后实际没有录入新坐标。坐标顺序通常按张量和块固定,前缀无法代表全模型。附录 F 撤销原有误差估计;改用全坐标后,读到的余弦属于所有纳入的参数。相减与累加用 FP64 可以压低运算舍入,但保存时已经丢掉的位数不会恢复。一次使用 BF16 训练的对照还会改变优化过程本身。两种情况都可能影响角度,需要不同的诊断。
公开模型与 SFT 的时间证据
九个公开阶段的 131 对
原表 3 的相邻对数量分别为 5、12、12、12、12、12、16、43、7,合计 131,对应的余弦全负。均值分布在 OLMoE 的 到 OLMo-2 32B 的 。OLMo-2 发布中有 PPO 也有 GRPO,Olmo-3 行标记为 OlmoRL。按相邻对合并会让 OLMoE 占更高权重;同一模型谱系的连续阶段共用较近的训练历史。相邻的两个余弦还会重复使用中间的位移向量。这 131 对适合描述整张可用检查点表,做显著性推断时不能当作 131 个独立训练试验。
看一段最易复核的轨迹,7B PPO 从 DPO 初始化开始,到 release step 360 每隔 60 取一个末端。距离一有 5 对,平均为 。距离二有 4 对,平均为 ;距离三剩 3 对,平均为 。这说明在该网格上反向集中在相邻。更远只有几个样本,难以精确估计衰减时间。投影系数介于 与 ,即沿前一段反方向大约走了前段范数的 17%–22%。同一行里还存在与前段正交的分量,决定总位移时不能省去。

图 6。按原表 10 重绘,配对数来自原表 4。每条曲线内部宽度不变,两条曲线的时钟不同。
SFT 也能出现负余弦
作者用同一 Tülu-3 混合数据、格式、全 token 损失和学习率日程对比四个模型族。每 500 步测一次,5,000 步为短程结束点,保留预设两 epoch 日程,不在 5,000 步前挤完衰减。端点谱里的 OLMo seed 42 则训练到 29,356 步。在 BF16 基线里,OLMo、Llama 与 Qwen 的相邻对全正。两个 Mistral seed 各有 7/9 对为负,从终点步号 2,000 起出现,均值约 。这个负号与公开 RL 同向,数量级和上下文都有差异。它足以说明只看符号无法反推训练目标。
Llama 的两个后续种子把可训练参数与 Adam 状态改为 FP32,计算仍用 BF16 autocast。全程配对均值从约 +0.238 变为约 +0.021。到步号 3,000 的窗口开始转负,最终五对都为负,全程均值仍被早期较大的正值拉在零以上。附录 G 在若干重分桶宽度上再算相邻,对 1,500 步窗口只覆盖到 4,500,而且只剩两对。拿这些宽度比较时,要同时报告覆盖终点与对数。先看到 Mistral 结果才决定做后续实验,进一步支持它们作为反例的价值,也限制了对更大模型总体的统计外推。

图 7。按原表 16 重绘。FP32 组两条线在终点步号 3,000 首次落到零以下。这里的精度标签指训练配置。
对照实验只改哪些东西
固定优化时钟,保留策略自己的采样
六条本地运行分成种子 42、43、44 三对。全部从 OLMo-2-0425-1B-DPO 起步,用 RLVR-GSM 数学题,同种子对共享提示词流。每个 rollout 取 8 条提示,每条采 8 个响应,总计 64 个;一次训练 pass 把它们分成 8 个 minibatch,共重用 4 次,所以 actor 每轮做 32 次更新。宽度 60 等于 3,840 条响应、1,920 次 actor 更新。所有训练共 360 轮,actor 学习率从 线性衰减,ratio clip 为 0.2,参考 KL 权重为 0.05,提示和响应各上限 2,048 token。可训练参数与 Adam 状态用 FP32,计算用 BF16 autocast。
在 actor 中,论文把响应截到首个 EOS 并保留 EOS,本次 minibatch 的 token 损失和除以有效 token 总数,使微批累积对应同一权重。两种优势方案共享 actor 日程;critic 还要训练另一副主干和一个初值为零的标量头。策略会生成自己的响应,所以每个种子里的 token 数可以向任一方偏移。原表 8 的 seed 43 为 478 万对 586 万,按组相对作分母多了约 22.6%;seed 44 则约 507 万对 478 万。共享提示、响应条数、日程和 actor 更新次数,各能控制一个维度,FLOPs 和有效 token 暴露仍不同。
三个种子对如何得到区间
主要结果在训练前定义:宽度 60,保留端点超过 180 的三对余弦,对应终点 240、300 和 360。每条训练先内部求平均,再在同一 seed 上用 critic 均值减去组相对均值。设差值为 :
原表 5 的组相对均值依次为 0.3178、0.2363、0.2229,critic 为 0.0193、0.0094、0.0060。用显示值计算,差约为 ,原表第三项独立四舍五入为 。把三个值用 2 个自由度求样本方差,乘 分位数约 4.303,得到 和约 。尾数与表中区间的细差来自输入的小数位。统计单位是种子对,三个相邻窗共享的检查点影响早已在每条轨迹的聚合中,重复数不能算成九。

图 8。按原论文表 5 重绘。线段连接共享 seed 和提示流的两条运行,critic 端均向零靠近。
critic 自身区间包括零。取 10、20、40 三种更短的窗宽,晚期配对差也均为负,且同样复用三个种子。这些窗口和超参数解释应当用作描述性观察。宽度 40 的“晚期”按端点筛选,会保留跨过 180 中点的一段。把共享种子看作三个独立符号,在中位数为零、无平局的对称符号模型下,三者同方向的双侧概率为 0.25。Student 区间还使用差值大小并假设种子均值差的分布适合该模型。一起展示原始差值和区间,能让读者判断单个种子对区间的影响。
训练健康检查记录了有限更新、EOS 和达上限比例。固定 32 道留出题贪心解码,起始答对 20,终点各组为 16 到 20。训练时 critic 达上限比例较低,留出题贪心 EOS 完成反而只有 27、28、29 条,组相对全部 32 条;这是两个不同的协议。读数支持在该受控场景下调整轨迹对齐,任务收益仍需更大的数据。本地两组的均值与公开九段一致为负的现象也有明显差距,扩大实验时应在生产配方做配对干预,并保留母配方中的响应预算与优化精度。
近似还会影响哪些结论
稳定秩差很小,阈值秩仍可能报错
在 SFT layer 16 query 上,精确的 为 0.80027920,实际首次过线是 255。基础 rank-256 草图三个种子约为 0.79754、0.79760、0.79759,加大过采样并多做幂迭代后为 0.79972833。全都使用同一个 FP64 分母。加强后的估计距阈值差约 个百分点,完整谱超过约 0.02792 个百分点。这个例子确切地说明,某个近似预算未过线时,仍有可能是谱估计漏掉了足够的能量。本文的筛查建议是记录“该预算尚未判定”。

图 9。按论文附录 E 重绘,横轴是距 80% 阈值的百分点差。完整分解首次过线的整数秩是 255。
论文 14 个案例里,固定 FP64 范数后,用基础配置估计稳定秩的最大相对差约 0.0088%,把原 FP32 范数与分母正则项算在内,旧流程最多差 2.38%。同口径的 rank-512 能量最多差 1.353 个百分点。头部误差和尾部误差由不同谱区段决定,需要独立报告。若有经过误差校验的能量上下界,区间在阈值同一侧时可确认是否够用,区间跨线就继续算。
例如取正交试探基 ,投影系数 ,残差 。对任何列正交的 ,。取使 的前 项最大的 就能给原能量下界。要取上界,可以用全部残差能量替掉第二项:
尾巴很长时,这个上界可能太松,不能替代完整分解。实数恒等式用于有限精度还得检查正交误差与范数估计误差。它给的是一个决定何时升级到完整分解的办法。
怎样稳妥地算小角度
原论文附录 E 的主角度用的是起始权重和终点权重各自的前 64 个左奇异向量,与更新差矩阵的谱属于两个问题。设相应基为 。最大主角的余弦等于 的最小奇异值;把终点子空间投到起点的正交补,可以直接求正弦。利用投影矩阵的幂等性,有
角度为 时, 约为 ,远小于 FP32 在 1 附近的典型间隔。若先把几乎等于 1 的奇异值舍入再做 arccos,容易丢失细微量级。用 FP64 的正交基算投影余量,直接对接近零的正弦读数更有分辨力。PPO embedding 的原估计为 ,完整分解值为 。变化同时涉及原随机子空间与 arccos 精度,不能把差值全归给一个环节。14 个案例里最大绝对差约 ,来自 SFT layer 31 MLP up。若第 64 与 65 个奇异值相近,切出来的子空间也会对小扰动敏感;报告角度时附上边界谱隙,可以判断读数应该保留几位。
可复现的测量要点
如果继续对另一条训练轨迹做分析,我会先整理一份检查点表。每行包括训练阶段、立即参考点、发布标签、优化步、采样轮次、有效响应与 token 数、参数和优化器状态精度。其次列出张量清单、共享关系、存储方向和一维参数的纳入口径。阶段变了或缺失起点时先把缺口标出来,避免后面拿统计差异解释数据输入的差异。
谱部分先用对角矩阵、正交旋转、零更新和高矩阵做四个算术检查。全分解结果保存阈值、前缀、头部和绝对量级;近似先把分母与准确范数对齐,再复核阈值两侧的误差。对相同模型跨层用固定秩和固定能量两套口径,前者保证预算可比,后者展示预算分布。轨迹部分保留 Gram、每个窗口的原始范数和相邻投影,先对少量坐标用直接合成重算,再展到全模型。重分桶时明确偏移、覆盖的末端与实际对数,必要时对两种网格取相同覆盖区间。
对照实验应让 seed 成为每张基础表的行单位,保留同种子两条轨迹的期初、期末以及报告宽度。预先定好一个主要终点,先报差值与暴露量,再补不同宽度的敏感性。附录 B 的协议与 D 的公开清单已经给了许多必要信息。读者还可以从表 7、表 8 对照健康指标和生成 token,避免把“训练输出数相同”误读成“训练成本相同”。
局限
全谱数据选自一个 7B 模型的两个端点与十四张张量。即便同属注意力,query 与 key、value、output 的谱也可能有不同结构。SFT 与 PPO 的初始化、目标、样本和训练时长各异。幂律证明允许低稳定秩与广尾共存,实测各谱是否服从幂律需要另行拟合。论文也没有在截断权重之后评估任务,或直接比较相同存储预算下训练出来的低秩适配器。平方能量靠近阈值时,误差区间、求和精度和定义必须跟着结果一起可查。
公开结果的检查点窗口依赖发布条件,同谱系阶段还有相关性。不同模型、精度和步数单位叠在一起,足以发现共性和反例,难以定位因果机制。SFT 对照包含后补实验,FP32 Llama 同时调整参数和优化器状态,训练时如何舍入与最后如何保存也未拆开。控制实验只有一个 1B 初始化、一个数据源、三个种子和一个很小的质量诊断。它干预的是一整个优势系统。公开部署配方上的效果,以及变化来自 critic、时序归因还是标准化,仍需额外比较。
批判性分析
共用的检查点可能在统计上引入反向项
相邻两段差分都经过中间的检查点,一段把它当终点,下一段把它当起点。设存储向量为 ,那么所测位移为真实位移加 。若作一个简化假设,误差跨时独立、均值为零且与真实位移无关,把相邻噪声点积逐项展开,只有被两次使用的中间误差还是同一个变量:
间距二以上没有共用端点,这个模型下附加点积的期望为零。这个式子只针对分子,噪声也会改变范数;真实舍入误差也未必满足独立。它提供一个能被实测排查的替代解释。保留同一条高精度训练轨迹,在同一时点另存 BF16 副本,先比未归一化点积与范数,再比余弦。若差异集中在相邻窗口,继续测试随位移信噪比与宽度怎样变化。这样可以单独测保存舍入的贡献;改变训练时的参数和 Adam 状态精度,回答的是另一个问题。
建议另外做有偏移的重分桶。宽度固定时,把起始点向后挪半个窗,在共同覆盖区间比较方向和投影。如果只有某个边界出现反向,检查学习率、数据流与环境采样在这段的变化。若多个偏移和保存精度下仍出现同样的曲线,再进一步对不同滞后看信号。公开 7B PPO 只有三到五个对应距离的配对,在小样本内做这种拆解比为符号猜一个确定原因更扎实。
压缩的技术收益应该由输入分布决定
使用截断后的更新 替代 时,给定输入激活 的局部输出误差为 ,其中 。用未中心化二阶矩 把分布纳入,先把向量范数写成迹,再移出期望:
如果 接近单位阵的倍数,未加权截断有合理近似目标。如果主要激活集中在更新的几个尾部方向,删掉能量不大的项也可能伤输出;如果尾部方向在任务分布上很少被激活,80% 的刚性阈值又会浪费预算。我会以上游请求激活做校准,固定总因子字节数,比固定秩、固定能量和加权分解。保持起点与评估样本一致,另报长短上下文、难度分层、模型输出误差和 verifier 结果。把不同预算下主动训练的 LoRA 作为另一条曲线,直接看它是否找到质量更好的低秩解。这样才可回答观察到的谱尾对训练或部署是否重要。
对跨层分配,还可先看更新能量份额。假设两个同尺寸层各只能保留一部分,第一层的平方范数为第二层的 100 倍。就算第一层保留 90%,留下的绝对平方残差仍可超过第二层删掉全部更新。前者对权重误差贡献可能更大,后者对任务是否更敏感再用输入与网络传播估计。单独列每一层的阈值秩会隐藏这些权衡。图 4 中的每个点都应读成一张矩阵内部的分布,不宜直接拿来决定全模型预算。
优势归因需要拆开训练链条
可以在相同 rollout 上分别计算组内标准化、留一基线、完整回报减 critic、不同 的 GAE,再固定优势的白化方式比较同批次的原始梯度。这个冻结批次实验测即时信用分配,在策略继续采样时,还需用配对运行测整个闭环的效应。每次都保存梯度、预条件更新和检查点位移的角度,结合范数和更新步幅,把共享数据、优势系统和优化器的影响分开。
我还会按张量组拆全局点积。全局余弦的分子是各组未归一化点积之和,分母由各组平方范数总和得到。若改为直接平均层余弦,一个能量很小的层就会和 embedding 同权。报每组带符号点积与在两段中的能量份额,可以检验集中度和总体反向是否由少数高能层主导。它还能帮助设计抽样和缩小需要保存的对象,但发布全局读数前仍可用完整坐标做核对。
把全局方向拆成可以复算的层贡献
对两段位移 ,第 个张量组各自有范数 。令总范数为 ,组内余弦为 。相同坐标只能归属一个组,所以不含跨组内积。先把每组内积写成余弦乘范数,再除全局范数,就有
这些权重的和最多为 1。用柯西不等式,两条归一化范数向量的长度各为 1,乘积之和最多为 1。两段的能量分布越不重合,即使每个能算的组内余弦都接近 1,全局余弦也可能很小。这个性质提供第三种解释:方向变得分散,既可能由同一组内部转向,也可能由哪组在动发生迁移。
比如上一段的两组范数是 ,下一段是 。即使每组都完全同向,两组分子都是 3,总范数积为 10,全局余弦仍只有 0.6。若第二组改成完全反向,两组分子相消,全局余弦变为零。另取两段范数都为 ,第一组余弦 ,第二组余弦 ,朴素平均可得 ,全局却是 。上面说“按组报告”时,实际要保存的是组范数、组点积以及它如何进入全局分子。零范数组对点积的贡献自然为零,其组内余弦留空即可。
这套拆解还可用来核查不同尺寸模型的比较。一个被许多层共同推动的负值,与几个特别大的矩阵把负值压到全局,代表两种不同的轨迹。只报最大贡献组也会遗漏正负抵消。可以把表按有符号点积列正负两侧,同时注明在当前窗和上一窗分别占多少能量。若要汇总多个种子,可先在每个种子和窗口重构全局值,再报告各组贡献的分布;直接把矩阵平均以后再计算角度会改变被比较的量。
从固定能量阈值走向固定总预算
前面的激活加权也可以写成一个明确的低秩问题。在单层线性近似里,若 可逆,只考虑秩约束而且没有额外结构限制,对 做秩 截断,再右乘 ,就得到最小化该层期望输出平方误差的一个解。原因是右乘可逆矩阵保持秩,一旦把候选更新替换为候选更新乘 ,目标便变成普通的 Frobenius 截断。若 病态,应先检查低特征值空间里估计是否稳定,或用小的对角正则再做求逆。若 奇异,损失对其零空间不敏感,满足目标的因子也可能不唯一。
一个两维的说明性例子会让层内排序发生反转。令更新矩阵对角线为 ,输入二阶矩对角线为 。平方权重能量分别为 100 和 1;改看平方输出贡献则为 0.1 和 4。一个秩只够留一项,按权重谱会留 10,按校准激活会留 1。换一个激活分布,排序也可能再变。这个例子没有估计端到端质量,它明确了为什么简单把 80% 权重能量作为所有层的硬约束,有机会同时低估和高估不同层的需要。
若硬件允许为每层分配不同整数秩,可以收集每个额外分量的平方输出收益与存储代价。相同的矩阵尺寸使每增加一阶的代价相同,此时按边际收益排序有直观解释。矩形层、不同精度和后备稠密 kernel 具有不同代价,逐层按同一能量截断并不能保证满足全局字节或延迟约束。多一阶还可能跨过 kernel 的对齐台阶。实践中可以先列出有限个可执行秩数,逐组比较固定总字节下的预测残差,再用真实任务和时延决定落在哪点。这个工作把原论文的测量作为输入,实际压缩策略仍需另做对照。
结论
这篇论文把三类证据接在了一起。幂律构造解释小稳定秩为何能与很大的截断预算共存,完整谱在几类 OLMo 更新上给出可核对的实数。九段公开轨迹的负余弦属于指定保存网格;三对种子的干预说明在共享 actor 日程下,切换优势系统能把晚期方向对齐降低到接近零。读类似结果时,我会先记清被相减的权重、能量的分母和窗口时钟,再问测量误差够不够改变结论。决定压缩预算时还要接上输入分布与任务质量,解释训练方向则应加上范数、投影和多种宽度。
参考资料
- Khalil、Hoque,所读论文 v1。证明见附录 A,训练协议见 B–D,数值复核与更正见 E–F,SFT 设置见 G。
- Hu 等,LoRA。低秩训练端点与先训练再截断的背景。
- Schulman 等,GAE、PPO。时序信用与裁剪目标的技术背景。
- Halko、Martinsson、Tropp,Finding Structure with Randomness。随机投影和幂迭代的背景。