Together AI, Turbo & Kernel
2024 年 5 月—至今导师： Ben Athiwaratkun （Together AI 高级研究科学家） · Shuaiwen Song （Together AI 研究副总裁）
Together Post-Training
支持自定义训练循环、Multi-LoRA 与全参数训练的 RL/SFT 服务。
Dissecting NVIDIA Blackwell and Blackwell Ultra: a multi-level microbenchmark study
Differentiable harness
Learning token-population geometry for sparse mixture-of-experts
QATFactory: a versatile, deployment-aligned framework for quantization-aware training and distillation of LLMs
QuantProxy: evaluating cheap proxies for quantized LLMs
Hadamard rotation for NVFP4 KV caches: no measurable gain and a zero-code penalty
When does a speech model know to hand off? Reading competence from hidden states for real-time escalation (NeurIPS 2026 Workshop RTCA)
ColdGPTQ: document-diverse calibration and count-adaptive damping for MXFP4 MoE quantization
On-policy residual learning for diffusion language models (ORL)
研究动机。 扩散解码中，残差预测随模型变化，过时的离线残差难以匹配推理时实际遇到的状态。
具体贡献。
- 共同指导 ORL，将实时残差轨迹与熵收缩相结合，并协同设计扩散语言模型的训练与推理系统。
Orthus + Loop model
FoldDecoding: accelerating decode attention over 2- and 4-bit KV caches through affine folding
Tail-likelihood reinforcement learning (TailRL)
研究动机。 最大化期望奖励的强化学习可能忽略稀有的高奖励轨迹，从而限制策略改进，以及增加推理采样次数所能带来的收益。
具体贡献。
- 设计尾部似然与有限轨迹优势估计，使稀有高奖励结果在策略优化中持续发挥作用。
- 建立评估方案，在 Pass@k、Best-of-k 与测试时扩展行为上比较 TailRL 和期望奖励基线。
Mix architecture speculator
Scaling law of speculators
LCFS
研究动机。 多租户大模型服务需要在共享实例与集群之间实现分层公平性和性能隔离，同时保持吞吐。
具体贡献。
- 参与分层公平性、类 vruntime 计量和跨分布式服务实例权重分配的设计讨论。
- 参与多租户大模型服务负载下的性能隔离与公平性评估实验。
AgentGo
研究动机。 工具使用智能体在长上下文推理与外部动作间切换；以请求为中心的运行时可能过早驱逐有用的 KV 状态，或因保留过久而浪费显存。
具体贡献。
- 共同提出将多轮智能体工作流视为一等程序，而非孤立请求的核心思路。
- 参与构建从遥测、影子预测到离线回放、可观测性及配置控制的运行时集成路径，支持预测感知调度。
Taylor-Calibrate
研究动机。 将预训练 Transformer 转换为混合线性注意力模型并不稳定，因为复制投影权重无法初始化新的循环衰减、写入门和输出门动态。
具体贡献。
- 主导 Taylor 引导初始化方法，通过校准值投影、循环时间尺度、写入门与输出门，将预训练 Transformer 转换为混合线性注意力学生模型。
- 提出两阶段校准流程，将 Taylor 推导的教师注意力统计与简短的逐层局部对齐结合。
- 设计消融实验，分析不同 GDN 门控选择及保留层策略下的初始化敏感性。
- 在多个模型家族中评估转换效果，获得更强的零样本学生模型，并将达到相同恢复目标所需的训练 token 减少 4.9–9.2 倍。
- 发布开源代码，利用 Taylor 级数引导初始化与分阶段蒸馏，将 Qwen/Llama Softmax 注意力 Transformer 转换为基于 GatedDeltaNet 的混合线性注意力学生模型。
Agent Evolve
研究动机。 现有大模型多智能体系统在部署后通常保持静态，缺乏智能体、技能及群体层面的持续适应机制。
具体贡献。
- 构建受生物启发的大模型多智能体框架，结合信息素式记忆、进化分工与技能继承，支持开放式群体适应。
- 通过竞争、选择和跨代策略迁移，研究群体层面的适应能力。
OSCAR (NeurIPS 2026)
研究动机。 INT2 KV Cache 量化可显著降低长上下文推理显存，但通用旋转与下游注意力不匹配，朴素 INT2 量化常导致准确率崩溃。
具体贡献。
- 主导面向 2-bit KV Cache 量化的离线谱协方差感知旋转方法，校准注意力感知的键值旋转和裁剪阈值。
- 推导由注意力诱导的键和值协方差目标，并参与冻结误差代理目标的理论分析。
- 设计混合精度推理策略：用 BF16 保留注意力汇聚 token 与近期 token，并以固定旋转量化历史 token。
- 参与设计兼容 SGLang、基于 Triton 内核的 INT2 推理路径，在接近 BF16 精度时将 KV 显存约减少 8 倍，大批量吞吐最高提高约 7 倍。
- 推动开源采用：首月获得 500 多个 GitHub Star，支持 llama.cpp 本地部署；社区推动 vLLM 集成，使旋转式 KV Cache 量化进入主流推理框架。
- 论文发表于 NeurIPS 2026；获 Towards AI、MarkTechPost、ModelScope、量子位和机器之心报道，跨平台阅读量超过 10 万。
SmartKV
I-DLM (COLM 2026)
研究动机。 扩散语言模型可并行生成，但往往缺乏内省一致性与实用推理支持，在质量和吞吐上与自回归模型仍有差距。
具体贡献。
- 参与构建内省式扩散语言模型的推理路径，复用自回归模型服务优化，同时支持内省式跨步解码。
- 参与固定批次调度与推理服务评估，在达到同规模自回归模型质量的同时，较已有扩散大模型服务基线实现约 3 倍吞吐。
Squeeze Evolve (COLM 2026)
研究动机。 递归自聚合可提升推理质量，但均匀分配生成与聚合算力会在简单任务上浪费资源，在困难任务上投入不足。
具体贡献。
- 参与构建递归自聚合的多模型编排方法，依据跨模型置信度在大小模型之间分配生成与聚合任务。
- 负责代码基准执行与评估流程，尤其是 LiveCodeBench V6；支持 AIME 2025 和 HMMT 2025 上的路由阈值及聚合行为消融实验。
- 在相同准确率下减少 30%–40% 计算量，或在相同计算量下提升 5–7 个百分点的准确率。
- 论文获 COLM 2026 接收。
SAW-INT4
研究动机。 KV Cache 显存是实际大模型服务的重要瓶颈，但许多压缩方法破坏分页缓存布局、规则内存访问或融合注意力内核；我们的目标是在部署约束下实现简单实用的 INT4 方案。
具体贡献。
- 参与面向真实大模型服务的系统感知 INT4 KV Cache 量化研究，发现逐 token INT4 与块对角 Hadamard 旋转可取得实用的精度与效率平衡。
- 支持分页 KV Cache 服务中的旋转与量化融合内核集成，保持朴素 INT4 的吞吐，同时恢复其损失的大部分精度。
Osprey (EMNLP 2026)
研究动机。 从特定目标模型轨迹中从零训练草稿模型，受训练预算限制，也难以迁移到其他目标模型。
具体贡献。
- 共同完成 Osprey，通过目标无关预训练及目标特定适配，从预训练小语言模型构建更强且可迁移的草稿模型。
XoRL
研究动机。 为编程与推理智能体构建 RL/SFT 训练栈，不仅需要模型微调，还需要连接沙箱环境、分布式轨迹采样与多节点训练和推理服务，并在长上下文、MoE 及快速变化的模型版本下保持稳定。
具体贡献。
- 构建了训练侧强化学习框架的主要部分，包括智能体 PPO 训练器、异步采样与流水线训练路径，以及将多轮智能体和环境交互转换为 PPO/GRPO 训练批次的执行流程。
- 负责编程智能体后训练流水线，接收轨迹、计算优势、更新策略，并同步轨迹采样模型权重。
- 实现异步轨迹采样、回放队列小批量划分，以及采样与训练节点之间的路由辅助组批，使轨迹生成与策略优化重叠。
- 开发轨迹与数据变换、逐 token 损失掩码、逐步与整轨迹优势处理、拒绝采样及批次平衡，改善 GRPO 信号质量与训练稳定性。
- 使用 Ulysses 序列并行、去填充、分块 Prefill 和逐 GPU token 预算调优，将 DeepCoder 与 DeepScaleR 类训练扩展至 16K–32K 上下文。
- 在训练栈中实现序列并行（SP）兼容，使长上下文后训练正确处理分布式注意力、打包序列及从采样到训练的数据流。
- 构建兼容 SP 的 MoE-LoRA 内核路径，在保持序列并行执行的同时支持专家模型的高效分布式后训练。
- 将 QuACK 融合内核集成到 XoRL，改善内核效率并支持更高吞吐的后训练方案。
- 增加 Qwen3.5 支持，完成配置、训练路径和分布式方案适配，支持可靠实验。
- 诊断并修复多节点训练中的 position_ids、cu_seqlens、注意力掩码及 MoE 分发问题，提升不同模型家族分布式训练的稳定性。
CoderForge
研究动机。 高质量编程智能体需要优质轨迹数据、稳定的后训练流水线，以及与代码生成任务一致的优化目标。
具体贡献。
- 主导 OpenHands R2E-Gym 与 SWE-Bench 规模数据的训练流水线，筛选高信号 SWE-smith / Rebench 样本，并修复 XoRL 的注意力掩码与位置 ID 问题。
- 通过监督微调与激活蒸馏，将 Qwen3-480B 轨迹迁移到 30B 编程模型，并启动 Qwen3-30B 的 MoE/RL 扩展，以提升 SWE-Bench 解题率。
- 为编程轨迹蒸馏与模型质量改进设计逐 token 损失。
CREST (Turbo-reasoning)
研究动机。 推理模型在测试时常思考不足或过度思考，浪费 token 或错过正确答案；我们的目标是构建可部署到主流推理框架的免训练干预方法。
具体贡献。
- 共同提出免训练的测试时引导方法，识别并调节认知注意力头，在推理基准上最高提升 17.5% 准确率，并减少 37.6% token 用量。
- 设计将 CREST 集成至 vLLM 和 SGLang 的部署路径。
Ladder-Residual
研究动机。 张量并行的大模型推理常受通信等待和通信计算重叠不足影响；我们的目标是在不牺牲模型质量的前提下，通过架构与运行时协同设计改善吞吐。
具体贡献。
- 共同提出并行感知残差设计，并参与论文系统方案与评估设计。
- 使用 CUDA Graphs 与 PyTorch compile（reduce-overhead）实现并优化 gpt-fast 大模型推理路径。
- 在 1B–405B 模型及 TP=1、2、4、8、16 下进行性能测试。在 70B 模型上，启用 P2P 时端到端吞吐最高提升 30%，禁用 P2P 时最高提升 60%。
CARE
研究动机。 MLA 类注意力可改善推理效率，但大多数预训练检查点使用 GQA/MHA，无法直接受益；我们的目标是在保持质量的同时降低推理成本。
具体贡献。
- 提出将预训练注意力升级为兼容 MLA 形式的核心思路与实证研究方案。
- 提出将预训练注意力（如 GQA）转换为多头潜在注意力（MLA）的流程，在不增加 KV Cache 大小的前提下加速推理。
- 完成全套实验、vLLM 集成与理论分析。
LEXICO
Pulsar / SGLang
研究动机。 高吞吐推理服务需要降低 KV 开销，并在不同缓存命中模式、批量大小和多节点部署中保持推测解码稳定。
具体贡献。
- 应用 Swift-KV 缓存策略，减少 KV 显存开销，加速 Prefill 并改善端到端延迟。
- 为 Pulsar 中的 Phoenix 推测模型设计并实现 KV Cache 提示缓存，稳定接受率并降低端到端延迟。
- 修复 tokenizer 聊天模板和 Docker 部署问题，保证多节点运行；测试不同批量与缓存命中场景，分析接受率变化并优化缓存命中逻辑。
- 集成并实现 Llama 4 滑动窗口注意力支持。
Axolotl
具体贡献。
- 将长上下文注意力（Ulysses、Ring Attention）集成到 Axolotl，并支持从成功轨迹到 SFT 的数据流，将监督后训练扩展到更大上下文窗口。
