周中柱（Charlie）

关于我

我在 Together AI 的 Turbo & Kernel 团队担任高级研究科学家，由 Ben Athiwaratkun 指导。

我博士毕业于悉尼大学工程学院计算机科学学院，导师是 Shuaiwen Leon Song 教授。我曾在 Dolby、DeepSpeed（微软）、腾讯微信事业群和微软（中国）实习，参与机器学习系统研发。2019–2022 年，我在中山大学计算机科学与工程学院担任研究助理，导师是 Dan Huang 教授。我于 2019 年获得中山大学计算机科学与工程学院工学学士学位。

研究亮点

我的研究聚焦高效模型架构、后训练与强化学习、量化、机器学习引擎与系统基础设施，以及智能体。 如果有契合的合作方向，欢迎 联系我.

完整项目介绍请见 研究 页面。

代表项目

2026

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

量化 · NeurIPS 2026

通过感知注意力的离线旋转与裁剪，将 Qwen3-4B/8B/32B 和 GLM-4.7-FP8 的长历史 KV Cache 压缩至每元素 2.28 bit，KV 显存约减少 8 倍，大批量吞吐最高提高约 7 倍。在 8B / 32B / 358B 模型上，与 BF16 的平均准确率差异仅为 1.42 / -0.02 / +0.27。提供基于 Triton 内核的 SGLang INT2 推理路径。

Zhongzhu Zhou*, Donglin Zhuang*, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

论文 项目 代码 Hugging Face

On-Policy Residual Learning for Diffusion Language Models (ORL)

扩散语言模型 · arXiv 2026 · 审稿中

从实时生成的残差轨迹中学习，并通过熵收缩改善扩散解码。在 QwenDLM（4B）上，ORL 在质量相当或更高的情况下，每次前向传播生成的 token 数最高提高 6.2 倍，结合 dlmrt 的端到端吞吐约提高 6.9 倍。

Yifan Yu, Yuqing Jian, Jisen Li, Yuezhou Hu, Tianyi Zhang, Xiaoxia Wu, Rui-Jie Zhu, Junxiong Wang, Zhongzhu Zhou, Fan Lai, James Zou, Chenfeng Xu

论文 项目 代码 代码（推理引擎） Hugging Face

展开 2026 年的其他 9 个项目

Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding

推测解码 · EMNLP 2026

通过与目标模型无关的预训练和面向目标模型的适配，从预训练小语言模型构建更强的草稿模型。同一预训练骨干可迁移到 Qwen3、Llama 和 MiniMax 等目标模型。

Fengxiang Bie, Yuqing Jian, Yifan Yu, Zhongzhu Zhou, Zelei Shao, Ben Athiwaratkun, Shuaiwen Leon Song, Chenfeng Xu, Xiaoxia Wu, Tianyi Zhang

论文 代码 Hugging Face

Tail-Likelihood Reinforcement Learning

强化学习 · arXiv 2026 · 审稿中

TailRL 优化奖励超过各阈值的对数概率，突出稀有的高奖励轨迹；通过可直接替换的优势估计器，使策略训练与 Best-of-k 推理时扩展保持一致。

Shrinivas Ramasubramanian, Daman Arora, Fahim Tajwar, Guanning Zeng, Qingyang Wu, Zhongzhu Zhou, Chenfeng Xu, Haiwen Feng, Yuda Song, Aarti Singh, Ruslan Salakhutdinov, J. Andrew Bagnell, Jeff Schneider, Andrea Zanette

论文 项目 代码

I-DLM: Introspective Diffusion Language Models

高效推理

首个达到同规模自回归模型质量的扩散语言模型。内省式跨步解码（ISD）在一次前向传播中同时验证已有 token 并生成新 token。I-DLM-8B 的参数量仅为 LLaDA-2.1-mini（16B）的一半，在 AIME-24 和 LiveCodeBench-v6 上分别提升 26 和 15 个百分点，吞吐提高 2.9–4.1 倍。结合门控 LoRA，R-ISD 相对基础自回归模型实现逐比特无损。

Yifan Yu, Yuqing Jian, Junxiong Wang, Zhongzhu Zhou, Donglin Zhuang, Xinyu Fang, Sri Yanamandra, Xiaoxia Wu, Qingyang Wu, Shuaiwen Leon Song, Tri Dao, Ben Athiwaratkun, James Zou, Fan Lai, Chenfeng Xu

论文 项目 代码 Hugging Face

Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution

高效推理

面向无验证器进化的统一多模型编排：依据跨模型置信度，在大小模型间分配生成与聚合任务。发表于 COLM 2026。

论文 项目 代码

Aurora: When RL Meets Adaptive Speculative Training — A Unified Training-Serving System

推测模型训练系统 · ICML 2026

统一训练与推理服务，从在线推理轨迹持续学习推测模型，形成闭环。支持首日部署；在 MiniMax M2.1 和 Qwen3-Coder-Next 上加速 1.45 倍，相较静态推测模型加速 1.25 倍。

Junxiong Wang*, Fengxiang Bie*, Jisen Li, Zelei Shao, Yubo Wang, Yinghui Liu, Qingyang Wu, Avner May, Sri Yanamandra, Ce Zhang, Tri Dao, Percy Liang, Ben Athiwaratkun, Shuaiwen Leon Song, Zhongzhu Zhou, Chenfeng Xu, Xiaoxia Wu

论文 项目 项目 代码

XoRL

强化学习训练系统

面向推理模型与编程智能体的可扩展强化学习训练系统，包括智能体 PPO 训练器、异步轨迹采样、兼容序列并行的 MoE-LoRA 内核，以及最长 32K 上下文训练。XoRL 与 SGLang 的训练和推理 logprob 逐比特一致（零偏差）。

Ashwinee Panda, Zhongzhu Zhou, Qingyang Wu, and the XoRL team

项目（英文） 项目（中文） 项目文档 代码

CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention

高效推理 · ICLR 2026

基于协方差的低秩分解，将预训练 GQA/MHA 转换为 MLA。在 Llama-3.1-8B/70B 与 Qwen3-4B/30B 上，相同 KV 预算下的一次性转换困惑度最多降低 215 倍，平均准确率提高至 1.70 倍。

Zhongzhu Zhou, Fengxiang Bie, Ziyan Chen, Zhenyu Zhang, Yibo Yang, Junxiong Wang, Ben Athiwaratkun, Xiaoxia Wu, Shuaiwen Leon Song

论文 项目 代码

CoderForge-Preview

模型研发 · Together AI 博客

包含来自 1,655 个代码仓库、51K 个任务的 258K 条经测试验证的编程智能体轨迹（155K 成功 / 103K 失败）。微调 Qwen-3 32B 后，在 SWE-Bench Verified 上达到 59.4% pass@1，在不超过 32B 的开放数据模型中排名第一。

Alpay Ariyak*, Junda Zhang, Junxiong Wang, Shang Zhu, Federico Bianchi, Sanjana Srivastava, Ashwinee Panda, Siddhant Bharti, Chenfeng Xu, John Heo, Xiaoxia Shirley Wu, James Zou, Percy Liang, Leon Song, Ce Zhang, Ben Athiwaratkun, Zhongzhu Zhou*, Qingyang Wu*

项目 Hugging Face

KITTY: Accurate and Efficient 2-bit KV Cache Quantization with Dynamic Channel-wise Precision Boost

量化 · MLSys 2026

动态通道精度增强仅将少量 K-cache 通道保留为 4 bit，其余量化为 2 bit。KV 显存约减少 8 倍，支持最高 8 倍的批量大小；在相同显存下，吞吐提高 2.1–4.1 倍。

Haojun Xia, Xiaoxia Wu, Jisen Li, Robert Wu, Junxiong Wang, Jue Wang, Chenxi Li, Aman Singhal, Alay Shah, Alpay Ariyak, Donglin Zhuang, Zhongzhu Zhou, Ben Athiwaratkun, Zhen Zheng, Shuaiwen Leon Song

论文 代码

2025

Ladder-Residual: Parallelism-Aware Architecture for Accelerating Large Model Inference with Communication Overlapping

高效推理 · ICML 2025

通过架构修改解耦张量并行中的通信与计算。在 TP=8 的 70B Transformer 上实现 29% 的端到端运行时间加速。纯 PyTorch 实现，无需定制 CUDA 内核。

Muru Zhang, Mayank Mishra, Zhongzhu Zhou, William Brandon, Jue Wang, Yoon Kim, Jonathan Ragan-Kelley, Shuaiwen Leon Song, Ben Athiwaratkun, Tri Dao

论文 代码

2024

CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning

高效训练 · NeurIPS 2024

基于协方差导向分解的 SVD 构建任务感知适配器。支持知识保留模式（缓解遗忘，优于 LoRA）与指令预览模式（达到全量微调效果，优于 LoRA、DoRA 和 PiSSA）。

Yibo Yang, Xiaojie Li, Zhongzhu Zhou, Shuaiwen Leon Song, Jianlong Wu, Liqiang Nie, Bernard Ghanem

论文 代码 Hugging Face

展开 2024 年的其他 2 个项目

Quant-LLM: Accelerating Large Language Model Serving via FP6-Centric Algorithm-System Co-Design on Modern GPUs

量化 · USENIX ATC 2024

TC-FPx 是首个统一支持 FP6 及任意位宽 Tensor Core 计算的全栈 GPU 内核方案。相较 FP16，推理吞吐提高 1.69–2.65 倍，并支持单 GPU 运行 LLaMA-70B。

Haojun Xia, Zhen Zheng, Xiaoxia Wu, Shiyang Chen, Zhewei Yao, Stephen Youn, Arash Bakhtiari, Michael Wyatt, Donglin Zhuang, Zhongzhu Zhou, Olatunji Ruwase, Yuxiong He, Shuaiwen Leon Song

论文 代码

Flash-LLM: Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

量化 · VLDB 2024

面向 GPU Tensor Core 的非结构化稀疏 SpMM，采用“稀疏加载、稠密计算”（LSCD）方法。内核性能较 Sputnik 提升 2.9 倍，在 OPT 模型上相较 DeepSpeed 的端到端性能最高提升 3.8 倍。

Haojun Xia, Zhen Zheng, Yuchao Li, Donglin Zhuang, Zhongzhu Zhou, Xiafei Qiu, Yong Li, Wei Lin, Shuaiwen Leon Song

论文 代码

2023

DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales

强化学习训练系统 · DeepSpeed

复现 InstructGPT 的端到端 RLHF 训练流程。在 8 张 A100 上训练 6.7B 模型约需 4.1 小时、132 美元；训练 66B 模型约需 2.1 天、1,620 美元。

Zhewei Yao, Reza Yazdani Aminabadi, Olatunji Ruwase, Samyam Rajbhandari, Xiaoxia Wu, Ammar Ahmad Awan, Jeff Rasley, Minjia Zhang, Conglong Li, Connor Holmes, Zhongzhu Zhou, et al.

论文 项目 代码

2020

JSidentify: A Hybrid Framework for Detecting Plagiarism Among JavaScript Code in Online Mini Games

软件工程 · ICSE 2020

用于 JavaScript 小游戏抄袭检测的混合框架。结合 V8/Ignition 字节码上的编辑距离与网络流方法，并通过优先队列框架整合检测算法。已部署于腾讯。

Qun Xia, Zhongzhu Zhou, Zhihao Li, Bin Xu, Wei Zou, Zishun Chen, Huafeng Ma, Gangqiang Liang, Haochuan Lu, Shiyu Guo, Ting Xiong, Yuetang Deng, Tao Xie

论文（DOI） 论文 报告

最新动态

• 2026/10/28
  荣誉 获得 OpenKernelChallenge 的 Prefill 任务排行榜第一名！ 排行榜
• 2026/10/28
  报告 我将于 2026 年 11 月 20–21 日在北京举办的奇点智能大会·C++ 及系统软件技术大会演讲，主题为“不止于论文：2-bit KV Cache 的工程落地之路”。期待与大家见面！ 会议官网
• 2026/10/22
  活动 我们将于 10 月 26 日在 EMNLP 2026 主会展示 Osprey，期待与大家见面！ 论文
• 2026/10/19
  论文 论文 ORL：On-Policy Residual Learning for Diffusion Language Models 已上线 arXiv，目前审稿中。项目、代码、推理引擎与模型均已公开。 论文项目代码代码（推理引擎）Hugging Face
• 2026/10/19
  项目 Together Post-Training 正式发布！支持灵活的 RL 与 SFT、自定义训练循环、Multi-LoRA 和全参数训练。很高兴分享我们团队的工作。 项目代码（Cookbook）

更多动态请见 完整归档 。

工作经历

Together AI

美国旧金山

高级研究科学家，Turbo & Kernel 2024 年 5 月—至今

FutureMLS — 非营利研究实验室

美国旧金山

创始人 & 首席研究员（PI） 2026—至今

Dolby

澳大利亚悉尼

研究实习生 2024 年 3 月—2024 年 9 月

微软 DeepSpeed 团队

澳大利亚悉尼及远程

研究实习生 2023 年 3 月—2024 年 2 月

腾讯微信事业群 & UIUC

美国香槟市 + 中国广州

技术架构研究实习生 2018 年 7 月—2020 年 7 月

微软（中国）有限公司

中国广州

高级云架构师项目助理 2018 年 9 月—2019 年 2 月

教育背景

悉尼大学（USYD）

澳大利亚悉尼

哲学博士（Ph.D.） 2022 年 10 月—2026 年 2 月

平均绩点： 4.0/4.0（High Distinction）

奖励： 优秀研究进度评估；APR Intern Program 奖学金；京东人工智能研究奖学金。

悉尼大学（USYD）

澳大利亚悉尼

访问学者 2022 年 3 月—2022 年 10 月

中山大学（SYSU）

中国广州

研究助理 2019 年 9 月—2022 年 3 月

平均绩点： 3.41/4.0

奖励： 海外研究资助；三次三等奖学金；一次二等奖学金。

伊利诺伊大学厄巴纳-香槟分校（UIUC）

美国香槟市 + 中国广州

暑期项目学生 2018 年 6 月—2018 年 9 月

奖励： 伊利诺伊计算机科学暑期研究项目。

中山大学（SYSU）

中国广州

计算机科学与技术工学学士 2015 年 9 月—2019 年 6 月

平均绩点： 3.9/4.0

奖励： 国家奖学金；研究荣誉学位；两次一等、一次二等奖学金；多项竞赛奖项。

专业服务

• 会议审稿人： IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2027); The Fifteenth International Conference on Learning Representations (ICLR 2027); Fortieth Conference on Neural Information Processing Systems (NeurIPS 2026); The 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026); The 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026); The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026); Thirty-ninth Conference on Neural Information Processing Systems (NeurIPS 2025); Thirty-seventh Conference on Neural Information Processing Systems (NeurIPS 2023)
• 期刊审稿人： IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI); IEEE Transactions on Computers
• 程序委员会： 1st International Workshop on Sustainable and Efficient Language, Vision, and Action Models (SELVA 2026) at ACL 2026; Computer Science Research Methods (CSRM 2023), The University of Sydney; Artifact Evaluation Committee, ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS 2024)
• 网站主席： 32nd IEEE International Symposium on High-Performance Computer Architecture (HPCA 2026)
• 学会会员： IEEE (ID: 97841404); ACM (ID: 6708618); China Computer Federation (CCF; ID: B8293G)

代表论文

高效机器学习算法与系统方向的近期及代表性成果。

• 2026
  OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

  NeurIPS CORE A*CCF A 论文项目代码Hugging Face
• 2026
  Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

  NeurIPS CORE A*CCF A 论文
• 2026
  Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding

  EMNLP CORE A*CCF B 论文代码Hugging Face
• 2026
  I-DLM: Introspective Diffusion Language Models

  COLM CORE A* 论文项目代码Hugging Face
• 2026
  Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution

  COLM CORE A* 论文项目代码
• 2026
  When RL Meets Adaptive Speculative Training: A Unified Training-Serving System

  ICML CORE A*CCF A 论文项目项目代码
• 2025
  Ladder-Residual: Parallelism-Aware Architecture for Accelerating Large Model Inference with Communication Overlapping

  ICML CORE A*CCF A 论文代码
• 2024
  Quant-LLM: Accelerating the Serving of Large Language Models via FP6-Centric Algorithm-System Co-Design on Modern GPU

  USENIX ATC CORE A*CCF A 论文代码
• 2023
  DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales

  arXiv 论文项目代码
• 2021
  Binary Neural Network for Automated Visual Surface Defect Detection

  Sensors (MDPI) CORE ACCF B 论文
• 2020
  JSidentify: A Hybrid Framework for Detecting Plagiarism Among JavaScript Code in Online Mini Games

  ICSE CORE A*CCF A 论文论文报告

更多动态请见 完整论文列表 或 Google Scholar 主页.

特邀报告

• Efficient AI That Keeps Learning and Improving - Architectures, Post-Training, and Adaptive Inference GlobalAI-2026 — 悉尼大学 · 2026 年 10 月 5 日 · 观看
• Toward AGI: Efficient Compression across the Data–PostTraining–Inference Loop Pluralis Research — 线上特邀技术报告 · 2026 年 9 月 30 日
• Aurora: Adaptive Speculative Training as Online Reinforcement Learning Cornell RL Seminar Weekly · 2026 年 8 月 1 日
• Compression-Centric Systems for Large-Model Post Training & Inference Amazon · 2026 年 7 月 22 日
• Frontier Research: Scaling Agentic RL & Verified Reasoning AI-tonomy Summit（模型与智能体）— AI Researcher Forum，美国硅谷 Plug and Play Tech Center · 2026 年 6 月 5 日 · 观看
• I-DLM: Introspective Diffusion Language Models 蚂蚁集团 · 2026 年 4 月
• CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention ICLR（国际学习表征会议）2026 · 2026 年 4 月
• Panel Discussion: AI in Cross-Border Digital Technologies Infrastructure Platforms & Global Launchpads 跨境数字技术生态中的 AI：基础设施、平台与全球孵化平台 · 2025 年 11 月 20 日
• JSidentify: A Hybrid Framework for Detecting Plagiarism Among JavaScript Code in Online Mini Games ICSE（国际软件工程会议）· 2020 年 7 月 11 日 · 观看

代表奖项

• [2024] 悉尼大学 APR Intern Program 奖学金（SC3600）
• [2022] 悉尼大学京东科技人工智能研究奖学金
• [2021] 中山大学海外访学与合作研究项目资助
• [2019] 中山大学研究荣誉学位
• [2018] 微软黑客松华南区三等奖
• [2018] 中山大学一等奖学金（专业前 5%），两次（2015–16、2017–18）
• [2017] 美国 COMAP 数学建模竞赛 Meritorious Winner
• [2017] 中山大学学生创新软件开发竞赛二等奖
• [2017] 中山大学 ACM-ICPC 三等奖
• [2016] 国家奖学金（专业第一名），中国
• [2013] 全国青少年信息学奥林匹克联赛（NOIP）二等奖，长郡中学

教学

COMP3520：操作系统原理 —— 悉尼大学助教，2023 年秋季。