研究

研究概览

基础模型的能力持续增强，但训练、适配与部署的成本和复杂度也在上升。我关注算法与系统协同设计：通过模型架构、后训练目标、压缩方法和系统设计，让前沿模型更强、更高效，也更适合规模化应用。

以下四个方向紧密相连，覆盖模型与学习目标、底层内核、运行时和推理基础设施，并延伸至编程、工具使用与科学研究智能体。我重视开放、可复现的研究，同时改善模型质量与实际可用性。论文详情与作者信息请见代表论文或我的 Google Scholar 主页。

我关注在不牺牲模型能力的前提下降低生成成本的架构设计。核心问题是如何通过注意力、残差路径、路由与推测模型提高并行度，减少通信与 KV Cache 开销，并加速推理。

我研究如何在控制显存与计算开销的同时改进预训练后的模型，包括稳定的强化学习目标、损失函数与扩展规律分析，以及在实际推理约束下保持精度的低比特权重、激活与 KV Cache 量化。

我构建端到端训练与推理服务，将高效算法转化为实用系统，尤其关注异步 RL、训练与推理闭环、KV 基础设施、调度，以及内核、运行时和集群层面的多租户隔离。

我探索如何用高效机器学习基础设施支撑编程、工具使用与科学研究智能体，改善轨迹质量、自适应能力、协作和可复现性，同时降低训练与实际部署成本。

期待合作

如果你关注高效机器学习系统、大模型训练与推理基础设施、量化或编程智能体，欢迎通过 zhongzhu.zhou@sydney.edu.au 联系我。按任职整理的研究动机与具体贡献，请见经历页面。