#Speculative Decoding

2026

• 09-06 EN

  Strong Drafts Need Compact Memories: A Technical Review of Memory-Augmented Sliding-Window (MASW) Drafting for Long-Context Speculative Decoding

• 09-06 中

  强推理草稿也要瘦身：长上下文投机解码的记忆增强滑窗（MASW）阅读笔记

• 09-05 EN

  TreeWY: Removing the Memory Wall in Speculative Decoding for Gated DeltaNet Hybrids

• 09-05 中

  TreeWY 阅读笔记：用树结构 WY 变换拆掉 Gated DeltaNet 混合模型投机解码里的内存墙

• 09-02 EN

  Verification-Aware Training: Teaching Speculative Decoding Drafters to Care About the Rejection Point

• 09-02 中

  验证感知训练（VAT）：让投机解码的草稿模型学会关心「拒绝点」

• 08-12 EN

  OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching

• 08-12 中

  OasisKV 阅读笔记：把投机采样的草稿 token 变成免费的 KV Cache 预取信号

• 08-09 EN

  Bole: Efficient Tree Speculation for Hybrid-Attention Language Models

• 08-09 中

  Bole 阅读笔记：为混合注意力大模型重新设计树状投机解码

• 07-22 EN

  AdaFlash: Taming Variance in Diffusion Speculative Decoding

• 07-22 中

  AdaFlash 阅读笔记：如何驯服扩散式投机解码中的方差问题

• 07-08 EN

  DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

• 07-08 中

  DSpark:半自回归生成与置信度调度的投机解码

• 07-01 EN

  SSV: Sparse Speculative Verification for Efficient LLM Inference

• 07-01 中

  SSV：稀疏投机验证——在动态稀疏注意力中做投机解码

• 06-27 EN

  JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

• 06-27 中

  JetSpec：用并行树草稿突破推测解码的扩展上限

• 05-30 EN

  VeriCache: Turning Lossy KV Cache into Lossless LLM Inference

• 05-30 中

  VeriCache：让有损 KV 缓存实现无损 LLM 推理

• 05-17 EN

  PipeSD: Cloud-Edge Collaborative Pipeline Inference with Speculative Decoding — Technical Review

• 05-17 中

  PipeSD：基于推测解码的云边协同流水线推理框架 —— 阅读笔记

• 05-16 EN

  An Interpretable Latency Model for Speculative Decoding in LLM Serving — Technical Review

• 05-16 中

  用 Little 定律解释推测解码在真实服务中的提速曲线 —— 阅读笔记

• 05-14 EN

  DisagMoE: Disaggregating Attention and FFN to Beat the MoE All-to-All Bottleneck

• 05-14 中

  DisagMoE：用解耦 Attention 和 FFN 打通 MoE 训练的 all-to-all 瓶颈

• 05-10 EN

  Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving

• 05-10 中

  Tutti：让基于 SSD 的 KV Cache 真正适用于长上下文 LLM Serving

• 04-19 EN

  SpecGuard: Verification-Aware Speculative Decoding for Efficient Multi-Step Reasoning

• 04-19 中

  SpecGuard：用于多步推理的验证感知推测解码

• 04-15 EN

  LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding — Deep Technical Review

• 04-15 中

  LayerSkip：让大模型“提前退出 + 自校验推理”成为可部署方案——深度阅读笔记

• 03-11 EN

  Speculative Decoding: Making LLM Inference 2-3× Faster Without Losing a Single Token