#KV Cache

2026

• 08-16 EN

  vToken: Turning Token-Level KV Eviction into Actually Reusable GPU Memory

• 08-16 中

  vToken 阅读笔记：如何把 Token 级 KV 淘汰真正变成可用显存

• 08-12 EN

  OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching

• 08-12 中

  OasisKV 阅读笔记：把投机采样的草稿 token 变成免费的 KV Cache 预取信号

• 08-08 EN

  QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding

• 08-08 中

  QEvict 阅读笔记：把 KV Cache 淘汰从「一锤子买卖」变成可逆的三层调度

• 08-05 EN

  AnchorKV: Anchor-Residual KV Cache Compression

• 08-05 中

  AnchorKV：锚点-残差表示下的 KV 缓存压缩阅读笔记

• 08-01 EN

  Back from the Future: KV Cache Management by Counter-Causal Surprise

• 08-01 中

  来自未来的信号：用反因果惊奇度做 KV Cache 淘汰

• 07-31 EN

  DynaCalKV: Rethinking Fixed Head Grouping in Low-Rank KV Cache Compression

• 07-31 中

  DynaCalKV 阅读笔记：低秩 KV Cache 压缩里，固定分组到底有多不合理

• 07-29 EN

  LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding

• 07-29 中

  LOCKS 阅读笔记：为什么 KV Cache 摘要要按「页」而不是按「序列」或「全局」来建

• 07-26 EN

  KV-Fold: Turning the KV Cache Into a Left Fold for Long-Context Inference

• 07-26 中

  KV-Fold：把 KV 缓存当作长上下文推理的左折叠累加器

• 07-15 EN

  COBS: What Block-Sparse Attention Selectors Are Actually Missing (A Second-Order Fix)

• 07-15 中

  COBS 阅读笔记:块稀疏注意力的选择器到底漏掉了什么(一个二阶修正)

• 07-05 EN

  Lynx: Progressive Speculative KV Cache Transfer for Disaggregated LLM Inference

• 07-05 中

  Lynx 阅读笔记：渐进式推测量化加速解聚合 LLM 推理的 KV 传输

• 07-04 EN

  MosaicKV: Dynamic Two-Dimensional KV Cache Compression for Long-Context LLM Serving — Technical Review

• 07-04 中

  MosaicKV：面向超长上下文LLM服务的动态二维KV缓存压缩——阅读笔记

• 06-27 EN

  JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

• 06-27 中

  JetSpec：用并行树草稿突破推测解码的扩展上限

• 06-24 EN

  SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference

• 06-24 中

  SparDA：稀疏解耦注意力，让长上下文推理又快又准

• 06-21 EN

  Tutti: GPU-Centric SSD-Backed KV Cache That Finally Makes SSDs Practical for Long-Context LLM Serving

• 06-21 中

  Tutti 阅读笔记：GPU 原生 SSD KV 缓存，让 NVMe 固态硬盘真正可用于长上下文大模型推理

• 06-17 EN

  OScaR: Occam's Razor for Extreme KV Cache Quantization

• 06-17 中

  OScaR：极端 KV 缓存量化的奥卡姆剃刀

• 06-10 EN

  KeepKV: Lossless KV Cache Compression via Electoral Votes and ZIP-Merging

• 06-10 中

  KeepKV：用「选举票」机制和零扰动合并实现无损 KV 缓存压缩

• 06-07 EN

  SlidingServe: SLO-Aware Sliding-Window Scheduling for LLM Inference

• 06-07 中

  SlidingServe：面向LLM推理的SLO感知滑动窗口调度

• 06-03 EN

  KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization — Technical Review

• 06-03 中

  KVQuant：面向千万级上下文的 KV 缓存量化技术——阅读笔记

• 05-30 EN

  VeriCache: Turning Lossy KV Cache into Lossless LLM Inference

• 05-30 中

  VeriCache：让有损 KV 缓存实现无损 LLM 推理

• 05-28 EN

  Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

• 05-28 中

  Mooncake：以 KV Cache 为核心的大模型推理服务解耦架构

• 05-27 EN

  GQA: Grouped-Query Attention — Bridging Multi-Head Quality and Multi-Query Speed

• 05-27 中

  GQA 分组查询注意力：用分组 KV 头桥接多头质量与多查询速度

• 05-21 EN

  SGLang: Efficient Execution of Structured Language Model Programs — Technical Review

• 05-21 中

  SGLang:为 LM 程序而生的前端 DSL + 协同设计运行时 —— 阅读笔记

• 05-10 EN

  Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving

• 05-10 中

  Tutti：让基于 SSD 的 KV Cache 真正适用于长上下文 LLM Serving

• 05-09 EN

  Queueing Stability for LLM Inference with KV Cache Memory Constraints

• 05-08 EN

  Swift-SVD: Activation-Aware Low-Rank Compression for LLM Weights and KV Cache

• 02-19 EN

  vLLM and PagedAttention: Efficient Memory Management for Large Language Model Serving — Technical Review

• 02-18 EN

  DeepSeek-V2: Multi-head Latent Attention and DeepSeekMoE — Technical Review