腾讯网

KV Cache管理架构演进：从连续分配到统一混合内存架构

在生产环境部署过LLM的人都知道模型权重只是问题的一半，另一半是KV cache：存储注意力状态的运行时内存，让模型在生成token时不必从头开始重算。能不能管好这块内存决定了系统是一个卡顿的demo还是一个可用的推理服务。 本文梳理KV cache管理经历的5个时代 ...
新浪网

破解AI推理“内存墙”：忆联自研芯片，以压缩技术重塑KV Cache存储效率

2026年3月，谷歌研究院发布TurboQuant压缩算法技术，迅速在存储与AI基础设施领域引发热议。该算法能够压缩KV缓存，实现内存占用降低6倍、推理速度提升8倍的潜力。这一技术突破的背后，折射出大模型推理时代最核心的硬件瓶颈：KV Cache正成为制约AI部署规模的 ...
腾讯网

从零构建 Mini-vLLM：KV-Cache、动态批处理与分布式推理全流程

HuggingFace 的 .generate() 是个黑盒，而且这个黑盒藏了一个代价很高的问题，每一个解码步骤它都从头开始对整个 prompt 做一次完整的注意力计算。每一个 token 都是如此。注意力的开销以 O(N²) 的速度随序列长度增长，在小规模下完全察觉不到，一旦上了真实负载 ...
电子工程专辑

一文聊透KV Cache：大模型推理‘提速几十倍’的刚需技术

你输入个几百字，它输出就得慢慢挤牙膏。 是模型本身算力不够吗？ 不全是。 这里面其实藏着一个非常基础的效率问题，而解决这个问题的核心技术，就是今天要跟大家聊明白的 KV Cache。 1. 先铺垫一下：这些基础术语你得懂 聊KV Cache之前，得先把一些最基础的 ...
快科技

谷歌新论文把内存股价干崩了！KV cache压缩6倍

2026-03-26 23:31:06 出处：量子位 作者：梦晨 编辑：若风 评论(0) 复制 纠错 两家存储芯片巨头股价大跌，没有财报暴雷，没有供应链断裂，只是谷歌展示了一篇即将在ICLR 2026正式亮相的论文。 谷歌研究院推出TurboQuant压缩算法，把AI推理过程中最吃内存的KV cache压缩 ...
VentureBeat

Nvidia says it can shrink LLM memory 20x without changing model weights

Nvidia researchers have introduced a new technique that dramatically reduces how much memory large language models need to track conversation history — by as much as 20x — without modifying the model ...
Business Wire

Penguin Solutions Introduces Industry's First Production-Ready CXL-Based KV Cache Server

FREMONT, Calif.--(BUSINESS WIRE)--Penguin Solutions, Inc. (Nasdaq: PENG), the AI factory platform company, today announced the industry's first production-ready KV cache server that utilizes CXL ...
来自MSN

Google says TurboQuant cuts LLM KV-cache memory use 6x, boosts speed

Google researchers have published a new quantization technique called TurboQuant that compresses the key-value (KV) cache in large language models to 3.5 bits per channel, cutting memory consumption ...