lmcache

LMCache × 昇腾:MP 模式正式支持昇腾 NPU

2026-11-16

LLMCache Team
Diagram showing vLLM running on eight NPUs connected to an lmcache server with KV cache via lmcache-driven and engine-driven paths.
在 MP 模式下,KV cache 归独立的 lmcache server 所有,与使用它的 vLLM 引擎隔着进程边界。在昇腾 NPU 上,KV 数据通过两条原生路径之一跨越这道边界。

去年 11 月,我们宣布 LMCache 已可在昇腾 NPU 上运行。彼时,LMCache 还运行在推理引擎进程内,与引擎的生命周期紧密耦合。今天,我们再进一步:LMCache 多进程(MP)模式现已支持昇腾 NPU。

在 MP 模式下,KV cache 归独立的 lmcache server 进程所有,vLLM 通过 LMCacheMPConnector 接入。我们已在昇腾 910B 与 910C 系统(Atlas 800I A2 与 A3)上完成验证,覆盖 Qwen 系列、DeepSeek-V4、GLM-5.3 等主流模型。

NPU 部署默认走 lmcache_driven,启动 server 和引擎即可。

为什么要把缓存拆成独立进程?

如果你读过我们 6 月的文章《Understanding LMCache MP Mode Transfer Paths》,应该已经了解大致结构。当 KV cache 存活在推理引擎内部时,它就被绑定在该引擎的生命周期上:worker 重启或崩溃会带走已经预热的缓存。MP 模式把缓存的所有权移交给一个专用守护进程,同时带来三件事:

  • 缓存比引擎活得更久。 vLLM worker 可以重启、重新调度甚至崩溃,已积累的 KV cache 不会因此丢失。
  • 一份缓存,多个引擎。 多个 vLLM 实例共享同一个 lmcache server,一个引擎 prefill 过的前缀,对其它引擎也是缓存命中。
  • 更轻的引擎主循环。 存储、读取、分块与淘汰都移到 server 进程,引擎侧只保留 connector 的必要协调,lookup/store 尽量异步推进,避免缓存管理、GIL 争抢、CPU 与 I/O 开销压到调度和解码路径上。

在加速器侧,这一切都归结为一个系统问题:KV 张量究竟如何跨进程边界物理搬运?昇腾的工作正落在这里。

两条传输路径,均为原生实现

MP 模式的控制面是引擎与 server 之间的轻量 RPC 链路(默认使用 ZMQ)。数据面有两种形态,二者在 NPU 上都可用:

Diagram comparing lmcachedriven and engine-driven VLLM workflows with NPU, showing IPC handles, copy kernels, shared memory, and LMCache server data paths.
两条路径的区别在于由谁完成拷贝。lmcache_driven 中,server 持有指向工作进程 NPU 内存的 IPC handle,自行搬运 KV 数据;engine_driven 中,工作进程在两个进程共同映射的 /dev/shm 池中读写数据,该池就是 server 的 L1。
lmcache_driven (NPU 默认)engine_driven
数据路径server 通过 NPU 设备 IPC handle 主动拉取/推送 KV,代引擎完成数据搬运vLLM worker 自行 gather/scatter,从命名共享内存池零拷贝读写
KV 格式标准 GQA/MHA,以及多平面 MLA/DSA 布局,包括 DeepSeek-V4 的四平面 (latent, rope, DSA indexer, scale) 混合 dtype 打包格式单格式 GQA/MHA 模型(如 Qwen3);MLA/DSA 与混合模型请使用 lmcache_driven

在 lmcache_driven 模式下,worker 将 NPU 内存导出为 IPC handle——torch.npu 实现了与 CUDA 相同的进程间 event ABI,包括用于判断传输何时安全的跨进程 event——server 侧则用为 NPU 编译的原生多层 block-transfer kernel 完成 gather/scatter。工程收益直接体现在上表的“KV 格式”一列:我们在 6 月的指南里,曾把“将 DeepSeek-V4 的混合 KV 布局扩展到 CUDA 路径之外”称为“一个开放的机会”。在昇腾上,这一项已经打勾——DeepSeek-V4 的打包 MLA/DSA 平面通过 LMCache-driven 路径原生搬运,无需 host 侧重打包,也没有格式降级。

在 engine_driven 模式下,server 从两个进程共同映射的命名 /dev/shm 池中发放 chunk,因此一次 store 只产生一次拷贝,直接写入共享 L1 缓冲区。它适合 Qwen3 这类单格式模型:worker 可以高效地自行完成 gather/scatter。

CUDA/HIP 生态之外的首个。 CUDA 与 HIP 复用同一套算子源码;昇腾在这套体系之外另起一套 Ascend C 算子,并且是首个把 MP 模式两条传输路径都跑在这套独立算子上、且算子源码全部开源的加速器——LMCache 为昇腾提供的每一个 Ascend C 算子都在 LMCache-Ascend 开源。

DeepSeek-V4 零额外配置即可运行。若要改用 engine_driven,除了引擎侧的 lmcache.mp.mp_transfer_mode 配置项,server 侧也必须显式传入 --supported-transfer-mode engine_driven;若要走 SHM 快路径,还需在 server 启动时加上 --shm-name <name> --no-l1-use-lazy。

上游优先:它是如何构建的

一年前,LMCache-Ascend 集成通过在运行时 patch LMCache 来实现——这很有效,也完全兼容 API,但昇腾逻辑全部留在插件里。MP 模式的工作把平台层移到了上游,而硬件特有的 kernel 仍留在插件中。这一分工是本次改动的主要结构变化:

  • 平台层在上游。 NPU 设备后端——设备 IPC wrapper、进程间 event、device ops、多平面 KV 格式处理,以及自动传输模式协商——已合入 LMCache dev 分支(#5138、#5341、#5567)。昇腾是 LMCache 设备抽象的一等公民,而不是下游 fork。
  • 插件只提供硬件独有的部分。 LMCache-Ascend 贡献昇腾 C kernel(面向普通 K/V 与打包多平面布局的多层 block transfer)。

对用户而言,这意味着无需跟踪 fork,也无需等待下游补齐:构建在共享控制面与存储层之上的 MP 模式特性——新的存储层级、淘汰策略、API 接口——一旦合入上游,昇腾即可获得。硬件相关的数据路径仍由插件提供。

三步上手

最小部署分为三步。在 vLLM-Ascend 容器内,先安装两个包:

git clone https://github.com/LMCache/LMCache.git && cd LMCache
pip install -v --no-build-isolation -e . && cd ..
git clone --recurse-submodules https://github.com/LMCache/LMCache-Ascend.git && cd LMCache-Ascend
pip install -v --no-build-isolation -e .

启动 cache server:

lmcache server --chunk-size 128 --l1-size-gb 50 --eviction-policy LRU

等待出现 LMCache zmq cache server is running on localhost:5555 后,再启动 vLLM。

然后带上 connector 启动 vLLM:

vllm serve /path/to/Qwen3-32B \
--tensor-parallel-size 8 \
--no-enable-prefix-caching \
--port 8900 \
--kv-transfer-config '{
"kv_connector": "LMCacheMPConnector",
"kv_role": "kv_both"
}'

--no-enable-prefix-caching 是为了让冒烟测试中的命中明确归因于 LMCache,而不是 vLLM 内部的 prefix cache;如需内部 prefix caching,可以另行开启。每个 worker 打印 Creating transfer context (device_type=npu, mode=lmcache_driven),即表示 NPU 数据面已经就绪。把同一个长 prompt 发送两次:server 日志会先出现 Stored ... tokens,随后出现 Retrieved ... tokens,vLLM 的 External prefix cache hit rate 从零开始上升——第二次请求命中的部分会跳过 prefill。

DeepSeek-V4 使用 4096 token 的 chunk:部署指南以 --chunk-size 4096 启动 server;连接器也会在会话开始前,按模型要求的对齐粒度向上协商 server 的 chunk size。完整指南——环境准备、容器启动、各模型启动方式与验证——都在仓库中:

已验证与已支持

组件要求
硬件Atlas 800I A2 与 Atlas 800I A3(昇腾 910B / 910C,明确支持);Atlas 300I Duo(不支持);Atlas 800I A5(待支持)
软件栈vLLM ≥ v0.23.0 且 vLLM-Ascend ≥ v0.23.0,CANN ≥ 8.5,Ascend Driver ≥ 25.5,PyTorch ≥ 2.8 + torch_npu
LMCache 配套LMCache dev ↔ LMCache-Ascend main;发布版本请使用仓库兼容性矩阵中的匹配组合
已验证模型Qwen 系列(如 Qwen3-32B,TP8,两种模式)、DeepSeek-V4(如 V4-Flash,TP8/EP,lmcache_driven)、GLM-5.3 等主流模型
另外支持Qwen3.5 / Qwen3.6 / Qwen3.8 混合 Mamba(lmcache_driven,配合 --mamba-cache-mode align 与 --separate-object-groups)

有一个需要如实说明的边界:DeepSeek-V4 的压缩 MLA/DSA 布局,以及 Qwen3.5 / Qwen3.6 / Qwen3.8 这类混合 Mamba/GDN 模型,都通过 lmcache_driven 提供服务;engine_driven 的验证路径面向单格式 GQA/MHA 模型。混合模型需使用 --mamba-cache-mode align 并配合 --separate-object-groups(all 模式不在昇腾配方范围内);此外,MP 模式目前尚不支持 CacheBlend/CacheGen。

展望

昇腾上的 MP 模式是我们继续构建的基础:持续优化两条传输路径的性能、把 engine_driven 扩展到压缩与混合 KV 布局、推进多节点与分布式缓存,以及第一时间支持即将到来的昇腾硬件。与第一次昇腾发布一样,我们正与昇腾开发者社区共同推进——如果你正在 Atlas 服务器或昇腾云上部署,并希望缓存能跨越引擎重启继续存活,现在正是尝试的好时机。欢迎在两个仓库提交 issue 和 PR。

致谢

这一成果的达成离不开合作伙伴与内部团队的支持。我们衷心感谢华为欧拉团队及其他昇腾开发者的贡献,包括但不限于以下人员:

参与方式:

目录

分享方式:

发表回复

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理。

博客更多内容