
lmcache server 所有,与使用它的 vLLM 引擎隔着进程边界。在昇腾 NPU 上,KV 数据通过两条原生路径之一跨越这道边界。去年 11 月,我们宣布 LMCache 已可在昇腾 NPU 上运行。彼时,LMCache 还运行在推理引擎进程内,与引擎的生命周期紧密耦合。今天,我们再进一步:LMCache 多进程(MP)模式现已支持昇腾 NPU。
在 MP 模式下,KV cache 归独立的 lmcache server 进程所有,vLLM 通过 LMCacheMPConnector 接入。我们已在昇腾 910B 与 910C 系统(Atlas 800I A2 与 A3)上完成验证,覆盖 Qwen 系列、DeepSeek-V4、GLM-5.3 等主流模型。
NPU 部署默认走 lmcache_driven,启动 server 和引擎即可。
为什么要把缓存拆成独立进程?
如果你读过我们 6 月的文章《Understanding LMCache MP Mode Transfer Paths》,应该已经了解大致结构。当 KV cache 存活在推理引擎内部时,它就被绑定在该引擎的生命周期上:worker 重启或崩溃会带走已经预热的缓存。MP 模式把缓存的所有权移交给一个专用守护进程,同时带来三件事:
- 缓存比引擎活得更久。 vLLM worker 可以重启、重新调度甚至崩溃,已积累的 KV cache 不会因此丢失。
- 一份缓存,多个引擎。 多个 vLLM 实例共享同一个
lmcache server,一个引擎 prefill 过的前缀,对其它引擎也是缓存命中。 - 更轻的引擎主循环。 存储、读取、分块与淘汰都移到 server 进程,引擎侧只保留 connector 的必要协调,lookup/store 尽量异步推进,避免缓存管理、GIL 争抢、CPU 与 I/O 开销压到调度和解码路径上。
在加速器侧,这一切都归结为一个系统问题:KV 张量究竟如何跨进程边界物理搬运?昇腾的工作正落在这里。
两条传输路径,均为原生实现
MP 模式的控制面是引擎与 server 之间的轻量 RPC 链路(默认使用 ZMQ)。数据面有两种形态,二者在 NPU 上都可用:

lmcache_driven 中,server 持有指向工作进程 NPU 内存的 IPC handle,自行搬运 KV 数据;engine_driven 中,工作进程在两个进程共同映射的 /dev/shm 池中读写数据,该池就是 server 的 L1。lmcache_driven (NPU 默认) | engine_driven | |
|---|---|---|
| 数据路径 | server 通过 NPU 设备 IPC handle 主动拉取/推送 KV,代引擎完成数据搬运 | vLLM worker 自行 gather/scatter,从命名共享内存池零拷贝读写 |
| KV 格式 | 标准 GQA/MHA,以及多平面 MLA/DSA 布局,包括 DeepSeek-V4 的四平面 (latent, rope, DSA indexer, scale) 混合 dtype 打包格式 | 单格式 GQA/MHA 模型(如 Qwen3);MLA/DSA 与混合模型请使用 lmcache_driven |
在 lmcache_driven 模式下,worker 将 NPU 内存导出为 IPC handle——torch.npu 实现了与 CUDA 相同的进程间 event ABI,包括用于判断传输何时安全的跨进程 event——server 侧则用为 NPU 编译的原生多层 block-transfer kernel 完成 gather/scatter。工程收益直接体现在上表的“KV 格式”一列:我们在 6 月的指南里,曾把“将 DeepSeek-V4 的混合 KV 布局扩展到 CUDA 路径之外”称为“一个开放的机会”。在昇腾上,这一项已经打勾——DeepSeek-V4 的打包 MLA/DSA 平面通过 LMCache-driven 路径原生搬运,无需 host 侧重打包,也没有格式降级。
在 engine_driven 模式下,server 从两个进程共同映射的命名 /dev/shm 池中发放 chunk,因此一次 store 只产生一次拷贝,直接写入共享 L1 缓冲区。它适合 Qwen3 这类单格式模型:worker 可以高效地自行完成 gather/scatter。
CUDA/HIP 生态之外的首个。 CUDA 与 HIP 复用同一套算子源码;昇腾在这套体系之外另起一套 Ascend C 算子,并且是首个把 MP 模式两条传输路径都跑在这套独立算子上、且算子源码全部开源的加速器——LMCache 为昇腾提供的每一个 Ascend C 算子都在 LMCache-Ascend 开源。
DeepSeek-V4 零额外配置即可运行。若要改用 engine_driven,除了引擎侧的 lmcache.mp.mp_transfer_mode 配置项,server 侧也必须显式传入 --supported-transfer-mode engine_driven;若要走 SHM 快路径,还需在 server 启动时加上 --shm-name <name> --no-l1-use-lazy。
上游优先:它是如何构建的
一年前,LMCache-Ascend 集成通过在运行时 patch LMCache 来实现——这很有效,也完全兼容 API,但昇腾逻辑全部留在插件里。MP 模式的工作把平台层移到了上游,而硬件特有的 kernel 仍留在插件中。这一分工是本次改动的主要结构变化:
- 平台层在上游。 NPU 设备后端——设备 IPC wrapper、进程间 event、device ops、多平面 KV 格式处理,以及自动传输模式协商——已合入 LMCache
dev分支(#5138、#5341、#5567)。昇腾是 LMCache 设备抽象的一等公民,而不是下游 fork。 - 插件只提供硬件独有的部分。 LMCache-Ascend 贡献昇腾 C kernel(面向普通 K/V 与打包多平面布局的多层 block transfer)。
对用户而言,这意味着无需跟踪 fork,也无需等待下游补齐:构建在共享控制面与存储层之上的 MP 模式特性——新的存储层级、淘汰策略、API 接口——一旦合入上游,昇腾即可获得。硬件相关的数据路径仍由插件提供。
三步上手
最小部署分为三步。在 vLLM-Ascend 容器内,先安装两个包:
git clone https://github.com/LMCache/LMCache.git && cd LMCachepip install -v --no-build-isolation -e . && cd ..git clone --recurse-submodules https://github.com/LMCache/LMCache-Ascend.git && cd LMCache-Ascendpip install -v --no-build-isolation -e .
启动 cache server:
lmcache server --chunk-size 128 --l1-size-gb 50 --eviction-policy LRU
等待出现 LMCache zmq cache server is running on localhost:5555 后,再启动 vLLM。
然后带上 connector 启动 vLLM:
vllm serve /path/to/Qwen3-32B \ --tensor-parallel-size 8 \ --no-enable-prefix-caching \ --port 8900 \ --kv-transfer-config '{ "kv_connector": "LMCacheMPConnector", "kv_role": "kv_both" }'
--no-enable-prefix-caching 是为了让冒烟测试中的命中明确归因于 LMCache,而不是 vLLM 内部的 prefix cache;如需内部 prefix caching,可以另行开启。每个 worker 打印 Creating transfer context (device_type=npu, mode=lmcache_driven),即表示 NPU 数据面已经就绪。把同一个长 prompt 发送两次:server 日志会先出现 Stored ... tokens,随后出现 Retrieved ... tokens,vLLM 的 External prefix cache hit rate 从零开始上升——第二次请求命中的部分会跳过 prefill。
DeepSeek-V4 使用 4096 token 的 chunk:部署指南以 --chunk-size 4096 启动 server;连接器也会在会话开始前,按模型要求的对齐粒度向上协商 server 的 chunk size。完整指南——环境准备、容器启动、各模型启动方式与验证——都在仓库中:
lmcache_driven部署指南(DeepSeek-V4 示例):docs/mp_mode/lmcache_driven.mdengine_driven部署指南(Qwen3 示例):docs/mp_mode/engine_driven.md
已验证与已支持
| 组件 | 要求 |
|---|---|
| 硬件 | Atlas 800I A2 与 Atlas 800I A3(昇腾 910B / 910C,明确支持);Atlas 300I Duo(不支持);Atlas 800I A5(待支持) |
| 软件栈 | vLLM ≥ v0.23.0 且 vLLM-Ascend ≥ v0.23.0,CANN ≥ 8.5,Ascend Driver ≥ 25.5,PyTorch ≥ 2.8 + torch_npu |
| LMCache 配套 | LMCache dev ↔ LMCache-Ascend main;发布版本请使用仓库兼容性矩阵中的匹配组合 |
| 已验证模型 | Qwen 系列(如 Qwen3-32B,TP8,两种模式)、DeepSeek-V4(如 V4-Flash,TP8/EP,lmcache_driven)、GLM-5.3 等主流模型 |
| 另外支持 | Qwen3.5 / Qwen3.6 / Qwen3.8 混合 Mamba(lmcache_driven,配合 --mamba-cache-mode align 与 --separate-object-groups) |
有一个需要如实说明的边界:DeepSeek-V4 的压缩 MLA/DSA 布局,以及 Qwen3.5 / Qwen3.6 / Qwen3.8 这类混合 Mamba/GDN 模型,都通过 lmcache_driven 提供服务;engine_driven 的验证路径面向单格式 GQA/MHA 模型。混合模型需使用 --mamba-cache-mode align 并配合 --separate-object-groups(all 模式不在昇腾配方范围内);此外,MP 模式目前尚不支持 CacheBlend/CacheGen。
展望
昇腾上的 MP 模式是我们继续构建的基础:持续优化两条传输路径的性能、把 engine_driven 扩展到压缩与混合 KV 布局、推进多节点与分布式缓存,以及第一时间支持即将到来的昇腾硬件。与第一次昇腾发布一样,我们正与昇腾开发者社区共同推进——如果你正在 Atlas 服务器或昇腾云上部署,并希望缓存能跨越引擎重启继续存活,现在正是尝试的好时机。欢迎在两个仓库提交 issue 和 PR。
致谢
这一成果的达成离不开合作伙伴与内部团队的支持。我们衷心感谢华为欧拉团队及其他昇腾开发者的贡献,包括但不限于以下人员:
参与方式:
- LMCache-Ascend:https://github.com/LMCache/LMCache-Ascend
- LMCache:https://github.com/LMCache/LMCache
- 加入 LMCache Slack 社区:https://join.slack.com/t/lmcacheworkspace/shared_invite/zt-36x1m765z-8FgDA_73vcXtlZ_4XvpE6Q
- LMCache 文档:https://docs.lmcache.ai/