← 引擎目录

LMDeploy

0.6.0 维护: mixed

TurboMind backend; friendly to Chinese hardware ecosystems

资源

源码

https://github.com/InternLM/lmdeploy

支持厂商

nvidia, huawei, cambricon

兼容硬件 (6)

寒武纪 MLU370-X8 社区寒武纪思元 590 社区昇腾 910B 社区 NVIDIA A100 SXM4 80GB 官方 NVIDIA H100 SXM5 80GB 官方 NVIDIA L40S 官方

使用本引擎的案例 (2)

Qwen3.6 Plus on 8× Cambricon MLU590 with LMDeploy

mlu590 ×8 · qwen3.6-plus · 380 tok/s · 2026-04-22
DeepSeek R1 on 16× Iluvatar 天垓 100 (Iluvatar IxRT)

iluvatar-bi ×16 · deepseek-r1 · 220 tok/s · 2026-04-15