← 引擎目录

TensorRT-LLM (Dynamo)

0.14.0 维护: vendor

NVIDIA-only; deepest kernel optimizations and FP8/FP4 support

资源

源码
https://github.com/NVIDIA/TensorRT-LLM
支持厂商
nvidia

兼容硬件 (9)

NVIDIA A100 SXM4 80GB 官方 NVIDIA B200 SXM 180GB 官方 NVIDIA B300 SXM 288GB 官方 NVIDIA GB200 NVL72 官方 NVIDIA GB300 NVL72 官方 NVIDIA H100 SXM5 80GB 官方 NVIDIA H200 SXM 141GB 官方 NVIDIA L40S 官方 NVIDIA R200 SXM (Vera Rubin) 官方

使用本引擎的案例 (1)