← 服务器目录

NVIDIA DGX A100 8-GPU

integrated-server air 发布于 2020

卡数

GPU/NPU

8

Scale-up 域

cards

8

总显存

GB

640

机柜功耗

kW

6.5

配置

加速卡

NVIDIA A100 SXM4 80GB × 8

Scale-up 互联

NVLink-3-via-NVSwitch-Gen2

Scale-out 互联

InfiniBand-HDR

冷却方式

air

总 BF16 算力

2.5 PFLOPs

部署案例 (1)

Llama 3.3 70B on 8× A100 SXM4 80GB with vLLM

llama-3.3-70b · vllm · bf16 · decode 1480 tok/s

引证

[1] NVIDIA DGX A100 system datasheet — https://www.nvidia.com/en-us/data-center/dgx-a100/ 厂商声称