← 服务器目录

AWS Trn2 UltraServer

super-pod liquid 发布于 2024

卡数

GPU/NPU

64

Scale-up 域

cards

64

总显存

GB

6144

机柜功耗

kW

100

配置

加速卡

AWS Trainium 2 × 64

Scale-up 互联

NeuronLink-v3

Scale-out 互联

EFA-v3

冷却方式

liquid

总 BF16 算力

41.6 PFLOPs

部署案例 (1)

DeepSeek V3 on AWS Trainium 2 (64-chip Trn2 instance)

deepseek-r1 · vllm · bf16 · decode 3600 tok/s

引证

[1] AWS Trn2 UltraServer announcement: 64 Trainium2 chips per UltraServer in single scale-up domain via NeuronLink-v3 — https://aws.amazon.com/blogs/aws/aws-trainium2-instances-ec2-trn2/ 厂商声称