← 服务器目录

AMD Instinct MI325X Platform 8-OAM

integrated-server air 发布于 2024

卡数

GPU/NPU

8

Scale-up 域

cards

8

总显存

GB

2048

机柜功耗

kW

13

配置

加速卡

AMD Instinct MI325X × 8

Scale-up 互联

Infinity-Fabric

Scale-out 互联

RoCEv2-400G

冷却方式

air

总 BF16 算力

10.5 PFLOPs

部署案例 (2)

Qwen3.6 Plus on 8× MI325X with SGLang FP8

qwen3.6-plus · sglang · fp8-e4m3 · decode 3100 tok/s
Qwen3.5 397B Reasoning on 8× MI355X with FP4

qwen3.5-397b · vllm · fp4 · decode 4500 tok/s

引证

[1] AMD MI325X Platform reference — https://www.amd.com/en/products/accelerators/instinct/mi300/mi325x.html 厂商声称