GraphCast
google DENSE text creative-commons-by-nc-sa-4.0 2023-11-14
架构
Total params
0.0367 B
Active params
0.0367 B
Layers
16
Context
1014 k
详细规格
Hidden size
512
FFN size
1024
Attention heads
8
KV heads
8
Head dim
64
Vocab size
256
Attention type
graph-message-passing
算子拆解 (per token)
| 算子 | FLOPs / token | Bytes / token |
|---|---|---|
| graph-message-passing | 2.80e+8 | 2.80e+8 |
| matmul | 1.80e+8 | 6.00e+7 |
| scatter-gather | 4.00e+7 | 2.00e+8 |
| layernorm | 4.00e+6 | 2.00e+6 |
兼容硬件
— 未知 AMD Instinct MI300A — 未知 AMD Instinct MI300X — 未知 AMD Instinct MI325X — 未知 AMD Instinct MI355X — 未知 Apple M4 Max Neural Engine — 未知 AWS Inferentia 2 — 未知 AWS Trainium 2 — 未知 壁仞 BR100 — 未知 壁仞 BR104 — 未知 寒武纪 MLU370-X8 — 未知 寒武纪 思元 590 — 未知 Cerebras WSE-3 — 未知 燧原 云燧 T21 — 未知 Etched Sohu — 未知 Google TPU v5p — 未知 Google TPU Trillium (v6e) — 未知 Groq LPU (TSP v1) — 未知 昇腾 910B — 未知 昇腾 910C — 未知 昇腾 950 — 未知 海光 DCU K100 — 未知 海光 DCU Z100 — 未知 天数智芯 天垓 100 — 未知 Intel Gaudi 2 — 未知 Intel Gaudi 3 — 未知 沐曦 曦云 C500 — 未知 摩尔线程 MTT S4000 — 未知 NVIDIA A100 SXM4 80GB — 未知 NVIDIA B200 SXM 180GB — 未知 NVIDIA B300 SXM 288GB — 未知 NVIDIA GB200 NVL72 — 未知 NVIDIA GB300 NVL72 — 未知 NVIDIA H100 SXM5 80GB — 未知 NVIDIA H200 SXM 141GB — 未知 NVIDIA L40S — 未知 NVIDIA R200 SXM (Vera Rubin) — 未知 平头哥 含光 800 — 未知 SambaNova SN40L — 未知 Tenstorrent Wormhole n300