昇腾 950
OAM announced 发布于 2026 ascend-950-gen1
BF16
TFLOP/s
1500 厂商声称
FP8
TFLOP/s
2250 厂商声称
FP4
TFLOP/s
4500 厂商声称
Memory
GB
256 厂商声称
Mem BW
GB/s
6400 厂商声称
TDP
W
1200 厂商声称
完整规格
算力
FP4 TFLOPS
4500
FP8 TFLOPS
2250
BF16 TFLOPS
1500
FP16 TFLOPS
1500
INT8 TOPS
3000
显存
容量
256 GB
带宽
6400 GB/s
类型
HBM3e
芯片架构 🟢 vendor floorplan
AI Core count
96
L2 cache
256 MB
HBM stacks
8
制程
5 nm
Scale-Up (节点内)
协议
HCCS-v3
单链带宽
1600 GB/s
World size
16
拓扑
switched
交换机
huawei-hccs-v3-switch
Scale-Out (节点间)
单卡出口
800 Gbps
协议
RoCEv3
NIC
—
拓扑示意
拓扑结构 · Topology
16 卡 scale-up domain
芯片内部 / Die-level architecture
🟢 vendor floorplan 96 AI Cores · 8× HBM · 256 MB L2 · 5 nm
集群拓扑 / Cluster topology · HCCS-v3 @ 1600 GB/s
Scale-Up · 域内
HCCS-v3
1600 GB/s · 拓扑: switched
world_size = 16
Scale-Out · 跨域
RoCEv3
800 Gbps/卡 NIC
能跑哪些模型?
Quick estimates · decode tok/s/card 上界
TP=8 · FP4 · batch=16 · prefill=1024 · decode=256 · 已应用 efficiency 校准
| 模型 | 参数 (active) | Decode tok/s/card | 瓶颈 |
|---|---|---|---|
| DeepSeek V4 Pro deepseek | 49B | 130,612 | 内存带宽 |
| DeepSeek V4 Flash deepseek | 13B | 182 | 内存带宽 |
| Mistral Small 4 mistral | 22B | 83 | 内存带宽 |
| GLM-5 Reasoning zhipu | 32B | 69 | 内存带宽 |
| GLM-5.1 zhipu | 32B | 47 | 内存带宽 |
| Qwen3.6 Plus alibaba | 35B | 45 | 内存带宽 |
| Kimi K2.6 moonshot | 32B | 38 | 内存带宽 |
| MiniMax M2.7 minimax | 46B | 30 | 内存带宽 |
算子级 fit · 任意模型瓶颈类型 + 上界
算子级 fit · operator-level fit (per-token roofline)
基于每个模型 operator_decomposition + 本卡 BF16 1,500 TFLOPS / 6,400 GB/s 计算 · ridge point ≈ 234 FLOPs/byte
| 模型 | domain | 主导算子 | AI · F/B | 瓶颈 | tok/s 上界 |
|---|---|---|---|---|---|
| DeepSeek V4 Pro | llm | matmul | 245.5 | 🔥 计算 | 249k |
| GraphCast | scientific | graph-message-passing | 0.9 | 💾 内存带宽 | 12k |
| AlphaFold 3 | scientific | pair-bias-attention | 2.3 | 💾 内存带宽 | 3548 |
| GPT-OSS | llm | matmul | 0.7 | 💾 内存带宽 | 517 |
| Gemma 4 26B | llm | matmul | 0.7 | 💾 内存带宽 | 385 |
| DeepSeek V4 Flash | llm | matmul | 0.8 | 💾 内存带宽 | 364 |
| Mistral Small 4 | llm | matmul | 0.6 | 💾 内存带宽 | 166 |
| Llama 4 Maverick | llm | matmul | 0.8 | 💾 内存带宽 | 164 |
需要 efficiency 校准 + concurrency 扫描 + TCO 估算 → 在计算器中评估 →
算子支持 & 优化空间
算子支持 & 优化空间 / Operator support & headroom
Per-operator support derived from software_support.engines + scale-up topology. Optimization headroom from measured efficiency factor.
Optimization headroom
+50 pp
moderate
No cases yet — using default 0.5 efficiency. Real headroom unknown until first measurement lands.
Communication (collective)
All-to-All 🟢 mature
all-to-all via HCCS-v3 world_size=16
AllReduce 🟢 mature
HCCS-v3 ring all-reduce
Attention
Multi-Head Attention 🟢 mature
paged-attention via vLLM/SGLang/MindIE
FlashAttention-3 🟢 mature
FA-3 on modern engine + tensor cores
Matrix multiply (GEMM)
Matrix Multiplication 🟢 mature
GEMM supported on all inference engines
MoE routing
MoE Routing 🟢 mature
MoE gating supported via vLLM ≥0.4 / SGLang
Normalization
RMSNorm 🟢 mature
fused into engine kernels
Embedding
Rotary Position Embedding 🟢 mature
fused into engine kernels
Activation
SiLU / Swish 🟢 mature
fused into engine kernels
Softmax 🟢 mature
fused into engine kernels
最接近的替代卡 (按规格相似度)
基于 BF16 算力 / 显存 / 显存带宽 / FP8 加权欧氏距离。供选型决策参考。
软件栈支持
| 引擎 | 状态 | BF16 | FP16 | FP4 | FP8 E4M3 | FP8 E5M2 | INT4 AWQ |
|---|---|---|---|---|---|---|---|
| HanGuangAI | 未确认 | — | — | — | — | — | — |
| LMDeploy | 未确认 | — | — | — | — | — | — |
| MindIE | 官方 | ✓ | ✓ | ✓ | ✓ | — | ✓ |
| MoRI | 未确认 | — | — | — | — | — | — |
| SGLang | 未确认 | — | — | — | — | — | — |
| TensorRT-LLM (Dynamo) | 未确认 | — | — | — | — | — | — |
| vLLM | 社区 | ✓ | ✓ | ✓ | ✓ | — | ✓ |
已有部署案例 (0)
暂无该硬件的实测案例。
成为第一个贡献者?
引证
- [1] 华为 2025 Q3 公告昇腾 950 路线图：FP4 原生 4.5 PFLOPS，HBM3e 256 GB，HCCS-v3 1.6 TB/s scale-up，MindIE 2.0 + CANN 9.0 软件栈支持 — https://e.huawei.com/cn/products/computing/ascend-950 · 访问于 2026-04-29 厂商声称
- [2] 昇腾 950 架构估算：96 个 AI Core (Da Vinci 4.0)，8 stack HBM3e，5nm 制程 (SMIC 等代工)。GA 时间 2026 Q4，规格可能调整。 — https://e.huawei.com/cn/products/computing/ascend · 访问于 2026-04-29 社区估算
⚠ Status: announced — 公开路线图 2025 Q3 公布, GA 计划 2026 Q4。规格基于路线图, GA 时可能调整。
⚠ 部分规格基于路线图推算 (compute_unit_count, process_node) 而非官方白皮书；属于 estimated 等级。
⚠ CloudMatrix 768 集群方案与 Ascend 950 同期发布，scale-up 域规模较 384 翻倍。