← 量化方案

INT4 GPTQ

gptq 有损

Generative Pre-trained Transformer Quantization; second-order weight-only int4

权重位数

bits/weight

4

激活位数

bits/activation

16

支持硬件

of total

4/39

实测案例

0

支持硬件 (4)

海外

NVIDIA A100 SXM4 80GB NVIDIA H100 SXM5 80GB NVIDIA H200 SXM 141GB NVIDIA L40S

使用此量化的案例 (0)

尚无案例引用此量化方案。