术语定义

量化(Quantization),中文通常称为模型量化。用较低精度的数值表示模型权重或激活,以减少存储、带宽或计算成本的技术。

应用示例

把部分高精度权重转换为低比特表示,降低部署显存需求。

理解要点

量化可能影响精度,实际提速取决于硬件与算子支持。

相关术语