术语定义
量化(Quantization),中文通常称为模型量化。用较低精度的数值表示模型权重或激活,以减少存储、带宽或计算成本的技术。
应用示例
把部分高精度权重转换为低比特表示,降低部署显存需求。
理解要点
量化可能影响精度,实际提速取决于硬件与算子支持。
量化(Quantization),中文通常称为模型量化。用较低精度的数值表示模型权重或激活,以减少存储、带宽或计算成本的技术。
把部分高精度权重转换为低比特表示,降低部署显存需求。
量化可能影响精度,实际提速取决于硬件与算子支持。
跑一轮真实检测,拿到评分和问题清单。