术语定义

QLoRA(Quantized Low-Rank Adaptation),中文通常称为量化低秩适配。结合量化基础模型与低秩适配器训练的微调方法,用较低内存成本适配大模型。

应用示例

在有限显存设备上保留低比特基础权重,并更新适配器参数。

理解要点

训练精度、量化配置和硬件支持都会影响结果,不能只按模型文件大小估算资源。

相关术语