术语定义
QLoRA(Quantized Low-Rank Adaptation),中文通常称为量化低秩适配。结合量化基础模型与低秩适配器训练的微调方法,用较低内存成本适配大模型。
应用示例
在有限显存设备上保留低比特基础权重,并更新适配器参数。
理解要点
训练精度、量化配置和硬件支持都会影响结果,不能只按模型文件大小估算资源。
QLoRA(Quantized Low-Rank Adaptation),中文通常称为量化低秩适配。结合量化基础模型与低秩适配器训练的微调方法,用较低内存成本适配大模型。
在有限显存设备上保留低比特基础权重,并更新适配器参数。
训练精度、量化配置和硬件支持都会影响结果,不能只按模型文件大小估算资源。
跑一轮真实检测,拿到评分和问题清单。