术语定义
LoRA(Low-Rank Adaptation),中文通常称为低秩适配。冻结大部分原始权重,通过训练低秩增量矩阵适配模型的参数高效微调方法。
应用示例
为某种文案风格训练小型适配器,并在部署时加载。
理解要点
节省可训练参数不等于完全不占显存,也不保证达到全参数微调的效果。
LoRA(Low-Rank Adaptation),中文通常称为低秩适配。冻结大部分原始权重,通过训练低秩增量矩阵适配模型的参数高效微调方法。
为某种文案风格训练小型适配器,并在部署时加载。
节省可训练参数不等于完全不占显存,也不保证达到全参数微调的效果。
跑一轮真实检测,拿到评分和问题清单。