术语定义

LoRA(Low-Rank Adaptation),中文通常称为低秩适配。冻结大部分原始权重,通过训练低秩增量矩阵适配模型的参数高效微调方法。

应用示例

为某种文案风格训练小型适配器,并在部署时加载。

理解要点

节省可训练参数不等于完全不占显存,也不保证达到全参数微调的效果。

相关术语