LoRA

LoRA（Low-Rank Adaptation）通过给权重矩阵加 small rank 更新，在图像/语言模型上常用，显存占用相对全量微调更低。