LoRA

LoRAは事前学習済みの重みを凍結したまま、小さな行列のペアだけを学習する手法です。学習パラメータを1万分の1に減らしても精度が保てる理由と、実際に触る設定を整理しました。