ファインチューニング (機械学習)
また、ChatGPT(GPT-3のファインチューニング版)やSparrow(英語版)などの言語モデルのファインチューニングには、人間のフィードバックによる強化学習が使用されている。低ランク適応(英: Low-Rank Adaptation, LoRA)は、既存の重みに追加する低ランク行列(英語版)(更新行列)を訓練するのに役立つ。基本的な考え方は次のとおりである。モデル内に N × N {\displaystyle N\times N} 行列 A {\displaystyle A} があり、 N {\displaystyle N} が大きい場合、 A {\displaystyle A} 自体を A ′ {\displaystyle A'} に修正するか、 A ′ := A + V W T {\displaystyle A':=A+VW^{T}} と定義して、 V , W {\displaystyle V,W} を訓練することができる。ここで、 V , W {\displaystyle V,W} はサイズ N × r {\displaystyle N\times r} であり、 r ≪ N {\displaystyle r\ll N} は更新行列 V W T {\displaystyle VW^{T}} の低ランクである。
LoRAは言語モデルによく使われるほか、画像モデルにも使われる。