日本語の大規模な基盤モデルに対するLoRAチューニング

自然言語処理の諸課題において,大規模なテキストデータを用いた事前訓練による基盤モデルに基づく手法が広く存在している.特に,GPT-3[4]をはじめとする超大規模な基盤モデルの追加訓練を伴わないPromptingに基づく手法が,対話システム[5]などで高い精度を達成している.一方で,超大規模な基盤モデルによるPromptingに基づく手法では,Promptの複雑な前処理や,事後フィルタリングを用いた再生成を伴う出力制御などに膨大な計算コストが必要になる.また,比較的に小規模な基盤モデルでも追加訓練によって,特定タスクにおいて超大規模な基盤モデルと匹敵する精度が出せる場合がある.さらに,超大規模な基盤モデルでも追加訓練によって,特定タスクにてPromptingに基づく手法より高い精度を達成できる場合がある.計算コストや精度の改善に向けて,基盤モデルにおける軽量な追加訓練[6,7,8]がある.本研究では,GPT-3と同様な形式の日本語の基盤モデルを用いて,LoRAチューニング[1]と通常のファインチューニングの比較検証を行い,メモリ使用量や訓練に必要な計算時間などの計算コストの評価や予測性能を評価した.実験により,LoRAチューニングはファインチューニングと同程度の性能を大幅に低い計算コストで達成できることを確認した.