日本語の大規模な基盤モデルに対するLoRAチューニング

本研究では,日本語の大規模基盤モデルを用いて,テキスト分類・生成タスクにおけるLoRAチューニング[1]を検証した.具体的には,XLSum[2](要約),JNLI[3](含意関係認識),JCommonsenseQA[3](常識推論)の三つのタスクにて,LoRAチューニングとファインチューニングを行い,チューニングしたモデルの精度や必要なパラメータ数や学習時間などの比較を行った.比較実験により,ファインチューニングと比較して,LoRAチューニングは計算時間やメモリ使用量を大幅に低減でき,推論の精度がファインチューニングと同等以上であることを確認した.