自己生成・自己選好データを活用した事後学習の効果検証

大規模言語モデルの事後学習に利用するデータは，一般に高品質であることが望ましい．従来は人手で作成したデータが積極的に用いられてきたが，近年は，コスト削減等の動機でモデルが生成したデータを活用して性能向上を図るアプローチも注目を集めている．本研究では，このアプローチの中でも，外部モデルや人手による評価に依存せずに，学習対象の言語モデル自身が生成し，選好した自己生成データのみを用いた事後学習に焦点を当て，性能向上に寄与する手法を模索した．実験の結果，学習対象モデル自身が生成・選好したデータを用いた事後学習が，適切な学習枠組みと組み合わせることで有効に機能する可能性が示唆された．