検索エンジンを指向したLLMのアラインメント

大規模言語モデル(LLM)の応用の一つに,検索エンジン最適化(SEO)の目的に沿った高品質なWebコンテンツ生成が挙げられる.本研究では,コンテンツの品質指標であるユーザ評価をターゲットとしたLLMの調整(アラインメント)を行い,高品質かつ長文のコンテンツの生成を目指す.Google検索により取得したWebコンテンツと,コンテンツに対しユーザ評価ラベルを付与したデータセットを利用して,指示チューニングとDirectPreferenceOptimization(DPO)によるアラインメントを行なった.評価の結果,生成コンテンツの質と長さの両面で改善が確認できた.