大規模言語モデル(LLM)の応用の一つに,検索エンジン最適化(SEO)の目的に沿った高品質なWebコンテンツ生成が挙げられる.本研究では,コンテンツの品質指標であるユーザ評価をターゲットとしたLLMの調整(アラインメント)を行い,高品質かつ長文のコンテンツの生成を目指す.Google検索により取得したWebコンテンツと,コンテンツに対しユーザ評価ラベルを付与したデータセットを利用して,指示チューニングとDirectPreferenceOptimization(DPO)によるアラインメントを行なった.評価の結果,生成コンテンツの質と長さの両面で改善が確認できた.

近年,大規模言語モデル（LLM）は多様なタスクで高い性能を発揮しており,Webコンテンツ制作においてもその活用が進んでいる.先行研究[1]において,検索エンジン最適化(SEO)においてしばしば行われる,ユーザによるコンテンツの主観評価(ユーザ評価)のスキームにならい,LLMが生成するWebコンテンツを評価し,その品質が一定程度高いことを示した.一方で,汎用的なLLMは長いコンテンツを生成することが難しいという課題も明らかになった.そこで,本研究ではGoogle検索からクエリ,HTMLテキスト,検索ランキングを取得して,日本語Webコンテンツのデータセットを作成する.作成したデータセットの一部に対し,被験者によるユーザ評価を行うことで,ユーザ評価データセットを作成する.作成したデータセットを用いて,LLMに対して指示チューニング[2]による教師あり学習とDirectPreferenceOptimization(DPO)[3]によるアラインメントを行うことにより,コンテンツ生成に特化したLLMの作成を試みる.