検索エンジンを指向したLLMのアラインメント

近年,大規模言語モデル（LLM）は多様なタスクで高い性能を発揮しており,Webコンテンツ制作においてもその活用が進んでいる.先行研究[1]において,検索エンジン最適化(SEO)においてしばしば行われる,ユーザによるコンテンツの主観評価(ユーザ評価)のスキームにならい,LLMが生成するWebコンテンツを評価し,その品質が一定程度高いことを示した.一方で,汎用的なLLMは長いコンテンツを生成することが難しいという課題も明らかになった.そこで,本研究ではGoogle検索からクエリ,HTMLテキスト,検索ランキングを取得して,日本語Webコンテンツのデータセットを作成する.作成したデータセットの一部に対し,被験者によるユーザ評価を行うことで,ユーザ評価データセットを作成する.作成したデータセットを用いて,LLMに対して指示チューニング[2]による教師あり学習とDirectPreferenceOptimization(DPO)[3]によるアラインメントを行うことにより,コンテンツ生成に特化したLLMの作成を試みる.