LLM生成コンテンツのSEO観点での品質評価

ChatGPTに象徴される大規模言語モデル(LLM)は,様々な業務で活用が進められている.Webコンテンツ制作もその一つであり,今やネット上ではAI生成コンテンツと思われる(ほとんど違和感はないがやや不自然な)文体のWebページもみられる.Webコンテンツ制作の最重要目的はページビュー向上,すなわちできる限り多くの人々に閲覧されること,ひいてはGoogleなどの検索エンジンで上位に表示されることであり,そのために検索エンジン最適化(SEO)と呼ばれる方法論が研究されている.SEOにおいて,検索エンジンでの自ページの表示順位はもちろん重要な指標であるが,ユーザ評価,すなわちユーザがページの内容や品質の良し悪しを10段階等で評価した主観評価結果も重視される.現在のLLMが生成するコンテンツがユーザ評価でどの程度の水準にあるのかはいまだ明らかではない.そこで本研究では,ユーザ評価ラベルが付与されたWebテキストコンテンツを用いてユーザ評価予測モデルを構築し,いくつかのLLM(GPT-3.5,GPT-4,CyberAgentLM2)が生成したコンテンツの自動ユーザ評価を行う.これにより,既存のコンテンツと比較して現在のLLM生成コンテンツがどの程度の品質を有するのかを明らかにする.さらに,ユーザ評価におけるLLM間の比較結果も示す.