様々な分野で大規模言語モデル(LLM)の活用が進む中,Webコンテンツ制作におけるLLMの有用性に着目する.検索エンジン最適化(SEO)においてしばしば行われる,ユーザによるコンテンツの主観評価(ユーザ評価)のスキームにならい,LLMが生成するテキストコンテンツを定量評価する.Google検索により収集したコンテンツにユーザ評価ラベルを付与したデータからユーザ評価予測モデルを構築し,いくつかのLLM(GPT-3.5,GPT-4,CyberAgentLM2)が生成したコンテンツの自動ユーザ評価を行った.結果,文字数が比較的少ないLLM生成コンテンツはユーザ評価において不利であるものの,10段階評価で7,8程度という高品質のコンテンツを生成できることを確認した.

ChatGPTに象徴される大規模言語モデル(LLM)は,様々な業務で活用が進められている.Webコンテンツ制作もその一つであり,今やネット上ではAI生成コンテンツと思われる(ほとんど違和感はないがやや不自然な)文体のWebページもみられる.Webコンテンツ制作の最重要目的はページビュー向上,すなわちできる限り多くの人々に閲覧されること,ひいてはGoogleなどの検索エンジンで上位に表示されることであり,そのために検索エンジン最適化(SEO)と呼ばれる方法論が研究されている.SEOにおいて,検索エンジンでの自ページの表示順位はもちろん重要な指標であるが,ユーザ評価,すなわちユーザがページの内容や品質の良し悪しを10段階等で評価した主観評価結果も重視される.現在のLLMが生成するコンテンツがユーザ評価でどの程度の水準にあるのかはいまだ明らかではない.そこで本研究では,ユーザ評価ラベルが付与されたWebテキストコンテンツを用いてユーザ評価予測モデルを構築し,いくつかのLLM(GPT-3.5,GPT-4,CyberAgentLM2)が生成したコンテンツの自動ユーザ評価を行う.これにより,既存のコンテンツと比較して現在のLLM生成コンテンツがどの程度の品質を有するのかを明らかにする.さらに,ユーザ評価におけるLLM間の比較結果も示す.