LLM生成コンテンツのSEO観点での品質評価

様々な分野で大規模言語モデル(LLM)の活用が進む中,Webコンテンツ制作におけるLLMの有用性に着目する.検索エンジン最適化(SEO)においてしばしば行われる,ユーザによるコンテンツの主観評価(ユーザ評価)のスキームにならい,LLMが生成するテキストコンテンツを定量評価する.Google検索により収集したコンテンツにユーザ評価ラベルを付与したデータからユーザ評価予測モデルを構築し,いくつかのLLM(GPT-3.5,GPT-4,CyberAgentLM2)が生成したコンテンツの自動ユーザ評価を行った.結果,文字数が比較的少ないLLM生成コンテンツはユーザ評価において不利であるものの,10段階評価で7,8程度という高品質のコンテンツを生成できることを確認した.