人間とLLMの“面白さ”の感性は一致するのか？

近年，LLMの飛躍的な発展により，自然言語処理の多様なタスクを高精度で遂行可能となりつつある．しかし，Greengrossら[1]が示したように人間の知性とユーモアセンスは密接に関係している一方で，先行研究ではLLMがジョークの検出・説明については信頼に欠けると述べており[2,3]，またジョーク生成の難しさを指摘している[4]．日本には，お題に対して回答の面白さを競う競技である大喜利という演芸がある．Zhongら[5]は大喜利を題材とし，Boketeなどのサイトからデータを収集し，日本語・中国語・英語のマルチリンガルな大喜利データセットであるOogiri-GODatasetを構築した．彼らはこのデータセットを用いて様々なLLMの大喜利回答生成能力と回答の相対評価能力を分析している．結果としては既存のLLMは大喜利回答を生成・相対評価する能力はどちらも低いことを示している．一方，LLMが生成した大喜利回答の人手での評価や，LLMによる大喜利回答の絶対評価，日本語単体での評価は行われていない．また，Oogiri-GODatasetには2つの主要な問題点がある．第一に，Boketeなどのサイトは投票時に既存の得票数が表示されるため，純粋な面白さの評価が反映されない可能性がある．第二に，テキストのお題が画像として入力されるため，VLMのOCR能力が結果に影響を与え，LLMの真の大喜利能力を正確に測れない可能性がある．そこで，本研究ではこれらの問題点を解消するために新たに日本語のデータセットを構築し，LLMの日本語大喜利生成・評価能力を測った．まず，回答および投票の公平性が確保されており，テキストのお題はテキストとして取得できる大喜利サイトである“大喜利茶屋”1）を使いデータセットを構築した．次に，作成したデータセットを用いて，真面目な回答と大喜利回答を生成させ，回答を定性的に分析した．さらに回答の絶対評価を行い，人手での評価とも比較することで，人間とLLMの“面白さ”の感性が一致するかどうかを検証した．本研究の主な貢献は以下のとおりである．•公平性の担保された大喜利サイトから，日本語の大喜利データを収集・フィルタリングし，高品質な大喜利データセットを新たに構築した．•構築したデータセットに対して，LLMによる大喜利回答の生成を行い，日本語大喜利における生成特性を定性的に分析し，人間の大喜利回答との違いやユーモア生成の可能性を示した．1）https://oogiri-chaya.com.•LLMとクラウドソーシングで絶対値評価を行い，LLMと人間の評価基準がどの程度一致しているかを分析し，LLMが人間と異なる基準で大喜利回答を高く評価する傾向を示した．