個別選好の異質性を考慮した大喜利ユーモア選好要因の分析

大規模言語モデル（LLM）は，人間に近い創造的推論を可能にするものとして注目を集めている．文脈理解や微妙なニュアンスの把握を要するユーモア理解・生成は，その能力を評価する有用な題材である．一方で，ユーモアは主観的で文化依存性も高く，「面白さ」の定量化や再現は自然言語処理における難題である[1]．本研究では，大喜利に着目する．大喜利はお題に対して機知に富んだ回答をする質問応答型のユーモア形式である．LLMのユーモア理解・生成を改善するには，人間がどのようなユーモアを好むかを明確化し，LLMと人間のギャップを特定することが重要である．しかし，既存研究には2つの課題が残る．第一に，人間のユーモア選好分析では個人差が十分に扱われてこなかった．従来は複数評定者の評価を平均して「全体スコア」を作り分析することが多いが[2,3]，主観評価では一致率が低いことが多い[4]．したがって，ユーザ間で選好が異なるとみなすのが自然である[5,6]．第二に，LLMと個々の人間選好のギャッ投票履歴に基づくユーザクラスタリングお題:「レガシーコード」の定義とは？回答B動いてはいるが、「なぜ動いているのか」が誰にもわからないコード回答A半年前に自分が書いたコード…Cluster6Cluster0LLM…ユーモア選好要因の分析非選好要因選好要因Cluster0surrel_nonsenseexagge-rationself-referenceBTLスコアsymbol-highdialogueending-ellipsislen-token-shortLLMending-ellipsisending-questionsurreal_nonsenseBTLスコアslanglen-token-xlongwordplay因分析の概要．各クラスタ，LLMの選好要因を推定する．プは明確化されていない．Sakabeら[3]は，人間はempathyを，LLMはnoveltyを重視すると報告したが，議論は集約された選好に基づくもので，個人（あるいはユーザ群）との整合性は未検証である．そこで本研究では，投票データに付随するユーザIDを用い，投票履歴に基づいてユーザをクラスタリングし，クラスタ単位でユーモア選好要因を分析する（図1）．各クラスタについて，言語的特徴量（例：長さ）およびユーモア戦略ラベル（例：ブラックジョーク）からなる解釈可能な要因集合を定義し，Bradley–Terry–Luce（BTL）モデル[7]により要因重みを推定する．また，LLMに各お題の回答集合から最も面白いものを1つ選ばせることでLLM選好データを構築し，同一の要因集合でBTL推定した重みをユーザクラスタと比較する．さらに，LLM選好を特定クラスタへ誘導する方法を検討する．本研究は次の研究課題に答える．（RQ1）ユーザクラスタのユーモア選好要因はどう異なるか．（RQ2）LLMの選好は特定のユーザクラスタと整合するか．（RQ3）LLM選好を特定クラスタへ誘導できるか．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).し，自己一貫性プロトコル[17]に従い各回答について3回実行し，多数決で最終ラベルを決定した．4.3選好モデル化要因の重み推定にはDecipherPref[18]を基礎としてBTLモデル[7]を用いる．DecipherPrefは，解釈可能な要因集合に基づき，選好（比較）データから要因ごとの重みを推定して選好を要因レベルで説明する枠組みである．データD={(𝑝𝑖,r𝑖,v𝑖)}𝑀𝑖=1において，𝑝𝑖はお題，r𝑖=(𝑟1𝑖,...,𝑟𝑛𝑖𝑖)は回答列，v𝑖=(𝑣1𝑖,...,𝑣𝑛𝑖𝑖)は各回答の得票数とする．解釈可能な要因集合𝔽を定義し，各回答𝑟に含まれる要因集合を𝑓(𝑟)⊆𝔽とする．なお，連続値の特徴量は，先行研究[18]に従い四分位により離散化し扱う1）．得票数からペア比較を導出する．各お題𝑝𝑖について回答ペア(𝑟𝑗𝑖,𝑟𝑘𝑖)を比較し，𝑣𝑗𝑖>𝑣𝑘𝑖なら𝑟𝑗𝑖を勝者，𝑟𝑘𝑖を敗者とし，同点は除外する．勝者固有の要因𝐹+𝑖=𝑓(𝑟𝑗𝑖)\𝑓(𝑟𝑘𝑖)，敗者固有の要因𝐹−𝑖=𝑓(𝑟𝑘𝑖)\𝑓(𝑟𝑗𝑖)を定義し，共通要因は情報を持たないため除外する．各𝑓∈𝐹+𝑖が各𝑔∈𝐹−𝑖に「勝った」とみなし，要因レベルの勝敗を得る．BTLモデルでは各要因𝑘∈𝔽にパラメータ𝜃𝑘∈ℝを割り当て，𝑘がℓに勝つ確率を𝑃(𝑘≻ℓ)=exp(𝜃𝑘)exp(𝜃𝑘)+exp(𝜃ℓ)で表す．推定にはLucespectralranking（LSR）[19]を用いた．推定されたˆ𝜃𝑘が高い要因ほど選好に寄与し，低い要因ほど非選好と関連する．5LLM選好データの収集LLMの選好分析のために選好データを収集する．タスク定義各お題𝑝に対し，回答集合R(𝑝)={𝑟𝑝,1,...,𝑟𝑝,𝐾𝑝}をLLMに提示し，最も面白い回答を1つ選択させる．選択結果を𝑦𝑝∈{1,...,𝐾𝑝}として記録し，ˆ𝑟𝑝=𝑟𝑝,𝑦𝑝を得る．これにより，LLM選好データ{(𝑝,R(𝑝),𝑦𝑝)}𝑝∈Pを構築する．評価データ分析データセットから，回答数が5未満のお題を除外し，897件のお題と14,352件の回答（1お題あたり平均約16回答）を評価対象とした．モデルGemini3Pro，GPT-5.1，ClaudeSonnet4.5の3モデルを対象とした．ペルソナプロンプトプロンプトの違いがLLMの応答特性に影響を与えることが知られている1）例えば，連続値特徴量の一つである文字数は四分位に基づき4つの要因len-char-{short,medium,long,xlong}に変換し，それぞれの重みを推定する．（付録Aを参照）C1(49)C2(39)C6(29)UMAP2