LUNON:相対尤度に基づくテキストの本人らしさの評価指標

他者を区別する確率的言語パターンを直接評価す大規模言語モデル（LLM）の発展により、特定のるものではない。PersonaCLR[6]のような埋め込み個人やキャラクターを模倣するAIシステムの構築ベースのアプローチも、対照学習を通じてペルソナが現実的になってきた。ファインチューニングやプ特性を埋め込み空間に投影しているが、本研究で提ロンプトエンジニアリングなどの技術を用いること案する確率的非対称性の観点からの評価は行っていで、対象個人の文章を高い精度で模倣できるようにない。なった[1]。最近の研究では、LLMが生成した応答この確率的非対称性の仮説を検証するため、が実際の人間の応答よりも本物らしいと判断される本研究ではLUNON（Log-likelihood-basedUniqueness場合があることも示されている[1]。usingNormalizedOﬀsettoaNon-personalizedmodel）をしかし、生成されたテキストが本人らしいかどう提案する。これは、対象個人の文章で訓練した言語かを定量的に評価するという根本的な課題が残さモデル（ペルソナ特化型モデル）と一般的な文章でれている。既存研究の多くは対話シナリオにおける訓練した言語モデル（一般モデル）との間の尤度のペルソナ一貫性の評価に焦点を当てているが[2,3]、乖離を定量化する指標である（図1）。本人らしい本研究では、単一のテキストが特定の人物らしさをテキストは、ペルソナ特化型モデルによって高いどの程度示しているかを測定する。このような文レ確率が割り当てられる一方で、一般モデルによっベル・発話レベルの評価は、特定の個人を模倣するては比較的低い確率が割り当てられると予想され、ように訓練された言語モデルの品質評価や、何がテLUNONはその非対称性を直接測定する。org/licenses/by/4.0/).一般言語モデルの下では比較的尤度が低く（低𝑃base）、ペルソナ特化型モデルの下では比較的尤度が高い（高𝑃persona）テキストに高いスコアを割り当てる。本研究では、日本のアイドルグループメンバーの文章から構築されたデータセットでLUNONを検証する。アイドルは定期的にブログ投稿等で個性を表現する文章を生成し、熱心なファン層が各メンバーの言語パターンを熟知しているため、本人らしさ評価の検証に適している。本研究の貢献は三つある：(1)ペルソナ特化型モデルと一般モデルとの間の尤度の非対称性に基づく本人らしさの仮説を提示し、それを検証する評価指標LUNONを提案する。(2)専門知識を有するファンによる人手評価を用いた実験により、提案手法の妥当性を示す。(3)定性分析により、尤度ベースのアプローチが捉える本人らしさの側面と、その限界について考察する。