大規模言語モデルを用いた物語分析データセットの効率的構築:日本語物語の話者推定を例として

物語分析は，文化的価値観，心理的動態，創造的プロセスを理解する上で不可欠である．物語の構造やテーマを分析することで，社会規範や人間行動に関する知見が得られることが知られている[1]．大規模言語モデル（LLM）は，物語分析においても新たな可能性をもたらしており，登場人物の感情分析やプロット進行予測などの幅広いタスクへの適用可能性を示している[2]．話者推定は物語分析における重要なタスクであり，台詞を登場人物へ正確に対応付け，物語内でのキャラクター間の動態を理解することが求められる．しかし，高品質な話者推定用データセットを構築するのはコストと労力を要し，一貫性や言い換え表現への注意が必要となる[3,4,5,6,7]．また，既存研究では，日本語小説を対象とした話話者推定コンテキスト物語分析⼈間LLM何者だその他A・・・名乗れ・・・話者推定データセットBふーむ分析CフレームワークLLMによる初期アノテーションと人手修正を組み合わせ，物語分析のための高品質なデータセットを効率的に構築する手法のフローを示す．者推定タスクに取り組む例があるものの[8,9]，使用されているデータセットの多くは非公開か，ライトノベルの特定ジャンルに限定されており，権利上の制約が多い．さらに，小説から話者とセリフを自動で識別する研究も存在するが[10]，表層的な表現の違いに影響を受けやすいという課題がある．そこで本研究では，LLMによるデータセット構築手法[11]を物語分析に対しても適用し，LLMによる初期アノテーションと人手修正を組み合わせることで，低コストで高品質なデータセットを構築した．図1に，LLMによる予測と人間による修正を反復的に組み合わせる本研究の処理の流れを示す．データセット構築は，（1）台詞とコンテキストの抽出，（２）LLMによる話者推定，および（３）人手による精査という3段階で構成されている．実験の結果，LLMを用いた日本語小説の話者推定のためのデータセット構築では，90%の高精度で話者名を識別できることが明らかになった．また，LLMによって識別された話者名を元にしてデータセットを修正することで，全てのデータセットを人手で構築する場合に比べて，アノテーションにかかる人間の作業時間を減少させられることが示唆された．.