大規模言語モデルを用いたStoryIntentionGraphの自動生成の精度改善

人間同士の対話において，お互いの価値観や経験は物語によって表出されることが多い[1,2]．そのため，対話システムが物語を理解できれば，話者の価値観や経験などをより深く理解することができるようになると考えられる．物語理解はこれまでに重要なトピックとして研究が進められてきた．物語の表現の研究[3]や，ナラティブやニュース等から，物語構造を自動的に獲得する研究[4,5]もなされてきた．我々は，Elsonによって提案されたStoryIntentionGraph(SIG)[6]と呼ばれる物語の表現に着目している．SIGは，物語のイベントと，その解釈，および，登場人物の意図や目的を構造化しており，複雑な内容を表すことができる[7]．童話のような物語以外にも，ブログなどに含まれるPersonalStoryを表現する用途にも用いられている[8]．先行研究で我々は，大規模言語モデル（LLM）を用いて，物語文からSIGの自動生成に取り組んだ[9]．具体的には，GPT-4を用い，プロンプトとして，SIGの要素の定義等を与えることで，SIGの自動生成を実施した．しかしながら，SIGの構造は複雑であり，SIGを自動生成する精度は高くなかった．評価もSIGの構造としての妥当性の観点からのみ行っており，内容面からの評価ができていなかった．本研究では，より高度な推論が可能と考えられるLLMを用い，SIGの自動生成の改善を行う．具体的には，LLMとしてGPT-4o,および，推論力に優れたOpenAIo1を採用し,プロンプトへのshotの導入を行う．さらに，SIGの評価尺度を作成し，自動生成されたSIGの内容面からの評価をできるようにする．実験の結果，OpenAIo1にshotの追加を行うことで，人手作成SIGの約76%という比較的高い精度でSIGを自動生成可能なことが分かった．以降では，まずSIGおよびLLMを用いたSIGの自動生成について述べる．そして，SIGの評価手法について述べた後，評価実験について述べる．最後に，本稿のまとめを述べる．