逆強化学習による文章における人間らしさの推定

ある文章において、作者らしさ（作者の個性）をどのように定量的に評価するかは、自然言語処理において重要な研究課題である。文章における作者の個性を定量化することができれば、たとえばChatGPTに代表される言語モデルに対し、非人間（単純なマルコフ連鎖、あるいは言語モデルなど）の文章に対する人間の文章の「人間らしさ」を定量化することで、より人間らしい文章を生成することが可能となり、「日本語文章における日本人らしさ」を定量化することによる日本語の非母語話者に対する語学教育などにも応用可能である。したがって、文章の個性を推定する手法の実用化が求められているといえる。本研究では、文章生成が人間の意思決定の連続に基づくものであるとの考えから、文章生成過程をマルコフ決定過程によって定式化し、与えられた手本となる行動例（デモンストレーション）から報酬を推定する、逆強化学習を文章に対して適用し、報酬の形で文章の個性を推定することを提案する。推定された報酬を用いて、文単位で作者らしさを定量的に評価できるほか、各文において、具体的にどの表現が高い、あるいは低い報酬値となるかを可視化できるため、作者らしい文章表現を特定することも可能である。