言語処理学会 第30回年次大会 発表論文集（2024年3月）

逆強化学習による文章における人間らしさの推定
岸川大航 大関洋平
東京大学{d-kishikawa,oseki}@g.ecc.u-tokyo.ac.jp
きるため、作者らしい文章表現を特定することも可能である。

概要
文章からの作者の個性の推定は、言語モデルにおける人間らしい文章生成、あるいは文章の定量的分析などに応用可能であるため、重要な研究課題であると考えられる。本研究では、言語生成過程をマル
コフ決定過程によってモデル化し、報酬を推定する
逆強化学習を用いることによって、報酬の形で文章の個性を推定することを提案する。計算機実験として、夏目漱石の文章とそれ以外の作家の文章を提案手法によって学習させ、文章が識別可能であること、推定報酬を用いた文章表現に対する定量的な評価が可能になることを示す。

1

はじめに

2

準備

2.1

マルコフ決定過程 (MDP)マ ル コ フ 決 定 過 程 (Markov Decision Process;MDP)[1] は、強化学習（Reinforcement Learning; RL）の基礎となる確率過程である。MDP は、状態 𝑠 ∈ 𝑆、行動 𝑎 ∈ 𝐴、状態 𝑠 で行動 𝑎 をとった際に次状態 𝑠 ′に遷移する状態遷移確率 𝑝(𝑠 ′ |𝑠, 𝑎)、状態 𝑠 で行動 𝑎をとった際の報酬 𝑟 (𝑠, 𝑎)、割引率 𝛾(0 ≤ 𝛾 ≤ 1)、そして初期状態分布 𝑝 0 (𝑠) から構成される。MDP における最適方策 𝜋 ∗ は、累積割引報酬を最大化する方策であり、式（1）によって表される。

ある文章において、作者らしさ（作者の個性）を
𝜋 ∗ (𝑎 𝑡 |𝑠𝑡 ) =どのように定量的に評価するかは、自然言語処理[∞]∑𝑡において重要な研究課題である。文章における作argmax 𝜋 𝔼𝑠0 ∼ 𝑝0𝛾 𝑟 (𝑠𝑡 , 𝑎 𝑡 )|𝑠𝑡 , 𝑎 𝑡 ∼ 𝜋(𝑎 𝑡 |𝑠𝑡 ) (1)𝑡=0
者の個性を定量化することができれば、たとえばChatGPT に代表される言語モデルに対し、非人間MDP 上において最適方策を学習する手法が強化学（単純なマルコフ連鎖、あるいは言語モデルなど） 習（Reinforcement Learning; RL）であり、意思決定主の文章に対する人間の文章の「人間らしさ」を定量体のことをエージェントと呼ぶ。エージェントは環化することで、より人間らしい文章を生成すること境内に存在し、MDP に従いながら、試行錯誤によっが可能となり、「日本語文章における日本人らしさ」 て最適方策を獲得する。
を定量化することによる日本語の非母語話者に対す
2.2 逆強化学習 (IRL)
る語学教育などにも応用可能である。したがって、文章の個性を推定する手法の実用化が求められていRL が、与えられた報酬関数に対して最適方策をるといえる。
獲得する手法であるのに対し、逆強化学習（Inverse
本研究では、文章生成が人間の意思決定の連続にReinforcement Learning; IRL）[2] はその逆であり、最基づくものであるとの考えから、文章生成過程をマ適方策をとるエージェント、エキスパートが存在ルコフ決定過程によって定式化し、与えられた手本し、エキスパートが累積割引報酬を最大化するといとなる行動例（デモンストレーション）から報酬をう仮定のもとで、最適方策、または最適方策に従っ推定する、逆強化学習を文章に対して適用し、報酬て、環境内で記録された状態から構成される時系列の形で文章の個性を推定することを提案する。推定 （軌跡（trajectory）と呼ぶ）のデータセット、デモンされた報酬を用いて、文単位で作者らしさを定量的ストレーションを所与として、その背後に存在するに評価できるほか、各文において、具体的にどの表報酬関数を推定する手法である。
現が高い、あるいは低い報酬値となるかを可視化で具体的には、IRL は以下の過程に従って報酬を推― 2522 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

定する。
1. エキスパートデモンストレーションと、現在のて ベ ク ト ル 化 し た 系 列 を 軌 跡 と す る。す な わ
ち、ある文章 𝜎 = {𝑤 0 , 𝑤 1 , · · · 𝑤𝑇 } が 𝑠0 = {𝑤 0 } , 𝑠1 =エージェントの軌跡の乖離度を、何らかのダイ{𝑤 0 , 𝑤 1 } , · · · , 𝑠𝑇 = {𝑤 0 , 𝑤 1 , · · · 𝑤𝑇 } という文章断片バージェンスによって比較し、報酬関数を推定に分解されるとき、軌跡 𝜏 = {𝑣 0 , 𝑣 1 , · · · , 𝑣𝑇 } となるする。

（𝑇 は文章の終端時刻を示す）。

2. 報酬関数に従って、エージェントに最適方策を獲得させる。
3. エージェントを環境内で行動させ、軌跡を記録

計算機実験

4

計算機実験として、夏目漱石の作品とそれ以外のする。

作家の作品の文章データから、夏目漱石らしさが推4. 1. に戻る。

定できるかどうかを検証する。今回の実験においてこの過程を繰り返し、最終的にダイバージェンスが0 となった場合、エージェントは最適方策を獲得し、その時推定中の報酬関数がエキスパートが持つ報酬関数となる。IRL は、報酬関数を設計することが難しいロボットの複雑な行動の学習や、本来の報酬関用いるのは、エキスパートとして夏目漱石の 12 作品、ベースラインとして森鴎外・泉鏡花・太宰治・島崎藤村の各 3 作品、計 12 作品を、それぞれ用いる。データは青空文庫 [5] のものを使用した。
• エキスパート：夏目漱石 · · · 『こころ』『それか数が未知である人間や生物の意図分析 [3, 4] に用いら』『虞美人草』『吾輩は猫である』『坑夫』『行られている。中でも、オフライン IRL 手法は 2. が不人』
『三四郎』
『草枕』
『道草』
『彼岸過迄』『坊っ要であるため、高速に学習可能である。

ちゃん』『明暗』

3• ベースライン：その他の作家 4 人

文章の個性推定のための IRL– 森鴎外 · · · 『雁』『渋江抽斎』『青年』– 泉鏡花 · · · 『黒百合』『日本橋』『婦系図』

文章を作成するエージェントが、形態素 𝑤 を一つずつ出力しながら文章を生成する過程のことを文章– 太宰治 · · · 『斜陽』『人間失格』『惜別』生成過程と呼ぶことにする。文章生成過程は以下の– 島崎藤村 · · · 『家』『新生』『夜明け前』

過程からなる。

これらのデータを結合・全文シャッフル・重複を除

1. 時刻 𝑡 のエージェントは、時刻 𝑡 までの形態素からなる文章断片 𝑠𝑡 = {𝑤 0 , 𝑤 1 , 𝑤 2 , · · · , 𝑤 𝑡 } を現状態として観測し、自身の持つ方策（執筆方針にあたる）𝜋(𝑎|𝑠) に基づき、行動 𝑎 𝑡 として次の形態素 𝑤 𝑡+1 を出力する。
2. 次 に 環 境 は、次 状 態 と し て 𝑠𝑡+1 ={𝑤 0 , 𝑤 1 , 𝑤 2 , · · · , 𝑤 𝑡 , 𝑤 𝑡+1 } を、何 ら か の 文 章 断片に対する評価関数 𝐶 (𝑥)（文章断片 𝑥 が好ましいほど 𝐶 (𝑥) は高い値を返すものとする）を報酬値 𝑟 𝑡 = 𝐶 (𝑠𝑡 ) として返す。
3. 最後に、報酬 𝑟 𝑡 に基づいてエージェントは自身の持つ 𝜋 を学習し、観測した次状態 𝑠𝑡+1 に基づ去した上で、train・dev・test データとしておおよそ8:1:1 になるようにデータを分割し、train と dev を報
酬の学習に使用した。また、報酬を出力するニューラルネットワーク（報酬モデル）を学習するためのIRL アルゴリズムには LogReg-IRL[6] を用いた。
エキスパートおよびベースラインの test データにおけるスコアの分布をヴァイオリンプロットとして図 1 に示し、図 1 の X 軸を範囲 [−25, 25] の範囲で拡大したプロットを図 2 に示す。また、各スコアの平均を表 1 に示す。ここでスコアとは、ある文章 𝜎について、各文章断片 𝑤 ごとの報酬値を足し合わせたもの、すなわち

き行動 𝑎 𝑡+1 を出力する。

score(𝜎) =4. 1. に戻る。

𝑇∑𝑟 𝜃 (𝑠𝑡 )𝑡=0以上の定式化によって文章生成過程をモデル化 す る と き、エ キ ス パ ー ト デ モ ン ス ト レ ー シ ョ
ン に あ た る の は 特 定 の 作 者 の 文 章 で あ る。文 章を 形 態 素 解 析 に よ っ て 形 態 素 単 位 に 分 割 し、状態 に あ た る 形 態 素 列 𝑠𝑡 を、何 ら か の 文 章 ベ ク トル 化 手 法 𝑓 (𝑥) に よ る 変 換 関 数 𝑣 𝑡 = 𝑓 (𝑠𝑡 ) に よ っである。図 1、図 2 の縦軸がスコアを示す。
図 1、図 2、表 1 より、分布は非常に近いものの、総じてエキスパートのスコア平均はベースラインのスコア平均を上回っており、分離できていることがわかる。
エキスパートおよびベースラインにおける実際の― 2523 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

20100100100

0200
10300
20400

Expert500
Expert

図1

Baseline

図2

test データにおけるスコアのヴァイオリン
プロット

Baseline

図 1 の X 軸を範囲 [−25, 25] において拡大した
ヴァイオリンプロット

0.75

0.1

0.50
0.0
0.25
0.1

0.00

0.2

0.25

0.3

0.50
0.75

図3

夏目漱石作品（test データ）における報酬値

図4

ベースライン作品（test データ）における報酬値報酬値を可視化し、図 3、図 4 にそれぞれ示す。図の固有名詞（たとえば作品中の登場人物名）などのの横軸は、最も左の形態素が文の最初の形態素であ影響を大きく受ける可能性が考えられる。このようり、各形態素は文の冒頭からその形態素までの文章な報酬モデルは、文章における個性の推定という点断片を示し、縦軸はその文章断片に対する報酬モデでは適切ではなく、未知のデータにおいても個性をルの出力する報酬値である。まず図 3 であるが、こ評価できるモデルの方が望ましいと考えられる。それは『明暗』の一節である。文章の前半は負の報酬であるため、夏目漱石（すなわちエキスパート）ら

こで、エキスパート・ベースラインともに、学習には利用していない、別の 12 作品のデータを利用し、しくないと判定されているが、文末表現まで含めた前節で学習した報酬モデルの評価が一貫するかを検場合は、報酬値が正であるため、全体として夏目漱証する。利用した作品は次のとおりである。

石らしいと判定されている。一方、図 4 は島崎藤村• エキスパート：夏目漱石 · · · 『一夜』『永日小の『新生』の一節である。こちらは対照的に、文の品』『幻影の盾』『手紙』『硝子戸の中』『創作家

前半は夏目漱石らしいものの、文の後半が夏目漱石の態度』
『文鳥』
『変な音』
『夢十夜』
『門』
『野分』

らしくないと判定され、全体として夏目漱石ではな『倫敦塔』

いと判定されている。これらの例では、文末表現が• ベースライン：その他の作家 4 人

夏目漱石らしさを示す根拠として用いられていると– 森鴎外 · · · 『かのように』『阿部一族』『山いえる。

4.1

椒大夫』
– 泉鏡花 · · · 『三枚続』『式部小路』『草迷宮』

未知のデータにおける検証– 太宰治 · · · 『新ハムレット』『新釈諸国噺』

前節の test データは、train・dev・test データとし『正義と微笑』ておおよそ 8:1:1 になるように分割されたデータであるため、基本的には学習に利用した学習に利用した文章と同一作品内での検証となり、スコアが特定– 島崎藤村 · · · 『桜の実の熟する時』『千曲川のスケッチ』『力餅』
エキスパートおよびベースラインの test データに― 2524 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

020500

10100001500

10200020
Expert

図5Baseline

Expert

未知データにおけるスコアのヴァイオリン
プロット

図6Baseline

図 5 の X 軸を範囲 [−25, 25] において拡大した
ヴァイオリンプロット

0.8
1.0
0.6

0.5
0.0

0.4

0.5
0.2

1.0
1.5

0.0

2.00.2

図72.5

夏目漱石作品（未知データ）における報酬値

図8ベースライン作品（未知データ）における報酬値

おけるスコアの分布をヴァイオリンプロットとして作品の計量分析において文末表現に着目した研究

図 1 に示し、図 5 の X 軸を範囲 [−25, 25] の範囲で[7] が存在することからも、この結論は妥当である

拡大したプロットを図 6 に示す。また、各スコアのといえる。

平均を、test データと同様に表 1 に示す。ヴァイオ

まとめリンプロットは前節と同様である。

5

図 5、図 6、表 1 より、test データにおける結果よりは差が小さくなっているものの、総じてエキス

本論文では、文章の個性を推定する手法として、IRL を用いる手法を提案した。計算機実験として、パートのスコア平均がベースラインのスコア平均を夏目漱石とそれ以外の作家の文章から「夏目漱石ら上回っており、分離できていることがわかる。したしさ」を推定することが可能かどうかを検証し、実がって、提案手法は未知のデータにおいても有効で際に両者が分離できること、報酬の可視化による判あるといえる。

断根拠の説明が可能であることを確認した。今後

報酬について、エキスパート、ベースラインをそは、人間および非人間の文章から、文章における人れぞれ図 7、図 8 に示す。図 7（夏目漱石『一夜』の間らしさが推定できるかの検証を予定している。

一節）では、文の冒頭部分、および文末表現まで入れた場合に正の報酬値が出力されており、夏目漱石らしいと判定されている。一方、ベースライン（泉鏡花『草迷宮』の一節）では、文の冒頭は正の報酬値が出ており、夏目漱石らしいと判定されているものの、文末までを含めると報酬値が負となり、夏目

表1漱石ではないと判定されている。以上に述べた報酬の可視化による分析では、文末表現が報酬モデルの判断根拠であるという結論にいたったが、夏目漱石― 2525 ―夏目漱石作品および他作品におけるスコアの平均

夏目漱石作品

他作品

test データ

9.39-17.56

未知データ

5.93-10.89

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

参考文献[1] Richard S Sutton and Andrew G Barto. Reinforcement
learning: An introduction. MIT press, 2018.
[2] Andrew Y Ng, Stuart J Russell, et al. Algorithms for inverse
reinforcement learning. In Icml, Vol. 1, p. 2, 2000.
[3] Shoichiro Yamaguchi, Honda Naoki, Muneki Ikeda, Yuki
Tsukada, Shunji Nakano, Ikue Mori, and Shin Ishii. Identiﬁcation of animal behavioral strategies by inverse reinforcement learning. PLoS computational biology, Vol. 14,No. 5, p. e1006122, 2018.
[4] Kris M Kitani, Brian D Ziebart, James Andrew Bagnell,and Martial Hebert. Activity forecasting. In Europeanconference on computer vision, pp. 201–214. Springer,
2012.
[5] 青 空 文 庫 Aozora Bunko. https://www.aozora.gr.
jp/, 2024.
[6] Eĳi Uchibe. Model-free deep inverse reinforcement learning
by logistic regression. Neural Processing Letters, Vol. 47,
No. 3, pp. 891–905, 2018.
[7] 土山玄. 文末表現の計量分析に基づく夏目漱石の小説の分類. 研究報告人文科学とコンピュータ（CH）,
Vol. 2019-CH-120, No. 6, pp. 1–4, 2019.

― 2526 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).