主題化における人間と言語モデルの対照

ニューラルモデルはデータのみから人間らしい言語の汎化を達成するのかという認知科学的な関心のもと，近年進展を遂げたニューラル言語モデルの有する言語知識が分析されてきた[1,2,3,4,5,6]．文章の産出といった言語活動において文を超えた談話的な側面は無視できない一方，言語モデルの分析では統語的知識などが関心の的となり[7,8]，談話的知識については文の並び替え能力など粗いレベルでの分析にとどまることが多い．本研究では談話の一側面である主題構造[9]に焦点を当て，言語モデルが有する談話レベルの選好について，人間と対照しながら統制的に調査する．主題は，「心理的主語：話者が伝えたいことの算出にとりかかる時にまず心の中にもつもの」と定義され[10]，ある要素を主題にするか（主題化するか）という判断は，センタリング理論[11,12]や情報の新旧[13]などと関わりがあり，文脈を考慮する必要があることが知られている．例えば以下の2文は「花瓶」が主題化されているかという観点で異なり，「花瓶を昨日割った。」とい文脈c：花瓶を昨日割った。文sTOP：花瓶は部屋にあった。文sNOT：花瓶が部屋にあった。文脈cに続く文としてどちらが自然か評価人間言語モデル(クラウドワーカ)比較生成確率ラベル数sTOPsNOTsTOPsNOTの文脈において，ある項が主題化された文𝑠TOPと，主題化されていない文𝑠NOTのどちらが続くのが自然かを判断させるう文の続きとしては，文(1a)よりも文(1b)を用いることが考えられる．(1)a.花瓶が部屋にあった。Therewasavaseintheroom.b.花瓶は部屋にあった。Thevasewasintheroom.このような文脈依存な判断について，言語モデルの選好を分析する．また，主題化の選択は日本語学習者にとって容易でなく[14]，主題化のモデリングは日本語の主題選択に関する自動判定や，文章執筆支援といった応用的出口にも繋がる．具体的には，文の主題がとりたて助詞で明示される日本語を用い，統制的に文ペアを作成することで主題構造の観点を切り分けてモデルを分析する．人間の文脈依存な選好に関してクラウドソーシングを用いて大規模にデータを収集した後，主題化に関する選好を言語モデルと人間とで比較した（図1）．人間の判断が文脈依存で変化する事例において，言語モデルは文脈非依存な振る舞いを示し，日本語の主.題化について人間とは異なる汎化をしていることが示唆された．本研究で作成したデータセットは公開する1）．