ニューラル言語モデルの学習初期における単語の分節化

人間の乳幼児は，言語獲得の初期段階において，耳にした表現を要素ごとに分解せず，一続きの表現としてそのまま使用することがある[1]．例えば，“I-wanna-do-it”のような発話は，“I”，“wanna”，“do”，“it”のように切り出し可能であるが，言語獲得の初期段階では，そのような分析をすることなく「ひとかたまり」の表現として用いることがある．言語学の用法基盤理論(usage-basedtheory)では，このような未分析のかたまりはホロフレーズと呼ばれ，子どもは複雑な文法を理解する前にホロフレーズを認識・使用する段階を経るとされている[2]．他方で，自然言語処理の分野では，ニューラル言語モデル(NLM)を対象に，言語学や認知科学の観点から言語獲得における人間とNLMの共通点や相違点を検証する研究[3,4]が行われており，NLMの学習の効率化などの手掛かりとなる知見が得られてきた．これらの研究の多くは，工学的な動機によって事前に設定された語彙を所与として，その後の言語能力を人間と比較しているが，このような言語能力の基盤となる語の分割や語彙の獲得を考慮しない検証は，特に言語発達の初期段階において，発達的観点から見た妥当性に限界がある．また，NLMの発展以前にも，単語分割能力や語彙の獲得を再現できる計算モデルの探究[5,6]が行われてきた．しかし，これらの計算モデルは現代のNLMのように人間に匹敵するような多様な言語的振る舞いを十分に捉えるものではない．このような背景から，人間と比較可能な水準で様々なタスクにおいて成功を収めたNLMを対象として，言語獲得の初期段階に見られる傾向を明らかにすることが必要である．本研究では，NLMの最初期の発達的特性を理解するための足掛かりとして，言語能力の基盤たる語の分割能力の獲得過程に着目した分析を行う．具体的には，単語単位あるいはサブワード単位の語彙を所与としない文字レベルNLMの学習過程を観察し，先述の用法基盤理論と比較検討することで，NLMが初期にどのような「かたまり」を形成するのかを明らかにする．実験の結果，少なくとも本研究の設定では，ホロフレーズに類する特徴を持つような事例がNLMの学習初期のみで認識される傾向は見られず，NLMの単語分割能力の獲得過程が人間の乳幼児と乖離している可能性が示唆された．