自然言語が持つ構造と似た構造を持つ非言語データとして音楽やプログラムコードのデータを事前学習に用いる研究から,非言語データから自然言語習得に寄与する構造的知識が得られていることが先行研究によりわかっている.一方で,音楽データについては構造解釈が複雑なことから具体的にどのような構造が獲得されているか明らかになっていない.本研究では音楽データに着目し,音楽データが自然言語習得に寄与することを確認したのち,探査子を用いて言語モデルが音楽データから学習している構文レベルの言語学的性質を明らかにする.

事前学習済み言語モデルはさまざまな自然言語タスクで高い実験的パフォーマンスを示している[1].こうした進歩により,言語モデルが学習している言語情報を理解することへの関心が高まっている.また,ある言語で事前学習された言語モデルはその言語内だけでなく,学習した言語とは異なる言語の推論精度も向上することが先行研究にて示されている[2].これは,事前学習において単一の言語に限らない知識が学習されていることを示唆しているが,どのような知識が学習されているのかはまだ十分に解明されていない.更に,この事前学習で得られている自然言語に関する知識は,非言語データからも得られることがわかっている.音楽やプログラムコードのデータを事前学習に用いた研究[3]では,事前学習により自然言語に関する構造的な知識が得られていることを明らかにしており,比較対象のランダムデータと比較して,音楽やプログラムコードなどの非言語データは自然言語への転移を行った際のPerplexityスコアが向上することが示されている.しかし音楽データの構造解釈は数多くあり,具体的にどのような構造が学習されているのかはまだ明らかになっていない.本研究では言語モデルが音楽データから獲得している知識のうち,特に自然言語に関する構造的知識が獲得されているのかどうかについて着目した.まず始めに,Papadimitriouらが提案したTestforInductiveBiasviaLanguageModelTransfer(TILT)[3]を用いて音楽データを用いて事前学習を行い,ファインチューニングで自然言語への転移学習を行う.このときの自然言語への転移性能を調べることで,自然言語習得に寄与する構造を持っていることを確認する.その後,探査子という手法を用いて事前学習時の内部表現を調べることで,言語モデルが音楽データからどのような言語に関する構造的知識を獲得しているかどうかを調べた.