探査子法を用いた音楽から学習可能な言語モデルの構文的性質の解析

自然言語が持つ構造と似た構造を持つ非言語データとして音楽やプログラムコードのデータを事前学習に用いる研究から,非言語データから自然言語習得に寄与する構造的知識が得られていることが先行研究によりわかっている.一方で,音楽データについては構造解釈が複雑なことから具体的にどのような構造が獲得されているか明らかになっていない.本研究では音楽データに着目し,音楽データが自然言語習得に寄与することを確認したのち,探査子を用いて言語モデルが音楽データから学習している構文レベルの言語学的性質を明らかにする.