探査子法を用いた音楽から学習可能な言語モデルの構文的性質の解析

事前学習済み言語モデルはさまざまな自然言語タスクで高い実験的パフォーマンスを示している[1].こうした進歩により,言語モデルが学習している言語情報を理解することへの関心が高まっている.また,ある言語で事前学習された言語モデルはその言語内だけでなく,学習した言語とは異なる言語の推論精度も向上することが先行研究にて示されている[2].これは,事前学習において単一の言語に限らない知識が学習されていることを示唆しているが,どのような知識が学習されているのかはまだ十分に解明されていない.更に,この事前学習で得られている自然言語に関する知識は,非言語データからも得られることがわかっている.音楽やプログラムコードのデータを事前学習に用いた研究[3]では,事前学習により自然言語に関する構造的な知識が得られていることを明らかにしており,比較対象のランダムデータと比較して,音楽やプログラムコードなどの非言語データは自然言語への転移を行った際のPerplexityスコアが向上することが示されている.しかし音楽データの構造解釈は数多くあり,具体的にどのような構造が学習されているのかはまだ明らかになっていない.本研究では言語モデルが音楽データから獲得している知識のうち,特に自然言語に関する構造的知識が獲得されているのかどうかについて着目した.まず始めに,Papadimitriouらが提案したTestforInductiveBiasviaLanguageModelTransfer(TILT)[3]を用いて音楽データを用いて事前学習を行い,ファインチューニングで自然言語への転移学習を行う.このときの自然言語への転移性能を調べることで,自然言語習得に寄与する構造を持っていることを確認する.その後,探査子という手法を用いて事前学習時の内部表現を調べることで,言語モデルが音楽データからどのような言語に関する構造的知識を獲得しているかどうかを調べた.