LMは日本の時系列構造をどうエンコードするか

世界知識に関する質問に高精度で答えることができる言語モデルについて，知識がどのように構造化されているかの研究が行われている[1–3]．例えば「アインシュタインはいつ生まれましたか？」と問い合わせると，言語モデルの中間表現に時系列情報を格納した方向が存在することが観察される[4,5]．本研究では，時系列情報のうち，日本特有の和暦や時代の区分が明確である時系列がLM内部でどのように表現されるかを調査する．LM内部における各時代の時系列情報には，図1に示されるように，1)時代間で位置と方向が揃う場合や，2)全く揃わない場合など，さまざまな可能性が考えられる．本研究では，江戸，明治，大正，昭和，平成の各時代に生まれた人物の生年のデータセット§2.1を用いて，各々の時代に属する人物により構成されるLMの時代表現を別々に取得する．そして，時代間の表現を比較する実験を行う．具体的には江戸，明治，大正，昭和，平成の時代の表現を同一平面に可視化する実験，時代間の方向を比較する実験，時代間の位置を比較する実験を行った．その結果，可視LMの⻄洋の⼈物の内部表象に時系列⽅向が存在（既存研究）和暦を持つ⽇本の⼈物ではどうか（本研究）LM空間可能性１．時代間でも位置と⽅向がそろう1900⼤正LM空間明治江⼾可能性２．時代間では位置と⽅向がバラバラLM空間江⼾⼤正明治・・・1700る時系列的な方向性が存在することが先行研究により示されている．一方，和暦という独自の暦法体系を有する日本の人物について，その生年の時系列的な表現がLMの内部でどのように構築されているかは明らかになっていない．化実験では，LM内部において各時代の表現は江戸から平成の順につながるように配置されるが，時代間の方向には相関がないという時系列の全体像が図示された．時代間の方向，位置を比較する実験では，時代間の方向はバラバラであること，時代間の位置は江戸から平成の順にそろうことが示された．本研究で行った手法は日本以外の特有の暦法体系を持つ国の時系列を調べる際も適用できるため，多種多様な国の時系列を調べることでLMの時系列構造の深い理解に貢献する．