言語モデルに線形に内在する階層的概念

の緯度・経度を当てられても，Japan⊂EasternAsia，本研究は，階層構造（例：Japan⊂EasternAsia⊂EasternAsia⊂Asiaといった階層的な関係がどの程Asia）が言語モデルの内部表現上でどの程度・どの度・どのように符号化されているかは不明である．ように符号化されているかを調査する．手法とし本研究では，言語モデルの内部表現に階層構造がて，LinearRelationalConcepts（LRC）に基づき，上どの程度・どのように埋め込まれているか，またそ位・下位概念間で表現を写像する複数の線形変換器の表現が単語予測に因果的に影響を及ぼすのかをを学習・評価した．地名，人名，組織名，生物名の調査する．例えば，言語モデルの内部表現を通じてドメインで実験した結果，同一ドメイン内では階層“Osaka”が“Japan”という上位概念に所属している関係が表現から線形に復元でき，介入実験によってかを評価する．そしてその表現を用いて狙った単語線形変換で得られた特徴が単語予測に因果的に影響へ変化できるのかという因果的な影響を調べる．実を及ぼすことを確認した．一方で，学習した線形変験では各階層の深さ間の内部表現を変換する線形換を学習時と異なる階層や異なるドメインに適用す変換器で学習とテストを行う(図1)．具体的には，ると介入効果は大きく弱まり，予測に寄与する表現ChaninらのLinearRelationalConcepts(LRC)[5]を用の特徴は階層の深さやドメイン固有であることが示いる．この手法を用いることで，ある概念がモデされた．これらの結果と追加分析から，言語モデルルにどの程度線形に符号化されているのかというが階層情報を保持する一方で，それが普遍的な単一点と，モデルの出力に因果的に影響を与える特徴軸としてではなく，階層構造の深さ・ドメインごと量の方向を把握することができる．我々はこの手に局在した低次元部分空間として符号化されている法を階層の深さおよびドメイン(例:地名，人名等)ことが示唆された．ごとに拡張し，それぞれに対応する複数の線形変換器を学習する．この線形変換の束を我々はLinear