の緯度・経度を当てられても，Japan⊂EasternAsia，本研究は，階層構造（例：Japan⊂EasternAsia⊂EasternAsia⊂Asiaといった階層的な関係がどの程Asia）が言語モデルの内部表現上でどの程度・どの度・どのように符号化されているかは不明である．ように符号化されているかを調査する．手法とし本研究では，言語モデルの内部表現に階層構造がて，LinearRelationalConcepts（LRC）に基づき，上どの程度・どのように埋め込まれているか，またそ位・下位概念間で表現を写像する複数の線形変換器の表現が単語予測に因果的に影響を及ぼすのかをを学習・評価した．地名，人名，組織名，生物名の調査する．例えば，言語モデルの内部表現を通じてドメインで実験した結果，同一ドメイン内では階層“Osaka”が“Japan”という上位概念に所属している関係が表現から線形に復元でき，介入実験によってかを評価する．そしてその表現を用いて狙った単語線形変換で得られた特徴が単語予測に因果的に影響へ変化できるのかという因果的な影響を調べる．実を及ぼすことを確認した．一方で，学習した線形変験では各階層の深さ間の内部表現を変換する線形換を学習時と異なる階層や異なるドメインに適用す変換器で学習とテストを行う(図1)．具体的には，ると介入効果は大きく弱まり，予測に寄与する表現ChaninらのLinearRelationalConcepts(LRC)[5]を用の特徴は階層の深さやドメイン固有であることが示いる．この手法を用いることで，ある概念がモデされた．これらの結果と追加分析から，言語モデルルにどの程度線形に符号化されているのかというが階層情報を保持する一方で，それが普遍的な単一点と，モデルの出力に因果的に影響を与える特徴軸としてではなく，階層構造の深さ・ドメインごと量の方向を把握することができる．我々はこの手に局在した低次元部分空間として符号化されている法を階層の深さおよびドメイン(例:地名，人名等)ことが示唆された．ごとに拡張し，それぞれに対応する複数の線形変換器を学習する．この線形変換の束を我々はLinear

HierarchicalConcepts(LHC)と呼ぶ．階層深さおよび次単語予測で学習された言語モデルが，特定の概ドメイン毎の線形変換器を比較・分析することで，念の構造を符号化していることが様々な研究で示さ言語モデルが階層構造をどのような特徴として内部れている．例えば，色の構造[1]，地理情報[2]，人の表現に符号化しているかを明らかにする．出生年の軸[3]，オセロの盤面[4]等の構造である．実験の結果，同一ドメイン内では，親子関係の階この言語モデルの内部表現の理解は，テキストのみ層構造は，表現から線形に復元でき，さらにその方の学習により世界のどのような概念が符号化される向への介入によってモデルの予測を実際に変化させのか，またそれがタスク遂行にどのような役割を果られることを確認した．一方で，単語予測に影響をたすのかという問いに答えるために重要である．与える表現方向は階層の深さやドメインをまたいしかしこれらの既存研究[1,2,3,4]は，言語モデで一様には共有されず，深さ・ドメインが変わるとルの内部表現と実世界の一次データ(例えば地理座介入効果が顕著に弱まる場合が多かった．このこと標や生誕年などの数値属性)の一致度合いを評価すは，言語モデルは階層情報を持つものの，普遍的なるに留まっており，階層構造などの人間が整理し単一の軸としてではなく，深さやドメインごとに異知識として定めた構造とモデルの内部表現がどのなる低次元部分空間に局在する形で符号化されてい程度一致しているかは依然不明瞭である．例えば，ることを示唆している．org/licenses/by/4.0/).(b)ドメイン内テスト(c)ドメイン外テスト(a)線形変換を特定ドメインで学習(b-1)(b-2)EuropeAsiaEasternAsiaWesternAsiaWesternEuropeR2✅線形変換R2……JapanFranceChina線形変換R1GermanyR1✅……TokyoOsakaParisLyon𝑅(𝑠)Osaka𝒔ispartofJapan𝒐𝑅𝑠を逆変換して𝑅!"(𝑜)を得る線形変換𝑅!"(𝑜)“Partof:Japan”Japan𝒗𝒐