言語モデルに線形に内在する階層的概念

HierarchicalConcepts(LHC)と呼ぶ．階層深さおよび次単語予測で学習された言語モデルが，特定の概ドメイン毎の線形変換器を比較・分析することで，念の構造を符号化していることが様々な研究で示さ言語モデルが階層構造をどのような特徴として内部れている．例えば，色の構造[1]，地理情報[2]，人の表現に符号化しているかを明らかにする．出生年の軸[3]，オセロの盤面[4]等の構造である．実験の結果，同一ドメイン内では，親子関係の階この言語モデルの内部表現の理解は，テキストのみ層構造は，表現から線形に復元でき，さらにその方の学習により世界のどのような概念が符号化される向への介入によってモデルの予測を実際に変化させのか，またそれがタスク遂行にどのような役割を果られることを確認した．一方で，単語予測に影響をたすのかという問いに答えるために重要である．与える表現方向は階層の深さやドメインをまたいしかしこれらの既存研究[1,2,3,4]は，言語モデで一様には共有されず，深さ・ドメインが変わるとルの内部表現と実世界の一次データ(例えば地理座介入効果が顕著に弱まる場合が多かった．このこと標や生誕年などの数値属性)の一致度合いを評価すは，言語モデルは階層情報を持つものの，普遍的なるに留まっており，階層構造などの人間が整理し単一の軸としてではなく，深さやドメインごとに異知識として定めた構造とモデルの内部表現がどのなる低次元部分空間に局在する形で符号化されてい程度一致しているかは依然不明瞭である．例えば，ることを示唆している．org/licenses/by/4.0/).(b)ドメイン内テスト(c)ドメイン外テスト(a)線形変換を特定ドメインで学習(b-1)(b-2)EuropeAsiaEasternAsiaWesternAsiaWesternEuropeR2✅線形変換R2……JapanFranceChina線形変換R1GermanyR1✅……TokyoOsakaParisLyon𝑅(𝑠)Osaka𝒔ispartofJapan𝒐𝑅𝑠を逆変換して𝑅!"(𝑜)を得る線形変換𝑅!"(𝑜)“Partof:Japan”Japan𝒗𝒐