マルチモーダル大規模言語モデルにおけるゼロと無の内部表象

ゼロという数は,人類史において自然数（1,2,3,...）とは異なる過程で導入された数の概念であり,目に見える対象を数え上げる手続きと結びついた自然数とは対照的に,「対象の不在」を数量として扱う抽象的操作を必要とする.空集合は要素を持たないため,数え上げの手続きのみからは直接評価できず,ゼロを数値的概念として理解するには,数える経験から切り離された概念操作が求められる[1].神経科学でも,ゼロは自然数とは異なる表象を持つことが報告されている.人間の頭頂皮質には数量に対応する地図状の構造が存在し[2],霊長類の頭頂葉ではゼロに選択的な神経細胞の活動が報告されている[3].また,霊長類の腹側頭頂間野（VIP）では視覚的な「有/無」を処理し,前頭前皮質（PFC）では数量としての0を処理するという階層性が報告されている[4].加えて,人工ニューラルネットワーク（ANN）においても,明示的な数の学習なしに0に相当する表象が自発的に出現することが報告されている[5].さらに,神経を模したANNでの学習により頭頂間溝（IPS）に対応する領域で,絶対・相対的数量表象が再編成されることも報告されている[6,7].一方,MLLMの数量理解に関する研究では,自然画像中の数量を問うカウント課題が広く用いられてきた[8,9].また,数表象の内部構造に関して,MLLMが持つ数の表現空間構造や領域を調べる研究[10],数字トークン埋め込みのクラスタリング等により0が単独クラスタになりやすいことを報告する研究[11],数値属性方向の読み出し・介入可能性を示す研究[12,13,14,15]などが行われてきた.しかし,これらは0を含む数の扱いを観察するに留まり,MLLMにおいて0および無に関わる内部表象がどのように構成され,隠れ層の処理階層毎にどのように変化するかを明確に検討していない.本研究は,MLLMの自然画像のカウント課題において,0と1–6の自然数の表象の関係と,無から0の概念がどのように表象されるかを明らかにすることを目的とする.その結果,1–6の自然数の表象は数直線的構造を形成するものの0はそれらと独立した関係を示すこと,さらに,0や無を誘発する無情報の画像条件間では,各0表象の距離は隠れ層が深くなるにつれて収束,すなわち,無とゼロの意味が近くなることが確認された.図1に本研究の概要図を示した.Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).理論モデルRDMord(𝑖,𝑗)=|𝑖−𝑗|•ゼロ独立モデル：非0同士は数直線上だが,0は非0から独立して配置される理論モデル0𝑖=𝑗RDMind(𝑖,𝑗)=|𝑖−𝑗|𝑖≠0∧𝑗≠0𝑐(𝑖=0∨𝑗=0)∧𝑖≠𝑗4.3異なる0表象の収束性の分析0の回答を誘発する条件（original/patchshuﬄe/phasescramble条件の0）で,0表象が隠れ層の深さ方向にoriginal条件の0表象へ近づくかを定量化するため,original条件の0表象の重心をアンカーとしてpatchshuﬄeとphasescrambleの表象の重心との距離を求め,入力種別（視覚系/言語系/全平均）ごとにトレンドを求め,置換検定[26,27]を行った.5結果5.1カウント課題の正答率大きくなるほど正答率が低下する傾向が見られたが,いずれもチャンスレベルと比較して有意に正答した.0条件では条件間で正答率に差があるものの,0出力が一定程度得られていることが確認された.画像条件正答率回答の誤差p値original00.780.87𝑝<.001original10.870.39𝑝<.001original20.780.48𝑝<.001original30.370.86𝑝<.001original40.391.17𝑝<.001original50.341.44𝑝<.001original60.181.59𝑝<.05patchshuﬄe00.514.36𝑝<.001phasescramble00.980.55𝑝<.0015.21–6の数直線性と0の配置RSA解析により,1–6のみの数直線構造を評価したところ,視覚系表象では全層で強い数直線性が得られ（𝜌=.83–.97,all𝑝<.001）,全平均表象でも同様に高い相関が得られた（𝜌=.78–.93,all𝑝<.001）.一方,言語系表象では層依存が大きく,0層と7層では有意でない一方（𝜌=.40,𝑝=.141;𝜌=.13,𝑝=.647）,中・後段層で有意となった（14層：𝜌=.55,𝑝<.05;21層：𝜌=.81,𝑝<.001）.ただし,これは0を含まない1–6の表象の構造であることに注意されたい.図2に言語系表象の後段層（21層）におけるRDMを示す.また,言語系表象の21層における内部表象を主成分分析によって2次元に圧縮して可視化した（その他の隠れ層と表現形式の主成分分析は,付録A.2を参照）.0を含む0–6の表象の配置について,ゼロ数直線モデルとゼロ独立モデルの実験データへの当てはまりを比較した.視覚系表象および全平均表象ではゼロ数直線モデルが高い当てはまりを示す傾向はあるものの,有意差は確認されなかった（視覚系表象：Steiger𝑝=.14–.21;全平均表象：Steiger𝑝=.12–.83）.対照的に,言語系表象では後段層（21層）においてゼロ独立モデルがゼロ数直線モデルを有意に上回org/licenses/by/4.0/).り,0が非0から独立した配置が支持された（21層：𝜌ind=.92vs.𝜌ord=.71,𝑍=−2.79,𝑝<.01）.ここで重要なのは,0の独立が全ての表象で一様に観察されるわけではない点である.言語系表象の後段層（21層）ではゼロ独立モデルが有意に当てはまり,0が「数直線上の端点」ではなく「独立した別カテゴリ」となる結果となった.5.3異なる0表象の収束性original条件0表象の重心を基準とした距離𝑑𝑖,𝑙を算出し,画像入力条件（patchshuﬄe/phasescrambleの0表象）ごとに隠れ層方向の収束トレンドを評価した.その結果,いずれの条件でも傾き𝑇は負となり,層が深くなるほどoriginal条件の0表象との重心距離が有意に減少する傾向が見られた（patchshuﬄe条件：𝑇=−1.19×10−3,medianslope=−1.35×10−3,𝑝<.001;phasescramble条件：𝑇=−2.29×10−3,medianslope=−2.33×10−3,𝑝<.001）.6考察本研究の実験設定では,MLLMの自然画像のカウント課題の1–6の自然数の表象は,数直線的構造を形成していた.先行研究では,数量の内部表象が直線的構造[13]や桁ごとの循環構造[15]であることが報告されており,MLLMの本課題においては数直線的構造となった.これは,先行研究は画像ではなくテキストのみのモデルが多く,入力モダリティによる内部表象の違いを反映していると考えられる.また,特に言語系の表象において,0の表象はその自然数の数直線からは連続しているものの,独立した表象となることがわかった.これは1–6との整数としての連続値であることと,無や空集合を示す独立したカテゴリの性質とを同時に満たす内部表象の配置であると解釈できる.さらに,0を誘発する無情報の画像では,0の表象が異なる条件で隠れ層毎に収束,すなわち,無とゼロの意味が近くなることが確かめられた.自然画像中に数え上げを指示された対象がない0や無と,画像に情報がない0や無では,同じ0であるものの質的には異なるものであると考えられる.それらの0の表象が隠れ層が深くなるごとに近くに配置され,似た0の意味を持つようになることは,無からゼロの概念が表象される過程と解釈できる.これらの結果はANNで数の概念が層が深くなる過程で表象される例[6]とも整合しており,自然数と0の概念は表象されるタイミングが異なるものの,層が深くなるごとに表象されるという意味では似た過程を経ると言える.また,このような階層的変換は,霊長類でVIPが視覚的有無を処理しPFCが数量としての0を処理するという階層性[4]と,処理階層に伴う表象の抽象化という観点で対応しており,0や無の表象の共通する性質を示唆するものである.7研究の限界と今後の展望第一に,本研究は単一モデル（Qwen2.5-VL-7B-Instruct）のみを対象としているため,一般のMLLMに普遍的に成り立つ結論ではない可能性がある.今後は,他モデルを比較し,表象構造がどの程度一般化するかを検討する必要がある.第二に,0を誘発する画像としてのpatchshuﬄeやphasescrambleは視覚情報を大きく破壊するため,「0（空集合）」という概念表象だけでなく,「視覚的に判断困難」に起因する方略が混入する可能性がある.今後は,「0（空集合）」を明確に分離する出力設計等により,0表象の解釈を厳密化する必要がある.8結論本研究は,MLLMの自然画像のカウント課題において,0と1–6の自然数の表象の関係と,無から0の概念がどのように表象されるかを実験的に検討した.その結果,（i）1–6の自然数の表象は数直線的構造を形成し,特に言語系の表象においては,0の表象は自然数の数直線からは連続しているものの,独立した表象となることがわかった.さらに,（ii）0を誘発する無情報の画像条件間では,異なる画像条件でも0の表象が隠れ層毎に収束,すなわち,無とゼロの意味が近くなることが確かめられた.これは無からゼロの概念が表象される過程と解釈できる.org/licenses/by/4.0/).