百聞は一見に如かず？視覚情報は言語モデルに文の階層構造を教示するか

巨大言語モデルが進展を遂げた一方，人間の言語獲得効率の良さが対照的に強調されている．例えばGPT-3[1]は，人間が10歳までに享受する言語刺激のおよそ2000倍のデータで学習されており[2]，非常に単純な計算では人間の20,000年分の学習に匹敵する．それではなぜ人間は言語獲得のデータ効率が良いのだろうか？本研究では，この問いを言語モデルと人間のどのような差異を埋めることで両者の言語獲得効率の乖離が縮まるかという問いに読み替え，効率的な言語獲得が実現される十分条件について計算機上での概念実証を目指す．本研究では特に，記号接地[4]や身体性[5]の問題に関連する視覚情報の影響に焦点を当てる．通常人間は，言語モデルと異なり，言語獲得中に視覚情報を利用でき，効率的な言語汎化に貢献している可能性がある．実験では主語・動詞の数の一致を手がかりに，言語の階層的な汎化の達成に視覚情報が寄与するかを検証する（図1）．なお近年の視覚・言汎化規則が定まらない学習データCatswithglasseswalkAcatwalksいずれにも整合階層的汎化線形的汎化CatswithglasseswalkCatswithglasseswalk視覚情報のもとで言語モデリングwithglasseswalk言語モデルの学習事前学習済み画像エンコーダ🙈🐵orCatswithglassesモデルが選好した汎化規則の峻別Acatwithglasseswalks/walk.🐵視覚情報が階層的汎化を促進するか？則の曖昧なデータの下での言語の階層的規則獲得を促進するか調査する．なお図中の画像は，例示のためにDALL-E[3]で生成したものである．語処理では大規模モデルの開発が盛んであるものの[6,7]，言語と視覚の相互作用に関する言語科学的な分析や学習過程の分析は限られている[8,9]．リアルなキャプションデータを用いた実験では，文に対応する静止画像を単にモデルに入力するだけでは，言語の階層的汎化は促されないことが観察された．一方，問題を抽象化・簡略化した人工データを用いた実験では，言語の階層的な汎化に対する視覚情報の著しい寄与が確認された.この設定ではデータの偏りやキャプションに関係のない視覚情報は捨象されており，閉じた世界の中で学習者が視覚情報の適切な抽象化をできた状況を想定している．少なくともリアルなデータを用いた今回の実験からは，言語的な事前知識を持たない学習者（ニューラルネット）が，静止画像と文の対から自然言語の.DisAmbig.データでは両者の数は異なる．Ambig.データが大部分を占める学習データでモデルを訓練し，そこで学習された規則をDisAmbig.データを用いて峻別する．表中の画像は作成したデータセットから抽出したものである．種類自然画像キャプション人工画像キャプションgirlagedstandswithahandonatreealoneAmbig.youngboyswithschooluniformsandbackpacksprepareforschoolonanearlymorningDisAmbig.younggirlsdressedincolonialgeartietheirshoesatfarm適切な規則性を見出すことは容易でないこと，人間と言語モデルの学習効率の違いは単なる視覚情報の有無のみでは説明できないことが示唆された．一方人工データの結果を踏まえると，(i)視覚情報を適切に抽象化する特別な視覚・言語能力を学習者に仮定できれば，視覚情報が言語獲得に良い影響を及ぼす可能性があることや，(ii)実験で用いた事前学習済み画像エンコーダでは，リアルな画像から言語獲得に影響を及ぼすような視覚情報の抽出・抽象化ができていない可能性なども強調された．