因果追跡に基づくVLMのモジュール重要度推定とLoRA適用先選択の検証

視覚言語モデル（VisionLanguageModel;VLM）は，視覚質問応答，キャプション生成，文字認識など幅広いタスクで高い性能を示している[1,2,3]．一方，実運用では計算資源やデータ規模の制約からパラメータ効率の良い微調整が重要となり，特にLoRA[4]が広く用いられているが,LoRAの付与先（層・モジュール）の選定指針は十分に整理されておらず全層・全モジュールに一様に付与する設定も多い[5,6,7]ため，学習可能パラメータ数や計算量の観点で非効率になり得る．この問題に対し，LLMの内部解析は有力な手掛かりを与える.MLPが知識の保持・想起に関与しうることが指摘され[8]，ROME[9]やMEMIT[10]は因果追跡により予測に効くモジュールを特定し，局所編集への有用性を示した．また，Attentionは情報のコピーやルーティングを担う回路として解釈できることが報告されている[9,11]．VLMでも同様に予測に効く回路が層・モジュール単位で偏在するのであれば，その重要度に基づいてLoRAの付与先を絞ることで更新対象を削減しつつ性能を維持・改善できる可能性がある．ただし，VLMでは，タスクが要求する情報源が一様ではない．知識依存タスクでは視覚入力は手掛かりを与え，回答形成は言語知識の想起・統合に大きく依存すると考えられる．一方，文字認識や文書理解のような知覚依存タスクでは視覚トークンからの情報抽出とテキストトークンへの結合が支配的になり得る．したがって，出力に寄与する層・モジュールの分担は，知識依存／知覚依存で異なる可能性がある．VLMに対する因果追跡ベースの解析[12,13,14]は提案されつつあるものの，(i)知識依存／知覚依存という軸で同一の因果指標により寄与構造を直接比較し，(ii)その差異をLoRAの適用先選択として実際に検証する試みは限定的である．本研究では，知識依存タスクと知覚依存タスクを定義し，ROMEに基づく因果追跡（図1）によりTransformer系VLMの層・モジュール重要度（Attention/MLP）を推定して比較する．さらに，推定した重要度に基づきTop-kモジュールのみにLoRAを付与して微調整することで,(1)タスク群間で寄与構造に差があるか，(2)その差異（因果的重要度）が効率的なLoRA配置設計に結びつくか，を検証する．本研究で得られた主な知見は以下である．•知識依存タスクと知覚依存タスクでは，因果追跡で推定される重要層・重要モジュールの分布に差が観測される．•因果追跡に基づくTop-k選択はランダム選択と同等となる場合があり，因果的重要度がそのままLoRA配置の最適指針になるとは限らない．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).メータ𝑠1）を用いて，平均0・分散(𝜎𝐸𝑠)2のガウスノイズ𝑁∼N0,(𝜎𝐸𝑠)2I,𝑁∈ℝ𝐵×𝑇×𝑑(5)を生成する．さらに，質問トークン位置を表すマスク𝑀∈{0,1}𝐵×𝑇を用い，質問に対応する位置にのみノイズを付与してcorrupted埋め込み˜𝐸を˜𝐸=𝐸+(𝑁⊙𝑀),(6)と定義する．このcorruptionは，入力系列を保ったまま質問表現のみを局所的に攪乱し，その影響が出力確率へ伝播する経路を層・モジュール単位で比較することを目的とする．知識系タスクでは質問が想起すべき知識を指定する手掛かりとして働く一方，知覚系タスクでは質問は主に抽出対象の指示となり，回答は画像内情報から得られることが多い．そこで，本研究では，画像表現ではなく質問表現へのcorruptionに統一し，どの層・モジュールがcorruptionの影響をどの程度回復するかを因果追跡で評価する．