因果追跡に基づくVLMのモジュール重要度推定とLoRA適用先選択の検証

視覚言語モデル（VisionLanguageModel;VLM）は視覚質問応答や文字認識など多様なタスクで高性能を示す一方，内部機構として，視覚情報と言語知識がどの層・どの計算モジュールを介して出力に寄与するかは十分に理解されていない．大規模言語モデル（LargeLanguageModel;LLM）では，因果追跡により予測に因果的に効く層・モジュールを定量化できることが示されており，この知見はVLMの解析や効率的な微調整設計にも有用である可能性がある．本研究ではタスクを知識依存／知覚依存に分類し，因果追跡の分析によりTransformer系VLMの層・モジュール（Attention/MLP）単位の重要度を推定して両者の寄与構造を比較する．さらに，重要度上位モジュールのみにLoRAを付与して微調整し，因果的重要度に基づくモジュール選択が効率的な学習設計の指針となり得るかを検証する．