社会や産業におけるデータの多くは文書として存在し，視覚的に文書を理解する（視覚的文書理解）能力は大規模視覚言語モデル（LVLM）の研究・産業応用において不可欠である．LVLMの性能向上に向けた内部機序調査は進められているが，視覚的文書理解に関する調査は不十分である．また，内部機序調査の知見を活用したチューニング方法は提案されていない．本研究は，視覚的文書理解に関するLVLMの内部機序を調査し，それに基づくチューニング手法を初めて提案する．提案手法はデータやモデル構造を変更せずに適用可能である．複数の文書関連タスクでの実験の結果，訓練パラメータ数と訓練時間を削減しながら性能向上を確認した．

社会や産業におけるデータの多くは文書として存在し，視覚的に文書を理解する（視覚的文書理解）能力は，大規模視覚言語モデル（LVLM）の研究・産業両面で重要となっている．強力な大規模言語モデル（LLM）や大規模データセットの登場により，LVLM開発は急速に進展している[1,2]．特に，データやモデル構造の工夫による性能向上が試みられている[3]が，モデルの本質的な能力や内部機序に関する理解が不十分なまま性能改善が進められている可能性がある．こうした工夫を施す前のモデルは，能力を最大限発揮できているのだろうか．この疑問を解明するため内部機序調査が進められている[4]．また，タスク性能向上目的でも調査されている[5]．しかし，これらは自然画像中心の調査であり，視覚的文書理解に関しては十分に調査されていない．また，モデルが持つ能力を引き出す方法として，推論・学習時の工夫が考えられる．推論時の工夫[6,7]では性能低下の原因部分を直接改善できない．学習時の工夫は様々な方法が提案されている[8,9]が，内部機序に基づく方法は提案されていない．1.内部機序調査❄︓訓練対象外❄❄❄︓訓練対象LLMプロジクタエンコ⽂書画像画像層層…ーダテキスト回答⼊⼒テキストLinearprobe…分類器分類器分類器精度層