視覚的文書理解モデルの内部機序に基づくチューニング

社会や産業におけるデータの多くは文書として存在し，視覚的に文書を理解する（視覚的文書理解）能力は，大規模視覚言語モデル（LVLM）の研究・産業両面で重要となっている．強力な大規模言語モデル（LLM）や大規模データセットの登場により，LVLM開発は急速に進展している[1,2]．特に，データやモデル構造の工夫による性能向上が試みられている[3]が，モデルの本質的な能力や内部機序に関する理解が不十分なまま性能改善が進められている可能性がある．こうした工夫を施す前のモデルは，能力を最大限発揮できているのだろうか．この疑問を解明するため内部機序調査が進められている[4]．また，タスク性能向上目的でも調査されている[5]．しかし，これらは自然画像中心の調査であり，視覚的文書理解に関しては十分に調査されていない．また，モデルが持つ能力を引き出す方法として，推論・学習時の工夫が考えられる．推論時の工夫[6,7]では性能低下の原因部分を直接改善できない．学習時の工夫は様々な方法が提案されている[8,9]が，内部機序に基づく方法は提案されていない．1.内部機序調査❄︓訓練対象外❄❄❄︓訓練対象LLMプロジクタエンコ⽂書画像画像層層…ーダテキスト回答⼊⼒テキストLinearprobe…分類器分類器分類器精度層