視覚的文書理解モデルの内部機序に基づくチューニング

社会や産業におけるデータの多くは文書として存在し，視覚的に文書を理解する（視覚的文書理解）能力は大規模視覚言語モデル（LVLM）の研究・産業応用において不可欠である．LVLMの性能向上に向けた内部機序調査は進められているが，視覚的文書理解に関する調査は不十分である．また，内部機序調査の知見を活用したチューニング方法は提案されていない．本研究は，視覚的文書理解に関するLVLMの内部機序を調査し，それに基づくチューニング手法を初めて提案する．提案手法はデータやモデル構造を変更せずに適用可能である．複数の文書関連タスクでの実験の結果，訓練パラメータ数と訓練時間を削減しながら性能向上を確認した．