VLM学習では文書画像や風景写真の全体を対象に学習させることが多い．一方，人には漢字の書き取りや図鑑の閲覧など視覚情報の構成要素を学習する機会がある．本研究ではVLM学習におけるFeatureAlignmentを画像の構成要素の学習と全体的な学習に分け，分離の効果を検証する．実例として日本語OCRを含めた学習レシピで実験を行い，文書画像全体のOCRにおける学習停滞の解消や性能改善を示唆する結果を報告する．

言語モデルと視覚エンコーダを接続し視覚言語モデル（VLM）を作る手法[1,2,3]は，テキスト化されていない文書の理解[4]，GUIの汎用的操作[5]，ロボットの行動生成[6]といった応用を可能にする基盤技術である．VLMの作成に利用可能な学習データセットの整備が進んでいる[1,7,8,9,10,11,12]．それらの既存研究は多様で高品質なデータを多量に収集することを主な焦点とする．データの種類や投入順序といった学習レシピの精緻化が，VLM学習の効率化に向けた次の課題であると考える．本研究は動的解像度ViT付きVLMのFeatureAlignmentの分解を提案する．画像の構成要素を学習するAtomisticAlignment(AA)と全体的な特徴を学習するHolisticAlignment(HA)に分け，順番に学習する（図1）．要素を認識可能にしてから全体を学習することで学習の円滑化が期待される．また，合成データを用いるAAによって，単語など多様性のある画像要素を低コストで網羅的に学習できる．応用の観点から日本語OCRを含むデータセットを構築し検証した．画像から単語を読み取る単語OCRと短文による物体説明でAAを学習後，文書全体のOCRと写真全体の詳細説明でHAを学習したLLMFeatureAlignmentFineTuningvisionAtomisticAlignmentHolisticAlignmentobjects,words,ﬁgures,etc.positionalrelationorder,layout,etc.学習におけるFeatureAlignmnentを精緻化する．結果，少ない計算コストで文書全体OCRの学習停滞の抑制や性能改善に役立つことが示唆された．