画像生成学習が視覚理解能力へ与える影響の分析

大規模言語モデルを基盤とし，視覚エンコーダやモダリティ接続部を組み合わせることで，画像と言語を同一モデルで扱うVision-LanguageModels（VLMs）が発展している．従来は，画像入力に基づく視覚理解（VQA）タスクやキャプショニングなどを目的とする系統と，画像生成を目的とする系統が独立に発展してきたが，近年では理解と生成を単一の枠組みで統合するUniﬁedVLMが提案され，両タスクを混合学習することで相互に性能が向上することが期待されている[1]．先行研究では，理解データの増加が生成品質を，生成データの増加が理解性能をそれぞれ改善することが確認されている[2]．統合モデルにおける性能の相互改善の要因として，画像入力と画像出力の表現空間の整合や，生成で獲得された知識が理解へ転移する可能性が議論されている[3]．しかし，相互改善がどのような表現形成によって生じるのかという機序は依然として十分に解明されておらず，その効果が視覚理解のどの能力の向上として現れるのかについても体系的な分析は<image>AnswerTextDecoderImageDecoderTextDecoderImageDecoderTransformerTransformerTextEncoderImageEncoderTextEncoderImageEncoderInstructionQuestion（a）視覚理解（b）画像生成と(b)画像生成の両方のタスクにおいて，単一のTransformerが使用される．限られている．そこで本研究では，メカニズム解明に向けた第一歩として，視覚的属性と図形配置を制御可能な合成データを設計し，これを用いて視覚理解と画像生成の学習・評価実験を行った．その際，視覚理解をLocalization/Relation/Attribute/Countingの四タスクに細分化し，混合学習がどの能力に寄与するかを検証した．実験では，視覚理解データのみでの学習と，画像生成との混合学習を比較し，画像生成学習の追加が視覚理解にどのように寄与するかを分析した．結果として，混合学習は同一更新ステップでの比較で学習初期から性能を向上させ，特に位置関係の把握を要するタスクにおいて改善が見られた．