画像生成学習が視覚理解能力へ与える影響の分析

視覚理解と画像生成を単一モデルで扱うUniﬁedVLMが提案されている一方，理解・生成の混合学習による相乗効果や干渉については十分に解明されていない．本研究では，混合学習が視覚理解のどの能力に有効であるかを検証するために合成データを設計し，視覚理解を四つの能力に細分化して分析を行った．理解データのみでの学習と，理解・生成データの混合学習を比較した結果，混合学習では，同一更新ステップにおいて学習初期から性能の向上が見られ，より高い正解率が得られる傾向を確認した．また，図形の属性認識は理解タスクのみでも高精度に達する一方，位置関係の把握には混合学習が特に有効であることが示唆された．