従来の線形変換ベースの手法との性能差を生み出す要因はいくつかあります。
Optimal Transport-Based Assignment Prediction: VLAPでは、最適輸送を用いた割り当て予測を行うことで、視覚と言語の表現の整合性を高めています。この手法は、単純な線形変換よりも複雑な関係性を捉えるため、性能向上に寄与しています。
Word Embeddings of Pretrained LLMs: VLAPは、事前学習済みLLMの単語埋め込みを利用しており、視覚表現をこれらの埋め込み空間にマッピングすることで、豊富な言語的文脈情報を保持しています。これにより、視覚的な意味演算などのタスクにおいて優れた性能を発揮しています。
Generative Capability of Frozen LLMs: VLAPは、凍結されたLLMの生成能力を活用して画像キャプショニングなどのタスクに取り組んでいます。このアプローチにより、豊富な言語的情報を含む視覚表現を生成することが可能となり、性能向上に寄与しています。
これらの要因により、VLAPは従来の線形変換ベースの手法と比較して優れた性能を発揮しています。