記述文選択タスクによる大規模視覚言語モデルのアモーダル補完能力の評価

本研究ではアモーダル補完(amodalcompletion:AC)と呼ばれる現象に着目して大規模視覚言語モデル(Largevisionlanguagemodel;LVLM)の視覚的認識能力を評価した.ベンチマークの構築に上位オントロジーの一つであるBasicFormalOntology(BFO)を利用することでより体系的な評価を試みた.実験の結果,特に規模の大きなLVLMは全般的に人間に近いAC能力をもつものの，人間と比較して，その能力には補完される対象の種類によってばらつきがあることが確認された．またLLaVA-NeXTモデルの一部については，基盤言語モデルのパラメータ数が大きくなっているにも関わらず正答率の低下が見られた.この結果は知覚動詞を適切に理解するという課題は基盤言語モデルのパラメータサイズを単純に増やすだけでは克服できない可能性を示している.