JCuisines:日本の地域文化の理解にむけた郷土料理視覚言語ベンチマーク

人間の文化を理解できる大規模視覚言語モデル（LVLM）の実現を目指した文化理解視覚的質問応答（CulturalUnderstandingVQA）タスクが注目を集めており[1]，複数のベンチマークが提案されている[2,3,4]．また現在では，日本文化を対象としたベンチマークも提案され[5,6,7,8]，城郭や神社，風習といった，日本特有の文化に対するLVLMの理解度評価を可能にしている．しかし，既存のベンチマークは，それぞれの地域が持つ「地域的特性」を，LVLMが理解しているかを十分に評価できていない．地域的特性とは，地域特有の文化を生み出す源であり[9,10]，その代表例として，地形や気候といった自然的条件と，政治体制や宗教といった歴史的条件がある．食文化や行事といった地域文化は，これらの地域的特性の上で形づくられたものであり，地域文化への理解を深めるには，これらを含めた包括的な理解が必要である．そこで本研究では，自然的条件と歴史的条件が食材や調理法などを通じて見た目に反映されやすく，リソースも豊富な「郷土料理」を主題として，LVLMの地域的特性の理解を問うベンチマークであるJCuisinesを構築した．JCuisinesは，すべての都道府県の郷土料理を網羅したベンチマークであり，LVLMと人間のパフォーマンスを比較することが可能である．実際にJCuisinesでLVLMを評価した結果，クローズドモデルは人間と比べても地域的特性に関する知識量が豊富かつその知識や料理の見た目から問題の答えを推論する能力に長けている一方で，オープンモデルではモデルファミリーごとにその能力に差がみられた．これは現在のオープンモデルには地域的特性に関するさらなる知識の獲得に加え，それと料理の見た目を統合して回答の推論を行う能力の向上が必要であることを示唆する．