Large-scalevision-languagemodels（LVLMs)は，ユーザーから入力された画像と指示に基づき文章を生成する巨大言語モデルである．これらのモデルを画像の創作支援に利用する際には，画像の構図や工夫，他作品との比較，歴史的背景，深い芸術的な知識に基づく説明の生成が要求される．しかしLVLMが芸術作品の説明に必要な知識，及び複雑な知識間の関連をどの程度理解し，それらを統合して説明に応用できるかは，明らかにされていない．本研究では，芸術作品に関する深い知識の理解と利用を定量的に評価するための新たなタスク，データセット及び評価尺度を提案し，さらにLVLMが芸術に関する知識を伴う説明を学習するための訓練データセットも公開する．このタスクは，芸術作品の画像とタイトルからの説明生成，及び画像のみを使用した説明生成の二つで構成され，LVLMの言語に基づく知識と視覚に基づく知識の両方を評価する．検証の結果，LVLMは元のLLMと同等の言語に基づく知識を保持しているものの，視覚に基づく知識の獲得は限定的であることが判明した．

Vision&Language(V&L)では，大規模言語モデル（LLMs；LargeLanguagemodels)[1,2,3]に，視覚エンコーダを組み合わせ学習し，視覚と言語を統合したLargescalevisionlanguagemodels(LVLMs)[4,5,6,7]がV＆Lのベンチマーク[8,9,10,11]において成功を収めている．これらのモデルは，図1にあるように絵画や写真などの創作支援に応用された際、芸術作品の主題，その歴史的な背景，関連する他の作品や芸術の流れなどの知識を体系的に活用して説明を生成する必要があり，知識を単に個別に認識するだけでは不十分である．このように創作支援において構図はいいですね！16世紀のレオナルド・ダ・ヴィンチは、“スフマート”という技法で、ぼんやりとした優しいグラデーションを⽣み出したんだよ。⾊の境界をぼかして、描いてみようグラデーションの書き⽅教えてLVLMユーザーは芸術に関する知識の相互関係を深く理解し，それらを総合的に説明に結びつける能力が重要となる．既存研究としてVQA[12]の枠組みで芸術作品を対象とした知識を問うタスク[13,14,?]が存在するが，これらはいずれも独立した知識を扱うものに限られ，知識を組み合わせて説明を生成する能力を評価するための新たなタスクと評価指標が求められる．上記の問題を解決するために本研究では，LVLMの芸術作品に関する説明生成能力を測定する新しいタスクと評価尺度を提案する．提案タスクにおいてLVLMは入力された芸術作品の画像とそのタイトルに対し，与えられた指示に従う説明を生成しなければならない．我々は提案タスクを遂行するために英語版Wikipediaのartworkに該当するinfoboxを持つ記事1万件からデータセットを構築し，LVLMが芸術的な知識を伴う説明を学習するための訓練データセットも公開する．さらに，現在様々なV＆Lのベンチマークにおいて最高精度を達成している３つのLVLMを用いて検証を行った．検証の結果，LVLMは元となったLLMが保持する芸術に関する知識を保持していることが判明した．その一方で，芸術に.ThePugisabreedofdogoriginallyfromChina,withphysicallydistinctivefeaturesofawrinkly,short-muzzledface,andcurledtail.Thebreedhasafine…LanguageDecoderTokenizerVisionEncoderImageTextより統合する．関する知識が視覚から与えられる情報と適切に対応づいていないということも明らかとなった．