Large-scalevisionlanguagemodels（LVLMs）は，画像を基に文章を生成するLLMである．本研究ではLVLMsの応用として，画像の良い点や悪い点を批評するタスクを考えるが，LVLMsがそのような能力をどの程度備えているのかは明らかとなっていない．そのため，本研究ではLVLMsの画像批評能力を評価する手法を提案し，人間のアノテータによって付けられた批評文の優劣とLVLMsによって判断される批評文の優劣にどの程度の相関が見られるか調査した．提案手法で作られた評価用データセットに対して，一般に性能が高いとされているLVLMほど人間との間に正の相関が見られ，評価手法として一定の妥当性が確認された．

大規模言語モデル（LLMs;LargeLanguageModels）[1]は，視覚基盤モデル[2]との統合により，入力された画像を基に文章を生成する能力を獲得した．このように視覚と言語の融合（V&L）を実現したLarge-scalevisionlanguagemodels（LVLMs）[3,4,5,6,7,8,9]は，V&Lのベンチマークにおいて大きな成功を収めており，更なる応用への可能性が期待されている．こうした応用の可能性の一つとして，LVLMを使った画像への批評が挙げられる．例えば，写真や絵画などの画像コンテストでは専門家の批評に基づいて優れた画像が選ばれるが，批評は高度で複雑な作業となる．そのため，LVLMを用いた画像批評を実現できれば，画像コンテストを自動化し，それを日常的に開催することも可能となる．画像作品に対する批評が気軽に得られることで，ユーザは作品の良い点や悪い点を簡単に知ることができ，画像制作技術の向上にも繋がる．きる限り客観的な視点から良い点と悪い点に言及．画像への批評では，基本的に，画像の内容と一致する情報を捉えた上で，その良い点と悪い点をできる限り客観的な視点から説明する必要がある（図1）．従って，まずは，これら二つの基本的な能力•画像の内容と整合性の取れた情報を捉える能力•できる限り客観的な視点で批評する能力を考えることで，LVLMsが画像の批評能力をどの程度備えているのか評価する．本研究で提案する手法は，同一の画像に対して，強力なLVLM（本研究ではGPT-4Vを使用）によって生成された5種類の批評文を，画像との整合性，客観性，文章の流暢性に基づいて人間のアノテータが順位付けする．また，他のLVLMを用いて，画像・批評文生成用prompt・生成された批評文の三つ組からPerplexityを計算し，それに基づいて，5種類の批評文の順位を計算する．この結果と人間がアノテーションした結果の順位相関からモデルの性能を評価する．実験では，様々なジャンルの良質な画像が掲載されている英語版Wikipediaの「Featuredpictures」項目から207枚の画像を取得した．取得した画像と，それに対応する5種類の批評文，及び人間による順位付け評価結果を，LVLMの批評能力の評価用データセットとする．データセットは英語と日本語版の