絵画作品鑑賞のバリアフリー化を進める際に，人手を必要とせずに絵画の説明文を生成できれば有用である．絵画の解釈は鑑賞者の感情と密接な関わりを有するため，説明文は感情に基づいていることが望ましい．本研究では，感情ラベルを視覚情報に統合するAﬀectiveVisualEncoderを導入した絵画説明文生成モデルを提案する．提案手法においては，感情トークンを用いて画像の領域・グリッド特徴量を融合し，画像・物体レベルの視覚情報を利用する．ArtEmisデータセットを使用して提案手法の性能を評価した結果，全ての評価指標において既存手法を上回る性能を得た．

絵画鑑賞においては，視覚障害者へのバリアフリー化が長年にわたって推進されており[1]，多くの絵画には歴史等の事実に基づいた説明文が付与されている．一方，絵画の解釈と鑑賞者の感情との間には密接な関係性が存在すると指摘されているため[2]，感情が反映された説明文は絵画鑑賞において重要である．しかし，全ての絵画について感情を考慮した説明文が与えられているわけではない．そこで本研究では，絵画に対する鑑賞者の感情を考慮した説明文を生成するモデルを構築する．図1に例を示す．図中の絵画の画像および“excitement”という感情が与えられたときに，鑑賞者の感情の高ぶりを反映させた“Theshipslookliketheyareabouttogoonanadventure.”という説明文を生成することが期待される．多くの既存研究[3,4]は，利用者が指定した感情に基づく説明文の生成には取り組んでおらず，画像に関連の深い感情を予測した後，それを追加入力として説明文の生成に利用するというアプローチを採用している．しかし，これらの手法においては任意の感情を入力として受け取ることはできず，感情で条件付けされた説明文を生成することはできない．本研究では，AﬀectiveVisualEncoder(AVE)を導入した絵画説明文生成モデルを提案する．提案手法では，CLIP[5]を使用して画像から抽出したクロスモーダル情報を入力に追加することで，視覚情報を強化する．以上により，絵画の内容と感情の種類を適切に反映させた説明文を生成することが期待される．図1に提案手法の概要を示す．既存手法と異なる点は，AVEを用いて，感情ラベルを視覚情報に統合する点である．本研究の貢献を以下に示す．•ゲート付き相互注意機構を用いて，視覚情報を感情ラベルで条件付けするAVEモジュールを提案する．•エンコーダにおいて，画像の領域・グリッド特徴量を融合するための感情トークンを導入する．