ゲート付き相互注意を用いたエンコーダ・デコーダによる感情に基づく絵画説明文生成

絵画鑑賞においては，視覚障害者へのバリアフリー化が長年にわたって推進されており[1]，多くの絵画には歴史等の事実に基づいた説明文が付与されている．一方，絵画の解釈と鑑賞者の感情との間には密接な関係性が存在すると指摘されているため[2]，感情が反映された説明文は絵画鑑賞において重要である．しかし，全ての絵画について感情を考慮した説明文が与えられているわけではない．そこで本研究では，絵画に対する鑑賞者の感情を考慮した説明文を生成するモデルを構築する．図1に例を示す．図中の絵画の画像および“excitement”という感情が与えられたときに，鑑賞者の感情の高ぶりを反映させた“Theshipslookliketheyareabouttogoonanadventure.”という説明文を生成することが期待される．多くの既存研究[3,4]は，利用者が指定した感情に基づく説明文の生成には取り組んでおらず，画像に関連の深い感情を予測した後，それを追加入力として説明文の生成に利用するというアプローチを採用している．しかし，これらの手法においては任意の感情を入力として受け取ることはできず，感情で条件付けされた説明文を生成することはできない．本研究では，AﬀectiveVisualEncoder(AVE)を導入した絵画説明文生成モデルを提案する．提案手法では，CLIP[5]を使用して画像から抽出したクロスモーダル情報を入力に追加することで，視覚情報を強化する．以上により，絵画の内容と感情の種類を適切に反映させた説明文を生成することが期待される．図1に提案手法の概要を示す．既存手法と異なる点は，AVEを用いて，感情ラベルを視覚情報に統合する点である．本研究の貢献を以下に示す．•ゲート付き相互注意機構を用いて，視覚情報を感情ラベルで条件付けするAVEモジュールを提案する．•エンコーダにおいて，画像の領域・グリッド特徴量を融合するための感情トークンを導入する．