ゲート付き相互注意を用いたエンコーダ・デコーダによる感情に基づく絵画説明文生成

絵画作品鑑賞のバリアフリー化を進める際に，人手を必要とせずに絵画の説明文を生成できれば有用である．絵画の解釈は鑑賞者の感情と密接な関わりを有するため，説明文は感情に基づいていることが望ましい．本研究では，感情ラベルを視覚情報に統合するAﬀectiveVisualEncoderを導入した絵画説明文生成モデルを提案する．提案手法においては，感情トークンを用いて画像の領域・グリッド特徴量を融合し，画像・物体レベルの視覚情報を利用する．ArtEmisデータセットを使用して提案手法の性能を評価した結果，全ての評価指標において既存手法を上回る性能を得た．