多段階学習とモデル内部推論に基づく視覚言語モデルのユーモアキャプション生成

近年，ChatGPTをはじめとする大規模言語モデル（LargeLanguageModel）や，視覚情報と言語を統合的に扱う視覚言語モデル（Vision-LanguageModel）の発展により，AIの生成能力は飛躍的に向上している．これらのモデルは，画像の内容を正確に記述することには優れているが，「ユーモア」や「面白さ」といった人間に近い感性的なキャプションを生成することは困難である．そこで本研究では，段階的なモデルの追加学習を行うことで，写真から創造的なキャプションを生成するモデルを構築する．本研究において「人間に近いユーモアのあるキャプション」とは，単なる画像の状況説明にとどまらず，新しい視点を提示しているか，論理の飛躍が効果的に用いられているか，複数の解釈が可能で読み手の想像を広げるような表現になっているかを指す．