多段階学習とモデル内部推論に基づく視覚言語モデルのユーモアキャプション生成

近年の視覚言語モデルは画像の正確な記述に優れるが，人間的なユーモアや共感性を含むキャプション生成は未だ困難である．本研究では，写真をお題とする大喜利タスクを対象に，段階的な学習により創造的なボケを生成する手法を提案する．具体的には，教師あり学習を用いた言語・視覚の基礎学習に加え，GRPOによる自己説明を通じた思考プロセスの強化と，他者評価（スター数）に基づく選好学習を導入した．これにより，単なる状況説明を超え，視点の転換や論理の飛躍を伴う人間らしいユーモアの獲得を目指した．