画像キャプション生成及び物体認識を用いた駄洒落文ランキング手法の評価

世界規模の少子高齢化の進行と，その結果である高齢者単身世帯の急激な増加は看過できない問題となっている．そのため，人手を要しない人工知能技術による支援は不可欠となる．同技術の代表格となりうるのが，人間らしい振る舞いの可能な対話知能である．その具体例として，言語的ユーモアを交え笑いを通して不安を軽減する能力および視覚入力としての画像からの周辺状況の推定能力が挙げられる．さらに，両者を統合したユーモアの表現能力は人間そのものに近いといえる．本研究ではユーモア性を含む言語表現として駄洒落に注目した．画像キャプション生成とは，画像を入力として，その内容について記述した自然言語文を出力する問題である[1]．この問題は画像認識および自然言語テキスト生成という２つのタスクを同一のシステムに統合して解く必要がある．駄洒落を含む画像キャプション生成には，画像とその描画内容に即した駄洒落文のペアを集めたデータセットが必要となる．しかし，現在，そのようなデータセットは存在しておらず，画像の描画内容に即した駄洒落文を手動で作成するコストは高く，データセットの作成には時間を要する．そのため，本研究では画像から駄洒落を含むキャプションを生成する前段階として，既存のキャプション生成モデルや物体検出を活用し，画像に合った駄洒落データベース[2]内の駄洒落文を選択することを目的とする．