トレースからユーザの意図を反映した画像キャプション生成

近年，画像キャプション生成の研究は画像から得られる情報だけでなく，コントロールシグナルと呼ばれる追加情報を与えることにより，制御可能な画像キャプション生成へと発展している．本研究では，画像をなぞることをコントロールシグナルとみなし，なぞった軌跡（‘トレース’と呼ぶ）から推定されるユーザの意図に基づくキャプション生成手法を提案する．トレースの滞在時間からユーザの興味度合いを，トレースの順番から説明順序をユーザの意図として推定する．滞在時間を文長に比例させ，ユーザがトレースした情報を順番に漏らさずに生成文中に表現することを可能にする非自己回帰型のキャプション生成手法を提案する．