近年，画像キャプション生成の研究は画像から得られる情報だけでなく，コントロールシグナルと呼ばれる追加情報を与えることにより，制御可能な画像キャプション生成へと発展している．本研究では，画像をなぞることをコントロールシグナルとみなし，なぞった軌跡（‘トレース’と呼ぶ）から推定されるユーザの意図に基づくキャプション生成手法を提案する．トレースの滞在時間からユーザの興味度合いを，トレースの順番から説明順序をユーザの意図として推定する．滞在時間を文長に比例させ，ユーザがトレースした情報を順番に漏らさずに生成文中に表現することを可能にする非自己回帰型のキャプション生成手法を提案する．

コンピュータを操作するユーザインターフェイスは，キーボードを使った文字によるCUI(Character-basedUserInterface)と，マウスを使った画像によるGUI(GraphicalUserInterface)が主流であった．しかし，PC(PersonalComputer)にタッチパッドが搭載されたことや，スマートフォンの出現により，「クリック」だけではない「スワイプ」「ピンチアウト」「フリック」など指先による画面操作方法が多様になってきた．また，近年メタバースが注目される中で，VR(VirtualReality)やMR(MixedReality)などを使用する際には，ハンドコントローラーやハンドトラッキング技術により手の動きの軌跡を読み取り，画面を操作している．つまり，従来画面に合わせて決まった動かし方しかできなかったユーザインターフェイスは，ユーザの意図に合わせて多様な表現方法ができるように変容し続けている．更に今後は，「スワイプ」「ピンチアウト」「フリック」などルールに当てはめずともユーザの動きの軌跡から指示を推測するようなユーザインターフェイスに進化していくと考えている．そこで本研究では，ユーザが描く軌跡に焦点を当て，画像キャプション生成を題材に実験を行う．