トレースからユーザの意図を反映した画像キャプション生成

コンピュータを操作するユーザインターフェイスは，キーボードを使った文字によるCUI(Character-basedUserInterface)と，マウスを使った画像によるGUI(GraphicalUserInterface)が主流であった．しかし，PC(PersonalComputer)にタッチパッドが搭載されたことや，スマートフォンの出現により，「クリック」だけではない「スワイプ」「ピンチアウト」「フリック」など指先による画面操作方法が多様になってきた．また，近年メタバースが注目される中で，VR(VirtualReality)やMR(MixedReality)などを使用する際には，ハンドコントローラーやハンドトラッキング技術により手の動きの軌跡を読み取り，画面を操作している．つまり，従来画面に合わせて決まった動かし方しかできなかったユーザインターフェイスは，ユーザの意図に合わせて多様な表現方法ができるように変容し続けている．更に今後は，「スワイプ」「ピンチアウト」「フリック」などルールに当てはめずともユーザの動きの軌跡から指示を推測するようなユーザインターフェイスに進化していくと考えている．そこで本研究では，ユーザが描く軌跡に焦点を当て，画像キャプション生成を題材に実験を行う．