半自己回帰的に拡散モデルを活用するトレースベースの意図反映キャプション生成

Nステ#プ前からの座標変化量本研究ではユーザが画像をなぞった軌跡（トレース）が示すユーザ固有の説明意図を生成文に反映する画像キャプショニング手法を提案する．トレースの密集度から関心領域を特定し，座標変化に基づいて説明順序を決定，滞在時間を用いて各領域への関心度を評価する．これらの情報を基に拡散言語モデルを半自己回帰的に用いることで，文長や説明順序を制御しつつ，流暢性の向上を図った．実験の結果，提案手法は自己回帰モデルを含む既存手法より10%以上高い精度を達成し，内容・順序・詳細さの3観点でユーザの意図を忠実に反映できることを確認した．