動画を用いた料理手順の動詞の機械翻訳

本研究では，料理手順動画の手順説明文に頻出する多義動詞により，テキストのみや静止画を追加した翻訳では適切な訳語選択が困難になる問題に取り組む．動画は時間軸情報を含むため，動作の認識を助け，動詞の意味推定を改善できると考え，手順説明文と動画を入力とするマルチモーダル機械翻訳を提案する．まず，予備実験としてGPT4oによるテキスト翻訳を分析し，視覚情報がないと誤訳や揺らぎが生じやすい14動詞を選定し，YouCook2-JPから抽出したものをデータセットとして構築した．実験より，画像を用いた場合に比べて動画を用いる有効性を確認した．