動画を用いた料理手順の動詞の機械翻訳

近年，YouTubeなどの動画共有サービスの普及により，料理動画のような手順を説明する動画（手順動画）を視聴する機会が大きく増えている．そのため，教育や実用コンテンツとして手順動画が世界中で利用されており，多言語化の需要が高まっている．一方で，手順動画のテキストのみを用いた機械翻訳や，画像を利用した機械翻訳では，手順で重要な動作を表す語，特に動詞の訳語を適切に選択することが困難な場合があり，特に料理動画の翻訳において問題となっている．料理動画の翻訳が難しい理由として以下の3点が挙げられる．１点目は、料理手順では同じ動詞でも文脈によって意味が大きく変わるためである．例えば英語のcookは，日本語では「焼く」「炒める」「煮る」「蒸す」「炊く」「ゆでる」「揚げる」など，具体的な調理法に分かれる．この訳語選択を誤ると，手順の正しい理解ができなくなる．2点目は，視覚情報への依存である．多くの説明文は動画を見ている前提で書かれていて，目的語や細かい描写が省略される傾向にある．そのため，テキストの情報のみでは，どの調理動作を指しているのかを一意に決めにくく，適切な訳語を選べない場合がある．3点目に，静止画情報の限界である．マルチモーダル機械翻訳[1]では，視覚情報として静止画（1枚画像）を入力に用いる手法が広く採用されている．しかし，料理手順動画のような動作理解が重要なタスクでは，静止画のみでは十分に状況をとらえられない可能性がある．例えば，高田らの研究[2]は,静止画から画像説明文を中間表現として生成し，それを翻訳に利用する手法を提案している．この手法はChain-of-Thought（CoT）[3]を明示的に導入し，翻訳時の推論過程を補助する点に特徴がある一方で，扱う視覚情報は静止画に限られ，動画は利用していない．そのため，静止画では時間軸の情報が欠落し，動きの速さや継続性，動作の前後関係といった要素をとらえにくい．結果として，動詞の訳語選択に誤りが生じる要因となり得る．本研究では，これらの課題に対応するため，動画の視覚情報を使うことで動作を表す動詞をより適切に推定するマルチモーダル機械翻訳手法を提案する．料理手順動画の動詞に着目したデータセットの構築を行い，訳語選択が必要な動詞を含む文の翻訳性能を評価する．実験では，動画を用いたマルチモーダル機械翻訳の有効性を確認した．