label{sec:introduction}予測は人間が生来備えている能力である．我々は日常生活において，様々な予測を行い，それを基に行動を行っている．例えば，調理においては，手順や調理動作によって得られる目標の状態を先に予測し，それを手掛かりに動作を実行しているといえる．これには動作や対象の物体に関する知識が必要であり，同時に作業全体のワークフローについても理解する必要がある．したがって，調理レシピを基に人間と同様に調理を行う自律エージェントを確立するためには，これらの能力の実現が必須であるといえる．\figref{fig:introduction-example}に例を示す．この例では，エージェントは二つ目の調理動作に必要な食材を特定しつつ動作後に得られる観測を予測している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-3ia7f1.pdf}\end{center}\hangcaption{調理エージェントによる調理動作結果の予測の例．ここでは，2つ目の調理動作（入れる）の結果を予測している．}\label{fig:introduction-example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%この方向の先行研究として，調理手順に視覚的なアノテーションを施したものが存在する\cite{nishimura2020visual,pan2020multimodal}．ここで，\citeA{nishimura2020visual}は各調理手順に対応する1枚の画像に対して，動作や食材の表現に対応する箇所に矩形領域のアノテーションを行った．また，\citeA{pan2020multimodal}は調理手順を文レベルに分割した後，各文に対応するフレーム列を，レシピに紐づく調理動画から抽出してアノテーションを行った．これらは調理手順に視覚的な情報を結びつけているが，調理動作の結果を予測したい場合には，まだアノテーションが不十分である．例えば，“トマトを切ってボウルに入れる．”には，1文に「切る」と「入れる」の二つの調理動作が含まれているが，上記の先行研究のアノテーションでは，これらを個別に扱うことが出来ない．従って，調理動作結果を予測するためには，調理動作レベルのアノテーションが必要であり，率直な解決策としてはより密なアノテーションを用意することが考えられる．本稿では，レシピにおける調理動作後の物体\footnote{本稿では，物体は食材か道具のいずれかを指すものとする．}の状態の予測を目指し，新たにVisualRecipeFlow(VRF)データセットを提案する．\figref{fig:dataset-example}に示す通り，VRFデータセットは(i)調理動作による物体の視覚的な状態の遷移と(ii)レシピ全体のワークフローに対するアノテーションから成る．視覚的な状態遷移は動作前後に対応する観測の組として表現し，ワークフローは先行研究のレシピフローグラフ(Recipeflowgraph;r-FG)\cite{mori2014flow}を用いて表現する．ここで，観測の組はr-FG中の調理動作と紐づいており，これによって実世界とテキストのクロスモーダルな関係を考慮することが可能となる．また，ウェブサイトにてデータセット作成に用いたレシピのURLリストとダウンロードしたデータを基にデータセットを構築するスクリプトを公開している\footnote{\url{https://github.com/kskshr/Visual-Recipe-Flow}．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{30-3ia7f2.pdf}\end{center}\hangcaption{アノテーションの例．画像の組は物体毎の動作前後の観測を表しており，これらは手順リスト内の調理動作に紐づけられている．手順リスト内では，r-FGを用いて調理動作を含む表現間の依存関係を表現している．}\label{fig:dataset-example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，本研究と関わりの深い研究として，手順書上での物体の状態遷移の追跡を行うものが存在する\cite{dalvi2018tracking,bosselut2018simulating,tandon2020dataset}．これは，各手順による実世界における影響を考慮することで，手順書の理解を目指したものである．本研究はこれらの流れを汲んだものでもあり，大きな違いは状態遷移をテキストでなく画像で表現している点にある．画像は物体の外観に関する情報を与えるため\cite{isola2015discovering,zhang2021mirecipe}，先行研究と比較して実世界に関するより豊富な情報を提供することが期待される．また，調理の持つ逐次的な性質を活かし，大規模言語モデルの文書理解能力の評価\cite{srivastava2022beyond}や，vision-languageモデルのfew-shot設定における学習能力の評価\cite{alayrac2022flamingo}に用いることも考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%