言語による指示に加えて，その指示内容を示す動作途中の写真があれば，その写真を参考にして調理を行いやすくなる．したがって，各手順に写真が付与された「写真付きレシピ」により作業内容を示すことは有益である．しかし，写真付きレシピを作成するためには，写真を撮影しながら手順を実施し，実施後に各写真に対応する手順を記述する必要があり，作者にとって負担である．本研究の目的は，写真列を入力としてレシピを自動生成することで，写真付きレシピの作成を容易にすることである．この目的を達成するために，本論文では，写真列を入力として与え，システムは各写真ごとに手順を生成する問題として定式化した課題と，この課題を解決する手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{27-2ia5f1.eps}\end{center}\hangcaption{写真列からのレシピの自動生成．入力が写真列であり（左），出力が複文からなる手順である（右）．手順は写真列の各写真ごとに生成する．}\label{fig:task_overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:task_overview}に本論文で対象とする課題の概要を示す．入力の写真列の各写真に対し，複数の文からなる手順が対応している．これらの手順全体を本論文ではレシピと呼ぶ．本論文で取り上げる写真列の各写真は手順実施の上で重要な場面で写真を撮影したものであり，手順途中の情報が十分に含まれている．また，各写真に対して1つの手順が対応するため，生成すべき手順数が既知である．システムはこの写真列を受け取り，写真列の各写真に対応する手順を生成し，それらをまとめて写真付きレシピとして出力する．この課題設定は入出力が共通しているという点で，Visualstorytelling\cite{visualstorytelling}に類似している．Visualstorytellingでは，図\ref{fig:task_overview}と同様に写真列を入力としてシステムが各写真に対応する文章を出力する．この課題では写真から説明文を生成するキャプション生成\cite{you2016cvpr,biten2019cvpr}と違い，出力の文章は写真列の時系列を考慮した一貫性があることが要求される．本論文で取り扱う課題はVisualstorytellingと比較して，出力のレシピは読者が読んで実行できるように，簡潔で具体的な記述であることが求められる．つまり，レシピにおける重要な物体や動作である食材，道具，調理者の動作を表す重要語と，それ含む表現が正しく生成されなければならない．例えば，図\ref{fig:task_overview}の工程1においては，「ちくわ」や「切り」が重要語であるが，写真を説明するためには「1/3の大きさに」といった表現も重要語に添えて生成する必要がある．これらをまとめて本論文では重要語を過不足なく含む表現と呼ぶ．これらの重要語を過不足なく含む表現は，手順を記述する上で必要不可欠である．そのため，これらの表現は，手順に付与している写真の内容を大きく反映しているものと言える．この性質をもとに，料理ドメインでは完成写真に適したレシピを得る課題が検索課題として提案され，その解法として完成写真とレシピの間で共有された潜在的な意味に基づく特徴空間を学習する共有潜在空間モデルが高い性能を発揮してきた\cite{im2recipe,R2GAN,chen2016deep}．しかしながら，完成写真とレシピの組ではなく，レシピの実行途中の写真と手順の組での共有潜在空間モデルは未だ提案されていない．この課題を解く場合，MSCOCO\cite{lin2014mscoco}やFlickr30k\cite{young2014tacl}などの一般的なドメインにおける写真とその説明文を対象とする既存の共有潜在空間モデル\cite{wang2017learning}で写真と手順の組を用いて学習しても高い性能を得ることは難しい．これは次の手順で何を記述するか，またその際に特に言及する必要がある前の手順からの差分は何かといった文脈に大きく影響を受けるためであると考えられる．これらを考慮するために，写真に対応する手順だけでなく，レシピ全体を考慮できるように既存の共有潜在空間モデルの手順側のエンコーダに工夫を加える．この工夫によって，このモデルに写真を入力した時，近傍の手順には重要語を過不足なく含む表現の情報が含まれていると期待できる．これにより，各入力写真に対応する共有潜在空間上のベクトルは重要語を過不足なく含む表現が強調されたものとなることが期待できる．提案手法では，このような共有潜在空間を用いて写真の埋め込みベクトルを獲得した後，その空間中での近傍点を利用しながら文生成を行うことで，これらの表現を正しく生成する．本手法を実装し，日本語のレシピを用いて評価実験を行った．その結果，提案した共有潜在空間モデルは既存のモデルと比較して高い検索性能を得られた．また，レシピ生成の点においても，提案手法はBLEU，ROUGE-L，CIDEr-Dといった生成文の自動評価尺度だけでなく，重要語を正しく生成できているかを測定した重要語生成の評価もVisualstorytellingの標準的なベースラインを上回ることを実験的に確認した．そして，提案手法は写真に適した重要語を正しく生成していることを実例により確認した．考察では，提案手法が入力写真列に適したレシピを生成することに成功したケースと失敗したケースを確認した．また，提案手法の重要な要素である，共有潜在空間についてのパラメータや，訓練データ量を変更した時の性能の変化を確認し，提案手法が性能を発揮する上で適当なパラメータやデータ量について検証した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%