DEIM Forum 2019 P2-130

ショート料理動画の字幕データに基づくレシピ補助情報の抽出
米澤拓也†

王元元††

河合由起子†††,††††

角谷和俊†† 関西学院大学総合政策学部 〒 669-1337 兵庫県三田市学園 2 丁目 1†† 山口大学大学院創成科学研究科 〒 775-8611 山口県宇部市常盤台 2-16-1††† 京都産業大学情報理工学部 〒 603–8555 京都府京都市北区上賀茂本山†††† 大阪大学サイバーメディアセンター 〒 567–0047 大阪府茨木市美穂ヶ丘 5 番 1 号
E-mail: †{fdu49780,sumiya}@kwansei.ac.jp, ††y.wang@yamaguchi-u.ac.jp, †††kawai@cc.kyoto-su.ac.jp
あらまし Kurashiru や DELISH KITCHEN などの 1 分程度に編集されたレシピ動画は，短時間で料理の要点を概欄可能であり，レシピ内容の把握が容易である．しかしながら，一度の視聴だけでは調理動作を理解することが困難である．そこで，本研究では， 既存のショート料理動画に含まれている，「食材や調味料」，「調理動作」から，それぞれの要素に重みづけを行い，補足情報を表示する個所を分析することで，ユーザの料理レベルに適合するアドバイスや調理動作の詳細な説明や映像コンテンツを抽出するシステムの構築を目指す．
キーワード レシピ動画，テキストレシピ，補助レシピ情報

1. は じ め に
近年では，クックパッドや楽天レシピなどのようなユーザ投稿型レシピサイトが普及している．これらのサイトの利点は，無料で大量のレシピが閲覧可能であるため，利便性が高く，多くのユーザが利用している．また，ユーザ自身のオリジナルの「食材」「調理動作」「器具」などのコンテンツを基に分析を行う．動画内のコンテンツでは，主にそれぞれの出現頻度や使用頻度から重みづけを行うことにより， ショート料理動画内で，「より詳細に説明されるべき箇所」を判定する．

2. 関 連 研 究

レシピを投稿できるため，1 つの料理においても複数のアレン王ら [1] は，ユーザが視聴している映像コンテンツに各ユーザジレシピを閲覧することも可能である．さらに，近年では上記が求めているコンテンツ（興味や関心）を反映させることがでのようなテキストレシピサイトの他に，料理動画も話題になっきていないことに注目し，上記の問題を解決するために，ユーている．

ザがどのレベルで映像コンテンツが含んでいる興味・関心を反料理動画は，テキストレシピと違い，文字ではなく，視覚的映させた映像を構成するかをシーンの話題性を X 軸，編集したな情報から料理の要点を知ることが可能になるコンテンツで映像の長さを Y 軸にした 2 軸で考察し，話題性と詳細度に基づある．主に難易度の高い料理は，料理番組でよく取り上げられく 4 種類の映像コンテンツの中から適切な映像を自動生成するており，プロの料理人のアドバイスとオープンキャプションの手法を提案している．

表示によって理解を容易にさせているため，多くの人が視聴秋口ら [2] は, 料理番組をレシピ番組と定義したうえで, 映像している．また，比較的に調理が難しくない料理に関しては，

内の「作業種類の多さ」「調理動作の並列性」「編集意図（カメラKurashiru や DELISH KITCHEN などの 1 分程度に編集されワーク） 」の 3 点の要素を抽出し，レシピ動画の時間的特性にたショート料理動画で多く取り上げられている．これらの動画基づいた難易度判定手法を提案した. 料理動画を扱った研究とは，料理の要点を映像とオープンキャプションを用いて解説して類似しているが， 本研究では，料理番組ではなく, ショーされており，その手軽さから現在注目されつつある．これらのト料理動画を扱ったうえで，それらの映像コンテンツに対して,ショート料理動画は，短時間で料理の要点を概欄可能であり，要約されている情報から補足情報を挿入する箇所を分析するとレシピ内容の把握を容易にすることができる．加えて，これらいう点で差異がある．のサイトで用いられている料理動画は，ノーカットの映像を早牧野ら [3] は, 小学校, 中学校, 高等学校などで扱われている送りで再生されているため，途中生成物の様子を確認すること家庭科の教科書にて出現する調理動作に着目し, 客観的に調理ができるため，感覚的に料理のコツを掴むことができる．

動作の難易度を定義する研究を行った. また, ここで定義した

しかしながら，ショート料理動画は，映像自体の展開が早い難易度を基に料理レシピの難易度を算出する手法を提案していため，映像を再生しながら調理を行うことは難しい．また，本る. この研究では, テキストに記載されてる調理動作からの難来であれば詳細に説明を行うべき調理動作に対しても必要以上易度判定を行っているが, 本研究では, 映像コンテンツから重みに情報の要約が行われている場合があるため， ユーザは，一づけを行うことで, 重要度を判別するという点で差異がある.

度レシピ動画を視聴しただけでは，調理動作をすべて理解する

蒯ら [4] は, 料理番組映像を料理動画と定義し, 映像に含まれことは困難である．そこで，本研究では，ショート料理動画にている調理動作の中でも, 繰り返し行われている動作を解析し,含まれているオープンキャプションや，映像内に含まれている調理動作の分類を行う手法を提案している. この研究では, 料理動画を扱った研究であるが, 本研究で扱っている料理動画は料理番組ではなく, ショート料理動画を扱っているという点で差異がある.
大滝ら [5] は, 料理レシピ動画に含まれている調理動作・器具・食材の 3 点に着目し, それぞれの出現回数や料理の移動回数などを考慮し, 調理にかかるコストを算出する手法を提案している. 本研究では, ショート料理動画を扱い, 出現頻度や出現

図 1 食材と調味料の結果時間から重みづけを行ったという点で差異がある.

3. 提 案 手 法
まず，ショート料理動画内に映されている「食材と調味料」「調理動作」それぞれの出現頻度や，出現時間・映像全体の時間を算出する．次に， それぞれの要素の出現頻度から TF 値を求め，その値に出現時間と映像時間を使って 4 種類の計算を

図 2 調理動作の結果行う．これらの計算を行った結果，算出された数値と補足されるケースの高いと考えられる調理動作を照らし合わ，最も適応していると考えられる計算式を判別する. また，今回の実験に際して使用した映像は，ショート料理動画を取り扱った動画レ
シピサイトである Kurashiru から， 無作為に 20 件の映像を選択した．これらの映像から，今回は全て手作業で「食材と調味料」「調理動作」の出現頻度や出現時間を求め， それぞれの計算を行った．

合率の高い計算式である事が判別できた． この計算で抽出された上位の調理動作では，レシピ内に含まれている調理動作の中で， 一度失敗すると料理として破綻してしまうといった，重要度が高いと考えられる調理動作が抽出する事ができたため，計算式（4）が適合していると判別した．

4. 考

3. 1 実察験

実験では, まず前処理として Kurashiru から選択した 20 件の映像データから「食材と調味料」「調理動作」などの出現頻度や映像内での出現時間を，手作業で書き出したのちに，以下の式でそれぞれの TF 値を求めた．

nt,d(ns,d )s∈dTF(t,d) = ∑TF 値を求める際，t は食材キーワード，もしくは調理動作キーワードとし，d は対象のショート料理動画の集合とする． また，これらの数値の他に，映像全体の長さを A とし, 出現時間を a としたうえで計算を行う．
実験で行う計算は，以下の 4 種類の計算式を用いて，どの計算式が有用であるかを判別する．
（ 1 ） 出現頻度が多く，出現時間が長い

T F × (a/A)（ 2 ） 出現頻度が多く，出現時間が短い

T F × (A/a)（ 3 ） 出現頻度が少なく，出現時間が長い

1/T F × (a/A)（ 4 ） 出現頻度が少なく，出現時間が短い

1/T F × (A/a)
上記の計算を，無作為に抽出した 20 件のショート料理動画で行うと図 1 と図 2 のような結果になった． 食材で 4 種類の計算を行った結果，計算式（1）が適合率の高い計算式である事が判別できた. この計算で抽出された上位の食材は，主に，そ4 章で述べた結果から，「食材と調味料」では，計算式（1）が高い適合率を示す事ができたが， 補足情報を挿入する対象を「メインとなる食材」ではなく， 「調味料の分量」を対象として補足情報を挿入するのであれば，計算式（4）も扱えると考えられる．
「調理動作」では， 計算式（4）が適合率の高い計算式だと考えられる結果となった．理由としては，動画全体が早送りになっているため， 重要度の高いものと低いものの映像時間がアンバランスという特徴が起因したと考えられる．
今後の予定としては，補足情報を挿入する箇所の分析の精度向上のために，ユーザのビデオ視聴履歴および視聴動作を含めた分析を行い，本研究で得た結果との比較などを行う．また，補足情報として他のレシピ動画を利用することも検討する．この他にも，今後の検討事項としてあげられることは，ユーザインタフェースに関連する内容である．ユーザにとって必要な補足情報をどのような形で表示するか言及ができていないため，今後の研究を進めていくうえで，検討していく．
現在検討している対応策としては， 映像内部にて料理の補足情報を既存のオープンキャプションに追加するほか， 音声によって伝達を行うことも検討している．また，ユーザにとって理解が困難であった調理動作の箇所を，他の料理動画で，同じ調理動作を行っているものを挿入することも検討している．
これによってカメラのアングルの変化で，調理動作に対する理解度を向上させることを狙いとしている．

5. お わ り にのレシピの中で扱っている食材の中でも重要度の高いものが抽出されたからである．また，計算式（4）では，主に調味料を中心に上位へ抽出された．また，調理動作では，計算式（4）が適本研究では，既存のショート料理動画に付与されているオープンキャプションを元に，料理で使用される食材や調味料，専門用語や調理動作から調理動作の重みづけを行い，補足情報を表示する個所を分析する．これらの工程を行った後に，ユーザの料理レベルに適合するアドバイスや調理動作の詳細な説明や映像などのコンテンツを抽出する手法を提案した．今後は，ユーザインタフェースについて考慮に入れながら，補助レシピ情報として追加するコンテンツを検討する．

文
[1]

[2]

[3]

[4]

[5]献王元元，渡部雅俊，河合由起子，角谷和俊：映像における話題シーン検出と話題性に基づく受動的映像視聴システム，第 7回データ工学と情報マネジメントに関するフォーラム，F2-2(2015).
秋口いくみ，王元元，河合由起子，角谷和俊：料理レシピ動画の時間権限特性抽出による難易度判定，第 10 回データ工学と情報マネジメントに関するフォーラム，C4-4 (2018).
牧野望，塩井隆円，楠和馬，波多野賢治：調理動作に基づく料
理レシピ検索のための難易度算出法の提案，第 9 回データ工学と情報マネジメントに関するフォーラム，C4-5 (2017).
蒯承穎，志土地由香，高橋友和，井手一郎, 村瀬洋：料理動画
における調理動作の解析，第 4 回デジタルコンテンツシンポジ
ウム講演予稿集，2014.
大滝健太郎，鷹野孝典:調理動作・器具・食材に注目した調理動画からの調理コスト判定手法の検討，情報処理学会第 79 回全国大会，Vol. 2017.