DEIM Forum 2017 P7-2

料理動画を用いたレシピ・コンテンツ視聴システム
秋口 いくみ†王 元元‡

河合 由起子††

角谷 和俊††関西学院大学総合政策学部 〒669-1337 兵庫県三田市学園 2 丁目 1
‡山口大学大学院創成科学研究科 〒775-8611 山口県宇部市常盤台 2－16‐1††京都産業大学コンピュータ理工学部 〒603-8555 京都市北区上賀茂本山
E-mail: †{ fdu49780, sumiya}@kwansei.ac.jp,‡y.wang@yamaguchi-u.ac.jp,††kawai@cc.kyoto-su.ac.jp

あらまし クックパッドの料理動画を用いて，レシピを食材や調理方法といった視点からとらえた料理動画を生成し，ユーザごとに必要なレシピ情報を提示することによってよりわかりやすいレシピ・コンテンツを提供するシ
ステムを構築する．
キーワード 料理動画，レシピ情報，要約

図 1

提案手法
図 2

元動画

1. は じ め にク ッ ク パ ッ ド や C CHANNEL な ど の レ シ ピ サ イ ト には料理動画コンテンツが大量に蓄積されている．本研
究では，このような料理動画コンテンツを利活用するため，レシピの閲覧ユーザに必要な料理動画を見せてよりわかりやすいレシピ・コンテンツを提供することを目指す．

図 3

食材を重視した料理動画のイメージ

本論文では，レシピサイトに投稿されているレシピを対象とし，既存の料理動画が「どのタイミングで食材をどう調理したらいいのかわかりにくい」といった課題があり，あまり活用されていない現状から，これを解決するために，ユーザがレシピを見る際，どのような要素を重要視するかに基づき料理動画を自動提示する．具体的には，現時点では 1 本の元動画を図 1 の

図 4

調理方法を重視した料理動画のイメージ

ように食材，もしくは調理方法のふたつの視点からレシピをとらえた料理動画をそれぞれ提供する提案手法

2. 本 研 究 の 概 要 と 関 連 研 究を考える．レシピの食材ごとに区切った料理動画や調2.1 シ ス テ ム 概 要

理方法ごとに区切った料理動画を抽出し，それぞれをクックパッドの料理動画は投稿者によって動画の重視した料理動画を生成したあと ，必要に応じてユー構成が異なり，早送りされ料理全体の様子を見せるもザに提示する．本論文では，レシピと料理動画の関連のから字幕つきで料理手順が細かく説明されているも性抽出に基づくレシピ・コンテンツ視聴システムを構のも存在する．本研究では，その中でも字幕がついて築し，検討する．

いるものを対象とする．

本論文の構成は以下のとおりである． 2 章ではシス

まず本研究では，レシピのすべての手順に料理動画テム概要と関連研究について述べる． 3 章では料理動を設定する．元から動画が存在するレ シピはそのまま画の構造ついて説明する．4 章では料理動画の生成方使用し，動画が存在しないものや不足している部分に法について説明する．最後に 5 章でまとめと今後の課は 他 の レ シ ピ の 料 理 動 画 か ら 抽 出 し て く る ．こ の と き ，題について述べる．

動画に付与しているキャプションを抽出することで，レシピの手順と他のレシピの手順，料理動画シーンを対応付ける．
提案システムのイメージとしては，食材を重視した料理動画と調理方法を重視した料理動画の 2 パターンに分かれる．まず元動画をキャプチャし順序に沿って横向きに並べたものを図 2 に示し，同様に食材を重視した料理動画のイメージを図 3 に示す．食材を重視した料理動画では，料理手順を食材ごとに分け，食材ごとにひとまとまりになるように順序を入れ替えて新たな料理動画をユーザに提供する．この動画により，特図 5

食材を重視した料理動画の構造

定の食材の調理方法の確認，及びレシピ全体の食材を把握しやすくなる．
次に，調理方法を重視した料理動画のイメージを
図 4 に示す．調理方法を重視した料理動画では，料理手順を調理方法ごとに分け，その調理の流れを可視化できるように表示方法を工夫して新たな料理動画をユーザに提供する．この動画により，レシピの構造を視覚的にとらえることが可能となり、加えてその時使用している器具も把握できるようになる．

2.2 関 連 研 究
川 北 ら [1]は ， 講 義 ス ラ イ ド 全 体 の 専 門 性 を 判 定し，それに伴いスライドごとの特徴語抽出によりスライドの内容的なグループ化を行い，各スライドグルー
プの内容に関して重要語に基づき新たなスライド生成および既存のスライド削除を行うスライドの再構成手法を提案する．この研究のスライドが本研究では食材図 6

調理方法を重視した料理動画の構造として考えられ，食材や調理方法ごとの動画を抽出しグループ化を行う点で関連している．

番号のついた通常のレシピ画像を用いて表す． 食材を友 安 ら [2]は ， プ レ ゼ ン テ ー シ ョ ン に お け る ス ラ イ

重視した料理動画を生成する際，まずは動画の字幕かドの構成要素間の意味的関係に基づくインタラクティ

ら食材の単語を判別し，元動画を食材ごとの動画に区ブポスターの生成システムを提案し，プレゼンテーシ切る．このとき，一度に複数の食材が出ている場合はョンの全体像を表現するポスターを生成する．ここでそれらの複数の食材でひとつのグループとする．区切はスライドが本研究の料理手順として考えられ，最終った動画を食材ごとにひとまとまりになるように順序的に本来と異なる料理動画を生成する点で関連していを入れ替えるが，複数の食材グループの順番はそのグる．

ループに含まれる食材の最後に出てくるものの後に並こ れ と は 別 に 友 安 ら [3]は ， ポ ス タ ー と そ の 素 材 である発表スライドの構造分析に基づき，閲覧者のナビ

べ る ．ま た ，そ の と き 何 を 見 せ て い る の か を 表 す た め ，食材のアイコンを画面左上に表示する．

ゲーションのためのズーミング効果を用いたトランジションを自動的に生成するシステムを提案している．

4. 調 理 方 法 を 重 視 し た 料 理 動 画 の 生 成 方 法

この研究でいう閲覧者がポスターをどこか ら見るべき調理方法を重視した料理動画の構造を図 6 に示す．

かわからないように，料理レシピでどこに注目すべき

ここでも食材を重視した料理動画同様に通常のレシピかわからないユーザに本研究では ユーザがレシピにお画像を用いて構造を表す．調理方法を重視した料理動

いて重要視する要素に基づいて必要な料理動画を抽出

画を生成する際，まずは食材を重視した料理動画同様して提供することを目指す．に字幕から調理方法の単語を判別し，元動画を調理方法ごとの動画に区切る．区切った動画をその調理の流

3. 食 材 を 重 視 し た 料 理 動 画 の 生 成 方 法

れを可視化できるように並び替えて表示方法を工夫す

食材を重視した料理動画の構造を図 5 に示す．このる ． 具 体 的 に は ，「 そ の 間 に 」「 別 の 〇 〇 で 」 と い っ た

構造ではレシピの順番の変化を明確にするため，手順キーワードが含まれる調理は同時進行など並列関係にあるとみなし，その並列関係にある動画を画面の上下に分けて同時に再生する．分かれたり合わさったりす
る場面では，色の異なる矢印を使いひとつの調理がどこへつながっているかをわかりやすく示す．また，前後関係のある手順は順番が逆にならないように注意 しながら並び替える．

5. ま と め と 今 後 の 課 題本研究では，レシピと料理動画の関連性抽出に基づくレシピ・コンテンツ視聴システムを提案した．提案システムでは，ユーザがレシピを見る際にどのような要素を重要視するかに基づき，レシピの閲覧ユーザに必要な料理動画を見せてよりわかりやすいレシピ・コンテンツを提供する．ユーザごとに必要な料理動画を提供するためには，食材と調理方法のふたつの視点から以外にも重要視する視点や要素を加える 必要があることが考えられた．
今後の課題としては，現時点での 視点以外にもユーザがレシピ閲覧時に重要視する要素を探し，それらを単一だけでなく組み合わせた料理動画の生成を行って
い く こ と が 挙 げ ら れ る ．ま た ，例 え ば 食 材 の 中 に も 味 ，健康度，代替食品などの細かな要素を加えることも考えるべきである．
また，動画の抽出方法などについて関連研究を見直し，より適切な手段をを追求すべきだと考える．

謝辞

本研究を遂行するにあたり，クックパッド株式会社と 国 立 情 報 学 研 究 所 が 提 供 す る「 ク ッ ク パ ッ ド デ ー タ 」を利用した．ここに記して謹んで感謝の意を表する．

参考文

献[1] 川 北 久 晴 ，王 元 元 ，河 合 由 起 子 ，角 谷 和 俊 ，“専門性を考慮した講義スライド再構成システムの検討”, 第 8 回データ工学と情報マネジメントに関す る フ ォ ー ラ ム （ DEIM Forum 2016） , G2-7, 2016.
[2] 友 安 航 太 ，王 元 元 ，角 谷 和 俊 ，“スライドの構成要素と意味的関係に基づくインタラクティブポスター生成システム”, 第 5 回データ工学と情報マネ ジ メ ン ト に 関 す る フ ォ ー ラ ム （ DEIM Forum2013） , C8-4, 2013.
[3] 友 安 航 太 ，王 元 元 ，角 谷 和 俊 ，“ポスターとスライドの構造に基づくズーミングを用いたポスター
閲 覧 方 式 ” , 第 155 回 デ ー タ ベ ー ス シ ス テ ム 研 究
発 表 会 , Vol.2012-DBS-155 No.1, 2012.
[4] 門 脇 拓 也 ，山 肩 洋 子 ，森 信 介 ，田 中 克 己 ，“ 誕 生・使用事由によるレシピ検索～生い立ちレシピサー チ ～ ”， 第 6 回 デ ー タ 工 学 と 情 報 マ ネ ジ メ ン トに 関 す る フ ォ ー ラ ム （ DEIM Forum 2014） , F8-5,2014.
[5] 森 信 介 ，山 肩 洋 子 ，笹 田 鉄 郎 ，前 田 浩 邦 ，“レシピテキストのためのフローグラフの定義”, 情報処理 学 会 自 然 言 語 処 理 研 究 会 , NL-214, 2013.
[6] 工 藤 貴 徳 ，北 山 大 輔 ，“レシピ間の対応度と相違性に 基 づ く 料 理 ア レ ン ジ ナ ビ ゲ ー シ ョ ン ”， 第 8 回
データ工学と情報マネジメントに関するフォー
ラ ム （ DEIM Forum 2016） , E2-5, 2016.
[7] 大 関 陽 裕 ， 大 野 将 樹 ， 獅 々 堀 正 幹 ，“ SIFT 特 徴 量の ク ラ ス タ リ ン グ に 基 づ く 特 定 物 体 認 識 手 法 ”，
第 8 回データ工学と情報マネジメントに関するフォ ー ラ ム （ DEIM Forum 2016） , E4-1, 2016.
[8] 門 田 見 侑 大 ，吉 田 泰 明 ，藤 田 澄 男 ，酒 井 哲 也 ，“コンテキスト付き検索ログを用いた要求バーティ
カ ル の 分 析 ”， 第 8 回 デ ー タ 工 学 と 情 報 マ ネ ジ メン ト に 関 す る フ ォ ー ラ ム（ DEIM Forum 2016）, F61, 2016.
[9] 伏 見 卓 恭 ，佐 藤 哲 司 ，斉 藤 和 巳 ，風 間 一 洋 ，“構造特 性 と 意 味 特 性 を 考 慮 し た 中 心 性 指 標 の 提 案 ”，
第 8 回データ工学と情報マネジメントに関するフォ ー ラ ム （ DEIM Forum 2016） , A5-3, 2016.
[10] 前 島 紘 希 ，中 村 聡 史 ，土 屋 駿 貴 ，大 野 直 紀 ，“印象に関する検索意図を考慮したサムネイル動画自動 生 成 手 法 の 提 案 ”， 第 8 回 デ ー タ 工 学 と 情 報 マ
ネ ジ メ ン ト に 関 す る フ ォ ー ラ ム （ DEIM Forum2016） , C4-5, 2016.
[11] 尼 崎 澄 人 ，大 島 裕 明 ，田 中 克 己 ，“手順情報に対する 補 完 情 報 の 検 索 と 統 合 ”， 第 8 回 デ ー タ 工 学 と情 報 マ ネ ジ メ ン ト に 関 す る フ ォ ー ラ ム （ DEIMForum 2016） , C1-4, 2016.
[12] ク ッ ク パ ッ ド 料 理 動 画 , https://cookpad-video.jp/.