動きに基づく料理映像の自動要約手法
浜田 玲子†

三浦 宏一††

井手一郎†††

田中英彦††

佐藤 真一†††

坂井修一††† 東京大学大学院 工学系研究科†† 東京大学大学院 情報理工学系研究科〒 113–8656 東京都文京区 7–3–1††† 国立情報学研究所〒 101–8430 東京都千代田区一ツ橋 2–1–2
E-mail: †{reiko,miura,sakai,tanaka}@mtl.t.u-tokyo.ac.jp, ††{ide,satoh}@nii.ac.jp
要約

近年、マルチメディア情報の扱いの重要性が増すにつれ、テレビ映像の自動要約に関する研究が盛んに行なわれつつある。本稿では、料理映像を対象にした自動要約手法を検討する。料理映像においては、調理動作および素材や料理の状態を示す部分が特に重要である。そこで、画面全体の動きの激しさからこれらを検出する手法を提案する。
また、調理動作の中でも特に重要なものとして繰り返し動作に着目し、その自動検出手法について述べる。また、各々の手法について、評価実験によりその有効性を示した。さらに、提案手法によって抽出された重要部分から料理映像要約を生成するアプリケーションを実装した。その結果、要約映像は十分に調理手順の内容を保ちつつ、もとの映像の 1/8 から 1/10 に短縮できた。

A Motion Based Automatic Abstraction of Cooking Videos
Reiko HAMADA †, Koichi MIURA ††, Ichiro IDE††† , Shin’ichi SATOH ††† , Shuichi SAKAI †† , andHidehiko TANAKA ††† Graduate School of Engineering, The University of Tokyo†† Graduate School of Information Science and Technology, The University of Tokyo
7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–8656 Japan††† National Institute of Informatics
2–1–2 Hitotsubashi, Chiyoda-ku, Tokyo, 101–8430 Japan
E-mail: †{reiko,miura,sakai,tanaka}@mtl.t.u-tokyo.ac.jp, ††{ide,satoh}@nii.ac.jp
Abstract Reﬂecting the increasing importance of handing multimedia data, many studies are made on automatic
abstraction of TV broadcast video. In this paper, we propose a method to abstract cooking videos. Importantsegments in a cooking video are cooking motions and appearances of foods. So, the method to extract these important segments referring to intensity of motion in the image is proposed. In addition, based on the observation that
especially important cooking motions tend to be repetitious, a method to detect them is proposed. Eﬀectiveness ofboth methods are shown through evaluation experiments. We also developed a cooking video abstraction systemthat assembles important segments detected by the proposed methods. The resultant abstracted videos were about
1/8 to 1/10 of the original videos in time, maintaining the understandability of cooking procedures.

1. は じ め に

マルチメディアデータを有効に活用するための映像の索引付け

映像技術の進歩に伴い、種々のメディアを通じて様々な映像

我々は、様々な映像の中でも生活に密着した料理映像に着目し、や検索、自動要約などに関する研究が盛んに進められている。

が発信され、大量に蓄積されつつある。そこで近年、これらの1

映像の解析および索引付けなどの研究を行なっている。本稿では、特に料理映像の自動要約を目的とした映像解析手法を提案する。
これまで、ニュースやドキュメンタリ映像などを対象とした自動要約に関する様々な研究 [1] がなされているが、要約され図1た映像は見づらいとの報告もある [3]。これは、要約映像におい料理番組における映像構成の例て音声が断続的に途切れ、映像との同期も失われるためであるといわれている。しかし、料理映像では音声がなくても視覚的な情報から動作や手順を容易に理解できるため、自動要約が効果を発揮すると考えられる。
料理映像は一般に雑談など冗長な部分を比較的多く含み、閲覧に時間がかかる。そのため一般にレシピ選びや実際の調理の際には、テキスト形式のレシピを閲覧する方が簡便である。し(a) 人物ショット

かし、映像はテキストでは表現しきれない様々な重要な情報を(b) 手元ショット

図 2 料理映像におけるショット分類含み、特に調理手順の理解のためには視覚情報が非常に有効である。そこで、調理手順の重要な部分を集めた要約映像を作成することにより、短い閲覧時間で調理の様子を視覚的・直感的一方、手元ショットでは材料を調理する手元や道具が大映しに知ることができるようになる。さらにこのような料理の要約にされ、視覚的に重要な情報を含む。しかし、手元ショットの映像を集めたディジタルレシピライブラリの作成なども考えら中には調理中の動作や動作後の料理の様子など、調理を理解すれる。

る上で重要な映像を含む一方で、動作と動作の間などの比較的冗長な部分も含まれる。

また本稿で提案する映像解析手法は、自動要約だけではなく、映像の索引付けにも有効である。料理映像に索引を付ける

2. 2 重要部分の定義

ことにより、映像の要約や検索、テキスト教材と統合することこのような構成の料理映像を要約する際、まず視覚的情報のによるマルチメディアデータの生成など、様々な実用的なアプ少ない人物ショットは省略する。さらに手元ショットの中からリケーションへの応用が期待される。今後は、家庭内への計算重要部分を抽出する必要がある。ここで料理映像を要約する際機の進出に伴い、このような要約あるいは索引付けされた料理に特に必要なのは、(1) テキストでは表現しきれない重要な視映像や料理レシピに対する需要が高まっていくものと考えられ覚的情報を要約映像に含むようにすることと、(2) 調理手順のる [4]。

流れを知るのに必要な情報を失わないようにすることである。

(1) の視覚的情報には、大きくわけて 2 種類の映像がある。

本稿では、まず 2 章で一般的な映像と異なる料理映像の特徴と、調理手順を理解するうえで重要と考えられる部分の映像特一つは (a) 調理動作の様子を示すものである。動作の要領、細徴について述べる。次に 3 章でそのような特徴に基づく重要映

かいコツなどは、実際に目で見ないと分からないことが多い。

像抽出手法の提案と評価を行なう。続く 4 章で、調理動作を含もう一つは、調理後の素材の色、盛り付け具合いなど、(b) 料む映像の中でもとりわけ重要である繰り返し動作の検出手法の理や食材の状態を示すものである。料理映像には、このような提案と評価を行なう。最後に 5 章でこれらの手法を組み合わせ素材などの状態を示すために静止してしばらく様子を写し出すて実装した自動要約アプリケーションを紹介する。

部分がある。また、これらを要約に含めることで、動作と進行に応じた料理の状態を示すことができ、(2) の条件も同時に満

2. 料理映像の特徴たすことができると考えられる。
そこで本稿では、料理映像から (a) 重要な調理動作部分と、本章では、一般的な映像と異なる料理映像の特徴と重要部分(b) 料理や食材の状態を示す部分を抽出し、要約を生成するこの定義、および手順を理解する上で重要と考えられる映像の定とを考える。

義を述べる。

2. 1 料理映像の構成

表1

一般的な料理映像の構成を図 1に示す。

料理映像の重要部分と動きの特徴
重要部分
動きの特徴

(a) 調理動作(b) 料理や食材の状態

料理映像におけるショットは、図 2に示すような (a) 人物ショット、(b) 手元ショットに大きく分類される。

大きい (激しい)
ほぼ静止

人物ショットは台所のほぼ全体が映され、調理人や助手が調次に、これらの重要部分における映像の動きの特徴を表 1に理について説明していることが多い。しかし、手元や食材は部示す。表 1 に従って、我々はまず画面全体の動きに注目し、映分的に小さく映るのみであり、これから調理に関する視覚的な像の中で特に動きの激しい部分を (a) 調理動作として、また静知見を得ることは難しい。

止している部分を (b) 料理や食材の状態として抽出する手法を2提案する。この手法の具体的な内容は 3 章で述べる。
さらに、調理動作には様々なものがあり、特に重要な動作を抽出するためにはより詳しい動きの解析が必要となる。実際の料理映像を参照して検討した結果、調理の中心となる重要な動作の多くは図 3に示すような繰り返し動作であることがわかった。そこで、動作の時間方向の周期性に着目した繰り返し動作の検出手法を提案する。この手法の具体的な内容は 4 章で述べる。

図4

フレーム毎のオプティカルフローの大きさの和 (S) の時間変化

まず、Save >= Smove を満たすショットの中で、S > αSave を満たす部分を調理動作部分として抽出する (α:定数)。これは、全体的に動きの激しいショットのなかでも特に大きな動きを示す部分を調理動作として抽出することを意味する。

図 3 繰り返し動作の例

次に、S < S1 を T フレーム以上満たす部分、あるいは、Save < S2 をみたすショットの中で、S < S2 を満たす部分を料

3. 重要部分抽出

理や食材の状態を示す静止部分として抽出する。前者は動きの少ない映像が連続する部分、また後者は全体的に動きの少ない

本章では、画面全体の動きに注目し、調理手順を理解する上ショットの中で特に動きのない部分を状態として抽出することで重要である (a) 調理動作部分と (b) 状態部分を抽出する手法を意味する。

を提案、評価する。

3. 2 カメラワークによる動きの除去

3. 1 動きに基づく重要部分抽出

前節の手法では、画面全体に大きな動きが生じるためにカメ

本研究では、映像中から動きを検出する手法としてオプティラワークも調理動作として誤検出してしまう。そこで、すでにカルフローを利用する。オプティカルフローを検出する手法は検出されたオプティカルフローを利用してカメラワークを検出数多く提案されているが、現時点では、(1) 映像全体の大まかして、重要部分から除去する。ここでは、カメラワークの中でな動きに注目することが目的で、厳密な解析は必要ない、(2)も特に誤検出の原因となる平行移動 (パン) の検出について検討

大量の画像を処理するためできるだけ単純な手法を用いたい、した。具体的な手順を次に示す。などの理由から、基礎的な手法である Horn らの手法 [6] を基に（ 1 ） 1 フレーム中の全画素において、オプティカルフロー実装した。

ベクトルの向き (角度) を計算する。ベクトルの大きさで重み付動きに基づく重要部分抽出の手順を次に示す。

けをし、角度の分布をとる。
（ 2 ） 一連の動きと見なせる範囲のフレームについて、角度（ 1 ） カット検出を行なう。
（ 2 ） 各ショットを人物ショットと手元ショットに分類し、人分布の平均をとる。

物ショットを除く。
（ 3 ） 手元ショットのオプティカルフローを検出する。
（ 4 ） 各フレームごとに、全画素のオプティカルフローベク以上により、パンを含む動きの場合には、角度分布は図 5(a)のようにある程度の大きさの際立ったピークを 1 つもち、カメラワークがなく、調理動作のみの場合には図 5(b) のように明確トルの大きさの和をとる (S とする)。
（ 5 ） ノイズの影響を軽減するため、10 フレームごとに Sなピークがないことが観測された。したがってこれを利用し、の平均をとる (S とする)。

角度分布のピークの値 (頻度)Fp がある適当な閾値 Fth 以上でなお、カット検出は DCT クラスタリングを利用した手法 [2]、あり、かつピークが 1 つのみであるものをパンとして検出する

またショット分類は肌色の統計情報を利用して顔領域を検出すこととした。

3. 3 評 価 実 験る手法 [5] を用いて実現した。
実際の料理映像における S の時間変化を図 4に示す。

ここまでに述べた手法に基づき、料理映像からの動作部分・このように変化する S に基づいて、重要部分である (a) 調理状態部分の検出実験を行なった。本実験では、ショット分類は手動で行ない、3. 1節で述べた手法に基づき動作部分と状態部動作部分と (b) 状態部分を抽出する。
ここで、S のショット内の平均を Save 、また Smove , S1 , S2分を検出する。検出された動き部分からは、3. 2 節の手法に基づきカメラワーク（パン）部分を除外した。約 40 分間、6 レシをそれぞれ検出に用いる閾値とする。

3

4. 1 繰り返し動作の検出
繰り返し動作の映像においては、映像の局所領域上を対象物が往復する。そのため、図 6に示すように、繰り返し動作の周辺における輝度値は周期的な変化を示す。そこで、本研究では時間周波数解析によって局所領域の輝度値の時間変化を解析し、その周期性の有無から繰り返し動作を検出する。以下にこの手法を説明する。
(a) カメラワークあり(b) カメラワークなし

図 5 オプティカルフローの角度分布
表 2 実験に用いた閾値

Smove = Sstate2 = 10, 000
Sstate1 = 7, 000
α = 1.0
T = 90 (3 seconds)
Fth = 0.025

ピ分の料理映像に対して実験を行ない、各パラメータについては適切な閾値を設定した。具体的な値を表 2に示す。

(a) 繰り返し動作周辺

表 3に重要部分検出実験の結果を示す。目視による結果を

図6

AnsH 、自動解析による結果を AnsM 、両者が一致した答をAnsC 、再現率は AnsC /AnsH 、適合率は AnsC /AnsM とす(b) 背景局所領域における輝度値の時間変化

まず、各フレームを 3 × 3 ピクセルから成るブロックに分割る。なお、目視による重要部分検出においても動作の始まりとする。ここで、各ブロックに含まれるピクセルの平均輝度値を終わりはあいまいであるため、フレーム単位での厳密な区間をVx,y (t) とする。なお、x, y は画像におけるブロックの空間座決定することは困難である。そこで、今回は目視により特定さ標、また t はそのブロックが属するフレームの時間座標である。

れた各重要部分を含む（ただし明らかに重要部分以外と思われ次に、画像中のすべての x, y における Vx,y (t) にそれぞれる区間は含まない）区間が検出できれば正解とした。

FFT を適用し、その周期性を調べる。FFT を適用する時間方向の範囲は、フレーム数 T = 2n の時間窓内とする。

表 3 重要部分検出結果
検出部分 AnsH AnsM AnsC 再現率 適合率

Vx,y (t) に明確な周期性がある場合、結果の FFT グラフには調理動作

119127117 98%92%ある周波数で明確なピークができると考えられる。このような状態

464139 85%95%

ピークを検出するため、FFT グラフに関するいくつかの統計量を利用する。その際に、人間の繰り返し動作の早さから、考慮する周波数帯を限定した。その範囲を f0 <= f < f0 + N とす

表 3に示すように、単純な手法により、調理動作および食材の状態を示す静止部分を高精度で検出できることが示された。

る（図 7）。

調理動作の誤検出と状態部分の検出漏れの主な原因は、調理に関係のない動きを誤検出したことであった。
調理動作の検出漏れの原因は、動作が小さすぎたこと、また静止部分の誤検出の原因は重要でない（状態を見せているわけではない）のに画面が静止していたことであった。

4. 重要動作検出
前章では動作部分と状態部分を重要部分とみなして抽出した
図7が、より効果的な要約映像を生成するためには、各々の重要部

FFT グラフ分の中から特に重要な部分を抽出する必要がある。そこで、本章では、実際の調理動作を参照した結果、調理動作の中でも特まず、範囲内のパワーの総和を P ower w,x,y とする。次に、に重要な動作の一つであり、かつ画像特徴の明確な「繰り返し範囲内での F (f ) の最大値を与える周波数を fp とする。さら動作」の検出手法を提案し、評価する。に F (fp ) がグラフにおいてどの程度突出しているのかを知る

4

ため、Fpeak (fp ) なる指標を定義した。これは、F (fp ) を除くくりと炒る動作である。この例に限らず、一般に鍋などで素材F (f ) の平均値と F (fp ) との比である (式 1)。にゆっくりと火を通す際の動作は、動きが遅く、そのため規則性も厳密ではないため、検出漏れが多かった。目視で正解を検F (fp) × (N − 1)

Fpeak (w, x, y) = f +N −10| p
f =f0 ,f =f(1)F (f )

出する際にも、特に図 8(d) のようなあいまいな動きの場合は繰り返し動作か否か迷うものが多く、実験においてもこのようなものほど検出が困難であった。

また、低周波数におけるパワー F (1) や F (2) よりも F (fp )が十分に大きいかどうかを知るため、F (fp ) の F (1) と F (2) に対する比である R1 , R2 をそれぞれ定義する。
最後に、ピークの鋭さの指標 Rsharp を式 2のように定義する。

F (fp) × 4
Rsharp = fp +2(2)| p F (f )f =fp −2,f =f

2 点以上のブロックにおいて、以上までに説明した P ower,(a) 成功例:キャベツの千切り(b) 成功例:鶏肉をもむ(c) 誤検出:肉を焼く(d) 検出漏れ：ねぎを炒る

Fpeak , fp , R1 , R2 , Rsharp の 6 パラメータがいずれも閾値以上の値をもつとき、その時の窓 w において繰り返し動作を検出する。

4. 2 評 価 実 験
前節で述べた手法に従って、料理映像からの繰り返し動作検出実験を行なった。実験の対象とした料理映像は、約 70 分間、図816 レシピ分の映像である。なお、各パラメータおよび閾値は繰り返し動作検出の例

表 4に示す通りに適切な値を設定した。表 5に実験の結果を示す。目視による結果を AnsH 、自動解析による結果を AnsM 、

5. 料理映像の自動要約

両者が一致した答を AnsC 、再現率は AnsC /AnsH 、適合率はAnsC /AnsM とする。対象とする料理映像から、繰り返し動作3 章および 4 章の手法により重要動作部分を抽出し、これを利用した自動要約アプリケーションを作成した。図 9に、アプ部分を目視で検出し、これを正解とした。

リケーション画面の例を示す。
表 4 評価実験における各パラメータの値および閾値

(a) 周波数解析パラメータ(b) 周期性解析パラメータT = 32f rame

P ower > 500

Fpeak > 50

Tstep = 16f rame

fp > 5Rsharp > 3f0 = 3

R1 > 3

R2 > 3

N = 12

表 5 繰り返し動作検出結果

AnsH

AnsM

AnsC

再現率

適合率

62595081%

85%
図9

料理映像要約アプリケーション画面の例

表 5に示すように、本手法では誤検出が少なく、約 85%の適合率で繰り返し動作を検出できることが示された。一方、検出各手元ショットにおいて、4 章の手法によって繰り返し動作漏れは比較的多く、再現率は 80%程度である。本手法による成が検出された部分の最初の 2 秒、および 3 章の手法によって抽功例、誤検出や検出漏れの例を図 8に示す。

出された静止部分の最後の 2 秒を拾って要約とした。また、繰

まず、図 8(a),(b) は典型的な成功例である。いずれも十分にり返し動作も静止部分も抽出されなかった手元ショットからは、高速かつ規則的な動作であり、また調理手順の中でもコツのい3 章の手法によって一般的な調理動作が抽出された場合、そのる重要な動作である。次に、図 8(c) に誤検出の例を示す。これ最初の 2 秒を要約に含むこととした。なお、ここではショットには動作は含まれていないが、画面右上のフライパンの上に置分類は手動で行なった。

かれた菜箸が規則的に揺れるため、これを振動として誤検出し本アプリケーションによる要約結果の例を図 10に示す。なた。最後に、図 8(d) に検出漏れの例を示す。これはネギをゆっお、各フレームは要約に含まれる映像セグメントを表わす。図510において、黒い縁のものが繰り返し動作部分、灰色の縁のもその他の動作は必要に応じて省略することが考えられる。こののがその他の動作部分、白い縁のものが状態部分である。

場合、手順の流れに関する情報が部分的に欠落するが、状態部分の映像が適切に抽出されていれば、内容はほぼ理解できるものと考えられる。
このような料理映像の自動要約が実現すれば、これを大量に作成し、要約料理映像データベースを構築することが考えられる。ある程度調理に熟練したユーザであれば、要約映像からそのレシピのおおまかな手順やかかる手間などを知ることができ、元の映像を見るよりも短い時間でなおかつテキストレシピを読むよりも雰囲気をつかみやすいと考えられる。家庭でのレシピ選びなどに利用すれば、一本あたり数十秒〜数分に縮められた映像を閲覧することで、直感的にレシピを選択できるようになる。このように、本手法の様々な応用が考えられる。

6. ま と め
本稿では、動きに基づく料理映像の自動要約手法について提案した。
料理映像においては、画面全体の動きの激しい調理動作部分、および素材や料理の状態を示す状態部分が重要であることに着目し、オプティカルフローによりこれらの重要部分を検出する手法を提案、評価実験によりその有効性を示した。
また、調理動作の中でも特に重要な動作として繰り返し動作に着目し、その自動検出手法について述べ、評価実験によりその有効性を示した。
図 10 料理映像から要約された映像セグメント (白い縁：状態映像、黒さらに、両手法を適用した料理映像の自動要約アプリケー

い縁：繰り返し動作映像、灰色の縁：一般的な動き映像)

ションを実装した。その結果、要約映像は十分に調理手順の内容を保ちつつ、元の映像の 1/8 から 1/10 の時間に短縮できた。

図 10において、繰り返し動作 (4)〜(6) は、「里芋を塩でもみ、今後の課題としては、より柔軟な自動要約アプリケーションぬめりをとって洗い流す」映像である。これらの映像には、調を実現するために、動作部分と状態部分以外の重要部分として、理の手順を伝えるとともに「ぬめりをとる」「洗い流す」といっ字幕の出現する部分を検出したり、要約率を可変にすることなた単語だけでは表現しきれない調理動作に関する重要な視覚的どが考えられる。そのためには、繰り返し動作か否かだけでな情報が含まれている。(11) も同様に「なべを揺すって味をからく、より細かな動作の分類による重要度の設定が課題となる。
文ませる」という繰り返し動作で、このレシピにおけるコツの部

献[1] M. Smith and T. Kanade, “Video skimming and characterization through the combination of image and language understanding techniques”, Proc. IEEE CVPR’97 Computer
Vision and Pattern Recognition, 1997.
[2] Y. Ariki and Y. Saito, “Extraction of TV news articles basedon scene cut detection using DCT clustering”, Proc. Intl.
Conf. on Image Processing, Vol.3, pp.847-850, 1996.
[3] M. Christel, M. Smith, C.Taylor, and D. Winkler, “Evolving video skims into useful multimedia abstractions,” Proc.
ACM CHI’98 Conference on Human Factors in Computing
System, April, 1998.
[4] R. Hamada, I. Ide, S. Sakai, and H. Tanaka, “Associatingcooking video with related textbook,” Proc. ACM Multimedia 2000 Workshops, pp.237-241, 2000.
[5] C. Wren, A. Azarbayejani, T. Darrell, and A. Pentland,“Pfinder: Real-time tracking of the human body,” IEEE
Trans. PAMI, Vol. 18, No. 7, pp.780-785, 1997.
[6] B. K. P. Horn and B. Schunck: “Determining optical flow”,
Artif. Intel., Vol.17, pp.185-203, 1981.

分であり、動きの強さ、早さなど豊富な視覚的情報を含んでいる。次に、繰り返しではない調理動作のうち、(2) は「皮をむく」、(9), (10) は素材を鍋に「入れる」動作である。いずれも、テキストから容易に動きを推測できる動作であるが、要約に含めることで、より調理手順を分かりやすくしている。最後に、(1), (3), (7), (8), (12) は、状態を示す静止部分である。(12) の盛り付けの映像をはじめとして、これらの状態を示す映像には視覚的に重要な情報が含まれるうえ、要約映像における手順の進行を明確にしている。
以上で示したような手法で作成された要約映像は、元の映像とくらべて 1/8 から 1/10 に短縮され、なおかつ調理手順を理解するのに重要な視覚的情報および手順が含まれており、本要
約手法の有効性が定性的に示された。
また、ユーザの調理に関する背景知識などに応じてより短い要約で十分な場合には、視覚的に重要な繰り返し動作を残し、6