Vol. 0

情報処理学会論文誌

No. 0

1959

動きに基づく料理映像の自動要約三

浦 宏 一†坂 井

浜 田 玲 子†井 手†
修 一
田 中 英 彦†一 郎††

近年，マルチメディア情報を有効に活用する重要性が増すにつれ，テレビ映像の自動要約に関する研究が盛んに行なわれつつある．本論文では，料理映像を対象にした自動要約手法を提案し，検討する．我々は料理映像要約の目的を，調理の全体的な流れを視覚的・直感的に理解するのに充分な映像を作成することとしている．要約映像を作成する際には，映像の重要部分を抽出することが必要となるが，料理映像においては，調理動作および料理や食材の状態を示す部分が特に重要である．これらは画像全体の動きの激しさと関連があることから，オプティカルフローによりこれらの重要部分を検出する手法およびカメラワーク（パン）を除去する手法を提案し，評価実験によりその有効性を示した．さらに，この手法によって抽出された重要部分と，調理動作の中でも特に重要な繰り返し動作部
分から料理映像要約を生成するアプリケーションを実装した．放送局の異なる複数の料理番組に提案手法を適用し，要約映像を自動生成した結果，要約映像は充分に調理手順の内容を保ちつつ，元の映像の 1/8 から 1/12 の時間に短縮できた．また，自動要約した映像の一部を，番組制作者によって作成された要約映像と比較することにより，本手法の有効性を確認した．

Motion Based Automatic Abstraction of Cooking Videos
Koichi Miura,† Reiko Hamada,† Ichiro Ide,†† Shuichi Sakai†and Hidehiko Tanaka†
Reﬂecting the increasing importance of handling multimedia data eﬃciently, many studies
are made on automatic abstraction of television broadcast video. In this paper, we propose amethod to abstract cooking videos. We deﬁne cooking video abstraction as shrinking videos
maintaining suﬃcient understandability of general cooking procedures visually and intuitively.
To abstract a video, important sub-shot segments need to be extracted from the original video.
Important segments in a cooking video are considered as cooking motions and appearancesof foods, since visual information that represents essential cooking operation is exceptionally
important. These segments have typical motion-related features. Thus, a method to extract such important segments referring to the intensity of motion in the image is proposed.
Eﬀectiveness of the method is shown through evaluation experiments. We also implemented an abstracted cooking video browser that assembles important segments detected by the
proposed methods and repetitious motions that is especially important among cooking motions. The resultant abstracted videos were about 1/8 to 1/12 of the original videos in time,
maintaining the understandability of cooking procedures. And the validity of the abstraction
method was checked by comparing some automatic abstracted videos with abstracted videos
provided from the broadcaster.

1. は じ め に研究が盛んに進められている．

情報通信技術の発達に伴い，種々のメディアを通じの映像的特徴も視聴者の視聴目的も様々である．そのて様々な映像が発信され，大量に蓄積されつつある．

ため汎用性の高い映像解析技術を用いて，内容に深く

そこで近年，これらのマルチメディアデータを有効に立ち入って解析するのは困難であり，高度な内容解析活用するために映像の索引付けや構造化などに関するを行なうためには，対象とする映像の種類を限定してしかしながら映像には様々な種類のものがあり，各々対象固有の特徴を考慮する必要がある．
我々は，様々な映像の中でも生活に密着した料理映† 東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology, The University of Tokyo†† 国立情報学研究所
National Institute of Informatics像に着目し，映像の意味的構造解析や索引付けなどの研究を行なっている1)∼3) ．これらの研究では，対象を料理映像に限定し，対象に固有の知識を最大限に活か
1

2

情報処理学会論文誌

1959

すことで，比較的簡単な要素技術を用いながらも各々の処理の精度を確保し，実用的なシステムの構築を目標としている．また，料理は極めて日常的な行為でありながら，豊富な知識と熟練を必要とする複雑な作業であるため，従来から調理支援の需要は存在してきた．
今後，家庭内へ計算機が進出するのに伴い，このように解析・索引付けされた料理映像や料理レシピの検索の需要は高まっていくと考えられる．
本論文では，一連の研究の中でも特に料理映像の自動要約を目的とした映像解析手法を提案する．料理映（a）人物ショット（b）手元ショット(a) Face shot(b) Hand shot

図 1 料理映像におけるショット分類
Fig. 1 Shot categories in cooking video.

像は教材映像の一種であり，多くの視聴者は，実用的な教材としての利用を目的としている．その一方で，であると言われている．そこで，要約映像を作成する

雑談などの冗長な部分も多く，閲覧にはある程度の時

際には，音声部分が不自然にならないように考慮して間を要する．そのため日常的なレシピ選びや実際の調映像を切り出したり7) ，制作者側で作成される番組予理の際には，テキスト形式のレシピを閲覧する方が簡告などの要約映像では音声は別のものに吹き替えられ便であることが多い．しかし，映像にはテキストではたりする．しかし，料理映像では音声がなくても視覚表現しきれない様々な重要な視覚的情報が含まれてお的な情報から動作や手順を容易に理解できるという特り，特に調理手順の理解のためには非常に重要である．

徴があるため，本研究で作成する要約映像では音声のそこで，本研究ではこのようなレシピ選びや実際の連続性などは考慮しない．そのため，画像特徴に沿っ調理の際に，テキスト形式のレシピを閲覧するよりもた柔軟なショット構成が可能となり，精度の良い要約

視覚的情報を多く含み，なおかつ同様の簡便さで閲覧映像が作成できると考えられる．

できる要約映像を作成することを目的とする．個人の

以下，2 章では本研究で対象とする料理映像の特徴

技量や好みも考慮すべきではあるが4),5) ，まずは調理と重要部分について述べ，3 章でその重要部分の検出手順の重要な部分を集め，短い閲覧時間で手順の全体

手法について提案する．4 章では，検出した重要部分的な流れを視覚的・直感的に充分に理解できる映像をから要約映像を作成し，評価・考察を行なう．最後に作成する．つまり，元の映像と併用するのではなく，5 章でまとめと今後の課題について述べる．

要約映像単独でも手順の概要が理解可能な精度を目標とする．

2. 料理映像の特徴

これまで，ニュースやドキュメンタリ映像などを対本章では，料理映像の特徴と，要約と密接に関わる象とした自動要約に関する様々な研究がなされている

料理映像における重要部分の定義について述べる．

が6),7) ，それらの映像は比較的冗長性が低く，多くはトボール映像を題材とした要約映像作成の研究5) で2.1 料理映像の構成
図 1 に示すように，料理映像のショットは大きく図 1（a）人物ショット，図 1（b）手元ショットの 2 つに分類でき，図 2 に示すように各々が交互に出現する．人物ショットは台所のほぼ全体が映され，調理人や助手が調理について説明していることが多い．しかし，手は，映像の意味内容の抽出をハイライト部を記述した

元や食材は部分的に小さく映るのみであり，映像から

外部データベースと映像の対応付け問題に還元して考

調理に関して視覚的な知見を得ることは難しい．一方，察している．この手法では，対応付けしやすい外部情

手元ショットは材料やそれを調理する手元が大きく映

元の映像を全体にわたって閲覧することを目的として，
要約映像を利用する傾向が強い．一方，本研究と同様の目的で要約映像を作成するものは，スポーツ映像などを対象にした研究4),5) に見られる．アメリカンフッ

報源がある場合には有効な要約映像を作成できると考され，視覚的に重要な情報を含む．しかし図 2 にも示えられるが，料理映像では，映像内容と直接対応した

すように，手元ショットの中にも，動作と動作の間な記述は容易に利用できず，この手法を適用することはど比較的冗長な部分もある．

難しい．

また，これらのショットは主に固定カメラで撮影さまた，これまでの研究において要約された映像は見れ，カメラワークは，他の種類の映像（スポーツ映像，

づらいとの報告もある6) ．これは，要約映像において

ドラマ映像など）に比べごくわずかしか用いられない

音声が断続的に途切れ，映像との同期も失われるため

ため，次節で述べる重要部分と映像の動きの関係が成Vol. 0No. 0

動きに基づく料理映像の自動要約

3

図 2 料理映像のショット構成例
Fig. 2 Structure of cooking video.

り立つ．

2.2 重要部分の定義
このような構成の料理映像を要約する際，まず調理のための視覚的情報に乏しい人物ショットを除外する．
さらに残された手元ショットの中からも冗長な部分を除外する必要がある．ここで料理映像を要約する際に特に必要なのは，（1）テキストでは表現しきれない重要な視覚的情報を含むことと，（2）調理手順の流れを知るのに必要な情報を失わないことである．
（1）の視覚的情報には，大きくわけて 2 種類の映像がある．一つは（a）調理動作の様子を示すものである．これは，動作の要領や細かいコツなどは，実際に目で見ないと分からないことが多いからである．もう一つは，調理後の素材の色，盛り付け具合いなど，（b）料理や食材の状態を示すものである．料理映像には，このような素材などの状態を示すために静止してしばらく様子を映し出す部分がある．また，これらを要約に含めることで，動作と進行に応じた料理の状態を示すことができ，（2）の条件も同時に満たせると考えられる．そこで本研究では，料理映像から（a）重要な調理動作部分（「調理動作部分」）と，（b）料理やFig. 3

3. 重要部分検出
本章では，画像中の動きに注目し，調理手順を理解するうえで重要である（a）調理動作部分と（b）状態
部分を検出する手法を提案する．また，（a）のうち特に重要な繰り返し動作の検出手法について簡単に紹介する．

3.1 動きに基づく重要部分検出
本研究では，画像中から動きを検出する手法としてオプティカルフローを利用する．オプティカルフローを検出する手法は数多く提案されているが8) ，ここでは，映像全体の大まかな動きに注目することが目的で，厳密な解析は必要ないこと，大量の画像を処理するため，できるだけ単純な手法を用いたいことなどから，
Horn らの手法9) を用いた．
動きに基づく重要部分検出の手順を次に示す．
(1)(2)

食材の状態を示す部分（「状態部分」）を抽出し，要約を生成することを考える．これらの重要部分における画像中の動きには，以下のような特徴がある．

さらに，調理動作には様々なものがあるが，より効カットを検出各ショットを人物ショットと手元ショットに分類
し，人物ショットを除外

(3)
(4)

手元ショット中のオプティカルフローを検出
フレームごとに，全画素のオプティカルフロー
ベクトルの大きさを積算（S とする）

（a） 調理動作部分： 大きい（激しい）（b） 状態部分： ほぼ静止

図 3 繰り返し動作の例
Examples of repetitious motions.

(5)

ノイズの影響を軽減するため，10 フレームごとに S を平均（S とする）

果的な要約映像を作成するために，一般的な調理動作

なお，カット検出は DCT クラスタリングを利用したの中から特に重要な動作を抽出して特別に扱う．実際

手法10) ，またショット分類は肌色の統計情報を利用しの料理映像を参照して検討した結果，特に重要な動作て顔領域を検出し，分類する手法2) を用いて実現した．

に比較的共通する性質として，図 3 に示すような繰

実際の料理映像における S の時間変化を図 4 に示り返し動作があることが観察された．重要な動作にはす．このように変化する S に基づいて，重要部分であ様々なものがあるが，本論文では，調理動作の中でもる（a）調理動作部分と（b）状態部分を検出する．

特に繰り返し動作を取り上げることとする．そこで，

ここで，S のショット内平均を Save ，また Smove ,Sstate1 , Sstate2 を（a），（b）の検出に用いる閾値とする．
まず，Save ≥ Smove を満たすショットの中で，S >αSave を満たす区間を調理動作部分として検出する（α：定数）．ただし，60 フレーム（2 秒）以内で隣動作の時間方向の周期性に着目した検出手法3) を用いて繰り返し動作を検出し，要約映像作成に利用することとした．

情報処理学会論文誌

4

1959

する研究には過去にも様々なものがあるが，すでに前節で検出されているオプティカルフローを用いた，単純な手法で検出するために，以下のような手順で行
なった．

(1)

フ レー ム f 中 の全 ピク セル p(i, j) に おいて，オプティカルフローベクトルの向き（0 ≤θ(i, j) < 2π ）を求める．ベクトルの大きさv(i, j) で 重 み付 けを し ，角 度 の分 布を とる（angle histogram）．この際，角度分布を Hf ={ hf (Θ) | 0 ≤ Θ < π } とし，π ≤ θ(i, j) < 2πの向きのベクトルに対しては，Θ = θ(i, j) − πとし，負の重み −v(i, j) をもたせる．
1 
hf (Θ) =δΘ (i, j) · v(i, j) (1)S

図 4 フレームごとのオプティカルフローの大きさ（S ）Fig. 4 Temporal transition of the sum of the length of
optical flow vectors (S) in each frame.

接する区間については連続する動作とみなし，1 つの

i

ただし，

区間として検出する．これは，全体的に動きの激しいショットのなかでも特に大きな動きを示す部分を調理



 1

( if Θ = θ(i, j) )δΘ (i, j) =−1 ( if Θ = θ(i, j) − π ) 0 ( otherwise )動作として検出することを意味する．
次に，S < Sstate1 が T フレーム以上継続する区
間，あるいは，Save < Sstate2 をみたすショットの中で，S < Sstate2 を満たす区間を料理や食材の状態をj(2)

一連の動きとみなせる範囲のフレーム（f1 ∼3.2 カメラワークによる動きの除去
前節の手法では，画像全体に大きな動きが生じるた

f2 ）に つ い て 平 均 し た 角 度 分 布
H ={ h(Θ) | 0 ≤ Θ < π } をとる．一連の動き（1）で π ≤ θ < 2π の向は，S を基に判断する．
きのオプティカルフローベクトルに対し負の重みをもたせたことにより，逆方向の動きは打ち消し合うので，雑音（ランダム性を仮定）や動めに，カメラワークについても調理動作の重要部分と作が角度分布中に占める大きさは小さくなり，

して誤検出してしまう．そこでカメラワークを検出し，パンを検出できる．

示す静止部分として検出する．前者は動きの少ない画像が連続する部分，また後者は全体的に動きの少ない
ショットのなかで特に動きのない部分を検出することを意味する．

調理動作として検出された重要部分から除外する必要
がある．


1
hf (Θ)
f2 − f 1 + 1
f2

h(Θ) =(2)

f =f1

料理映像中のカメラワークは，大きくパン（画像が一定方向に平行移動）☆ とズーム（対象にズームアッ以上により，パンを含む動きの場合には角度分布は

プ・ダウン）の 2 種類に分けられる．パンは調理動作

図 5（a）のようにある程度の大きさの際立ったピー

や料理や食材の状態を見せるのが目的ではなく，対象

クを 1 つもち，そうでない動きの場合には図 5（b）のから対象へカメラを移動させる途中に現れるものであように明確なピークがないことが観測された．このよる．したがって，画像中に視覚的知見が得られる重要うな特徴を利用し，角度分布のピーク値 Fp がある適な事象は映っていないことが多く，重要部分検出の誤当な閾値 Fth 以上であり，かつピークが 1 つのみであ検出の主な原因となる．一方ズームは，一般的に画像るものをパンとして検出し，重要部分から除外するこの中心に視聴者に見せたい重要な事象が映る傾向があととした．

ることから重要部分に含むこととし，特に区別して検3.3 繰り返し動作の検出
ここまで述べた手法は，動作部分と状態部分を重要部分とみなして検出するが，より効果的な要約映像を作成するためには，各々の重要部分の中から更に重要な部分を抽出する必要がある．そこで本研究では，文献 3) の手法を用い，調理動作の中でも特に重要な動作の一つである繰り返し動作を検出し，要約映像作成

出する必要はない．
そこで，ここではカメラワークの中でも特に誤検出の原因となるパンを検出する．カメラワークを検出☆

ここでは，パン（左右方向），チルト（上下方向）などを区別せず，画像が一定方向に平行移動する場合を全て含めてパンと呼ぶこととする．

Vol. 0No. 0

動きに基づく料理映像の自動要約

5

図 7 FFT グラフ
Fig. 7 FFT graph.
（a）パンを含む場合（b）パンを含まない場合(a) With panning.

(b) Without panning.

図 5 オプティカルフローの角度分布
Fig. 5 Angle histogram of optical flow.

波数 f におけるパワーである．このグラフから，範囲
内での F (f ) の最大値を与える周波数 fp ，F (fp) がグ
ラフにおいてどの程度突出しているのかの指標，範囲内のパワーの総和などのパラメータを定義し，これらの値を参照して繰り返し動作を検出する．

3.4 重要部分検出実験
以上に述べた手順に基づき，料理映像から調理動作
部分，料理や食材の状態に関する部分を検出する実験を行なった．
まず先に，予備実験としてカット検出とショット分
類の実験を，約 100 分間の特定の料理番組の映像（計600 ショット）を対象として行なった．その結果，カット検出については再現率 94.8%，適合率 98.3%の精度（a）繰り返し動作周辺（b）背景(a) Repetitious motion.

(b) Background.

Fig. 6図 6 局所領域における輝度値の時間変化
Temporal transition of brightness in small regions.

が得られた．またショット分類については，人物ショットについては再現率 87.6%，適合率 88.5%，手元ショッ
トについては再現率 89.9%，適合率 89.1%と，要約作
成上問題ない程度の性能で自動化できることが示された．

の際に用いることとした．

次に，重要部分検出実験を行なった．予備実験によ

繰り返し動作の映像においては，映像の局所領域上りカット検出，ショット分類共に高い精度が得られるを対象物が往復する．そのため，図 6 に示すように，ことを確認したので，本実験では，動きに基づいた重繰り返し動作の周辺における輝度値は周期的な変化を要部分検出手法単独での評価をするため，カット検出，示す．文献 3) の手法では，時間周波数解析によってショット分類は理想的に行なわれたものとし，3.1 節

局所領域の輝度値の時間変化を解析し，その周期性ので述べた手法に基づいて動作部分と状態部分を検出し有無から繰り返し動作を検出している．以下にこの手た．また，3.2 節で述べた手法に基づいてカメラワー

法を簡単に説明する．

ク（パン）を検出し，動作部分から除外した．

まず，各フレームを 3 × 3 ピクセルからなるブロッ実験には，ある特定の番組からキャプチャした 6 レ

クに分割し，各ブロックに含まれるピクセルの平均輝

シピ分（約 40 分間）の料理映像を用いた．表 1 に実度値を求める．次に，画像中のすべてのブロックにお験に用いた映像の特性を示す．また，表 2 に本実験でける平均輝度値に，それぞれ一定フレーム数の時間範用いた閾値を示す．これらの閾値は予備的な実験に基囲で FFT を適用し，周期性を調べる．明確な周期性

づいて決定した．

がある場合，結果の FFT グラフにある周波数で明確

表 3 に重要部分検出実験の結果を示す．単純な手法

なピークができると考えられる．このようなピークをにより，調理動作および料理や食材の状態に関する重検出するため，FFT グラフに関するいくつかの統計

要部分を高精度で検出できたことが分かる．

量を利用する．その際に，人間の繰り返し動作の早さ

本実験では，目視により検出したものを正解とし，から，考慮する周波数の範囲を f0 ≤ f < f0 + N と正答数を NC ，誤検出数を NM ，検出もれの数を NO ，限定する．FFT グラフの例を図 7 に示す．F (f ) は周

再現率は NC /(NC + NO )，適合率は NC /(NC + NM )

情報処理学会論文誌

6

1959

表 1 実験データの特性
Table 1 Property of the videos.

Total time
Number of recipes
FormatResolution
Frame rate

40 minutes
6
Motion JPEG
（transformed into
24bit color bitmap）
320×240 pixels
30 frames/second

表 2 実験に用いた閾値
Table 2 Thresholds.

Smove
Sstate1
Sstate2αT
FthTable 3
重要部分
調理動作
状態

10, 000
7, 00010, 000
1.0
90
0.025

表 3 重要部分検出結果
Result of important segment detection.

NC
117
39

NM
10
2

NO
2
7

再現率

適合率

98%
85%

92%
95%

とする．なお，目視による重要部分検出においても動作の始まりと終わりはあいまいで厳密に定義できない

図8

料理映像から要約された映像セグメント（黒縁：繰り返し動

Fig. 8

作映像，灰縁：一般的な動作映像，白縁：状態映像）
Video segments abstracted from a cooking video(Black frame: Repetitious motion, Gray frame:

Cooking motion, White frame:food).

Appearanece ofため，フレーム単位での厳密な区間を決定することは要部分検出手法であるため，検出された区間に重要部

4.1 要約映像の作成
各手元ショットにおいて，まず，繰り返し動作が検分を包含していることが重要である．そこで本実験で出されたショットに対しては繰り返し動作部分の先頭は，区間の開始点と終了点に関して，目視と自動検出を抽出した．また，繰り返し動作が検出されないショッ困難である．また本手法は，要約映像作成のための重との間において 3 秒程度の誤差範囲を許容することとトや繰り返し動作部分から十分に（10 秒以上）離れてし，正解区間が検出できれば正答とした．

いる部分に関しては，動きに基づく重要部分検出手法

調理動作の誤検出と状態部分の検出漏れの主な原因によって検出された調理動作部分の先頭を抽出した．

は，調理に関係のない動きを検出してしまったことにさらに，動きに基づく重要部分検出手法によって検出よるものであった．調理動作の検出漏れの原因は動作された料理や食材の状態部分の末尾を抽出した．これが小さすぎたこと，また状態部分の誤検出の原因は重らを時系列に沿って各部分 2 秒間の映像を結合し，要要でない（映像の制作者が状態を見せようとしている

約映像を生成した．なお，動きに基づく重要部分検出のではない）にもかかわらず画像が静止していたこと

手法単独による要約映像の評価を行なうため，3.4 節であったが，いずれの場合も稀であった．

と同様に，カット検出，ショット分類は理想的に行な

また，カメラワーク（パン）を検出したことにより，われたものとした．

カメラワーク検出をしない場合に比べて，誤検出の約

本アプリケーションによる要約の一例を図 8 に示

40 % を削減（17 から 10 に減少）することができた．

す．各フレームは要約に含まれる映像セグメントの代

4. 料理映像の自動要約

表フレームである．図 8 において，黒縁のものが繰り3 章の動きに基づく重要部分検出手法，および繰りのものが状態部分である．

返し動作部分，灰縁のものがその他の動作部分，白縁返し動作検出手法により料理映像の重要部分を抽出し，「里芋
図 8 において，繰り返し動作（4）〜（6）は，これを利用した自動要約アプリケーションを作成した．

を塩でもみ，ぬめりをとって洗い流す」映像である．
これらの映像には，調理の手順を伝えるとともに「ぬVol. 0

動きに基づく料理映像の自動要約

No. 0

表 4 映像要約生成における抽出セグメント数
Table 4 Number of extracted segments in abstraction.

番組 1
番組 2
番組 3
全体

Table 5表 5 抽出セグメント数による要約映像の比較
Comparison in number of extracted segments.

レシピ数

繰り返し

一般動作

状態

平均要約率

4
2
3
9

23
8
8
39

23
23
70
116

18
7
2
27

約 1/11

レシピ 1

約 1/10
約 1/ 9

レシピ 2
レシピ 3

約 1/10全体

めりをとる」「洗い流す」といった単語だけでは表現しきれない調理動作に関する重要な視覚的情報が含まれている．
（11）も同様に「なべを揺すって味をからま

表6

情報を含んでいる．次に，繰り返しではない調理動作（9）, （10）は素材を鍋のうち，（2）は「皮をむく」，

SegH
12
13
11
36

SegM
20
24
16
60

SegC
11
13
10
34

再現率

適合率

92%
100%
91%
94%

55%
54%
63%
57%

抽出セグメント数による要約映像の比較（字幕およびナレーションによるセグメントを含む）
Table 6 Comparison of extracted segments(including telop and narration as segments).

せる」という繰り返し動作で，このレシピにおけるコツの部分であり，動きの強さ，早さなど豊富な視覚的

7

レシピ 1
レシピ 2
レシピ 3
全体

SegH
17
18
12
47

SegM
20
24
16
60

SegC
16
18
11
45

再現率

適合率

94%
100%
92%
96%

80%
75%
69%
75%

に「入れる」動作である．いずれも，テキストから容易に動きを推測できる動作であるが，要約に含めるこ

SegH （，2）中のセグメント数を SegM ，また，両者が一とで，より調理手順を分かりやすくしている．最後に，致するセグメント数を SegC ，再現率は SegC /SegH ，（1）, （3）, （7）, （8）, （12）は，状態を示す静止（2）中には，同適合率は SegC /SegM とする．また，部分である．
（12）の盛り付けの映像をはじめとして，

じ視覚的内容を表すセグメントが重複している場合がこれらの状態を示す映像には視覚的に重要な情報が含あるが，比較の際には，それらをまとめて 1 つのセグ

まれるうえ，要約映像における手順の進行を明確にしメントとみなした．この比較の例を図 9 に示す．

ている．

表 5 から，再現率が高いことがわかる．つまり提案放送局の異なる複数の料理番組 9 レシピに対し，以手法によって，番組制作者が要約に含めたものの大部上の手法を適用し要約映像を作成した際に，抽出され分を抽出できている．実際，抽出できなかったセグメ

たセグメント数を番組毎にまとめたものを表 4 に示

ントは 2 つのみであった．

す．作成された要約映像は，時間的に見ると，元の映一方，適合率はあまり高くないが，その 1 つの原因像と比べて 1/8 から 1/12 に短縮され，なおかつ表 4として，ここで比較した要約映像は，一度番組を見たのように番組毎に傾向の差はあるものの，調理手順を視聴者が「おさらい」という形で見るためのものであ理解するのに重要な視覚的情報および手順が含まれてり，本研究で目的とする調理の全体的な流れを視覚的・おり，本要約手法の有効性が定性的に示された．

直感的に理解するのに充分である映像とは若干目的の4.2 要約映像の評価
表 4 に示した番組 3 については，番組の最後に「本日のおさらい」という形で，番組制作者の用意した要約映像が存在する．そこで，番組 3 の 3 レシピ分を対象とし，（1）番組制作者による要約映像と（2）提案手法による自動要約映像を比較した．

異なるものであることが挙げられる．
また，提案手法で過剰に抽出した部分の多くは，食材を見せている部分や「切る」
・「入れる」といった基本的動作の部分であり，重要度は低いものの，調理の全体的な流れを丁寧に視覚的に表現するためには必要な部分であった．同時にこれらの部分のいくつかは，番

まず，要約映像の長さは，（1）では 40 秒と固定長組制作者による要約映像において映像セグメントとしであるのに対し，（2）では，3 レシピ分の平均が約 53ては現れないが，新たに挿入された字幕やナレーショ

秒であり，後者の方が少し長かった．要約映像の時間

ンによる説明で補われていた部分でもあった．

については現時点では特に考慮していないので，今そこで，表 6 に人手により字幕やナレーションによ

後，各々のセグメントに最適な時間を設定することや，る説明部分も 1 セグメントとして数えた結果を示す．

ユーザの熟練度に応じて変化させることなどの改良をこれにより，番組制作者による要約映像における字幕

していくことが必要である．

やナレーションまで含めると，比較的よい適合率が得

次に，映像内容を比較した結果を表 5 に示す．提案
手法による自動要約映像は音声を考慮していないので，
視覚的内容のみを比べている．
（1）中のセグメント数をられることが示唆された．

情報処理学会論文誌

8

Fig. 91959

図 9 要約映像の比較
Comparison of abstracted cooking videos.

5. お わ り に外の重要部分として，字幕の出現する部分を検出した

本研究では，動きに基づく料理映像の自動要約手法

ためには，繰り返し動作か否かだけでなく，より細かを提案した．我々は料理映像要約の目的を，調理の全り，要約率を可変にすることなどが考えられる．そのな動作の分類による重要度の設定が課題となる．

体的な流れを視覚的・直感的に理解するのに充分であ

謝辞 本研究の一部は，科学研究費補助金（基盤研る映像を作成することとし，対象に固有の特徴を考慮（2））
「料理映像を題材とするマルチメディア統究（B）することで，意味的内容に立ち入った精度の高い映像合システムの提案とその応用」（課題番号: 14380173）

要約システムの構築を目指した．

の支援を受けて行なわれた．また，本研究に関して有

料理映像においては，画像全体の動きの激しい「調理動作部分」と素材や料理の状態を示す「状態部分」
が重要であることに着目し，オプティカルフローによりこれらの重要部分を検出する手法を提案し，評価実験によりその有効性を示した．
また，局所領域の輝度値の時間的周期性に着目した
手法3) を用いて，調理動作の中でも特に重要な動作の一つとして繰り返し動作を検出し，これら両手法を適用した料理映像の自動要約アプリケーションを実装した．その結果，要約映像は充分に調理手順の内容を保ちつつ，元の映像の 1/8 から 1/12 の時間に短縮できた．さらに，本手法により自動生成した要約映像の一部を，番組制作者によって用意された要約映像と比較することにより，提案する自動要約手法の有効性を確認した．
このような料理映像の自動要約が実現すれば，これを大量に作成し，要約料理映像データベースを構築することが考えられる．家庭でのレシピ選びなどに利用
すれば，一本あたり数十秒に縮められた映像を閲覧することで，直感的にレシピを選択できるようになる．
今後の課題としては，より柔軟な自動要約アプリ
ケーションを実現するために，動作部分と状態部分以益な助言をいただいた国立情報学研究所の佐藤真一助
教授に感謝いたします．

参 考 文 献1) Hamada, R., Ide, I., Sakai, S. and Tanaka, H.:
Associating cooking video with related textbook, Proc. ACM Multimedia 2000 Workshops,
pp. 237–241 (2000).
2) 三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英
彦: 料理映像の構造解析による手順との対応付け,
第 62 回情処全大, Vol. 3, pp. 31–32 (2001).
3) 浜田玲子, 佐藤真一, 坂井修一, 田中英彦: 料理
映像における繰り返し動作のスポッティング手法,
信学技報, PRMU2001-29 (2001).
4) 益満健, 越後富夫: 映像重要度を用いたパーソナラ
イズ要約映像作成手法, 信学論（D-II）, Vol. J84D-II, No. 8, pp. 1848–1855 (2001).
5) 河合吉彦, 馬場口登, 北橋忠宏: 個人適応を指向したスポーツ要約映像の生成法, 信学技報,
PRMU2000-171 (2001).
6) Christel, M., Smith, M., Taylor, C. and Winkler, D.: Evolving video skims into useful multimedia abstractions, Proc. ACM Conf. Human
Factors in Computing Systems ’98 , pp.171–178(1998).

Vol. 0

動きに基づく料理映像の自動要約

No. 0

7) Lienhart, R., Pfeiﬀer, S. and Eﬀelsberg, W.:
Video abstracting, Comm. ACM , Vol. 40, pp.
55–62 (1997).
8) Beauchemin, S. S. and Barron, J. L.: The computation of optical ﬂow, ACM Computing Surveys, Vol. 27, No. 3, pp. 433–467 (1995).
9) Horn, B. and Schunck, B.: Determining optical ﬂow, Artif. Intell., Vol. 17, pp. 185–203(1981).
10) 岩成英一, 有木康雄: DCT 成分を用いたシーンのクラスタリングとカット検出, 信学技報, PRU93119 (1994).
(平成 ? 年 ? 月 ? 日受付)
(平成 ? 年 ? 月 ? 日採録)
三浦 宏一
平成 13 年東京大学工学部電子情報工学科卒業．平成 15 年同大学院

9

坂井 修一（正会員）
昭和 56 年東京大学理学部情報科学科卒業．昭和 61 年同大学院工学系研究科情報工学専門課程修了．工学博士．同年工業技術院電子技術総合研究所入所．この間平成 3〜4 年，
米国マサチューセッツ工科大学招聘研究員，平成 5〜

8 年 RWC 超並列アーキテクチャ研究室室長．平成 8〜10 年筑波大学電子・情報工学系助教授．平成 10 年
東京大学大学院工学系研究科助教授，平成 13 年より同大学院情報理工学系研究科教授．計算機システム一般，特にアーキテクチャ，並列処理，スケジューリン
グ問題，マルチメディアなどの研究に従事．平成 2 年
本会論文賞，平成 3 年日本 IBM 科学賞，平成 7 年市村学術賞，ICCD Outstanding Paper Award など受賞．電子情報通信学会，人工知能学会，IEEE，ACM各会員．

情報理工学系研究科電子情報学専攻
修士課程修了．修士（情報理工学）．
映像解析，映像要約に関する研究に従事している．
浜田 玲子（正会員）田中 英彦（正会員）

平成 10 年東京大学工学部電子情昭和 40 年東京大学工学部電子工報工学科卒業．平成 12 同大学院工学科卒業．昭和 45 年同大学院工学学系研究科電気工学専攻修士課程修系研究科博士課程修了．工学博士．

了．平成 15 同専攻博士課程修了．博

同年同大学工学部講師．昭和 46 年

士（工学）．現在同大学院情報理工

同助教授．昭和 62 年同教授．平成

学系研究科リサーチフェロー．自然言語処理，マルチ

究科情報工学専攻修士課程修了．平

13 年より同大学院情報理工学系研究科教授・研究科長．
この間昭和 53〜54 年米国ニューヨーク市立大学客員教授．計算機アーキテクチャ，並列処理，自然言語処理，メディア処理，分散処理，CAD 等の研究に興味を持っている．著書「非ノイマンコンピュータ」，「情報通信システム」，共著書「計算機アーキテクチャ」，「ソフトウェア指向アーキ「VLSI コンピュータ I,II」，
テクチャ」．本会フェロー．電子情報通信学会，人工成 12 年同研究科電気工学専攻博士

知能学会，日本ソフトウェア科学会，IEEE，ACM 各課程修了．博士（工学）．同年より会員．

メディア統合処理に興味を持っている．平成 14 年本会
第 63 回全国大会奨励賞受賞．電子情報通信学会会員．
井手 一郎（正会員）
平成 6 年東京大学工学部電子工学科卒業．平成 8 年同大学院工学系研

国立情報学研究所助手．平成 14 年より総合研究大学
院大学数物科学研究科助手併任．自然言語処理，映像
理解，統合メディア処理に興味をもっている．平成 8
年本会第 51 回全国大会奨励賞受賞．電子情報通信学会，人工知能学会，IEEE Computer Society，ACM各会員．