社団法人電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報

TECHNICAL REPORT OF IEICE.
PRMU2002-22(2002-6)

料理映像の特徴を利用した要約手法の検討
三浦宏一†

浜田玲子††

井手一郎†††

坂井修一†

田中英彦†

† 東京大学大学院 情報理工学系研究科 〒 113–0033 東京都文京区本郷 7–3–1†† 東京大学大学院 工学系研究科 〒 113–8656 東京都文京区本郷 7–3–1††† 国立情報学研究所 〒 101–8430 東京都千代田区一ツ橋 2–1–2
E-mail: †,††{miura,reiko,sakai,tanaka}@mtl.t.u-tokyo.ac.jp, †††ide@nii.ac.jp
あらまし

我々は、様々な映像の中でも生活に密着した料理映像を対象とし，索引付けや知的構造化の研究を行っている．本稿では，特に料理映像の自動要約手法の検討を行う．我々は料理映像要約の目的を，調理の全体的な流れを視覚的・直感的に理解するのに充分な映像を作成することとしている．要約映像を作成する際には，映像の重要部分を抽出することが必要となるが，料理映像においては，調理動作および料理や素材の状態を示す部分が特に重要である．これらは画面全体の動きの激しさと関連があることから，オプティカルフローによりこれらの重要部分を検出する手法を提案し，評価実験によりその有効性を示した．さらに，提案手法によって抽出された重要部分から要約映像を作成し，手法の有効性を確認した．
キーワード

料理映像，映像要約，動き検出，知的構造化，重要部分抽出

Abstraction Method Using Characteristics of Cooking Videos
Koichi MIURA †, Reiko HAMADA ††, Ichiro IDE††† , Shuichi SAKAI †, and Hidehiko TANAKA †† Graduate School of Information Science and Technology, The University of Tokyo
7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–0033 Japan†† Graduate School of Engineering, The University of Tokyo
7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–8656 Japan††† National Institute of Informatics
2–1–2 Hitotsubashi, Chiyoda-ku, Tokyo, 101–8430 Japan
E-mail: †,††{miura,reiko,sakai,tanaka}@mtl.t.u-tokyo.ac.jp, †††ide@nii.ac.jp
Abstract We propose a method to abstract cooking videos. We deﬁne cooking video abstraction as making videos
suﬃcient to understand general cooking procedures visually and intuitively. To make an abstracted video, important
subshot segments need to be extracted from the original video. Important segments in a cooking video are cooking
motions and appearances of foods, since visual information that represents essential cooking operation is exceptionally important. These segments have typical motion-related features. Therefore, the proposed method refers tomotion in the image detected as an optical ﬂow. An experiment to detect important segments from motion-based
structural analysis showed high detection rate and promising results. We assembled the important segments, andthe resultant abstracted video showed the eﬀectiveness of the proposed method.
Key words cooking video, video abstraction, motion detection, video structure analysis, important segment detection
効率良く保存・検索するため，マルチメディアデータの解析は

1. は じ め にますます重要な技術となっており，これに関する様々な研究が近年の情報通信技術の進歩に伴い，テレビ放送やインター盛んに進められている．

ネットなどを通じて提供されるマルチメディアデータは増大のしかしながら映像には様々な種類があり，種類ごとに映像的一途をたどっている．このような大量のデータを収集・整理し，特徴も視聴者の見る目的も様々である．そのため汎用性の高い– 15 –

映像解析技術は解析内容が限定されてしまい，個々の映像内容出処理を行わず，容易に抽出できる単純な特徴量のみを用いるに沿った解析を行うことは困難である．高度な内容解析を行う

ことで汎用性を求め，自動的かつ低コストに要約情報を抽出すためには，対象とする映像の種類を限定する必要がある．

る研究も行われている．オーディオビデオコンテンツの符号化

そこで我々は，様々な映像の中でも生活に密着した料理映像

データ上の特性を用して要約を行う研究 [11] では，MPEG でに着目し，映像やテキスト解析，索引付けなどの研究を行って符号化されたデータから動き情報，色配置，またオーディオのいる [1]〜[4]．これらの研究では，対象を料理映像に限定し，対レベルを抽出し，閾値処理を行うことによって外部から与えら象に関する知識を最大限に活かすことで，比較的簡単な要素技れる要約情報長に応じた要約映像を作成している．さらに，個術を用いながらも各々の処理の精度を確保し，実用的なシステ

人の好みを反映した要約映像作成の研究 [12] では，ユーザが過ム構築の実現を目標としている．

去に見たフレームと，早送りによりスキップしたフレームの特また，料理は日常的に行われ，しかも豊富な知識と熟練を必徴量からユーザの好みを学習し，それによる重要度を求め，要要とする複雑な作業であり，従来から調理支援の需要は存在し約映像を作成している．しかしながらこの研究でも人手によるてきた．さらに今後の家庭内への計算機の進出に伴って，この注釈データを用いて欠点を補う可能性が述べられているように，ように解析，索引付けられた料理映像や料理レシピの検索の需実際に精度の良い要約映像を作成するためには，映像の意味解要は高まっていくものと考えられる．

釈が必要である．また汎用性を求めてはいるが，ある程度映像

本稿では，特に料理映像の自動要約を目的とした手法の検討の特性に依存してしまうことは避けられないようである．

を行う．料理映像の自動要約が実現すれば，映像による料理レ

我々は，精度よい要約映像を作成するためには，対象とするシピの閲覧の他に，効率的な料理映像データベースの検索や閲映像の種類を限定し，効率よく映像の意味内容を抽出する必要覧などの応用が考えられる．

があると考える．そこで，料理映像を題材とし，対象に特化し以下，2. において様々な映像要約手法を紹介し，料理映像の要約が目指すところについて述べる．3. では料理映像の特徴にた処理を行うことで映像の意味内容にまで立ち入り，実用的で高精度な自動要約システムの実現を目指す．

ついて述べ，4. において動き検出による映像解析手法について

2. 2 料理映像を対象とした要約提案する．そして 5. で提案手法による重要部分の検出実験と料理映像は教材映像の一種であり，多くの視聴者は，実用的その評価を行い，6. において実験結果を利用した要約映像を作な教材としての利用を目的としている．その一方で，雑談など成する．7. では今後の方針を述べ，最後に 8. でまとめとする．の冗長な部分も多く，閲覧にはある程度の時間を要する．そのためレシピ選びや実際の調理の際には，テキスト形式のレシピ

2. 映像要約手法を閲覧する方が簡便であることが多い．しかし，映像にはテキ2. 1 関 連 研 究

ストでは表現しきれない様々な重要な視覚的情報が含まれてお映像要約を自動生成する手法は，これまでにも様々な研究がり，特に調理手順の理解のためには非常に有効である．

行われている [5]〜[10]．

そこで，我々はこのようなレシピ選びや実際の料理の際に，Informedia skimming プロジェクト [5] では，音声の書き下テキスト形式のレシピを閲覧するよりも視覚的情報を含み，なしであるトランスクリプトから TF-IDF 法によってキーワードおかつ簡便に閲覧できるインタフェースを提供することを目的を抽出し，それに対応する映像部分が重要であるとした．さらとする．個人の技量，好みの問題も考慮すべきことではあるに，顔検出やカメラワークの検出，音量の大きさなどから重要が [12], [13]，まずは調理手順の重要な部分を集め，短い閲覧時シーンを決定して映像要約を作成している．MoCA プロジェ

間で調理の全体的な流れを視覚的・直感的に充分に理解できる

クト [7] では，映画を対象として，主要人物のクローズアップ，映像を作成する．

爆発音や発砲音などから決定される特定のイベントを検出し，これまでの映像要約研究においては，要約された映像は見づ

これらをつなぎ合わせることで予告編的な要約映像を作成してらいとの報告もある [6]．これは，要約映像において音声が断続いる．これらの手法の多くは，映像のシンタクスを利用した手的に途切れ，映像との同期も失われるためであると言われてい法であり，より実用的な精度を得るためには，さらに深く映像る．そこで，要約映像を作成する際には，音声部分が不自然にの意味内容を解釈する必要があると思われる．しかし，重要なならないように考慮して映像を切り出したり [7], [11] ，放送局シーンなどの意味的な内容を解釈するためには，対象映像を限などで制作される番組予告などの要約映像では音声は別のもの定した高度な処理が必要であったり，現状では人手による補助が使われたりする．しかし，料理映像では音声がなくても視覚が必要になることも多い．

的な情報から動作や手順を容易に理解できるという特徴がある

一方，アメリカンフットボール映像を題材とした要約映像生ため，本稿では，作成する要約映像には音声を含まないことと成の研究 [13] では，映像の意味内容の抽出をハイライト部を記する．これにより柔軟なショット構成が可能となり，精度の良述した外部データベースと映像の対応付け問題に還元して考察い要約映像が作成できると考えられる．そのような意味においしている．この手法は，利用しやすい外部データベースがあるても料理映像は，自動要約が効果的な題材であると考えられる．

場合には有効であると思われる．
また，コンテンツの意味内容にまで立ち入った高度な情報抽– 16 –

表 1 料理映像の重要部分と動きの特徴

Table 1 Important segments and motion.

(a)Face shot
図1(b)Hand shot

Important segment

MotionCooking motion

Big (Intense)

Appearance of foodAlmost none

ツなどは，実際に目で見ないとわからないことが多い．
（２）の料理映像におけるショット分類

映像は，調理後の素材の色，盛り付け具合などを示す部分であFig. 1 Shot categories in cooking video.

る．料理映像には，このような素材などの状態を示すためにしばらく静止した様子を映し出す部分がある．
これらの重要部分はいずれも手元ショットに含まれるものである．そこで，料理映像の要約を行う際には，まず，視覚的情（b）手元ショットにお報の少ない（a）人物ショットを省略し，けるこれらの重要部分を抽出する必要がある．

図 2 料理映像のショット構成例

4. 動き検出による料理映像の解析

Fig. 2 Structure of cooking video.

4. 1 映像の重要部分とその特徴
3. 2 で述べた料理映像の重要部分，すなわち（1）調理動作

3. 料理映像の特徴と（2）料理や食材の状態に関する映像は，実際の料理映像を

3. 1 料理映像の構成参照したところ，表 1に示すような映像全体の動きの特徴をも

図 1に示すように，料理映像のショットは大きく（a）人物つことがわかった．

ショット，（b）手元ショットの 2 つに分類できる．

そこで，我々はまず映像全体の動きに着目し，映像の中で特人物ショットは，人物を中心としたスタジオ全体が映されるに動きの激しい部分を（1）調理動作として，また静止しているか，人物の上半身のアップが映されるショットであり，調理人部分を（2）料理や食材の状態として検出することを検討する．

やその助手が調理法などに関して説明していることが多い．し4. 2 動き検出に基づく重要部分検出

かし，手元は映されていないか，部分的に小さく映されてい映像中から動きを検出する手法として，本研究では，後に動るのみであり，映像から調理に関して視覚的な知見を得ることきの方向や速度などを利用することも考え，オプティカルフは難しい．一方，手元ショットは材料やそれを調理する手元がローを利用する．これまでにオプティカルフローを検出する手大きく映され，重要なショットである．しかし多くの場合，手法は数多く提案されている [14]．しかし現時点では映像全体の元ショットはその中にさらに構造があり，調理において重要な大まかな動きに着目することが目的であり，厳密な動きの解析

映像を含む一方で，動作と動作の間などは比較的冗長である．

は必要でないと考えられること，また大量の画像を処理するた

また，これらのショットは主に固定カメラで撮影され，カメラめできるだけ単純な手法を用いたい，などの理由から，基礎的ワークが用いられることは，他の映像（スポーツ映像，ドラマな手法である Horn らの手法 [15] を基に実装した．など）に比べ，ごくわずかである．

動きに基づく重要部分抽出は，30frames/sec の料理映像に対一般的な料理映像の構成例を図 2に示す．図 2のように，料し，以下の手法を適用した．

理映像においては人物ショットと手元ショットがほぼ交互に出（ 1 ） カットを検出

現し，重要であると考えられる手元ショットの中には，さらに（ 2 ） 各ショットを（a）人物ショットと（b）手元ショットに重要な部分と比較的冗長な部分が含まれる．

分類し，（a）を除去

3. 2 料理映像の重要部分（ 3 ） 残りの（b）手元ショット中の各フレームにおいて，オ料理番組には多くの場合，対応するテキスト教材が存在する．

プティカルフローを検出したがって料理映像においては，テキスト教材で表現しきれな（ 4 ） （３）の各フレームごとに，全ピクセル（320×240）

い視覚的な情報を示す部分が重要であると考えられる．

におけるオプティカルフローベクトルの大きさを求め，それらすなわち，料理映像の重要部分は大きく以下の 2 種類に分けの和をとる（=S ）．

られる．

（ 5 ） ノイズの影響を軽減するため，10 フレームごとに S（ 1 ） 調理動作の様子を示す映像の平均をとる（=S ）．

（ 2 ） 料理や食材の状態を示す映像

なお，カット検出は DCT クラスタリングを利用した手法 [16]，（１）の映像は，調理作業中の手元を映している部分である．

ショット分類は肌色の統計情報を利用して顔領域を検出する手

これは料理映像が調理の仕方を教えるためのものであることを法 [3] を用いて実現した．

考えれば最も重要な情報である．特に，動作の要領，細かいコ– 17 –実際の料理映像における S の時間変化を図 3に示す．

図 4 panning を含む動きの場合の角度分布

Fig. 4 Angle histogram (panning).

図3

フレーム毎のオプティカルフローの大きさ（S ）Fig. 3 Temporal transition of the sum of the length of optical ﬂow
vectors (S) in each frame.

このように変化する S に基づいて，重要部分である調理動作
図 5 カメラワークがない場合の角度分布部分と，料理や食材の状態に関する部分を抽出する．

Fig. 5 Angle histogram (no camera motion).

ここで，S のショット内での平均値を Save ，また，Smove ,Sstate1 , Sstate2 をそれぞれ検出に用いる閾値とする．
まず，Save >= Smove を満たすショットの中で，S > αSave をみ付けをし，角度の分布をとる（angle histogram）．

満たす部分を調理動作部分として抽出する (α:定数)．これは，（ 2 ） 一連の動きとみなせる範囲のフレームについて，角度全体的に動きの激しいショットのなかでも特に大きな動きを示

分布の平均をとる．一連の動きは，S を基に判断する．
以上により，panning を含む動きの場合には角度分布は図 4

す部分を調理動作として抽出することを意味する．
次に，S < S1 を T フレーム以上満たす部分，あるいは，のようにある程度の大きさの際立ったピークを 1 つもち，カメ

Save < S2 をみたすショットの中で，S < S2 を満たす部分を料

ラワークがなく，調理動作のみの場合には図 5のように明確な理や食材の状態を示す静止部分として抽出する．前者は動きのピークがないことが観測された．したがってこれを利用し，角少ない映像が連続する部分，また後者は全体的に動きの少ない度分布のピークの値 (頻度)Fp がある適当な閾値 Fth 以上であショットの中で特に動きのない部分を料理や食材の状態としてり，かつピークが 1 つのみであるものを panning として検出し，抽出することを意味する．

重要部分から除外することとした．

4. 3 カメラワークの検出

5. 重要部分検出実験

前節の手法では，カメラワークが起こる部分も，画面全体に大きな動きが生じるために調理動作の重要部分として検出して5. 1 実 験 条 件

しまう．

ここまでに述べた手法に基づき，料理映像から調理動作部分，料理映像中にみられるカメラワークは，大きく panning（画料理や食材の状態に関する部分を検出する実験を行った．実験

面が一定方向に移動）と zooming（対象にズームアップ／ダウには，6 レシピ分（約 40 分間）の料理映像を用いた．表 2に実ン）の 2 種類に分けることができる．panning は調理動作や料験に用いた映像の特性を示す．

理や食材の状態を見せるものではなく，対象から対象へカメラ

本実験ではショット分類は理想的に行われたものとし，4. 2を移動させる途中に現れるものである．したがって，画面上にで述べた手法に基づいて動作部分と状態部分を検出した．ま視覚的知見を得られる重要なものは映っていないことから，重た，4. 3 の手法に基づきカメラワーク（panning ）部分を検出

要部分抽出の誤検出の主な原因となる．一方 zooming が起こる

し，動作部分として誤検出された重要部分から除外した．今回

場合，一般的に画面の中心には視聴者に見せたい重要なものがの実験で用いた閾値を表 3に示す．

映っており，これは重要部分として検出してよい部分である．
そこで，我々はカメラワークの中でも特に誤検出の原因とな

表 2 実験データの特性

る panning の検出について検討した．カメラワークを検出す

Table 2 Property of the videos.
Total time

40 minutes

Number of recipe

6FormatMotion JPEG

（ 1 ） 1 フレーム中の全ピクセルにおいて，オプティカルフResolution

320×240 pixels

ローベクトルの向き（角度）を求める．ベクトルの大きさで重Frame rate

30 frames/second

る研究には過去にも様々な例があるが，すでに検出されたオプティカルフローを利用し，単純な手法で検出するために，以下のような手順で行った．

(transformed into 24bit color bitmap)– 18 –

表3

実験に用いた閾値

くしている．最後に，（1）, （3）, （7）, （8）, （9）, （12）,Table 3 Thresholds.

（15）は，調理や食材の状態部分である．
（15）の盛り付けの映Smove = Sstate2 = 10, 000

像をはじめとして，これらの状態を示す映像には視覚的に重要

Sstate1 = 7, 000な情報が含まれるうえ，要約映像における手順の進行を明確に

α = 1.0

している．

T = 90 (3 seconds)

以上に示したような手法で作成された要約映像は，元の映像

Fth = 0.025と比べて 1/8 から 1/10 の時間に短縮され，なおかつ調理手順表4

重要部分検出結果を理解するのに重要な視覚的情報および手順が含まれており，Table 4 Result of important segment detection.
重要部分

AnsH

AnsM

AnsC

再現率

適合率

調理動作

119

127

11798%92%

状態

46413985%

95%

本要約手法の有効性を示すものであると考えられる．

7. 今後の方針
本章では，映像の内容解析をより深く行うために，現在考えているいくつかの事柄について述べる．

5. 2 結果と考察

7. 1 動きの分類

表 4に重要部分の抽出実験の結果を示す．目視による結果

4. 2 で提案した手法では，単純に全体的な動きの大きさを利を AnsH ，自動解析による結果を AnsM ，両者が一致した答用し，調理動作部分を検出しただけであった．しかし，調理動を AnsC ，再現率は AnsC /AnsH ，適合率は AnsC /AnsM と作には様々なものがあり，特に重要な動作を抽出するためにはする．

より詳しい動きの解析が必要となる．したがって今後は，動き

表 4に見られるように，単純な手法により，調理動作および料理や食材の状態に関する重要部分を高精度で検出できている．

が起こっている画面上の位置，また動き方なども利用して，調理動作を分類し，重要度を決定する．
調理の中心となる動作の多くを含む繰り返し動作 [4] を含め，調理動作の誤検出と状態部分の検出漏れの主な原因は，調理に関係ない動きを検出してしまったことによるものであった．

さらなる動作の分類手法を検討する予定である．

7. 2 字 幕 検 出

調理動作の検出漏れの原因は動作が小さすぎたこと，また状態映像の解析において，動き以外で重要な手がかりとなりそう部分の誤検出の原因は重要でない（映像の制作者が状態を見せようとしているのではない）にもかかわらず画面が静止していなものに，字幕（open caption）がある．
（a）料理のコツ
料理映像における字幕は図 7に示すように，たことであったが，いずれの場合も非常に稀であった．
また，カメラワーク（panning ）を検出したことにより，カや（b）使用する材料を示し，調理の手順を理解する上での重メラワーク検出をしない場合に比べて，誤検出の約 40 % （17要な情報を与えている．特に本研究のように音声を用いない要の誤検出の内の 7 つ）を削減することができた．

約映像を作成する場合には，字幕は内容理解の大きな助けとなると考えられる．

6. 要約映像の作成

映像から字幕を検出する研究は， [5], [17] などでなされてお5. で行った重要部分抽出実験の結果より，簡単な要約映像をり，これらを参考に実装する予定である．なお，字幕は料理番作成した．今回の手法としては，重要部分として検出された部組の種類によってその出現の仕方が違うことも考えられるので，分のうち，調理動作部分に関しては最初の 2 秒間を，料理や食その扱いには注意をする必要がある．

材の状態部分に関しては最後の 2 秒間を取り出し，それらを単8. お わ り に純に時系列に沿って結合した．
要約結果の例を図 6に示す．なお，各フレームは要約に含ま本稿では，料理映像を対象とした自動要約手法の検討を行っれる映像セグメントを表す．図 6において，灰色の縁のものがた．我々は料理映像要約の目的を，調理の全体的な流れを視覚調理動作部分，白色の縁のものが料理や食材の状態部分である．

的・直感的に理解するのに充分である映像を作成することとし，「里芋を塩でもみ，
図 6において，調理動作（4）〜（6）は，対象に特化することで，意味的内容に立ち入った精度の高い映ぬめりをとって洗い流す」映像である．これらの映像には，調理の手順を伝えるとともに「ぬめりをとる」「洗い流す」といった単語だけでは表現しきれない調理動作に関する重要な視覚的情報が含まれている．
（14）も同様に「なべを揺すって味をからませる」という動作で，このレシピにおけるコツの部分であり，動きの強さ，早さなど豊富な視覚的情報を含んでいる．また，（10）, （11）は素材を鍋に「入れる」動（2）は「皮をむく」，(a)(b)作である．いずれも，テキストから容易に動きを推測できる動

図 7 料理映像中の字幕（open caption ）作であるが，要約に含めることで，より調理手順を分かりやす

Fig. 7 Open captions in cooking video.

– 19 –

図6

料理映像から要約された映像セグメント（灰色の縁：調理動作映像，白い縁：料理や食材の状態映像）
Fig. 6 Video segments abstracted from a cooking video(Gray frame: Cooking motion, White frame: Appearanece of food).

像要約システムの構築を目指している．
まず，料理映像の特徴から，視覚的に重要であるのは手元ショットであるとし，さらにその中でも調理動作部分と料理や食材の状態部分が重要であるとした．さらに，これらの重要部分は画面全体の動きの激しさと関連があることに着目し，オプティカルフローによりこれらの重要部分を検出する手法を提案し，評価実験によりその有効性を示した．
また，この手法により検出された重要部分を単純につなぎ合わせることで要約映像を作成した結果，要約映像は調理手順の内容を保ちつつ，元の映像の 1/8 から 1/10 の時間に短縮することができた．
今後の課題としては，7. で述べたような手法を用い，さらに深く映像を解析していくことが挙げられる．また，今回は要約映像を作成する際に，重要部分を単純に 2 秒間ずつ抽出しただけであったが，要約手法の詳細についても検討する必要がある．
さらに，要約映像自体の評価法も大きな課題である．
文

献[1] R. Hamada, I. Ide, S. Sakai, and H. Tanaka, “Associatingcooking video with related textbook,” Proc. ACM Multimedia 2000 Workshops, pp.237–241, Nov. 2000.
[2] 浜田玲子, 井手一郎, 坂井修一, 田中英彦 , “料理テキスト教材における調理手順の構造化,” 信学論 (D-II), vol.J85-D-II, no.1,pp.79–89, Jan. 2002.
[3] 三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英彦, “料理映像の構造解析による手順との対応付け,” 第 62 回情処学全大,no.6R-9, vol.3, pp.31-32, Mar. 2001.
[4] R. Hamada, S. Satoh, S. Sakai, and H. Tanaka, “Detection of important segments in cooking videos,” Proc. IEEE
Workshop on CBAIVL 2001, pp.118–123, Dec. 2001.
[5] M. Smith and T. Kanade, “Video skimming and characterization through the combination of image and language
understanding,” Proc. ICCV98, pp.61–70, Jan. 1998.

[6] M. Christel, M. Smith, C. Taylor, and D. Winkler, “Evolving video skims into useful multimedia abstractions,”
Proc. CHI’98 Conf. Human Factors in Computing Systems,pp.171–178, April 1998.
[7] R. Lienhart, S. Pfeiﬀer, and W. Eﬀelsberg, “Video abstracting,” Commun. ACM, vol.40, pp.55–62, Dec. 1997.
[8] 森山 剛, 坂内正夫, “ドラマ映像の心理的内容に基づいた要約映像の生成,” 信学論 (D-II), vol.J84-D-II, no.6, pp.1122–1131,
June 2001.
[9] 加藤和也, 吉高淳夫, 平川正人, “文脈を考慮に入れた映画の要約作成,” 情処学研報, AVM-36-5, pp.25–30, March 2002.
[10] H. Sundaram and S. Chang, “Constrained utility maximization for generating visual skims,” Proc. IEEE Workshop on
CBAIVL 2001, pp.124–131, Dec. 2001.
[11] 菅野 勝, 中島康之, 柳原広昌, “映像の特徴に応じた AV データからの自動要約抽出方式に関する検討,” 情処学研報, AVM-35-5,pp.25–30, Dec. 2001.
[12] 益満 健, 越後富夫, “映像重要度を用いたパーソナライズ要約映像作成手法,” 信学論 (D-II), vol.J84-D-II, no.8, pp.1848–1855,
Aug. 2001.
[13] 河合吉彦, 馬場口登, 北橋忠宏, “個人適応を指向したスポーツ要
約映像の生成法 ,” 信学技報, PRMU2000-171, pp.83–90, Jan.
2001.
[14] S. S. Beauchemin and J. L. Barron, “The computation of optical ﬂow,” ACM Computing Surveys, vol.27, no.3, pp.433467, 1995.
[15] B.K.P. Horn and B. Schunck, “Determining optical ﬂow,”
Artif. Intel., vol.17, pp.185-203, Aug. 1981.
[16] 岩成英一, 有木康雄, “DCT 成分を用いたシーンのクラスタリン
グとカット検出,” 信学技報, PRU93-119, pp.23–30, 1994.
[17] 新居啓之, 桑野秀豪, 倉掛正治, 杉村利明, “映像中のテロップ表示フレーム検出方法,” 信学論 (D-II), vol.J83-D-II, no.6,pp.1477-1486, June 2000.

– 20 –