論文

料理映像の構造解析による調理手順との対応付け
三浦 宏一†

高野求†

坂井 修一†

田中英彦†

浜田 玲子†

井手一郎††

Associating Semantically Structured Cooking Videos with their Preparation Steps
Koichi MIURA† , Motomu TAKANO† , Reiko HAMADA† , Ichiro IDE†† , Shuichi
SAKAI† , and Hidehiko TANAKA†

あらまし 近年のマルチメディアデータの増加に伴い，その解析技術の重要性が増しつつあリ，またそこに含まれる情報を最大限に利用するため，複数メディアを統合的に処理する手法が注目されている．そこで我々は，様々な映像の中でも生活に密着した料理映像を対象とし，映像とテキスト教材中の手順の対応付け手法を提案する．料理番組などテキスト教材の存在する教養映像においては，テキスト教材は映像よりも閲覧しやすい一方，
映像にはテキスト教材では表現しきれない有用な視覚的情報が含まれており，これらを統合することによってより高次な映像の構造化・索引付けが期待される．本論文では，まず，映像の構造を解析し，対応付けの際の映像の単位となる映像ブロックを定義する．また，クローズドキャプションとテキスト教材中の手順を解析し，キー
ワード抽出による対応付け手法を提案・実装する．さらに評価実験により，提案手法を用いて，映像ブロック単位での対応付け，すなわち映像への索引付けが高精度で行われることを示す．また，対象を限定することで，比較的簡単な要素技術をうまく組み合わせることにより実用的な精度が得られることを示す．
キーワード

1.

料理映像, テキスト教材, 対応付け, 映像ブロック, 映像への索引付け

語句の抽出，要約作成など，高次元の意味的内容が比まえがき

較的容易に解析できるが，テキストのみでマルチメ

近年の情報通信技術の進歩にともない，入手可能なディアデータの全体像を把握することは容易ではなく，マルチメディアデータは増加の一途をたどっている．

映像と結び付けられることでより効果的に利用するこ

このような大量のデータを整理し，効率良く蓄積・検とができる．このように，各メディア単独でのマルチ索するため，マルチメディアデータの解析はますます

メディアデータの自動解析には限界があり，精度の高重要な技術となっている．

い意味的内容解析には複数メディアを統合的に処理すマルチメディアデータは，一般に画像，音声，テキることが必要である．

ストからなる．従来これら各メディアの自動解析手法

我々は，このような統合メディア処理手法の研究のについては個別に研究されてきた．例えば画像解析に一環として，料理映像を対象とした知的構造化・索引

ついては，カット検出や類似画像検索など，さまざま付けに取り組んでいる [1]．料理番組などテキスト教材

な研究がなされている．しかし，画像単独での一般的の存在する映像において，テキスト教材は映像よりもな物体認識が困難なように，画像のみからマルチメ

閲覧が容易である一方，映像にはテキスト教材では表ディアデータの意味的内容に立ち入って解析すること現しきれない有用な視覚的情報が多く含まれており，は難しい．また，テキスト解析については，重要文やこれらを統合的に処理することで互いの情報や弱点を補完し合うことが期待される．このような補完の結果，† 東京大学大学院情報理工学系研究科, 東京都

より高次な映像の構造化・索引付けの実現はもちろんGraduate School of Information Science and Technology,
The University of Tokyo, 7–3–1 Hongo, Bunkyo-ku, Toky†† 国立情報学研究所, 東京都
National

Institute ofのこと，テキストと映像をリンクさせた形の，利用しやすい新たなマルチメディアデータが生成されること

o, 113–0033, Japan
Informatics,

2–1–2

Hitotsubashi,

Chiyoda-ku, Tokyo, 101–8430, Japan

電子情報通信学会論文誌 D–IIが期待される．さらに，解析結果を利用した映像要約
や知識抽出など，知的調理支援につながる応用が考え

Vol. Jxx–D–II No. xx pp. 1–10 xxxx 年 xx 月

1

電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

図 1 映像の画像的構造
Fig. 1 Graphical structure of video.

られる．
本論文では，料理映像の構造を解析し，調理手順単図 2 テキスト教材と映像との対応付け手法
Fig. 2 Method to associate a cooking video with arelated textbook.

位での映像とテキスト教材中の手順とを対応付ける手法を提案する．一方，対象を料理映像に限定することで，既存の比較的単純な要素技術を用いながらも，こ像の解析に利用できる．しかし，対応付けの際の映像れまで汎用的な手法では得られなかった実用的な精度

内容解析としては，字幕のテキストを参照するのみでを得ることを目指す．

あり，具体的な映像内容は考慮されていない．

まず，2. で映像とテキスト教材中の手順の対応付け

また，DP マッチングを用いたドラマ映像とシナリ手法の概要を示し，3. で対応付けのための料理映像のオ文書の対応付けに関する研究 [3] においては，複数

構造解析手法を提案する．さらに 4. では，テキスト解のメディアから参照できるパターンを抽出し，その対析手法について，5. では，映像と手順の対応付け手法

応付けを DP マッチングにより最適化することにより，について提案する．6. では，3. で提案した映像解析

メディア間の対応付けを行っている．この研究も対応

手法及び 5. で提案した対応付け手法の評価実験の結付けにより，映像の構造化・データベース化を行って果を示す．また，その結果をふまえた評価と考察を行いるが，料理番組ではしばしばテキスト教材中の手順

う．最後に 7. でまとめとする．

と映像中の手順が入れ替わるのに対し，ドラマでは映

2.

映像とテキスト教材中の手順の対応付け
手法

像の順序とシナリオの順序とが基本的には入れ替わらない点で，本研究と本質的に異なる性質の対応付け手法である．そのため，本研究では単純に DP マッチ

2. 1 映像の構成と用語の定義

ングのような時系列に沿った一次元的な同期手法を用

本論文では，画像と同期して放送される音声や文字いることはできない．そこで，以下で述べるように，放送などを全て含んだデータの集合体を映像（video）

各々のメディア中のキーワードを参照して映像の構造と呼ぶ．映像の中の画像は多数のフレーム（frame）に合わせた対応づけを行う．

からできており，画像的に連続なフレームの集まりを

2. 3 提案手法の概要

ショット（shot）と呼ぶ．またショットとショットの境

対応付け手法の構成を図 2 に示す．まず，映像の構（画像の変化点）をカット（cut），さらに意味的なま造とテキスト教材中の手順を並行して解析する．次に，とまりのあるショットの集合をシーン（scene）と呼ぶ．

それぞれの内容を統合的に判断して，映像と手順を対

このような映像の構造を図 1 に示す．

応付ける．

2. 2 関 連 研 究

映像の構造解析は，画像と音声の両方から進める．

独立した外部テキストを映像と対応付ける研究とし画像については，カット検出によりショット単位に分ては，ニュース映像の字幕（オープンキャプション）

割し，それぞれのショットを画像内容に応じて分類すと電子新聞の記事の構造情報を利用して類似度を計算る．ここで必要な画像処理に関しては様々な要素技術

し，ニュース映像中のトピックと新聞記事を対応付けが研究されており，本研究では，それら既存の手法をる研究 [2] がある．このような研究では，対応付けに効率良く組み合わせて利用する．一方，音声について

よって，新聞記事から得られる意味情報をニュース映は，本研究では音声認識は行わず，主音声の書き下し

2

論文／料理映像の構造解析による調理手順との対応付けであるクローズドキャプション（注 1）を用いて，これにテキスト処理を施す．テキスト処理としては，テキス
トを形態素解析した後，素材名などの名詞や調理動作を表す動詞などのキーワードを抽出する．そしてこれ
らの解析結果から，テキスト教材中の手順と対応付け（a1）全身ショット （a2）上半身ショット（a）人物ショット

るための映像の構造を抽出する．これについては 3. で（b）手元ショット

図 3 料理映像におけるショット分類
Fig. 3 Shot categories in cooking video.

詳述する．
テキスト教材の解析についてもクローズドキャプ
ションと同様に，形態素解析，キーワード抽出などを行う．これについては 4. で詳述する．
最後にそれぞれの解析結果を利用して，映像と手順を対応付ける．これについては 5. で詳述する．

3.

料理映像の構造解析

映像と手順を対応付けるために，料理映像の構造を解析する．映像は画像と音声の両面から解析するが，

図 4 料理映像のショット構成の例
Fig. 4 Example of a shot based structure in a cooking video.

まず，画像解析によって映像の構造を解析し，手順と対応付ける際の単位となる映像ブロックを定義する．
また，クローズドキャプションの解析によって対応付
けの際のキーワードを抽出する．

3. 1 画 像 解 析
3. 1. 1 映像ブロックの定義
画像解析ではまず，カットを検出し，映像をショッ
ト単位に分割する．カット検出手法としては，色ヒス
トグラムや色コリログラムで画像の色調変化を検出する手法 [4] をはじめ，様々なものが検討されているが，本システムにおいては，DCT クラスタリングを利用する手法 [5] を採用する．料理映像は，スタジオ内の理想的な照明条件下で撮影されるため，高精度のカット検出が期待される．また，このカット検出手法は，カット検出と同時にそれぞれのショットを形成するクラスタの特徴量も得られることから，将来的にはその特徴量を，カット検出後に行うショット分類に利用することも考えられる．
映像の構造解析のため，カット検出の後にショットを分類する．図 3 に示すように，料理映像中のショットは，画像内の構成に基づき大きく（a）人物ショットと（b）手元ショットに分類できる．さらに，（a）人物
ショットは（a1）全身ショットと（a2）上半身ショットに分けられる．
（注 1）：クローズドキャプションとは，主に聴覚障害者のために，主音声を書き下したものが文字放送の形で提供されるデジタルテキストであり，米国においては生放送も含め，大多数の番組において文字放送により提供されている．また日本においても，提供される番組数は増えつつあり，その中には料理番組も含まれる．

この分類による実際の料理映像におけるショット構
成の例を，図 4 に示す．ここで，手順の区切りの直後のショットに着目すると，その 90%以上が人物ショッ
ト（a），その中でも全身ショット（a1）であった（注 2）．
このことより，一つの手順のまとまりとして「映像ブロック」を定義し，これを映像における対応付けの最小単位とする．映像ブロックは，図 4 に示すように，全身ショット（a1）を先頭とし，次の全身ショット（a1）が出現するまでの連続するショットの集合とする．

3. 1. 2 人物ショット検出
人物ショットの検出は，映像を映像ブロックに分割する際の手がかりとなるため，ショット分類の中でも特に重要である．人物ショットは画像中に人物の顔が映っているため，顔領域を抽出することで検出できる．
顔領域を抽出する手法には様々なものがあるが，ここでは単純に顔領域の存在・位置・大きさが分かれば充分なので，より高度で複雑な目や口などの位置をモデル化した手法は採用せず，（ 1 ） 肌色領域を抽出（ 2 ） 検出された肌色領域から一定の条件により顔領域を決定という手順で単純かつロバストに抽出し，実用的な精度で人物ショットを検出することとする．
肌色領域の抽出には，それに適しているとされる修（注 2）：複数の料理番組 38 レシピ 137 手順を調べた結果．

3電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

図 6 顔領域の抽出例
Fig. 6 Example of human face extraction.

図 5 H-Sm 空間における肌色領域の分布（実際の肌色領域のサンプリングに基づく）
Fig. 5 Skin colored regions on the H-Sm plane.

検出してしまっていることが多いため．また，料理映像においてはスタジオセットの構造上，同一ショットに顔領域が複数ある場合は，それらの面積は同程度となる．顔の向きなどによる面積の変

正 HSV 表色系 [6]（H ：色相, Sm：修正彩度, V ：明化を考慮したうえで，相対的に小さいものも雑音度）を用いた．

として除外する．これらの閾値は，経験的に設定

このうち，V については閾値処理を行い，暗い領域

した．

を排除するためのみに用いた．肌色の判定は，実際の（ 4 ） 少なくとも一部が画像の上半分の領域にある

様々な顔領域の色を参考に，H–Sm 空間中の矩形領域— 料理映像中のショットの構図上，顔領域が画像（図 5 [7]）を肌色領域と設定し，各ピクセルにおけるの上半分にかからないことはないため．

H と Sm の値がこの領域に含まれるかどうかで行った．この際，2 値化された画像に対し 3×3 のメディアの画像特徴を利用したものである．また，（ 2 ）∼（ 4 ）ンフィルタをかけ，雑音を除去した．

の条件は料理映像の性質から導き出した条件ではある

肌色領域の抽出は，純粋に色のみを手がかりにしたものであるため，人間の顔だけでなく，手，木のしゃ

これらの条件のうち，（ 1 ）に関しては，一般的な顔が，スタジオセット内で撮影される一般の映像にも適用できる条件である．

もじ，机など，似た色をもつ対象も検出してしまう．

図 6 に顔領域の抽出例を示す．なお，（a1）と（a2）このようなものを排除するため，肌色領域を抽出した

は顔領域を抽出した後，その面積を閾値処理（閾値：後，以下のような条件により顔領域を抽出した．

画面全体の 1/36）することによって分類した．

（ 1 ） 抽出された肌色領域に外接する矩形の縦横比

r = x/y について，rmin <=r<= rmax を満たすも

3. 2 音声テキストの解析
本研究では，音声内容の解析のために，音声認識をののみを顔領域として抽出．

行う代わりに，主音声の書き下しとして放送局から提— 一般的に人間の顔が映る場合，その形にはあ供されるクローズドキャプションを利用し，これを音る程度の制約があるため．またこの値は顔の向声テキストとして解析する．クローズドキャプション

きによって大きく変化することから，本手法でをテキストデータとして取得する際に，出現時刻もあ

は値域をある程度の余裕をもって rmin = 0.38,

わせて記録し，これを元に映像との同期をとる．

rmax = 1.4 と経験的に設定した．

得られたクローズドキャプションテキストに形態素（ 2 ） 画面の端に接しているものは除外

解析を施した後，素材名や調理に関わる動詞など，対— 料理映像においては，顔領域が画面の端に接応付けの手がかりとなるような語をキーワードとしてするようなカメラワークが用いられることはほぼ抽出する．この詳細についてはテキスト教材中の手順なく，肌色領域が画面の端に接する場合は，調理の解析とまとめて 4.で説明する．

中の手などが映っていることが多いため．
（ 3 ） 面積が大き過ぎるもの（画面の 1/12 以上），相4

4.

テキスト教材中の手順解析

対的に小さいもの（最大面積の 30%未満）は除外

映像とテキスト教材中の手順とを対応付けるために— 料理映像においては，顔領域は画面上である程は，映像の構造解析と並行して手順のテキストも解析

度の大きさで映っており，大き過ぎたり小さ過ぎする必要がある．手順の解析については，クローズドる場合は，顔以外のもの（壁，テーブルなど）をキャプションと同様に形態素解析を施し，素材名を表

論文／料理映像の構造解析による調理手順との対応付け
表 1 以前の手順を参照している手順の例
Table 1 Example of reference to previous steps.
手順 2:[1]（手順番号）をすり鉢に入れ，小麦粉，砂糖を加えてすり混ぜる．
−→

参照している手順番号 [1] の直後に「の＋名詞」
が存在しないため，手順 1 に含まれる素材名すべてをここに補う．

手順 5:[3]（手順番号）の（の）鴨肉（名詞）を薄切りにして，器に盛る．
−→

参照している手順番号 [3] の直後に「の＋名詞」
が存在するので，この場合は素材名を補うことはしない．

図 7 テキスト教材の例
Fig. 7 Example of a cooking textbook.

手順 4:フライパンで [1]（手順番号）をいためる．
手順 5:[3]（手順番号）の（の）なべ（名詞）を火にかけて[4]（手順番号）を加え，煮る．
−→

手順 4 において，手順番号 [1] を参照しているの−→で，手順 1 に含まれる素材名をここに補う．
手順 5 は手順番号 [3] と手順番号 [4] を参照してす名詞，調理動作を表す動詞などのキーワードを抽出する．
ここで，テキスト教材の例を図 7 に示す．テキスト

いるが，手順番号 [3] の箇所には，直後に「の＋教材は主に「手順」と「材料一覧」からなり，「材料一名詞」が存在するので，素材名は補わない．また，
手順番号 [4] の箇所に補うのは，手順 4 に含まれ覧」は，素材名を抽出する際の重要な手がかりとなる．

る素材名のみである．
（手順 1 の素材名までは補わない．
）

クローズドキャプション及びテキスト教材中の手順に対するテキスト解析は，以下のように行った．

• 形 態 素 解 析 は 日 本 語 形 態 素 解 析 シ ス テ ム JUMAN [8] を用いる．
• 素材名は，テキスト教材中の材料一覧と一致するもののみを抽出する．この際，辞書を用いること
で，ひらがな，カタカナ，漢字と表記の異なるものがあっても同一素材名として扱う（以下の動詞についても同様）．

• 形態素解析の結果から動詞を抽出するが，「下さる」「できる」「する（サ変動詞で名詞を伴わない単独のもの）」は料理に関係ないものとみなし，除外する．

• 上記の素材名と動詞のみをキーワードとする．
• 句点，または動詞の後の読点やスペース（注 3）を区切りとして 1 つの文とみなし，同じ文に属すると判断される素材名と動詞は，関連するものとみなす．
テキスト教材の手順を解析する際に，以前の手順番
号を参照しており，かつその直後に「の＋名詞」が存在しない場合のみ，参照されている手順に含まれる素材名全てを補うこととした．ただし，補うのは直接参（注 3）：料理映像におけるクローズドキャプションテキスト中では読点が使われることは少なく，スペースが多く使われる．

照している手順までとし，参照先の手順がさらに以前の手順を参照していても，それは補わないこととした．
表 1 に手順の参照の具体例を示す．
また，動詞に関しては，映像とテキスト教材での表現の違いを吸収するため，表 2 のような辞書を必要に応じて作成し，辞書中の調理動作と一致する動詞は正規化された動詞に置き換えて解析した．この辞書には，動作を上位概念に置き換えるもの，表記の差を吸収するものなどが含まれている．ここでは，表 2 に示すものを含めて，31 個の調理動作を表す動詞を辞書に収録した．なお，この辞書をさらに実用的なものとして扱うためには，料理辞典や他のレシピを用いて，語彙を増やす必要がある．
このテキスト解析処理は，テキスト教材中の「材料一覧」の語をキーワードとして用いる部分において，
料理テキスト教材特有の性質を利用し，処理の単純化を図っているが，例えば，ドメイン毎に主体となるキーワードを記述した辞書を作成すれば，別ドメインのテキストに対しても適用できる手法である．

5.

映像ブロックと手順との対応付け

映像と手順の対応付けは，映像は映像ブロックを単位とし，また，手順はテキスト教材中の一つ一つの手
5電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx
表 2 動詞辞書の内容
Contents of the verb dictionary.

Table 2

正規化後の動詞
切る

入れる
切り目を入れる
味見する
洗う
焼く

調理動作
千切りにする
薄切りにする
···
流し入れる
加える
···
切れ目を入れる切り込みを入れる
味をみる
洗い流す
焼きます（口語）順を単位とする．
料理映像においては，テキスト教材中の手順と映像
中の手順の順序が一致するとは限らない．さらには，1

図 8 対応付けの様子
Fig. 8 Example of the association process.

つの手順が映像中では 2ヶ所以上の部分に分かれて出現したり，手順に対応する映像がない，または逆に映

表 3 映像キャプチャの際の条件
Table 3 Conditions of video capturing.

像がどの手順にも対応しない，といったことがしばしばある．このようなことをふまえ，対応付けは，抽出

大きさ
色数
保存データ形式
標本化レート

されたキーワードを元に，映像ブロックがどの手順と対応しているかを次の手順により判断した．この対応付けの様子を図 8 に示す．また，抽出されたキーワー

横 320× 縦 240
24bit
Motion JPEG（圧縮率 約 1/3 ）10 フレーム/秒

ドそれぞれに，以下の式により得点を設定した．これは出現キーワードの珍しさを考慮したものである．

1
1
×
M
N



M :キーワードの出現手順数
N :キーワードの出現映像ブロック数



前の映像ブロックに対応付けられたものと同手順に対応付ける．
（ 4 ） 映像ブロックが，複数の手順に属する可能性（ 1 ） 映像ブロックを 1 つとり，その中に含まれるがあると判断された場合も，前後の映像ブロックに対

全キーワードを各手順に含まれるキーワードと照合応付けられた手順を参照し，前後の手順もしくは前後する．

の手順と連続する手順のみに対応付けが許されるもの（ 2 ） 映像ブロック中の全キーワードの中で，素材とする．つまり結果として 1 つの手順のみに属するこ名とそれに関連する動詞の両方が，ある手順と一致しともある．

た場合は次のように行う．

（ 5 ） 対応する手順が決定可能な映像ブロックから一致する手順が 1 つのみの場合： 映像ブロックをそ順に，対応付けを行う．

の手順に対応付ける．

2 つ以上の手順と一致する場合： 映像ブロックは複数

6.

実

験

の手順に属する可能性があると判断する．映像ブロッ6. 1 画像処理実験

クが複数の手順に属する可能性があると判断されるのここでは，対応付けのための前処理である映像の構は，この場合のみである．

造解析手法の中から，画像処理部分のカット検出，及（ 3 ） （ 2 ）以外の場合は，キーワードの一致するび人物ショット検出の実験を行った．

手順に対してそのキーワードの得点を加えていき，映6. 1. 1 実 験 条 件

像ブロックがもつそれぞれの手順に対する得点のうち，映像キャプチャの際の条件を表 3 に示す．

最も得点の高い手順にその映像ブロックを対応付ける．

実際の処理に際しては，各フレームを非圧縮の PPM

得点の一番高い手順が 1 つに決定できない場合は，前形式に変換して利用した．また，この前処理実験には後の映像ブロックが対応する手順のうち，得点の高い

約 100 分間の特定の料理番組の映像（計 600 ショット）方の手順に対応付ける．それでも決定できない場合は，

を用いた．

6

論文／料理映像の構造解析による調理手順との対応付け
表 4 カット検出結果
Table 4 Result of cut detection.
NC
568

NM
10

NO
31

再現率
94.8%

表 7 対応付け結果（対応付け手法単独の評価）
Table 7 Result of association (Evaluation of the association method individually).

適合率
98.3%

表 5 人物ショットの検出結果
Table 5 Result of human shot detection.
ショットの種類
人物ショット（a1 ）人物ショット（a2 ）

NC
169
68

NM
24
18

NO
25
20

再現率
87%
77%

適合率
88%
79%

評価対象
映→手
映←手
映↔手

全体数
242
94
94

正解
203.5
74
59

誤り
29.5
20
35

その他
9
–
–

成功率
84%
79%
62%

は多くの場合複数の人物が存在するため，そのうちのいずれかを検出することができ，表 5 のようにショッ

表 6 顔領域の検出結果（表中の数字は顔の数を示す）
Table 6 Result of face region detection.
ショットの種類
人物ショット（a1 ）人物ショット（a2 ）

NC
480
75

NM
36
22

NO
162
27

再現率
72%
74%

適合率
92%
77%

ト分類の精度にはあまり影響がみられなかった．

6. 2 映像と手順の対応付け
最後に，映像と手順の対応付け実験を行った．実験には 20 レシピ分の特定の料理番組の映像（約 150 分）とそれに対応するテキスト教材を用いた．
まず，画像処理部分のカット検出及び人物ショット

6. 1. 2 カット検出

検出は理想的に行われたと仮定し，対応付け手法単独

DCT クラスタリングを基にしたカット検出手法をでの性能を評価した．その結果を表 7 に示す．

適用した結果を表 4 に示す．正答数を NC ，誤検出の表 7 における「映 → 手」は，映像ブロックを基準

数を NM ，検出もれの数を NO とすると，再現率はとして対応付けを評価したもので，映像ブロックに正NC /(NC + NO )，適合率は NC /(NC + NM ) である．
表 4 より，料理映像のカット検出が高精度で行える

しい手順が対応付けられたものを正解としている．まことがわかる．検出もれの大部分は，前後のショットしたものであリ，手順に対して映像ブロックが不足なた，「映 ← 手」は，手順を基準として対応付けを評価がオーバーラップしながら切り替わるカット（ディゾく対応付けられたものを正解としている．最後に，「映ルブ）であった．

↔ 手」は映像ブロック，手順が双方過不足なく対応付

このようなカットは，様々な手法を用いても検出がけられたものを正解としている．

困難であることが知られている．しかし本研究で対象

映像ブロックは，n 個の手順に属するものもあるのとする料理映像においては，このようなカットの前後で，その時は 1 つの手順に対して正解を 1/n として計のショットは大部分が同じ対象を映しており，このカッ算した．また，表 7 における「その他」の映像ブロッ

ト点でシーンが変化することはほぼないため，このよ

クは，料理全体の説明をしている映像ブロックなど，うなカットの検出もれは致命的ではないと考えられる．

テキスト教材中の手順のどこにも対応しないものであ

6. 1. 3 人物ショットの検出

る．本実験では，映像ブロック全てがどの手順にも対人物ショットの検出結果を表 5 に示す．なお，カッ応しない場合以外は，そのような映像ブロックも必ず

ト検出は正しく行われたものと仮定し，600 ショット

いずれかの手順に対応付けてしまうため，誤りとしてのそれぞれ最初のフレームに対し，顔領域を抽出する扱った．なお，成功率は，（正解数）/（全体数）とした．

ことにより人物ショットを検出した．また，顔領域の抽出結果を表 6 に示す．

このとき，各映像ブロックから抽出された平均キー
ワード数は，素材名 2.3 個，動詞 5.1 個であり，その誤検出の主な原因は，肌色領域によって顔領域を抽うち対応付けに利用されたものの数は素材名 2.2 個，出しているために，壁や鶏肉などの色が似ている部

動詞 2.0 個であった．一方，各手順から抽出された平分を検出してしまったことである．また検出もれの主

均キーワード数は，素材名 3.8 個，動詞 5.6 個であり，な原因は，顔の向きにより肌色領域が小さくなってし

そのうち対応付けに利用されたものの数は素材名 3.3

まったこと，顔に似た色の壁と一体となった領域とし個，動詞 3.5 個であった．

て検出されてしまったことであった．

本提案手法はテキストの順序にかかわらずに対応付

顔領域の検出もれの多くは，表 6 からもわかるようけることができるため，映像の流れとテキスト教材中に，人物ショット（a1） に見られるが，このショットにの手順の順序が複雑に入れ替わっているものや，1 つ
7電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx
表 8 対応付け結果（システムの総合評価）
Table 8 Result of association (Evaluation of the whole system).
評価対象
映→手
映←手
映↔手

全体数
222
94
94

正解
179.2
62
49

誤り
31.8
32
55

その他
11
–
–

成功率
81%
66%
41%

ものが挙げられるが，全体的にみると，結果的にはキーワード不足が原因となり，誤りが生じている．したがって，素材名・動詞の他に調理器具名なども辞書を作成してキーワードとするなど，キーワードを増やすことが成功率向上のために必要であると考えられる．

• 同じ文に属する素材名と動詞を関連するものとみなしたことにより，本来は関係のない素材名と動の手順に対応する映像が 2ヶ所以上に分かれて出現す

詞を誤って関連付けてしまった．

るものなども，多くの場合，正しく対応付けられた．

• 指示語や「野菜」「材料」等の抽象的な語の指す

次に，画像解析部分のカット検出及び人物ショット

具体的な内容を解析していないため，素材名が拾検出についても 3. 1で述べた手法により検出し，シス

えなかった．

テムの総合的な性能を評価した．その結果を表 8 に

これらの改善策として，以下のようなものが考えら

示す．

れる．

カット検出及び人物ショット検出における誤りを含
むため，表 7 と比べて「映 → 手」における全体数（映像ブロックの数）が異なり，主に映像ブロックの誤検出に伴って，成功率も低下している．

• テキストの構文解析を行い，動詞と名詞の係り受け関係をみたうえで、関連付ける．

• 指示語や抽象的な語の具体的な指示内容を明らかにする．

なお，これら全体を通した実験においても，処理時最後に，提案手法の性能について評価する．提案手間については，カット検出処理において映像の長さの法はそもそも映像への意味的な索引付けを目指した，数倍程度かかるのみであり，その他についても，特に映像ブロックを基準とした対応付け手法である．表 8

計算量が問題となる処理はなかった．

「映 → 手」の結果より，8 割以上の成功率で対応付け

6. 3 考察

まず，対応付け手法単独の結果（表 7）と総合的なができており，そのような索引付けに成功していることが分かる．

結果（表 8）とを比較すると，後者は前者よりも成功

このような索引付けが実現すると，映像を閲覧する

率が下がっているが，これは，カット検出とショット分

際に，対応するテキスト手順を表示させたり，例えば，類の誤りを含んでいるからである．このうち，カット同じ手順に対応する映像ブロックの中から取捨選択し，は表 4 の実験結果からも分かるように高精度で検出で要約映像を作成するなどの応用が考えられ，そのようきているため，成功率低下の主な原因は，人物ショッな応用のためには取捨選択の過程でより良いブロック

ト検出であった．

を残すなどの工夫ができるため，本手法の性能は実用

しかし，映像ブロックを基準とした対応付け（「映的であると考える．

→ 手」）はわずか 3%の低下にとどまっており，対応付

一方，手順を基準とした対応付け結果は，カット検け手法によって人物ショット検出の誤りをある程度補出およびショット分類処理を理想化した場合では 8 割

うことができている．つまり，3. 1. 2で提案した人物程度であるが，総合的な評価では 7 割程度にとどまっ

ショット検出手法は，映像ブロックを基準とした対応ている．

付けのためにはほぼ十分なの性能でもあったと言える．

手順を基準とした対応付け手法の応用としては，調一方，手順を基準とした対応付け（「映 ← 手」）では理支援システムとして，調理の進行状況に応じて手順13%低下，さらに双方とも過不足ない対応付け（「映↔ 手」）は 21%も低下しており，人物ショット検出手に対応した映像を提示することや，手順に対応する映法のさらなる改善が必要である．

せることによって映像の存在しない調理手順に対応す像を大量にデータベースに蓄積し，それらを組み合わ

次に，対応付け手法単独の失敗の原因を分析すると，る映像を生成することなどが考えられる．調理支援シ

手順への対応付けを誤った映像ブロックのうち，3 割

ステムなどに利用する場合には，手順に対応する映像

程度はそのブロック中に有力なキーワードがなく，前ブロックが不足なく対応付けられていれば十分である

後の誤った映像ブロックを参照してしまったために生と考えられ，8 割程度という値は実用的な精度であるじたものであった．他の原因としては，以下のようなと考えられる．

8論文／料理映像の構造解析による調理手順との対応付け

また，手順に対応する映像生成などの応用においてれらが実現すると，より細かい単位での映像への意

は，さらに，映像ブロック，手順が双方過不足なく対味的索引付けの実現はもちろん，さらには，対応付け応付けられている必要があるが，これはカット検出お結果を利用した映像要約や，また，テキストと映像をよびショット分類処理を理想化した場合でも 6 割程度，リンクさせた形の利用しやすい新たなマルチメディア

総合的な評価では 4 割程度となっているため, このよ

データの生成など，様々な応用が考えられる．今後のうな応用のためには，提案手法を改善する必要がある．

家庭内への計算機の進出に伴い，要約映像はレシピ選

このような手順を基準とした対応付け，つまりテキびの際の簡潔なレシピ閲覧に，構造化された映像は実ストへの映像の付与という観点においては，提案手法

際の調理時に的確に指示するのに有効な教材として用はその第一段階と位置付けられ，最終的には手順をよいられるなど，これらの研究は将来の知的調理支援にり細かく構造化し，個々の調理動作へ映像を対応付け

つながるものになりうると期待される．

ることで，よりきめ細かな単位での処理が可能となる．

謝辞

本論文に掲載した画面画像は，本会パターン

このような対応付けのためには，テキスト教材中の手認識・メディア理解研究会 VDBWG により公開され順の構造解析 [1]，及びさらに深いレベルでの映像の構ている評価用映像メディアデータベース中の「ランク造解析が必要である．

アップ Cooking」中から抜き出した．

7.

む す

び

文
[1]

ACM Multimedia 2000 Workshops, pp.237–241, Nov.

教材中の手順の対応付け手法を提案した．まず，対応

2000.
[2]

渡辺靖彦, 岡田至弘, 角田達彦, 長尾[3]スと新聞記事の対応づけ,” 人工知能学誌, vol.12, no.6,
pp.921–927, Nov. 1997.
柳沼良知, 坂内正夫, “DP マッチングを用いたドラマ映対応付ける手法を提案・実装した．そして評価実験により，提案手法を用いて，映像ブロックを基準とした手順への対応付け，すなわち映像への意味的な索引付
けが高精度で行えることを示した．また，対象を限定することで，比較的簡単な要素技術をうまく組み合わ[4]せることにより実用的な精度が得られることを示した．

puter Vision, pp.61–70, Jan. 1998.

岩成英一, 有木康雄, “DCT 成分を用いたシーンのクラスタ[6]

リングとカット検出,” 信学技報, PRU93-119, pp.23–30,
Jan. 1994.
松橋 聡, 藤本研司, 中村 納, 南敏, “顔領域抽出に

本論文では対象を料理映像に限定しているが，提案
手法は，（1）キーワードを集めた辞書を作成すること
で，例えば，組み立て作業などの手順を紹介するマ[7]

ニュアル映像や外部テキストの存在する教育番組などにも応用できるものである．また，これらの映像の構造が料理映像と異なる際にも，（2）人物ショット検出に替わる映像構造解析手法を導入することによって適用が可能である．

像・音声・シナリオ文書の対応付け手法の一提案,” 信学論(D-II), vol.J79-D-II, no.5, pp.747–755, May 1996.
M. Smith and T. Kanade, “Video skimming and characterization through the combination of image and[5]ているものや 1 つの手順に対応する映像が 2ヶ所以上に分かれて出現するものなどにも適用可能である．

真, “TV ニュー

language understanding,” Proc. Intl. Conf. on Com-

提案手法は，テキストの順序にこだわらないため，
映像の流れとテキスト手順の順序が複雑に入れ替わっ

R. Hamada, I. Ide, S. Sakai, and H. Tanaka, “Associating cooking video with related textbook,” Proc.

本論文では，料理映像と，それに付随するテキスト付けのための映像の構造解析を検討し，映像と手順を

献[8]

有効な修正 HSV 表色系の提案,” テレビ誌, vol.49, no.6,
pp.787–797, June 1995.
井手一郎, 山本晃司, 浜田玲子, 田中英彦, “ショット分類に基づく映像への自動的索引付け手法,” 信学論 (D-II),
vol.J82-D-II, no.10, pp.1543–1551, Oct. 1999.
京都大学大学院情報学研究科知能情報学専攻言語メディア
研究室, “日本語形態素解析システム JUMAN 第 3.6 版,”
Nov. 1998.

（平成年月日受付，月日再受付）

今後の課題としては，対応付けの精度をさらに向上
させるために，6. 3で述べた改善を行うこと，また，映像の構造解析の個々の手法の精度を向上させることなどが挙げられる．
さらには，映像への索引付けにとどまらず，テキス
トへの映像の付与などにも対応した，より精密な映像の構造解析，対応付け手法を検討する必要がある．こ9電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

三浦

宏一

田中

英彦

（正員）

平 13 東大・工・電子情報卒．平 15 同大

昭 40 東大・工・電子工学卒．昭 45 同大

大学院情報理工学系研究科電子情報学専攻
修士課程修了．修士（情報理工学）．映像解析，映像要約に関する研究に従事している．

学院工学系研究科博士課程了．工学博士．
同年同大学工学部講師．昭 46 助教授．昭62 同教授，平 13 より同大大学院情報理工学系研究科教授，研究科長．この間昭 53 〜
54 ニューヨーク市立大学客員教授．計算機アーキテクチャ，並列処理，自然言語処理，メディア処理，分

高野求平 15 東大・工・電子情報卒．現在同大
大学院情報理工学系研究科電子情報学専攻
修士課程在学中．映像解析に興味を持って
いる．

浜田

玲子

（正員）

平 10 東大・工・電子情報卒．平 12 同大
大学院工学系研究科電気工学専攻修士課程
了．平 15 同専攻博士課程修了．博士（工学）．現在同大大学院情報理工学系研究科
リサーチフェロー．自然言語処理，マルチ
メディア統合処理に興味を持っている．平
14 第 63 回情報処理学会全国大会奨励賞受賞．情報処理学会

会員．

井手

一郎

（正員）

平 6 東大・工・電子卒．平 8 同大大学院
工学系研究科情報工学専攻修士課程了．平
12 同研究科電気工学専攻博士課程了．博士（工学）．同年国立情報学研究所助手．平14 より総合研究大学院大学数物科学研究科助手併任．自然言語処理，統合メディア処理に興味を持っている．平 7 第 51 回情報処理学会全国大会奨励賞受賞．人工知能学会，情報処理学会，IEEE Computer
Society，ACM 各会員．

坂井

修一

（正員）

昭 56 東大・理・情報科学卒．昭 61 同大学
院工学系研究科情報工学専門課程了．工学
博士．同年工業技術院電子技術総合研究所入所．この間平 3〜4，米国マサチューセッ
ツ工科大学招聘研究員，平 5〜8 RWC 超並列アーキテクチャ研究室室長．平 8〜10
筑波大学電子・情報工学系助教授．平 10 東京大学大学院工学系研究科助教授，平 13 より同大大学院情報理工学系研究科教授．計算機システム一般，特にアーキテクチャ，並列処理，ス
ケジューリング問題，マルチメディアなどの研究に従事．平 2
情報処理学会論文賞，平 3 日本 IBM 科学賞，平 7 市村学術賞，
平 7 ICCD Outstanding Paper Award など受賞．情報処理学会，人工知能学会，IEEE，ACM 各会員．

10

散処理，CAD 等の研究に興味を持っている．著書「非ノイマンコンピュータ」，「情報通信システム」，共著書「計算機アー
キテクチャ」，「VLSI コンピュータ I,II」，「ソフトウェア指向
アーキテクチャ」．情報処理学会，人工知能学会，日本ソフト
ウェア科学会，IEEE， ACM 各会員．