4U-07

料理番組における映像とテキスト 情報の対応づけ
浜田 玲子, 井手 一郎, 坂井 修一, 田中 英彦
freiko,ide,sakai,tanakag@mtl.t.u-tokyo.ac.jp

東京大学大学院 工学系研究科 3

1 はじめに近年、テレビやビデオ、WWW などを通してますま
す大量のマルチメデ ィアデータが発信されるようにな

おいてシナリオと映像の対応するイベントがほぼ一対一に生起しているため、これらの間隔を非線形に伸縮することで最も最適な対応を求める DP マッチングにより対応づけを行なっている。しかし、料理番組においてはテり、これらの膨大なデータを収集・整理し、効率の良いキスト教材中の手順と異なる順序で番組が進行すること利用法を模索するための研究が盛んに進められている。 が多く、映像とテキスト教材の時系列の順序が対応しな
最近では特にニュース番組などテレビ映像の索引づけやいことがあるため、このような厳密な手法は用いること分類、スキミングといった技術に関する研究が多く行なができない。そのため、料理番組の対応づけにおいてはわれているが、本研究ではこれらとは異なり、番組の内映像、音声の内容を解析したり番組の構成を参照するな

容に付随したテキスト教材の存在する料理番組に着目ど、様々なヒントを総合的に利用する必要がある。

し、その統合的な再構成を目指す。

また、ニュース番組における索引づけなどの研究 [2]

料理番組では多くの場合、番組内で料理方法を実演においては、画像、音声など各メディアから独立にヒンするとともに、内容をまとめたものを別途テキスト教材 トを抽出し、それらを時間軸に沿って対応づけるなどのや WWW ページなどで公開している。一般に、料理番 単純な統合技術を用いている。しかし料理番組において組などでは教材に記されない多くの情報が映像中に存は扱う対象が限定される上、手順は基本的に不可逆であ在するが、放送映像を見ながら調理などをするのは困難

り、さらにテキスト教材が利用できるため、各メディアであり、実際にはテキスト教材を見ながら行なうことに間でのフィードバックを利用した、既存手法にはないよなる。そのため、テキスト教材には記述されない映像中り高度な統合手法を実現できる可能性がある。のノウハウを効果的に活用することが難しい。そこで、本研究では将来の台所への計算機の進出を見越し、テキスト教材中の情報に映像からの情報を対応付けることによって、教材に不足している情報を補ったマルチメディ

3

映像とテキスト の対応づけ

3.1

対応づけ手法ア統合データの再構成、さらには扱う対象が限定されていることや手順の不可逆性など固有の特徴を活かした新テキスト教材においては、調理方法はいくつかの手順しいマルチメデ ィア統合技術の提案を目指す。に分かれており、それぞれに手順番号がふられている。

2 関連研究との比較

トベースの教材の各手順と、それらの手順に対応するビはじめに、多くの研究がなされているニュースやド ラ

そこで本研究では、最終的には図 1に示すようなテキスデオ映像の対応づけによるマルチメディアデータの再構成を目指している。

マと料理番組の違いを述べる。著者らが今回最も着目しそのために、まず料理番組のビデオ映像における手順ているのは、容易に入手可能なテキスト教材が存在する番号を抽出する。料理番組は様々な映像から構成されて点である。一般に、画像認識により映像の意味的な内容いるニュース番組と異なり、一般的にはほとんどスタジを推測することは非常に困難であるが、このようなテキオ内の映像で構成され、また進行は聞き手と料理人とのスト情報は画像や音声に比べ扱いやすく、またテキスト会話形式で進められることが多い。の内容を認識処理に反映させることで、より的を絞った次に映像は図 2に示すように画像、音声、字幕からな処理が可能になる。これまで、同様なテキストの存在する。手順や材料は声に出して説明されるため、音声はる映像を扱った研究としては、ド ラマ映像とシナリオの手順番号を推測するうえで大きなヒントとなる。また対応づけを行なう研究がある [1] 。ここでは、ド ラマに画像は、大きく (1) 手元のショット、(2) 人物ショット、

3 \Associating Video and Text-book in TV Cooking Programs"(3)CG・フリップショットに分けられる。人物ショット
はスタジオのほぼ全体が映されるが、手元のショットでReiko Hamada, Ichiro Ide, Shuichi Sakai, Hidehiko Tanaka
Graduate School of Engineering, the University of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japanは材料を調理する手元や道具が大映しにされるため、音2. それぞれのキーワードがテキスト教材中のどの手順に出現しているかを単語毎に調べ、延べ数で最も多く出現していた手順をそのショットの手順とする。
3. 分類不能だったショットのうち前後のショットが同じ手順に分類されたものは前後と同じ手順に分類する。また CG・フリップショットは手順解析に含めない。

10 分間の料理番組 3 回分 (ショット数 54) に対する実験を行なった。結果は表 1 に示す通り、平均約 6 割の分類に成功し、簡単なアルゴリズムでも音声のヒントか
図 1: テキスト教材と映像の調理手順の対応づけ

らある程度映像を分類することが可能であることが示さ

声、テキストの内容から絞りこんでから対象を画像的に後、分類アルゴリズムの改善や画像からのヒントを考慮解析することができる。また番組によっては、字幕を利して、分類成功率の向上を目指す。

ット数である。今れた。なお、成功率 = 分類に成功したショ全ショット数用することもできる。
表 1: 予備実験の結果:手順分類の成功率

一方、テキスト教材は、図 2に示すように材料の一覧と手順からなる。音声中の単語や字幕の単語をテキスト教材の手順中に現れる単語と比較することで、手順番号を推測することができる。ところが手順中に出現する材料名が材料の一覧の表記としばしば異なることがあり(鶏もも肉→鶏肉など) 、このような場合のために手順と材料名をあらかじめ対応付けておく必要がある。

4番組

1

2

3

平均

成功率50%

58%

68%

59%

まとめ
本稿ではテキスト教材付きの料理番組に着目し、料理番組を扱う意義とその特徴を通して映像とテキスト教材の対応づけ手法を提案した。また、その準備として簡単な予備実験とその結果について報告した。
今後の課題としては、画像からのヒントも利用して映像とテキストの対応づけを行ない、最終的には新たなマルチメディア統合技術手法の提案と構築を目指す。また、様々な料理番組のデータを蓄積することで、材料や嗜好などから希望の料理を抽出したり、料理の計画表を作成可能な料理データベースを作成するなど、計算機の台所への進出を踏まえた応用例を検討していく。
図 2: 料理番組におけるテキスト情報と映像情報

3.2

予備実験

テキスト教材と番組の音声データから映像の各ショッ
トの料理手順番号を推測する簡単な予備実験を以下の通り行なった。なお、テキスト教材は料理番組の WWWページから抜粋し、音声データは人が書き下した。

1. 各ショットの音声データに含まれる単語 (名詞・動詞・カタカナ語) を抽出し、このうちテキスト教材中にも出現している単語をキーワード とする。

参考文献
[1] 柳沼 良知, 坂内 正夫, \DP マッチングを用いたドラマ映像・音声・シナリオ文書の対応づけ手法の一提案" , 信学論, Vol.J79-D-II, No.5, pp.747-755,
May 1996.
[2] A. Haupmann, M. Witbrock, \Informedia: Newson-Demand Multimedia Information Acquisitionand Retrieval" Intelligent Multimedia Information Retrieval, Mark T. Maybury, Ed., AAAIPress, pp.213-239, 1997.