FIT（情報科学技術フォーラム）2003
同一映像断片探索に基づく映像ブラウジングの提案
Implementation of a News Video Browser
Based on Identical Video Segment Detection

I-047

山岸 史典 † , 佐藤 真一 †Fuminori Yamagishi† and Shin’ichi Satoh†1

はじめに近年のストレージシステムの蓄積可能容量の増加はめざまし
いものであり，3 年で約 10 倍の伸びを示している．この伸びがこのまま続くと仮定すると，5 年後には 10TB の容量を有するホームサーバが現実のものとなり，放送映像を残さずすべて蓄積した後，探索・ブラウズして視聴する形態が可能になると考えられる．このような環境では，大量の映像の中から重要な映像を検出したり，映像間の関連性を自動的に見いだすことが強く求められると考えられる．そのための一つの技術として，われわれは映像断片探索が重要な役割を果たすと考えている．映像断片探索とは映像アーカイブの中から同一の映像断片を探し出すものであり，注目度の高い映像や CM 等の検出に利用できるものである [1, 2, 3]．本稿では，映像断片探索の結果を効率的に閲覧し解析を容易に行うために新たに実装した映像断片ブラウザと，これを用いてニュース映像アーカイブ上での映像断片探索の結果を閲覧した際に得られた興味深い結果について紹介する．

2

ニュース映像ブラウザ

対象とした映像アーカイブは NHK のニュース 7 の映像である．NHK ニュース 7 の放送時間は，放送される曜日，重大ニュースの有無等によって 20 分から 1 時間程度までとまちまちであるが，平均すると 1 日あたり 30 分程度である．2001 年
9 月から 2003 年 2 月までの約 300 日分の映像を対象として映像断片探索を行いそれに対して映像断片探索を行い，結果をブラウザで閲覧した．
今回実装したニュース映像ブラウザについて説明する．図 1にニュース映像ブラウザのインターフェイスを示す．本ブラウ ห৻ᤋ௝ᢿ㧝 ត⚝ࠠ࡯ߣߥࠆᤋ௝ߩ▸࿐ߩㆬᛯ ⚿ᨐ⴫␜ߩ▸࿐ߩㆬᛯ㗫ᐲಽᏓߩ⴫␜ᤋ௝ ㆬᛯ▸࿐ਛߩห৻ᤋ௝ᢿ ࠍ⴫␜ሼ᐀

図 1: 同一映像断片ブラウザ
ザは java アプレットであり, データベース中に格納された映像断片探索の結果について、探索の時間的範囲を制限して閲覧できる。ブラウザは，探索の範囲を指定するためのテキストボッ
クスとスライドバーを備え，同一映像断片が全体 (2001 年 9 月から 2003 年 2 月) にどのように分布しているかを示す同一映† 国立情報学研究所
National Institute of Informatics

像断片 (ショット) 数の頻度分布の表示機能を持つ．さらにそれらの中からどの部分について表示するかを指定するためのテキストボックスとスライドバー，表示を頻度の順に行うか時系列順に行うかを指定するプルダウンメニューを備え，実際に同一映像断片を表示するための領域を持つ．同一映像断片の表示はキーとなった映像の放映された日時と，発見された同一映像断片の数を伴い，マウスをポイントすることで映像断片の周辺の字幕情報をポップアップで得ることも可能である．必要に応じて、同一映像断片が発見された時刻周辺の字幕や動画を参照することも可能である。
本ブラウザを用いて閲覧してまわる際に、具体的に行う操作は大体以下のようなものになる。
まずインターフェイス上部にある 2 つのテキストボックスに日付と時刻を直接入力するか、その下のスライドコントロールをマウスで操作する (図 1 (1)) ことにより、探索のキーとなる映像の範囲を本実験で用いた映像全体とし、“Get Histogram”
ボタンを押すことで、中央に同一映像断片探索の頻度分布が現れる (図 1 (2))。頻度分布は横軸が時間で 1 本のバーは 1 週間の幅があり、縦軸は同一映像断片探索で見つかったショット数であり最大値に応じて軸がスケールする。まずはこの表示をみて同一映像断片がデータベース全体にどのように分布しているかをつかみ、次に閲覧したい部分を決める。
次に再び上部の探索のキーとなる映像範囲コントロールを操作し、閲覧したい部分を (通常は) 狭く設定し、“Get Histogram”
ボタンを押し頻度分布を表示させる。選択された範囲のみを起点とする同一映像断片に表示が限られ、選択された範囲の映像がアーカイブ全体のどこにどのように分布しているのかがつかめる。通常、選択された範囲に時間的に近いほうが同一映像断片は見つかりやすいので、分布は選択された範囲を頂上とした山形になるが、時としてその「通常の形」から外れて飛びぬけて高い頻度を持つ領域がある場合がある。
例えばそのような特に閲覧したい部分をインターフェイス下部の表示領域コントロール (図 1 (3)) で上部と同様の要領で選択し、“View” ボタンを押すことでその部分の同一映像断片が中央に表示される (図 1 (4))。表示の順番は、頻度の高低、時間の順逆などによって変えられるが、普通は頻度の高い順に閲覧することが多い。なぜならば繰り返し現れるものは希少かつ注目度が高い場合が多いからである。
見つかった同一映像断片から周辺の映像・字幕の再生を行ったり，周辺の字幕情報を取得する機能を用いることで，同一映像のリンクが張られている双方が一体どのようなニュース内容であるのかを即座に知ることができる。以上の手順によって生まれてきた疑問と好奇心の赴くままに、以上のうちの任意の時点に戻って設定を様々に変えながら何らかの知見を得るか飽きるまで続ける。

3

映像断片照合により得られる興味深い情報例

本ブラウザの結果により得られた、同一映像断片の興味深い出現パターンについていくつか例を挙げる。
まず時間を長く隔てて検出される例について図 2 に示す。長期間離れて検出される同一映像断片は 2 種類に大別できる．
1 つ目は大変希な映像であり映像同士が同一の話題を扱っているもので，(b) と (c) はタリバン関連の映像である．さらに103

FIT（情報科学技術フォーラム）2003

CC

D

D

E

F

G

E

H

I
J
K
図 2: 長期間はなれて検出される同一映像断片の探索例

FG

H

I

J

K

図 3: 時間的に近接して検出される同一映像断片の探索例(d) は金正日，(e) はウサマ・ビンラディン, (f) は北朝鮮の核関連施設の映像である．このほかには，大相撲で有名な取り組みとされる 2001 年夏場所の貴乃花対武蔵丸の優勝決定戦が 2003
年の貴乃花の引退関連のニュースで再び使われて検出されたり，
2001 年 9 月 1 日に新宿歌舞伎町で起きた大規模な雑居ビル火災の映像がちょうど 1 年後の 2002 年 9 月 1 日に事件を振り返るニュースの中で使われて検出されるなど興味深い検出例も確認された．
2 つ目は同一の話題を扱っているわけではないが，当該映像がシンボルとして用いられ映像同士の弱い関連性を示しているものであり，(a) は会計検査院の看板である．(g),(h) は警視庁の看板と庁舎であり， (i) は米国のヤンキースタジアムである．
いずれも一度撮影されたものが，警視庁関連や大リーグ関連のニュースに繰り返し現れているもので，シンボル的な意味以上のものを持たない場合である．
次に時間的に近接して検出される例について図 3 に示す。時間が重複せず、時間が近接して (最長 1-2 週間程度の隔絶) 検出されるものの多くはその時期にとりたてて注目度の高かったものである。図 3 は (a),(b),(c) いずれも瀋陽の亡命者連行事件である。2-3 週間連続してその時期のニュースに登場しているものを検出できる。また (d),(e) は FIFA ワールドカップの映像，(f) はイラクのフセイン大統領,(g) はイラクの大統領宮殿である．(h) はウサマ・ビンラディンであるが前出の犯行直後の映像に比べ注目度の低いものである．(i) はアフガニスタンのカルザイ大統領である．
なお，以上にあげたものとは別にニュース 7 のオープニン
グタイトル，天気予報，相撲の取組表等のような定型的な映像も取得できるが，このような映像は使い方によっては構造化に利用できるものの，興味深いパターンを探るには妨げになる存在なので，今回はこれらが出現する時間を除外する処理を追加して，あらかじめ現れないようにした．

する映像の時間範囲のみを決定して検討しただけであるが、さらにパラメータを増やすことで新たな意味を持つパターンを発見できる可能性がある。要するに映像断片照合は映像アーカイブ上でのデータマイニングのための一つの変換手法として利用可能であると我々は考える。今後は、今回見つかったパターンがほかのニュース番組の映像でも普遍性を持つか、さらにニュース映像以外を対象にした場合やジャンルによらない 24 時間の映像全体を対象とした場合に、同一映像断片探索がどのような意味を持ってくるかについて、データマイニングの手法を取り入れつつ検討を進めて行きたい。

4まとめ

大規模映像蓄積時代の映像利用のための技術として映像断片照合をの結果を閲覧、検討するための映像ブラウザを実装し、そのブラウザを用いる中で発見された、放送映像アーカイブを構造化に利用可能と解される同一映像断片の出現パターンについて、例示しながら紹介した。さらに、同一映像断片照合が映像アーカイブの構造化のみならず、映像データマイニングに応用可能であることを示唆した。

参考文献[1] 山岸 史典, 佐藤 真一, 浜田 喬 “大規模映像アーカイブのための映像断片照合の高速化”, 第 1 回 情報科学技術フォー
ラム講演論文集, LI-17, 2002.
[2] 山岸 史典, 佐藤 真一, 浜田 喬, 坂内 正夫,“大規模放送映像アーカイブにおける映像断片照合の提案と高速化”, 電子情報通信学会技術研究報告, PRMU2002-166, vol.102, No.532,
pp.121-126, 2002.
[3] 山岸 史典, 佐藤 真一, 浜田 喬, 坂内 正夫,“正規化輝度ヒストグラムによる映像断片照合の効率化”, 2003 年電子情報通信学会総合大会, D-12-68, 2003.

以上のようにニュース映像に対して映像断片照合を行った結果、ある決まった意味的傾向をもつ決まった検出パターンが挙げられることがわかる。今回はキーとなる映像の時間範囲と表示

104