知っておきたいキーワード
Keywords you should know.

第43回

ビデオアノテーション（正会員）新 田 直 子†
†大阪大学 大学院工学研究科"Video Annotation" by Naoko Nitta (Graduate School of Engineering, Osaka University, Osaka)
キーワード：意味に基づいた検索，メタ情報，アノテーション，シーン，MPEG-7

ビデオアノテーションとはいた画像・映像検索を実現するために（WHERE），だれが（WHO），どのようは，各画像や映像に対し，その内容をに（HOW），なぜ（WHY），何をした

現在，ウェブ上の大量のテキスト，表すメタ情報をテキスト形式で付与し（WHAT）といった5W1Hに関する情報

画像，映像などに対し，Googleやておくことが重要となります．このよが想定されます．図1にビデオアノテ

Yahooなどの検索エンジンを用いたうなメタ情報，もしくはメタ情報の付ーションのイメージ図を示します．

キーワードによる検索が身近なものと与を一般にアノテーションと呼びま

現在では，YouTubeなどの動画共なっています．ここでの検索は主に，す．本稿では特に，映像を対象とした有ウェブサイトにおいて，ユーザが人ウェブページ内のテキスト情報と検索ビデオアノテーションについて紹介し手でアノテーションを行える仕組みもエンジンに入力されたキーワードの照ます．

取り入れられていますが，人間の手間合により実現されています．ウェブペ

多くの映像ではその内容が時間的にを減らすため，画像処理などにより自ージ内の画像や映像などに対しては，変化することを考えると，ビデオアノ

動的にアノテーションを付与するためページ内において画像や映像の内容がテーションでは，映像全体のみでなく，の研究も多く進められています．以下説明されていることが多いため，この映像内のある時区間（映像セグメント）

では，映像としてテレビで放送されるようなキーワードによる検索が可能とに対して意味内容の記述が必要となり放送型映像（以下，単に映像と呼ぶ）なります．

ます．記述される意味内容の基本としを対象に，自動アノテーションを実現て は ， い つ（ W H E N ）， ど こ でする方法について説明します．

しかし，テレビで放送される映像や，ディジタルカメラで撮影した画像，映像などには，内容を説明したテキスト

ビデオアノテーション

情報が存在しないため，色や形などの映像セグメント

画像特徴の類似性に基づいた検索が一キーワード

般的となります．この場合，画像や映像はテキストに比べて情報量が非常に多いため，処理に時間がかかるとともに，映っている人物が誰かなど，意味ユーザ

検索システム的な情報は見た目から判断しにくい，

映像セグメント

映像データベース

Favre,Touchdown,
2nd Quarter, 12:05

意味内容記述（5W1H）という問題が生じます．したがって，現在の検索エンジンのように，キーワ

図1 ビデオアノテーションのイメージ図ードなどを用いて簡単に，意味に基づ

映像情報メディア学会誌 Vol. 63, No. 8, pp. 1113〜1115（2009）（63） 1113

知っておきたいキーワード

映像セグメンテーション
まず，映像中のどの時区間にアノテーションを付与するかを考えます．映ように階層化することができ，意味内

球では投球ショット，テニスではサー

容に関するアノテーションは多くの場

ブショットなど，視覚的に非常に類似合，意味的なまとまりを持つシーンにしたショットから始まる，といった特対して付与されます．

徴を持ちます．そこで，図3のように，像は図2のように，最下層の一枚一枚シーン列は，特定ジャンルや番組の特定ジャンルや番組に対して定まる見の画像であるフレーム，同じカメラで映像において，ある定まった構造を持かけの特徴を予め設定し，映像をシー撮影された連続したフレーム列である

つ場合があります．例として，スポーンに分割する手法が多く提案されていショット，意味的なまとまりを持つ連

ツ映像は複数のプレイシーンにより構ます．

続したショット列であるシーンという成され，各プレイシーンは一般に，野映像

映像

シーン

投球ショット

映像セグメンテーション

ショット

フレーム

シーン

図2 映像の階層化

ルールに基づくアノテーション

図3 映像をシーンに分割する手法

その発生時刻などとともに記述されたや選手名をアノテーションとして付与

試合結果情報がウェブ上に存在しますることも可能です．

映像には画像の他に，音声，音楽，す．この発生時刻と，画面上で試合のこのようにさまざまな情報の利用

効果音，雑音などのさまざまな音響，進行状況を伝えるテロップから，文字は，画像処理に必要な計算量を減らし画像に存在する字幕やテロップ，音響認識により抽出した時刻情報の対応付た上で，効率的に信頼性の高い意味内情報の写しであるクローズドキャプシ

けなどにより，該当シーンにプレイ名容の自動獲得を実現します．

ョンなどのテキスト情報が存在します．
例えば，野球のホームランのシーン
では，打者が打ったボールが観客席に試合結果情報（ウェブテキスト情報）入る様子が画像に映される他，観客の歓声が上がり，実況中継のアナウンサが「ホームラン」という単語や打者名な入力シーン

ど，そのシーンに関するキーワードを画像

テロップ（テキスト情報）発話する，というように，シーンの内容によって決まったパターンが見られ実況中継（テキスト情報）ます．したがって，重要なシーンがどのような特徴を持つかを予めルールと歓声音響して設定しておくことにより，自動的なアノテーションが可能となります．
また他に，シナリオや電子番組表，ウェブテキストといった映像と独立して作成されるテキスト情報も重要な情報源となります．例えば，スポーツのアノテーション
ホームラン，イチロー

図4 ルールに基づくアノテーション例

試合に対しては，プレイ名や選手名が1114 （64）

映像情報メディア学会誌 Vol. 63, No. 8（2009）

ビデオアノテーション

学習に基づくアノテーション

そこで図5のように，例えばいろいも盛んに研究されています．このようろな試合の映像からたくさん集めたホなアプローチは，どのような学習用デルールに基づいたアノテーションでームランシーンといった学習用データータを用意するか，また学習方法やどは，各シーンが持つ特徴をルールとしから，色やエッジなどの画像の情報，のような情報を取出すかによって性能て予め人手で設定する必要がありま

音量などの音響の情報，キーワードのが大きく左右されるという問題もある

す．しかし，各シーンに対し，さまざ有無などのテキストの情報などを取出ものの，ルールを設定する人間の負担

まな例に共通する特徴を発見するのはし，共通のパターンを統計的に自動でを減らし，かつ汎用性の高いルールを簡単ではありません．

学習するといったアプローチについて獲得できるという利点があります．

入力シーン

学習用データ

シーン1
ホームランシーン（画像・音響・テキスト情報）

ホームランらしさ： 0.1

シーン2
パターン学習ホームランホームランらしさ： 0.8

シーン3

ホームランらしさ： 0.4

図5 学習に基づくアノテーション例

む

すび

される色，形，音量といった低レベル対象とした意味内容に基づいた検索やな情報から，5W1Hのような高レベル編集などのアプリケーションのさらなビデオアノテーションの記述方式とな意味内容情報まで幅広い情報の記述る進展が期待されます．

して，MPEG-7（Multimedia Contentが可能となっています．今回紹介したDescription Interface）が国際標準化

ビデオアノテーションをMPEG-7などされており，主に画像や音響から取出で記述することにより，今後，映像をに っ た（2009年5月25日受付）

な お こ

新田 直子 1998年，大阪大学基礎工学部情報工学科卒業．2003年，同大学大学院博士課程修了．
2002年〜2004年，日本学術振興会特別研究員．
2003年〜2004年，コロンビア大学客員研究員．現在，大阪大学大学院工学研究科講師．メディア理解に関する研究に従事．博士（工学）．正会員．

キーワード募集中
この企画で解説して欲しいキーワードを会員の皆様から募集します．ホームページ（http://www.ite.or.jp）の会員の声より入力可能です．また電子メール（ite@ite.or.jp），FAX（03-3432-4675）等でも受け付けますので，是非，編集部までお寄せください．

（編集委員会）（65）1115