「インタラクション，97」平成9年2月

映像構造を利用した代表フレーム表示方法
青木 恒 堀 修（株）東芝研究開発センター 情報・通信システム研究所〒210 川崎市幸区小向東芝町1†aok土．hor土〉紬el．rde．tosh土ba．co．jp

内容をユーザが把撞するためのひとつの簡便なインタフェースとして代表フレームー覧表示がある．このような手法では映像を場面の変わり目ごとに分割し，分割単位ごとに代表フレームを生成する方法がとられるが，長時間の映像では代表フレームが大量になるという問題点がある．本論文では映像が持っている構造に即して代表フレーム数を削減する方法を示し，それを用いたユーザインタフェースについて議論する．

AMethodofDispIaylngRepresentativeKey−Frames ■UsingMovieStructures
HisashiAOKIandOsamuHORI
R＆DCenter，TOSHIBACorporationl，KomukaiToshiba・Cho，Saiwai・ku，KawasakiXanagawa210，Japan

Key・frameli8tingisoneofvideobrowsinginterfacesfbrquicklyunderstandingthecontentsof

movies・In8uChamethod，Videosequenceisdividedintoshotsbycut・detectiontechnique，andakey・framei8eXtraCtedfrom each shot．However，alarge numberofkey・frames maybe

PrOducedfromlongmovies．Inthispaper，theauthor8PrOpOSeamethodtoreducethenum

Ofkey−frame8，anda180Showvideobrowsinginterfacesemployingthismethod．

代表フレームを生成する方法であるが【1】，実際の映画

1 はじめにの場合，15分に300のカット点が存在するという報告【2】従来からのコンピュータ／インターネット上でのファイもあるように，こうして生成される代表フレームは数が膨ル利用に加え，最近では，DVDの発売やディジタル衛大になるという問題点がある．

星放送の開始，ディジタル・ビデオカメラの発売など，一本論文が提案する代表フレーム表示方法では，カット検出によって分割された，映像単位の繰り返し構造を般家庭へのディジタル映像導入は急速に進んでいる．
高画質・データサイズの高圧縮と浮ぶディジタル映

自動検出し，分割された映像単位を再統合【3】した代表像の最大の特長に，ランダムアクセスがある．しかし映像フレーム表示を行うことによって，少ない代表フレーム数（とくに映画など）の場合，音楽CDにおける「曲」のようなでの内容把握を可能にする．また，本手法を適用したユ

明確な切れ目がないために，ユーザのランダムアクセスーザインタフェースについても議論する．

が快適になるようなインデックス生成については未だ明

2 手法の原理と利用快な手法が確立されていない．

自動化可能な映像分割の手法にカット検出がある．

図1左は，実際の映像をカット検出によって分割し，これは，映像の変わり目を自動検出して，変わり目ごとに分割された小区間「ショット」ごとに1枚の代表フレームを−9−種類のユーザインターフェースを作成した．

表示したものである．同園右には，それに対応して同じカメラアングルから撮影された映像に同じアルファベットを付した．ここに見られるように，特に会話シーン（図中の後半）においては，同じカメラアングルのショットB，C，Dが繰り返し現れている．
抑亡￠0000

00問う51与C申￠221て￠

図2「アクト」の定義

3 カメラアングルリiターンの検出
3．1前処理処理には，ディジタル圧縮の標準形式である

図1代表フレーム一覧

MPEG2ビデオ・ストリームを用いた．各フレームは720×480ピクセルで構成されており，秒あたり30フレームが実際の映像の「ひとつのシーン」には，このように同じ含まれている．この形式はDVつなどで使用されている典カメラアングルから撮影されたショットが繰り返し登場する型的なデータフォーマットである．映像はMPEG2ファイ部分が含まれている．このように実際の映像の「ひとつのシーン」中で，繰り返しショットによって構成されている部

ルに含まれる動きベクトルを利用して高速カット検出され分を「アクト（act＝場）」と呼ぶことにする．

る【5】．

一方，類似ショット探索速度向上のため，映像データ

たとえば図2のようにカメラアングルパターンA，B，Cから解像度と時間を間引いた画像を作成し，それを用いが出現していた場合，それぞれのパターンの出現範囲のてショットのグルーピングを行う【6】．著者らが用いた論理和を持って「アクト」を検出することができる．（映画MPEG2ビデオデータは15フレーム（0．5秒）ごとにⅠピにもよるが）実際の映画では人物が登場している場面がクチャを含む圧縮が施されたものであるので，Ⅰピクチャ多く，人物が登場している場面では対話が発生しているだけを処理対象とした．また，各Ⅰピクチャは大きさ8×8ことが多い．対話シーンは，このように「アクト」を検出するピクセルのブロックを横に90個，縦に60個並べて離散コことができる典型的な例である．著者らがある映画50分サイン変換されてコード化されているので【7】，各ブロックぶんに関して調査したところ，そのうち43分間は人物がの直流成分だけを取り出すことによって，90×60のサイ登場しているショットであり，39分が対話シーンであったズに間引いた画像を作成する．以下では便宜上，こうし【4】．また，対話シーン以外でも，例えば2つの場所で同て生成された大きさ90×60ピクセルの画像のことを単に時に起きている出来事を描く場合や，家に向かう人と家「フレーム」という．の中で待つ人を描く場面など，同一カメラアングルのショットが繰り返し登場するということは多く見られる．

3．2ショット比較のためのフレーム選択

本手法により類似ショット（同一カメラアングルから輯上記によって映像がショットに分割された．次に，同影されたショット）および，ストーリー単位「アクト」を自動一のカメラアングルであったショットを探索するが，これは検出することができる．これを利用して，カット検出によっ各ショットから数枚のフレームを取り出し，それらの類似て生成された大量の代表フレームのうち，（1）同一カメラ度を比較することによって行う．本来ならばショット中全てアングルから生成されたものの表示を省略する．（2）「アクのフレームに対して類似比較を行うべきであるが，このよト」の先頭ショットのキーフレームのみを表示する，という2うにすると例えば5秒と10秒のショットを検査する際には，−10−（5×2）×（10×2）＝200通りの類似計算孝行わなくてはショット数がⅣのとき，全てのショットの組み合わせを比較ならず，ショット数が増えた場合には組み合わせの数はした場合，糾合嘩の数は書中−1）である・それに莫大になる．
実際の映像では，同じカメラアングルから撮影された

対して乃ショットに限って比較を行った場合，組み合わせショットの場合，ショットが推移していても，ほとんどのケースでは前ショットが終了した状態で次のショットが再開さの数は巨一…一沖である・900ショットに対して，ショれていることを利用し，ショットの終端からの蓼フレーム，ットの探索範囲を8ショットとした場合，7，164通りの比較およびショットの開始点からの数フレームに関してのみ，だけで済む．

類似計算を行う．

具体的な探索ショット数の決定も実験調査に基づいて行った．著者らが，あるショットに対して，同一カメラアングルのショットが何ショット後に再登場するかという調査を4種類の映画44分40秒に対して行ったところ，その■b￠d o

96％は8ショット以内に現れていた．これに基づき，今回

図8 継続するショットのフレームの実験ではショットの探索範囲は基準ショットから8ショットまでとした．

たとえば，比較するフレーム数を2にした場合，図3

3．4フレームの類似比較

では，b・d，b・○，￠・d，￠・●の4通りの組み合わせについてのみ類似計算を行う．この例の場合，実際にはショット

フレームの類似度は，色成分と輝度成分の両方を用の終端￠からb，aと離れていくに従い，dおよび●とのいて相補的に行う．

類似は失われてゆく．したがって，このように比較範囲を3，4．1色成分限定しても類似検査には大きな悪影響は及ぼさないと考えられる．実際に何フレームをショット端から採用するかについては実験的に決定し，今回の実験では，3フレームという数字を選んでいる．したがって，2ショットの類似を比較するために用いられるフレームの組み合わせは3寸ナ●●

×3＝9通りである．
●●

3．3ショット探索範囲

図4 色相ベクトルの定義

同一カメラアングルで撮影されたショットを探索する

MPEGによる画像圧縮では，各ピクセルは輝度y（0範囲も計算速度に大きな影響を及ぼす．例えば2時間，≦y≦1）および色差q，Cr（−0・5≦qC，≦＋0・5）によって900ショットの映画を処理するにあたって，全てのショットの組み合わせを計算したとすると，900C2＝40万通りのシ表現されている．このうち色差成分だけを極座標変換し，ョットの対に対して類似か否かを検討しなければならない（CぁC，）＝（匹OS∂，騨血句と表すと，0方向のヒストグラムを作が，実際には㌃時間の最初のショットと最後のショットが同成することができる．すなわち，

坐』 βく旦∬の〃じカメラアングルであることは少なく，また，仮にそうであ範囲にあるピクセル数を旦とする（図4）．

ったとしてもそれらを一つの「アクト」に統合してしまうことは意味がない．従って類似のショットを探索するためには，あるショットに対してその後数ショットに限って行えばよい．

ー11−

〃

図5 色相ヒストグラム

一方，図6に示したように，フレームの内容は明らか

このように計算される色相ヒストグラムから，フレーム全体の色成分の特徴量を表す色相ベクトルに異なるのに，全体としての色調が同じなために，前節∬＝（仇，筏，．．り職）rを定義することができる．2つの時刻の色相ヒストグラムの比較においては「類似」と判定される

わ，らのフレームにおける色相ベクトル∬（現♭∬（ら）の非類場合がある．この誤判定は，画面全体が暗いなど，コント似度は，2つのベクトルの2乗距離あ匪け叫ら）l2で計ラストが低い場合にも生じる．前節でのpの値が小さく，ヒ算する．なお，Pの小さなピクセル（グレイスケールに近いストグラムのカウントからのぞかれるためである．

このような誤判定を避けるために，色差成分を除いたピクセル）に関してはβ計算の誤差が大きいためにヒスト後の輝度成分を用いた類似判定を並行して行う．

グラム作成から除外する．
図5には，実際の映像から生成した色相ヒストグラムの例を示す．図の（8），（b），（￠），（d）は，それぞれ別のショットに属するフレームである．図からわかるように，同じカメラアングルから撮影されたフレーム匝），（b）および（句，（d）
は，オブジェクト（登場人物）の移動にも関わらずヒストグ
ラムの形状が類似であるが，カメラアングルが異なると形モザイク化

十 士■￣ 正規化り状に違いが見られる．また，図には示されていないが，同．

＼、L ■〆／

じカメラアングルの画像であっても，フエイドの画像効果が施されている場合，あるいは太陽が照ったり曇ったりしている場合のように，画像全体の輝度が変化しているとき差分画像にも，この色相ヒストグラムは安定な形状をとる．

3．4．2 輝度成分、l■；
図7 輝度成分を用い七（非）類似度計算
図7を参照しながら手順を説明する．まず前処理として画像のモザイク化および正規化を行う．モザイク化は画像内オブジェクトの微動の影響を押さえるためで，90×60ピクセルのフレームを15×10個のブロックに分割し，図6 異なる画面で似た色調各ブロック内では輝度値の平均を行う．全てのフレームにー12−関して全ブロックの輝度の平均値と分散が等しくなるようが生じうることを前節の最後に述べた．すなわち「同一カに正規化を行う．この正規化は，この章の初めに述べた

メラアングルであるにもかかわらず見落とす（false

ように，コントラストが画像によって異なる影響を抑えるた

negative5．以下，判定漏れという）」「異なるカメラアングめに行う．

ルを誤って同一と判定する（falsep？Sitive＄・以下，過検次に，モザイク化，正規化を行った画像同士を比較し，出という）」である．両者ともに低いことが手法としては最輝度差の絶対値を求める．その輝度差の値が実験的に善であることは言うまでもないが，同じ誤りでも後者はより定めたしきい値よりも大きかったブロックの数をカウントし，減らさなければならないものである．

それが全ブロック数に対して占める割合をもって2画像の非類似度（距離）とする．
3．4．3 色差・輝度の併用による弁別性能
以下では，実際の実験結果に基づいて，色差と輝度の併用による効果を示す．

図9 過検出に起因する誤ったグルーピング

祁罷eトトロトニ仙ぺe咄噸蟹

なぜなら，過検出により，実際には無関係なショットが10．8「同一カメラアングルである」と判定されてしまうことは，20．6つ（あるいはそれ以上）の無関係な場面を1つとして統合0．4してしまうおそれがあるからである（図9）．実際には1っ0．2のカメラアングルであったショットが，2つのショット群とし0て判定された（判定漏れ）場合には，ユーザは2つのグ

0 0．010．020．030．040．05

ループを指定し「これらを統合せよ」と指示することで修

色相ベクトルの2乗距離正が可能であるが，過検出によってグループ化されてし国8 併用による効果

まった1つのショット群を2つに分断するた捌こは，その一方の群に属するショット全てを指示しなければならず，図鋸も4種類の映画（合計44分40秒）から無作為ユーザの負担は大きい．に選んだショットの組3，666組に対して，説明した色差お図10には2種類の誤りに対する修正の手間を図示しよび輝度成分による類似比較を行った結果である．どちた．過検出によって統合された2つのショット群のうち，少らか一方だけを用いたクラス分けは難しいが，2類似度のない群の方のショット数が〝であったとき，修正の手間は併用によって，それらが同じカメラアングルから撮影され（肘J）回に及ぶ・たものか否かをより正確に求めることができる．著者らは，そこで，以下の手法によって，前節までのショット類似

この実験結果に基づいて色相ヒストグラムの距離のしきい判定の正確さを検証する．

値を0．026，全ブロックに対する輝度差の大きなブロックの割合のしきい値を48％と定めた．このとき「同一カメラアングルの未検出率」は2．0％，「異なるカメラアングルを実際 判定結束誤って同一と判定する率」は1．2％であった．

3．5アクト定義
3．5．1類似度判定の検証
ここまでの手順で同一カメラアングルから撮影されたショットを検出することができたが，実際には2種類の誤り

図10 誤りの種類と修正の手間−13−＼ゝl、、r・
図11矛盾のないABCの関係

2つのショットA月間の非類似度（距離）を毎と表すであった組に1点を減点する．このようにして全ての3シことにする．Å，Bと別の参照ショットCに関する非類似度ョットの組み合わせの合計を計算すると，大きな正の値をんGゐcを導入すると，ゐ劇ぬGゐcを3辺とする三角形を持つショットの組は同一カメラアングルである確信度が高想定することができる．さて，前節までのショット類似判定

く，大きな負の値を持つショットの組は異なるカメラアングの結果は距離のしきい値みよりもdが小さいときに「類似」

ルから撮影された確信度が高い．前節までの類似度判と判定されたものと仮定すると，ショットAB間，ÅC間，定に誤りが多く含まれている場合にはこの値は0に近くなBC間の判定結果が次の3つのケースである場合には，る．

んぁ屯0ゐcは，類似・非類似条件dくみまたはあdrを満3．5．2 グループ化たしながら，いかなる数字もとることができる．すなわち3以上のように，「高い確信度」で同一カメラアングルかつのショットが「類似」「類似」「類似」または，「類似」「非ら撮影されたと類推されるショットの組を選択することがで類似」「非類似」または「非類似」「非類似」「非類似」であきるので，これらに同一カメラアングルのパターンIDを振る場合である（図11）．ってゆく．パターンIDが決定した後には，第2章で説明

しかし，例えば3つのショットの関係が「ACは類似」した手法で「アクト」をラベル付けしてゆく．

「BCは類似」「ÅBは非類似」である場合，は非類似条件

図12には以上により判定されたカメラアングル・パタ

血β＞み の他 に 如くゐc＋ゐc に拘束 され，ーンおよびアクトが示されている．カット検出によって抽みく如く屯c＋みcの範囲しか値をとることができない．

出された代表フレームの横にはアクト番号，そしてアクトん0ゐcの備によっては，とりうる範囲がない場合さえある．

中でのカメラアングル・パター

著者らは前節までに述べたように色相ベクトルの2乗距

ンIDがアルファベットで示してある．

離と，輝度の差が大きいブロック数という尺度の違う2つの基準によって類似か非類似かだけを判定している．このため具体的なdの数字を決定することはできないので，みく砧くんc＋ゐcという拘束がある場合に，仮想的なんぁんqゐcが矛盾がないものであると保証することができない．したがって，前節までの3ショットの類似判定結果が「類似」「類似」「非類似」であった場合には，これら3組の類似判定のうちいずれかに誤りの恐れがある．

実際の計算では，類似度計算を行った全てのショットの組み合わせから3つずつの組を作成し，それらが「類似」「類似」「非類似」」ごある場合には何もせず，それ以外

図12 映像構造判定例の場合には「類似」であった組に1点を加点，「非類似」−14−

のショットがアクトに属している．また，タイプ3のインタフ

4 実験結果とユーザインタフェース

ェースにおいては，複数の実場面にまたがる谷間ショット

著者らは実際の映画120分ぶんを用いて代表フレーを一つの代表フレームにしてし塵った率は33．3％，複数ム数削減の効果を実験した．なお，実験に用いた映画は，の実場面にまたがってアクト定義をしてしまった率は前章までで各種しきい値を定めるために用いた映画とは3．0％であった．

異なるものである．表1には，実験に用いた映画と，それに関する諸量を示す．
時間（分） ショット数

映画名

グリーン・カード

60635

ホーム・アローン23030444
283

120

1，362

シャーロック・ホームズ
合計表1実験に用いた映画
これらの映画に関しては，同一カメラアングルから撮影されたショットの組の正解を手入力した．この正解と比較して，本手法による検出結果は，判定漏れの率が22．7％，過検出の率が5．9％であった．ここでの数字は過検出率を最小にするようにしきい値を決定したものである

図13 ユーザインタフェースの表示例

ことを特記しておく．
映画 検出アク上記の手法を利用して同一カメラアングルから生成さ表示した代表フレーム数

ト数れた代表フレームを省略する映像内容一覧インタフェー（削減率％）

タイプ1 タイプ2 タイプ3

スを3種類作成した．一つは，単に同一カメラアングルにグリーン

58284

186

97（55．3） （70．7） （84．7）
186
10960

対して1枚の代表フレームを表示するもの，残りの2つは，アローン

前章で自動検出した「アクト」の単位で代表フレームを表（55．9） （75．早） （86．5）
ホームズ示するものである．表3には，それぞれの表示方法および長所・短所を挙げた．タイプ2とタイプ3との違いは，ア

合計

18
109

クトに属さない「谷間」ショットの取り扱いについてである．

1Ⅰ9

56

31（58．0）（80．2）（89．0）

599

351

188（56．0）（74．2）（86．2）

表2インタフェースごとの代表フレーム表示数

自動アクト検出では，実際の場面の終わり近くや導入部など，繰り返し同じカメラアングルが現れない場合には，著者らが製作したインタフェースでは，タイプ2，アクトに属さないショットが生じうる．このようにして自動検プ3において代表フレームの縮約による情報の欠落を防出されたアクトの間にある，アクトに属さないショットのこと

ぐために，ユーザがマウスポインタをアクトの代表フレーを「谷間」ショットと表記している．タイプ2では谷間ショッ

ムに置くと，その場でそのアクトの内容が再生されるようにトをそのまま表示しているために，アクトを表すアイコン1設計されている．また，タイプ3においては，1枚の代表つと複数の谷間ショットの一つ一つが等価になってしまうフレームに縮約された「谷間」ショットに関しても，同様にという短所がある．図13には，それぞれのタイプの表示マウスを目的の代表フレーム上に置くことで内容確認再例，表2には表示タイプ別のアイコン数を示した．

生ができるようになっている．

この実験の結果，全体で71．8％のショットをアクトに属させることができた．実際の場面の中に複数のアクトを定義するため，検出されたアクト数は，実際の場面数の1．73倍であった．それぞれの実場面内では平均57．1％

ー15−

種類

アクト検出

長所

表示方法

短所

タイプ1 利用しない

カメラアングルごとに1枚 代表フレームの削減は最小限 削減効果が少ない

タイプ2 利用するの代表フレーム
なので，■情報が失われない
アクトは1枚の代表フレ ストーリー単位に即した省略を 「谷間」ショット1つと，アクーム

タイプ3

ト1つが面積上等価になる

実現

アクト間の「谷間」ショット 最小限の代表フレーム数で映 「谷間」ショットが実際の2も1棟の代表フレーム 像内容が把握できる場面にまたがる恐れがある

表3 ユーザインタフェース

5 まとめ

参考文献

以上述べたように，本論文の手法によると，色相ベク【1】上田博唯，宮武孝文，吉澤聡「認識技術を応用しトルの2乗距離，および，輝度をモザイク化・正規化したた対話型映像編集方式の提案」信学論（D・ⅠⅠ），

画像中での輝度差の大きいブロック数をカウントする方vol．J・75−D−ⅠⅠ，nO．2，pp．216・225，1992．

法の併用により，映像中で同じカメラアングルから撮影さ【2】M．M．Yeung，B・L・Yeo，and B・Liu，れたショットを検出することができ，また，そのようにして検ExtractingStoryUnitsfromLongPrograms

出された3つのショットの類似・非類似関係を利用して，fbrVideoBrowsing andNavigation，その検出精度をより高めることができた．「同じカメラアンIEEE

Multimedia 96 Proceedings，pp．296・305，

グルから撮影されたショットに関しては代表フレームを一1996．

つにする」という内容一覧表示を行うと，カット検出によっ【3】H．Aoki，S．Shimotsuji，andO・Hori，て生成された代表フレーム画像の56％を削減でき，また，AShot

Cla＄＄i丘cationMethodofSelectingEffbctive

同一カメラアングルの繰り返し出現を検出することで場面

Key−Frames fbr Ⅵdeo Brov8ing，のまとまり「アクト」を自動検出し，アクトごとに代表フレー

ACM

Multimedia96Proceeding8，pp，1−10，1996

ムをまとめることによって，最大で86％の代表フレーム量【4】青木恒，下辻成佳，堀修「映像ブラウジングのためを削減できることがわかった．の類似ショット統合」情処研究報告96・HI−

さらに，アクト単位で代表フレームを統合することによ

67，1996．

る表示情報の不足を補うために，統合された代表フレー【5】金子敏充，堀修「動草ベクトル符号量を用いたMP

ム表示においては，代表フレーム自身が動画像となってEG映像からの高速カット検出」信学会研究報告

内容表示を行うことによってアクト内容を表示するインタ

PRMU96−100，1996．

フェースを製作した．

【6］M．M．Yeung，B．L．Yeo，W・Wolf，andB・Liu，今後の課題としては，本手法を用いたエーザインタ

VideoBrowsingusingClusteringandScene

ーフエースを実際に被験者に使ってもらい，使いやすさ

Transitions on Compressed Sequences，を定量的に検証する実験を行うことの他に，映像内容にSPIE Intl．Conference on Multimedia

より自動的に各種パラメータを設定する方法を検討する

Computing and Networking Proceedings，

ことや，「谷廟jショットの統合や表示をどう行うかという問

vol．2417，pp．399・413，1995．

題を解決することが挙げられる．また，ニュースなど既知【7】ISO／IEC13818−2：の構造を持った映像に適用し，同一カメラアングル（＝ニInhrmation Teclm0logy−Generic Coding ofMoving Pictures andュースキャスターのショット）を自動的に検出し，ニュース

Associated Audio：Video，項目ごとにインデックス付けを行う方法などについて取りStandard，1995．

組む予定である．

−16−

International