動画検索のための MPEG-2 データ中の特徴量抽出方法の検討
Examination of Method of Extracting Feature in MPEG-2 Data for Movie Retrieval
感性情報学講座 0312006027 小友知己
指導教員： 伊藤慶明 小嶋和徳 石亀昌明
1． はじめに
近年，記録媒体の大容量化に伴い，動画を大量に保存する機会が増加した．これにより，多数の動画の中から必要部分を検索する技術が求められている．動画検索時には対象データの特徴量の抽出が必要であるが，多くの場合，特徴量抽出には解凍処理が必要となる．全ての動画に解凍処理を行った場合，処理時間が増加するため，ユーザは長い検索時間を待つ必要がある．
本研究では，高速な動画検索の実現を目標とし，MPEG-2 形式を対象に解凍処理を行わずに抽出可能な I ピクチャ内輝度直流成分を特徴量とした検索方式を提案する．実験では実際の CM 動画を用い，複数 CM 内から特定の CM を検索する実験を行い，本方式の有効性を示す．

2．MPEG-2 内の直流成分を用いた動画検索方式
MPEG-2 等の圧縮された動画を検索する場合，動画像の特徴を取得するために一度解凍処理を行わなければならないため，処理時間と検索の待ち時間が必要となる．そこで本研究では I ピクチャ内の輝度直流成分を直接読み込むことで，解凍処理の時間を削減する．

2．1．MPEG-2 からの特徴量抽出(1) DCT 処理
MPEG-2 は主に DCT(Discrete Cosine Transform:離散コサイン変換)とフレーム間の動き予測で動画像圧縮を行っている．DCT 処理は，画像を 8×8 画素のブロックに分割し，縦・横方向への空間的な画素値の変動を波として捉え，DCT 係数として保存する．

(2) GOP 構造
MPEG-2はI，P，Bピクチャの3種類の画像で構成されている．Iピクチャは動き予測を行わず，1フレー
ム内のデータ全てをDCT係数で保存する画像である．
P，Bピクチャは前または前後のI，Pピクチャを参照
し，動き予測を行い，変動のあるブロックのみ符号化する．これら3種類の画像をGOP(Group OfPicture)という1つのグループで管理する．
I,B,B,P,B,B,P,…,I,…のように保存され，一般的に1GOPにつき15枚，Iピクチャは1GOPにつき1枚で構成される．

(3) I ピクチャ内輝度直流成分の抽出
本研究では動画像の特徴量として I ピクチャ内の輝度直流成分を用いる．文献 1)より，式(1)にてDCT 処理による輝度の直流成分( Y )の算出方法と 1ブロック内の画素値の平均( Ave )との関係を式(1)に示す．
1 7 7(1)Y   f ( x, y )  8 Ave
8 x 0 y 0x, y ：元ブロックの座標

f ( x, y ) ：元ブロックの画素値
式(1)より，直流成分は 1 ブロック内の平均値に比例していることから，直流成分は 1 ブロック内全体の 1 つの特徴と考えることができる．
P,B ピクチャの値は同じ動画内容であっても値が変動する 1)ため，値の変動が尐ない I ピクチャ内の直流成分を特徴量とした．
I ピクチャ内には直流成分の他に，Cr，Cb の 2 つの色差成分がある．これらについても MPEG-2 の解
凍不要の動画検索用の特徴量として考え，その有効性を評価する．

2．2．線形照合による類似区間探索
ある動画データと同じ内容の動画データでは，時系列データとしてはほぼ同じであると仮定し，線形照合による探索を行う．探索方法は入力動画の特徴量パターンに対して，参照動画の特徴量パターンを入力動画の始端から 1GOP ずつずらしながら特徴量間の累積距離を算出する．累積距離が事前に設定した閾値より下回り，一定窓内で局所最小を示す区間を同一または類似した動画区間と判断する．

3．評価実験
3．1．実験データ

100%

3．2．実験条件
評価指標は検索で一般的な適合率(Precision)・再現率(Recall)を用いる．輝度･色差の各特徴量を(Y,Cｒ,Cb)，（Y,Cr）･･･のように組み合わせ，各特徴量の評価を行う．評価時の正解判定は以下のように行う．
(1)一定窓内で局所最小を示す箇所が閾値以内(2)正解箇所に時系列的に 75%以上一致している(3)テロップ以外は同じ動画内容(1)で与えられる窓幅は 4 秒，15 秒，20 秒，30 秒，
参照動画長とその長さ 1/3 を追加した時間でそれぞれ評価を行う．累積距離の閾値を最小値から最大値まで変化させて評価する．

95%
Precision

テレビ放送を一旦 MPEG-2 形式で録画し,その中から CM を 220 本抽出して実験用データとした．
220
本の CM の長さは 4 秒が 4 本，15 秒が 202 本，30 秒が 14 本であった．入力データは上記の参照 CM220本を繋ぎ合わせたもので，58 分の動画である．

4sec
15sec

90%

20sec
30sec
1/3plus

85%
98%

F値

Y

Y，Cr

Y,Cr,Cb，YbCr,Cb，Cb

Cr

9895928583

輝度(Y)のみを用いた場合，F 値は 98％となり，色差(Cr,Cb)と組み合わせた場合よりも高い精度を得ることができた．この結果より，輝度のみを用いたほうが検索には有利であると分かった．
次に，輝度のみを用いて，検出窓長を変化させた
場合の評価結果を図 1 に示す．
CM の 220 本のうち，15 秒の CM が 202 本と全体の約 90％を占めていたた
め，20 秒の窓を用いることにより，高い性能になったと考える．窓幅が 30 秒の場合，窓長が大きすぎ検出漏れが発生し，精度が低下したと考える．このことから，窓長を 20 秒に設定した場合に良い精度を得られるが，4 秒の CM が連続して出現した場
合，窓長を 20 秒に固定すると検出する事が出来ない．そのため，窓長を参照動画長にあわせて設定する．実験の結果，窓幅を参照動画長にその長さの1/3 を追加した結果，図 1 に示すように最も良い性能が得られた．

100%

図 1 窓長による検索性能
次に，処理時間を表 2 に示す．当初の目的の通り，解凍のための処理時間の短縮には成功したが，入力時間が総合処理時間の多くを占めているため，検索時間をさらに短くするためには入力時間の短縮が必要であることが分かった．
表 2 処理時間の比較(単位:分)

3．3．実験結果と考察
輝度・色差の組み合わせによる，適合率・再現率の調和平均である F 値を表 1 に示す．
表 1 F 評価値の比較(単位:%)

99%
Recall

入力

解凍

検索

総時間

解凍処理あり93214本研究

902114． おわりに本研究では MPEG-2 内における I ピクチャ内輝度直流成分を特徴量として動画検索を行う方式を提案した．その結果，F 値 98％の精度で動画検索が可能であることを確認し，本手法の有効性を示した．
解凍処理の削減に成功したが，入力処理に時間がかかることから，今後，入力処理の短縮を行い，処理の高速化を目指す．
参考文献
1）高橋克直 他：画紋情報を用いた動画像検索方式に関する検討,電子情報通信学会技術研究報告 画像工学，
Vol.98， No.422, pp.1-8(1998).
2) Aaron Holtzman eds: libmpeg2．
http://libmpeg2.sourceforge.net/
3) マルチメディア通信研究会(編集) 他：ポイント図解
式 ブロードバンド+モバイル標準 MPEG 教科書, 株式会社
アスキー, 東京(2003).
4) 亀山渉 他：改訂版 デジタル放送教科書 上,インプレス r&d,東京(2006).