(57)【要約】【課題】パンニングや手振れの影響を排除し、動画を代表するフレームにインデックスを付与することが可能な動画像処理装置を提供する。【解決手段】動画像を取得する動画像取得手段と、動画像に対して動きベクトルを検出する動き検出手段と、検出された動きベクトルから平均値と分散値を算出する平均・分散算出手段と、算出された平均値・分散値から動きの複雑度評価値を算出する動き複雑度算出手段と、複雑度評価値を、記憶した判定基準と比較し、動画像がインデックスフレームに該当するか否かを判定するインデックス判定手段と、判定結果をもとにインデックス画像を表示するインデックス画像表示手段とを備えることにより、動画像中の動きが複雑であるフレームにインデックスを付与することができ、動画像の特徴をよく現した画像をインデックスとして提示することができる。【選択図】図１
2008118591.tif 000002
【特許請求の範囲】
【請求項１】
動画像を取得する動画像取得手段と、
動画像に対して動きベクトルを検出する動き検出手段と、
検出された動きベクトルから平均値と分散値を算出する平均・分散算出手段と、
算出された平均値と分散値とから動きの複雑度評価値を算出する動き複雑度算出手段と、
前記複雑度評価値を、保持する判定基準と比較し、対応する動画像がインデックスフレームに該当するか否かを判定するインデックス判定手段と、
判定結果を記憶する判定結果記憶手段と、
前記判定結果をもとにインデックス画像を表示するインデックス画像表示手段とを具備した動画像処理装置。
【請求項２】
前記インデックス判定手段は、動画像中で前記複雑度評価値が一番大きくなるフレームにインデックスを付与することを特徴とした請求項１記載の動画像処理装置。
【請求項３】
前記インデックス判定手段は、前記複雑度評価値が閾値を越えたフレームすべてにインデックスを付与することを特徴とした請求項１記載の動画像処理装置。
【請求項４】
前記インデックス判定手段は、前記複雑度評価値の大きさが上位からユーザにより設定された数だけ選択し、対応するそれぞれのフレームにインデックスを付与することを特徴とした請求項１記載の動画像処理装置。
【請求項５】
前記インデックス画像表示手段は、複数の動画像について、対応するインデックス画像を一覧表示し、動画像を選択するサムネイル画像を表示することを特徴とした請求項１または２に記載の動画像処理装置。
【請求項６】
前記インデックス画像表示手段は、動画像の内容を確認するために、インデックスが付与されたフレームの前後を再生することを特徴とした請求項１から５に記載の動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像中の動きベクトルを検出し、その動きベクトルから算出した特徴量に応じてインデックスを付与する画像処理装置に関するものであり、特にビデオカメラやＤＶＤレコーダなどにおいてインデックスが付与された画像をサムネイルとして一覧表示することにより、動画の検索性を向上させるものである。また、動画の飛ばし観のようなザッピング機能を実現するためのものである。
【背景技術】
【０００２】
ユーザが複数の動画の中から目的とするコンテンツを検索する場合、各々の動画を代表するインデックス画像を参照しながら目的の動画を選択する。しかし、動画は静止画とは異なり、時系列に連なった多くの静止画により成り立っているため、インデックス画像として表示するために動画コンテンツを代表する画像を選び出すことは容易ではない。
【０００３】
一般に、動画のインデックス画像をユーザに提示する場合、往々にして動画の一番初めのフレームをサムネイル画像として提示する方法がとられる。しかしながら、動画の最初のフレームはフェードで始まることが多く白か黒の画像となるか、または何らかのイベントが始まる前の状態が多いので重要性が低いシーンである場合が多い。
【０００４】
そこで、動画像を代表する画像にインデックスを付与する方法として、特許文献１では、動画像中の動きをもとにシーンチェンジを検出して自動的にインデックスを付与する技術が開示されている。これは、前後のフレームで相関がほとんどみられない部分をシーンチェンジと判定し、そのシーンチェンジ直後のフレームにインデックスを付与するものである。ニュースなどシーンチェンジが頻繁に発生する動画の場合は有効に機能するが、ビデオカメラで撮影した動画のように、ひとつの動画中にシーンチェンジが発生しない場合は上記手法を適用することができない。
【０００５】
また、特許文献２では動画像をいくつかの空間的なブロックに分割し、各々の動きベクトルを求めて、その動きベクトルの大きさと個数が予め設定しておいた閾値を超えるフレームにインデックスを付加するという手法が開示されている。つまり、動画中で動きが大きいフレームがインデックスとして検出されることになる。この場合、シーンチェンジによらず動画像が大きく動いているフレームにインデックスが付与されることになる。
【特許文献１】特開平９−３１２８２７号公報
【特許文献２】特開２００３−１８７２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら上記手法では、パンニングや手振れ、ズームなどにより画面全体に大きな動きが発生した場合、インデックスフレームとみなす条件に当てはまってしまい、そのフレームにインデックスが付与されてしまう。つまり、動きベクトルの大きさと個数だけをインデックス検出の判定材料としているため、その動きベクトルの向きに関係なく上記アルゴリズムに当てはまるフレームがインデックスとして検出されてしまうという課題があった。
【０００７】
そこで本発明では、動画像から動きベクトルを検出して、その動きベクトルの大きさと向きから動きの複雑度を算出し、その複雑度が大きいフレームをインデックス画像とすることで、動きは大きいが複雑度が小さいパンニングや手振れ、及びズームによる影響を排除したインデックス画像を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の動画像処理装置は、動画像を取得する動画像取得手段と、動画像に対して動きベクトルを検出する動き検出手段と、検出された動きベクトルから平均値と分散値を算出する平均・分散算出手段と、算出された平均値と分散値とから動きの複雑度評価値を算出する動き複雑度算出手段と、前記複雑度評価値を、保持する判定基準と比較し、対応する動画像がインデックスフレームに該当するか否かを判定するインデックス判定手段と、判定結果を記憶する判定結果記憶手段と、前記判定結果をもとにインデックス画像を表示するインデックス画像表示手段とを備えている。
【０００９】
このような構成により、動きベクトルの平均値と分散がともに値が大きくなる、つまり動画像中の動きが複雑であるフレームにインデックスを付与することができ、パンニングや手振れ、ズームの影響を排除した、動画像の特徴をよく現した画像をインデックスとして提示することができる。
【発明の効果】
【００１０】
上記構成により、動きが複雑なフレームのみをインデックスとすることができるので、パンニングや手振れ、ズームといった動きは大きいが単一方向の移動のようなフレームがインデックスとして誤検出されてしまう問題を排除することができる。また、動きが複雑なフレームという動画コンテンツを特徴付けるフレームにインデックスを付与することができ、ユーザの動画像検索性が向上する。
【発明を実施するための最良の形態】
【００１１】
以下、本特許の実施の形態について図面を用いて説明する。
【００１２】
図１に本特許の動画像処理装置の構成を示す。１０８はデジタルビデオカメラ等から映像を獲得する動画像取得手段、１０１は動画像取得手段１０８より取り込まれた画像に対して動きベクトルを検出する動き検出手段、１０２は動き検出手段１０１により検出された動きベクトルからその大きさの平均値と分散を算出する平均・分散算出手段、１０３は平均・分散算出手段１０２により算出された平均値と分散から動きの複雑度を算出する動き複雑度算出手段、１０４は動き複雑度算出手段１０３から得られた動き複雑度をもとに、インデックスフレームとなりえるかどうかを判断するインデックス判定手段、１０５はインデックス判定手段１０４において、判定基準となる参照値を記憶しておく判定基準記憶手段、１０６はインデックス判定手段１０４によりインデックスと判定されたフレームの情報とそのときの複雑度を記憶する判定結果記憶手段、１０７は判定結果記憶手段１０６に記憶されているインデックスフレーム情報をもとに、インデックス画像を表示するインデックス画像表示手段である。
【００１３】
上記のように構成された本発明のノイズ低減装置の動作について図２のフローチャートを参照しながら説明する。本構成では、ひとつの動画中にひとつのインデックス画像を作成する手順を示す。また、デジタルビデオカメラから得られた動画像を処理の対象とする。画像取り込み手段１０８はデジタルビデオカメラにおけるアナログ回路やＣＣＤを備えた撮像装置である。先ず、初期化処理（Ｓ０１）を行う。初期化処理では、判定結果記憶手段１０６の複雑度評価値記憶レジスタに０を格納し、インデックスフレーム記憶レジスタに取り込んだ動画像の第１フレームが格納される。次に、画像取り込み手段１０８により１フレーム、もしくは１フィールド分の画像を取り込む（Ｓ０２）。次に、取り込んだ画像に対して動き検出手段により動きベクトルを検出する（Ｓ０３）。動きベクトルとは、連続するフレーム間におけるブロック毎のシフト量をベクトルとして求めたものである。つまり、ある画像内の画像領域（ブロック）を参照値として、処理の対象となる画像内の画像領域と参照値との差分が最も小さくなる場合の参照領域の空間的な相対位置を表したものである。以下、動きベクトルを求める代表的な方法であるブロックマッチング法について述べる。
【００１４】
ブロックマッチング法では、画像を一定の大きさの小領域（ブロック）に分割し、それぞれのブロックの動きベクトルを求める。各ブロックが前のフレームのどこに対応するかを探索し、対応するブロックの位置の空間的な相対位置を動きベクトルとする。第ｔフレームのＮ×Ｎの大きさのブロックの動きベクトルを求める場合、ブロックの左上端の画素の位置を（ｉ０，ｊ０）とすると、このブロックの画像と直前のフレームの対応する位置から（ｐ，ｑ）だけずらした位置のブロックの画像との差を評価する。マッチングの評価には以下の式に示すような、画素値の差の絶対値の和（ＳＡＤ：  Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などが用いられる。
【００１５】
【数１】
2008118591.tif 000003
対応候補のブロック位置（ｐ，ｑ）を変化させてＳＡＤ（ｐ，ｑ）を計算し、最小となる（ｐ，ｑ）を動きベクトル（ｐｍ，ｑｍ）とする。動きベクトルの探索範囲をＲｓとすると、以下の式で示される。
【００１６】
【数２】
2008118591.tif 000004
ここで上記式はＳＡＤ（ｐ，ｑ）を最小とする（ｐ，ｑ）を意味する。
【００１７】
本実施の形態では、動きベクトルを求める方法として、ブロックマッチング法を用いる。ブロックマッチング法は、輝度が急激に変化する部分でもベクトルの誤差が少なく雑音にも強いという利点がある。
【００１８】
なお、動きベクトルを求める方法として、ブロックマッチング法以外に、勾配法を用いても良い。勾配法は、画像の時空間微分の拘束方程式による条件からフローベクトルを推定する手法であり、対応点検索を行う必要がないので高速で処理ができるという利点がある。
【００１９】
次に、動き検出手段１０１により求められた動きベクトルに対して、その大きさの平均値と、動きベクトルの分散を計算する（Ｓ０４）。平均値を求める式を以下に示す。
【００２０】
【数３】
2008118591.tif 000005
さらに、分散を求める式を以下に示す。
【００２１】
【数４】
2008118591.tif 000006
求められた動きベクトルの平均と分散から動きの複雑度を求める（Ｓ０５）。動きの複雑度とは、動画像中の動きが激しいフレームは値が大きくなり、逆に動画像中の動きがほとんどないフレームは値が小さくなる動きの複雑さを表す値である。複雑度の算出には、平均・分散算出手段１０２で求めた平均Ｅと分散Ｖより以下の式により求められる。
Ｅ×Ｖ
動きベクトルの平均値と分散を乗算した値を複雑度と定義し、それを評価値としてインデックスフレームを検出する。Ｅ×Ｖでは、画面全体の動きが大きく、さらにそれぞれのベクトルの方向が異なった方向を向いているときにその値が大きくなる。例えば、図４に示すように、パンニングや手振れのような画面全体に同方向の動きが発生する場合を考えると、その動きベクトルの平均値は大きくなるものの、ベクトルが同方向を向いているため分散は０に近い値となる。このとき、前述の複雑度は大きな値とはならない。逆に、背景の中を横切る被写体を撮影した動画像を考えると、図５に示すように、動きベクトルはそれほど大きくないが、その分散は大きい値をとり、複雑度としても値が高くなる。また、ズーム時は、図６に示すように、画面全体に中心方向に向きをもつ放射線状の動きベクトル、または中心から外に向きを持つ放射線状の動きベクトルが検出されることになる。このとき、向かい合った位置にある動きベクトル同士打ち消しあうため平均値は０となる。したがって、前述の評価式の値が小さくなり、結果としてズームの影響を排除することができる。また、回転も同様に、図７に示すように、画面の中心を軸に回転する動きベクトルの平均値が０となるため、その影響を排除することが可能である。
【００２２】
評価値である、動き複雑度の算出後、そのフレームにインデックスを付与するか否かを判断する必要がある。ひとつの動画中にひとつのインデックスを付与する場合を考えると、動画中の全フレーム中、前述の評価式が最大となるフレームをインデックスとする。各フレームで求めた評価値を判定結果記憶手段１０６の複雑度評価値記憶レジスタに記憶されている評価値と比較して（Ｓ０６）、記憶されている値よりも大きければ新たにそのフレームの評価値を複雑度評価値記憶レジスタに記憶する。またそのときのフレーム番号をインデックスフレーム記憶レジスタに記憶する（Ｓ０７）。
【００２３】
以上の処理を最終フレームまで同様に実行し、最終フレーム処理の終了後、評価値を判定結果記憶手段１０６のインデックスフレーム記憶レジスタに記憶されているフレームにインデックスを付与することになる。ビデオカメラの場合、サムネイル画像としてインデックス画像の一覧を表示させ利用することになる。
【００２４】
このような構成により、動きベクトルの平均値と分散がともに値が大きくなる、つまり動画像中の動きが複雑であるフレームにインデックスを付与することができ、パンニングや手振れ、ズームの影響を排除した、動画像コンテンツを特徴付けるフレーム画像をインデックスとして提示することができる。
【００２５】
なお、複雑度の評価式Ｅ×Ｖは乗算ではなく、平均値と分散に重みを付けた和でもよい。その式を以下に示す。
ａＥ＋ｂＶ
ここで、定数ａ，ｂはそれぞれ平均値と分散に対する重み係数である。
【００２６】
さらに、上記実施の形態では、ひとつの動画中にひとつのインデックスのみを付与する場合を考えたが、ひとつの動画中に複数のインデックスを付与する構成も容易に実現できる。その際のフローチャートを図３に示す。Ｓ１１〜Ｓ１４、Ｓ１７、Ｓ１８の処理は、それぞれ図２のフローチャートのＳ０２〜Ｓ０５、Ｓ０８、Ｓ０９の処理と同一であり、説明を省略する。図２のフローチャートとの相違点は、インデックスとするか否かの判断基準を、動き複雑度がある閾値を超えたフレーム全てについて（Ｓ１５）、インデックスとしてフレーム記憶レジスタに記録すること（Ｓ１６）であり、、評価値が大きなフレームを上位からユーザによりあらかじめ設定された数だけ取り出してインデックスとすることで、複数のインデックスを付与することが可能である。
【００２７】
また、インデックス画像表示手段１０７は、これまで一つの動画像を対象に、その動画像に一つあるいは複数のインデックスを付与し、それに対応するインデックス画像を表示する実施の形態について説明したが、複数の動画像に対して、その動画像に対応する一つのインデックス画像を、動画像の数分、一覧表示し、再生すべき動画像を選択するサムネイル画像を表示することも可能である。
【００２８】
また、インデックス画像表示手段１０７でインデックスの前後の動画像を表示することにより、動画コンテンツを代表する一部分だけ再生させることができ、短時間で動画像の内容を確認するために利用することも可能である。
【産業上の利用可能性】
【００２９】
本発明の動画像処理装置によれば、動画にインデックスを付与する際、パンニングや手振れの影響を排除し、画面が複雑に動いているフレームを効率よく検出してインデックスを付与することができ、また、そのインデックスをユーザに提示することにより、動画ファイルの検索性を向上させることができるので、ビデオカメラやＤＶＤレコーダ等の動画像処理装置において有用である。
【図面の簡単な説明】
【００３０】
【図１】本発明の構成を示すブロック図
【図２】本発明の一実施の形態における動画像処理装置の動作を示すフローチャート
【図３】本発明の他の実施の形態における動画像処理装置の動作を示すフローチャート
【図４】パンニングや手振れ時の動きベクトルを表す図
【図５】動きが複雑なフレームの動きベクトルを表す図
【図６】ズーム時の動きベクトルを表す図
【図７】回転時の動きベクトルを表す図
【符号の説明】
【００３１】
１０１    動き検出手段
１０２    平均・分散算出手段
１０３    動き複雑度算出手段
１０４    インデックス判定手段
１０５    判定基準記憶手段
１０６    判定結果記憶手段
１０７    インデックス画像表示手段
１０８    動画像取得手段
【図１】
2008118591.tif 000007
【図２】
2008118591.tif 000008
【図３】
2008118591.tif 000009
【図４】
2008118591.tif 000010
【図５】
2008118591.tif 000011
【図６】
2008118591.tif 000012
【図７】
2008118591.tif 000013