(57)【要約】【課題】複数の物体が異なる方向に移動するときにおいても、高精度の動き探索を実現する動きベクトル検出方法を提供する。【解決手段】動きベクトル検出方法は、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、動きベクトルを検出する動きベクトル検出方法であって、対象ピクチャから複数の動きベクトル抽出領域を決定し、領域動きベクトルを求める領域動きベクトル決定ステップ（Ｓ１０１）と、対象ピクチャにおけるマクロブロックの位置に対応する参照ピクチャにおける位置と領域動きベクトルとにより定められる位置を含む領域を探索範囲として設定する探索範囲設定ステップ（Ｓ１０２）とを含む。【選択図】図６
2011114493.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象となる対象ピクチャ内のマクロブロックについて、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、前記マクロブロックの動きベクトルを検出する動きベクトル検出方法であって、
前記対象ピクチャから複数の動きベクトル抽出領域を決定し、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域の動きベクトルを示す領域動きベクトルを求める領域動きベクトル決定ステップと、
前記対象ピクチャにおける前記マクロブロックの位置に対応する前記参照ピクチャにおける位置と前記領域動きベクトルとにより定められる位置を含む領域を前記探索範囲として設定する探索範囲設定ステップとを含む
動きベクトル検出方法。
【請求項２】
前記領域動きベクトル決定ステップでは、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記対象ピクチャの中央の位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求める
請求項１に記載の動きベクトル検出方法。
【請求項３】
前記動きベクトル検出方法は、さらに、前記対象ピクチャ内に存在する特定物の位置を検出する特定物検出ステップを含み、
前記領域動きベクトル決定ステップでは、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記特定物検出ステップにより検出された位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求める
請求項１または請求項２に記載の動きベクトル検出方法。
【請求項４】
前記特定物は人物の顔である
請求項３に記載の動きベクトル検出方法。
【請求項５】
前記領域動きベクトル決定ステップでは、前記対象ピクチャの前記動きベクトル抽出領域内の画素値、および、前記対象ピクチャの前記動きベクトル抽出領域に対応する前記参照ピクチャの領域内の画素値を用いて、前記対象ピクチャの前記動きベクトル抽出領域毎に、前記領域動きベクトルを求める
請求項１〜４のうちいずれか１項に記載の動きベクトル検出方法。
【請求項６】
前記領域動きベクトル決定ステップでは、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの情報から前記領域動きベクトルを求める
請求項１〜４のうちいずれか１項に記載の動きベクトル検出方法。
【請求項７】
前記動きベクトル検出方法は、さらに、前記対象ピクチャの上下左右の微細な動きである手ブレを低減し補正する手ブレ補正ステップを含み、
前記領域動きベクトル決定ステップでは、手ブレ補正時に検出する前記対象ピクチャの動きベクトルの情報から前記領域動きベクトルを求める
請求項１〜４のうちいずれか１項に記載の動きベクトル検出方法。
【請求項８】
前記動きベクトル検出方法は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の大きさを調整する探索範囲調整ステップを含む
請求項１〜７のうちいずれか１項に記載の動きベクトル検出方法。
【請求項９】
前記動きベクトル検出方法は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の参照ピクチャへの帰属を変更することにより、前記探索範囲を調整する探索範囲調整ステップを含む
請求項１〜７のうちいずれか１項に記載の動きベクトル検出方法。
【請求項１０】
前記動き情報は、前記動きベクトル抽出領域の前記領域動きベクトルの大きさを示す値である
請求項８または請求項９に記載の動きベクトル検出方法。
【請求項１１】
前記動き情報は、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの分散値である
請求項８または請求項９に記載の動きベクトル検出方法。
【請求項１２】
前記動きベクトル検出方法は、さらに、前記複数の動きベクトル抽出領域のうちＬ（Ｌは２以上の整数）個の動きベクトル抽出領域からそれぞれ得られたＬ個の領域動きベクトルの相互の違いを示すすべての値が予め定められた第１閾値の範囲内である場合、前記Ｌ個の動きベクトル抽出領域を１個の動きベクトル抽出領域として、前記Ｌ個の領域動きベクトルを１個の領域動きベクトルに限定する領域動きベクトル限定ステップを含む
請求項１〜１１のうちいずれか１項に記載の動きベクトル検出方法。
【請求項１３】
前記探索範囲設定ステップでは、前記領域動きベクトル限定ステップにより、前記対象ピクチャから得られるすべての領域動きベクトルがＮ（Ｎは自然数）個の領域動きベクトルに限定された場合、前記探索範囲が最大でＮ個の参照ピクチャに属するように前記探索範囲を設定する
請求項１２に記載の動きベクトル検出方法。
【請求項１４】
前記探索範囲設定ステップでは、限定された前記領域動きベクトルに対応する限定される前の複数の領域動きベクトルの平均値が、予め定められた第２閾値より大きい場合、限定された前記領域動きベクトルに対して、それぞれ異なる２個の参照ピクチャに含まれる２個の探索範囲を設定する
請求項１２に記載の動きベクトル検出方法。
【請求項１５】
符号化対象となる対象ピクチャ内のマクロブロックについて、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、前記マクロブロックの動きベクトルを検出する動きベクトル検出装置であって、
前記対象ピクチャから複数の動きベクトル抽出領域を決定し、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域の動きベクトルを示す領域動きベクトルを求める領域動きベクトル決定部と、
前記対象ピクチャにおける前記マクロブロックの位置に対応する前記参照ピクチャにおける位置と前記領域動きベクトルとにより定められる位置を含む領域を前記探索範囲として設定する探索範囲設定部とを備える
動きベクトル検出装置。
【請求項１６】
前記領域動きベクトル決定部は、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記対象ピクチャの中央の位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求める
請求項１５に記載の動きベクトル検出装置。
【請求項１７】
前記動きベクトル検出装置は、さらに、前記対象ピクチャ内に存在する特定物の位置を検出する特定物検出部を備え、
前記領域動きベクトル決定部は、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記特定物検出部により検出された位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求める
請求項１５または請求項１６に記載の動きベクトル検出装置。
【請求項１８】
前記特定物は人物の顔である
請求項１７に記載の動きベクトル検出装置。
【請求項１９】
前記領域動きベクトル決定部は、前記対象ピクチャの前記動きベクトル抽出領域内の画素値、および、前記対象ピクチャの前記動きベクトル抽出領域に対応する前記参照ピクチャの領域内の画素値を用いて、前記対象ピクチャの前記動きベクトル抽出領域毎に、前記領域動きベクトルを求める
請求項１５〜１８のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２０】
前記領域動きベクトル決定部は、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの情報から前記領域動きベクトルを求める
請求項１５〜１８のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２１】
前記動きベクトル検出装置は、さらに、前記対象ピクチャの上下左右の微細な動きである手ブレを低減し補正する手ブレ補正部を備え、
前記領域動きベクトル決定部は、手ブレ補正時に検出する前記対象ピクチャの動きベクトルの情報から前記領域動きベクトルを求める
請求項１５〜１８のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２２】
前記動きベクトル検出装置は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の大きさを調整する探索範囲調整部を備える
請求項１５〜２１のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２３】
前記動きベクトル検出装置は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の参照ピクチャへの帰属を変更することにより、前記探索範囲を調整する探索範囲調整部を備える
請求項１５〜２１のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２４】
前記動き情報は、前記動きベクトル抽出領域の前記領域動きベクトルの大きさを示す値である
請求項２２または請求項２３に記載の動きベクトル検出装置。
【請求項２５】
前記動き情報は、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの分散値である
請求項２２または請求項２３に記載の動きベクトル検出装置。
【請求項２６】
前記動きベクトル検出装置は、さらに、前記複数の動きベクトル抽出領域のうちＬ（Ｌは２以上の整数）個の動きベクトル抽出領域からそれぞれ得られたＬ個の領域動きベクトルの相互の違いを示すすべての値が予め定められた第１閾値の範囲内である場合、前記Ｌ個の動きベクトル抽出領域を１個の動きベクトル抽出領域として、前記Ｌ個の領域動きベクトルを１個の領域動きベクトルに限定する領域動きベクトル限定部を備える
請求項１５〜２５のうちいずれか１項に記載の動きベクトル検出装置。
【請求項２７】
前記探索範囲設定部は、前記領域動きベクトル限定部により、前記対象ピクチャから得られるすべての領域動きベクトルがＮ（Ｎは自然数）個の領域動きベクトルに限定された場合、前記探索範囲が最大でＮ個の参照ピクチャに属するように前記探索範囲を設定する
請求項２６に記載の動きベクトル検出装置。
【請求項２８】
前記探索範囲設定部は、限定された前記領域動きベクトルに対応する限定される前の複数の領域動きベクトルの平均値が、予め定められた第２閾値より大きい場合、限定された前記領域動きベクトルに対して、それぞれ異なる２個の参照ピクチャに含まれる２個の探索範囲を設定する
請求項２６に記載の動きベクトル検出装置。
【請求項２９】
請求項１５〜２８のうちいずれか１項に記載の動きベクトル検出装置と、
画像光を画像信号に変換するセンサと、
入射された画像光を前記センサ上に結像させる光学系と、
前記画像信号をデジタルデータに変換して前記動きベクトル検出装置に出力するアナログデジタル変換器とを備える
撮像システム。
【請求項３０】
請求項１５〜２８のうちいずれか１項に記載の動きベクトル検出装置と、
入力されたアナログ値の画像信号をデジタルデータに変換して前記動きベクトル検出装置に出力するアナログデジタル変換器とを備える
信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化対象となる対象ピクチャ内のマクロブロックについて、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、前記マクロブロックの動きベクトルを検出する動きベクトル検出方法および動きベクトル検出装置に関する。
【背景技術】
【０００２】
近年、高能率符号化を行うＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の動画像圧縮符号化技術は、その実用化が急速に進み、ビデオカメラおよび携帯電話等に普及している。
【０００３】
このＭＰＥＧ等の符号化技術においては、既に符号化処理が終了しているフレームの中から、符号化対象となる画像に近い画像を検出する。そして、符号化対象となる画像と、符号化対象となる画像に近い画像との差分だけを符号化する符号化方法により、効率のよい符号化処理を実現する。なお、符号化するときに、参照されるフレームは、参照フレームと呼ばれる。また、符号化対象となる画像に近い画像を検出することは、動き探索と呼ばれる。
【０００４】
また、記録時間的に前にあるフレームを参照フレームとして参照（前方向参照）するだけでなく、後にあるフレームを参照フレームとして参照（後方向参照）する場合もある。さらに、ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）／Ｈ．２６４に代表される最近の符号化技術においては、前方向にある複数のフレームを参照したり、また、後方向にある複数のフレームを参照したりする等、動き探索における進化が図られている。
【０００５】
動き探索の精度が高くなると、符号化効率が高くなる。より具体的には、圧縮率が上がる。したがって、より長い時間の動画の記録ができる。また、より画質の高い画像の記録ができる。
【０００６】
この動き探索について、例えば、フレーム内の物体の移動が大きいときは、広い範囲を探索して最適な画像を検出する必要がある。そのため、大規模な動きベクトル検出装置が必要となってしまう。これに対して、それほど大規模な装置を必要とせず、広い範囲を高精度で検出する技術が特許文献１に開示されている。
【０００７】
特許文献１に記載の方法は、動き探索を実行する動き探索の範囲として、符号化の処理単位であるマクロブロックを中心にした範囲を設定するのではなく、符号化対象となるフレーム（以下、「対象フレーム」とも呼ぶ）全体と参照フレーム全体との動きベクトルであるグローバルベクトルを求め、求められたグローバルベクトルを用いて動き探索の範囲を設定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３５４５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の方法は、カメラがパンまたはチルトをした時のように、フレームにある物体が一律に同じ方向に動いている場合、例えば、図２１のように、対象フレーム８１１と参照フレーム８１２の両方に存在する第１物体８１３と第２物体８１４が同じ方向に動き（第１物体８１３の動きベクトル８１６と第２物体８１４の動きベクトル８１７とが揃っており）、また、それらから求められるグローバルベクトル８１５も似たような値になる場合において、有効である。
【００１０】
しかし、図２３のように、対象フレーム８３１と参照フレーム８３２の両方に存在する第１物体８３３と第２物体８３４が異なる方向に動き（第１物体８３３の動きベクトル８３６と第２物体８３４の動きベクトル８３７が揃っておらず）、また、グローバルベクトル８３５も全く相関のない値になる場合においては、動き探索が正常に行えないという問題があった。
【００１１】
以下、具体的に説明する。図２１にある第１物体８１３の右上の画像が符号化対象マクロブロック（以下、「対象マクロブロック」とも呼ぶ）８２１である（図２２Ａ参照）。対象マクロブロック８２１を探索する探索範囲を「対象マクロブロック８２１と同じ位置８２２を中心においた範囲８２３」とするのではなく、グローバルベクトル８１５だけシフトした「グローバルベクトル８１５により設定される探索範囲８２４」とする。これにより、対象マクロブロック８２１と同じ所望の形の画像を探索範囲内から正常に検出することができる。図２１にある第２物体８１４の左側の画像を対象マクロブロックとするときも同様である（図２２Ｂ参照）。
【００１２】
しかし、図２３にある全く異なる方向に動いている物体に対して、上記のようにグローバルベクトルだけシフトした探索範囲を設定しても、図２４Ａおよび図２４Ｂに示すように対象マクロブロックと同じ所望の形の画像を探索範囲内から検出することができない。
【００１３】
同様のことが、複数のフレームを参照した場合でも考えられる。図２５を用いて説明する。図２５に示すグローバルベクトル８４５は、対象フレーム８４１と第２参照フレーム８４３から算出された１フレームの間の動きを示すベクトルである。対象フレーム８４１に対し２フレーム前に位置する第１参照フレーム８４２では、物体はグローバルベクトル×２の位置にあると推測される。また、対象フレーム８４１に対し１フレーム後に位置する第３参照フレーム８４４では、物体はグローバルベクトル×（−１）の位置にあると推測される。よって、そのベクトル分シフトした位置に基づいて、探索範囲が設定される（図２５の第１探索範囲８４６、第２探索範囲８４７および第３探索範囲８４８参照）。
【００１４】
この場合においても、物体の動きベクトルとグローバルベクトルとが似たような値になる場合（図２１のような場合）であれば、正常に物体を検出することができる。しかし、物体の動きベクトルとグローバルベクトルとが全く相関のない値になる場合（図２３のような場合）であれば、動き探索が正常に行えない。
【００１５】
これらのことで、動き探索精度が落ち、圧縮率が低下するため、長時間記録の妨げとなっていた。
【００１６】
そこで、本発明は、図２３のように、複数の物体が異なる方向に移動するときにおいても、高精度の動き探索を実現する動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本発明による動きベクトル検出方法は、符号化対象となる対象ピクチャ内のマクロブロックについて、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、前記マクロブロックの動きベクトルを検出する動きベクトル検出方法であって、前記対象ピクチャから複数の動きベクトル抽出領域を決定し、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域の動きベクトルを示す領域動きベクトルを求める領域動きベクトル決定ステップと、前記対象ピクチャにおける前記マクロブロックの位置に対応する前記参照ピクチャにおける位置と前記領域動きベクトルとにより定められる位置を含む領域を前記探索範囲として設定する探索範囲設定ステップとを含む。
【００１８】
これにより、符号化対象となるピクチャ内にある複数の物体が異なる方向に移動する場合においても、複数の領域から得られる動きの特性に基づいて、高精度の動き探索が実現される。したがって、符号化効率の向上、および、動画の長時間記録が実現される。
【００１９】
また、前記領域動きベクトル決定ステップでは、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記対象ピクチャの中央の位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求めてもよい。
【００２０】
これにより、ピクチャの中央に位置する可能性が高い、カメラ等の撮影者の注目領域について、高精度の動き探索が実現できる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００２１】
また、前記動きベクトル検出方法は、さらに、前記対象ピクチャ内に存在する特定物の位置を検出する特定物検出ステップを含み、前記領域動きベクトル決定ステップでは、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記特定物検出ステップにより検出された位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求めてもよい。
【００２２】
これにより、特定物に対する動き探索の精度が高くなる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００２３】
また、前記特定物は人物の顔でもよい。
【００２４】
これにより、顔領域に対する動き探索の精度が高くなる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００２５】
また、前記領域動きベクトル決定ステップでは、前記対象ピクチャの前記動きベクトル抽出領域内の画素値、および、前記対象ピクチャの前記動きベクトル抽出領域に対応する前記参照ピクチャの領域内の画素値を用いて、前記対象ピクチャの前記動きベクトル抽出領域毎に、前記領域動きベクトルを求めてもよい。
【００２６】
これにより、符号化対象となるピクチャ内の動きベクトル抽出領域全体の動きを示す領域動きベクトルを高い精度で取得できる。
【００２７】
また、前記領域動きベクトル決定ステップでは、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの情報から前記領域動きベクトルを求めてもよい。
【００２８】
これにより、大きな処理量を必要とせずに、領域動きベクトルを取得できる。
【００２９】
また、前記動きベクトル検出方法は、さらに、前記対象ピクチャの上下左右の微細な動きである手ブレを低減し補正する手ブレ補正ステップを含み、前記領域動きベクトル決定ステップでは、手ブレ補正時に検出する前記対象ピクチャの動きベクトルの情報から前記領域動きベクトルを求めてもよい。
【００３０】
これにより、カメラ等のアプリケーションに搭載している手ブレ情報を動きベクトル検出方法にも流用できる。したがって、領域動きベクトルを算出する処理量を低減させ、かつ、精度の高い領域動きベクトルを取得できる。
【００３１】
また、前記動きベクトル検出方法は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の大きさを調整する探索範囲調整ステップを含んでもよい。
【００３２】
これにより、それぞれの探索範囲に対応する動き情報に応じて、適応的にそれぞれの探索範囲の大きさが調整される。したがって、精度の高い動き探索が実行できる。
【００３３】
また、前記動きベクトル検出方法は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の参照ピクチャへの帰属を変更することにより、前記探索範囲を調整する探索範囲調整ステップを含んでもよい。
【００３４】
これにより、それぞれの探索範囲に対応する動き情報に応じて、適応的にそれぞれの探索範囲の属するピクチャが調整される。したがって、精度の高い動き探索が実行される。
【００３５】
また、前記動き情報は、前記動きベクトル抽出領域の前記領域動きベクトルの大きさを示す値でもよい。
【００３６】
これにより、動きベクトル抽出領域全体の動きを示す領域動きベクトルの大きさ（物体の移動量）に応じて、探索範囲が調整される。したがって、動き探索の精度が向上する。
【００３７】
また、前記動き情報は、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの分散値でもよい。
【００３８】
これにより、動きベクトル抽出領域毎の動きベクトルのばらつき（分散）に応じて、探索範囲が調整される。したがって、動き探索の精度が向上する。
【００３９】
また、前記動きベクトル検出方法は、さらに、前記複数の動きベクトル抽出領域のうちＬ（Ｌは２以上の整数）個の動きベクトル抽出領域からそれぞれ得られたＬ個の領域動きベクトルの相互の違いを示すすべての値が予め定められた第１閾値の範囲内である場合、前記Ｌ個の動きベクトル抽出領域を１個の動きベクトル抽出領域として、前記Ｌ個の領域動きベクトルを１個の領域動きベクトルに限定する領域動きベクトル限定ステップを含んでもよい。
【００４０】
これにより、探索範囲を必要最小限に抑えることができる。したがって、符号化効率を落とすことなく、メモリトラフィックが削減され、また、消費電力が削減される。
【００４１】
また、前記探索範囲設定ステップでは、前記領域動きベクトル限定ステップにより、前記対象ピクチャから得られるすべての領域動きベクトルがＮ（Ｎは自然数）個の領域動きベクトルに限定された場合、前記探索範囲が最大でＮ個の参照ピクチャに属するように前記探索範囲を設定してもよい。
【００４２】
これにより、対象ピクチャに対して符号化に用いられる参照ピクチャが限定され、より効率のよい動き探索が実現される。
【００４３】
また、前記探索範囲設定ステップでは、限定された前記領域動きベクトルに対応する限定される前の複数の領域動きベクトルの平均値が、予め定められた第２閾値より大きい場合、限定された前記領域動きベクトルに対して、それぞれ異なる２個の参照ピクチャに含まれる２個の探索範囲を設定してもよい。
【００４４】
これにより、移動量が大きい場合、前後両方の参照ピクチャを参照して処理を行うことができる。したがって、双方向予測の効果を得ることにより、符号化効率が向上する。
【００４５】
また、本発明による動きベクトル検出装置は、符号化対象となる対象ピクチャ内のマクロブロックについて、参照ピクチャ内の探索範囲を対象として動き探索を実行することにより、前記マクロブロックの動きベクトルを検出する動きベクトル検出装置であって、前記対象ピクチャから複数の動きベクトル抽出領域を決定し、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域の動きベクトルを示す領域動きベクトルを求める領域動きベクトル決定部と、前記対象ピクチャにおける前記マクロブロックの位置に対応する前記参照ピクチャにおける位置と前記領域動きベクトルとにより定められる位置を含む領域を前記探索範囲として設定する探索範囲設定部とを備える動きベクトル検出装置でもよい。
【００４６】
これにより、符号化対象となるピクチャ内にある複数の物体が異なる方向に移動する場合においても、高精度の動き探索が実現される。したがって、符号化効率の向上、および、動画の長時間記録が実現される。
【００４７】
また、前記領域動きベクトル決定部は、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記対象ピクチャの中央の位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求めてもよい。
【００４８】
これにより、ピクチャの中央に位置する可能性が高い、カメラ等の撮影者の注目領域について、高精度の動き探索が実現できる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００４９】
また、前記動きベクトル検出装置は、さらに、前記対象ピクチャ内に存在する特定物の位置を検出する特定物検出部を備え、前記領域動きベクトル決定部は、前記複数の動きベクトル抽出領域のうち、少なくとも１個の動きベクトル抽出領域が、前記特定物検出部により検出された位置を含むように、前記複数の動きベクトル抽出領域を決定し、前記領域動きベクトルを求めてもよい。
【００５０】
これにより、特定物に対する動き探索の精度が高くなる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００５１】
また、前記特定物は人物の顔でもよい。
【００５２】
これにより、顔領域に対する動き探索の精度が高くなる。したがって、長時間の動画の記録、および、高画質の画像の記録が実現できる。
【００５３】
また、前記領域動きベクトル決定部は、前記対象ピクチャの前記動きベクトル抽出領域内の画素値、および、前記対象ピクチャの前記動きベクトル抽出領域に対応する前記参照ピクチャの領域内の画素値を用いて、前記対象ピクチャの前記動きベクトル抽出領域毎に、前記領域動きベクトルを求めてもよい。
【００５４】
これにより、符号化対象となるピクチャ内の動きベクトル抽出領域全体の動きを示す領域動きベクトルを高い精度で取得できる。
【００５５】
また、前記領域動きベクトル決定部は、前記動きベクトル抽出領域毎に、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの情報から前記領域動きベクトルを求めてもよい。
【００５６】
これにより、大きな処理量を必要とせずに、領域動きベクトルを取得できる。
【００５７】
また、前記動きベクトル検出装置は、さらに、前記対象ピクチャの上下左右の微細な動きである手ブレを低減し補正する手ブレ補正部を備え、前記領域動きベクトル決定部は、手ブレ補正時に検出する前記対象ピクチャの動きベクトルの情報から前記領域動きベクトルを求めてもよい。
【００５８】
これにより、カメラ等のアプリケーションに搭載している手ブレ情報を動きベクトル検出方法にも流用できる。したがって、領域動きベクトルを算出する処理量を低減させ、かつ、精度の高い領域動きベクトルを取得できる。
【００５９】
また、前記動きベクトル検出装置は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の大きさを調整する探索範囲調整部を備えてもよい。
【００６０】
これにより、それぞれの探索範囲に対応する動き情報に応じて、適応的にそれぞれの探索範囲の大きさが調整される。したがって、精度の高い動き探索が実行できる。
【００６１】
また、前記動きベクトル検出装置は、さらに、前記動きベクトル抽出領域における動き情報に依存させて、前記探索範囲の参照ピクチャへの帰属を変更することにより、前記探索範囲を調整する探索範囲調整部を備えてもよい。
【００６２】
これにより、それぞれの探索範囲に対応する動き情報に応じて、適応的にそれぞれの探索範囲の属するピクチャが調整される。したがって、精度の高い動き探索が実行される。
【００６３】
また、前記動き情報は、前記動きベクトル抽出領域の前記領域動きベクトルの大きさを示す値でもよい。
【００６４】
これにより、動きベクトル抽出領域全体の動きを示す領域動きベクトルの大きさ（物体の移動量）に応じて、探索範囲が調整される。したがって、動き探索の精度が向上する。
【００６５】
また、前記動き情報は、前記動きベクトル抽出領域で既に符号化が完了しているマクロブロックの動きベクトルの分散値でもよい。
【００６６】
これにより、動きベクトル抽出領域毎の動きベクトルのばらつき（分散）に応じて、探索範囲が調整される。したがって、動き探索の精度が向上する。
【００６７】
また、前記動きベクトル検出装置は、さらに、前記複数の動きベクトル抽出領域のうちＬ（Ｌは２以上の整数）個の動きベクトル抽出領域からそれぞれ得られたＬ個の領域動きベクトルの相互の違いを示すすべての値が予め定められた第１閾値の範囲内である場合、前記Ｌ個の動きベクトル抽出領域を１個の動きベクトル抽出領域として、前記Ｌ個の領域動きベクトルを１個の領域動きベクトルに限定する領域動きベクトル限定部を備えてもよい。
【００６８】
これにより、探索範囲を必要最小限に抑えることができる。したがって、符号化効率を落とすことなく、メモリトラフィックが削減され、また、消費電力が削減される。
【００６９】
また、前記探索範囲設定部は、前記領域動きベクトル限定部により、前記対象ピクチャから得られるすべての領域動きベクトルがＮ（Ｎは自然数）個の領域動きベクトルに限定された場合、前記探索範囲が最大でＮ個の参照ピクチャに属するように前記探索範囲を設定してもよい。
【００７０】
これにより、対象ピクチャに対して符号化に用いられる参照ピクチャが限定され、より効率のよい動き探索が実現できる。
【００７１】
また、前記探索範囲設定部は、限定された前記領域動きベクトルに対応する限定される前の複数の領域動きベクトルの平均値が、予め定められた第２閾値より大きい場合、限定された前記領域動きベクトルに対して、それぞれ異なる２個の参照ピクチャに含まれる２個の探索範囲を設定してもよい。
【００７２】
これにより、移動量が大きい場合、前後両方の参照ピクチャを参照して処理を行うことができる。したがって、双方向予測の効果を得ることにより、符号化効率が向上する。
【００７３】
また、本発明による撮像システムは、前記動きベクトル検出装置と、画像光を画像信号に変換するセンサと、入射された画像光を前記センサ上に結像させる光学系と、前記画像信号をデジタルデータに変換して前記動きベクトル検出装置に出力するアナログデジタル変換器とを備える撮像システムでもよい。
【００７４】
これにより、メモリトラフィックが削減され、高画質かつ低電力における画像処理が実現できる。
【００７５】
また、本発明による信号処理システムは、前記動きベクトル検出装置と、入力されたアナログ値の画像信号をデジタルデータに変換して前記動きベクトル検出装置に出力するアナログデジタル変換器とを備える信号処理システムでもよい。
【００７６】
これにより、デジタル信号処理により、高い精度の動き探索を行う信号処理システムとして利用できる。
【発明の効果】
【００７７】
動画圧縮における最重要機能である動きベクトル検出において、ピクチャ内に存在する移動物体のそれぞれの動きに合わせた領域を個別に探索することができるため、動き探索の精度を向上させることができる。結果、符号化効率の向上にも繋がり、高画質化、および、長時間記録を実現できる。
【００７８】
また、メモリトラフィックを削減することができ、システムの小型化、および、省電力化の効果も期待できる。
【図面の簡単な説明】
【００７９】
【図１】図１は、実施の形態１における動きベクトル検出装置の構成図である。
【図２Ａ】図２Ａは、フレームに対する動きベクトル抽出領域を示す図である。
【図２Ｂ】図２Ｂは、第１動きベクトル抽出領域の対象画像を示す図である。
【図２Ｃ】図２Ｃは、第２動きベクトル抽出領域の対象画像を示す図である。
【図２Ｄ】図２Ｄは、第３動きベクトル抽出領域の対象画像を示す図である。
【図３】図３は、対象フレームの各領域動きベクトルを示す図である。
【図４】図４は、対象マクロブロックに対する各探索範囲を示す図である。
【図５】図５は、動きベクトル抽出領域の変形例を示す図である。
【図６】図６は、実施の形態１における動きベクトル検出方法を示すフローチャートである。
【図７Ａ】図７Ａは、実施の形態１の第１変形例における動きベクトル検出方法を示すフローチャートである。
【図７Ｂ】図７Ｂは、実施の形態１の第２変形例における動きベクトル検出方法を示すフローチャートである。
【図８】図８は、実施の形態２における動きベクトル検出装置の構成図である。
【図９】図９は、探索範囲の大きさが同じ場合の概念図である。
【図１０】図１０は、探索範囲の大きさが異なる場合の概念図である。
【図１１】図１１は、物体が動いている場合の概念図である。
【図１２Ａ】図１２Ａは、実施の形態２における探索範囲の第１の例を示す図である。
【図１２Ｂ】図１２Ｂは、実施の形態２における探索範囲の第２の例を示す図である。
【図１３】図１３は、実施の形態２における探索範囲の第３の例を示す図である。
【図１４】図１４は、実施の形態２における動きベクトル検出方法を示すフローチャートである。
【図１５】図１５は、実施の形態３における動きベクトル検出装置の構成図である。
【図１６Ａ】図１６Ａは、実施の形態３における動きベクトル抽出領域を示す図である。
【図１６Ｂ】図１６Ｂは、領域動きベクトルを限定するために用いられる閾値を示す図である。
【図１７Ａ】図１７Ａは、領域動きベクトルの第１の例を示す図である。
【図１７Ｂ】図１７Ｂは、領域動きベクトルの第２の例を示す図である。
【図１７Ｃ】図１７Ｃは、領域動きベクトルの第３の例を示す図である。
【図１８Ａ】図１８Ａは、動きが小さい場合の概念図である。
【図１８Ｂ】図１８Ｂは、動きが大きい場合の概念図である。
【図１９】図１９は、実施の形態３における動きベクトル検出方法を示すフローチャートである。
【図２０】図２０は、実施の形態４における撮像システムの構成図である。
【図２１】図２１は、全体の動きが共通する場合の概念図である。
【図２２Ａ】図２２Ａは、全体の動きが共通する場合の探索範囲の第１の例を示す図である。
【図２２Ｂ】図２２Ｂは、全体の動きが共通する場合の探索範囲の第２の例を示す図である。
【図２３】図２３は、全体の動きが共通していない場合の概念図である。
【図２４Ａ】図２４Ａは、全体の動きが共通していない場合の探索範囲の第１の例を示す図である。
【図２４Ｂ】図２４Ｂは、全体の動きが共通していない場合の探索範囲の第２の例を示す図である。
【図２５】図２５は、複数の参照ピクチャを用いる場合の探索範囲の例を示す図である。
【発明を実施するための形態】
【００８０】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の各実施の形態の説明において、一度説明した構成要素と、同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００８１】
（実施の形態１）
図１は、本発明の実施の形態１における動きベクトル検出装置の構成図である。
【００８２】
図１に示された動きベクトル検出装置１００は、領域動きベクトル決定部１１０、探索範囲設定部１１１および動き探索実行部１１２を備える。さらに、動きベクトル検出装置１００は、対象画像一時記憶部１１３、参照画像一時記憶部１１４、特定物検出部１１５および手ブレ補正部１１６のうち一部または全部を備えてもよい。
【００８３】
領域動きベクトル決定部１１０は、フレームに含まれる複数の領域である動きベクトル抽出領域（以下、「抽出領域」とも呼ぶ）の設定情報１２１を受け付け、対象フレームにおける複数の抽出領域を決定する。そして、対象フレーム内の抽出領域に属する画像（以下、「対象画像」とも呼ぶ）、および、参照フレーム内の画像（以下、「参照画像」とも呼ぶ）を使用して、抽出領域毎に、抽出領域の動きベクトルを示す領域動きベクトルを求める。
【００８４】
例えば、抽出領域は、図２Ａに示すようにフレーム１３１の左側部分（第１抽出領域１３２）、中央部分（第２抽出領域１３３）および右側部分（第３抽出領域１３４）という計３個の領域である。抽出領域は、予め定められた領域であってもよいし、設定情報１２１により定められた領域であってもよい。また、対象フレームに応じて、適応的に定められた領域であってもよい。
【００８５】
図２Ｂに示すような対象フレーム１４１内の第１抽出領域１３２の対象画像１３６と、参照フレーム内の第１抽出領域１３２の参照画像とを用いて、第１抽出領域１３２の領域動きベクトルを求める。同様に、図２Ｃに示すような第２抽出領域１３３の対象画像１３７と参照画像とを用いて、第２抽出領域１３３の領域動きベクトルを求める。さらに、図２Ｄに示すような第３抽出領域１３４にある対象画像１３８と参照画像とを用いて、第３抽出領域１３４の領域動きベクトルを求める。
【００８６】
この領域動きベクトルは、例えば、対象画像と参照画像のブロックマッチングをとり両画像の差分（差分絶対値和）が小さい点を算出することで、決定される。この際、対象画像をｍ×ｎ画素（ｍ、ｎは自然数）単位の領域に分け、その領域単位でブロックマッチングをとりローカルベクトルを求め、その複数のローカルベクトルの平均値を算出して、抽出領域の領域動きベクトルとしてもよい。また、対象画像と参照画像を縮小し、その縮小した両画像に対してブロックマッチング処理を行い領域動きベクトルとしてもよい。また、領域動きベクトル決定部１１０は、手ブレ補正部１１６より領域動きベクトルを取得してもよい。
【００８７】
このようにして、第１抽出領域１３２、第２抽出領域１３３および第３抽出領域１３４の各領域におけるそれぞれの領域動きベクトルを求める。
【００８８】
探索範囲設定部１１１は、領域動きベクトル決定部１１０により求められた各抽出領域の領域動きベクトルを受け取る。探索範囲設定部１１１は、その領域動きベクトルを用いて、動き探索に使用する参照画像の範囲である探索範囲を決定する。
【００８９】
例えば、各抽出領域において、図３に示すような第１領域動きベクトル１４５、第２領域動きベクトル１４６および第３領域動きベクトル１４７がそれぞれ算出される。それらの領域動きベクトルを用いて、図４のように各探索範囲の設定を行う。図４には、第１参照フレーム１５２、第２参照フレーム１５３および第３参照フレーム１５４の３フレームを参照して処理を行う場合が示されている。
【００９０】
探索範囲設定部１１１は、第１参照フレーム１５２内の画素で構成される第１探索範囲１５５を、第１抽出領域１４２で求められた第１領域動きベクトル１４５を用いて設定する。
【００９１】
なお、各領域動きベクトルが１フレーム間の動きを示すベクトルである場合、対象フレーム１４１から第１参照フレーム１５２までは、２フレーム離れている（以下、時間的に前の方向にｐフレーム離れている場合は、フレーム距離がｐフレーム、また、後の方向にｑフレーム離れている場合は、フレーム距離が−ｑフレームとして説明に使用する）ため、探索範囲設定部１１１は、第１領域動きベクトル１４５を２倍し、そのベクトルだけシフトした位置を第１探索範囲１５５として設定する。
【００９２】
同様に、第２参照フレーム１５３内の画素で構成する第２探索範囲１５６は、第２抽出領域１４３で求めた第２領域動きベクトル１４６を用いて設定される。この場合のフレーム距離は１フレームであるため、探索範囲設定部１１１は、第２領域動きベクトル１４６の値だけシフトした位置を第２探索範囲１５６として設定する。
【００９３】
また、第３参照フレーム１５４内の画素で構成する第３探索範囲１５７は、第３抽出領域１４４で求めた第３領域動きベクトル１４７を用いて設定される。この場合のフレーム距離は−１フレームであるため、探索範囲設定部１１１は、第３領域動きベクトル１４７を−１倍し、そのベクトルだけシフトした位置を第３探索範囲１５７として設定する。
【００９４】
設定が完了すると、探索範囲設定部１１１は、マクロブロック単位毎に、符号化する際に必要となる対象画像１２２を外部バッファから対象画像一時記憶部１１３に転送する。また、探索範囲設定部１１１は、決定した探索範囲にある参照画像１２３を外部バッファから参照画像一時記憶部１１４に転送する。
【００９５】
対象画像に対して参照画像は大きな領域をとる。また、異なるマクロブロックを処理する際でも、動き探索実行部１１２は、同じ参照画像を使用して動き探索を行うことがある。このため、探索範囲設定部１１１が、マクロブロック毎に、すべての参照画像を参照画像外部バッファから参照画像一時記憶部１１４に転送すると転送効率が低下する。よって、探索範囲設定部１１１は、参照画像が今後の動き探索で必要とされる間、参照画像を参照画像一時記憶部１１４内で記憶しておき、不要になると参照画像一時記憶部１１４から削除することで、転送効率を高めてもよい。
【００９６】
なお、対象画像一時記憶部１１３および参照画像一時記憶部１１４は、動き探索実行部１１２による動き探索に用いられる。しかし、動き探索実行部１１２が直接外部バッファを参照する場合、対象画像一時記憶部１１３および参照画像一時記憶部１１４は不要である。
【００９７】
次に、探索範囲設定部１１１は、決定した探索範囲の情報を動き探索実行部１１２にも送る。
【００９８】
動き探索実行部１１２は、探索範囲設定部１１１により設定された探索範囲の情報と、対象画像一時記憶部１１３、および、参照画像一時記憶部１１４から得られる動き探索に必要な画像とを用いて動き探索を実行する。第１抽出領域１４２にある符号化対象マクロブロック１５１を処理する場合、第１探索範囲１５５、第２探索範囲１５６および第３探索範囲１５７のうちすべての領域を使用して動き探索を実行する。
【００９９】
同様に、動き探索実行部１１２は、符号化対象マクロブロック１５１が第２抽出領域１４３または第３抽出領域１４４にある場合も、第１探索範囲１５５、第２探索範囲１５６および第３探索範囲１５７のうちすべての領域を使用して動き探索を実行する。
【０１００】
あるいは、動き探索実行部１１２は、第１抽出領域１４２にある符号化対象マクロブロック１５１を処理する場合、第１探索範囲１５５のみを対象として、動き探索を実行してもよい。同様に、第２抽出領域１４３にある対象マクロブロックについては第２探索範囲１５６のみを対象として、また、第３抽出領域１４４にある対象マクロブロックについては第３探索範囲１５７のみを対象として、動き探索を実行してもよい。
【０１０１】
これにより、第１抽出領域１４２の第１領域動きベクトル１４５をもとにシフトした第１探索範囲１５５から、対象画像に似た参照画像を検出できる。同様に、第２抽出領域１４３にある対象マクロブロックについては第２探索範囲１５６から、また、第３抽出領域１４４にある対象マクロブロックについては第３探索範囲１５７から検出することができる。そして、動き探索実行部１１２は、動きベクトル１２４を出力する。
【０１０２】
従来では、図２３に示すように、フレーム内にある複数の物体が異なる方向に移動していた場合では、領域動きベクトルの精度も高くなく、また、このベクトルをもとに設定する探索範囲も適切ではない（探索範囲内に検出したい対象マクロブロックと似た画像が見当たらない）場合があった。
【０１０３】
しかし、本実施の形態に記載の方法を使用すれば、フレーム内に異なる動きをする物体があった場合でも、抽出領域毎に領域動きベクトルを算出することで、より細かな探索範囲の設定が可能になる。したがって、探索範囲内に検出したい対象マクロブロックと似た画像を検出できる率を向上させることができる。よって、画像が効率よく符号化され、高画質な画像が記録される。
【０１０４】
また、領域動きベクトル決定部１１０は、図５のように、フレーム内に複数ある抽出領域の内、必ず１個の抽出領域がフレームの中心を含むように、抽出領域を決定してもよい。決定された抽出領域は、互いに重なる領域があってもよいし、隙間があってもよい。図５に示された例では、対象フレーム１６１に第１抽出領域１６２、第２抽出領域１６３、第３抽出領域１６４、第４抽出領域１６５および第５抽出領域１６６の計５個の抽出領域が設定されている。そして、第３抽出領域１６４は、フレームの中心を含んでいる。
【０１０５】
例えば、カメラ等のアプリケーションにおいては、撮影している注目画像がフレームの中央に存在することが多く、この第３抽出領域１６４の領域動きベクトルを用いてシフトした探索範囲には、注目画像に似た参照画像がある可能性が高い。このようにすることで、適切な参照画像を検出できるため、注目画像における高画質化にも繋がる。
【０１０６】
その他に、予め注目画像のフレーム内の位置が分かっているアプリケーションであれば、その位置を含むような抽出領域を設定し、その領域動きベクトルを用いた探索範囲の設定を行うことも効果的である。
【０１０７】
さらに、特定物を認識する検出装置、例えば、人物の顔を検出する顔検出装置を備えることで、事前に人物の顔の位置を特定し、その位置を含むような抽出領域を設定してもよい。そのような抽出領域から領域動きベクトルを決定することにより、特定物の動きに応じた探索範囲の設定を効果的に行える。
【０１０８】
また、各抽出領域の大きさは均等であってもよいし、均等でなくてもよい。
【０１０９】
また、領域動きベクトル決定部１１０は、フレームの一部の領域を対象として抽出領域を決定してもよい。すなわち、フレームにおいて、抽出領域に含まれない領域があってもよい。または、領域動きベクトル決定部１１０は、フレームのすべての領域を対象として抽出領域を決定してもよい。
【０１１０】
また、抽出領域の大きさは、マクロブロックの大きさと同じであってもよい。このような場合であっても、複数の抽出領域から領域動きベクトルを算出することで、より細かな探索範囲の設定が可能になる。
【０１１１】
領域動きベクトルは、符号化対象フレームを符号化する前に、符号化対象フレーム内にある抽出領域の対象画像と参照画像とを使用することにより、算出される。
【０１１２】
すなわち、領域動きベクトル決定部１１０は、対象画像を抽出領域より小さい１個または複数のブロックに分割し、そのブロック単位でのブロックマッチングにより、１個または複数の動きベクトルであるローカルベクトルを算出する。そして、それらのローカルベクトルの、例えば平均を算出することで、領域動きベクトルを求めることができる。その際、対象画像および参照画像に対して、それぞれを縮小するズーム処理、または、それぞれの画素の間引きを行うことにより情報量を削減した後、ブロックマッチングを行うことで、処理量を削減して実行することもできる。
【０１１３】
また、領域動きベクトルは、既に符号化が完了したマクロブロックから、算出されてもよい。すなわち、領域動きベクトル決定部１１０は、その符号化フレーム内の抽出領域にある符号化されたマクロブロックから複数の動きベクトル（ローカルベクトル）を取得し、取得されたローカルベクトルから算出された値を抽出領域の領域動きベクトルとしてもよい。
【０１１４】
また、動画像はフレームの相関が高いため、領域動きベクトル決定部１１０は、フレーム距離が近い位置にある領域動きベクトルの情報を流用することもできる。これにより、上述したような符号化フレームと参照フレームを使用した事前の領域動きベクトル算出を行う必要がなく、処理量を削減して効率よく領域動きベクトルを算出することができる。
【０１１５】
図６は、実施の形態１における動きベクトル検出方法を示すフローチャートである。
【０１１６】
まず、領域動きベクトル決定部１１０は、対象ピクチャから複数の抽出領域を決定し、抽出領域の動きを示す領域動きベクトルを抽出領域毎に求める（Ｓ１０１）。
【０１１７】
次に、探索範囲設定部１１１は、対象マクロブロックの位置と抽出領域毎に決定された領域動きベクトルとにより定められる各領域をそれぞれ探索範囲として設定する（Ｓ１０２）。
【０１１８】
次に、動き探索実行部１１２は、設定されたそれぞれの探索範囲を対象として動き探索を実行することにより、対象マクロブロックの動きベクトルを検出する（Ｓ１０３）。
【０１１９】
これにより、抽出領域毎に異なる動きを示す対象フレームに対しても、動き探索の精度が向上する。
【０１２０】
図７Ａは、実施の形態１の第１変形例における動きベクトル検出方法を示すフローチャートである。
【０１２１】
まず、特定物検出部１１５は、対象フレームにおける特定物の位置を検出する（Ｓ１１１）。
【０１２２】
次に、領域動きベクトル決定部１１０は、検出された位置が少なくとも１個の抽出領域に含まれるように、複数の抽出領域を決定し、抽出領域毎の領域動きベクトルを求める（Ｓ１０１）。
【０１２３】
以降の処理は、図６と同様である。
【０１２４】
これにより、特定物と同様の動きをする部分について、動き探索の精度が向上する。
【０１２５】
図７Ｂは、実施の形態１の第２変形例における動きベクトル検出方法を示すフローチャートである。
【０１２６】
まず、手ブレ補正部１１６は、対象フレームの動きを検出する（Ｓ１１２）。
【０１２７】
次に、領域動きベクトル決定部１１０は、検出された動きを用いて、抽出領域毎の領域動きベクトルを求める（Ｓ１０１）。
【０１２８】
以降の処理は、図６と同様である。
【０１２９】
これにより、過去に符号化したピクチャの動きベクトル情報（参照ピクチャの動きベクトル情報）ではなく、より新しいピクチャの動きベクトル情報（対象ピクチャ自身の動きベクトル情報）を使って抽出領域毎の領域動きベクトルが設定できるため、動き探索の精度が向上する。
【０１３０】
以上のように、実施の形態１における動きベクトル検出方法および動きベクトル検出装置は、複数の領域動きベクトルから得られる探索範囲を対象として動き探索を実行する。これにより、複数の物体が異なる方向に移動する場合においても、高精度の動き探索を実現する。
【０１３１】
（実施の形態２）
図８は、本発明の実施の形態２における動きベクトル検出装置の構成図である。
【０１３２】
図８に示された動きベクトル検出装置２００は、領域動きベクトル決定部１１０、探索範囲設定部１１１、探索範囲調整部２３１および動き探索実行部１１２を備える。さらに、動きベクトル検出装置２００は、対象画像一時記憶部１１３および参照画像一時記憶部１１４のうち一部または全部を備えてもよい。
【０１３３】
探索範囲調整部２３１は、探索範囲設定部１１１により設定された探索範囲の情報と、領域動きベクトル決定部１１０により決定された領域動きベクトルの情報とを元に探索範囲を調整する。
【０１３４】
動き探索実行部１１２は、探索範囲調整部２３１により調整された探索範囲を対象として動き探索を実行する。
【０１３５】
その他の部分は実施の形態１と同様である。
【０１３６】
次に、探索範囲調整部２３１の具体的な動作を説明する。
【０１３７】
参照画像一時記憶部１１４には、１マクロブロック分の動き探索を実行する際に必要な参照画像が格納されている。例えば、図４のように、探索範囲が３個ある場合、図９のように、参照画像は、参照画像一時記憶部１１４内の記憶領域２４５を均等に３個の領域に分け、それぞれに格納されている。動き探索実行部１１２は、そこから各探索範囲の参照画像を読み出し動き探索を実行する。
【０１３８】
すなわち、対象フレーム１４１に対して、第１参照フレーム１５２、第２参照フレーム１５３および第３参照フレーム１５４の３個の参照フレームがある場合に、それぞれに対応する、第１探索範囲１５５、第２探索範囲１５６および第３探索範囲１５７の参照画像は、それぞれ、第１領域２４６、第２領域２４７および第３領域２４８に格納される。
【０１３９】
ここで、ある領域動きベクトルが複数のローカルベクトルから算出されている場合、その複数のローカルベクトルの分散（以下、「ベクトル分散」とも呼ぶ）を求めることができる。そして、ベクトル分散が小さい場合、該当する抽出領域に存在する複数の物体が一律に同じ方向に動いている可能性が高い。この場合、あまり広範囲を探索する必要がない。一方、ベクトル分散が大きい場合、該当する抽出領域に存在する複数の物体が異なる方向に動いている可能性が高い。この場合、広範囲を探索する必要がある。
【０１４０】
すなわち、探索範囲調整部２３１は、第１探索範囲１５５、第２探索範囲１５６および第３探索範囲１５７を設定する際に使用された第１領域動きベクトル１４５、第２領域動きベクトル１４６および第３領域動きベクトル１４７に対応する第１ベクトル分散、第２ベクトル分散および第３ベクトル分散を比較する。そして、例えば、比較した結果が式１のようになる場合、探索範囲調整部２３１は、式２に示すように、探索範囲の大きさを調整する。
【０１４１】
第１ベクトル分散  ＜  第２ベクトル分散  ＜  第３ベクトル分散    （式１）
第１探索範囲１５５  ＜  第２探索範囲１５６  ＜  第３探索範囲１５７    （式２）
【０１４２】
図１０は、探索範囲の大きさが異なる場合における探索範囲と記憶領域との関係を示す概念図である。第３探索範囲１５７の参照画像を格納する第３領域２４８は大きくなり、第１探索範囲１５５の参照画像を格納する第１領域２４６は小さくなる。
【０１４３】
これにより、あまり広範囲な領域を探索する必要がない第１探索範囲１５５は狭められ、広範囲な領域を探索する必要がある第３探索範囲１５７は広げられる。さらに、参照画像一時記憶部１１４内の記憶領域２４５において、第３領域２４８を大きくすることで、第３探索範囲１５７の探索範囲の拡大が実現でき、動き探索の検出率が上昇する。
【０１４４】
また、同一の抽出領域内にあるにも関わらず異なる方向に移動している複数の物体は、対象フレームから離れた参照フレームになるほど、より離れた位置に存在することになる。図１１を用いて説明すると、図１１では、抽出領域２６２にある第１物体２６３と第２物体２６４は、異なる方向に移動している。その物体間の距離は、対象フレーム２６１内の第１物体２６３と第２物体２６４との距離Ｄ０より、第２参照フレーム２６６内の物体間の距離Ｄ２の方が離れている。また、距離Ｄ２より、第１参照フレーム２６５内の物体間の距離Ｄ１の方が、離れている（Ｄ０＜Ｄ２＜Ｄ１）。このように異なる方向に動いている場合、フレーム距離が近いフレームから探索する方が検出率は向上する。
【０１４５】
同一の抽出領域内にある物体が異なる方向に動いているか否かについては、上述したベクトル分散を用いて判定することができる。そして、図１２Ａおよび図１２Ｂに示すようにベクトル分散が大きい方に対応する領域動きベクトルを、フレーム距離が近い参照フレームに割り当てることで、探索性能を向上させることができる。
【０１４６】
図１２Ａは、第１領域動きベクトル２７４に対応する第１ベクトル分散が、第２領域動きベクトル２７５に対応する第２ベクトル分散より小さい、または、第２ベクトル分散と等しい場合の領域動きベクトルと参照フレームとの関係を示す図である。
【０１４７】
対応するベクトル分散が小さい第１領域動きベクトル２７４は、対象フレーム２７１から、より遠い第１参照フレーム２７２の探索範囲の設定に用いられる。対応するベクトル分散が大きい第２領域動きベクトル２７５は、対象フレーム２７１から、より近い第２参照フレーム２７３の探索範囲の設定に用いられる。
【０１４８】
図１２Ｂは、第１領域動きベクトル２７４に対応する第１ベクトル分散が、第２領域動きベクトル２７５に対応する第２ベクトル分散より大きい場合の領域動きベクトルと参照フレームとの関係を示す図である。この場合、図１２Ａで示された領域動きベクトルと参照フレームとの関係は、反対になる。
【０１４９】
また、ベクトル分散がともに非常に大きいとき、例えば閾値（分散閾値）よりベクトル分散値が大きいときは、そのベクトル分散から設定する探索範囲に関しては、図１３に示すように最も近い参照フレームから探索範囲を設定して処理を行うことも可能である。
【０１５０】
図１３は、第１領域動きベクトル２７４に対応する第１ベクトル分散、および、第２領域動きベクトル２７５に対応する第２ベクトル分散が、分散閾値より大きい場合の領域動きベクトルと参照フレームとの関係を示す図である。
【０１５１】
このように、各探索範囲は、必ず異なる参照フレームにおいて設定される事に限定されない。
【０１５２】
なお、本実施の形態においては、探索範囲調整部２３１が、ベクトル分散を用いて探索範囲の領域の切り替え、および、参照フレームの切り替えを行う例を示したが、動きベクトルの大きさ（動きベクトルの絶対値）にて切り替えることも可能である。動きベクトルの大きさとは、抽出領域における物体の移動量を表し、ローカルベクトルの大きさの和であってもよいし、領域動きベクトルの大きさであってもよい。
【０１５３】
物体の移動量を表す動きベクトルは、値が大きい程、対象フレームから参照フレームに対して物体が大きく移動するため、動き探索が行い難くなる。よって、探索範囲調整部２３１は、ベクトル分散と同様に、動きベクトルの大きさに応じて、探索範囲の領域の切り替え、および、参照フレームの切り替えを行うことも可能である。
【０１５４】
探索範囲調整部２３１は、探索範囲の領域の切り替え、および、参照フレームの切り替えにより、探索範囲を調整する。
【０１５５】
本実施の形態に記載した複数の参照フレームに関しては、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等のＰスライス符号化の際の複数フレーム参照だけではなく、Ｂスライスにおける参照関係にも活用できるのは言うまでもない。
【０１５６】
なお、抽出領域に関して、複数の抽出領域に対し、一部、同じ領域を設定することも可能であるし、全く異なる領域を設定することも可能である。
【０１５７】
図１４は、実施の形態２における動きベクトル検出方法を示すフローチャートである。
【０１５８】
まず、領域動きベクトル決定部１１０は、対象ピクチャから複数の抽出領域を決定し、抽出領域の動きを示す領域動きベクトルを抽出領域毎に求める（Ｓ２０１）。
【０１５９】
次に、探索範囲設定部１１１は、対象マクロブロックの位置と抽出領域毎に決定された領域動きベクトルとにより定められる各領域をそれぞれ探索範囲として設定する（Ｓ２０２）。
【０１６０】
次に、探索範囲調整部２３１は、抽出領域毎の動き情報に基づいて、探索範囲を調整する（Ｓ２０３）。例えば、領域動きベクトルを求めるときに用いられたローカルベクトルの分散が大きい場合または領域動きベクトルが大きい場合、探索範囲調整部２３１は、探索範囲を拡大する。または、領域動きベクトルを求めるときに用いられたローカルベクトルの分散が大きい場合、探索範囲調整部２３１は、探索範囲が時間的に近い参照フレームに属するように、探索範囲を調整する。
【０１６１】
次に、動き探索実行部１１２は、調整されたそれぞれの探索範囲を対象として動き探索を実行することにより、対象マクロブロックの動きベクトルを検出する（Ｓ２０４）。
【０１６２】
これにより、適応的に調整された探索範囲を対象として、動き探索を実行するため、動き探索の精度が向上する。
【０１６３】
（実施の形態３）
図１５は、本発明の実施の形態３における動きベクトル検出装置の構成図である。
【０１６４】
図１５に示された動きベクトル検出装置３００は、領域動きベクトル決定部１１０、領域動きベクトル限定部３３２、探索範囲設定部１１１および動き探索実行部１１２を備える。さらに、動きベクトル検出装置３００は、対象画像一時記憶部１１３および参照画像一時記憶部１１４のうち一部または全部を備えてもよい。
【０１６５】
領域動きベクトル限定部３３２は、領域動きベクトル決定部１１０により決定された領域動きベクトルの情報を元に領域動きベクトルを限定する機能が追加されている。これにより、抽出領域および探索範囲が大括りされる。
【０１６６】
探索範囲設定部１１１は、限定された領域動きベクトルにより探索範囲を設定する。
【０１６７】
その他の部分は実施の形態１と同様である。
【０１６８】
次に、領域動きベクトル限定部３３２の具体的な動作を説明する。
【０１６９】
実施の形態３では、図１６Ａに示すように抽出領域がフレーム３４１の上側（第１抽出領域３４２）、中央（第２抽出領域３４３）および下側（第３抽出領域３４４）と設定されている。また、実施の形態３では、図１６Ｂに示すように抽出領域の大括り化の閾値Ａが水平方向に対して２０、および、垂直方向に対して１０と設定されている。また、探索範囲を追加するための閾値Ｂが水平方向に対して１２０、および、垂直方向に対して６０と設定されている。
【０１７０】
領域動きベクトルが図１７Ａの状態であった場合、第１抽出領域３４２、第２抽出領域３４３および第３抽出領域３４４のすべての領域動きベクトルが水平方向および垂直方向ともに閾値Ａの範囲に収まっていない。よって、領域動きベクトルは限定されず、探索範囲も大括りされない。
【０１７１】
領域動きベクトルが図１７Ｂの状態であった場合、領域動きベクトルが水平方向および垂直方向ともに閾値Ａの範囲に収まっている。よって、抽出領域を１個に大括り化し、領域動きベクトルは、１個に限定される。この時、大括り化した抽出領域の領域動きベクトルの値は各領域動きベクトルの平均値でもよい。この場合、領域動きベクトルは、水平方向＝３０、垂直方向＝２０である。これにより、探索範囲は１個に大括りされる。
【０１７２】
実施の形態１における動きベクトル検出装置は、３個の抽出領域があれば、最大で３枚のピクチャに対して動き探索を行う。
【０１７３】
しかし、本実施の形態では、抽出領域を大括り化することで動き探索対象ピクチャを１枚に低減できる。これにより、参照画像へのアクセスのためのメモリトラフィックを低減でき、装置の消費電力を低減することができる。
【０１７４】
また、例えば、Ｈ．２６４では参照フレームが１個の場合、スライスヘッダのｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、および、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１が０になるため、ｍｂ＿ｐｒｅｄ（）において、ｒｅｆ＿ｉｄｘ＿ｌ０［ｍｂＰａｒｔＩｄｘ］、および、ｒｅｆ＿ｉｄｘ＿ｌ１［ｍｂＰａｒｔＩｄｘ］の符号化を省略することができる。したがって、符号化効率も改善できる。
【０１７５】
領域動きベクトルが、図１７Ｃの状態であった場合は、領域動きベクトルが水平方向および垂直方向ともに閾値Ａの範囲に収まっているため、抽出領域を１個に大括り化することができる。しかし、水平方向および垂直方向ともに探索範囲を追加するための閾値Ｂの範囲を超えているため、探索範囲は２となる。
【０１７６】
上記のように、領域動きベクトルが閾値Ｂより大きい場合は、パンまたはチルトをしている事が想定される。したがって、各領域動きベクトルが同じ様な値であっても、２個以上の参照ピクチャに含まれる２個以上の探索範囲で動き探索を行う方が、符号化効率が良くなる。例えば、Ｂピクチャであれば前方参照フレームおよび後方参照フレームを参照することで、パンまたはチルトをしたときの画像においても符号化効率を落とさずに済む。
【０１７７】
具体的には図１８Ａおよび図１８Ｂを用いて説明する。
【０１７８】
図１８Ａでは、対象フレーム３５１の第１抽出領域３４２、第２抽出領域３４３および第３抽出領域３４４の領域動きベクトルが同じ様な値であり、各領域動きベクトルのスカラー値は小さい。そのため、後方参照フレーム３５３を参照せず、前方参照フレーム３５２だけを参照して符号化を行っても符号化効率を落とすことはない。
【０１７９】
一方、図１８Ｂでは、対象フレーム３５４の第１抽出領域３４２、第２抽出領域３４３および第３抽出領域３４４の領域動きベクトルが同じ様な値であり、各領域動きベクトルのスカラー値は大きい。すなわち、図１８Ｂでは、フレーム全体が右から左にパンしている。
【０１８０】
同図の場合、前方参照フレーム３５５には存在しない物体（家）が後方参照フレーム３５６には存在しており、前方参照フレーム３５５に存在する物体（自動車）が後方参照フレーム３５６には存在していない。このような場合、前方あるいは後方のみのフレームを参照するだけでは符号化効率が悪くなってしまうため、両方のフレームを用いた符号化を行う必要がある。
【０１８１】
図１９は、実施の形態３における動きベクトル検出方法を示すフローチャートである。
【０１８２】
まず、領域動きベクトル決定部１１０は、対象ピクチャから複数の抽出領域を決定し、抽出領域の動きを示す領域動きベクトルを抽出領域毎に求める（Ｓ３０１）。
【０１８３】
次に、領域動きベクトル限定部３３２は、複数の抽出領域から導出された各領域動きベクトルの相互の差を示す値が閾値の範囲内であれば、複数の抽出領域から導出された各領域動きベクトルを１個の領域動きベクトルに限定する（Ｓ３０２）。
【０１８４】
次に、探索範囲設定部１１１は、対象マクロブロックの位置と限定された各領域動きベクトルとにより定められる領域をそれぞれ探索範囲として設定する（Ｓ３０３）。
【０１８５】
次に、動き探索実行部１１２は、設定されたそれぞれの探索範囲を対象として動き探索を実行することにより、対象マクロブロックの動きベクトルを検出する（Ｓ３０４）。
【０１８６】
これにより、抽出領域毎に異なる動きを示す対象フレームに対しても、動き探索の精度が向上する。さらに、効果的に探索範囲が制限される。
【０１８７】
上述のように、実施の形態１における動きベクトル検出方法では、複数の抽出領域で領域動きベクトルが同じ様な値の場合でも、複数の探索範囲を設定する。そのため、不要な動き探索を行う場合がある。
【０１８８】
しかし、本実施の形態に記載の方法を使用すれば、領域動きベクトルが同じ様な値の場合は、不要な動き探索を抑えることができるため、動きベクトル検出装置の消費電力を抑えることができ、さらに符号化効率も改善できる。
【０１８９】
このように、本実施の形態では、適応的に探索範囲を制限することで、高効率符号化と消費電力削減の両立を図ることができる。
【０１９０】
（実施の形態４）
図２０は、本発明の実施の形態４に係る撮像システム６０１、例えばデジタルスチルカメラ（ＤＳＣ）の構成を示すブロック図である。図２０における動きベクトル検出装置６０６は、上記本発明の実施の形態１〜３に係る動きベクトル検出装置のいずれかである。
【０１９１】
図２０によれば、光学系６０２を通って入射した画像光は、センサ６０３上に結像される。センサ６０３は、タイミング制御回路６０９によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ６０３から読み出された電気信号は、アナログデジタル変換器（ＡＤＣ）６０４によってデジタル信号へと変換された後に、当該動きベクトル検出装置６０６を含む画像処理回路６０５に入力される。この画像処理回路６０５においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、および、本発明を用いた動きベクトル検出等の画像処理が行われる。画像処理された信号は、記録転送回路６０７においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路６０８により再生される。この撮像システム６０１の全体は、システム制御回路６１０によって制御されている。
【０１９２】
なお、本発明に係る動きベクトル検出装置６０６における画像処理は必ずしも光学系６０２を介してセンサ６０３に結像された画像光に基づく信号のみに適用されるものではない。例えば、外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。
【０１９３】
また、本実施の形態に示された任意の構成要素と動きベクトル検出装置６０６との組み合わせは、動き探索を実行する信号処理システムとして、利用することができる。
【０１９４】
以上、本発明に係る動きベクトル検出方法および動きベクトル検出装置について、実施の形態１〜４に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０１９５】
また、本発明は、動きベクトル検出方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体として実現できる。
【０１９６】
なお、上記に記載のフレームは、フィールドを含む概念である。また、フレームおよびフィールドは、ピクチャとも呼ばれる。
【産業上の利用可能性】
【０１９７】
本発明に係る動きベクトル方法は、高性能な動き探索を実現することができるため、高画質化および長時間記録が求められる撮像システム等に、非常に有用な技術である。また、参照フレームを限定することでメモリトラフィックの削減および省電力化も実現することができ、モバイル系の撮像システムにも有用な技術である。
【符号の説明】
【０１９８】
１００、２００、３００、６０６  動きベクトル検出装置
１１０  領域動きベクトル決定部
１１１  探索範囲設定部
１１２  動き探索実行部
１１３  対象画像一時記憶部
１１４  参照画像一時記憶部
１１５  特定物検出部
１１６  手ブレ補正部
１２１  設定情報
１２２、１３６、１３７、１３８  対象画像
１２３  参照画像
１２４、８１６、８１７、８３６、８３７  動きベクトル
１３１、３４１  フレーム
１３２、１４２、１６２、３４２  第１動きベクトル抽出領域（第１抽出領域）
１３３、１４３、１６３、３４３  第２動きベクトル抽出領域（第２抽出領域）
１３４、１４４、１６４、３４４  第３動きベクトル抽出領域（第３抽出領域）
１４１、１６１、２６１、２７１、３５１、３５４、８１１、８３１、８４１  対象フレーム
１４５、２７４  第１領域動きベクトル
１４６、２７５  第２領域動きベクトル
１４７  第３領域動きベクトル
１５１、８２１  符号化対象マクロブロック（対象マクロブロック）
１５２、２６５、２７２、８４２  第１参照フレーム
１５３、２６６、２７３、８４３  第２参照フレーム
１５４、８４４  第３参照フレーム
１５５、８４６  第１探索範囲
１５６、８４７  第２探索範囲
１５７、８４８  第３探索範囲
１６５  第４動きベクトル抽出領域（第４抽出領域）
１６６  第５動きベクトル抽出領域（第５抽出領域）
２３１  探索範囲調整部
２４５  記憶領域
２４６  第１領域
２４７  第２領域
２４８  第３領域
２６２  動きベクトル抽出領域（抽出領域）
２６３、８１３、８３３  第１物体
２６４、８１４、８３４  第２物体
３３２  領域動きベクトル限定部
３５２、３５５  前方参照フレーム
３５３、３５６  後方参照フレーム
６０１  撮像システム
６０２  光学系
６０３  センサ
６０４  アナログデジタル変換器（ＡＤＣ）
６０５  画像処理回路
６０７  記録転送回路
６０８  再生回路
６０９  タイミング制御回路
６１０  システム制御回路
８１２、８３２  参照フレーム
８１５、８３５、８４５  グローバルベクトル
８２２  位置
８２３  範囲
８２４  探索範囲
【図１】
2011114493.tif 000003
【図２Ａ】
2011114493.tif 000004
【図２Ｂ】
2011114493.tif 000005
【図２Ｃ】
2011114493.tif 000006
【図２Ｄ】
2011114493.tif 000007
【図３】
2011114493.tif 000008
【図４】
2011114493.tif 000009
【図５】
2011114493.tif 000010
【図６】
2011114493.tif 000011
【図７Ａ】
2011114493.tif 000012
【図７Ｂ】
2011114493.tif 000013
【図８】
2011114493.tif 000014
【図９】
2011114493.tif 000015
【図１０】
2011114493.tif 000016
【図１１】
2011114493.tif 000017
【図１２Ａ】
2011114493.tif 000018
【図１２Ｂ】
2011114493.tif 000019
【図１３】
2011114493.tif 000020
【図１４】
2011114493.tif 000021
【図１５】
2011114493.tif 000022
【図１６Ａ】
2011114493.tif 000023
【図１６Ｂ】
2011114493.tif 000024
【図１７Ａ】
2011114493.tif 000025
【図１７Ｂ】
2011114493.tif 000026
【図１７Ｃ】
2011114493.tif 000027
【図１８Ａ】
2011114493.tif 000028
【図１８Ｂ】
2011114493.tif 000029
【図１９】
2011114493.tif 000030
【図２０】
2011114493.tif 000031
【図２１】
2011114493.tif 000032
【図２２Ａ】
2011114493.tif 000033
【図２２Ｂ】
2011114493.tif 000034
【図２３】
2011114493.tif 000035
【図２４Ａ】
2011114493.tif 000036
【図２４Ｂ】
2011114493.tif 000037
【図２５】
2011114493.tif 000038