(57)【特許請求の範囲】
【請求項１】
時間的に画面が連続する入力画像を複数のブロックに分割する手段と、上記ブロックのそれぞれのアクティビティを検出し、時間的に連続する２フレームに含まれ、空間的に同一位置の上記アクティビティの画面間の差を、上記ブロックごとにしきい値と比較し、上記差が上記しきい値よりも大きい場合を動きブロックと上記ブロックごとに判定し、静止／動きを示すフラグを上記ブロックごとに発生する検出手段と、
上記検出手段からのあるフレームにおける複数の上記フラグのパターンと１フレーム前のフレームにおける複数の上記フラグのパターンとのマッチングをとることによって、画面全体の動きを判定する判定手段と
からなることを特徴とする画像信号処理装置。
【請求項２】
請求項１において、
上記アクティビティが上記ブロックのそれぞれのダイナミックレンジであることを特徴とする画像信号処理装置。
【請求項３】
請求項１において、
上記アクティビティが上記ブロックのそれぞれの輝度平均値であることを特徴とする画像信号処理装置。
【請求項４】
請求項１において、
上記アクティビティが上記ブロックのそれぞれの輝度の分散または標準偏差であることを特徴とする画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像を分割してなるブロック単位の動きを検出する動き検出装置、並びに動き検出の結果から画面全体の移動またはシーンチェンジを判定する画像信号処理装置に関する。
【０００２】
【従来の技術】
従来、画像信号を圧縮するための符号化において、画面全体の移動またはシーンチェンジを検出し、検出結果を符号化の際に参照して符号化の方法を切り替え、それによって、圧縮効率を向上させ、また、符号化による画質の劣化を防止することができる。符号化に限らず、撮影時のパン、チルト操作と手触れとを区別することによって、手触れ補正を行うことも可能となる。このように、パン、チルト等による画面全体の移動、シーンチェンジを検出することは、画像処理にとって有用である。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来では、画像信号に基づいて、パン、チルトまたはシーンチェンジを簡単に判定する方法がなかった。例えば動きベクトルを用いる方法は、動きベクトルを検出するためのメモリ、演算回路等のハードウエアの規模が大きくなる問題がある。また、画素単位のフレーム間差を用いる方法では、誤検出が多いという問題がある。
【０００４】
従って、この発明の目的は、小規模のハードウエアと、簡単な処理によって、画面全体の動きまたはシーンチェンジを検出することが可能な画像信号処理装置を提供することにある。
【０００６】
請求項１の発明は、時間的に画面が連続する入力画像を複数のブロックに分割する手段と、ブロックのそれぞれのアクティビティを検出し、時間的に連続する２フレームに含まれ、空間的に同一位置のアクティビティの画面間の差を、ブロックごとにしきい値と比較し、差がしきい値よりも大きい場合を動きブロックとブロックごとに判定し、静止／動きを示すフラグをブロックごとに発生する検出手段と、検出手段からのあるフレームにおける複数のフラグのパターンと１フレーム前のフレームにおける複数のフラグのパターンとのマッチングをとることによって、画面全体の動きを判定する判定手段とからなることを特徴とする画像信号処理装置である。
【０００７】
ブロックのアクティビティに基づいて、ブロック単位に動きブロックか否かを簡単且つ高精度に検出することができる。そして、ブロック単位の動き検出結果であるフラグを画面間で比較することによって、画面全体の動きを検出する。画面全体における動きを調べることによって、パン、チルト、ズーム拡大、ズーム縮小またはシーンチェンジを検出することができる。
【０００８】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態について説明する。図１は、一実施形態の全体の構成を示す。一例として１／３０秒周期でフレームが連続する入力画像信号がブロック化回路１に供給される。画面であるフレームの周期は、１／３０秒以外のものでも良い。ブロック化回路１において、入力画像信号の１フレームの複数の２次元ブロックに分割される。ブロックのサイズは、適宜選定できる。例えば（８×８）、（１６×１６）等のサイズとされる。
【０００９】
ブロック化回路１の出力がアクティビティ検出回路２に供給される。アクティビティ検出回路２において、各ブロックのアクティビティが検出され、また、検出されたアクティビティのフレーム差が計算され、フレーム差がしきい値と比較される。アクティビティ検出回路２の具体的例については後述する。アクティビティのフレーム差がしきい値より大きい場合には、"1" （論理的１）となり、アクティビティのフレーム差がしきい値より小さい場合には、"0" （論理的０）となるフラグｆt がアクティビティ検出回路２から出力される。このようにフラグは、各ブロックの動き／静止と対応して１ビット発生する。
【００１０】
フラグｆt がフレームメモリ３およびマッチング回路４に供給され、フレームメモリ３によって、１フレーム期間遅延されたフラグｆt-1 がマッチング回路４に供給される。マッチング回路４では、予め設定されたサーチ範囲で、複数のフラグｆt のパターンと複数のフラグｆt-1 のパターンとのマッチング処理が行われる。１フレーム全体のフラグのパターンを使用しても良いが、この一実施形態では、１フレームを複数ブロックからなるマクロブロックに分割し、マクロブロック単位でマッチング処理がなされる。例えば（８×８＝６４ブロック）のサイズのマクロブロックを構成する。このマクロブロックに含まれる６４個のフラグのパターンに関してフレーム間で一致を検出する。勿論、この場合の一致は、完全に一致のみならず、略一致することも含まれる。
【００１１】
マクロブロック単位のマッチング処理によって、マクロブロック単位の動きベクトルｖ（ｉ，ｊ）を検出する。（ｉ，ｊ）は、１フレーム内のマクロブロックの位置の座標である。また、動きベクトルｖ（ｉ，ｊ）は、水平方向（ｘ）および垂直方向（ｙ）の成分を含む。マッチング回路４からは、１フレーム内のマクロブロックの総数と等しい数の動きベクトルが得られる。動きベクトルは、一般的には、動きの方向と動きの大きさの両成分を含むが、動きの大きさを無視して、動きの有無と動きの方向からなる動きベクトルを発生しても良い。
【００１２】
マッチング回路４からの動きベクトルｖ（ｉ，ｊ）が判定回路５に供給される。判定回路５では、１フレームで検出された動きベクトルに基づいて、画面全体の動きを判定し、シーンＩＤを出力する。例えば１フレームのマクロブロック単位で検出された動きベクトルの中で、同一の動きベクトルの個数をそれぞれ計数する。計数された動きベクトルの個数をしきい値と比較する。しきい値以上の動きベクトルで示される方向を画面全体の動きの方向と判定する。つまり、しきい値以上の動きベクトルが水平方向を示すのであれば、パン画像と判定する。これが垂直方向を示すのであれば、チルト画像と判定する。これが中心から放射状に外側に向かう方向を示すのであれば、ズーム拡大と判定し、外側から中心に向かう方向を示すのであれば、ズーム縮小と判定する。動きがない場合には、静止画像と判定する。これらの何れの場合にも該当しない場合には、シーンチェンジと判定する。
【００１３】
判定回路５から出力されるシーンＩＤは、上述したように、パン、チルト、ズーム拡大、ズーム縮小、静止、シーンチェンジを識別するためのコード信号である。なお、判定回路５が行う上述した判定処理は、一例であって、他の判定の方法も可能である。
【００１４】
以下に、アクティビティ検出回路２のいくつかの例について説明する。図２は、アクティビティとしてブロックのダイナミックレンジを使用する場合の構成を示す。ブロック化されたデータが最大値検出回路３１および最小値検出回路３２に供給される。ブロック毎に検出された最大値ＭＡＸt および最小値ＭＩＮt が減算回路３３に供給される。（ＭＡＸt −ＭＩＮt ＝ＤＲt ）で表されるダイナミックレンジが計算される。
【００１５】
ダイナミックレンジＤＲt が減算回路３４に供給されると共に、フレームメモリ３５により１フレーム遅延されて減算回路３４に供給される。減算回路３４は、時間的に連続する２フレームに含まれ、空間的に同一位置のダイナミックレンジＤＲt およびＤＲt-1 の差を演算する。このフレーム差が絶対値回路３６によって絶対値に変換され、比較回路３７に供給される。比較回路３７では、フレーム差の絶対値と適切に選ばれたしきい値Ｔｄとが比較される。フレーム差の絶対値がしきい値Ｔｄより大きい時に、"1" となり、逆の場合に"0" となるフラグｆt が比較回路３７から出力される。
【００１６】
図３は、アクティビティとしてブロックの平均値を使用する場合の構成を示す。ブロック化されたデータが平均値検出回路４１に供給される。平均値検出回路４１は、ブロック内の画素データ（輝度値）を累積する加算回路４２と、累積結果をブロック内の画素数で割り算する割り算回路４３とから構成される。平均値回路４１によりブロックの平均値Ａｖt が計算される。
【００１７】
平均値Ａｖt が減算回路４４に供給されると共に、フレームメモリ４５により１フレーム遅延されて減算回路４４に供給される。減算回路４４は、時間的に連続する２フレームに含まれ、空間的に同一位置の平均値Ａｖt およびＡｖt-1 の差を演算する。このフレーム差が絶対値回路４６によって絶対値に変換され、比較回路４７に供給される。比較回路４７では、フレーム差の絶対値と適切に選ばれたしきい値Ｔｄ´とが比較される。フレーム差の絶対値がしきい値Ｔｄ´より大きい時に、"1" となり、逆の場合に"0" となるフラグｆt が比較回路４７から出力される。
【００１８】
ブロックのアクティビティとしては、ブロックの輝度の分散値または標準偏差を使用しても良い。そして、分散値または標準偏差のフレーム差が求められ、フレームの絶対値がしきい値と比較され、１ビットのフラグが形成される。また、絶対値回路３６、４６に代えて自乗回路を使用しても良い。
【００１９】
図４は、上述したこの発明の一実施形態において、アクティビティ検出回路２からマッチング回路４に対して供給されるフラグの一例である。図４は、ブロック毎のフラグを示し、斜線を付したブロックのフラグが"1" （アクティビティのフレーム間の変化がしきい値より大きいブロック）であるものとしている。図４は、例えばフレーム内の大面積の動き物体が図面に向かって左方向に移動している場合に発生するフラグのパターンである。"1" のフラグの位置は、動き物体のエッジ部分に対応している。
【００２０】
（ｔ−１）フレームのフラグのパターン（図４で下側に示す）とｔフレームのフラグのパターン（図４で上側に示す）とがマッチング回路４でマッチング処理される。画面全体、またはこの一実施形態のように、マクロブロックに分割されたフラグのパターンのマッチング処理によって、動きが検出される。それによって、画面全体の動き（図４の例では左方向のパン）が検出される。
【００２１】
【発明の効果】
従って、この発明に依れば、ブロック毎に、ブロックの画像の特徴を表すアクティビティを検出し、アクティビティの画面間の差をしきい値と比較することによって、ブロックの動きの有無と対応したフラグを生成するので、高精度にブロックの動きの有無を検出することができる。さらに、この検出されたフラグのパターンをマッチング処理することによって、画面全体の動きを検出するので、マッチング処理の対象のデータ数が少なくなり、簡単に動きを検出することが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態におけるアクティビティ検出回路の一例のブロック図である。
【図３】この発明の一実施形態におけるアクティビティ検出回路の他の例のブロック図である。
【図４】この発明の説明に用いる、時間的に連続するフレームのフラグのパターンの一例を示す略線図である。
【符号の説明】
２・・・アクティビティ検出回路、４・・・マッチング回路、５・・・判定回路
【図１】
0004099850.tif 000002
【図２】
0004099850.tif 000003
【図３】
0004099850.tif 000004
【図４】
0004099850.tif 000005