(57)【要約】【課題】被写体の大きさに変化が生じても精度良く動きベクトルを検出することができる移動検出装置及び方法を提供する。【解決手段】撮影時刻の異なる第１及び第２画像データに基づき、第１画像データ内の所定ブロックについて、最も相関の大きいマッチング領域を第２画像データ内から探索することにより、上記ブロックの動きベクトルを検出する。この際、第２画像内に前記ブロックと同一サイズの比較領域を異なる座標位置に順次に設定しながら、ブロック及び比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを所定方向に関して単純化し、この単純化された各変化パターンが上記ブロックと最も類似する比較領域を検出してマッチング領域として特定する。【選択図】図２
2008299362.tif 000002
【特許請求の範囲】
【請求項１】
撮影時刻の異なる第１及び第２画像データに基づき、前記第１画像データ内の所定ブロックについて、最も相関の大きいマッチング領域を前記第２画像データ内から探索することにより、前記ブロックの動きベクトルを検出する移動検出装置において、
前記第２画像内に前記ブロックと同一サイズの比較領域を異なる座標位置に順次に設定しながら、前記ブロック及び前記比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを前記所定方向に関して単純化し、この単純化された各変化パターンが前記ブロックと最も類似する前記比較領域を検出して前記マッチング領域として特定するマッチング処理手段を備えたことを特徴とする移動検出装置。
【請求項２】
前記マッチング処理手段は、所定方向に隣接する同一画素値の画素群に加えて、画素値の差が所定値以下の隣接画素群を統合することを特徴とする請求項１に記載の移動検出装置。
【請求項３】
前記マッチング処理手段によるマッチング処理に先立って、前記第１及び第２画像データを画素ごとに階調変換することによりコントラスト調整を行う正規化処理手段を備えたことを特徴とする請求項１または２に記載の移動検出装置。
【請求項４】
前記マッチング処理手段は、前記第１画像データを複数のブロックに分割し、各ブロックについて動きベクトルを検出することを特徴とする請求項１から３いずれか１項に記載の移動検出装置。
【請求項５】
撮影時刻の異なる第１及び第２画像データに基づき、前記第１画像データ内の所定ブロックについて、最も相関の大きいマッチング領域を前記第２画像データ内から探索することにより、前記ブロックの動きベクトルを検出する移動検出方法において、
前記第２画像内に前記ブロックと同一サイズの比較領域を異なる座標位置に順次に設定しながら、前記ブロック及び前記比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを前記所定方向に関して単純化し、この単純化された各変化パターンが前記ブロックと最も類似する前記比較領域を検出して前記マッチング領域として特定することを特徴とする移動検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時刻の異なる画像間の比較により画像内の所定ブロックについて動きベクトル（移動方向及び移動量）を検出する移動検出装置及び方法に関する。
【背景技術】
【０００２】
従来、監視装置等において、撮影時刻の異なる画像間を相関演算することにより、画像中の被写体の移動を検出する移動検出技術が知られている（例えば、特許文献１参照）。この移動検出技術は、具体的には、画像を複数のブロックに分割し、撮影時刻の異なる画像内から、ブロックごとに相関が最も大きい領域を探索することにより、動きベクトルの検出を行うものであり、一般に、ブロックマッチング法と称されている。このブロックマッチング法による移動検出は、ＭＰＥＧ２（Moving Picture Image Coding Experts Group Phase 2）による動画圧縮処理や、撮影装置の手振れ補正処理、監視カメラによる移動体追尾などにおいて利用されている。
【特許文献１】特開平８−１２３７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来の移動検出技術では、被写体が撮像面に対して平行に移動し、被写体の大きさに変化が生じない場合には、画像間で大きな相関が得られるため、動きベクトルの検出精度は高いが、被写体が撮像面に対して近接／離間する方向に移動し、被写体の大きさに変化が生じる場合には、相関が低下し、動きベクトルの検出精度が低下するといった問題がある。
【０００４】
本発明は、上記課題を鑑みてなされたものであり、被写体の大きさに変化が生じても精度良く動きベクトルを検出することができる移動検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の移動検出装置は、撮影時刻の異なる第１及び第２画像データに基づき、前記第１画像データ内の所定ブロックについて、最も相関の大きいマッチング領域を前記第２画像データ内から探索することにより、前記ブロックの動きベクトルを検出する移動検出装置において、前記第２画像内に前記ブロックと同一サイズの比較領域を異なる座標位置に順次に設定しながら、前記ブロック及び前記比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを前記所定方向に関して単純化し、この単純化された各変化パターンが前記ブロックと最も類似する前記比較領域を検出して前記マッチング領域として特定するマッチング処理手段を備えたことを特徴とする。
【０００６】
なお、検出精度を高めるために、前記マッチング処理手段は、所定方向に隣接する同一画素値の画素群に加えて、画素値の差が所定値以下の隣接画素群を統合することが好ましい。
【０００７】
また、さらに検出精度を高めるために、前記マッチング処理手段によるマッチング処理に先立って、前記第１及び第２画像データを画素ごとに階調変換することによりコントラスト調整を行う正規化処理手段を備えたことが好ましい。
【０００８】
また、画面全体から動きベクトルを得るように、前記マッチング処理手段は、前記第１画像データを複数のブロックに分割し、各ブロックについて動きベクトルを検出してもよい。
【０００９】
また、本発明の移動検出方法は、撮影時刻の異なる第１及び第２画像データに基づき、前記第１画像データ内の所定ブロックについて、最も相関の大きいマッチング領域を前記第２画像データ内から探索することにより、前記ブロックの動きベクトルを検出する移動検出方法において、前記第２画像内に前記ブロックと同一サイズの比較領域を異なる座標位置に順次に設定しながら、前記ブロック及び前記比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを前記所定方向に関して単純化し、この単純化された各変化パターンが前記ブロックと最も類似する前記比較領域を検出して前記マッチング領域として特定することを特徴とする。
【発明の効果】
【００１０】
本発明は、ブロック及び比較領域について、所定方向に隣接する同一画素値の画素群を統合することにより、画素値の変化パターンを所定方向に関して単純化し、この単純化された各変化パターンが最も類似する比較領域を検出してマッチング領域として特定し、動きベクトルを検出するので、被写体の大きさに変化が生じても精度良く動きベクトルを検出することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の第１実施形態に係わる移動検出装置１０を含む撮影システムの構成を示す。この撮影システムは、撮影部１１、Ｙ／Ｃ分離部１２、正規化処理部１３、第１及び第２画像メモリ１４，１５、マッチング処理部１６、動きベクトル算出部１７、及び撮影制御部１８によって構成されている。
【００１２】
撮影部１１は、ＣＣＤイメージセンサ等の撮像素子及びＡ／Ｄ変換器を備え、撮像素子によって取得され、Ａ／Ｄ変換器によってデジタル化された画像データをＹ／Ｃ分離部１２に入力する。画像データは、撮影部１１から出力された時点では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色信号からなるカラー画像データである。Ｙ／Ｃ分離部１２は、入力されたＲＧＢ形式の画像データをＹＣ変換して、Ｙ（輝度）信号とＣ（色差）信号とに分離し、輝度信号のみを正規化処理部１３に入力する。なお、撮影部１１は、周期的に撮影動作を行い、取得した画像データを順次にＹ／Ｃ分離部１２に入力する。
【００１３】
正規化処理部１３は、後述するマッチング処理の精度を向上させるための前処理として、コントラスト（明暗の度合い）が画像中の被写体の判別に適したレベルとなるように、画素ごとに輝度値の階調変換を行う。この正規化処理としては、種々の手法が知られている。例えば、特開２００６−３０９７１４号公報に記載の、画像中の各画素を中心に局所領域を設定し、各局所領域の輝度値の分散の程度を一定レベルに揃えるべく各画素の輝度値を階調変換する手法を採用する。
【００１４】
正規化処理部１３により正規化処理が施された画像データは、第１及び第２画像メモリ１４，１５に順に入力される。第１及び第２画像メモリ１４，１５は、それぞれ１フレーム分の画像データを記憶する。第１画像メモリ１４は、正規化処理部１３から新たな画像データを受け取るたびに、前回受け取った記憶中の画像データを第２画像メモリ１５に入力する。第２画像メモリ１５は、第１画像メモリ１４から画像データを受け取るたびに、前回受け取った記憶中の画像データを消去し、新たに受け取った画像データを記憶する。このように、第１及び第２画像メモリ１４，１５には、撮影時刻の異なる画像データが順次記憶される。
【００１５】
マッチング処理部１６は、第１画像メモリ１４に記憶中の画像データＤ１を複数のブロック（矩形画素領域）に分割し、ブロックごとに、第２画像メモリ１５に記憶中の画像データＤ２内を探索して、最も相関の大きい領域（マッチング領域）を特定する。なお、詳しくは後述するが、マッチング領域探索時の相関演算は、特定方向への輝度値（画素値）の変化パターンを単純化したうえで、これらを比較することにより行われる。単純な２値データの場合を例に挙げると、“００１１００”と“０１１１００”との変化パターンは共に“０１０”と単純化され、その結果、両者は一致すると判定される。
【００１６】
マッチング処理部１６によるブロックごとのマッチング領域の検出値は、動きベクトル算出部１７に入力される。動きベクトル算出部１７は、各ブロックとそのブロックのマッチング領域との位置関係に基づいて、ブロックごとに動きベクトルを算出し、算出した動きベクトルを撮影制御部１８に入力する。
【００１７】
撮影制御部１８は、入力された動きベクトルに基づいて、撮影部１１の制御を行う。例えば、撮影部１１がＭＰＥＧ２の動画圧縮処理回路を備えている場合には、この動画圧縮処理回路に動きベクトルを与え、動き補償に用いる。また、撮影部１１が電子式の手振れ補正処理回路を備えている場合には、この手振れ補正処理回路に動きベクトルを与え、補正処理に用いる。また、撮影部１１が撮影方向を変更するための旋回装置を備えている場合には、動きベクトルに基づき、移動検出対象（移動体）が撮影画面の中央付近に位置するように旋回装置を制御する。
【００１８】
次に、マッチング処理部１６の具体的な動作を図２のフローチャートに基づいて説明する。まず、第１画像メモリ１４に記憶された画像データＤ１を、図３に示すように、複数のブロックＢ１〜Ｂｍに分割し、分割されたブロックＢ１〜Ｂｍから第１のブロックＢ１を選択する（ステップＳ１）。なお、各ブロックの大きさは、例えば、８×８画素である。
【００１９】
次いで、選択したブロックＢ１内の輝度値の変化パターンを算出する（ステップＳ２）。具体的には、ブロックＢ１内の画素ごとの輝度値は、図４（Ａ）に示すように、被写体Ｓの形状及び明るさが反映されており、輝度値が「１」の画素がほぼ被写体Ｓの輪郭部に対応している。そして、このブロックＢ１内について、ｘ方向（水平方向）に隣接する同一輝度値の画素群を統合することにより、図４（Ｂ）に示すように、輝度値の変化パターンをｘ方向に関して単純化する。さらに、変化パターンの単純化を行うために、図４（Ｃ）に示すように、輝度差が所定値以下（例えば、１以下）の隣接画素群を統合する。ここでは、輝度値「４」及び「５」の隣接画素群が、輝度値「５」の１画素に統合されている。
【００２０】
次いで、図５に示すように、第２画像メモリ１５に記憶された画像データＤ２内の所定位置に、ブロックＢ１と同一サイズの比較領域Ｒを設定する（ステップＳ３）。そして、上記と同一の手法により、比較領域Ｒ内について、ｘ方向に隣接する同一輝度値の画素群を統合することにより、輝度値の変化パターンをｘ方向に関して単純化し、さらに輝度差が所定値以下の隣接画素群を統合する（ステップＳ４）。そして、比較領域Ｒの変化パターンをブロックＢ１の変化パターンと比較し、相関値（一致度合い）を算出する（ステップＳ５）。この後、比較領域Ｒの座標位置をｘ方向及びｙ方向にずらしながら、上記のステップＳ４，Ｓ５を繰り返す（ステップＳ６，Ｓ７）。
【００２１】
比較領域Ｒが最終位置に達すると（ステップＳ６のＹｅｓ判定）、ブロックＢ１と最も相関の大きい（最も類似する）比較領域（マッチング領域）Ｒ’の位置を特定し、ブロックＢ１とマッチング領域Ｒ’との位置関係から、図６に示すように、ブロックＢ１に関する動きベクトルＶ１を算出する（ステップＳ８）。この例では、被写体Ｓは、撮像面に平行なｘ，ｙ方向に移動するとともに、撮影部１１の撮像面に近接する方向（ｚ方向）に移動し、大きさに変化が生じている。図７（Ａ）は、マッチング領域Ｒ’内の画素ごとの輝度値を示している。図７（Ｂ）は、マッチング領域Ｒ’内の輝度値の変化パターンをｘ方向に関して単純化したものであり、図７（Ｃ）は、さらに輝度値の差が所定値以下の隣接画素群を統合したものである。図７（Ａ）では、被写体Ｓが拡大されているために、ブロックＢ１との画素ごとの相関が得られにくいが、図７（Ｃ）に示すように変化パターンを単純化することで、ブロックＢ１との間で高い相関が得られる。図４（Ｃ）と図７（Ｃ）とを比較すると、単純化された変化パターンは、最上段と最下段のみが異なっている。
【００２２】
このようにして、ブロックＢ１の移動ベクトルＶ１を求めた後、ブロックＢ２、Ｂ３、・・・と順にブロックの変更を行いながら、上記のステップＳ２〜Ｓ８を繰り返し、各ブロックについて、移動ベクトルを求める（ステップＳ９，Ｓ１０）。そして、最終ブロックＢｍまで終了すると（ステップＳ９のＹｅｓ判定）、マッチング処理部１６は、算出したブロックごとの動きベクトルを撮影制御部１８に入力する。
【００２３】
次に、移動検出装置１０の作用について説明する。移動検出装置１０を動作させると、撮影部１１により、所定のフレーム期間（例えば、３０分の１秒）ごとに撮影が行われ、Ｙ／Ｃ分離部１２及び正規化処理部１３を介して信号処理が施された画像データが第１及び第２画像メモリ１４，１５に順次に入力される。つまり、第１及び第２画像メモリ１４，１５には、１フレーム期間だけ撮影時刻の異なる画像データが記憶されるとともに、各画像データは、フレーム期間ごとに更新される。
【００２４】
このフレーム期間ごとに、マッチング処理部１６により、上記の処理動作が行われ、分割された画像データのブロックごとに動きベクトルが算出される。算出された動きベクトルは、撮影制御部１８に順次に入力され、動画圧縮、手振れ補正、移動体追尾などに用いられる。マッチング処理部１６による相関演算では、単純な画素間の比較ではなく、所定方向へ単純化された輝度値の変化パターンに基づいて比較を行っているため、被写体の大きさが変化（拡大・縮小）した場合においてもマッチング精度が高く、移動ベクトルの算出精度が向上する。
【００２５】
上記実施形態では、撮影部１１によって取得されたカラー画像データからＹ信号（輝度値）を抽出し、画素値がＹ信号で表された画像データを用いてマッチング処理を行っているが、これに代えて、カラー画像データからＧ信号（緑色信号）を抽出し、画素値がＧ信号で表された画像データを用いてマッチング処理を行ってもよい。なお、撮影部１１によって取得される画像データがモノクロである場合には、当然、これらの信号抽出処理は不要である。
【００２６】
また、上記実施形態では、正規化処理により画像データの各画素の階調変換を行っているが、この正規化処理に加えて、ＨＰＦ（ハイパスフィルター）によりエッジ強調（輪郭強調）処理を行うこともマッチング処理精度を向上させるための前処理として好ましい。なお、撮影部１１によって取得される画像データのコントラストが十分に確保される場合には、正規化処理やエッジ強調処理は不要である。
【００２７】
また、上記実施形態では、画像データＤ１をブロック分割し、画像データＤ２に比較領域を設定しているが、これとは逆に、画像データＤ２をブロック分割し、画像データＤ１に比較領域を設定してもよい。
【００２８】
また、上記実施形態では、画像データを分割したブロック及び比較領域について、画素値の変化パターンをｘ方向（水平方向）に関して単純化しているが、この方向は、ｘ方向に代えてｙ方向（垂直方向）としてもよいことは言うまでもない。また、マッチング精度の向上を図るために、ｘ方向に関する単純化と、ｙ方向に関する単純化とをそれぞれ行い、ｘ，ｙの両方向に関してマッチング処理を行ってもよい。
【００２９】
また、上記実施形態では、図４（Ｂ）に示すように、変化パターンを単純化した後、さらに変化パターンの単純化を行うために、図４（Ｃ）に示すように、画素値が所定値以下の隣接画素群を統合しているが、これに先立って行われる正規化処理により階調数が減少し、画素値の差の小さい隣接画像群が生じない場合等には、この統合処理は不要である。
【００３０】
また、上記実施形態では、画像データを複数のブロックに分割し、各ブロックについて動きベクトルを算出しているが、所定のブロックのみについて動きベクトルを算出してもよい。
【００３１】
次に、図８は、本発明の第２実施形態に係わる移動検出装置２０を示す。移動検出装置２０は、マッチング処理部２１の構成が第１実施形態とは異なる。これ以外の部分は、第１実施形態と同一であるため、同一の符号を付しており、詳しい説明は省略する。
【００３２】
マッチング処理部２１は、第１マッチング処理部２２、第２マッチング処理部２３、及び切り替え制御部２４によって構成されている。第１マッチング処理部２２は、画素単位で相関演算を行うことによりマッチング領域を検出する処理部である。第２マッチング処理部２３は、第１実施形態のマッチング処理部１６と同一構成の処理部であり、変化パターンを単純化し、比較することによりマッチング領域を検出する。切り替え制御部２４は、第１マッチング処理部２２によるマッチング領域の検出精度が十分得られなかった場合に、第２マッチング処理部２３に処理を行わせる。
【００３３】
具体的に、第１画像メモリ１４に記憶された画像データＤ１の各画素の輝度値をＹ１（ｘ，ｙ）、第２画像メモリ１５に記憶された画像データＤ２の各画素の輝度値をＹ２（ｘ，ｙ）とすると、図９に示すように、画像データＤ１の任意のブロックＢｎと、このブロックＢｎに対して、ベクトルＶ（Ｖ＝（ｘ０，ｙ０））だけ座標位置をずらした画像データＤ２内の比較領域Ｒとの差分量Ｃ（ｘ０，ｙ０）は、次式により表される。
【数１】
2008299362.tif 000003
【００３４】
第１マッチング処理部２２は、ベクトルＶを変化させながら差分量Ｃ（ｘ０，ｙ０）を算出し、差分量Ｃ（ｘ０，ｙ０）を最小にするベクトルＶを求め、このベクトルＶをブロックＢｎに対する動きベクトルＶｎとして決定する。この差分量Ｃ（ｘ０，ｙ０）は、ブロックＢｎと比較領域Ｒとの対応する画素ごとの差分値の和であり、ブロックＢｎと比較領域Ｒとの相関が最も大きいとき、最小となる。ただし、画像データＤ１，Ｄ２間で被写体の大きさが変化した場合には、相関が小さく、差分量Ｃ（ｘ０，ｙ０）は十分に低下せず、動きベクトルの検出精度が低下する。このため、切り替え制御部２４は、第１マッチング処理部２２によって算出されるブロックごとの最小の差分量Ｃ（ｘ０，ｙ０）が所定値を上回る場合には、図２に示す処理を第２マッチング処理部２３に実行させ、動きベクトルの検出精度の向上を図る。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態に係わる移動検出装置の構成を示す図である。
【図２】マッチング処理部の動作を説明するフローチャートである。
【図３】第１画像メモリに記憶された画像データをブロック分割した例を示す図である。
【図４】（Ａ）は、ブロック内の各画素の輝度値を例示する図であり、（Ｂ）は、ブロック内の輝度値の変化パターンをｘ方向に関して単純化した図であり、（Ｃ）は、さらに輝度差の小さい隣接画素群を統合した図である。
【図５】第２画像メモリに記憶された画像データに比較領域を設定した例を示す図である。
【図６】最も相関の大きいマッチング領域を例示する図である。
【図７】（Ａ）は、比較領域内の各画素の輝度値を例示する図であり、（Ｂ）は、比較領域内の輝度値の変化パターンをｘ方向に関して単純化した図であり、（Ｃ）は、さらに輝度差の小さい隣接画素群を統合した図である。
【図８】本発明の第２実施形態に係わる移動検出装置の構成を示す図である。
【図９】ブロックと比較領域との画素単位での相関演算方法を説明する図である。
【符号の説明】
【００３６】
１０  移動検出装置
１１  撮影部
１２  Ｙ／Ｃ分離部
１３  正規化処理部
１４  第１画像メモリ
１５  第２画像メモリ
１６  マッチング処理部
１７  動きベクトル算出部
１８  撮影制御部
２０  移動検出装置
２１  マッチング処理部
２２  第１マッチング処理部
２３  第２マッチング処理部
２４  切り替え制御部
【図１】
2008299362.tif 000004
【図２】
2008299362.tif 000005
【図３】
2008299362.tif 000006
【図４】
2008299362.tif 000007
【図５】
2008299362.tif 000008
【図６】
2008299362.tif 000009
【図７】
2008299362.tif 000010
【図８】
2008299362.tif 000011
【図９】
2008299362.tif 000012