(57)【特許請求の範囲】
【請求項１】
入力された画像データを蓄積する記憶手段と、
入力される画像データを現フレームとし、前記記憶手段に蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値を抽出する画像情報抽出手段と、
前記画像情報抽出手段が抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分値が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、
前記オフセット算出手段が算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分値が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えた画像信号処理装置。
【請求項２】
前記画像情報抽出手段は、前記分割した画像ブロック毎に輪郭情報を抽出し、
前記動き検出判定手段は、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値未満であった場合に、前記画像情報抽出手段が抽出した輪郭情報を参照し、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記動き検出判定手段において動きを有する対象物が存在すると検出された前記現フレームの画像ブロックに、検出フラグをセットし、セットした検出フラグおよび検出フラグをセットした画像ブロックの位置情報を前記記憶手段に記憶させるフラグ設定手段と、
前記動き検出判定手段において動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックについて、前記記憶手段を参照して当該現フレームの画像ブロックと同位置の画像ブロックの検出フラグがセットされているか否か判定を行い、検出フラグがセットされている場合に、さらに前記現フレームの画像ブロックに静止状態の対象物が存在するか否か判定を行うフラグ判定手段とを備えたことを特徴とする請求項１または請求項２記載の画像信号処理装置。
【請求項４】
前記記憶手段は、画像フレームの記憶時間および前記検出フラグがセットされてからの経過時間を記憶し、
前記フラグ判定手段は、前記フレームの記憶時間と前記経過時間との差分値があらかじめ設定した閾値以下である場合に、前記動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックに静止状態の対象物が存在すると判定することを特徴とする請求項３記載の画像信号処理装置。
【請求項５】
前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行う表示制御手段とを備えたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像信号処理装置。
【請求項６】
前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行い、前記フラグ判定手段において画像ブロック内に静止状態の対象物が存在すると判定された画像ブロックに、当該対象物の停止を示す表示を行う表示制御手段を備えたことを特徴とする請求項３または請求項４記載の画像信号処理装置。
【請求項７】
前記表示制御手段は、複数の画像ブロックをグルーピングするグルーピング処理手段を備え、
前記動き検出判定手段は、前記現フレームと前記参照フレームとを比較して前記動きを有する対象物が存在すると判定した画像ブロックの動きベクトルを算出し、
前記グルーピング処理手段は、前記動き検出判定手段が算出した動きベクトルを参照し、略同一のベクトル方向の動きベクトルを有する複数の画像ブロックをグルーピングし、
前記表示制御手段は、前記グルーピング処理手段がグルーピングした画像ブロックが同一の対象物を構成する旨を表示することを特徴とする請求項５または請求項６記載の画像信号処理装置。
【請求項８】
入力された画像データを蓄積する記憶ステップと、
入力される画像データを現フレームとし、前記記憶ステップにて蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにて抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分値が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出ステップと、
前記オフセット算出ステップにて算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分値が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定ステップとを備えた画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる時間に取得された複数の画像を用いて物体の動き検出を行う画像信号処理装置および画像信号処理方法に関するものである。
【背景技術】
【０００２】
従来より、撮影した画像を解析することにより侵入者などを検出する監視システムが利用され、この監視システムの物体の検出には取得された画像の輝度やその他のデータの変化に基づいて動きの有無を判定する方法が用いられている。
具体的には、撮影した画像フレームを複数のブロックに分割し、各ブロックの平均輝度値およびフレーム全体の平均輝度値を算出し、現フレームと前フレームにおいて各ブロックの平均輝度値およびフレーム全体の平均輝度値を用いた差分演算を行い、差分演算で得られた値をあらかじめ設定した閾値と比較することにより、動きを含むブロックを検出する動き検出装置が開示されている（特許文献１参照）。
【０００３】
また、特許文献２には、動き検出対象フレームに対して過去の１フレームである背景フレーム、および動き検出対象フレームのブロック毎の輝度平均値を算出し、ブロック毎に、背景フレームの輝度平均値と、動き検出対象フレームのブロック毎の輝度平均値から補正値を差し引いた値との差分に基づいて、動き検出対象フレームに動きがあったか否かを判定する動き検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１５７９７９号公報
【特許文献２】特開２００８−２５７６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の従来技術では、撮影された２枚の画像フレームをそれぞれ複数のブロックに分割し、同位置のブロックの輝度変化が閾値以上である場合に、当該ブロックを動きを含むブロックであると判定している。このため、２枚の画像フレームにおいて照明の変化のみで対象物が動いていない場合であっても動きを含むブロックであると誤判定する場合があるという課題があった。
【０００６】
また、特許文献２の従来技術では、例えば画面内全域で対象物が動いている場合、すなわち画面全体が動いている場合、あるいは動き検出対象フレームにおいて動きが検出されたブロックで輝度変化が発生した場合に、動きが検出されたブロックでの輝度変化は補正値に反映されず、誤判定を招くという課題があった。また、補正値が動き検出対象フレームと背景フレームの輝度差を表していない場合にも、誤判定を招くという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、対象物の動き検出の誤判定を抑制する画像信号処理装置および画像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像信号処理装置は、入力された画像データを蓄積する記憶手段と、入力される画像データを現フレームとし、記憶手段に蓄積された現フレームから所定時間前の画像データを参照フレームとして取得し、現フレームおよび参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値を抽出する画像情報抽出手段と、画像情報抽出手段が抽出した輝度平均値を参照し、現フレームの画像ブロックの輝度平均値と、現フレームの画像ブロックと同一地点に位置する参照フレームの画像ブロックの輝度平均値との差分値が閾値以上であった場合に、現フレームの画像ブロックと参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、オフセット算出手段が算出したオフセット値を考慮して、現フレームの画像ブロックの画素値と、現フレームの画像ブロックと同位置の参照フレームの画像ブロックの画素値との差分値が閾値以上であるか判定を行い、現フレームと参照フレームの画像ブロックの画素値の差分値が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、対象物の動き検出の誤判定を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１による画像信号処理装置の構成を示すブロック図である。
【図２】実施の形態１による画像信号処理装置の画像フレームの分割処理を示す図である。
【図３】実施の形態１による画像信号処理装置の動作を示すフローチャートである。
【図４】実施の形態１による画像信号処理装置の表示結果を示す説明図である。
【図５】実施の形態２による画像信号処理装置の表示結果を示す説明図である。
【図６】実施の形態３による画像信号処理装置の構成を示すブロック図である。
【図７】実施の形態３による画像信号処理装置の動作を示すフローチャートである。
【図８】実施の形態３による画像信号処理装置の表示結果を示す説明図である。
【図９】実施の形態４による画像信号処理装置の構成を示すブロック図である。
【図１０】実施の形態４による画像信号処理装置の動作を示すフローチャートである。
【図１１】実施の形態４による画像信号処理装置の表示結果を示す説明図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による画像信号処理装置の構成を示すブロック図である。
実施の形態１の画像信号処理装置１０は、メモリ部１、画像情報抽出部２、オフセット算出部３、動き検出判定部４および表示制御部５で構成されている。また、画像信号処理装置１０にはカメラ２０が接続されており、該カメラ２０が撮影した画像データが画像信号処理装置１０に入力される。なお、この実施の形態１では、画像信号処理装置１０が監視システムなどに適用される場合を想定し、動いている対象物の検出を例に説明する。そのため、画像信号処理装置１０には、所定領域を撮影するカメラ２０が接続され、撮影された画像データが画像処理装置１０に入力される。以下では、カメラ２０から入力されるリアルタイムの画像フレームデータを現フレームと称し、現フレームより前の異なる時間にカメラ２０から入力された画像フレームデータを参照フレームと称して説明を行う。
【００１２】
メモリ部１は、カメラ２０から入力された画像データを蓄積する記憶領域であり、上述した現フレームと、現フレームから所定時間遡った期間の参照フレームを蓄積している。画像情報抽出部２は、カメラ２０から画像データである現フレームが入力されると、メモリ部１から参照フレームを取得し、現フレームおよび参照フレームの画像フレームを所定サイズの画像ブロックに分割する。さらに分割した画像ブロック毎に輝度平均値や輪郭情報などの画像特徴情報を抽出する。これは、動き誤検出の原因となる対象物すなわち被写体の輝度変化および対象物の画像の特徴を検出し、動き誤検出を抑制するための処理である。ここで、輪郭情報は、現フレームおよび参照フレームを構成する画像ブロック毎にエッジ検出フィルタを施して抽出する。エッジ検出フィルタはソベルフィルタやその他のフィルタで適宜構成可能であり、本発明を限定するものではない。
【００１３】
図２を参照しながら、画像情報抽出部２の画像フレームの分割について説明する。図２は、この発明の実施の形態１による画像信号処理装置の画像情報抽出部による画像フレームの分割処理を示す説明図である。
画像情報抽出部２は、あらかじめ設定された分割数に基づいて画像フレームを水平方向および垂直方向に分割する。図２の例では画像フレーム３０が水平方向に水平ブロック数ｂｈおよび垂直方向に垂直ブロック数ｂｖとなるように分割される。分割されたブロックがそれぞれ画像ブロック４０を構成する。
【００１４】
オフセット算出部３は、画像情報抽出部２が抽出した画像ブロック毎の輝度平均値を参照し、現フレームと参照フレームにおける同一ブロックの輝度平均値差分を算出する。算出した輝度平均値差分とあらかじめ設定した閾値とを比較し、画像の輝度に変化があったか否か判定を行う。全ての画像ブロックの輝度に変化がないと判定した場合には、動き検出用輝度値オフセットを「０」に設定し、いずれかの画像ブロックの輝度に変化があったと判定した場合には、動き検出用輝度値オフセットを算出する。動き検出用輝度値オフセットとは、画面の明るさの変化による輝度値の変化量を差し引くための値であり、当該動き検出用輝度値オフセットを算出することにより画面内の動きのみに基づく輝度値の変化を算出することができる。動き検出用輝度値オフセットは、現フレームと参照フレームの１フレーム内のブロックの輝度平均値差分の平均値、あるいは中央値とするなど種々設定可能である。
【００１５】
動き検出判定部４は、カメラ２０から入力された画像データである現フレームと、メモリ部１から取得する参照フレームとにおいて、同位置の画像ブロックの画素差分を算出して閾値と比較することにより動き検出を行う。具体的には、オフセット算出部３が算出した動き検出用輝度値オフセットを、現フレームおよび参照フレームのうち輝度平均値がより小さい一方のフレームに加算した後、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出し、算出した画素差分値が閾値以上である場合には、当該画像ブロックに動きを有する対象物が存在すると判定する。なお、動き検出用輝度値オフセットは、輝度平均値がより大きい一方のフレームから減算するように構成してもよい。
動き検出判定部４は、画素差分値が閾値未満であると判定された画像ブロックについて、さらに画像情報抽出部２が抽出した輪郭情報を参照して輪郭情報の変化が閾値以上である画像ブロックについても動きを有する対象物が存在すると判定する。
【００１６】
表示制御部５は、動き検出判定部４から入力される検出結果を参照し、現フレーム内に動きを有する対象物が存在している場合には、当該対象物を含む画像ブロックそれそれぞれに動き検出マークなどを表示し、ユーザが動きを有する対象物が認識可能に表示制御を行う。
【００１７】
次に、画像信号処理装置１０の動作について説明する。
図３は、この発明の実施の形態１による画像信号処理装置の動作を示すフローチャートである。
画像情報抽出部２は、カメラ２０から画像データが入力されると（ステップＳＴ１）、入力された画像データである現フレームおよびメモリ部１に蓄積された参照フレームをあらかじめ設定された分割数で分割して複数の画像ブロックとし、各フレームの画像ブロック毎に輝度平均値および輪郭情報などの画像特徴情報を算出する（ステップＳＴ２）。オフセット算出部３は、ステップＳＴ２で算出された画像特徴情報の輝度平均値を参照し、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分を算出し、算出した輝度平均値差分があらかじめ設定された閾値以上であるか判定を行う（ステップＳＴ３）。ここで、同位置の画像ブロックとは、現フレームと参照フレームとのそれぞれにおいて水平位置と垂直位置が同一である画像ブロックである。
【００１８】
全ての画像ブロックにおいて輝度平均値差分が閾値未満であると判定された場合（ステップＳＴ３；ＮＯ）、オフセット算出部３は現フレームと参照フレームとの間において輝度の変化がないと判定し、動き検出用輝度値オフセットを「０」に設定し（ステップＳＴ４）、後述するステップＳＴ６の処理に進む。一方、輝度平均値差分が閾値以上である画像ブロックが存在すると判定された場合（ステップＳＴ３；ＹＥＳ）、オフセット算出部４は現フレームと参照フレームとの間において輝度の変化があると判定し、動き検出用輝度値オフセットを算出する（ステップＳＴ５）。
【００１９】
動き検出判定部４は、ステップＳＴ５で算出した動き検出用輝度値オフセットを、現フレームまたは参照フレームのいずれか一方のフレームの画像に加算し、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出する（ステップＳＴ６）。さらに、ステップＳＴ６で算出した画素差分値が、あらかじめ設定された閾値以上であるか判定を行う（ステップＳＴ７）。画素差分値が閾値以上であると判定された場合（ステップＳＴ７；ＹＥＳ）、現フレームと参照フレームとの間に動きを有する対象物が検出されたと判定する（ステップＳＴ８）。
【００２０】
一方、画素差分値が閾値未満であると判定された場合（ステップＳＴ７；ＮＯ）、画素差分値が閾値未満であると判定された画像ブロックについて、画像情報抽出部２がステップＳＴ２で抽出した輪郭情報を取得し、取得した輪郭情報の現フレームと参照フレームとの差分和を算出し、あらかじめ設定された閾値以上であるか否か判定を行う（ステップＳＴ９）。たとえば、輪郭情報として、各画素で「輪郭画素（１）」または「非輪郭画素（０）」とした時に、現フレームと参照フレームとで同一画素位置同士で画素差分絶対値を取り、１フレーム分の差分絶対値和を算出する。輪郭情報の差分和が閾値以上であると判定された場合（ステップＳＴ９；ＹＥＳ）、輪郭情報に変化があると判定し、ステップＳＴ８の処理に進み、現フレームと参照フレームとの間に対象物の動き検出がなされたと判定する。なお、本実施例では、輪郭情報として、各画素で「輪郭画素（１）」または「非輪郭画素（０）」としたが、輪郭情報は２値のみならず、５段階や１０段階などの多値情報でもよく、本発明を制限するものではない。
【００２１】
一方、輪郭情報の差分和が閾値未満であると判定された場合（ステップＳＴ９；ＮＯ）、輪郭情報に変化がない、すなわち現フレームと参照フレームとの間では対象物の動きが非検出であると判定する（ステップＳＴ１０）。動き検出判定部４は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い（ステップＳＴ１１）、全ての画像ブロックについて処理を行っていないと判定された場合（ステップＳＴ１１；ＮＯ）には、ステップＳＴ６の処理に戻る。
【００２２】
一方、全ての画像ブロックについて処理を行ったと判定された場合（ステップＳＴ１１；ＹＥＳ）には、検出結果を表示制御部５に出力する（ステップＳＴ１２）。表示制御部５は、入力された検出結果を参照し、動き検出と判定された現フレームの画像ブロックに動き検出マークを表示する表示制御を行い（ステップＳＴ１３）、処理を終了する。
【００２３】
なおステップＳＴ５における輝度の変化があるとの判定には、現フレームと参照フレームとの間において対象物の動きがないがフレームの明るさが変化した場合（ケース１）と、対象物の動きにより現フレームと参照フレームの同一位置における画像ブロックの輝度平均値差分が閾値以上になる場合（ケース２）とが存在する。
【００２４】
ただし、ケース１とケース２では、ステップＳＴ６の処理結果がそれぞれ異なる。ケース１の場合、ステップＳＴ６で算出される画素差分値が小さくなる。これは現フレームと参照フレームの同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差であるオフセットに相当するためである。一方、ケース２の場合、ステップＳＴ６で算出される画素差分値は一般的に小さい値ではない。これは、フレーム間の画面の明るさが変化した場合とは異なり、現フレームと参照フレームの同一位置の同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差とは限らないためである。そのため、ステップＳＴ６において画素差分値を算出し、ステップＳＴ７において画素差分値が所定の閾値以上であるか判定することにより、ケース１とケース２とを正確に区別することができる。
【００２５】
図４は、この発明の実施の形態１による画像信号処理装置の表示結果を示す説明図である。図４（ａ）は参照フレームを示し、図４（ｂ）は現フレームを示している。
図４（ａ）に示した参照フレーム２００、および図４（ｂ）に示した現フレーム１００は、共に水平ブロック数ｂｈ、垂直ブロック数ｂｖで分割された複数の画像ブロックで構成され、対象物５０が写っている。図４に示すように、対象物５０の存在位置が参照フレーム２００と現フレーム１００において異なり、対象物５０が動いていると判定された場合、現フレーム１００内の対象物５０を含むブロックそれぞれに対して動き検出マーク６０を表示する。なお、参照フレーム２００または／および現フレーム１００において対象物５０が写っていない場合も存在し、対象物５０の存在の有無が本願発明に影響を与えるものではない。
【００２６】
以上のように、この実施の形態１によれば、現フレームと参照フレームの同位置の画像ブロックの輝度平均値の差分に基づいて輝度変化の発生を判定し、輝度変化が発生した場合に画像データの明るさの変化による輝度変化の変化量を差し引くための動き検出用輝度値オフセットを算出するオフセット算出部と、算出されたオフセット値を考慮して現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定部とを備えるように構成したので、画像特徴情報に基づいて条件分けを行って画像ブロック毎の動き検出を行うことができ、対象物の動き検出の誤判定を抑制することができる。また、外光や照明の変化による輝度変化を差し引いて対象物の動きを判定することができ、動き検出の誤判定を抑制することができる。具体的には、外光や照明の変化のみで対象が動いていない場合に、対象物が動いていると誤判定することを抑制することができる。
【００２７】
また、この実施の形態１によれば、動き検出判定部において現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値未満であると判定された場合に、さらに輪郭情報の変化に基づいて動き検出を判定するように構成したので、輪郭情報も考慮したより細かい条件分けにより画像ブロック毎の動き検出を行うことができ、動き検出の誤判定を抑制することができる。具体的には、被写体が動いているが輝度変化が小さい場合にもさらに輪郭情報を考慮した動き検出を行うことができ、より正確に動きを有する対象物を検出することができる。
【００２８】
実施の形態２．
上述した実施の形態１では、参照フレームとして、現フレームより前の異なる時間にカメラ２０から入力された画像フレームデータを用いる構成を示したが、この実施の形態２では対象物が写っていない背景のみの画像フレームデータを背景参照フレームとして用いる構成を示す。
なお、この実施の形態２による画像信号処理装置１０の構成要素は実施の形態１と同一であるため、画像信号処理装置１０のブロック図の記載を省略し、実施の形態１で使用した符号と同一の符号を用いて説明を行う。
【００２９】
カメラ２０は、対象物が写っていない背景のみを撮影し、当該背景のみの画像フレームデータを背景参照フレームとしてメモリ部１に記憶させる。背景参照データは１種類だけではなく、撮影条件によりそれぞれ異なる複数の背景参照フレームを準備してメモリ部１に記憶させるように構成してもよい。
【００３０】
画像信号処理装置１０は、現フレームと背景参照フレームに基づいて動きを有する対象物の検出を行う。なお、動き検出処理は、参照フレームを背景参照フレームに替えて行う以外は実施の形態１と同一であるため、説明を省略する。
図５は、この発明の実施の形態２による画像信号処理装置１０の表示結果を示す説明図である。図５（ａ）は背景参照フレームを示し、図５（ｂ）は現フレームを示している。
図５に示すように、対象物が写っていない背景参照フレーム３００を用いることにより、対象物が写っている参照フレームを用いる場合に比べて対象物５０を容易に検出することができる。これは現フレーム１００と背景参照フレーム３００において、外光や照明の変化が除外された場合に現フレーム１００と背景参照フレーム３００とで画素差分を取ることにより、差分値が小さい領域は背景領域、差分値が大きい領域は対象物５０が存在する領域として判定し易くなるためである。
【００３１】
以上のように、この実施の形態２によれば、対象物が写っていない背景を撮影した背景参照フレームを用いて、現フレームと同位置の画像ブロックの画素値の差分が閾値以上であるか判定するように構成したので、対象物が存在する画像ブロックを容易に検出することができる。
【００３２】
実施の形態３．
上述した実施の形態１では、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分に基づいて、輝度変化があったか否かを判定し、輝度変化があったと判定した場合に動き検出用輝度値オフセットを考慮して動きを有する対象物の検出を行い、さらに動き非検出の場合に輪郭情報の変化を考慮して動きを有する対象物の検出を行うことにより、高精度な動き検出を実現している。一方、この実施の形態１の構成では、動いていた対象物が静止した場合、ユーザは画面上でそれまで動いていた対象物が存在したことを認識することが困難である。そこで、この実施の形態３では、動き検出した画像ブロックに所定時間マーカを付すことにより、監視対象を明確化する構成を示す。
【００３３】
図６は、この実施の形態３による画像信号処理装置の構成を示すブロック図である。
動き検出判定部４は、実施の形態１で示した構成に加えて、フラグ設定部６およびフラグ判定部７を備えている。また、メモリ部１は、実施の形態１で示した構成に加え、フラグ判定部７が判定処理を行う際に必要となる情報を記憶する。
【００３４】
フラグ設定部６は、動き検出判定部４の処理として動き検出が判定された場合に、動き検出された画像ブロックの動き検出フラグを「ＯＮ」に設定し、設定した動き検出フラグ、フラグ判定時間、および画像ブロックの位置をメモリ部１に出力し、記憶させる。ここで、フラグ判定時間は動き検出フラグが「ＯＮ」されてからの時間を示し、各画像ブロックのフラグ判定時間は予め初期化（例えば、初期化の時間を「０」とする）しておき、メモリ部１側において動き検出フラグが「ＯＮ」されてからの経過時間を加算し、記憶する。
【００３５】
メモリ部１は、フラグ設定部６から入力される動き検出フラグ、フラグ判定時間、および画像ブロックの位置を記憶する。さらにメモリ部１は、画像フレームをどの程度の期間蓄積するかを示すフレーム記憶時間を有しており、カメラ２０から画像データが入力されると入力された画像フレームにフレーム記憶時間を割り当てる。
【００３６】
フラグ判定部７は、動き検出判定部４の処理として動き非検出が判定された場合に、メモリ部１を参照し、該動き非検出であると判定された画像ブロックと同一位置の画像ブロックの動き検出フラグが「ＯＮ」であるか判定を行い、動き検出フラグが「ＯＮ」である場合に当該画像ブロックが静止状態であるか、あるいは実施の形態１で示した通常の動き非検出情報であるかの判定処理を行う。フラグ判定部７は予めフラグ判定閾値を有しており、メモリ部１に記憶されたフレーム記録時間とフラグ判定時間との差分と、記憶しているフラグ判定閾値とを比較することにより、該当する画像ブロックにおいて対象物が存在するが静止状態であるのか、対象物は存在せず通常の動き非検出状態であるのか判定する。
【００３７】
表示制御部５は、動き検出判定部４およびフラグ判定部７から入力される検出結果を参照し、現フレーム内に動きを有する対象物が検出された場合には動き検出マークを表示し、現フレーム内に静止状態の対象物が検出された場合には停止検出マークを表示し、ユーザが対象物の移動あるいは停止を認識可能な表示制御を行う。
【００３８】
図７は、この実施の形態３による画像信号処理装置の動作を示すフローチャートである。なお、実施の形態１による画像信号処理装置と同一のステップには、図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、ステップＳＴ１からステップＳＴ１０まで、実施の形態１と同様の処理を行う。その後、ステップＳＴ８において、現フレームと参照フレームとの間に動き検出がなされたと判定した場合、フラグ設定部６は動き検出された画像ブロックの動き検出フラグを「ＯＮ」に設定する（ステップＳＴ２１）。さらに、設定した動き検出フラグ、初期化したフラグ判定時間、および該画像ブロックの位置情報をメモリ部１に出力し、記憶させる（ステップＳＴ２２）。その後、フローはステップＳＴ１１の処理に進む。
【００３９】
一方、ステップＳＴ１０において、現フレームと参照フレームとの間では動き非検出であると判定した場合、フラグ判定部７は、メモリ部１を参照し、動き非検出であると判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ＯＮ」であるか判定を行う（ステップＳＴ２３）。
【００４０】
動き検出フラグが「ＯＮ」であると判定された場合（ステップＳＴ２３；ＹＥＳ）、フラグ判定部７はさらにメモリ部１を参照し、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値以下であるか判定を行う（ステップＳＴ２４）。例えば、現フレームのフレーム記録時間が「１００」に設定され、該当する画像ブロックのフラグ判定時間が「９０」であり、フラグ判定時間閾値が「２０」である場合、フレーム記憶時間とフラグ判定時間の差分は、閾値以下となり（１００−９０≦２０）判定条件を満たすことから（ステップＳＴ２４；ＹＥＳ）、対象物が静止状態であると判定し（ステップＳＴ２５）、ステップＴ１１の処理に進む。
【００４１】
一方、動き検出フラグが「ＯＮ」でないと判定された場合（ステップＳＴ２３；ＮＯ）、およびステップＳＴ２４の判定処理において、例えば現フレームのフレーム記憶時間が「１００」に設定され、該当する画像ブロックのフラグ判定時間が「７０」であり、フラグ判定時間閾値が「２０」である場合、フレーム記録時間とフラグ判定時間の差分は閾値より大きくなり（１００−７０＞２０）、判定条件を満たさない場合（ステップＳＴ２４；ＮＯ）、通常の動き非検出であると判定し（ステップＳＴ２６）、ステップＳＴ１１の処理に進む。
【００４２】
動き検出判定部４は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い（ステップＳＴ１１）、全ての画像ブロックについて処理を行っていないと判定された場合（ステップＳＴ１１；ＮＯ）には、ステップＳＴ６の処理に戻る。一方、全ての画像ブロックについて処理を行ったと判定された場合（ステップＳＴ１１；ＹＥＳ）には、検出結果を表示制御部５に出力する（ステップＳＴ２７）。出力される検出結果は、各画像ブロックで異なり、ステップＳＴ８における動き検出判定結果、ステップＳＴ２５における静止状態の判定結果、ステップＳＴ２６における通常の動き非検出の判定結果のうち該当する判定結果となる。
【００４３】
表示制御部５は、入力された検出結果を参照し、動き検出と判定された画像ブロックに動き検出マークを表示し、静止状態が判定された画像ブロックには停止検出マークを表示し、動き非検出と判定された画像ブロックにはマークの表示は行わない、のいずれかの表示制御を行い（ステップＳＴ２８）、処理を終了する。
【００４４】
図８は、この実施の形態３による画像信号処理装置の表示結果を示す説明図である。図８（ａ）は、現フレーム１００において対象物５０が位置するそれぞれの画像ブロックに動き検出マーク６０が表示されている例を示し、図８（ｂ）は現フレーム１００において所定時間静止している対象物５０が位置するそれぞれの画像ブロックに所定時間、停止検出マーク７０が表示される例を示している。停止検出マーク７０は、動き検出マーク６０とは異なる形状、あるいは異なる色のマークで表示され、区別される。
【００４５】
以上のように、この実施の形態３によれば、動き検出が判定された画像ブロックの動き検出フラグを「ＯＮ」に設定するフラグ設定部６と、動き非検出と判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ＯＮ」であるか判定すると共に、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値とを比較し、閾値以下であった場合に、対象物が静止状態であると判定するフラグ判定部７とを備えるように構成したので、動きが止まった画像ブロック、すなわち対象物が静止状態である画像ブロックを明示することができ、移動していない対象物を明確化することができる。
【００４６】
実施の形態４．
この実施の形態４では、上述した実施の形態１の構成に加え、動き検出した画像ブロックのうち同一の動きをとる画像ブロックをグルーピングして表示する構成について示す。
図９は、この実施の形態４の画像信号処理装置の構成を示すブロック図である。
表示制御部５に、グルーピング処理部８を追加して設けている。
【００４７】
動き検出判定部４は、動き検出した画像ブロックについて、現フレームと参照フレームとを比較して動きベクトルを算出し、動き検出結果と動きベクトルとを合せて検出結果として表示制御部５に出力する。グルーピング処理部８は、動き検出判定部４から入力された検出結果を参照し、動き検出された複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックをグルーピングする。なお、画像ブロックのグルーピングは、同一の動きベクトルを有する画像ブロックに対して行ってもよいし、あらかじめ設定した範囲内の動きベクトルを有する画像ブロックに対して行ってもよく、グルーピングに用いる動きベクトルの範囲は適宜設定可能である。表示制御部５は、グルーピング処理部８のグルーピング結果に基づいて、同一のグループに属する画像ブロックにはグルーピングブロックなどを表示する。
【００４８】
図１０は、実施の形態４による画像信号処理装置の表示制御部の動作を示すフローチャートである。なお、図１０のフローチャートでは、同一の動きベクトルを有する画像ブロックをグルーピングする場合を例に説明を行う。
表示制御部５のグルーピング処理部８は、動き検出判定部４から入力された検出結果を参照し、動き検出された画像ブロックが複数存在するか判定を行う（ステップＳＴ３１）。複数存在すると判定された場合（ステップＳＴ３１；ＹＥＳ）、該複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックが存在するか判定を行う（ステップＳＴ３２）。
【００４９】
同一の動きベクトルを有する画像ブロックが存在すると判定された場合（ステップＳＴ３２；ＹＥＳ）、同一の動きベクトルを有する画像ブロックをグルーピングする（ステップＳＴ３３）。表示制御部５は、ステップＳＴ３３のグルーピング結果を参照し、同一のグループに属する画像ブロックをグルーピングブロックで囲む表示制御を行い（ステップＳＴ３４）、処理を終了する。一方、動き検出された画像ブロックが複数存在しないと判定された場合（ステップＳＴ３１；ＮＯ）、または同一の動きベクトルを有する画像ブロックが存在しないと判定された場合（ステップＳＴ３２；ＮＯ）、グルーピング処理を行わずに終了する。
【００５０】
図１１は、実施の形態４による画像信号処理装置の表示結果を示す説明図である。図１１（ａ）は、現フレーム１００において複数の対象物５０ａ，５０ｂが存在し、対象物５０ａが位置する画像ブロックそれぞれに動き検出マーク６０ａを表示し、対象物５０ｂが位置する画像ブロックそれぞれに動き検出マーク６０ｂを表示する場合を例に示している。図１１（ｂ）は、図１１（ａ）で示した対象物５０ａ，５０ｂが移動した場合の現フレーム１００を示し、対象物５０ａが位置し、且つ同一の動きベクトル８０ａを有する複数の画像ブロックをグルーピングブロック９０ａで囲む表示を行い、対象物５０ｂが位置し、且つ同一の動きベクトル８０ｂを有する複数の画像ブロックをグルーピングブロック９０ｂで囲む表示を行った場合を示している。なお、図１１（ｂ）の例では、移動ベクトル８０ａ，８０ｂも表示している。図１１（ｂ）の表示を行うことにより、対象物および対象物の移動方向を明確化することができる。
【００５１】
以上のように、この実施の形態４では、現フレームと参照フレームとを比較して動きベクトルを算出する動き検出判定部４と、画像ブロックの動きベクトルを参照し、同一の動きベクトルを有する画像ブロックをグルーピングするグルーピング処理部８とを備えるように構成したので、フレーム内に複数の対象物が存在する場合にも、各対象物を明確化することができ、さらに各対象物の移動方向を認識することができる。
【００５２】
また、上述した実施の形態４では、実施の形態１の画像信号処理装置にグルーピング処理を行う構成を追加して設ける説明を行ったが、実施の形態３の画像信号処理装置に追加して設けるように構成してもよい。
【００５３】
なお、上述した実施の形態１から実施の形態４では、対象物が位置する画像ブロック全てに動き検出マークあるいは停止検出マークを表示する構成を示したが、対象物の四隅や対象物の外枠、対象物の中央のみに表示するように構成してもよく、表示方法は適宜変更可能である。また、動き検出マークや停止検出マークを四角や丸で表示する例を示したが、表示形状、さらには表示色など自由に設定可能である。
【００５４】
また、上述した実施の形態１から実施の形態４では、画像信号処理装置を例に説明したが、画像信号処理方法やコンピュータプログラムに適用してもよい。
【００５５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５６】
１  メモリ部、２  画像情報抽出部、３  オフセット算出部、４  動き検出判定部、５  表示制御部、６  フラグ設定部、７  フラグ判定部、８  グルーピング処理部、１０  画像信号処理装置、２０  カメラ、３０  画像フレーム、４０  画像ブロック、５０，５０ａ，５０ｂ  対象物、６０  動き検出マーク、７０  停止検出マーク、８０ａ，８０ｂ  動きベクトル、９０ａ，９０ｂ  グルーピングブロック、１００  現フレーム、２００  参照フレーム、３００  背景参照フレーム。
【図１】
0005762250.tif 000002
【図２】
0005762250.tif 000003
【図３】
0005762250.tif 000004
【図４】
0005762250.tif 000005
【図５】
0005762250.tif 000006
【図６】
0005762250.tif 000007
【図７】
0005762250.tif 000008
【図８】
0005762250.tif 000009
【図９】
0005762250.tif 000010
【図１０】
0005762250.tif 000011
【図１１】
0005762250.tif 000012