(57)【要約】      （修正有）【課題】検出範囲として画像の奥行き方向を設定可能な動き検出装置を提供する。【解決手段】撮像装置２０が連続して出力する画像から動きを検出する動き検出装置１０であって、撮像装置２０が出力する画像における撮像対象物の所定の基準位置からの距離を所定のブロック単位で測定して距離情報として出力する距離情報生成部１１０と、動きを検出する対象領域となる基準位置からの距離範囲の指定を受け付け、距離範囲を設定する距離範囲設定部１２０と、前後の画像に対応した距離情報同士をブロック単位で比較することで、設定された距離範囲内で動きがあったかどうかを判定し、動きがあったと判定した場合に動き検出信号を出力する変化判定部１４０と、を備える。【選択図】図１
2010011387.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から連続して入力される画像から動きを検出する動き検出装置であって、
前記入力される画像における撮像対象物の所定の基準位置からの距離を所定のブロック単位で測定して距離情報として出力する距離情報生成手段と、
動きを検出する対象領域となる前記基準位置からの距離範囲の指定を受け付け、距離範囲を設定する距離範囲設定手段と、
前後の画像に対応した距離情報同士の前記ブロック単位での比較に基づき、前記設定された距離範囲内で動きがあったかどうかを判定し、動きがあったと判定した場合に動き検出信号を出力する変化判定手段と、
を備えたことを特徴とする動き検出装置。
【請求項２】
撮像装置から連続して入力される画像から動きを検出する動き検出装置であって、
前記入力される画像における撮像対象物の所定の基準位置からの距離を所定の第１ブロック単位で測定して距離情報として出力する距離情報生成手段と、
動きを検出する対象領域となる前記基準位置からの距離範囲の指定を受け付け、距離範囲を設定する距離範囲設定手段と、
前記距離情報に基づいて、前記設定された距離範囲外の領域に対応したマスクデータを生成し、この生成したマスクデータで対応する画像をマスクして、マスク画像として出力するマスク手段と、
前後の画像に対応したマスク画像同士でマスク領域を結合し、それぞれのマスク画像に対して、前記結合されたマスク領域でマスクして、結合マスク画像として出力するマスク結合手段と、
前記結合マスク画像に対して、所定の第２ブロック単位で輝度値の平均値を算出し、ブロック平均輝度情報として出力するブロック平均輝度算出手段と、
前後の画像に対応したブロック平均輝度情報同士の第２ブロック単位での比較に基づき、前記設定された距離範囲内で動きがあったかどうかを判定し、動きがあったと判定した場合に動き検出信号を出力する変化判定手段と、
を備えたことを特徴とする動き検出装置。
【請求項３】
請求項１または２に記載の動き検出装置であって、
前記距離情報生成手段は、
前記撮像装置から入力される画像と、前記撮像装置と異なる位置で、前記撮像装置と同じ範囲を撮影する方向に設置された補助撮影装置から入力される、前記撮像装置から入力される画像に同期した画像との視差に基づいて前記撮像対象物の所定の基準位置からの距離を測定することを特徴とする動き検出装置。
【請求項４】
請求項１または２に記載の動き検出装置であって、
前記距離範囲設定手段は、検出対象領域となる開始距離と終了距離、あるいは、検出対象外領域となる開始距離と終了距離の指定を受け付けることで、動きを検出する対象領域となる前記基準位置からの距離範囲を設定することを特徴とする動き検出装置。
【請求項５】
請求項１または２に記載の動き検出装置であって、
前記距離範囲設定手段は、前記撮像装置から入力された画像中の撮影対象物の指定を受け付け、指定に係る撮影対象物の前記基準位置からの距離を、前記距離情報を参照して取得することで、動きを検出する対象領域となる前記基準位置からの距離範囲を設定することを特徴とする動き検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像データから動きを検出する動き検出装置に係り、特に、検出対象として設定された距離範囲における動きを検出する動き検出装置に関する。
【背景技術】
【０００２】
撮像装置が撮像した画像から動きを検出するシステムが知られており、例えば、監視装置等に適用されている。画像から動きを検出するシステムでは、動画像を構成する時間的に前後した画像間の差分、特に輝度値の差分を抽出することで、画像内で動きがあったことを検出する方式が広く採用されている。
【０００３】
特許文献１には、検知対象物以外の自然現象の変化などで検出される細かい状態変化を画像内の動きと判定する過剰検知を防ぐために、画像を複数エリアのブロックに分割し、ブロックごとに輝度値を平滑化したうえで前後の画像間における差分の有無を判定することが記載されている。
【特許文献１】特開２００７−１０２５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、画像から動きを検出する場合に、画像全体から一律に検出するのではなく、画像の一部の範囲を対象に動きを検出したい場合や、一部の範囲を検出の対象外にしたい場合がある。例えば、画像に写っている領域のうち、特定の物体の周辺の動きだけを検出したい場合や、画面の手前に草木等の監視対象外物があり、それらの動きを検出したくない場合等である。あるいは、例えば、道路を走る車を監視する場合に、片側の車線の車の動きだけを検出したい場合もある。
【０００５】
このような場合に、画像の一部の領域をマスクすることで、検出対象の範囲を設定することも考えられるが、撮像対象が３次元空間であるのに対して画像は２次元表現であるため、検出対象範囲として画像の奥行き方向を設定することは困難である。
【０００６】
そこで、本発明は、検出範囲として画像の奥行き方向を設定可能な動き検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の第１の態様に係る動き検出装置は、撮像装置から連続して入力される画像から動きを検出する動き検出装置であって、前記入力される画像における撮像対象物の所定の基準位置からの距離を所定のブロック単位で測定して距離情報として出力する距離情報生成手段と、動きを検出する対象領域となる前記基準位置からの距離範囲の指定を受け付け、距離範囲を設定する距離範囲設定手段と、前後の画像に対応した距離情報同士の前記ブロック単位での比較に基づき、前記設定された距離範囲内で動きがあったかどうかを判定し、動きがあったと判定した場合に動き検出信号を出力する変化判定手段とを備える。
【０００８】
本発明では、変化判定手段が、撮像対象物の距離に基づいて、検出範囲内で動きがあったかどうかを判定するため、検出範囲として画像の奥行き方向を設定することが可能となる。
【０００９】
上記課題を解決するため、本発明の第２の態様に係る動き検出装置は、撮像装置から連続して入力される画像から動きを検出する動き検出装置であって、前記入力される画像における撮像対象物の所定の基準位置からの距離を所定の第１ブロック単位で測定して距離情報として出力する距離情報生成手段と、動きを検出する対象領域となる前記基準位置からの距離範囲の指定を受け付け、距離範囲を設定する距離範囲設定手段と、前記距離情報に基づいて、前記設定された距離範囲外の領域に対応したマスクデータを生成し、この生成したマスクデータで対応する画像をマスクして、マスク画像として出力するマスク手段と、前後の画像に対応したマスク画像同士でマスク領域を結合し、それぞれのマスク画像に対して、前記結合されたマスク領域でマスクして、結合マスク画像として出力するマスク結合手段と、前記結合マスク画像に対して、所定の第２ブロック単位で輝度値の平均値を算出し、ブロック平均輝度情報として出力するブロック平均輝度算出手段と、前後の画像に対応したブロック平均輝度情報同士の第２ブロック単位での比較に基づき、前記設定された距離範囲内で動きがあったかどうかを判定し、動きがあったと判定した場合に動き検出信号を出力する変化判定手段とを備える。
【００１０】
本発明では、変化判定手段が、検出範囲外の領域をマスクした画像のブロック平均輝度に基づいて、検出範囲内で動きがあったかどうかを判定するため、検出範囲内の動きだけを精度よく検出することができる。したがって、検出範囲として画像の奥行き方向を設定することが可能となる。
【００１１】
ここで、前記距離情報生成手段は、前記撮像装置から入力される画像と、前記撮像装置と異なる位置で、前記撮像装置と同じ範囲を撮影する方向に設置された補助撮影装置から入力される、前記撮像装置から入力される画像に同期した画像との視差に基づいて前記撮像対象物の所定の基準位置からの距離を測定することができる。
【００１２】
また、前記距離範囲設定手段は、検出対象領域となる開始距離と終了距離、あるいは、検出対象外領域となる開始距離と終了距離の指定を受け付けることで、動きを検出する対象領域となる前記基準位置からの距離範囲を設定するようにしてもよい。
【００１３】
さらに、前記距離範囲設定手段は、前記撮像装置から入力された画像中の撮影対象物の指定を受け付け、指定に係る撮影対象物の前記基準位置からの距離を、前記距離情報を参照して取得することで、動きを検出する対象領域となる前記基準位置からの距離範囲を設定するようにしてもよい。
【発明の効果】
【００１４】
本発明によれば、検出範囲として画像の奥行き方向を設定可能な動き検出装置が提供される。
【発明を実施するための最良の形態】
【００１５】
本発明の実施の形態について図面を参照して詳細に説明する。
【実施例１】
【００１６】
図１は、本発明の第１実施例に係る動き検出システムの構成を示すブロック図である。本図に示すように、動き検出システム１は、動き検出装置１０、撮像装置２０、表示装置３０、補助撮像装置４０を備えて構成される。
【００１７】
撮像装置２０は、撮影した画像を画像データとして連続的に出力する装置である。撮像装置２０は、固有の画角を有しており、動きを検出する対象が画角内に収まるように、検出対象範囲に向けて設置するようにする。表示装置３０は、撮像装置２０が連続的に出力する画像データを動画像として表示する。また、表示装置３０は、動き検出装置１０が出力する操作用画面等の画像の表示も行なう。操作者は、表示装置３０に表示される操作用画面にしたがって操作を行なうことで、動き検出システム１に対する指示、設定等を行なうことができる。
【００１８】
補助撮像装置４０は、撮像装置２０と同様に撮影した画像を画像データとして連続的に出力する装置である。補助撮像装置４０は、撮像装置２０の設置位置とは異なる位置で、撮像装置２０と同じ範囲を撮影する方向に設置する。このように補助撮像装置４０を設置することで、同じ対象を写した撮像装置２０の撮像画像と補助撮像装置４０の撮像画像との間に視差が生じる。この視差に基づいて、例えば、相関法、先セグメント法等の既知の距離測定技術を利用することで、撮像装置２０から、撮像装置２０で撮像された画像に含まれる各物体までの距離を検出することができるようになる。
【００１９】
動き検出装置１０は、撮像装置２０の撮像画像中で動きがあったことを検出する装置である。動きがあったことを検出した場合は、動き検出信号を外部に出力する。動き検出に際し、本実施例では、検出対象となる距離範囲を設定できるようになっている。距離範囲は、撮像装置２０からの距離で示され、検出対象となる距離範囲が設定された場合には、検出対象となった距離範囲内で動きがあったことを検出し、検出対象外の距離での動きは検出しない。動き検出装置１０は、ＣＰＵ、メモリ、入力装置、補助記憶装置、インタフェース装置等を備えた汎用的な情報処理装置を用いて構成することができる。あるいは、専用装置として構成してもよい。
【００２０】
図１に示すように、動き検出装置１０は、距離情報生成部１１０、検出範囲設定部１２０、フレームバッファ部１３０、変化判定部１４０を備えている。
【００２１】
距離情報生成部１１０は、撮像装置２０が出力する画像データと、この画像データに同期した補助撮像装置４０が出力する画像データとを入力して、撮像装置２０が撮影した画像に含まれる物体の撮像装置２０からの距離を算出し、距離情報として画像（フレーム）単位で出力する。距離の算出は、上述のように２つの画像の視差に基づく既知の手法で行なうことができる。
【００２２】
距離情報生成部１１０が生成する距離情報の解像度は、例えば、フレームを構成する画素単位とすることができる。この場合、距離情報は、フレームを構成する各画素に対応したブロックに区分され、それぞれのブロックに距離値が設定された情報となる。あるいは、フレームを画素よりも粗い複数のブロックに区分して、距離情報を構成するようにしてもよい。距離情報の解像度が高いほど、検出距離範囲内の動き検出精度は高くなるが、距離情報算出処理等の負荷が大きくなる。このため、操作者から、動き検出目的等に応じて距離情報の解像度の設定を受け付けるようにしてもよい。
【００２３】
検出範囲設定部１２０は、動きを検出する距離範囲の指定を操作者から受け付け、距離範囲を設定する。距離範囲の指定は、例えば、撮像装置２０からの距離を指定することで行なうことができる。あるいは、表示装置３０に映し出された撮像装置２０からの画像を用いて視覚的に指定することもできる。
【００２４】
フレームバッファ部１３０は、フレーム単位の距離情報を一時的に格納する記憶領域であり、評価フレームバッファ１３１と前フレームバッファ１３２とを含んでいる。評価フレームバッファ１３１と前フレームバッファ１３２とには、時間的に前後する距離情報を格納する。後述する動き検出処理における変化判定の毎に、評価フレームバッファ１３１に格納された距離情報を前フレームバッファ１３２にシフトし、評価フレームバッファ１３１に最新の距離情報を格納していく。
【００２５】
変化判定部１４０は、評価フレームバッファ１３１に格納された距離情報と、前フレームバッファ１３２に格納された距離情報とを比較し、検出範囲設定部１２０で設定された距離範囲内で動きがあったかどうかを判定する。そして、動きがあったと判定した場合には、動き検出信号を外部に出力する。
【００２６】
動きがあったかどうかの判定は、ブロック単位で行ない、例えば、評価フレームバッファ１３１に格納された距離情報と、前フレームバッファ１３２に格納された距離情報との間で、検出範囲設定部１２０で設定された距離範囲内で距離値に変化が生じたブロックで動きがあったと判定する。
【００２７】
ただし、従来の輝度値変化に基づく動き検出の技術を適用することができる。例えば、微小な動きに過剰反応しないように距離の変化値が所定の値を超えた場合に動きがあったと判定したり、近隣するブロックの距離値を平滑化した上で変化の有無を判定したりするようにしてもよい。さらには、前後のフレームの比較だけでなく、数フレームの間で変化が続いた場合に動きがあったと判定するようにしてもよい。
【００２８】
なお、図１において、補助撮像装置４０および距離情報生成部１１０に代えて、撮像装置２０で撮影される範囲内に存在する物体までの距離を計測する距離センサを用いてもよい。距離センサは、例えば、レーザ、赤外線、超音波等を撮影対象物に出力し、その反射を検出することで物体までの距離を計測し、距離情報を生成することができる。
【００２９】
次に、第１実施例に係る動き検出システム１の動き検出処理について図２のフローチャートを参照して説明する。動き検出処理では、まず、操作者から検出範囲の設定を受け付ける（Ｓ１０１）。検出範囲の設定は、例えば、図３に示すような検出範囲設定画面５００を表示装置３０に表示して、動き検出装置１０が備えるマウス、キーボード等の入力装置（図示せず）を介して、受け付けることができる。
【００３０】
検出範囲設定画面５００には、検出範囲の設定方法として、「検出対象範囲」と「検出除外範囲」とを選択する領域５０１が設けられ、いずれの場合も開始距離と終了距離とを領域５０２に入力することで距離範囲を指定することができる。なお、「検出対象範囲」は、領域５０２で指定された距離の範囲が検出対象となり、「検出除外範囲」は、領域５０２で指定された距離の範囲を除いた範囲が検出対象となる。また、撮像装置２０からの画像に基づいて距離範囲を指定するための「画像設定」ボタン５０３も設けられているが、これについては後述する。
【００３１】
例えば、領域５０１で「検出対象範囲」が選択され、領域５０２で５ｍ〜１５ｍが指定された場合は、図４のａ）に示すように、撮像装置２０から距離５ｍ〜１５ｍの範囲が動き検出の対象範囲となる。また、領域５０１で「検出除外範囲」が選択され、領域５０２で５ｍ〜１５ｍが指定された場合は、撮像装置２０から５ｍ〜１５ｍの範囲が検出除外となるため、図４のｂ）に示すように、０ｍ〜５ｍおよび１５ｍ以遠が動き検出の対象範囲となる。
【００３２】
なお、領域５０２で開始距離と終了距離のいずれか一方だけを指定することもできる。例えば、領域５０１で「検出対象範囲」が選択され、領域５０２で開始距離のみの５ｍ〜が指定された場合は、図４のｃ）に示すように、撮像装置２０から５ｍ以遠の範囲が動き検出の対象範囲となる。
【００３３】
なお、本実施例では、撮像装置２０からの距離で検出範囲を設定し、また、撮像装置２０から対象物までの距離情報を生成するように、撮像装置２０の位置を距離の基準としているが、他の位置を距離の基準にしてもよい。
【００３４】
検出範囲の設定を受け付けると、動き検出装置１０の距離情報生成部１１０は、撮像装置２０から最初のフレームを入力する（Ｓ１０２）。また、補助撮像装置４０から撮像装置２０から入力したフレームに同期したフレームを入力する。
【００３５】
そして、距離情報生成部１１０が、撮像装置２０から入力したフレームと、補助撮像装置４０から入力したフレームとに基づいて距離情報を生成する（Ｓ１０３）。図５は、最初のフレーム（第１フレーム）から生成される距離情報を説明する図である。例えば、撮像装置２０からの最初のフレームが図５（ａ）に示すような、物体Ａ、物体Ｂ、物体Ｃが写った画像であったとする。ここで、図５（ｂ）に示すように、物体Ａは撮像装置２０から９ｍの距離にあり、物体Ｂは撮像装置２０から５ｍの距離にあり、物体Ｃは撮像装置２０から２ｍの距離にあるとする。また、検出範囲は４ｍ〜８ｍであるとする。なお、図４では、撮像装置２０を斜め下に向けて設置していたが、ここでは、分かりやすくするために撮像装置２０は水平方向に設置されているものとする。この場合、物体の背後に壁がないとすると何も写っていない部分は無限大の距離となる。
【００３６】
図５（ｃ）は、このとき生成される距離情報の一例を示している。なお、本例では、フレームを縦１０個横１４個の１４０個のブロックに分割して距離を算出している。本図に示すように、最初のフレームに対応した距離情報は、物体Ａが写っている領域に対応したブロック（ｃ３、ｃ４、ｄ３、ｄ４）が距離９を示し、物体Ｂが写っている領域に対応したブロック（ｆ５、ｆ６、ｇ５、ｇ６）が距離５を示し、物体Ｃが写っている領域に対応したブロック（ｋ８、ｋ９、ｌ８、ｌ９）が距離２を示し、その他のブロックは何も写っていないため距離∞を示している。
【００３７】
距離情報生成部１１０は、生成した距離情報を評価フレームバッファ１３１に格納する（Ｓ１０４）。最初のフレームであるため比較対象となる前のフレームが存在しないので、評価フレームバッファ１３１に格納した距離情報を前フレームバッファ１３２にシフトする（Ｓ１０５）。もちろん、距離情報を移動させずに、双方のバッファの役割を交換するようにしてもよい。
【００３８】
距離情報生成部１１０は、撮像装置２０から次のフレームを入力する（Ｓ１０６）。また、補助撮像装置４０から撮像装置２０から入力したフレームに同期したフレームを入力する。そして、距離情報生成部１１０が、撮像装置２０から入力したフレームと、補助撮像装置４０から入力したフレームとに基づいて距離情報を生成する（Ｓ１０７）。
【００３９】
図６は、次のフレーム（第２フレーム）から生成される距離情報を説明する図である。例えば、次のフレームで、物体Ａ、物体Ｂ、物体Ｃが、図６（ａ）および図６（ｂ）に示すように移動したとする。すなわち、物体Ａが画面下方向に移動し、物体Ｂが画面右上方向に移動するとともに、斜め後ろに下がって撮像装置２０から６ｍの距離に移動し、物体Ｃが後に下がって撮像装置２０から５ｍの距離に移動したとする。
【００４０】
図６（ｃ）は、このとき生成される距離情報の一例を示している。本図に示すように、第２フレームに対応した距離情報は、物体Ａが写っている領域に対応したブロック（ｃ６、ｃ７、ｄ６、ｄ７）が距離９を示し、物体Ｂが写っている領域に対応したブロック（ｈ３、ｈ４、ｉ３、ｉ４）が距離６を示し、物体Ｃが写っている領域に対応したブロック（ｋ８、ｋ９、ｌ８、ｌ９）が距離５を示し、その他のブロックは何も写っていないため距離∞を示している。
【００４１】
距離情報生成部１１０は、生成した距離情報を評価フレームバッファ１３１に格納する（Ｓ１０８）。そして、変化判定部１４０が評価フレームバッファ１３１に格納された距離情報と、前フレームバッファ１３２に格納された距離情報とを比較して、検出範囲内で動きがあったかどうかを判断する（Ｓ１０９）。
【００４２】
検出範囲内で動きがあったかどうかを判断は、検出範囲内における距離情報の変化に基づいて行ない、例えば、以下のようにすることができる。すなわち、まず評価フレームバッファ１３１に格納された距離情報、および、前フレームバッファ１３２に格納された距離情報のいずれもが検出範囲外であるブロックを除外する。そして残ったブロックの中で、距離情報の距離値の異なるブロックが、検出範囲で距離情報に変化があったブロックであり、動きがあったブロックであると判断できる。ただし、距離情報の測定精度等に応じて変化検出に閾値を設けたり、近隣ブロックで距離値を平滑化したうえで変化の有無を判断したりするようにしてもよい。
【００４３】
例えば、第１フレームの距離情報が図７（ａ）（図５（ｃ）の再掲）に示すようであり、第２フレームの距離情報が図７（ｂ）（図６（ｃ）の再掲）に示すようであった場合に、いずれもが検出範囲外であるブロックを除いたブロックの内、距離値の変化があったブロック（ｆ５、ｆ６、ｇ５、ｇ６、ｈ３、ｈ４、ｉ３、ｉ４、ｋ８、ｋ９、ｌ８、ｌ９）で動きがあったと判別することができる。これは、検出範囲内で移動した物体Ｂの動きと、検出範囲内に移動してきた物体Ｃの動きに対応する。一方、検出範囲外の距離で移動した物体Ａの動きは検出対象外であるため、検出されていない。
【００４４】
検出範囲内で動きがあったことを検出した場合は（Ｓ１０９：Ｙｅｓ）、変化判定部１４０は、変化検出信号を出力する（Ｓ１１０）。以上説明した評価フレームバッファ１３１に格納した距離情報を前フレームバッファ１３２にシフトする処理（Ｓ１０５）以降の処理を、動き検出処理を終了するまで繰り返す（Ｓ１１１）。
【００４５】
次に、検出範囲の設定処理（Ｓ１０１）で、「画像設定」が指定された場合、すなわち、図３に示した検出範囲設定画面５００で「画像設定」ボタン５０３がクリックされた場合の検出範囲設定処理について説明する。上記の例では、距離を指定することで検出範囲の設定を行なっていたが、「画像設定」が指定された場合には、表示装置３０に表示される撮像装置２０からの撮像画像をマウス等のポインティングデバイスやキーボード等の入力装置で指示することで検出範囲の設定を行なうことができる。
【００４６】
例えば、表示装置３０に図８（ａ）に示すような、物体Ａ、物体Ｂ、物体Ｃが写っている画像が表示されているとする。ここで、図８（ｂ）に示すように、物体Ａは撮像装置２０から９ｍの距離にあり、物体Ｂは撮像装置２０から５ｍの距離にあり、物体Ｃは撮像装置２０から２ｍの距離にあるとする。図８（ａ）に示すように「画像設定」が指定された場合にも、距離範囲の指定方法として「検出対象範囲」と「検出除外範囲」のいずれかを選択できるようになっている。
【００４７】
図９（ａ）に示すように「検出対象範囲」が選択されている状態で、例えば、物体Ｃをクリックすると、図９（ｂ）に示すように、検出範囲設定部１２０は、物体Ｃの撮像装置２０からの距離２ｍを検出対象領域の開始距離として設定する。なお、検出範囲設定部１２０は、撮像装置２０から入力された画像に、距離情報生成部１１０が生成する距離情報を重畳させることで各物体の撮像装置２０からの距離を把握することができる。
【００４８】
さらに、図１０（ａ）に示すように、物体ＡをＳｈｉｆｔ＋クリックすると、図１０（ｂ）に示すように、検出範囲設定部１２０は、物体Ａの撮像装置２０からの距離９ｍを終了距離として設定する。これにより、２ｍ〜９ｍが検出範囲として設定されることになる。すなわち、本例では、クリックにより開始距離を指定し、Ｓｈｉｆｔ＋クリックにより終了距離を指定するようにしている。もちろんこの指定方法は一例であり、他の指定方法を採用してもよい。
【００４９】
「検出除外範囲」が選択されている場合も同様であり、例えば、図１１（ａ）に示すように、物体Ｃをクリックし、物体ＡをＳｈｉｆｔ＋クリックすると、図１１（ｂ）に示すように検出除外領域として２ｍ〜９ｍが設定される結果、検出範囲は、０〜２ｍおよび９ｍ以遠の距離となる。
【００５０】
さらに、以下のような方法で、検出範囲設定を行えるようにしてもよい。例えば、図１２（ａ）に示すように、物体Ａと物体Ｂとを含むようにドラッグすると、図１２（ｂ）に示すように、ドラッグ領域に含まれる物体の内、最も手前に位置する物体、すなわち物体Ｂの距離５ｍが開始距離として設定されるようにすることができる。一方、Ｓｈｉｆｔ＋ドラッグを行なうと、ドラッグ領域に含まれる物体の内、最も奥に位置する物体の距離が終了距離として設定されるようにすることができる。
【００５１】
あるいは、図１３（ａ）に示すように、ある物体、例えば、物体Ｂをクリックした状態、すなわち、開始距離が設定された状態で、マウスに備えられたホイルを回転させると、図１３（ｂ）に示すようにホイルの回転の度合いに応じて終了距離を前後させるようにすることができる。
【００５２】
以上の設定方法は例示であり、本発明は、種々の検出範囲設定方法を用いることができる。また、操作者が検出範囲の設定をしやすくするために、図１４に示すように、距離に応じた色を物体に付して表示装置３０に表示するようにしてもよい。
【００５３】
以上に説明したように、第１実施例によれば、検出範囲として画像の奥行き方向を設定可能な動き検出システムが提供される。
【実施例２】
【００５４】
次に、本発明の第２実施例について説明する。第１実施例では、距離情報を用いて検出範囲内の動きを検出することができる。しかしながら、距離情報生成部１１０が生成する距離情報の精度が十分でないと、異なる物体が近接している場合等に、動き検出の精度が低下してしまうおそれがある。そこで、第２実施例では、距離情報とブロック輝度情報とを組み合わせて検出範囲内における動きを精度よく検出するようにする。
【００５５】
図１５は、本発明の第２実施例に係る動き検出システムの構成を示すブロック図である。第１実施例と同じ機能部については同じ符号を付し、説明は簡略化する。本図に示すように、動き検出システム２は、動き検出装置１２、撮像装置２０、表示装置３０、補助撮像装置４０を備えて構成される。撮像装置２０、表示装置３０、補助撮像装置４０については第１実施例と同様の装置を用いることができる。
【００５６】
動き検出装置１２は、第１実施例と同様に撮像装置２０の撮像画像中で動きがあったことを検出する装置である。第２実施例でも、検出対象となる距離範囲を設定できるようになっている。動き検出装置１２は、ＣＰＵ、メモリ、入力装置、補助記憶装置、インタフェース装置等を備えた汎用的な情報処理装置を用いて構成することができる。あるいは、専用装置として構成してもよい。
【００５７】
本図に示すように、動き検出装置１２は、距離情報生成部１１０、検出範囲設定部１２０、画像バッファ２１０、マスクデータ生成部２２０、マスク処理部２３０、フレームバッファ部２４０、マスク結合処理部２５０、第１作業領域２６０、ブロック平均輝度算出部２７０、第２作業領域２８０、変化判定部２９０を備えている。
【００５８】
距離情報生成部１１０および検出範囲設定部１２０は、第１実施例と同じ機能部である。画像バッファ２１０は、撮像装置２０が出力する画像を一時的に格納する記憶領域である。画像バッファ２１０に格納された画像は、マスク処理部２３０において、マスクデータ生成部２２０で生成されたマスクデータによりマスクされる。
【００５９】
マスクデータ生成部２２０は、距離情報生成部１１０が生成した距離情報に基づいて、検出範囲設定部１２０が受け付けた検出範囲以外の距離の領域に対応したマスクデータを生成する。例えば、あるフレームの距離情報の下半分の領域の距離値が検出範囲に含まれていたとすると、上半分の領域に対応したマスクデータを生成する。
【００６０】
マスク処理部２３０は、画像バッファ２１０に格納された撮像装置２０からの画像を、マスクデータ生成部２２０が生成したマスクデータでマスクする処理を行なう。マスクデータは、検出範囲外の領域に対応して生成されているため、この処理により画像中の検出範囲外の領域がマスクされることになる。
【００６１】
フレームバッファ部２４０は、マスク処理部２３０が出力した検出範囲外の領域がマスクされた画像（マスク画像）を一時的に格納する記憶領域であり、評価フレームバッファ２４１と前フレームバッファ２４２とを含んでいる。評価フレームバッファ２４１と前フレームバッファ２４２とには、時間的に前後するマスク画像を格納する。後述する動き検出処理における変化判定の毎に、評価フレームバッファ２４１に格納されたマスク画像を前フレームバッファ２４２にシフトし、評価フレームバッファ２４１に最新のマスク画像を格納していく。
【００６２】
マスク結合処理部２５０は、評価フレームバッファ２４１に格納されたマスク画像のマスク領域と、前フレームバッファ２４２に格納されたマスク画像のマスク領域とを結合し、それぞれのマスク画像に対して、結合されたマスク領域でマスクして、第１作業領域２６０に設けられた評価フレーム第１作業領域２６１、前フレーム第１作業領域２６２にそれぞれ格納する。ここで、結合されたマスク領域は、両方のマスク領域のＯＲ（論理和）で得られたマスク領域を意味する。
【００６３】
ブロック平均輝度算出部２７０は、評価フレーム第１作業領域２６１および前フレーム第１作業領域２６２に格納された、結合されたマスク領域でマスクされた画像（結合マスク画像）に対して、所定のブロックに区分して、輝度値の平均値を算出する。そして、評価フレーム第１作業領域２６１に格納された結合マスク画像のブロック別平均輝度値情報を、第２作業領域２８０に設けられた評価フレーム第２作業領域２８１に格納し、前フレーム第１作業領域２６２に格納された結合マスク画像のブロック別平均輝度値情報を、第２作業領域２８０に設けられた前フレーム第２作業領域２８２に格納する。
【００６４】
変化判定部２９０は、評価フレーム第２作業領域２８１に格納されたブロック別平均輝度値情報と、前フレーム第２作業領域２８２に格納されたブロック別平均輝度値情報とをブロック毎に比較し、動きがあったかどうかを判定する。そして、動きがあったと判定した場合には、動き検出信号を外部に出力する。
【００６５】
動きがあったかどうかの判定は、平均輝度値の差が所定の閾値以上のブロックを検出する。そして、ブロックが検出された場合に、動きがあったものと判定して変化検出信号を外部に出力する。このとき、検出範囲外の距離の物体の画像はマスクされているため、検出範囲内での動きのみが検出されることになる。
【００６６】
次に、第２実施例に係る動き検出システム２の動き検出処理について図１６のフローチャートを参照して説明する。動き検出処理では、まず、操作者から検出範囲の設定を受け付ける（Ｓ２０１）。検出範囲の設定は、第１実施例と同様に受け付けることができる。
【００６７】
検出範囲の設定を受け付けると、動き検出装置１２の距離情報生成部１１０は、撮像装置２０から最初のフレームを入力する（Ｓ２０２）。また、補助撮像装置４０から撮像装置２０から入力したフレームに同期したフレームを入力する。撮像装置２０からの最初のフレームは画像バッファ２１０にも送られ、格納される（Ｓ２０３）。
【００６８】
次いで、距離情報生成部１１０が、撮像装置２０から入力したフレームと、補助撮像装置４０から入力したフレームとに基づいて距離情報を生成する（Ｓ２０４）。距離情報の解像度は特に限定されないが、後述する輝度の平均値を算出するブロックよりも細かいブロックで距離情報を生成することが望ましい。
【００６９】
距離情報が生成されると、マスクデータ生成部２２０が、生成された距離情報と設定された検出範囲に基づいてマスクデータを生成する（Ｓ２０５）。図１７は、マスクデータ生成処理の一例を説明する図である。例えば、撮像装置２０からの最初のフレームが図１７（ａ）に示すように、物体Ａ、物体Ｂ、物体Ｃ、物体Ｄ、物体Ｅが写った画像であったとする。ここで、検出対象範囲として５ｍ〜１５ｍが設定されており、撮像装置２０とそれぞれの物体との位置関係は、図１７（ｂ）に示すような状態であるとする。すなわち、撮像装置２０は、斜め下方向に向いており、検出対象範囲内に、物体Ａ、物体Ｂ、物体Ｃが位置し、検出対象範囲前に物体Ｃが位置し、検出対象範囲後に物体Ｅが位置している。また、撮像装置２０は斜め下を向いているため、道路部分も写っており、有限距離値の距離情報が設定される。
【００７０】
図１７（ｃ）は、この時に生成されるマスクデータを示している。すなわち、図１１７（ａ）に示した画像から生成された距離情報のうち、検出対象範囲外の距離の領域に対応したマスクが生成される。本図の例では、検出対象範囲外の物体Ｃが写っている領域と、５ｍよりも前の道路部分および１５ｍよりも後の道路部分にマスクが生成される。ただし、１５ｍよりも後の道路部分の一部は検出対象範囲内の物体Ｄの影になっているため、その部分にはマスクは生成されない。
【００７１】
そして、マスク処理部２３０が、生成されたマスクデータで画像バッファ２１０に格納されているフレームをマスクする（Ｓ２０６）。マスク処理は、例えば、マスクに対応するフレームの画素値を所定の値、例えば、０等に変化させることで行なうことができる。図１７（ｄ）は、図１７（ａ）に示したフレームを図１７（ｃ）に示したマスクデータでマスクしたマスク画像の例を示している。本図に示すように、検出対象範囲外の物体Ｃ、５ｍよりも前の道路部分および１５ｍよりも後の道路部分がマスクされ、検出対象範囲内の画像が残っている。
【００７２】
マスク処理されたフレーム（マスク画像）は、フレームバッファ部２４０の評価フレームバッファ２４１に格納される（Ｓ２０７）。最初のフレームであるため比較対象となる前のフレームが存在しないので、評価フレームバッファ２４１に格納したマスク画像を前フレームバッファ２４２にシフトする（Ｓ２０８）。
【００７３】
動き検出装置１２の距離情報生成部１１０は、撮像装置２０から次のフレームを入力する（Ｓ２０９）。また、補助撮像装置４０から撮像装置２０から入力したフレームに同期したフレームを入力する。撮像装置２０からの次のフレームは画像バッファ２１０にも送られ、格納される（Ｓ２１０）。
【００７４】
次いで、距離情報生成部１１０が、撮像装置２０から入力したフレームと、補助撮像装置４０から入力したフレームとに基づいて距離情報を生成する（Ｓ２１１）。距離情報が生成されると、マスクデータ生成部２２０が、生成された距離情報と設定された検出範囲に基づいてマスクデータを生成する（Ｓ２１２）。図１８は、第２フレームに対応したマスクデータ生成処理の一例を説明する図である。
【００７５】
例えば、撮像装置２０からの第２フレームで、図１８（ａ）、図１８（ｂ）に示すように、物体Ａと物体Ｂの位置が入れ替わり、物体Ｃが検出範囲外で移動し、物体Dが検出範囲内から検出範囲外に移動し、物体Ｅが検出範囲外から検出範囲内に移動したとする。
【００７６】
図１８（ｃ）は、この時に生成されるマスクデータを示している。すなわち、図１１８（ａ）に示した画像から生成された距離情報のうち、検出対象範囲外の距離の領域に対応したマスクが生成される。本図の例では、検出対象範囲外の物体Ｃが写っている領域と、５ｍよりも前の道路部分および１５ｍよりも後の道路部分にマスクが生成される。ただし、１５ｍよりも後の道路部分の一部は検出対象範囲内の物体Ｅの影になっているため、その部分にはマスクは生成されない。
【００７７】
そして、マスク処理部２３０が、生成されたマスクデータで画像バッファ２１０に格納されているフレームをマスクする（Ｓ２１３）。図１８（ｄ）は、図１８（ａ）に示したフレームを図１８（ｃ）に示したマスクデータでマスクしたマスク画像の例を示している。本図に示すように、検出対象範囲外の物体Ｃ、５ｍよりも前の道路部分および１５ｍよりも後の道路部分がマスクされ、検出対象範囲内の画像が残っている。
【００７８】
マスク処理されたフレーム（マスク画像）は、フレームバッファ部２４０の評価フレームバッファ２４１に格納される（Ｓ２１４）。そして、マスク結合処理部２５０が、評価フレームバッファ２４１に格納されたマスク画像のマスク領域と、前フレームバッファ２４２に格納されたマスク画像のマスク領域とを結合し、それぞれのマスク画像に対して、結合されたマスク領域でマスクして、第１作業領域２６０に設けられた評価フレーム第１作業領域２６１、前フレーム第１作業領域２６２にそれぞれ格納する（Ｓ２１５）。
【００７９】
図１９は、このときのマスク結合処理を説明する図である。図１９（ａ）は、前フレームバッファ２４２に格納された第１フレームのマスク画像（図１７（ｄ）の再掲）であり、図１９（ｂ）は、評価フレームバッファ２４１に格納された第２フレームのマスク画像（図１８（ｄ）の再掲）である。両方のマスク画像のマスク画像を結合すると図１９（ｃ）に示すような領域となる。この結合されたマスクで、図１９（ａ）に示した第１フレームのマスク画像をマスクすると図１９（ｄ）のようになり、この結合マスク画像が前フレーム第１作業領域２６２に格納される。また、結合されたマスクで図１９（ｂ）に示した第２フレームのマスク画像をマスクすると図１９（ｅ）のようになり、この結合マスク画像が評価フレーム第１作業領域２６１に格納される。
【００８０】
次いで、ブロック平均輝度算出部２７０が、評価フレーム第１作業領域２６１および前フレーム第１作業領域２６２に格納された、結合されたマスク領域でマスクされた画像（結合マスク画像）に対して、所定のブロックに区分して、輝度値の平均値を算出する（Ｓ２１６）。そして、評価フレーム第１作業領域２６１に格納された結合マスク画像のブロック別平均輝度値情報を、第２作業領域２８０に設けられた評価フレーム第２作業領域２８１に格納し、前フレーム第１作業領域２６２に格納された結合マスク画像のブロック別平均輝度値情報を、第２作業領域２８０に設けられた前フレーム第２作業領域２８２に格納する。
【００８１】
そして、変化判定部２９０が、評価フレーム第２作業領域２８１に格納されたブロック別平均輝度値情報と、前フレーム第２作業領域２８２に格納されたブロック別平均輝度値情報とをブロック毎に比較し、動きがあったかどうかを判定する（Ｓ２１７）。そして、動きがあったと判定した場合には、動き検出信号を外部に出力する（Ｓ２１８）。
【００８２】
動きがあったかどうかの判定は、平均輝度値の差が所定の閾値以上のブロックを検出する。そして、ブロックが検出された場合に、動きがあったものと判定して変化検出信号を外部に出力する。このとき、検出範囲外の距離の物体の画像はマスクされているため、検出範囲内での動きのみが検出されることになる。
【００８３】
図２０は、ブロック輝度の平均値を算出して動きを検出する処理を説明する図である。図２０（ａ）は、前フレーム第１作業領域２６２に格納された第１フレームの結合マスク画像（図１９（ｄ）の再掲）であり、図２０（ｂ）は、評価フレーム第１作業領域２６１に格納された第２フレームの結合マスク画像（図１９（ｅ）の再掲）である。本例では結合マスク画像を縦５個、横７個の３５個のブロックに区分して平均輝度値を算出するものとする。
【００８４】
図２０（ｃ）は、図２０（ａ）に示した前フレーム第１作業領域２６２に格納された第１フレームの結合マスク画像のブロック平均輝度を示し、図２０（ｄ）は、図２０（ｂ）に示した評価フレーム第１作業領域２６１に格納された第２フレームの結合マスク画像のブロック平均輝度を示している。図２０（ｅ）は、図２０（ｃ）と図２０（ｄ）に示したブロック平均輝度をブロックごとに比較し、変化があったブロックを抽出したものであり、ａ２、ｂ２、ｃ３、ｃ４、ｄ３、ｅ３、ｆ２、ｇ２のブロックで動きが検出されたことを示している。これは、検出範囲内で移動した物体Ａと物体Ｂの動きと、検出範囲内から検出範囲外に移動した物体Ｄの動きと、検出範囲外から検出範囲内に移動した物体Ｅの動きに対応する。一方、検出範囲外で移動した物体Ｃの動きは検出対象外であるため、検出されていない。
【００８５】
動きがあったことを検出した場合は（Ｓ２１７：Ｙｅｓ）、変化判定部２９０は、変化検出信号を出力する（Ｓ２１８）。以上説明した評価フレームバッファ２４１に格納したマスク画像を前フレームバッファ２４２にシフトする処理（Ｓ２０８）以降の処理を、動き検出処理を終了するまで繰り返す（Ｓ２１９）。
【００８６】
以上に説明したように、第２実施例によれば、検出範囲として画像の奥行き方向を設定可能な動き検出システムが提供される。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１実施例に係る動き検出システムの構成を示すブロック図である。
【図２】第１実施例に係る動き検出システムの動き検出処理を示すフローチャートである。
【図３】検出範囲設定画面の一例を示す図である。
【図４】検出範囲の例を示す図である。
【図５】最初のフレーム（第１フレーム）から生成される距離情報を説明する図である。
【図６】次のフレーム（第２フレーム）から生成される距離情報を説明する図である。
【図７】動き検出の例を示す図である。
【図８】検出範囲設定の例を示す図である。
【図９】検出範囲設定の例を示す図である。
【図１０】検出範囲設定の例を示す図である。
【図１１】検出範囲設定の例を示す図である。
【図１２】検出範囲設定の例を示す図である。
【図１３】検出範囲設定の例を示す図である。
【図１４】検出範囲設定の例を示す図である。
【図１５】本発明の第２実施例に係る動き検出システムの構成を示すブロック図である。
【図１６】第２実施例に係る動き検出システムの動き検出処理を示すフローチャートである。
【図１７】第１フレームに対するマスク処理を説明する図である。
【図１８】第２フレームに対するマスク処理を説明する図である。
【図１９】マスクの結合処理を説明する図である。
【図２０】ブロック輝度の平均値を算出して動きを検出する処理を説明する図である。
【符号の説明】
【００８８】
１…動き検出システム、２…動き検出システム、１０…動き検出装置、１２…動き検出装置、２０…撮像装置、３０…表示装置、４０…補助撮像装置、１１０…距離情報生成部、１２０…検出範囲設定部、１３０…フレームバッファ部、１４０…変化判定部、２１０…画像バッファ、２２０…マスクデータ生成部、２３０…マスク処理部、２４０…フレームバッファ部、２５０…マスク結合処理部、２６０…第１作業領域、２７０…ブロック平均輝度算出部、２８０…第２作業領域、２９０…変化判定部
【図１】
2010011387.tif 000003
【図２】
2010011387.tif 000004
【図３】
2010011387.tif 000005
【図４】
2010011387.tif 000006
【図５】
2010011387.tif 000007
【図６】
2010011387.tif 000008
【図７】
2010011387.tif 000009
【図８】
2010011387.tif 000010
【図９】
2010011387.tif 000011
【図１０】
2010011387.tif 000012
【図１１】
2010011387.tif 000013
【図１２】
2010011387.tif 000014
【図１３】
2010011387.tif 000015
【図１４】
2010011387.tif 000016
【図１５】
2010011387.tif 000017
【図１６】
2010011387.tif 000018
【図１７】
2010011387.tif 000019
【図１８】
2010011387.tif 000020
【図１９】
2010011387.tif 000021
【図２０】
2010011387.tif 000022