(57)【要約】【課題】撮影画像と、移動物体検出処理をしないマスク領域以外に対し、予め別途に撮影した画像と比較して移動物体検出を行うものは、マスク領域を予め指定するため、遮蔽物体が動く範囲全てをマスクすると、移動物体が遮蔽物体の動く範囲内にある時、移動物体を検出できない。【解決手段】移動物体と、遮蔽物体の両物体を撮影する画像撮影手段で得られた画像から移動領域検出手段で移動領域を検出し、遮蔽物体の動く範囲や移動方向、速度などの動作情報を予め記憶する動作情報記憶手段の情報に基づき、遮蔽物体検出手段で遮蔽物体を検出し、検出された遮蔽物体の領域をマスク領域とするかの判定と、該マスク領域を除く範囲を移動物体検出領域設定手段で移動物体検出領域として設定し、この移動物体検出領域と前記移動領域検出手段の検出した移動領域から移動物体検出手段で移動物体を検出する。【選択図】図１
2009122990.tif 000002
【特許請求の範囲】
【請求項１】
移動物体と、この移動物体とは異なる特定の動作を行う遮蔽物体との両物体を撮影する画像撮影手段と、この画像撮影手段で得られた画像から移動領域を検出する移動領域検出手段と、前記遮蔽物体の動く範囲や移動方向、速度などの動作情報をあらかじめ記憶する動作情報記憶手段と、この動作情報記憶手段の記憶情報に基づいて前記画像から遮蔽物体を検出する遮蔽物体検出手段と、この遮蔽物体検出手段で得られた遮蔽物体の領域をマスク領域とするか否かの判定と、該マスク領域を除く範囲を移動物体検出領域として設定する移動物体検出領域設定手段と、この移動物体検出領域設定手段で設定された領域と前記移動領域検出手段の検出した移動領域から移動物体を検出する移動物体検出手段を備えることを特徴とする画像処理装置。
【請求項２】
前記移動物体検出領域設定手段は、遮蔽物体が移動したとき、該遮蔽物体が動く範囲を求め、これをマスク領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動物体検出領域設定手段は、遮蔽物体が移動したとき、前記動作情報記憶手段から遮蔽物体の位置を求め、これをマスク領域とすることを特徴とした請求項１に記載の画像処理装置。
【請求項４】
前記移動物体検出領域設定手段は、前記画像撮影手段で得られた画像を複数の部分画像に分割し、各部分画像の動きベクトルと、前記動作情報記憶手段の記憶情報と比較することで遮蔽物体の位置を求め、これをマスク領域とすることを特徴とした請求項１に記載の画像処理装置。
【請求項５】
前記遮蔽物体検出手段は、遮蔽物体としてバーを検出し、前記移動物体検出手段は、移動物体として車両を検出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影された画像データから、移動物体を検出する画像処理技術に関する。
【背景技術】
【０００２】
撮影された画像データから、移動物体を検出するシステムとして、例えば特許文献１（特開２００４−０６８５１５号公報）に示されるものがある。この特許文献１によるシステムでは、移動物体の検出を行わない領域をマスク領域としてあらかじめ指定し、これを除く領域に対し、撮影された画像と異なる時間にあらかじめ撮影しておいた画像とを比較することにより移動物体の検出を行う。
【０００３】
【特許文献１】特開２００４−０６８５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の移動物体を検出するシステムは以上のように構成されており、移動物体の検出を行わない領域、例えば遮蔽物体が動く範囲をマスク領域としてあらかじめ指定する必要があるため、遮蔽物体が動く範囲全てをマスクすると、移動物体が遮蔽物体の動く範囲内にある場合、移動物体を検出できないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、遮蔽物体の動作情報を用いることで、遮蔽物体をマスクするか否かを判定すると共に、遮蔽物体に遮られた部分のみをマスクすることで、移動物体の検出を行うことを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る画像処理装置は、移動物体と、この移動物体とは異なる特定の動作を行う遮蔽物体との両物体を撮影する画像撮影手段と、この画像撮影手段で得られた画像から移動領域を検出する移動領域検出手段と、前記遮蔽物体の動く範囲や移動方向、速度などの動作情報をあらかじめ記憶する動作情報記憶手段と、この動作情報記憶手段の記憶情報に基づいて前記画像から遮蔽物体を検出する遮蔽物体検出手段と、この遮蔽物体検出手段で得られた遮蔽物体の領域をマスク領域とするか否かの判定と、該マスク領域を除く範囲を移動物体検出領域として設定する移動物体検出領域設定手段と、この移動物体検出領域設定手段で設定された領域と前記移動領域検出手段の検出した移動領域から移動物体を検出する移動物体検出手段を備える。
【発明の効果】
【０００７】
この発明に係る画像処理装置によれば、遮蔽物体検出部における遮蔽物体の移動検出結果に応じて移動物体検出領域設定部がマスクする領域を設定する構成にしたので、遮蔽物体が移動した場合のみ動く範囲にマスクすることができ、高精度に移動物体を検出することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。図において、画像撮影部１は、移動物体とこの移動物体とは異なる特定の動作を行う遮蔽物体との画像を同一のカメラなどの撮像装置を用いて撮影する。
移動領域検出部２は、画像撮影部１で得られた画像から動きを持つ領域を移動領域として検出する。
動作情報記憶部３は、遮蔽物体となる物体の動く範囲や移動方向、速度などをあらかじめ保持している記憶装置である。
遮蔽物体検出部４は、動作情報記憶部３の遮蔽物体の動く範囲や移動方向、速度に基づいて画像撮影部１が撮影した画像における遮蔽物体の検出や移動を監視する処理を行う。
移動物体検出領域設定部５は、画像撮影部１が撮影した画像中で、遮蔽物体検出部４で得られた遮蔽物体領域をマスク領域とするかの判定や該マスク領域を除く範囲を移動物体検出領域として設定する処理を行う。
移動物体検出部６は、移動物体検出領域設定部５で設定された移動物体検出領域と移動領域検出部２の検出した移動領域から移動物体の検出を行う処理を実行する。
なお、この実施の形態１では、移動物体として車輌を、遮蔽物体として車輌の通行を許諾または拒否するバーを想定している。
【０００９】
図２はこの発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
まず、画像撮影部１は、移動物体とこの移動物体とは異なる特定の動作を行う遮蔽物体とを同一のカメラなどで撮影する（ステップＳＴ１１）。この実施の形態では、図３の画像を撮影したものとする。ここで、バーを遮蔽物体とし、移動物体として車両を検出する。
【００１０】
移動領域検出部２は、画像撮影部１から得られた画像より動きを持つ領域を移動領域として検出する（ステップＳＴ１２）。ここでは、移動領域を検出する方法として、画像撮影部１で得られた画像とあらかじめ撮影しておいた図４に示す背景画像との差分による方法などを用いて検出する。例えば、背景画像との差分により移動領域を検出する方法として、特開平０７−３３６６９４号公報などに記載された方法を用いる。
図５は、移動領域検出部２により図３の撮影画像から図４の背景画像との差分により得られた移動領域の画像例であり、黒色で示される領域が移動領域を意味している。ここでは、移動領域を検出する方法として背景画像との差分による方法を用いたが、その他の方法を用いても良い。
移動領域検出部２は、画像上に移動領域が含まれるか否かを判定し、画像上に移動領域が無い場合は、ステップＳＴ１１に戻り、移動領域が存在する場合は、ステップＳＴ１４の処理に進む（ステップＳＴ１３）。ここでは、移動領域が含まれるためステップＳＴ１４に進む。
【００１１】
遮蔽物体検出部４は、動作情報記憶部３があらかじめ保持している初期状態を遮蔽物体監視領域として設定する。図６に動作情報記憶部３が保持している情報の例を示す。図では、遮蔽物体の初期状態を監視する範囲を決定するための座標点A0(x,y)〜D0(x,y)ならびに動く範囲AT(x,y)〜FT(x,y)、遮蔽物体の移動方向(dx,dy)、遮蔽物体の速度(Vx,Vy)を示している。
図７は、遮蔽物体検出部４が動作情報記憶部３から初期状態を取得し遮蔽物体監視領域を設定した例である。図において破線内部が遮蔽物体監視領域を示している。
次に、遮蔽物体検出部４は、遮蔽物体監視領域内の画素値の変化が所定の閾値を超えた場合、遮蔽物体が初期状態から移動を開始したことを検出する（ステップＳＴ１４）。ここでは、遮蔽物体の移動を検出する方法として遮蔽物体監視領域内の画素の変化値に基づいて検出したが、その他の方法を用いても良い。
【００１２】
移動物体検出領域設定部５では、遮蔽物体が初期状態であるか否かを判定する（ステップＳＴ１５）。遮蔽物体が初期状態であれば、遮蔽物体監視領域をマスク領域としてステップＳＴ１７に進み、初期状態でなければステップＳＴ１６に進む。ここでは、図３に示すように初期状態から遮蔽物体であるバーが開く動作を開始することで移動しているためステップ１６に進む。
次に、移動物体検出領域設定部５では、動作情報記憶部３より遮蔽物体の動く範囲を取得し、これをマスク領域として設定する（ステップＳＴ１６）。図８に遮蔽物体の動く範囲をマスク領域とした例を示す。図において黒色で示される部分がマスク領域を表している。
移動物体検出領域設定部５は、移動領域検出部２で得られた移動領域からマスク領域を除く範囲を移動物体検出領域として設定する（ステップＳＴ１７）。図９に図５の移動領域から図８のマスク領域を除いた移動物体検出領域の例を示す。
【００１３】
移動物体検出部６は、移動物体検出領域設定部５で設定された移動物体検出領域と移動領域検出部２の検出した移動領域から、それらを包含する矩形を移動物体として検出する（ステップＳＴ１８）。図１０に移動物体検出部６が検出した移動物体の矩形例を示す。ここでは、移動物体を検出する方法として、領域を包含する矩形を移動物体として検出したが、膨張・収縮処理などでノイズを除去した後、特開２０００−２４２７８７号公報で開示されているようなテンプレートを用いて移動体検出を検出する方法やその他の方法を用いて実行するようにしてもよい。
上記ステップ１１〜ステップ１８の処理を繰り返し実行し、移動物体の検出を連続して行う。
【００１４】
以上のように、この実施の形態１によれば、遮蔽物体検出部４における遮蔽物体の移動検出結果に応じて移動物体検出領域設定部５がマスクする領域を設定する構成にしたので、遮蔽物体が移動した場合のみ動く範囲にマスクすることができる効果を奏する。
【００１５】
なお、この実施の形態では、移動物体検出領域設定部５では、遮蔽物体の動く範囲を動作情報記憶部３より取得し、これをマスク領域としたが、動作情報記憶部３が記憶する遮蔽物体の情報を、図１１に示すように、遮蔽物体が移動する範囲を複数の位置情報とその位置情報での移動方向および速度で表し、位置情報をカウント値で代表するものとする。そして、初期状態を基準にし、初期状態の場合をカウント０とする。
ステップ１５において、遮蔽物体の位置が初期状態に無い場合、カウントし、図１１に示すような動作情報記憶部３から各カウントに対応する遮蔽物体の位置を求め、これを除く範囲を移動物体検出領域として設定するように実行してもよい。
【００１６】
図１２は、該当するカウントにおける遮蔽物体のマスク領域を求め、これを除く範囲を移動物体検出領域とした例である。
【００１７】
図１３は、図１２の移動物体検出領域から、移動物体検出部６で移動物体を検出した例である。
【００１８】
以上のような、構成にすることで、この実施の形態によれば、遮蔽物体に遮られた部分のみをマスクすることで、高精度に移動物体を検出することができる効果を奏する。
【００１９】
実施の形態２．
次に、この発明の他の実施の形態である画像処理装置について説明する。この発明の実施の形態２を示す構成図は、上記実施の形態１と同様に図１である。
この実施の形態２においても、移動物体として車輌を、遮蔽物体として車輌の通行を許諾または拒否するバーを想定している。
図１４はこの発明の実施の形態２による画像処理の処理内容を示すフローチャートである。図中、実施の形態１と同一の処理を行う処理部は同一の符号を付し、その説明を省略する。
【００２０】
画像処理装置の画像撮影部１が撮影した画像に対し、実施の形態１の動作と同様、ステップ１１〜ステップ１３の処理を行う。
移動領域検出部２は、画像撮影部１から得られた画像を部分画像に分割する（ステップＳＴ２０１）。この実施の形態では、移動領域検出部２は水平方向にＭ個，垂直方向にＮ個、合計Ｍ×Ｎ個の部分画像に分割するものとする。図１５は、図３の画像を部分画像に分割した例である。この図では、水平方向j番目、垂直方向i番目の部分画像をBiｊ（1≦ｊ≦Ｍ，１≦ｉ≦Ｎ）と表現している。
【００２１】
次に、移動領域検出部２は、分割した各部分画像の動きベクトルを特開平５−７５９１４号公報に示されるようなマッチング法などを用いて検出する（ステップＳＴ２０２）。図１６は図１５の画像とその前の時刻のフレーム画像を用いて検出した動きベクトルを示す例である。ここで、t番目のフレームの部分画像Biｊにおける動きベクトルをＦt_ij（1≦ｊ≦Ｍ，１≦ｉ≦Ｎ，１≦t≦Ｌ，Ｌは画像撮影部で撮影された画像の総数）として表わす。この実施の形態では、画像を部分画像に分割し、特開平５−７５９１４号公報に示されるような方法で動きベクトルを検出したが、「Lucas B D and Kanade T 著“An iterative image registration technique with an application to stereo vision.” Proceedings of Imaging understanding workshop, pp 121-130, 1981」に開示されているような画素単位で動きベクトルを検出する方法などでもよい。
【００２２】
遮蔽物体検出部４は、動作情報記憶部３があらかじめ保持している図１７に示す遮蔽物体の位置する部分画像や該部分画像の動きベクトルと移動領域検出部２で検出した動きベクトルとを照合し、同じ動きベクトルを持つ部分画像を遮蔽物体として検出する（ステップＳＴ２０３）。ここでは、画像上で遮蔽物体の位置する部分画像をRBiｊとし、t番目のフレームの部分画像RBiｊの動きベクトルをRBt_iｊとして表す（1≦ｊ≦Ｍ，１≦ｉ≦Ｎ，１≦t≦Ｌ，Ｌは画像撮影部で撮影された画像の総数）。
【００２３】
移動物体検出領域設定部５では、遮蔽物体検出部４の結果に基づいて、遮蔽物体と判定された動きベクトルを持つ部分画像をマスクするかの判定を行う（ステップＳＴ２０４）。遮蔽物体検出部４において遮蔽物体に該当する動きベクトルを持つ部分画像が検出されなかった場合、ステップＳＴ１７に進み。同じ動きベクトルを持つ部分画像が検出された場合、ステップＳＴ１６に進む。
ステップＳＴ１６、ステップ１７では、実施の形態１と同様の処理を行うため、詳細な説明を省略するが、移動物体検出部６は、移動物体検出領域設定部５のマスク領域を除く範囲と移動領域検出部２の検出した領域から移動物体の検出を行う。
【００２４】
図１８に図５の移動領域から遮蔽物体に該当する動きベクトルを持つ部分画像をマスクすることで得た移動物体検出領域の例を示す。
また、移動体検出部６が、図１８に示す移動物体検出領域設定部５で設定された領域から移動物体を検出た例を図１９に示す。
【００２５】
以上のように、この実施の形態２によれば、移動領域検出部２で求めた動きベクトルと動作情報記憶部５であらかじめ保持している遮蔽物体の動きベクトルとを遮蔽物体検出部４で照合し、類似する動きベクトルを持つ部分画像をマスク領域として設定し、移動物体検出部６で移動物体検出することで、遮蔽物体の位置のみをマスク処理することが可能となり、移動物体が遮蔽物体と重なる位置関係にある場合においても、移動物体を検出できる効果を奏する。
【００２６】
なお、この実施の形態では、遮蔽物体検出部４は、動作情報記憶部５があらかじめ保持している遮蔽物体の動きベクトルと移動領域検出部２で求めた部分画像との動きベクトルとを照合する方法を例で説明したが、照合の際に、独立する異なる位置の部分画像の動きベクトルが左右対称の動きベクトルを持つ領域を遮蔽物体として検出する処理に変更・追加して実行してもよい。
【産業上の利用可能性】
【００２７】
この発明による画像処理装置は、車などの移動物体が確実に検出でき、踏切や駐車場或いは有料道路の車輌出入口をカメラで撮影して監視するシステムなどに適用される。
【図面の簡単な説明】
【００２８】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】実施の形態１による画像処理装置の処理内容を示すフローチャートである。
【図３】実施の形態１による画像撮影部の撮影画像例の説明図である。
【図４】実施の形態１によるあらかじめ撮影され動作情報記憶部に記憶された背景画像図である。
【図５】実施の形態１による検出された移動領域画像例の説明図である。
【図６】実施の形態１による動作情報記憶部が保持している情報例の説明図である。
【図７】実施の形態１による遮蔽物体監視領域設定例の説明図である。
【図８】実施の形態１によるマスク領域例の説明図である。
【図９】実施の形態１による移動物体検出領域例の説明図である。
【図１０】実施の形態１による移動物体検出部が検出した移動物体例の説明図である。
【図１１】実施の形態１による動作情報記憶部がしている他の情報例の説明図である。
【図１２】動作情報記憶部が保持する図１１の情報による移動物体検出領域例の説明図である。
【図１３】図１２の移動物体検出領域から、検出された移動物体例の説明図である。
【図１４】発明の実施の形態２による画像処理装置の処理内容を示すフローチャートである。
【図１５】実施の形態２による画像を部分画像に分割した例の説明図である。
【図１６】実施の形態２による画像の動きベクトル例の説明図である。
【図１７】実施の形態２による動作情報記憶部保持の情報例の説明図である。
【図１８】実施の形態２による移動物体検出領域例の説明図である。
【図１９】実施の形態２による検出された移動物体例の説明図である。
【符号の説明】
【００２９】
１；画像撮影部、２；移動領域検出部、３；動作情報記憶部、４；遮蔽物体検出部、５；移動物体検出領域設定部、６；移動物体検出部。
【図１】
2009122990.tif 000003
【図２】
2009122990.tif 000004
【図３】
2009122990.tif 000005
【図４】
2009122990.tif 000006
【図５】
2009122990.tif 000007
【図６】
2009122990.tif 000008
【図７】
2009122990.tif 000009
【図８】
2009122990.tif 000010
【図９】
2009122990.tif 000011
【図１０】
2009122990.tif 000012
【図１１】
2009122990.tif 000013
【図１２】
2009122990.tif 000014
【図１３】
2009122990.tif 000015
【図１４】
2009122990.tif 000016
【図１５】
2009122990.tif 000017
【図１６】
2009122990.tif 000018
【図１７】
2009122990.tif 000019
【図１８】
2009122990.tif 000020
【図１９】
2009122990.tif 000021