(57)【要約】【課題】対象エリアを撮像したフレーム画像を処理して検出したオブジェクトについて、そのオブジェクトの影と実体との区別が精度よく行える画像処理装置を提供する。【解決手段】画像入力部３には、カメラ１０が撮像した対象エリアのフレーム画像が入力される。画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、撮像されているオブジェクトを検出する。また、画像処理部４は、検出したオブジェクトについて、フレーム画像上で規定した高さ方向における下端のブロックが当該オブジェクトの実体であるかどうかを、この下端のブロックから当該フレーム画像上で高さ方向に設定した距離離れた判定用ブロックを当該オブジェクトとして検出しているかどうかに基づいて判定する。【選択図】図１
2014178916.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像した対象エリアのフレーム画像を入力する画像入力部と、
前記画像入力部に入力された前記フレーム画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出したオブジェクトについて、前記フレーム画像上で規定した高さ方向における下端のブロックが当該オブジェクトの実体であるかどうかを、前記オブジェクト検出部が、この下端のブロックから前記フレーム画像上で前記高さ方向に設定した距離離れた判定用ブロックを当該オブジェクトとして検出しているかどうかに基づいて判定する実体判定部と、を備えた画像処理装置。
【請求項２】
前記実体判定部は、前記フレーム画像上で規定した高さ方向における前記下端のブロックを、前記高さ方向に直交する幅方向に変更し、当該オブジェクトの実体であるブロックを検出する、請求項１に記載の画像処理装置。
【請求項３】
前記実体判定部は、前記オブジェクト検出部が検出したオブジェクトの実体であるかどうかを判定するブロックについて、前記フレーム画像上における当該ブロックの前記高さ方向の位置に応じて、このブロックと前記判定用ブロックとの前記高さ方向の距離を設定する、請求項１、または２に記載の画像処理装置。
【請求項４】
前記実体判定部は、前記判定用ブロック、および、この判定用ブロックに対して前記高さ方向に直交する幅方向に並ぶ所定数のブロックのいずれかのブロックが当該オブジェクトとして検出されているかどうかに基づいて判定する、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記ブロックは、複数の画素からなる画素ブロックである、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
画像入力部に入力された、撮像装置が撮像した対象エリアのフレーム画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップが検出したオブジェクトについて、前記フレーム画像上で規定した高さ方向における下端のブロックが当該オブジェクトの実体であるかどうかを、前記オブジェクト検出ステップで、この下端のブロックから、前記フレーム画像上で前記高さ方向に設定した距離離れた判定用ブロックを当該オブジェクトとして検出しているかどうかに基づいて判定する実体判定ステップと、をコンピュータが実行する画像処理方法。
【請求項７】
画像入力部に入力された、撮像装置が撮像した対象エリアのフレーム画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップが検出したオブジェクトについて、前記フレーム画像上で規定した高さ方向における下端のブロックが当該オブジェクトの実体であるかどうかを、前記オブジェクト検出ステップで、この下端のブロックから、前記フレーム画像上で前記高さ方向に設定した距離離れた判定用ブロックを当該オブジェクトとして検出しているかどうかに基づいて判定する実体判定ステップと、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置で撮像した対象エリアのフレーム画像を処理し、撮像されているオブジェクトを検出する技術に関する。
【背景技術】
【０００２】
従来、カメラで撮像した対象エリアのフレーム画像を処理し、撮像されている人や車両等のオブジェクトの検出を行う画像処理装置がある（特許文献１等参照）。特許文献１は、カメラが撮像した対象エリアのフレーム画像と、この対象エリアの背景画像と、の差分画像（背景差分画像）や、時間的に連続する２つのフレーム画像の差分画像（フレーム間差分画像）等を生成し、撮像されているオブジェクトの検出を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２６５５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、差分方式は、2つの画像における対応する画素毎に、その輝度値（画素値）を比較し、その画素がオブジェクトにかかる画素（前景画素）であるか、背景にかかる画素（背景画素）であるかを判定することで、撮像されているオブジェクトの検出を行っている。このため、オブジェクト（実体）とともに、そのオブジェクトの影が撮像されているフレーム画像であると、検出されるオブジェクトは、そのオブジェクトの実体だけでなく、当該オブジェクトの影も含めたものになる。この影の影響により、検出したオブジェクトの位置（対象エリアにおける位置）を精度よく検出することができなかった。
【０００５】
例えば、予め定めた警報領域内に位置する人の検出（例えば駅ホームにおいて、床面に描いた白線よりも線路側に位置する乗降客の有無の検出や、工事現場において、工事車両の出入口に位置する歩行者の有無の検出）を行う場合、その人が警報領域外にいても、その人の影が警報領域内にかかっていると、その人が警報領域内にいると誤検出し、その結果、警報領域内にいる人に対する警告報知が誤って行われることがあった。
【０００６】
この発明は、対象エリアを撮像したフレーム画像を処理して検出したオブジェクトについて、そのオブジェクトの影と実体との区別が精度よく行える技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。
【０００８】
画像入力部には、ビデオカメラ等の撮像装置で撮像した対象エリアのフレーム画像が入力される。オブジェクト検出部は、画像入力部に入力されたフレーム画像を処理し、撮像されているオブジェクトを検出する。オブジェクト検出部は、例えば背景差分方式や、フレーム間差分方式により、入力されたフレーム画像に撮像されているオブジェクトを検出する。オブジェクトは、人や車両等である。
【０００９】
実体判定部は、オブジェクト検出部が検出したオブジェクトについて、フレーム画像上で規定した高さ方向における下端のブロックが当該オブジェクトの実体であるかどうかを、オブジェクト検出部が、この下端のブロックから当該フレーム画像上で高さ方向に設定した距離離れた判定用ブロックを当該オブジェクトとして検出しているかどうかに基づいて判定する。
【００１０】
ここで、フレーム画像上で規定する高さ方向は、例えば、このフレーム画像上に撮像されるオブジェクトの高さ方向である。すなわち、撮像装置で撮像した空間（対象エリア）の鉛直方向であり、フレーム画像の縦方向と一致するとは限らない。撮像装置で撮像した空間の鉛直方向と、撮像装置のイメージセンサの縦方向と、のずれ角により、フレーム画像上で規定する高さ方向はフレーム画像の縦方向に対して傾く。フレーム画像上で規定する高さ方向における、撮像されているオブジェクトの実体にかかる部分の長さは、このオブジェクトの高さに応じた長さになる。また、フレーム画像上で規定する高さ方向における、撮像されているオブジェクトの影にかかる部分の長さは、このオブジェクトの幅に応じた長さになる。
【００１１】
高さが幅よりも長いオブジェクト（例えば、人）であれば、フレーム画像上で規定した高さ方向におけるオブジェクトの実体にかかる部分の長さは、この規定した高さ方向におけるオブジェクトの影にかかる部分の長さよりも長くなる。反対に、幅が高さよりも長いオブジェクト（例えば、車両）であれば、フレーム画像上で規定した高さ方向におけるオブジェクトの影にかかる部分の長さは、この規定した高さ方向におけるオブジェクトの実体にかかる部分の長さよりも長くなる。オブジェクトが車両である場合の幅とは、ここでは車長である。
【００１２】
下端のブロックから判定用ブロックまでの距離は、検出対象のオブジェクトの高さに応じて設定すればよい。また、判定用ブロックを当該オブジェクトとして検出している場合、そのオブジェクトの高さが幅よりも長いときには、オブジェクトの実体と判定し、そのオブジェクトの幅が高さよりも長いときには、オブジェクトの影と判定すればよい。
【００１３】
これにより、対象エリアを撮像したフレーム画像を処理して検出したオブジェクトについて、そのオブジェクトの影と実体とを区別する判定が精度よく行える。
【００１４】
また、実体判定部は、フレーム画像上で規定した高さ方向における下端のブロックを、高さ方向に直交する幅方向に変更し、当該オブジェクトの実体であるブロックを検出する構成としてもよい。これにより、オブジェクトの実体にかかる部分と、このオブジェクトの影にかかる部分と、の境界を検出し、当該オブジェクトの実体にかかる部分の検出が行える（オブジェクトの影の部分を除くことができる。）。
【００１５】
また、フレーム画像は、対象エリアを遠近法で撮像した画像であるので、フレーム画像上に撮像されているオブジェクトのサイズは、フレーム画像上における撮像位置に応じて変化する。このため、実体判定部は、オブジェクト検出部が検出したオブジェクトの実体であるかどうかを判定するブロックについては、フレーム画像上における当該ブロックの高さ方向の位置に応じて、このブロックと判定用ブロックとの高さ方向の距離を設定する構成にするのが好ましい。
【００１６】
また、実体判定部は、判定用ブロック、および、この判定用ブロックに対して高さ方向に直交する幅方向に並ぶ所定数のブロックのいずれかのブロックが当該オブジェクトとして検出されているかどうかに基づいて判定するようにしてもよい。このようにすれば、例えば、前傾姿勢である人（オブジェクト）の足元を、この人の影と誤判定するのを防止できる。
【００１７】
さらに、ブロックを複数の画素からなる画素ブロックにすることで、計算量を抑えることができるとともに、ノイズにより前景、または背景の判定を誤った画素による影響も抑えられる。
【発明の効果】
【００１８】
この発明によれば、対象エリアを撮像したフレーム画像を処理して検出したオブジェクトについて、そのオブジェクトの影と実体との区別が精度よく行える。
【図面の簡単な説明】
【００１９】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】対象エリアの背景画像、および対象エリアを撮像したフレーム画像を示す図である。
【図３】画像処理装置の動作を示すフローチャートである。
【図４】フレーム画像に対するブロックの設定例を示す図である。
【図５】ブロック化した背景差分画像を示す図である。
【図６】影判定列、影判定行、判定対象ブロック、および判定用ブロックの関係を説明する図である。
【図７】実体判定処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態について説明する。
【００２１】
図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。
【００２２】
画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。制御部２は、画像処理装置１本体各部の動作を制御する。
【００２３】
この画像処理装置１には、カメラ１０が接続されている。カメラ１０は、例えばビデオカメラであり、オブジェクト（人、や物）の検出を行う対象エリアが撮像エリア内に収まるように設置している。カメラ１０は、対象エリアを撮像したフレーム画像を、１秒間に数十フレーム（３０フレーム程度）出力する。カメラ１０が出力するフレーム画像は、可視光画像であり、画像入力部３に入力される。
【００２４】
なお、カメラ１０は、この画像処理装置１本体に一体的に設けた構成であってもよいし、この画像処理装置１本体とは別筐体であってもよい。
【００２５】
画像処理部４は、画像入力部３に入力されたフレーム画像（カメラ１０が撮像した対象エリアのフレーム画像）を処理し、このフレーム画像に撮像されているオブジェクトを検出する。画像処理部４は、対象エリアの背景画像を記憶するメモリ（不図示）を備え、公知の背景差分方式により、フレーム画像に撮像されているオブジェクトの検出を行う。メモリに記憶する背景画像は、各画素に画素値を対応付けたものであってもよいし、各画素に画素値の確率分布（確率モデル）を対応付けたものであってもよい。
【００２６】
また、画像処理部４は、背景差分により検出したオブジェクトについて、そのオブジェクトの実体と、影とを区別し、当該オブジェクトの実体にかかる部分を検出する（オブジェクトの影の部分を除く）処理を行う。
【００２７】
また、画像処理部４は、図示していないメモリに記憶している背景画像を、画像入力部３に入力されたフレーム画像を用いて更新する背景画像更新処理も行う。この背景画像更新処理は、対象エリアの環境に応じて、公知の方法から選択すればよい。背景画像更新処理の詳細については、ここでは説明を省略する。
【００２８】
入出力部５は、画像処理部４におけるオブジェクトの検出結果を、図示していない上位装置等に出力する。また、入出力部５は、上位装置等からの入力も受け付ける。この上位装置は、例えば画像処理部４におけるオブジェクトの検出結果に応じて、警告報知を行う装置である。
【００２９】
上述の画像処理部４は、１チップのプロセッサで構成される。また、画像処理部４が、この発明にかかる画像処理方法を実行するコンピュータに相当し、また、この発明にかかる画像処理プログラムを実行させるコンピュータに相当する。
【００３０】
ここで、画像入力部３に入力されるフレーム画像の例について説明する。図２（Ａ）は、対象エリアの背景画像である。図２（Ｂ）は、カメラ１０が撮像した対象エリアのフレーム画像である。この図２に示す例は、対象エリアが駅ホームである。
【００３１】
この例にかかる画像処理装置１は、カメラ１０が撮像したフレーム画像に撮像されている乗降客をオブジェクトとして検出するとともに、検出した乗降客が駅ホームの白線よりも線路側に位置しているかどうかを判定し、その判定結果を入出力部５から上位装置に出力する。上位装置は、検出された乗降客が駅ホームの白線よりも線路側に位置していれば、この乗降客に対して白線よりも内側（線路の反対側）に移動することを促すアナウンス（警告報知）を行う。
【００３２】
図２（Ｂ）に示すフレーム画像の例は、乗降客は白線よりもホーム内側（線路と反対側）に立っているが、この乗降客の影の先端が白線よりも線路側に位置している。
【００３３】
なお、図２では、フレーム画像上で規定する高さ方向と、フレーム画像の縦方向とが一致している場合を例示している。フレーム画像上で規定する高さ方向と、フレーム画像の縦方向とが一致していない場合には、フレーム画像上で規定する高さ方向を、このフレーム画像の縦方向に対して傾きを持たせて規定してもよいし、入力されたフレーム画像を回転させて、これらの方向を一致させてもよい。フレーム画像上で規定する高さ方向の傾き角や、フレーム画像の回転角は、カメラ１０の設置時に、画像処理装置１に登録する。
【００３４】
以下、この画像処理装置１の動作について詳細に説明する。図３は、この画像処理装置の動作を示すフローチャートである。
【００３５】
画像処理装置１は、カメラ１０が撮像した対象エリアのフレーム画像が画像入力部３に入力されると（ｓ１）、画像処理部４が入力されたフレーム画像にかかる背景差分画像を生成する（ｓ２）。ｓ２では、図示していないメモリに記憶している対象エリアの背景画像を用いる。ｓ２で生成される背景差分画像は、各画素を背景画素（＝０）、または前景画素（＝１）とした２値化画像である。図２に示したフレーム画像に対する背景差分画像においては、オブジェクトである乗降客にかかる画素だけでなく、この乗降客の影にかかる画素も前景画素になる。
【００３６】
画像処理部４は、ｓ２で生成した背景差分画像をｎ×ｍ画素のブロックを、１画素とみなしたブロック化を行う（ｓ３）。このブロックは、８×８画素であってもよいし、３×３画素や、６×６画素や、１０×１０画素等であってもよい。ブロックのサイズは、予め定めている。また、画像処理部４は、画像入力部３に入力されるフレーム画像に対して、図４に示すようにＭ行、Ｎ列のブロック（例えば、８×８画素のブロック）による分割を設定している。
【００３７】
画像処理部４は、ｓ３にかかるブロック化では、ブロック毎に、そのブロックを構成する６４画素（ここでは、ブロックを８×８画素とした。）の内、３２画素以上（半分以上）が前景であるブロックを前景ブロックとし、その他のブロックを背景ブロックとする。図２に示したフレーム画像に対する背景差分画像においては、オブジェクトである乗降客にかかる画素だけでなく、この乗降客の影にかかる画素も前景画素であると判定されている。図５は、ｓ３でブロック化した画像の例を示す図である。図５は、オブジェクトである乗降客にかかるブロック（前景ブロック）と、オブジェクトである乗降客の影にかかるブロック（前景ブロック）と、その他のブロック（背景ブロック）と、を区別して示している。
【００３８】
また、ｓ３にかかるブロック化により、ノイズ等で前景と判定された画素が属するブロックを背景ブロックにできる。また、反対にノイズ等で背景と判定された画素が属するブロックを前景ブロックにできる。したがって、ノイズによる影響が抑えられる。また、画像処理部４は、以下の処理をブロック単位で行うので、これらの処理にかかる処理負荷が抑えられる。
【００３９】
図５に示すように、画像処理部４は、背景差分方式で、乗降客の実体、およびこの乗降客の影を、１つのオブジェクトとして検出している。
【００４０】
画像処理部４は、フレーム画像の水平方向（図５等における左右方向）において、前景ブロックが位置する一方の側端部を影判定列として検出する（ｓ４）。ここでは、一方の側端部を線路側の端部として説明するが、反対側の端部であってもよい。図５に示す例では、フレーム画像の左端から４つ目のブロックが位置する列を、影判定列として検出する（図６参照）。
【００４１】
画像処理部４は、フレーム画像の高さ方向（図５等における上下方向）において、前景ブロックが位置する影判定列の下端のブロックが位置する行を、影判定行として検出する（ｓ５）。図５に示す例では、フレーム画像の下端から４つ目のブロックが位置する行を、影判定行として検出する（図６参照）。
【００４２】
画像処理部４は、影判定列、および影判定行に対応するブロック（上記の例では、フレーム画像の左端から４つ目で、且つ下端から４つ目のブロック）を判定対象ブロック（図６参照）とし、この判定対象ブロックがオブジェクトの実体であるか、オブジェクトの影であるかを判定する実体判定処理を行う（ｓ６）。
【００４３】
以下、オブジェクトの実体であるか、オブジェクトの影であるかを判定するブロックを、判定対象ブロックと言う。図７は、ｓ６にかかる実体判定処理を示すフローチャートである。
【００４４】
画像処理部４は、フレーム画像上におけるオブジェクトの高さ方向（この例では、図５等における上下方向）において、判定対象ブロックよりも所定ブロック（例えば、６ブロック）上方に位置するブロック（判定対象ブロックと同じ列のブロック）、およびこのブロックに水平方向に連続して並ぶブロック（例えば、隣接する左右両側のブロック）、を判定用ブロックに設定する（ｓ２１）。例えば、図６に示す判定対象ブロックに対して、図６に示す判定用ブロック（この例では、ブロックは３個）を設定する。
【００４５】
この判定対象ブロックよりも所定ブロック上方に位置するブロックが、この発明で言うフレーム画像上で規定した高さ方向に設定した距離（ここでは、６ブロック）離れた判定用ブロックに相当する。
【００４６】
なお、この発明で言うフレーム画像上で規定した高さ方向に設定する距離は、上記例におけるブロック数での規定に限らず、画素数で規定してもよいし、フレーム画像上の長さ（距離）で規定してもよい。
【００４７】
判定用ブロックは、判定対象ブロックと同じ列に位置するブロック１つとしてもよいが、乗降客が前景姿勢であるなどの理由で、この乗降客の足元が撮像されている列と、腰や背中が撮像されている列とが、異なることがある。この場合、後述する処理で、足元を影と判定する可能性があるので、ここでは、上述したように設定する判定用ブロックを３ブロックにしている。
【００４８】
画像処理部４は、ｓ２１で設定した判定用ブロックの少なくとも１つが、前景ブロックであれば、判定対象ブロックをオブジェクトの実体であると判定する（ｓ２２、ｓ２３）。一方、画像処理部４は、ｓ２１で設定した判定用ブロックの全てが、背景ブロックであれば、判定対象ブロックをオブジェクトの影であると判定する（ｓ２２、ｓ２４）。
【００４９】
図３に戻り、画像処理部４は、今回の判定対象ブロックに対する判定結果と、前回の判定対象ブロックに対する判定結果とが、一致しているか相違しているかを判定する（ｓ７）。画像処理部４は、ｓ７で一致していると判定すると、影判定列を他方の側（この例では、線路と反対側）に１列ずらし（ｓ８）、ｓ５に戻る。
【００５０】
画像処理部４は、ｓ７で一致していないと判定すると、今回の判定対象ブロックが位置する列と、前回の判定対象ブロックが位置する列とが、オブジェクトの実体と、このオブジェクトの影との境界であると判定する（ｓ９）。
【００５１】
画像処理部４は、ｓ９で判定したオブジェクトの実体と、このオブジェクトの影との境界が駅ホームの白線よりも線路側であれば、当該オブジェクトである乗降客が駅ホームの白線よりも線路側に位置していると判定する（ｓ１０、ｓ１１）。反対に、画像処理部４は、ｓ９で判定したオブジェクトの実体と、このオブジェクトの影との境界が駅ホームの白線よりも線路と反対側であれば、当該オブジェクトである乗降客が駅ホームの白線よりも線路と反対側に位置していると判定する（ｓ１０、ｓ１２）。
【００５２】
画像処理装置１は、入出力部５から、ｓ１１、またはｓ１２にかかる判定結果を上位装置に出力し（ｓ１３）、ｓ１に戻る。
【００５３】
上位装置は、例えば、乗降客が駅ホームの白線よりも線路側に位置している旨の判定結果を画像処理装置１から入力されると、乗降客に対して白線の内側（線路の反対側）に移動することを促すアナウンスを行う。
【００５４】
このように、この例にかかる画像処理装置１は、カメラ１０が撮像したフレーム画像を処理して検出したオブジェクトについて、そのオブジェクトの実体と、オブジェクトの影と、を区別して検出することができる。このため、オブジェクトの影の影響を抑え、オブジェクトの実際の位置を精度よく検出できる。
【００５５】
例えば、図２（Ｂ）に示す例では、オブジェクトである乗降客の影の影響を受けることなく、この乗降客が白線よりもホーム内側（線路と反対側）に位置していると判定できる。したがって、上位装置による、乗降客に対して白線の内側（線路の反対側）に移動することを促すアナウンスの誤報が抑えられる。
【００５６】
また、上記の例では、判定対象ブロックよりも所定ブロック（例えば、６ブロック）上方に位置するブロックを判定用ブロックにするとしたが、カメラ１０は遠近法で対象エリアを撮像しているので、フレーム画像における判定対象ブロックの高さ方向の位置に応じて、この判定対象ブロックと、判定用ブロックとの距離を変化させるようにしてもよい。この場合、判定対象ブロックが、フレーム画像上において上方に位置するほど、判定対象ブロックと、判定用ブロックとの距離を小さくする
例えば、フレーム画像における判定対象ブロックの高さ方向の位置をＸとしたときに、この判定対象ブロックと判定用ブロックとの距離Ｌを、
Ｌ＝α／Ｘ＋β    α、およびβは予め定めた定数
で算出するようにしてもよい。
【００５７】
Ｌは、上述したように、ブロック数であってもよいし、画素数であってもよいし、フレーム画像上における長さであってもよい。
【００５８】
また、上記の例では、高さが幅よりも長い人をオブジェクトとして検出する場合において、オブジェクトの実体と、影とを区別して検出する場合を例にして説明したが、幅が高さよりも長い車両等のオブジェクトを検出する場合には、ｓ２２における判定結果（ｓ２３と、ｓ２４）を入れ替えればよい。
【００５９】
また、画像処理部４は、対象エリアにおける日照の向きを考慮し、時間帯で判定対象ブロックに対する、判定用ブロックの設定条件を変化させる構成としてもよい。
【符号の説明】
【００６０】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…カメラ
【図１】
2014178916.tif 000003
【図２】
2014178916.tif 000004
【図３】
2014178916.tif 000005
【図４】
2014178916.tif 000006
【図５】
2014178916.tif 000007
【図６】
2014178916.tif 000008
【図７】
2014178916.tif 000009