(57)【要約】  【課題】  検出された物体領域が、背景部分であるか、物体であるかを正確に判定することのできる物体検出装置を提供する。  【解決手段】  所定の監視領域を撮像する撮像手段１０１ａおよび１０１ｂと、監視領域の位置を表す三次元情報を算出する三次元情報算出手段１０２と、物体が存在する物体領域を抽出する物体抽出手段１０３と、ヒストグラムを計算するためのヒストグラム計算領域を決定するヒストグラム計算領域決定手段１０４と、特徴画像を抽出する特徴抽出手段１０５と、基準の特徴画像を記憶する基準特徴記憶手段１０６と、ヒストグラム計算領域を複数の領域に分割する領域分割手段１０７と、特徴画像に基づいた特徴ヒストグラムに関するデータと、基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算手段１０８と、監視領域内に物体が存在するか否かを判定する物体判定手段１０９とを備える。【選択図】  図１
2006113738.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視領域を撮像する複数の撮像手段と、
前記複数の撮像手段のそれぞれが撮像して得られたそれぞれの画像に基づいて前記監視領域の位置を表す三次元情報を算出する三次元情報算出手段と、
前記三次元情報算出手段によって算出された三次元情報に基づいて前記監視領域から物体が存在する物体領域を抽出する物体抽出手段と、
前記物体抽出手段によって抽出された物体領域に基づいてヒストグラムを計算するためのヒストグラム計算領域を決定するヒストグラム計算領域決定手段と、
前記複数の撮像手段のうち一つの撮像手段によって得られた画像から特徴画像を抽出する特徴抽出手段と、
前記特徴抽出手段によって抽出された基準の特徴画像を記憶する基準特徴記憶手段と、
前記ヒストグラム計算領域決定手段によって決定されたヒストグラム計算領域を複数の領域に分割する領域分割手段と、
前記特徴抽出手段によって抽出された特徴画像に基づいた特徴ヒストグラムに関するデータと、前記基準特徴記憶手段によって記憶された基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算手段と、
前記ヒストグラム相関計算手段によって計算された相関値に基づいて前記監視領域内に物体が存在するか否かを判定する物体判定手段とを備える物体検出装置。
【請求項２】
前記複数の撮像手段のうち一つの撮像手段によって得られた画像を表すフレームと、前記フレームが得られた時間より所定の時間前のフレームとの差分を計算するフレーム差分計算手段と、
前記フレーム差分から得られるフレーム差分領域と前記物体領域とに基づいてヒストグラム計算領域を決定する処理領域決定手段とを有することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
複数の撮像手段が所定の監視領域を撮像する撮像ステップと、
前記撮像ステップで複数の撮像手段のそれぞれが撮像して得られたそれぞれの画像に基づいて前記監視領域の位置を表す三次元情報を算出する三次元情報算出ステップと、
前記三次元情報算出ステップで算出された三次元情報に基づいて前記監視領域から物体が存在する物体領域を抽出する物体抽出ステップと、
前記物体抽出ステップで抽出された物体領域に基づいてヒストグラムを計算するためのヒストグラム計算領域を決定するヒストグラム計算領域決定ステップと、
前記撮像ステップで複数の撮像手段のうち一つの撮像手段が撮像して得られた画像から特徴画像を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された基準の特徴画像を記憶する基準特徴記憶ステップと、
前記ヒストグラム計算領域決定ステップで決定されたヒストグラム計算領域を複数の領域に分割する領域分割ステップと、
前記特徴抽出ステップで抽出された特徴画像に基づいた特徴ヒストグラムに関するデータと、前記基準特徴記憶ステップで記憶された基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算ステップと、
前記ヒストグラム相関計算ステップで計算された相関値に基づいて前記監視領域内に物体が存在するか否かを判定する物体判定ステップとを有する物体検出方法。
【請求項４】
前記撮像ステップで複数の撮像手段のうち一つの撮像手段が撮像して得られた画像を表すフレームと、前記フレームが得られた時間より所定の時間前のフレームとの差分を計算するフレーム差分計算ステップと、
前記フレーム差分から得られるフレーム差分領域と前記物体領域とに基づいてヒストグラム計算領域を決定する処理領域決定ステップとを有することを特徴とする請求項３に記載の物体検出方法。
【請求項５】
前記領域分割ステップは、前記撮像ステップで得られた画像の走査線に対して垂直方向に前記ヒストグラム計算領域を分割することを特徴とする請求項３または請求項４に記載の物体検出方法。
【請求項６】
前記領域分割ステップは、前記撮像ステップで得られた画像の走査線に対して平行方向に前記ヒストグラム計算領域を分割することを特徴とする請求項３または請求項４に記載の物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラを用いて監視領域の三次元情報を算出して物体の検出を行う物体検出装置に関するものである。
【背景技術】
【０００２】
従来の物体検出装置としては、ステレオ画像処理により走行路面および走行路面上の障害物の距離画像を生成する距離画像生成部と、走行路面および走行路面上の障害物の三次元座標位置分布を生成する座標変換部と、走行路面を検出する地面検出部と、走行路面上の障害物を検出する障害物検出部とから構成されており、無人ダンプトラック等の移動体が走行路を走行する場合に、ステレオカメラによって得られた画像から走行路面および走行路面上の障害物の距離画像を距離画像生成部が生成し、生成された距離画像から各画素の三次元座標位置分布を座標変換部が生成し、生成された三次元座標位置分布に基づいて地面検出部が走行路面の画素群を特定して走行路面を検出し、検出された走行路面を基準とする所定の高さ以上の画素群を障害物であると障害物検出部が検出するものが知られている（例えば、特許文献１参照）。
【特許文献１】特開平１０−１４３６５９号公報（第４−７頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の物体検出装置では、砂利や芝生など一様なテクスチャが存在する環境において、ステレオ画像処理の過程で誤対応が発生した場合に、物体が存在しないときでも、砂利や芝生などの背景部分の画像を表す画素群を障害物検出部が物体であると検出してしまうという問題があった。
【０００４】
本発明は、従来の問題を解決するためになされたもので、検出された物体領域が、背景部分であるか、物体であるかを正確に判定することのできる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の物体検出装置は、所定の監視領域を撮像する複数の撮像手段と、前記複数の撮像手段のそれぞれが撮像して得られたそれぞれの画像に基づいて前記監視領域の位置を表す三次元情報を算出する三次元情報算出手段と、前記三次元情報算出手段によって算出された三次元情報に基づいて前記監視領域から物体が存在する物体領域を抽出する物体抽出手段と、前記物体抽出手段によって抽出された物体領域に基づいてヒストグラムを計算するためのヒストグラム計算領域を決定するヒストグラム計算領域決定手段と、前記複数の撮像手段のうち一つの撮像手段によって得られた画像から特徴画像を抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された基準の特徴画像を記憶する基準特徴記憶手段と、前記ヒストグラム計算領域決定手段によって決定されたヒストグラム計算領域を複数の領域に分割する領域分割手段と、前記特徴抽出手段によって抽出された特徴画像に基づいた特徴ヒストグラムに関するデータと、前記基準特徴記憶手段によって記憶された基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算手段と、前記ヒストグラム相関計算手段によって計算された相関値に基づいて前記監視領域内に物体が存在するか否かを判定する物体判定手段とを備えた構成を有している。
【０００６】
この構成により、撮像して得られた画像に基づいた特徴ヒストグラムに関するデータと基準時に撮像して得られた画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を算出し、この相関値によって監視領域内に物体が存在するか否かを判定するため、検出された物体領域が背景部分であるか、物体であるかを正確に判定することができる。
【０００７】
また、本発明の物体検出装置は、前記複数の撮像手段のうち一つの撮像手段によって得られた画像を表すフレームと、前記フレームが得られた時間より所定の時間前のフレームとの差分を計算するフレーム差分計算手段と、前記フレーム差分から得られるフレーム差分領域と前記物体領域とに基づいてヒストグラム計算領域を決定する処理領域決定手段とを有している。
【０００８】
この構成により、物体が存在する可能性の高い領域をヒストグラム計算領域とするため、監視領域から抽出された物体領域内に物体が存在する場合に、物体が存在しないと誤って判定されることを防ぐことができる。
【０００９】
本発明の物体検出方法は、複数の撮像手段が所定の監視領域を撮像する撮像ステップと、前記撮像ステップで複数の撮像手段のそれぞれが撮像して得られたそれぞれの画像に基づいて前記監視領域の位置を表す三次元情報を算出する三次元情報算出ステップと、前記三次元情報算出ステップで算出された三次元情報に基づいて前記監視領域から物体が存在する物体領域を抽出する物体抽出ステップと、前記物体抽出ステップで抽出された物体領域に基づいてヒストグラムを計算するためのヒストグラム計算領域を決定するヒストグラム計算領域決定ステップと、前記撮像ステップで複数の撮像手段のうち一つの撮像手段が撮像して得られた画像から特徴画像を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された基準の特徴画像を記憶する基準特徴記憶ステップと、前記ヒストグラム計算領域決定ステップで決定されたヒストグラム計算領域を複数の領域に分割する領域分割ステップと、前記特徴抽出ステップで抽出された特徴画像に基づいた特徴ヒストグラムに関するデータと、前記基準特徴記憶ステップで記憶された基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算ステップと、前記ヒストグラム相関計算ステップで計算された相関値に基づいて前記監視領域内に物体が存在するか否かを判定する物体判定ステップとを有している。
【００１０】
この方法により、撮像して得られた画像に基づいた特徴ヒストグラムに関するデータと基準時に撮像して得られた画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を算出し、この相関値によって監視領域内に物体が存在するか否かを判定するため、検出された物体領域が背景部分であるか、物体であるかを正確に判定することができる。
【００１１】
また、本発明の物体検出方法は、前記撮像ステップで複数の撮像手段のうち一つの撮像手段が撮像して得られた画像を表すフレームと、前記フレームが得られた時間より所定の時間前のフレームとの差分を計算するフレーム差分計算ステップと、前記フレーム差分から得られるフレーム差分領域と前記物体領域とに基づいてヒストグラム計算領域を決定する処理領域決定ステップとを有している。
【００１２】
この方法により、物体が存在する可能性の高い領域をヒストグラム計算領域とするため、監視領域から抽出された物体領域内に物体が存在する場合に、物体が存在しないと誤って判定されることを防ぐことができる。
【００１３】
さらに、本発明の物体検出方法は、前記領域分割ステップは、前記撮像ステップで得られた画像の走査線に対して垂直方向に前記ヒストグラム計算領域を分割することを特徴とする構成を有している。
【００１４】
この方法により、風などの影響により、撮像して得られた画像の走査線に対して垂直方向の揺れが撮像手段に発生した場合でも、この揺れが特徴ヒストグラムに与える影響を小さくするため、誤検知を防止することができる。
【００１５】
さらに、本発明の物体検出方法は、前記領域分割ステップは、前記撮像ステップで得られた画像の走査線に対して平行方向に前記ヒストグラム計算領域を分割することを特徴とする構成を有している。
【００１６】
この方法により、風などの影響により、撮像して得られた画像の走査線に対して平行方向の揺れが撮像手段に発生した場合でも、この揺れが特徴ヒストグラムに与える影響を小さくするため、誤検知を防止することができる。
【発明の効果】
【００１７】
本発明は、撮像して得られた画像に基づいた特徴ヒストグラムに関するデータと基準時に撮像して得られた画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を算出するヒストグラム相関計算手段と、この相関値によって監視領域内に物体が存在するか否かを判定する物体判定手段とを設けることにより、検出された物体領域が背景部分であるか、物体であるかを正確に判定することができる物体検出装置を提供するものである。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態の物体検出装置について、図面を参照して説明する。なお、本発明の実施の形態の物体検出装置は、例えば、複数台のカメラを用いて監視領域の三次元情報を算出して物体の検出を行うものである。
【００１９】
（第１の実施の形態）
本発明の第１の実施の形態の物体検出装置を図１に示す。
【００２０】
図１において、本発明の第１の実施の形態に係る物体検出装置は、所定の監視領域を撮像する撮像手段１０１ａおよび１０１ｂと、三次元情報を算出する三次元情報算出手段１０２と、物体領域を抽出する物体抽出手段１０３と、ヒストグラム計算領域を決定するヒストグラム計算領域決定手段１０４と、特徴画像を抽出する特徴抽出手段１０５と、基準の特徴画像を記憶する基準特徴記憶手段１０６と、ヒストグラム計算領域を複数の領域に分割する領域分割手段１０７と、特徴画像に基づいた特徴ヒストグラムに関するデータと、基準の特徴画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を計算するヒストグラム相関計算手段１０８と、物体が存在するか否かを判定する物体判定手段１０９とを有する構成である。
【００２１】
ヒストグラム相関計算手段１０８は、特徴ヒストグラムを作成する特徴ヒストグラム作成手段１０８ａと、基準特徴ヒストグラムを作成する基準特徴ヒストグラム作成手段１０８ｂと、相関値を算出する相関値算出手段１０８ｃとを有する構成である。
【００２２】
以上のように構成された物体検出装置について、図２〜１４を用いてその動作を説明する。
【００２３】
まず、撮像手段１０１ａおよび１０１ｂは、所定の監視領域を撮像する（ステップＳ２０１）。
【００２４】
次に、三次元情報算出手段１０２は、撮像手段１０１ａおよび１０１ｂのそれぞれが撮像して得られたそれぞれの画像に基づいて監視領域の位置を表す三次元情報を算出し（ステップＳ２０２）、この三次元情報を撮像手段座標系から実空間座標系に変換する。
【００２５】
ここで、三次元情報算出手段１０２が監視領域の三次元情報を算出する方法について図３を用いて説明する。
【００２６】
図３において、ｘ軸、ｙ軸、およびｚ軸からなる実空間座標系を表す座標（ｘ、ｙ、ｚ）を、Ｘ軸およびＹ軸からなる撮像手段座標系を表す座標（Ｘ、Ｙ）を用いる。ただし、撮像手段１０１ａと１０１ｂを区別するために、ＸＬ軸およびＹＬ軸からなる撮像手段１０１ａの画像面上の座標（ＸＬ、ＹＬ）を、ＸＲ軸およびＹＲ軸からなる撮像手段１０１ｂの画像面上の座標（ＸＲ、ＹＲ）を用いる。また、ｘ軸とＸＬ軸とＸＲ軸は各々平行であり、ｙ軸とＹＬ軸とＹＲ軸は各々平行であり、さらに、ｚ軸と撮像手段１０１ａおよび１０１ｂの光軸とは各々平行である。実空間座標系の原点Ｏを撮像手段１０１ａの投影中心と撮像手段１０１ｂの投影中心の中点にとり、投影中心間の距離を２ａで表す。また、投影中心と画像面との間の距離を焦点距離ｆで表す。
【００２７】
実空間内の点ｐ（ｘ，ｙ，ｚ）が撮像手段１０１ａおよび１０１ｂの画像面上に結像されている点をそれぞれ点ＰＬ（ＸＬ，ＹＬ）、点ＰＲ（ＸＲ，ＹＲ）とすると、三次元情報算出手段１０２は、撮像手段１０１ａの画像面を基準として、その画像面上にある点ＰＬに対応する点を撮像手段１０１ｂの画像面上から見つけ出し、三角測量の原理に基づいて実空間内の点ｐ（ｘ，ｙ，ｚ）を算出する。
【００２８】
以下、実空間内の点ｐ（ｘ，ｙ，ｚ）を算出する方法について詳細に説明する。撮像手段１０１ａおよび１０１ｂは、それぞれの光軸が互いに平行かつ同一平面上に載るように設定されていることから、ＹＲ＝ＹＬとなる。したがって、実空間内の点ｐ（ｘ，ｙ，ｚ）は、
（数１）
ｘ＝ａ（ＸＬ＋ＸＲ）／（ＸＬ−ＸＲ）                            （１）
（数２）
ｙ＝２ａＹＬ／（ＸＬ−ＸＲ）                                    （２）
（数３）
ｚ＝２ａｆ／（ＸＬ−ＸＲ）                                      （３）
と表される。ここで、ｄ＝ＸＬ−ＸＲは視差と呼ばれる。
【００２９】
上述した式（１）〜（３）より、
（数４）
ＸＬ＝（ｘ＋ａ）ｆ／ｚ                                          （４）
（数５）
ＸＲ＝（ｘ−ａ）ｆ／ｚ                                          （５）
（数６）
ＹＬ＝ＹＲ＝ｙｆ／ｚ                                            （６）
となるので、
（数７）
ＸＬ＞ＸＲ、かつ、ＹＬ＝ＹＲ                                    （７）
となる。
【００３０】
ここで、式（７）は、撮像手段１０１ａの画像面上の点ＰＬに対応する撮像手段１０１ｂの画像面上の点ＰＲが、同じ走査線上、かつ、ＸＬ＞ＸＲの範囲に存在することを表す。したがって、三次元情報算出手段１０２は、同じ走査線上に沿ったある小領域について画像の類似度を調べることによって撮像手段１０１ａの画像面上の点ＰＬに対応した撮像手段１０１ｂの画像面上の点ＰＲを見つけ出すことができる。
【００３１】
次に、類似度の評価方法について説明する。ここで、実吉ほか、「三次元画像認識技術を用いた運転支援システム」、自動車技術会学術講演会前刷集９２４、１９９２年１０月、ｐｐ．１６９−１７２に記載の方法に基づいて、図４を用いて説明する。三次元情報算出手段１０２は、図４に示すように、撮像手段１０１ａの画像４０１を基準として、画像４０１をｎ×ｍ画素のサイズのブロック単位に分割し、分割されたブロック毎に撮像手段１０１ｂの画像４０２中より対応する対応領域を見つけ出し、視差ｄを算出する。
【００３２】
また、三次元情報算出手段１０２は、対応領域決定のための類似度評価式（８）を用いて、ＸＬ＞ＸＲの探索範囲４０５内でブロック４０４を１画素ずつ移動しながらブロック４０３に対する類似度評価値Ｃを計算し、類似度評価値Ｃが最小となる位置を対応領域として決定する。なお、Ｌi、Ｒiは、各々ブロック４０３、ブロック４０４内のi番目の画素における輝度を表わしている。三次元情報算出手段１０２は、この類似度の評価を画像４０１のブロック毎に行うことによって、画像４０１の全ブロックの視差ｄを算出し、式（３）により距離ｚ等の三次元情報を算出する。
（数８）
Ｃ＝Σ｜Ｌi−Ｒi｜                                              （８）
以上のようにして、三次元情報算出手段１０２は、監視領域の三次元情報を算出する。なお、ステレオ画像処理によって三次元情報を算出する方法には上述の方法以外にも様々な方法が提案されており、本発明は上述の方法に限定されるものではない。
【００３３】
次に、三次元情報算出手段１０２が撮像手段座標系から実空間座標系に変換する方法について図５および図６を用いて説明する。
【００３４】
図５に示すように、Ｘ軸、Ｙ軸、およびＺ軸からなる撮像手段座標系（Ｘ，Ｙ，Ｚ）と、Ｕ軸、Ｖ軸、およびＨ軸からなる実空間座標系（Ｕ，Ｖ，Ｈ）は、Ｘ軸とＵ軸とが平行で、Ｚ軸とＨ軸とのなす角がθとなるような位置関係で配置されている。
【００３５】
また、図６に示すように、撮像手段６０１は監視領域内に存在する基準面６０３から高さＨｃａｍに設置され、物体６０２は光軸ｚ方向の距離Ｚ１に存在するとして、さらに、物体６０２が存在するときに撮像手段座標系上の点（Ｘ，Ｙ）に物体６０２が撮像され、物体６０２が存在しないときに前述した点（Ｘ，Ｙ）に撮像されている基準面６０３までの光軸方向の距離をＺ０とすれば、三次元情報算出手段１０２は、式（９）によって監視領域内の物体６０２の高さｈを算出する。
（数９）
ｈ＝Ｈｃａｍ×（１−Ｚ１／Ｚ０）                                （９）
また、三次元情報算出手段１０２は、式（１０）によって実空間座標系（Ｕ，Ｖ，Ｈ）の原点から物体６０２までのＶ軸方向の距離ｖを算出する。
（数１０）
ｖ＝｛Ｚ１−（Ｈｃａｍ−ｈ）ｃｏｓθ｝／ｓｉｎθ                （１０）
一方、図５および６に示すように、撮像手段６０１から距離Ｚの位置での水平撮像範囲をＷとし、撮像手段６０１の撮像面の水平サイズをＸＷとすれば、三次元情報算出手段１０２は、式（１１）によって物体６０２までのＵ軸方向の距離ｕを算出する。
（数１１）
ｕ＝Ｘ／ＸＷ×Ｗ                                                （１１）
ここで、撮像手段のＣＣＤのピッチ幅をｐＨとすると、水平撮像範囲Ｗは、式（１２）で表される。
（数１２）
Ｗ＝ｐＨ×ＸＷ×Ｚ／ｆ                                          （１２）
以上のようにして、三次元情報算出手段１０２は、撮像手段座標系（Ｘ，Ｙ，Ｚ）を実空間座標系（Ｕ，Ｖ，Ｈ）に変換する。
【００３６】
物体抽出手段１０３は、三次元情報算出手段１０２によって算出された三次元情報に基づいて監視領域から物体が存在する物体領域を抽出する（ステップＳ２０３）。
【００３７】
ここで、物体抽出手段１０３が物体領域を抽出する方法について、図７を用いて説明する。
【００３８】
物体抽出手段１０３は、基準面７０３を所定の大きさに区切り小領域７０２に分割し、小領域７０２毎に高さ代表値を算出し、高さ分布Ｈ（Ｕ，Ｖ）を作成する。高さ代表値の算出方法としては、例えば、各小領域７０２に属する三次元情報７０１のうち最も高い値を選択する。また、物体抽出手段１０３は、所定の基準時刻の三次元情報を記憶して、高さ代表値の算出方法と同様にして基準高さ分布Ｈ０（Ｕ，Ｖ）を作成する。ここで、物体抽出手段１０３によって記憶される所定の基準時刻の三次元情報は、三次元情報算出手段１０２が撮像手段座標系（Ｘ，Ｙ，Ｚ）を座標変換した実空間座標系（Ｕ，Ｖ，Ｈ）上の三次元情報とする。
【００３９】
そして、物体抽出手段１０３は、所定の閾値をＨｔｈとした式（１３）が成り立つ場合に、小領域（Ｕ，Ｖ）が物体領域であると判定する。
（数１３）
Ｈ（Ｕ，Ｖ）−Ｈ０（Ｕ，Ｖ）≧Ｈｔｈ                            （１３）
物体抽出手段１０３は、検知した物体領域のうち、隣接する物体領域のそれぞれを一つの物体検知領域とし、物体検知領域の左上の点と右下の点を特定し、特定した結果を物体検知領域情報に格納する。一例として、物体検知領域情報は、ｉ番目の物体検知領域の左上の点を点(ｌｘ（ｉ），ｌｙ（ｉ）)とし、右下の点を点 (ｒｘ（ｉ），ｒｙ（ｉ）)とすれば、物体検知領域情報ＯＢＪＩＮＦＯ［ｉ］＝（ｌｘ（ｉ）、ｌｙ（ｉ）、ｒｘ（ｉ）、ｒｙ（ｉ））（ｉ＝１，…，ＣｎｔＯｂｊ）として表される。ここで、物体検知領域の数をＣｎｔＯｂｊ個として表す。
【００４０】
なお、式（１３）によって物体が存在しないと判定されたときに、その時刻を基準時刻としてもよい。これにより、監視領域に物体が存在するときに基準高さ分布Ｈ０（Ｕ，Ｖ）を作成してしまうことを防止するため、環境の変動による影響を軽減することが可能となる。
【００４１】
また、物体抽出手段１０３は、監視領域内の物体を検出することができる時間を考慮して基準時間間隔を決定し、監視領域から物体領域を抽出した時刻より基準時間間隔以前の三次元情報を蓄積する過去情報蓄積手段を有してもよい。この場合、物体抽出手段１０３は、過去情報蓄積手段によって蓄積された三次元情報に基づいて基準高さ分布Ｈ０（Ｖ，Ｈ）を作成する。これにより、式（１３）によって判定されるときに近い時刻で作成される基準高さ分布Ｈ０（Ｕ，Ｖ）を使用するため、環境の変動による影響を軽減することが可能となる。
【００４２】
ヒストグラム計算領域決定手段１０４は、物体抽出手段１０３によって抽出された物体領域に基づいてヒストグラムを計算するためのヒストグラム計算領域を決定する（ステップＳ２０４）。
【００４３】
ここで、ヒストグラム計算領域決定手段１０４がヒストグラム計算領域を決定する方法について、図９を用いて説明する。
【００４４】
図９に示すように、撮像手段１０１ａまたは１０１ｂが撮像して得られた画像９０１中に、物体抽出手段１０３によって６つの物体領域９０３が抽出されたとする。
【００４５】
ヒストグラム計算領域決定手段１０４は、物体検知領域情報に基づいてヒストグラム計算領域９０２の左上の点と右下の点を算出し、算出した結果をヒストグラム計算領域情報に格納する。一例として、ヒストグラム計算領域情報は、ｉ番目のヒストグラム計算領域９０２の左上の点を点(Ｃｌｘ（ｉ），Ｃｌｙ（ｉ）)とし、右下の点を点(Ｃｒｘ（ｉ），Ｃｒｙ（ｉ）)とすれば、ヒストグラム計算領域情報ＣａｌｃＡｒｅａ[ｉ]＝（Ｃｌｘ（ｉ），Ｃｌｙ（ｉ），Ｃｒｘ（ｉ），Ｃｒｙ（ｉ）として表される。ここで、ヒストグラム計算領域決定手段１０４は、例えば、物体検知領域情報ＯＢＪＩＮＦＯ［ｉ］によって表される物体検知領域９０３に対して所定の拡大倍率α倍の領域サイズをヒストグラム計算領域９０２となるように、画像９０１の左上の点を原点（Ｘ＝０，Ｙ＝０）とした式(１４)によって、ヒストグラム計算領域９０２の左上の点(Ｃｌｘ（ｉ），Ｃｌｙ（ｉ）)と右下の点(Ｃｒｘ（ｉ），Ｃｒｙ（ｉ）)を算出するようになっている。
【００４６】
【数１４】
2006113738.tif 000003
【００４７】
一方、特徴抽出手段１０５は、撮像手段１０１ａおよび１０１ｂのうち撮像手段１０１ａが撮像して得られた画像から特徴画像を抽出する（ステップＳ２０５）。
【００４８】
ここで、特徴抽出手段１０５が特徴画像を抽出する方法について説明する。
【００４９】
特徴抽出手段１０５は、撮像手段１０１ａおよび１０１ｂのうち撮像手段１０１ａが撮像して得られた画像に対し、三値化処理を行うため、例えば、式（１５）に示すフィルタ行列に基づいてフィルタ処理を行う。
（数１５）
[−１  ０  １]                                                  (１５)
そして、特徴抽出手段１０５は、フィルタ処理が行われた後の画像の画素が所定の三値化零下限閾値未満の場合に画素値を−１、三値化零下限閾値以上かつ所定の三値化零上限閾値以下の場合には画素値を０、三値化零上限閾値より大きい場合には画素値を１に変換することによって特徴画像を抽出する。ここで、抽出された特徴画像の例を図８に示す。
【００５０】
基準特徴記憶手段１０６は、特徴抽出手段１０５によって抽出された基準の特徴画像を記憶する（ステップＳ２０６）。
【００５１】
ここで、基準特徴記憶手段１０６が基準の特徴画像を記憶する方法について説明する。
【００５２】
基準特徴記憶手段１０６は、物体抽出手段１０３によって基準高さ分布Ｈ０（Ｕ，Ｖ）が作成された基準時刻に特徴抽出手段１０５によって抽出された特徴画像である基準の特徴画像を記憶する。なお、基準時刻は、前述する式（１３）によって物体が存在しないと判定された時刻としてもよく、また、監視領域より物体領域を抽出された時刻から物体抽出手段１０３によって決定された基準時間間隔以前の時刻としてもよい。
【００５３】
領域分割手段１０７は、ヒストグラム計算領域決定手段１０４によって決定されたヒストグラム計算領域を複数の領域に分割する（ステップＳ２０７）。
【００５４】
ここで、領域分割手段１０７がヒストグラム計算領域を複数の領域に分割する方法について、図９を用いて説明する。
【００５５】
領域分割手段１０７は、例えば、図９におけるヒストグラム計算単位領域９０４のように、物体抽出手段１０３が分割した小領域７０２の幅で、撮像手段１０１ａおよび１０１ｂによって得られた画像の走査線に対して垂直方向にヒストグラム計算領域９０２を分割する。なお、領域分割手段１０７は、撮像手段１０１ａおよび１０１ｂによって得られた画像の走査線に対して平行方向にヒストグラム計算領域９０２を所定の間隔で分割するようにしてもよい。
【００５６】
特徴ヒストグラム作成手段１０８ａは、特徴抽出手段１０５によって抽出された特徴画像に基づいて領域分割手段１０７が分割した領域毎に存在する所定の成分を含む画素の度数を計数して特徴ヒストグラムを作成する（ステップＳ２０８）。
【００５７】
ここで、特徴ヒストグラム作成手段１０８ａが特徴ヒストグラムを作成する方法について説明する。
【００５８】
所定の成分を画素値１とした場合には、特徴ヒストグラム作成手段１０８ａは、ヒストグラム計算単位領域９０４毎に、特徴画像の画素値が１である画素の度数を計数することにより、正特徴ヒストグラム情報を得る。一例として、正特徴ヒストグラム情報は、正特徴ヒストグラムの階級をｈｐ（ｉ，０），…，ｈｐ（ｉ，ＣｎｔＨｉｓｔ）とすれば、正特徴ヒストグラム情報Ｈｉｓｔ＿ｐ［ｉ］＝（ｈｐ（ｉ，０），…，ｈｐ（ｉ，ＣｎｔＨｉｓｔ））として表される。ここで、ヒストグラム計算単位領域９０４の数をＣｎｔＨｉｓｔ個として表す。
【００５９】
また、所定の成分を画素値−１とした場合には、特徴ヒストグラム作成手段１０８ａは、ヒストグラム計算単位領域９０４毎に、特徴画像の画素値が−１である画素の度数を計数することにより、負特徴ヒストグラム情報を得る。一例として、負特徴ヒストグラム情報は、負特徴ヒストグラムの階級をｈｍ（ｉ，０），…，ｈｍ（ｉ，ＣｎｔＨｉｓｔ）とすれば、負特徴ヒストグラム情報Ｈｉｓｔ＿ｍ［ｉ］＝（ｈｍ（ｉ，０），…，ｈｍ（ｉ，ＣｎｔＨｉｓｔ））として表される。
【００６０】
ここで、正特徴ヒストグラム情報から得られる正特徴ヒストグラムと、負特徴ヒストグラム情報から得られる負特徴ヒストグラムの例を図１０に示す。
【００６１】
基準特徴ヒストグラム作成手段１０８ｂは、基準特徴記憶手段１０６によって記憶された基準の特徴画像に基づいて領域分割手段１０７が分割した領域毎に存在する所定の成分を含む画素の度数を計数して基準特徴ヒストグラムを作成する（ステップＳ２０９）。
【００６２】
ここで、基準特徴ヒストグラム作成手段１０８ｂが基準特徴ヒストグラムを作成する方法について説明する。
【００６３】
所定の成分を画素値１とした場合には、基準特徴ヒストグラム作成手段１０８ｂは、ヒストグラム計算単位領域９０４毎に、基準の特徴画像の画素値が１である画素の度数を計数することにより、基準正特徴ヒストグラム情報を得る。一例として、基準正特徴ヒストグラム情報は、基準正特徴ヒストグラムの階級をｈｐ０（ｉ，０），…，ｈｐ０（ｉ，ＣｎｔＨｉｓｔ）とすれば、基準正特徴ヒストグラム情報Ｈｉｓｔ０＿ｐ［ｉ］＝（ｈｐ０（ｉ，０），…，ｈｐ０（ｉ，ＣｎｔＨｉｓｔ））として表される。ここで、ヒストグラム計算単位領域９０４の数をＣｎｔＨｉｓｔ個として表す。
【００６４】
また、所定の成分を画素値−１とした場合には、基準特徴ヒストグラム作成手段１０８ｂは、ヒストグラム計算単位領域９０４毎に、基準の特徴画像の画素値が−１である画素の度数を計数することにより、基準負特徴ヒストグラム情報を得る。一例として、基準負特徴ヒストグラム情報は、基準負特徴ヒストグラムの階級をｈｍ０（ｉ，０），…，ｈｍ０（ｉ，ＣｎｔＨｉｓｔ）とすれば、基準負特徴ヒストグラム情報Ｈｉｓｔ０＿ｍ［ｉ］＝（ｈｍ０（ｉ，０），…，ｈｍ０（ｉ，ＣｎｔＨｉｓｔ））として表される。
【００６５】
ここで、基準正特徴ヒストグラム情報から得られる基準正特徴ヒストグラムと、基準負特徴ヒストグラム情報から得られる基準負特徴ヒストグラムの例を図１１に示す。
【００６６】
相関値算出手段１０８ｃは、特徴ヒストグラム作成手段１０８ａによって作成された特徴ヒストグラムに関するデータと、基準特徴ヒストグラム作成手段１０８ｂによって作成された基準特徴ヒストグラムに関するデータとの相関値を算出する（ステップＳ２１０）。
【００６７】
ここで、相関値算出手段１０８ｃが相関値を算出する方法について説明する。
【００６８】
相関値算出手段１０８ｃは、特徴ヒストグラムに関するデータを表す正特徴ヒストグラム情報と、基準特徴ヒストグラムに関するデータを表す基準正特徴ヒストグラム情報との正相関値を算出し、特徴ヒストグラムに関するデータを表す負特徴ヒストグラム情報と、基準特徴ヒストグラムに関するデータを表す基準負特徴ヒストグラム情報との負相関値を算出する。
【００６９】
ここで、正相関値の算出手順について説明する。まず、相関値算出手段１０８ｃは、ｉ＝１，…，ＣｎｔＯｂｊ全てに対して、式（１６）によって正特徴ヒストグラム情報Ｈｉｓｔ＿ｐ［ｉ］の平均値ＡＨ＿ｐ［ｉ］および基準正特徴ヒストグラム情報Ｈｉｓｔ０＿ｐ［ｉ］の平均値ＡＨ０＿ｐ［ｉ］を計算する。
【００７０】
【数１６】
2006113738.tif 000004
【００７１】
次に、相関値算出手段１０８ｃは、式(１７)によって正相関値Ｃｏｒ＿ｐ［ｉ］を計算する。
【００７２】
【数１７】
2006113738.tif 000005
【００７３】
負相関値の算出手順について説明する。相関値算出手段１０８ｃは、式（１８）によって負特徴ヒストグラム情報Ｈｉｓｔ＿ｍ［ｉ］の平均値ＡＨ＿ｍ［ｉ］および基準負特徴ヒストグラム情報Ｈｉｓｔ０＿ｍ［ｉ］の平均値ＡＨ０＿ｍ［ｉ］を計算する。
【００７４】
【数１８】
2006113738.tif 000006
【００７５】
次に、相関値算出手段１０８ｃは、式(１９)によって負相関値Ｃｏｒ＿ｍ［ｉ］を計算する。
【００７６】
【数１９】
2006113738.tif 000007
【００７７】
物体判定手段１０９は、相関値算出手段１０８ｃによって算出された相関値に基づいて監視領域内に物体が存在するか否かを判定する（ステップＳ２１１）。
【００７８】
ここで、物体判定手段１０９が監視領域内に物体が存在するか否かを判定する方法について説明する。
【００７９】
物体判定手段１０９は、監視領域内に物体が存在するか否かを判定するための判定閾値を決定する。次に、物体判定手段１０９は、正相関値と負相関値がともに判定閾値より大きい場合、物体検知領域情報で表される物体検知領域に物体が存在しないと判定する。また、物体判定手段１０９は、正相関値と負相関値のうちいずれか一方が判定閾値以下の場合、物体検知領域情報で表される物体検知領域に物体が存在すると判定する。
【００８０】
ここで、物体判定手段１０９が、物体検知領域情報によって表される物体検知領域に物体が存在しないと判定した場合と、物体検知領域情報によって表される物体検知領域に物体が存在すると判定した場合の正相関値および負相関値について図１０〜図１４を用いて説明する。
【００８１】
物体判定手段１０９が、物体検知領域情報によって表される領域に物体が存在しないと判定した場合には、正相関値および負相関値が大きくなる。例えば、図１０に示す正特徴ヒストグラム情報および負特徴ヒストグラム情報並びに図１１に示す基準正特徴ヒストグラム情報および基準負特徴ヒストグラム情報を用いた場合、正相関値は０．９となり、負相関値は０．９となる。
【００８２】
一方、物体判定手段１０９が、物体検知領域情報によって表される領域に物体が存在すると判定した場合には、正相関値および負相関値が低くなる。例えば、図１２において、撮像手段１０１ａまたは撮像手段１０１ｂが撮像して得られた画像１２０１中に、物体抽出手段１０３によって物体領域１２０３が抽出され、さらに、領域分割手段１０７によってヒストグラム計算領域１２０２がヒストグラム計算単位領域１２０４に分割されたとする。ここで、正特徴ヒストグラム情報と負特徴ヒストグラム情報の例を図１３に示す。また、基準正特徴ヒストグラム情報および基準負特徴ヒストグラム情報の例を図１４に示す。このとき、図１３に示す正特徴ヒストグラム情報および負特徴ヒストグラム情報並びに図１４に示す基準正特徴ヒストグラム情報および基準負特徴ヒストグラム情報を用いた場合、正相関値は０．４となり、負相関値は０．１となる。
【００８３】
このような本発明の第１の実施の形態に係る物体検出装置によれば、撮像して得られた画像に基づいた特徴ヒストグラムに関するデータと基準時に撮像して得られた画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を算出するヒストグラム相関計算手段１０８と、この相関値によって監視領域内に物体が存在するか否かを判定する物体判定手段１０９とを設けることにより、検出された物体領域が背景部分であるか、物体であるかを正確に判定することができる。
【００８４】
また、風などの影響により、撮像して得られた画像の走査線に対して垂直方向の揺れが撮像手段１０１ａまたは１０１ｂに発生した場合でも、この揺れが特徴ヒストグラムに与える影響を小さくするため、誤検知を防止することができる。
【００８５】
さらに、風などの影響により、撮像して得られた画像の走査線に対して平行方向の揺れが撮像手段１０１ａまたは１０１ｂに発生した場合でも、この揺れが特徴ヒストグラムに与える影響を小さくするため、誤検知を防止することができる。
【００８６】
（第２の実施の形態）
次に、本発明の第２の実施の形態の物体検出装置を図１５に示す。
【００８７】
なお、本発明の第２の実施の形態に係る物体検出装置を構成する構成要素のうち、本発明の第１の実施の形態に係る物体検出装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。
【００８８】
図１５において、本発明の第２の実施の形態に係る物体検出装置は、画像のフレーム差分を計算するフレーム差分計算手段１５０１と、物体領域を決定する処理領域決定手段１５０２を有する構成である。
【００８９】
以上のように構成された物体検出装置について、その動作を説明する。
【００９０】
まず、本発明の第１の実施の形態と同様のステップＳ２０１からステップＳ２０３までの動作を行う。
【００９１】
次に、フレーム差分計算手段１５０１は、撮像手段１０１ａが撮像して得られた画像を表すフレームと、このフレームが得られた所定の時間前のフレームとの差分を計算する。
【００９２】
ここで、フレーム差分計算手段１５０１がフレームの差分を計算する方法について説明する。
【００９３】
フレーム差分計算手段１５０１は、基準時刻に撮影手段１０１ａによって撮影された基準画像を記憶する。なお、基準時刻は、前述する式（１３）によって物体が存在しないと判定された時刻としてもよく、また、監視領域より物体領域を抽出された時刻から物体抽出手段１０３によって決定された基準時間間隔以前の時刻としてもよい。
【００９４】
そして、フレーム差分計算手段１５０１は、撮影手段１０１ａが撮像して得られた画像と、基準画像との間のフレーム差分を計算し、予め決定した差分閾値で２値化処理を行った後、ラベリングを実施することにより、差分領域の左上の点と右下の点を特定し、特定した結果を差分領域情報に格納する。一例として、差分領域情報は、ｋ番目の差分領域の左上の点を点（ｌｄｘ（ｋ），ｌｄｙ（ｋ））とし、右下の点を点（ｒｄｘ（ｋ），ｒｄｙ（ｋ））とすれば、差分領域情報ＤｉｆｆＡｒｅａ［ｋ］＝（ｌｄｘ（ｋ）、ｌｄｙ（ｋ）、ｒｄｘ（ｋ）、ｒｄｙ（ｋ））（ｋ＝１，…，ＣｎｔＤｉｆｆ）として表される。ここで、差分領域の数をＣｎｔＤｉｆｆ個として表す。
【００９５】
次に、処理領域決定手段１５０２は、フレーム差分から得られるフレーム差分領域と物体領域とに基づいて物体領域を決定する。
【００９６】
ここで、処理領域決定手段１５０２が物体領域を決定する方法について説明する。
【００９７】
処理領域決定手段１５０２は、物体検知領域情報と差分領域情報の重なりを探索し、物体検知領域情報と重なる差分領域情報が存在した場合、差分領域情報をヒストグラム計算領域情報に設定する。
【００９８】
次に、本発明の第１の実施の形態と同様のステップＳ２０５からステップＳ２１１までの動作を行う。
【００９９】
以上のように本発明の第２の実施の形態の物体検出装置によれば、物体が存在する可能性の高い領域をヒストグラム計算領域とするため、監視領域から抽出された物体領域内に物体が存在する場合に、物体が存在しないと誤って判定されることを防ぐことができる。
【産業上の利用可能性】
【０１００】
以上のように、本発明にかかる物体検出装置は、撮像して得られた画像に基づいた特徴ヒストグラムに関するデータと基準時に撮像して得られた画像に基づいた基準特徴ヒストグラムに関するデータとの相関値を算出するヒストグラム相関計算手段と、この相関値によって監視領域内に物体が存在するか否かを判定する物体判定手段とを設けることにより、検出された物体領域が背景部分であるか、物体であるかを正確に判定することができるという効果を有し、複数台のカメラを用いて監視領域の三次元情報を算出して物体の検出を行う物体検出装置として有用である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施の形態における物体検出装置のブロック図
【図２】本発明の第１の実施の形態における物体検出装置の動作説明のためのフロー図
【図３】本発明の第１の実施の形態における３次元情報を算出する方法の説明図
【図４】本発明の第１の実施の形態における画像の類似度の評価方法の説明図
【図５】本発明の第１の実施の形態における撮像手段座標系と実空間座標系の位置関係を示す図
【図６】本発明の第１の実施の形態における撮像手段座標系から実空間座標系に座標変換する方法の説明図
【図７】本発明の第１の実施の形態における物体領域を抽出する方法の説明図
【図８】本発明の第１の実施の形態における特徴画像の一例を示す図
【図９】本発明の第１の実施の形態におけるヒストグラム計算領域の分割および特徴ヒストグラムを作成する方法の説明図
【図１０】本発明の第１の実施の形態における特徴ヒストグラムの一例を示す図
【図１１】本発明の第１の実施の形態における基準特徴ヒストグラムの一例を示す図
【図１２】本発明の第１の実施の形態における物体領域に物体が存在すると判定された場合の特徴ヒストグラムを作成する方法の説明図
【図１３】本発明の第１の実施の形態における物体領域に物体が存在すると判定された場合の特徴ヒストグラムの一例を示す図
【図１４】本発明の第１の実施の形態における物体領域に物体が存在すると判定された場合の基準特徴ヒストグラムの一例を示す図
【図１５】本発明の第２の実施の形態における物体検出装置のブロック図
【符号の説明】
【０１０２】
１０１ａ、１０１ｂ  撮像手段
１０２  三次元情報算出手段
１０３  物体抽出手段
１０４  ヒストグラム計算領域決定手段
１０５  特徴抽出手段
１０６  基準特徴記憶手段
１０７  領域分割手段
１０８  ヒストグラム相関計算手段
１０８ａ  特徴ヒストグラム作成手段
１０８ｂ  基準特徴ヒストグラム作成手段
１０８ｃ  相関値算出手段
１０９  物体判定手段
１５０１  フレーム差分計算手段
１５０２  処理領域決定手段
【図１】
2006113738.tif 000008
【図２】
2006113738.tif 000009
【図３】
2006113738.tif 000010
【図４】
2006113738.tif 000011
【図５】
2006113738.tif 000012
【図６】
2006113738.tif 000013
【図７】
2006113738.tif 000014
【図１０】
2006113738.tif 000015
【図１１】
2006113738.tif 000016
【図１３】
2006113738.tif 000017
【図１５】
2006113738.tif 000018
【図８】
2006113738.tif 000019
【図９】
2006113738.tif 000020
【図１２】
2006113738.tif 000021
【図１４】
2006113738.tif 000022