(57)【要約】【課題】任意に設定した監視空間領域内の物体の有無を検出する処理において、ステレオカメラを用いた物体検出方法を適用するにあたりステレオマッチング処理の高速化を図り物体検出のリアルタイム応答を実現するブロックマッチング探索方法。【解決手段】この発明は、任意に設定した監視空間領域内の物体を検出する処理において、デジタルカメラにより得られたデジタルステレオ画像を用いてステレオマッチング処理を行うにあたり、任意に設定した監視空間領域における最大視差値と最小視差値を求め、その視差の範囲内に在る画素データのみブロックマッチング探索を行い範囲外に在る画素データはブロックマッチング探索を行わないことで演算量の低減を図る手段を備えたことを特徴とする。ブロックマッチングとは、ステレオカメラの２つの画像から視差を計算する一つの方法であり、一方の画像を小領域に分割し各領域について他方の画像上で特徴量差が最小となる位置を探す手法である。【選択図】図２
2013206451.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ監視空間領域の最遠位置での視差値である最小視差値と最近位置での視差値である最大視差値を求めて、監視空間領域を含む空間を撮影したデジタル画像のステレオマッチング処理で類似した画像特徴の探索を行う際に、探索範囲を最小視差値から最大視差値の範囲だけとして処理量を減らすことを特徴とする物体検出のためのブロックマッチング探索方法。
【請求項２】
請求項１の探索方法において、監視空間領域をデジタルカメラが有する視差および空間分解能で表現した監視空間領域視差マップをあらかじめ作成しておき、ブロックマッチングの探索範囲を容易に決定可能とした監視空間領域の物体検出のためのブロックマッチング探索方法。
【発明の詳細な説明】
【発明の詳細な説明】
【発明の属する分野】
【０００１】本発明は任意に設定された監視空間領域内に一定寸法以上の対象物が在るかどうかを検出する装置において、対象物が監視空間領域に在るかどうかを判定するブロックマッチング処理に関し、詳しくは任意に設定された監視空間領域を包含する特定空間領域の撮影に使用するデジタルカメラが有する空間分解能で細分化した視差マップで表現し、撮影したデジタル画像をステレオマッチング処理するとき、ブロックマッチングの探索範囲を監視空間領域に対応した視差マップの視差範囲に限定することで高速化を実現したブロックマッチング方式に関する。なお、ブロックマッチングとは、ステレオカメラの２つの画像から視差を計算する一つの方法であり、一方の画像を小領域に分割し各領域について他方の画像上で特徴量差が最小となる位置を探す手法である。
【背景技術】
【０００２】特定の監視空間領域に障害物等の対象物が在るかどうかをステレオマッチングにより判定するには、監視空間領域における視差を生じる物体が在るかどうかを計算により求めて判定する方法が用いられるが、この場合デジタル画像の全空間領域をブロックマッチングして視差を求めるため、マッチング探索に多大な計算量を要し、処理時間がかかってしまう問題がある。
【発明が解決しようとする課題】
【０００３】本発明は、ステレオデジタル画像のブロックマッチングにより視差を求め、その視差から画素に映る対象物の距離を算出する処理において、マッチング探索の範囲を容易に決定できる方法を提供すると共に、マッチング探索の計算量を低減し監視空間領域内の物体の有無判定を高速化することを目的としている。
【課題を解決するための手段】
【０００４】請求項１記載の発明は、あらかじめ監視空間領域の最遠位置での視差値である最小視差値と最近位置での視差値である最大視差値を求めて、監視空間領域を含む空間を撮影したデジタル画像のステレオマッチング処理で類似した画像特徴の探索を行う際に、探索範囲を最小視差値から最大視差値の範囲だけとして処理量を減らすことを特徴とする物体検出のためのブロックマッチング探索方法である。
【０００５】また、請求項２記載の発明は、請求項１の探索方法において、監視空間領域をデジタルカメラが有する視差および空間分解能で表現した監視空間領域視差マップをあらかじめ作成しておき、ブロックマッチングの探索範囲を容易に決定可能とした監視空間領域の物体検出のためのブロックマッチング探索方法である。
【発明の効果】
【０００６】請求項１の発明によれば、任意に設定した監視空間領域における最大視差値と最小視差値を求め、その視差の範囲内に在る画素データのみブロックマッチング探索を行い範囲外に在る画素データはブロックマッチング探索を行わないため、マッチング探索の計算量を低減し監視空間領域内の物体の有無判定を高速化することができる。
【０００７】また、請求項２の発明によれば、請求項１の探索方法において、監視空間領域をデジタルカメラが有する視差および空間分解能で表現した監視空間領域視差マップをあらかじめ作成し、監視したい空間領域の最遠位置および最近位置を設定すれば、ブロックマッチングの探索範囲である最大視差値と最小視差値は自動的に決定されるため、監視範囲を簡単にしかも自由に可変することができる。
【０００８】探索範囲の最大視差値と最小視差値は、本発明のポイントであるため図−４の最小視差値と最大視差値を示す図に基づき説明する。
【０００９】４０１はステレオカメラを示し、ステレオカメラ４０１は、図−１に示す基準画像１０１を取得するための基準カメラ４０２と図−１に示す参照画像１０２を取得するための参照カメラ４０３で構成されている。
【００１０】４０４は監視する空間の最遠位置を示し、４０５は監視する空間の最近位置を示し、最遠位置４０４と最近位置４０５で囲まれた領域を監視空間領域４０６として示す。
【００１１】４０７は基準カメラ４０２で撮影した基準画像１０１の基準画像撮像イメージであり、４０８は参照カメラ４０３で撮影した参照画像１０２の参照画像撮像イメージである。
【００１２】４０９は最遠位置の対象物の例を示し、対象物４０９は監視空間領域４０６の中で最遠位置に在る対象物とし、４１０は最近位置の対象物の例を示し、対象物４１０は監視空間領域４０６の中で最近位置に在る対象物とする。
【００１３】４１１は基準画像撮像イメージ４０７の中の最遠位置の対象物４０９と、参照画像撮像イメージ４０８の中の最遠位置の対象物４０９の水平方向位置の差の値を示す。この差の値が最小視差値を示す。
【００１４】４１２は基準画像撮像イメージ４０７の中の最近位置の対象物４１０と、参照画像撮像イメージ４０８の中の最近位置の対象物４１０の水平方向位置の差の値を示す。この差の値が最大視差値を示す。
【００１５】図−４中の最小視差４１１となる最遠位置４０４より遠い位置と、最大視差４１２となる最近位置４０５より近い位置に対するブロックマッチング探索を実施せず、最小視差４１１となる最遠位置４０４と、最大視差４１２となる最近位置４０５の間をブロックマッチング探索の範囲として限定することで探索範囲が縮小されブロックマッチング探索の計算量を低減し監視空間領域内の物体の有無判定を高速化することができる。
【００１６】請求項２記載の発明は、請求項１のブロックマッチング探索方法において、図−５のように任意に設定された監視空間領域についてステレオ撮影に使用するデジタルカメラの空間分解能に細分化された部分空間に分割して各部分空間にユニークな空間座標（Ｘ、Ｙ、Ｄ）を与え、視差による奥行き距離（ｄ）ならびに空間座標位置（ｘ，ｙ）の最大値と最小値の範囲を一意的に決めることで、ブロックマッチングの探索範囲を容易に決定できる監視空間領域の表現方法である。
【発明の実施形態】
【００１７】以下、本発明の実施の一形態を図面に基づき説明する。ここでは２台のデジタルカメラを用いた例で説明する。
【００１８】図−１は、請求項１のブロックマッチング探索方法実施の一形態を示す機能構成図である。図示しない基準カメラから得られる基準画像１０１、図示しない参照カメラから得られる参照画像１０２、基準画像内小領域データ生成部１０３ａ、参照画像内小領域データ生成部１０３ｂ、基準画像内小領域データ１０４ａ、参照画像内小領域データ１０４ｂ、ブロックマッチング部１０５、視差データ１０６、物体有無判定部１０７、物体有無判定信号１０８、監視範囲設定部１０９、監視範囲データ１１０、監視領域視差マップ生成部１１１、監視領域視差マップ１１２で構成されている。
【００１９】基準画像内小領域データ生成部１０３ａは、ブロックマッチング処理に必要な基準画像内の小領域を生成するため、基準画像１０１を取得し、基準画像内小領域データ１０４ａを生成する。基準画像内小領域データ１０４ａには図−３（ａ）に示す基準画像内輝度データ群３１と空間座標位置（ｘ，ｙ）が含まれる。
【００２０】参照画像内小領域データ生成部１０３ｂは、ブロックマッチング処理に必要な参照画像内の小領域を生成するため、参照画像１０２を取得し、参照画像内小領域データ１０４ｂを生成する。参照画像内小領域データ１０４ｂには図−３（ｂ）に示す参照画像内輝度データ群３２と空間座標位置（ｘ，ｙ）が含まれる。
【００２１】ブロックマッチング部１０５は、基準画像内小領域データ１０４ａと参照画像内小領域データ１０４ｂと監視領域視差マップ１１２を取得し、図−２のブロックマッチング処理を実行し、視差データ１０６を生成する。
【００２２】図−２は、ブロックマッチング部１０５の処理内容を示すフローチャートである。
【００２３】ステップＳ２１は、基準画像内小領域データ１０４ａと参照画像内小領域データ１０４ｂを取得し、監視領域視差マップ１１２に含まれる最小視差値４１１によって決まる小領域比較開始位置を設定する。
【００２４】ステップＳ２２は、ステップＳ２１で設定された小領域比較開始位置またはステップＳ２４で設定された小領域比較位置において、基準画像内小領域データ１０４ａの輝度データ群３１の各画素Ｂｉと参照画像内小領域データ１０４ｂの輝度データ群３２の各画素Ｒｉから図−３のように領域内の各画素Ｂｉ、Ｒｉの輝度データの差分絶対和の式３５に基づき特徴量差を算出し、特徴量差とＲｃｅｎｔｅｒ３４の空間座標位置（ｘ，ｙ）を記憶するものである。
【００２５】図−３は、差分絶対和の算出方法を示す図である。３１は基準画像内小領域データ１０４ａ中の画素Ｂｃｅｎｔｅｒ３３を中心とする輝度データ群であり、３２は参照画像内小領域データ１０４ｂ中の画素Ｒｃｅｎｔｅｒ３４を中心とする輝度データ群を示す。基準画像内輝度データ群３１は、Ｂ１、Ｂ２、Ｂｃｅｎｔｅｒ、Ｂｎのようにｎ個の画素で構成されている。また、参照画像内輝度データ群３２は、Ｒ１、Ｒ２、Ｒｃｅｎｔｅｒ、Ｒｎのようにｎ個の画素で構成されている。基準画像内輝度データ群３１の各画素Ｂｉと参照画像内輝度データ群３２の各画素Ｒｉにおける差の絶対値を画素数ｎ個について加算したものを差分絶対和３５と言うが、ステップＳ２２は、差分絶対和３５の計算を行い基準画像内輝度データ群３１と参照画像内輝度データ群３２の両者間の特徴量差を算出すると共に参照画像内小領域データ１０４ｂの空間座標位置（ｘ，ｙ）を記憶する。
【００２６】ステップＳ２３は、ステップＳ２２で比較した参照画像内小領域データ１０４ｂの空間座標位置（ｘ，ｙ）が監視領域視差マップ１１２に含まれる最大視差値の位置に在るか否かを判定し、最大視差位置に在る場合はステップＳ２５の処理を実行し、最大視差値の位置にない場合はステップＳ２４を実行する。
【００２７】ステップＳ２４は、小領域比較位置を現在の視差値の次の大きさの視差値となる空間座標位置（ｘ＋１，ｙ）に更新する。つまり参照画像内小領域データ１０４ｂの中心をＲｃｅｎｔｅｒＮＥＸＴ３７に変更し、比較する小領域をＲｃｅｎｔｅｒＮＥＸＴ３７が中心となる輝度データ群３６に更新する。この後ステップＳ２２を実行するときには、基準画像内小領域データ１０４ａの輝度データ群３１と参照画像内小領域データ１０４ｂの輝度データ群３６から特徴量差を算出することとなる。
【００２８】ステップＳ２５は、ステップＳ２２で記憶した特徴量差群から特徴量差が最小となる特徴量差と空間座標位置（ｘ，ｙ）を抽出する。
【００２９】ステップＳ２６は、ステップＳ２５で抽出した特徴量差を基準画像内小領域データ１０４ａの空間座標位置（ｘ，ｙ）の視差とし、図−１に示す視差データ１０６を出力する。
【００３０】物体有無判定部１０７は、視差データ１０６と監視範囲データ１１０の２つのデータを比較し、物体が監視空間領域内に在るか否かを判定し、物体有無判定信号１０８を生成する。
【００３１】監視範囲設定部１０９は、任意の監視空間領域を設定し、つまりは図−４の監視空間領域４０６の最遠位置４０４、および最近位置４０５を設定し、監視範囲データ１１０を出力する。
【００３２】監視領域視差マップ生成部１１１は、監視範囲データ１１０から監視空間領域の各画素における、最近位置４０５に対応する最大視差値４１２と最遠位置４０４に対応する最小視差値４１１を算出し、最大視差値４１２と最小視差値４１１と空間座標位置（ｘ，ｙ）をデータとする監視領域視差マップ１１２を生成する。
【図面の簡単な説明】
【００３３】
【図１】本発明装置の実施例における機能構成図
【図２】ブロックマッチングの処理内容を示すフローチャート
【図３】差分絶対和の算出方法を示す図
【図４】最小視差値と最大視差値を示す図
【図５】空間座標と空間座標位置を示す図
【符号の説明】
【００３４】１０１  ：基準画像
１０２  ：参照画像
１０３ａ：基準画像内小領域データ生成部
１０３ｂ：参照画像内小領域データ生成部
１０４ａ：基準画像内小領域データ
１０４ｂ：参照画像内小領域データ
１０５  ：ブロックマッチング部
１０６  ：視差データ
１０７  ：物体有無判定部
１０８  ：物体有無判定信号
１０９  ：監視範囲設定部
１１０  ：監視範囲データ
１１１  ：監視領域視差マップ生成部
１１２  ：監視領域視差マップ
３１    ：基準画像内小領域データ１０４ａ中の中心の画素３３を中心とする輝度データ群
３２    ：参照画像内小領域データ１０４ｂ中の中心の画素３４を中心とする輝度データ群
３３    ：基準画像内小領域データ１０４ａ中の中心の画素
３４    ：参照画像内小領域データ１０４ｂ中の中心の画素
３５    ：差分絶対和
３６    ：参照画像内小領域データ１０４ｂ中の中心の画素３４の隣の画素を中心とする輝度データ群
３７    ：参照画像内小領域データ１０４ｂ中の中心の画素３４の隣の画素
４０１  ：ステレオカメラ
４０２  ：基準画像１０１を取得するための基準カメラ
４０３  ：参照画像１０２を取得するための参照カメラ
４０４  ：監視空間領域４０６の中での最遠位置
４０５  ：監視空間領域４０６の中での最近位置
４０６  ：監視空間領域
４０７  ：基準画像撮像イメージ
４０８  ：参照画像撮像イメージ
４０９  ：最遠位置の対象物の例
４１０  ：最近位置の対象物の例
４１１  ：最小視差値
４１２  ：最大視差値
【図１】
2013206451.tif 000003
【図２】
2013206451.tif 000004
【図３】
2013206451.tif 000005
【図４】
2013206451.tif 000006
【図５】
2013206451.tif 000007