(57)【要約】【課題】任意の監視空間領域において、監視空間領域内にある物体がどの程度の大きさかを検知する方法に関するものである。【解決手段】本発明は、任意に範囲設定された監視空間領域を包含する空間領域を２台のデジタルカメラで撮影し、得られたデジタル画像から視差を求めて画素に写る物体の空間座標位置を算出し、隣接画素の集合を弁別して集合化し、その集合に含まれる画素数により物体の大きさを検知するものである。つまり、隣接画素集合に含まれる画素のなかで監視空間領域に包含される位置に在る画素の数から物体が監視空間領域で占める大きさを検知するものである。【選択図】図１
2013205412.tif 000002
【特許請求の範囲】
【請求項１】
任意の監視空間領域で、視差を生じるように配置された２台のデジタルカメラで撮影されたデジタル画像データを用いてステレオマッチング法により全画素の視差を求め、画素に写る物体を検出する空間監視装置において、各画素の視差値と空間座標位置を求め、特定の視差値を有する画素を核として、この核画素の上、右、下、左にある座標位置の画素との視差値の差を求め、上、右、下、左のうち最初に視差値の差が所定値以下となった画素を集合化し、次に集合化した画素を隣接確認対象画素として順次上、右、下、左の画素との視差値の差を求めていくが、同様に最初に視差値の差が所定値以下になった画素の集合化を進め、最終的に集合化できない状態となったときに、今までに集合化した画素数により物体の大きさを検知することを特徴とする物体の大きさ検知方法。
【請求項２】
請求項１において、視差値の差が所定値以下の場合に集合化した全画素の平均視差値を求め、その平均視差値と集合化した全画素数から物体の監視面の面積を計算し、計算された面積が有効物体と判定する面積の閾値未満ならば検知物体なしと判定し、計算された面積が有効物体と判定する面積の閾値以上であれば検知物体ありと判定する物体の大きさ検知方法。
【発明の詳細な説明】
【発明の詳細な説明】
【発明の属する分野】
【０００１】本発明は任意に範囲設定された監視空間領域内に物体が在るかどうかを検知する装置において、対象物がどの程度の大きさかを検知する方法に関し、詳しくは任意に範囲設定された空間領域を２台のデジタルカメラで撮影し、得られたデジタル画像から視差を求めて画素に写る物体の空間座標位置を算出し、隣接画素の集合を弁別してその集合に含まれる画素数により物体の大きさを検知するものである。
【背景技術】
【０００２】空間監視装置の基本については、図−６空間監視装置の機能図、及び図−７空間監視装置の構造図、及び図−８空間監視の全体処理のフロー図で説明する。この空間監視装置は、図−６、図−７に示されるように、基準画像用カメラ６１、参照画像用カメラ６２、主制御装置６６、及び空間距離演算装置６７を備えている。【０００３】主制御装置６６からの制御信号６５ａ、６５ｂにより、基準画像用カメラ６１、参照画像用カメラ６２は繰り返し撮影するように指示されており、撮影された基準画像データ６３、及び参照画像データ６４は空間距離演算装置６７に送られて、ここで各種の演算処理が行われ警報信号６８．画像信号６９が出力される。【０００４】空間距離演算装置６７の演算処理方法は、図−８に記載されている。
ステップＳ８０１は、監視空間領域を設定するために、監視空間領域の３次元形状の頂点座標を設定しておく。監視空間領域の設定方法としては、監視空間領域の辺の関数、面の関数、監視装置の解像度により定まる監視空間領域内全座標として設定することもできる。【０００５】ステップＳ８０２は、ステレオマッチング処理のために、基準画像用カメラ６１、参照画像用カメラ６２よりそれぞれ基準画像データ６３、参照画像データ６４を取得し記憶する。【０００６】ステップＳ８０３は、基準画像データ６３中の画素の視差を求めるため、参照画像データ６４を用いてステレオマッチング処理を行う。各画素の視差は、視差マップとして基準画像データ６３の画素の位置と視差値をあらわすデータとして保持する。【０００７】ステップＳ８０４は、画素に写る物体が監視空間領域内に在るかどうかを確認するために、特定の視差値以上の各画素が示す空間座標位置を、その視差値、２台のカメラの基線長、レンズの焦点距離を用いて計算する。【０００８】ステップＳ８０５は、物体が監視空間領域内に含まれているかどうかを判断するために、ステップＳ８０４で計算された各画素に写る物体の空間座標位置と監視空間領域の包含関係を調べる。監視空間領域内に画素が存在するならば、物体が監視空間領域内に存在すると判断してステップＳ８０６で警報信号を出力する。もし、画素が存在しなければ監視空間領域内に物体は存在しないと判断する。【０００９】ステップＳ８０７は、さらに空間監視状況の実時間確認や事後解析のために、警報とは別に、基準画像データ６３、参照画像データ６４、視差マップ、物体の空間座標位置を画像情報として出力する。【００１０】ステップＳ８０８は、監視の終了指示がないか確認し、必要ならば監視を終了する。
以上が従来の空間監視装置の演算処理の基本的な流れであるが、この方法は検知物体の大きさに関係なく、物体が監視領域内に存在すれば必ず警報を出力してしまうため、たとえば、昆虫あるいは猫のような小さな物体の進入については、警報を出さないようにしたいという要望を実現することはできなかった。
【発明が解決しようとする課題】
【００１１】本発明の課題は、任意の空間領域を、視差を生じるように配置した２台のデジタルカメラで撮影し、得られたデジタル画像からステレオマッチング法により全画素の視差値を求め、求めた視差値から各画素に写る物体の空間座標位置を算出して、隣接する空間座標位置に在る画素の数が一定以上の数となる画素集合を弁別し、弁別した画素集合に含まれる画素で監視空間領域内に位置する画素を数えることで検知対象となる物体の大きさを検知することで処理の高速化を行うことである。第２の課題は有効物体、つまり検知したい物体の大きさを事前に決めることのできる空間監視装置を提供することである。
【課題を解決するための手段】
【００１２】請求項１記載の発明は、任意の監視空間領域で、視差を生じるように配置された２台のデジタルカメラで撮影されたデジタル画像データを用いてステレオマッチング法により全画素の視差を求め、画素に写る物体を検出する空間監視装置において、各画素の視差値と空間座標位置を求め、特定の視差値を有する画素を核として、この核画素の上、右、下、左にある座標位置の画素との視差値の差を求め、上、右、下、左のうち最初に視差値の差が所定値以下となった画素を集合化し、次に集合化した画素を隣接確認対象画素として順次上、右、下、左の画素との視差値の差を求めていくが、同様に最初に視差値の差が所定値以下になった画素の集合化を進め、最終的に集合化できない状態となったときに、今までに集合化した画素数により物体の大きさを検知することを特徴とする物体の大きさ検知方法である。
【００１３】請求項２記載の発明は、請求項１において、視差値の差が所定値以下の場合に集合化した全画素の平均視差値を求め、その平均視差値と集合化した全画素数から物体の監視面の面積を計算し、計算された面積が有効物体と判定する面積の閾値未満ならば検知物体なしと判定し、計算された面積が有効物体と判定する面積の閾値以上であれば検知物体ありと判定する物体の大きさ検知方法である。
【発明の効果】
【００１４】この発明では、三次元的に隣接しているかどうかをその画素が写す物体のカメラを基準とした三次元座標をいちいち計算せずに、二次元としての平面的な視差マップ中の各画素の位置関係（上右下左）とその視差値の差のみで判断するため、隣接している画素の集合化を高速に行うことができ、物体検知の時間を短縮することができる。
【００１５】また、集合化された画素が写す物体の監視面の面積を計算し、計算された面積が有効物体と判定する面積の閾値未満ならば検知物体なしと判定し、計算された面積が有効物体と判定する面積の閾値以上であれば検知物体ありと判定しているため、有効物体と判定する面積の閾値を変更することにより、検知を除外したい大きさを自由に設定できる。したがって、有効物体と判定する面積の閾値をある程度大きくすれば昆虫や猫のような小さな物体を検知しないようにできる効果がある。
【発明の実施形態】
【００１６】図−１空間監視の画素弁別処理のフロー図に示すフローチャートは画素集合弁別処理の詳細である。画素集合弁別とは、視差マップ上の各画素を核にして集合化し、その画素集合の平均視差値と画素数から物体の大きさを計算し、規定以上の大きさと推定されるものだけを抽出する処理である。以下、図−３隣接の確認による集合化の説明図とあわせて説明する。図−３は全体で視差マップのある状態の例を示している。各矩形は視差マップ中の画素を示していて、矩形中の数字はその画素の視差値である。視差値０は視差なしの意味で、その画素は有効な物体を写していないか、または無限遠の物体を写していることを示す。例えば、列１行１の画素は視差値０なので、物体を写した画素ではないが、列４行２の画素は視差値５なので物体を写した画素である。太線で囲まれた部分は、以下に示す集合化処理によって作られる画素集合である。
【００１７】Ｓ１０１は、まず先頭の画素を画素集合の核の候補とする。図−３では列１行１の画素が画素集合の核の最初の候補となり、次いで列２行１、列３行１…列２０行１、列１行２…列２０行２、…列２０行２０という順番で核の候補となっていく。なお、核となる画素は特定の視差値、例えば５以上のように定められている。
【００１８】ステップＳ１０２は、核の候補の画素が複数の画素集合に重複登録されないように、既存の画素集合に属する画素の中に候補画素がないか調べる。図−３では列１４行１５の画素を核の候補として画素集合３３を作る際には、既に列４行２の画素を核として画素集合３１が、列３行３の画素を核として画素集合３２が生成されているので、画素集合３１、画素集合３２の中に列１４行１５の画素が含まれていないか確認する。
【００１９】どの画素集合にも属していなければ、ステップＳ１０３で新しい画素集合を作り、核の候補画素を核の画素として確定し、さらにステップＳ１０４で隣接確認を行うための対象画素（隣接確認対象画素）とする。図−３の列１４行１５の画素の場合は、画素集合３１、画素集合３２中に列１４行１５の画素は存在しないので、この画素を核として新しい画素集合３３を生成し、さらに隣接確認対象画素として隣接確認による画素の集合化を行う。つまり、ステップＳ１０４は、画素集合の核の画素列１４行１５が写している物体の大きさを推定するために、核の画素列１４行１５をもとに隣接画素を調べ、画素集合３３を作る。なお、集合の作り方（画素の集合化）の詳細は後述する。
【００２０】ステップＳ１０５は、有効物体、つまり検知したい物体の大きさを弁別するため、この画素集合の画素の平均視差値を求め、その平均視差値と画素集合内の全画素数から核の画素が写している物体の監視面の面積を計算する。計算された面積が有効物体と判定する面積の閾値未満ならばステップＳ１０６でその画素集合を検知物体なしの画素集合とし、有効物体と判定する面積の閾値以上ならばステップＳ１０７で検知物体ありの画素集合とする。図−３の画素集合３３では、画素数２１、平均視差値３０．５となり、視差値３０．５の際の距離が３０００ｍｍ、３０００ｍｍの位置の１画素の占める面積が１００平方ｍｍとすると、２１×１００＝２１００平方ｍｍとなる。例えば有効物体と判定する面積の閾値が１０００平方ｍｍならば、画素集合３３は検知物体ありの画素集合となる。
【００２１】ステップＳ１０８は、視差マップ上の全画素の確認が完了したかどうか調べ、完了したならば、画素集合の確認を完了する。図−３では、列１行１〜列２０行２０の画素まで全てを確認したかどうかを調べる。
【００２２】ステップＳ１０９は、視差マップ中に核の候補になりうる画素が残っている場合、その画素を新たなる画素集合の核の候補とし、ステップＳ１０２に戻り画素集合化の過程を繰り返す。なお、図−３で列１４行１５の画素の確認が完了した場合も、次に列１５行１５の画素についてステップＳ１０２から画素集合化の処理を行う。
【００２３】図−２空間監視の画素の集合化処理のフロー図に示すフローチャートは、ステップＳ１０４で行う画素の集合化処理の詳細である。画素の集合化とは、ある画素を核にして、その上右下左の画素に対して順次三次元的に隣接しているかどうか確認し、隣接していれば画素集合に所属させる手続きを、三次元的な隣接がなくなるまで再帰的に繰り返す処理である。しかし、本発明は画素が三次元的に隣接していても、二次元の視差マップ上で上下左右に位置する画素同士の視差値の差が所定値以下の場合の状態と概ね等価になることを利用している。
【００２４】図−４監視装置と物体、視差マップの位置関係を示す図は、図−３の視差マップを得た際の監視空間内の監視装置と物体、視差マップの位置関係を上方からのイメージで示している。なお、視差マップ４４は図３のように示される。一点鎖線で示す物体４１は図−３の視差マップ上で画素集合３１として写し込まれており、実線で示す物体４２は画素集合３２として写し込まれ、点線で示す物体４３は画素集合３３として写し込まれている。監視装置４５から出ている点線は各画素が写している物体の水平方向の位置を示し、視差マップ４４と交差する位置の画素の視差値として取得する。つまり、図−３の視差マップの列番号は、上に述べたように監視空間内に物体が存在する場合の水平（幅）方向の位置を示しており、列番号が大きくなるほど物体が右側に存在していることになる。一方、図−３の行番号は監視空間内の垂直（高さ）方向の位置を示しており、行番号が小さいほど物体が高い位置に存在していることになる。
また、一つの物体、例えば物体４２を写す画素の視差値は、図３の画素集合３２のようにほぼ同じ値（ここでは２０〜２１）になる。
【００２５】ここで、図３の視差マップで見ると分かるとおり、物体４１の垂直方向は視差マップの行２〜行２０の範囲を占めている。一方、物体４２は行３〜行６の範囲に位置し、物体４３は行１５〜行１９の範囲に位置している。したがって、図４が図３の視差マップ上の行３に相当する水平面だとすると、物体４１と物体４２は視差マップ上で確認できるが、低い位置にある物体４３は確認できないことになる。一方、図４が、物体４３が含まれる行１５の水平面だとすると、物体４１及び物体４３は確認できるが、高い位置にある物体４２は確認できないことになる。例えば、図４が図３の視差マップの行３に相当する水平面とした場合について考えると、物体４２については画素集合３２の水平方向の列３、列４、列５、列６に相当する視差値が得られ、物体４１については画素集合３１の列７〜列１５に相当する視差値が得られる。
【００２６】なお、図−４は上方から見た図であるため幅方向のみが確認可能であるが、一つの物体を写す画素は視差マップの幅方向でも隣り合うことになり、二次元的に隣接している状態となる。したがって、三次元の複雑な計算をしなくても二次元の簡単な計算で済ませることができる。
【００２７】次に、図−３を使って上下左右の画素を調べる方法について説明する。ステップＳ２０１は、隣接確認の対象画素とその上に位置する画素の隣接を確認するために、隣接確認の対象画素とその上の画素の視差値の差を計算する。視差値の差が集合化する視差値の差の所定値以下ならば、隣接確認の対象画素とその上に位置する画素は隣接していると判定する。
【００２８】隣接していると判定したら、ステップＳ２０２で上に位置する画素を集合化し、次に上の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の上の画素が隣接しないと判定されたらステップＳ２０３に進む。それまでは再帰的にこの処理を行う。
【００２９】ステップＳ２０３からステップＳ２０４では、右に位置する画素との隣接を確認する。
つまり、ステップＳ２０３では、上記した隣接確認の対象画素とその右に位置する画素の隣接を確認するために、隣接確認対象画素とその右の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその右に位置する画素は隣接していると判定する。
【００３０】隣接していると判定したら、ステップＳ２０４で右に位置する画素を集合化し、次に右の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の右の画素が隣接しないと判定されたらステップＳ２０５に進む。それまでは再帰的にこの処理を行う。
【００３１】ステップＳ２０５からステップＳ２０６では、下に位置する画素との隣接を確認する。
つまり、ステップＳ２０５では、上記した隣接確認対象画素とその下に位置する画素の隣接を確認するために、隣接確認対象画素とその下の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその下に位置する画素は隣接していると判定する。
【００３２】隣接していると判定したら、ステップＳ２０６で下に位置する画素を集合化し、次に下の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の下の画素が隣接しないと判定されたらステップＳ２０７に進む。それまでは再帰的にこの処理を行う。
【００３３】ステップＳ２０７からステップＳ２０８では左に位置する画素との隣接を確認する。
つまり、ステップＳ２０７では、上記した隣接確認対象画素とその左に位置する画素の隣接を確認するために、隣接確認対象画素とその左の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその左に位置する画素は隣接していると判定する。
【００３４】隣接していると判定したら、ステップＳ２０８で左に位置する画素を集合化し、次に左の画素を隣接確認対象画素として、上に述べたステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の左の画素が隣接しないと判定されたらステップＳ２０１に進む。それまでは再帰的にこの処理を行う。
【００３５】図−３の列１４行１５の画素を隣接確認対象画素とした場合、上（列１４行１４）の画素との視差値の差は｜３０−０｜＝３０となる。例えば集合化する視差値の差の所定値が１ならばこの状態は隣接していないと判定されるため、画素集合には含めない。
右（列１５行１５）の画素との視差値の差を調べると差は｜３０−３０｜＝０なので、この状態は隣接していると判定し、右（列１５行１５）の画素を画素集合に含めその位置、視差値を記憶する。このように画素集合に含まれる画素が見つかったら、列１４行１５の画素と下や左の画素との確認を行う前に、集合化した右（列１５行１５）の画素の隣接を先に確認するルールとしている。したがって、今度はその画素（列１５行１５）を隣接確認対象画素としてさらに隣接確認を行う。つまり、列１５行１５の画素が画素集合に含まれたら、列１５行１５を隣接確認対象画素として画素の集合化処理（ステップＳ２０１からステップＳ２０８）を再帰的に行う。
【００３６】図−５隣接の確認による集合化過程の説明図は、図−３に示す画素集合３３の集合化過程を示している。各表は隣接確認対象画素を示し、表の最上位にその画素の集合化順序（Ａ〜Ｕ）と列、行を示し、次に上、右、下、左の隣接確認をする画素を示し、その横に隣接確認画素が集合化できるかどうかを示す。つまり、“差”ならば視差値の差が大きいため集合化できないことを示し、“（Ａ）”ならば、既に（Ａ）の順序で集合化されていることを示し、矢印が出ている画素は集合化され、矢印の先で隣接確認対象画素として隣接確認することを示している。
図−５では、図−３の画素集合３３に示す矢印のとおり、まず（Ａ）列１４行１５から（Ｑ）列１６行１９の画素が集合化され、次に（Ｒ）列１４行１９の画素が集合化され、さらに（Ｓ）列１３行１８から（Ｕ）列１３行１６の画素が集合化されている。
【図面の簡単な説明】
【００３７】
【図１】空間監視の画素弁別処理のフロー図
【図２】空間監視の画素の集合化処理のフロー図
【図３】隣接の確認による集合化の説明図
【図４】監視装置と物体、視差マップの位置関係を示す図
【図５】隣接の確認による集合化過程の説明図
【図６】空間監視装置の機能構成図
【図７】空間監視装置の構造図
【図８】空間監視の全体処理のフロー図
【符号の説明】
【００３８】Ｓ１０１  核の候補画素の初期化ステップ
Ｓ１０２  核の候補画素の既集合化確認ステップ
Ｓ１０３  新しい画素集合の生成と隣接確認対象画素の設定ステップ
Ｓ１０４  画素の集合化ステップ
Ｓ１０５  画素の集合化の検知面積計算ステップ
Ｓ１０６  画素集合に対する検知物体無効化ステップ
Ｓ１０７  画素集合に対する検知物体有効化ステップ
Ｓ１０８  次の核の候補画素の確認ステップ
Ｓ１０９  核の候補画素の移動ステップ
３１  列４行２を核として生成された画素集合
３２  列３行３を核として生成された画素集合
３３  列１４行１５を核として生成された画素集合
【図１】
2013205412.tif 000003
【図２】
2013205412.tif 000004
【図３】
2013205412.tif 000005
【図４】
2013205412.tif 000006
【図５】
2013205412.tif 000007
【図６】
2013205412.tif 000008
【図７】
2013205412.tif 000009
【図８】
2013205412.tif 000010