(57)【要約】【課題】任意の監視空間領域において、検知した物体がどの程度監視空間領域内にあるか判定する方法に関するものである。【解決手段】本発明は、任意に範囲設定された監視空間領域を包含する空間領域を２台のデジタルカメラで撮影し、得られたデジタル画像から視差を求めて画素に写る物体の空間座標位置を算出し、隣接画素の集合を弁別して集合化し、その集合に含まれる画素のうち監視空間領域内に存在する画素の数と存在しない画素の数の比により物体が監視空間領域内に存在するかどうかを検知するものである。つまり、隣接画素集合に含まれる画素のなかで監視空間領域に包含される位置に在る画素の数から物体が監視空間領域で占める割合を検知するものである。【選択図】図−１
2014027640.tif 000002
【特許請求の範囲】
【請求項１】
任意の監視空間領域で、視差を生じるように配置された２台のデジタルカメラで撮影されたデジタル画像データを用いてステレオマッチング法により全画素の視差を求め、画素に写る物体を検出する空間監視装置において、各画素の視差値と空間座標位置を求め、特定の視差値を有する画素を核として、この核画素の上、右、下、左にある座標位置の画素との視差値の差を求め、上、右、下、左のうち最初に視差値の差が所定値以下となった画素を集合化し、次に集合化した画素を隣接確認対象画素として順次上、右、下、左の画素との視差値の差を求めていくが、同様に最初に視差値の差が所定値以下になった画素の集合化を進め、最終的に集合化できない状態となった場合に、それまで集合化した各画素の三次元座標を求め、その画素が示す物体の位置が監視空間領域の内外のどちらにあるかを調べ、その内外画素数の比により監視空間領域内に物体があるかないかの判定を行う物体の監視領域での内外存在判定方法。
【発明の詳細な説明】
【発明の詳細な説明】
【発明の属する分野】
【０００１】本発明は任意に範囲設定された監視空間領域内に物体が在るかどうかを検知する装置において、対象物がどの程度監視空間領域内に存在するかを検知する方法に関し、詳しくは任意に範囲設定された空間領域を２台のデジタルカメラで撮影し、得られたデジタル画像から視差を求めて画素に写る物体の空間座標位置を算出し、隣接画素の集合を弁別してその集合に含まれる画素の三次元座標によって監視空間領域の内にあるか外にあるかを判別し、内外画素数の比により物体検知の有無を判定するものである。
【背景技術】
【０００２】空間監視装置の基本については、図−７空間監視装置の機能図、及び図−８空間監視装置の構造図、及び図−６空間監視の全体処理のフロー図で説明する。この空間監視装置は、図−７、図−８に示されるように、基準画像用カメラ７１、参照画像用カメラ７２、主制御装置７６、及び空間距離演算装置７７を備えている。【０００３】主制御装置７６からの制御信号７５ａ、７５ｂにより、基準画像用カメラ７１、参照画像用カメラ７２は繰り返し撮影するように指示されており、撮影された基準画像データ７３、及び参照画像データ７４は空間距離演算装置７７に送られて、ここで各種の演算処理が行われ警報信号７８、画像信号７９が出力される。【０００４】空間距離演算装置７７の演算処理方法は、図−６に記載されている。
ステップＳ６０１は、監視空間領域を設定するために、直方体で表される監視空間領域の各頂点の三次元座標を設定しておく。【０００５】ステップＳ６０２は、ステレオマッチング処理のために、基準画像用カメラ７１、参照画像用カメラ７２よりそれぞれ基準画像データ７３、参照画像データ７４を取得し記憶する。【０００６】ステップＳ６０３は、基準画像データ７３中の画素の視差を求めるため、参照画像データ７４を用いてステレオマッチング処理を行う。各画素の視差は、視差マップとして基準画像データ７３の画素の位置と視差値をあらわすデータとして保持する。【０００７】ステップＳ６０４は、画素に写る物体が監視空間領域内に在るかどうかを確認するために、特定の視差値以上の各画素が示す三次元座標を、その視差値、２台のカメラの基線長、レンズの焦点距離を用いて計算する。【０００８】ステップＳ６０５は、物体が監視空間領域内に含まれているかどうかを判断するために、ステップＳ６０４で計算された各画素に写る物体の三次元座標と監視空間領域の包含関係を調べる。監視空間領域内に画素が１つでも存在するならば、物体が監視空間領域内に存在すると判断してステップＳ６０６で警報信号を出力する。もし、画素が存在しなければ監視空間領域内に物体は存在しないと判断する。【０００９】ステップＳ６０７は、さらに空間監視状況の実時間確認や事後解析のために、警報とは別に、基準画像データ７３、参照画像データ７４、視差マップ、物体の三次元座標を画像情報として出力する。【００１０】ステップＳ６０８は、監視の終了指示がないか確認し、必要ならば監視を終了する。
以上が従来の空間監視装置の演算処理の基本的な流れであるが、この方法は検知物体が監視空間領域へどの程度侵入（１０％侵入あるいは８０％侵入）したかにかかわらず信号出力してしまうため、たとえば路地に面した店舗の自動ドアセンサーに使用する場合、ドアを横切る通行人の手や鞄が監視領域にほんの一部が含まれるだけでも物体検知と判定して自動ドアを開けてしまうことになる。
【発明が解決しようとする課題】
【００１１】本発明の課題は、任意の空間領域を、視差を生じるように配置した２台のデジタルカメラで撮影し、得られたデジタル画像からステレオマッチング法により全画素の視差値を求め、求めた視差値から各画素に写る物体の空間座標位置を算出して、隣接する空間座標位置に在る画素の数が一定以上の数となる画素集合を弁別し、弁別した画素集合に含まれる画素の三次元座標が監視空間領域内に位置する画素を数えることで検知対象となる物体が監視空間領域の内側に存在する割合（包含割合）を調べ、包含割合閾値に達していたら物体ありと判定し、さらにその包含割合閾値を前もって自由に設定できるセンサーを提供することである。
【課題を解決するための手段】
【００１２】請求項１記載の発明は、任意の監視空間領域で、視差を生じるように配置された２台のデジタルカメラで撮影されたデジタル画像データを用いてステレオマッチング法により全画素の視差を求め、画素に写る物体を検出する空間監視装置において、各画素の視差値と空間座標位置を求め、特定の視差値を有する画素を核として、この核画素の上、右、下、左にある座標位置の画素との視差値の差を求め、上、右、下、左のうち最初に視差値の差が所定値以下となった画素を集合化し、次に集合化した画素を隣接確認対象画素として順次上、右、下、左の画素との視差値の差を求めていくが、同様に最初に視差値の差が所定値以下になった画素の集合化を進め、最終的に集合化できない状態となったときに、それまで集合化した各画素の三次元座標を求め、その画素が示す物体の位置が監視空間領域の内外のどちらにあるかを調べ、その内外画素数の比（包含割合）により監視空間領域内に物体があるかないかの判定を行う、物体の監視領域での内外存在判定方法である。
【発明の効果】
【００１３】この発明では、集合化された画素の三次元座標により、その画素が示す物体の位置が監視空間領域の内外のどちらにあるかを調べ、内外画素数の比により監視空間領域内に物体があるかないかの判定を行うため、物体の一部のみが監視空間領域内にある場合には、包含割合閾値を変更することによって物体検出ありと判定させることもできるし、物体検出なしと判定させることもできる。したがって、たとえば路地に面した店舗の自動ドアセンサーに使用する場合、ドアを横切る通行人の手や鞄が監視領域にほんの一部が含まれるだけでは物体検知と判定せず自動ドアを開けないという設定を行う場合には非常に有益である。
【発明の実施形態】
【００１４】図−１空間監視の検知物体弁別処理のフロー図に示すフローチャートは検知物体弁別処理の詳細である。検知物体弁別とは、視差マップ上の各画素を核にして集合化し、集合内の各画素の三次元座標を求め、監視空間領域内に含まれるかどうかを判別し、監視空間領域内外の画素数比によって物体検知の有無を判定する処理である。以下、図−３隣接の確認による集合化の説明図とあわせて説明する。図−３は全体で視差マップのある状態の例を示している。各矩形は視差マップ中の画素を示していて、矩形中の数字はその画素の視差値である。視差値０は視差なしの意味で、その画素は有効な物体を写していないか、または無限遠の物体を写していることを示す。例えば、列１行１の画素は視差値０なので、物体を写した画素ではないが、列３行３の画素は視差値２７なので物体を写した画素である。太線で囲まれた部分は、以下に示す集合化処理によって作られる画素集合である。
【００１５】図−１において、ステップＳ１０１は、物体の位置が監視空間領域の内外のどちらにあるかを調べるために、包含割合閾値を設定する。
【００１６】ステップＳ１０２は、まず先頭の画素を画素集合の核の候補とする。図−３では列１行１の画素が画素集合の核の最初の候補となり、次いで列２行１、列３行１…列２０行１、列１行２…列２０行２、…列２０行２０という順番で核の候補となっていく。なお、核となる画素は特定の視差値、例えば２０以上のように定められている。
【００１７】ステップＳ１０３は、核の候補の画素が複数の画素集合に重複登録されないように、既存の画素集合に属する画素の中に候補画素がないか調べる。図−３では列１４行１５の画素を核の候補として画素集合３２を作る際には、既に列３行３の画素を核として画素集合３１が生成されているので、画素集合３１の中に列１４行１５の画素が含まれていないか確認する。
【００１８】どの画素集合にも属していなければ、ステップＳ１０４で新しい画素集合を作り、核の候補画素を核の画素として確定し、さらにステップＳ１０５で隣接確認を行うための対象画素（隣接確認対象画素）とする。図−３の列１４行１５の画素の場合は、画素集合３１中に列１４行１５の画素は存在しないので、この画素を核として新しい画素集合３２を生成し、さらに隣接確認対象画素として隣接確認による画素の集合化を行う。つまり、ステップＳ１０５は、画素集合の核の画素列１４行１５が写している物体の大きさを推定するために、核の画素列１４行１５をもとに隣接画素を調べ、画素集合３２を作る。なお、集合の作り方（画素の集合化）の詳細は後述する。
【００１９】ステップＳ１０６は、有効物体かどうか、つまり検知した物体が監視空間領域内に存在するか確認するために、この画素集合の各画素の三次元座標を求め、監視空間領域内に含まれる画素の数と含まれない画素の数の比を計算する。計算された比がステップＳ１０１で設定した包含割合閾値未満ならばステップＳ１０７でその画素集合を検知物体なしの画素集合とし、包含割合閾値以上ならばステップＳ１０８で検知物体ありの画素集合とする。例えば図−９割合判定条件の設定例の場合、包含割合閾値が３０％ならば物体ｃは検知物体になり、物体ｄも検知物体になり、物体ｅは検知物体とならない。包含割合閾値が７０％ならば物体ｃは検知物体になり、物体ｄは検知物体とならず、物体ｅも検知物体とならない。同様に図−３の視差マップの場合は、二次元として捉えられるが、画素集合３１の全画素の数は１６あり、その内、監視空間領域３３内に含まれる画素の数は１２なので画素の包含割合は７５％となり、画素集合３２の全画素の数は２０あり、その内、監視空間領域３３内に含まれる画素の数は１０なので画素の包含割合は５０％となっている。このとき予め設定した包含割合閾値が７０％ならば画素集合３１は検知物体になり、画素集合３２は検知物体とならない。包含割合閾値が３０％ならば画素集合３１も画素集合３２も検知物体となる。
【００２０】ステップＳ１０９は、視差マップ上の全画素の確認が完了したかどうか調べ、完了したならば、画素集合の確認を完了する。図−３では、列１行１〜列２０行２０の画素まで全てを確認したかどうかを調べる。
【００２１】ステップＳ１１０は、視差マップ中に核の候補になりうる画素が残っている場合、その画素を新たなる画素集合の核の候補とし、ステップＳ１０３に戻り画素集合化の過程を繰り返す。なお、図−３で列１４行１５の画素の確認が完了した場合も、次に列１５行１５の画素についてステップＳ１０３から画素集合化の処理を行う。
【００２２】図−２空間監視の画素の集合化処理のフロー図に示すフローチャートは、ステップＳ１０５で行う画素の集合化処理の詳細である。画素の集合化とは、ある画素を核にして、その上右下左の画素に対して順次三次元的に隣接しているかどうか確認し、隣接していれば画素集合に所属させる手続きを、三次元的な隣接がなくなるまで再帰的に繰り返す処理である。しかし、本発明は画素が三次元的に隣接していても、二次元の視差マップ上で上下左右に位置する画素同士の視差値の差が所定値以下の場合の状態と概ね等価になることを利用している。
【００２３】図−４監視装置と物体、視差マップの位置関係を示す図は、図−３の視差マップを得た際の監視空間内の監視装置と物体、視差マップの位置関係を上方からのイメージで示している。なお、視差マップ４３は図−３のように示される。実線で示す物体４１は画素集合３１として写し込まれ、点線で示す物体４２は画素集合３２として写し込まれている。一点鎖線で示す監視空間領域４５は監視空間領域３３として示される。監視装置４４から出ている点線は各画素が写している物体の水平方向の位置を示し、視差マップ４３と交差する位置の画素の視差値として取得する。つまり、図−３の視差マップの列番号は、上に述べたように監視空間内に物体が存在する場合の水平（幅）方向の位置を示しており、列番号が大きくなるほど物体が右側に存在していることになる。一方、図−３の行番号は監視空間内の垂直（高さ）方向の位置を示しており、行番号が小さいほど物体が高い位置に存在していることになる。また、一つの物体、例えば物体４１を写す画素の視差値は、図−３の画素集合３１のようにほぼ同じ値（ここでは２７〜２８）になり、監視装置４４に近い面の視差値がより大きな値（ここでは２８）となり、監視装置４４から遠い面の視差値がより小さな値（ここでは２７）となる。同様に、物体４２を写す画素集合３２の視差値は、３０〜３１と大きくなっており、図−４に示されるように物体４１よりも物体４２の方が監視装置４４に近くなっている。
【００２４】ここで、図−３の視差マップで見ると分かるとおり、物体４１は行３〜行６の範囲に位置し、物体４２は行１５〜行１９の範囲に位置している。したがって、図−４が図−３の視差マップ上の行３に相当する水平面だとすると、物体４１は視差マップ上で確認できるが、物体４２は確認できないことになる。一方、図−４が、物体４２が含まれる行１５の水平面だとすると、物体４２は確認できるが、物体４１は確認できないことになる。例えば、図−４が図−３の視差マップの行３に相当する水平面とした場合について考えると、物体４１については画素集合３１の水平方向の列３、列４、列５、列６に相当する視差値（それぞれ２７）が得られる。
【００２５】なお、図−４は上方から見た図であるため幅方向のみが確認可能であるが、一つの物体を写す画素は視差マップの幅方向でも隣り合うことになり、二次元的に隣接している状態となる。したがって、三次元の複雑な計算をしなくても二次元の簡単な計算で済ませることができる。
【００２６】次に、図−２を使って上下左右の画素を調べる方法について説明する。図−２のステップＳ２０１は、隣接確認の対象画素とその上に位置する画素の隣接を確認するために、隣接確認の対象画素とその上の画素の視差値の差を計算する。視差値の差が集合化する視差値の差の所定値以下ならば、隣接確認の対象画素とその上に位置する画素は隣接していると判定する。
【００２７】隣接していると判定したら、ステップＳ２０２で上に位置する画素を集合化し、次に上の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の上の画素が隣接しないと判定されたらステップＳ２０３に進む。それまでは再帰的にこの処理を行う。
【００２８】ステップＳ２０３からステップＳ２０４では、右に位置する画素との隣接を確認する。つまり、ステップＳ２０３では、上記した隣接確認の対象画素とその右に位置する画素の隣接を確認するために、隣接確認対象画素とその右の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその右に位置する画素は隣接していると判定する。
【００２９】隣接していると判定したら、ステップＳ２０４で右に位置する画素を集合化し、次に右の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の右の画素が隣接しないと判定されたらステップＳ２０５に進む。それまでは再帰的にこの処理を行う。
【００３０】ステップＳ２０５からステップＳ２０６では、下に位置する画素との隣接を確認する。つまり、ステップＳ２０５では、上記した隣接確認対象画素とその下に位置する画素の隣接を確認するために、隣接確認対象画素とその下の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその下に位置する画素は隣接していると判定する。
【００３１】隣接していると判定したら、ステップＳ２０６で下に位置する画素を集合化し、次に下の画素を隣接確認対象画素として、ステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の下の画素が隣接しないと判定されたらステップＳ２０７に進む。それまでは再帰的にこの処理を行う。
【００３２】ステップＳ２０７からステップＳ２０８では左に位置する画素との隣接を確認する。つまり、ステップＳ２０７では、上記した隣接確認対象画素とその左に位置する画素の隣接を確認するために、隣接確認対象画素とその左の画素の視差値の差を計算し、視差値の差が集合化する条件である所定値以下ならば、隣接確認対象画素とその左に位置する画素は隣接していると判定する。
【００３３】隣接していると判定したら、ステップＳ２０８で左に位置する画素を集合化し、次に左の画素を隣接確認対象画素として、上に述べたステップＳ２０１〜Ｓ２０８に基づき画素の集合化を進めるが、隣接確認対象画素の左の画素が隣接しないと判定されたらステップＳ２０１に進む。それまでは再帰的にこの処理を行う。
【００３４】今までの図−２のフローチャートの説明を図−３に適用すると以下のようになる。つまり、図−３の列１４行１５の画素を隣接確認対象画素とした場合、上（列１４行１４）の画素との視差値の差は｜３０−０｜＝３０となる。例えば集合化する視差値の差の所定値が１ならばこの状態は隣接していないと判定されるため、画素集合には含めない。右（列１５行１５）の画素との視差値の差を調べると差は｜３０−３０｜＝０なので、この状態は隣接していると判定し、右（列１５行１５）の画素を画素集合に含めその位置、視差値を記憶する。このように画素集合に含まれる画素が見つかったら、列１４行１５の画素と下や左の画素との確認を行う前に、集合化した右（列１５行１５）の画素の隣接を先に確認するルールとしている。したがって、今度はその画素（列１５行１５）を隣接確認対象画素としてさらに隣接確認を行う。つまり、列１５行１５の画素が画素集合に含まれたら、列１５行１５を隣接確認対象画素として画素の集合化処理（ステップＳ２０１からステップＳ２０８）を再帰的に行う。
【００３５】図−５隣接の確認による集合化過程の説明図は、図−３に示す画素集合３２の集合化過程を示している。各表は隣接確認対象画素を示し、表の最上位にその画素の集合化順序（Ａ〜Ｔ）と列、行を示し、次に上、右、下、左の隣接確認をする画素を示し、その横に隣接確認画素が集合化できるかどうかを示す。つまり、“差”ならば視差値の差が大きいため集合化できないことを示し、“（Ａ）”ならば、既に（Ａ）の順序で集合化されていることを示し、矢印が出ている画素は集合化され、矢印の先で隣接確認対象画素として隣接確認することを示している。
図−５では、図−３の画素集合３２に示す矢印のとおり、まず（Ａ）列１４行１５から（Ｑ）列１６行１９の画素が集合化され、次に（Ｒ）列１４行１９の画素が集合化され、さらに（Ｓ）列１３行１８から（Ｔ）列１３行１７の画素が集合化されている。
【図面の簡単な説明】
【００３６】
【図−１】空間監視の検知物体弁別処理のフロー図
【図−２】空間監視の画素の集合化処理のフロー図
【図−３】隣接の確認による集合化の説明図
【図−４】監視装置と物体、視差マップの位置関係を示す図
【図−５】隣接の確認による集合化過程の説明図
【図−６】空間監視の全体処理のフロー図
【図−７】空間監視装置の機能構成図
【図−８】空間監視装置の構造図
【図−９】割合判定条件の設定例
【符号の説明】
【００３７】Ｓ１０１  包含割合閾値の設定ステップ
Ｓ１０２  核の候補画素の初期化ステップ
Ｓ１０３  核の候補画素の既集合化確認ステップ
Ｓ１０４  新しい画素集合の生成と隣接確認対象画素の設定ステップ
Ｓ１０５  画素の集合化ステップ
Ｓ１０６  画素の集合化の監視空間領域の内外画素数の比の計算ステップ
Ｓ１０７  画素集合に対する検知物体無効化ステップ
Ｓ１０８  画素集合に対する検知物体有効化ステップ
Ｓ１０９  次の核の候補画素の確認ステップ
Ｓ１１０  核の候補画素の移動ステップ
３１  列３行３を核として生成された画素集合
３２  列１４行１５を核として生成された画素集合
【図−１】
2014027640.tif 000003
【図−２】
2014027640.tif 000004
【図−３】
2014027640.tif 000005
【図−４】
2014027640.tif 000006
【図−５】
2014027640.tif 000007
【図−６】
2014027640.tif 000008
【図−７】
2014027640.tif 000009
【図−８】
2014027640.tif 000010
【図−９】
2014027640.tif 000011