(57)【要約】【課題】任意に範囲設定された監視空間領域において、監視空間領域内に一定寸法以上の物体が在るかどうかをリアルタイムに検知し、物体が在ると判定した場合に警報信号を発生する空間監視方法及び装置。【解決手段】この発明は、任意に範囲設定された監視空間領域を包含する空間領域をデジタルカメラで撮影し、撮影した画像データから監視空間領域内に物体が在るかどうかをリアルタイムに検知し、画像情報と物体の有無を知らせる信号を出力する装置であり、任意に範囲設定した監視空間領域を包含する空間領域を撮影する複数台のデジタルカメラと、デジタルカメラで空間領域を撮影するための制御機構と、撮影された画像データからステレオマッチング法により画素毎の視差を求め監視空間領域内に含まれる画素集合を抽出してその特徴を判別し、監視空間領域内において一定寸法以上の物体の有無をリアルタイムに判定する手段及び演算装置を備えたことを特徴とする。【選択図】図−１
2013164823.tif 000002
【特許請求の範囲】
【請求項１】
任意に範囲設定された監視空間領域について、監視空間領域を包含する空間領域を視差が生じるように撮影したデジタル画像データを用いてステレオマッチング法により全画素の視差を求め、画素に写る物体の空間座標位置を視差から算出し、隣接する空間座標位置に在る画素の数が一定以上の数となる画素集合を弁別し、弁別した画素集合に含まれる画素で監視空間領域内に位置する画素の数を検査し、監視空間領域内に位置する画素数が一定以上の数を超えた場合に監視空間領域内に検知対象となる物体が在ると判定する空間監視方法。
【請求項２】
基準となるデジタル画像データを撮影するデジタルカメラと、参照画像データを撮影することを目的としたデジタルカメラと、基準デジタル画像データ及び参照デジタル画像データをもとに演算処理を行い監視空間領域内に位置する画素数が一定以上の数を超えた場合に領域内に物体が存在すると判定する空間距離演算装置と、デジタルカメラ、空間距離演算装置の制御及び警報信号の外部出力機能を持つ主制御装置とを備えたことを特徴とする空間監視装置。
【請求項３】
請求項２の空間監視装置において、空間距離演算装置は基準画像データと参照画像データ間の平均明度を同レベルにするフィルタ部と、基準画像データと参照画像データとの視差マップを生成する視差マップ生成部と、視差マップ中の画素を隣接判別し集合化して集合内の画素数により集合を弁別する物体弁別部と、視差マップから物体の空間座標位置を算出する距離演算部と、物体の空間座標位置と監視空間領域の包含関係確認し物体が監視空間領域内に存在する場合に警報信号を発生する判定部と、フィルタ部と視差マップ生成部と物体弁別部と距離演算部と判定部の各出力情報を記憶すると共に画像情報を出力する記憶部とを備えたことを特徴とする空間監視装置。
【発明の詳細な説明】
【発明の詳細な説明】
【発明の属する分野】
【０００１】本発明は任意に範囲設定された監視空間領域内に一定寸法以上の物体が在るかどうかを検知する装置に関し、詳しくは任意に範囲設定された監視空間領域を包含する空間領域を複数台のデジタルカメラで撮影し、得られたデジタル画像から視差を求めて画素に写る物体の空間座標位置を算出し、隣接画素の集合を弁別してその集合に含まれる画素数により物体の大きさを検知するものである。つまり、隣接画素集合に含まれる画素のなかで監視空間領域に包含される位置に在る画素の数から物体が監視空間領域を占める大きさを検知し、検知した大きさが一定以上の場合に監視空間領域内に検知対象となる物体が在るとリアルタイムに判定し警報信号を発生する空間監視方法及び装置に関する。
【背景技術】
【０００２】特定の監視空間領域内に障害物等の物体が在るかどうかを非接触で判断する方法として、一般には光あるいは音波を利用して物体の有無を判断する方法が用いられる。光を用いた方法としては、ビーム状光線の発生装置と受光装置をビーム光軸が監視空間領域を交差するように設置し、ビーム光が遮断されると物体が在ると判断するインタラプター方式が多い。また音波を用いた方式としては、音波の発射装置と受信装置を近接して設置し監視空間領域内に在る物体からの反射音の有無でその存在を確認するエコーレーダー方式が多い。【０００３】しかしながら任意に範囲設定した監視空間領域内に物体が在ることを検知する方法としては、いずれの方式も大きな欠点がある。例えば光を用いたインタラプター方式では、比較的広い空間領域を監視する場合や比較的小さな物体を検知するためにはビーム光発生装置を多数用意するかビーム光をスキャン放射するなどの方法でビーム光軸を監視空間領域全域に高い監視密度で張り巡らせるとともに受光装置も同様に多数設置する必要があり監視装置全体として大規模なものになる。音波を用いたエコーレーダー方式では、音波の伝搬特性から温度や湿度といった環境の影響を受けやすく、また使用する音波の波長が長いため高い空間分解能を実現することが難しく、小さな対象物の検知や対象物までの距離の正確な測定が難しい。【０００４】また監視カメラにより障害物や侵入者等の対象物体を検知する方法がある。従来のカメラによる監視方式では物体の大きさによらず比較的小さなものでも検知可能であるが、対象物体までの距離を高精度に計測することが難しく、監視カメラから得られる画像に物体が映っていても、それが設定した監視空間領域の内部に在るのか外部に在るのかを正確にリアルタイム判定することができなかった。【０００５】対象物までの測距方法として、複数の撮像装置で得られた画像データの視差を利用して三角測量法により対象物体までの距離を算出する方法がある。この方法は広い空間範囲に在る物体までの距離を測定するには良い方式であるが、高い空間分解能で高速に計測するために大量なデータ演算を高速処理する必要があり、任意に範囲設定した監視空間領域内に物体が在るかどうかをリアルタイムに判断するためには大量の画素毎の演算を高速処理する必要があり、小型の装置で簡単に計測を行うことが困難であった。
【発明が解決しようとする課題】
【０００６】本発明は、任意に範囲設定した監視空間領域を包含する空間領域を、視差を生じるように配置した複数台のデジタルカメラで撮影し、得られたデジタル画像からステレオマッチング法により全画素の視差を求め、求めた視差から各画素に写る物体の空間座標位置を算出して、隣接する空間座標位置に在る画素の数が一定以上の数となる画素集合を弁別することで検知対象となる物体の大きさを検査し、弁別した画素集合に含まれる画素で監視空間領域内に位置する画素を数えることで検知対象となる物体が監視空間領域内に占める大きさを検査し、その大きさが一定寸法を超えた場合に監視空間領域内に検知対象となる物体が在るとリアルタイムに判定し、その判定結果を警報信号として出力することを目的としている。
【課題を解決するための手段】
【０００７】請求項１記載の発明は、任意に範囲設定された監視空間領域で視差を生じるように配置された複数台のデジタルカメラで撮影されたデジタル画像データから、ステレオマッチング法により全画素の視差を求めて撮影した空間全領域の視差マップを生成し、視差マップから三角測量法により画素に写る物体の空間座標位置を算出し、隣接する空間座標位置に在る画素を抽出して抽出画素数が一定以上の数となる画素集合を弁別することで検知する大きさを有する物体の有無を判別し、弁別した画素集合に含まれる画素のうち空間座標位置が監視空間領域内に在る画素の数を検査して物体が監視空間領域内に占める大きさを検知し、その占有する大きさが一定以上の場合に監視空間領域内に検知対象となる物体が在ると判定する空間内対象物判定方法である。
【０００８】請求項２記載の空間監視装置は、請求項１の方法を用いて任意に範囲設定された監視空間領域において物体の全体または一部が監視空間領域を占める状態にあるか否かを監視し、物体が監視空間領域を占める状態を検知すると警報信号を発生する空間監視装置であり、監視空間領域を内包する空間領域を撮影する複数台のデジタルカメラ、撮影する空間領域で視差を生じる間隔でデジタルカメラを配置・固定するカメラ架台、カメラ架台を撮影する空間領域に向けて固定する架台ガイド、複数台のデジタルカメラの画像データをステレオマッチング処理により演算処理を行い監視空間領域内に位置する画素数が一定以上の数を超えた場合に監視空間領域内に物体が存在すると判定する空間距離演算装置、デジタルカメラで繰り返し撮影を行い得られたデジタル画像データを空間距離演算装置に転送して空間距離演算を実行させる処理と警報信号を外部に出力させるための主制御装置を備えていることを特徴とする空間監視装置である。
【０００９】請求項３の空間距離演算装置は、請求項２の構成要素中の空間距離演算装置の具体例を示したものである。つまり、本発明の空間距離演算装置は、基準画像データと参照画像データ間の平均明度を同レベルにするフィルタ部と、基準画像データと参照画像データとの視差マップを生成する視差マップ生成部と、視差マップ中の画素を隣接判別し集合化して集合内の画素数により集合を弁別する物体弁別部と、視差マップから物体の空間座標位置を算出する距離演算部と、物体の空間座標位置と監視空間領域の包含関係確認し物体が監視空間領域内に存在する場合に警報信号を発生する判定部と、フィルタ部と視差マップ生成部と物体弁別部と距離演算部と判定部の各出力情報を記憶すると共に画像情報を出力する記憶部とを備えたことを特徴としている
【作用】
【００１０】本発明によれば、任意に範囲設定された監視空間領域内に物体が在るかどうかを監視するにあたり、監視空間領域を含む空間領域を撮影する複数台のデジタルカメラを、少なくとも監視空間領域内の物体の撮影画像が距離測定に必要十分な視差を生じるように光軸の間隔を隔てて配置し同時に撮影する。撮影空間の範囲（広さ）と距離分解能は、デジタルカメラの撮像素子寸法ならびに画素分解能とレンズ焦点距離とデジタルカメラの光軸間隔（基線長）を変数とする一定の関係式により決定される。そのためデジタルカメラから監視空間領域までの距離と範囲ならびに検知したい物体の最小寸法に応じて、デジタルカメラの撮像素子寸法ならびに画素分解能、カメラレンズの焦点距離とカメラの光軸間隔を決めればよい。
【００１１】複数台のデジタルカメラは空間領域を同時に撮影するため、各カメラから得られるデジタル画像はいずれも類似した明暗と輪郭パターンの特徴を備えている。従ってステレオマッチング法によりデジタル画像データを比較して類似の明暗を持つ輪郭パターンを抽出し、画像上で類似パターンの位置のズレ量（カメラ撮像素子の画素間隔）を検出することで画素に写る対象物の視差が求められ、全画素について視差を求めることで全撮影領域の視差マップを生成する。
【００１２】画素に写る物体の空間座標位置は、撮影したデジタルカメラの光軸間隔を基線長とし視差量とレンズ焦点距離とを変数として三角測量法により求められる。そこで視差マップをもとに全撮影空間における各画素に写る物体の空間座標位置を算出し、検知対象となる大きさを持つ物体を判別するために隣接する空間座標位置に在る画素を抽出して、抽出した画素数が一定以上の数となる画素集合を弁別する。隣接する空間座標位置に在る画素数を条件とする弁別処理により、検知対象となる物体の大きさを任意に設定することができる。
【００１３】検知対象となる大きさの物体が監視空間領域内に在るかどうかを判定するために、検知対象候補として弁別した画素集合に含まれる画素の空間座標位置が監視空間領域に包含される位置に在るかどうかを検査し、包含される位置に在る画素を数える。監視空間領域内に位置する画素の数が一定以上の値となった場合に、監視空間領域内に検知対象物体が在ると判定する。この画素数を条件とする判定処理により検知対象となる物体が監視空間領域内に占める大きさを任意に設定することができる。
【００１４】監視空間領域内に検知対象物体が在ると判定したら警報信号を発生させる。本発明では、検知対象となる物体の大きさの判定条件と監視空間領域内に物体が占める割合の判定条件を独立して設定できるため、「監視空間領域内に物体が在る」という判定要求に対して図−５または図−６に示すように多様な判定条件を設定することができる。
【００１５】図−５は検知対象となる物体の大きさの事例を示すものである。判定条件の例１は検知対象の大きさを物体ａ以上とする場合、例２は検知対象の大きさを物体ａと物体ｂの範囲内に設定する場合、例３はある特定の大きさｂのみを検知対象とする場合である。
【００１６】図−６は、検知対象物の物体が監視空間領域内で占める割合を示したものである。判定条件の例４は監視領域内に１００％入っている物体ｃと５０％入っている物体ｄの範囲、つまり５０％から１００％の範囲を検知対象としたものであり、例５は５０％入っている物体ｄと５％入っている物体ｅの範囲、つまり５％から５０％の範囲を検知対象とした事例を示している。このように物体検知の判定条件として検知対象物の大きさと検知対象物が監視空間領域内にどのくらい含まれるかを自由に設定することができる。
【００１７】この監視空間領域内に物体が在るかどうかを判定する機能がリアルタイムに処理されるため、処理を繰り返し実行することで連続的に監視を行うことができる。さらに連続的に監視することで、対象物体が監視空間領域内に在る状態が一定時間以上持続した場合のみ警報を発生させる、あるいは対象物体は監視空間領域内に在り警報信号が発生している状態で瞬間的に対象物体が監視空間領域外に移動してすぐに監視空間領域内に入り込んだ場合に警報を断続させないなど、警報信号にヒステリシスを持たせることも可能になる。また蓄積機能を用いて繰り返し撮影されたデジタル画像から明暗や輪郭パターンの時系列変化を特徴抽出することで、画素に写る物体の大きさや空間座標位置の検知精度をさらに向上させることができる。
【発明の実施形態】
【００１８】以下、本発明の実施の一形態を図面に基づき説明する。ここでは２台のデジタルカメラを用いた例で説明する。
【００１９】図−１は、請求項１にある空間内対象物判定方法の処理内容を示すフローチャートである。このフローチャートで示すステップを繰り返すことで連続的に監視を行う。
【００２０】ステップＳ１０１は、監視空間領域を設定するために、監視空間領域の３次元形状の頂点座標を設定しておく。監視空間領域の設定方法としては、辺の関数、面の関数、監視装置の解像度により定まる空間内全座標として設定することもできる。
【００２１】ステップＳ１０２は、ステレオマッチング処理のために、基準画像用カメラ、参照画像用カメラよりそれぞれ基準画像、参照画像を取得し記憶する。
【００２２】ステップＳ１０３は、基準画像中の画素の視差を求めるため、参照画像を用いてステレオマッチング処理を行う。各画素の視差は、視差マップとして基準画像の画素の位置と視差量をあらわすデータとして保持する。このとき、必要に応じて基準画像、参照画像のエッジ強調や、２つの画像間の平均明度を同レベルにするための処理を施す。
【００２３】ステップＳ１０４は、一定の大きさ以上の物体のみを検出対象とするために視差マップ中の画素を隣接判別規則により集合化し、集合内の画素の数によって弁別する。隣接判別規則とは、各画素に写る物体が空間上で隣接していることを判別する方法であり、視差マップの各画素について隣接する空間座標位置の画素との視差量の差を調べ、差が規定値以下のものを同じ物体を撮影した画素どうしとして連結し集合化するものである。そして連結された画素数が一定以上になった集合の画素だけを監視空間領域内に在るかどうかを確認する処理の対象として記憶する。
【００２４】ステップＳ１０５は、画素に写る物体が監視空間領域内に在るかどうかを確認するために、弁別した画素集合内の各画素が示す空間座標位置を、その視差量、２台のカメラの基線長、レンズの焦点距離を用いて計算する。
【００２５】ステップＳ１０６は、物体が監視空間領域内に含まれているかどうかを判断するために、ステップＳ１０５で計算された各画素に写る物体の空間座標位置と監視空間領域の包含関係を調べる。監視空間領域内に在る画素が一定数以上であれば、物体が監視空間領域内に存在すると判断してステップＳ１０７で警報信号を出力する。
【００２６】ステップＳ１０８は、さらに空間監視状況の実時間確認や事後解析のために、警報とは別に、基準画像、参照画像、視差マップ、物体の空間座標位置を画像情報として出力する。
【００２７】ステップＳ１０９は、監視の終了指示がないか確認し、必要ならば監視を終了する。
【００２８】図−２は、請求項２にある空間監視装置の機能構成図である。
基準画像用カメラ２１、参照画像用カメラ２２、主制御装置２６、空間距離演算装置２７で構成されている。
【００２９】制御信号２５ａ、制御信号２５ｂはそれぞれ基準画像用カメラ２１、参照画像用カメラ２２に繰り返し撮影を行うよう指示する信号である。
【００３０】制御信号２５ｃは、空間距離演算装置２７に対して空間距離演算を実行させる信号である。
【００３１】基準画像データ２３は基準画像用カメラ２１の出力で、参照画像データ２４は参照画像用カメラ２２の出力となっている。
【００３２】主制御装置２６は、基準画像データ２３、参照画像データ２４を空間距離演算装置２７に転送して空間距離演算を実行させる処理と警報信号２８を外部に出力させる。
【００３３】空間距離演算装置２７からは、画像情報２９も出力される。
【００３４】図−３は、請求項２にある空間監視装置の構造図である。
基準画像用カメラ２１は、基準画像データ２３を取得するカメラである。
【００３５】参照画像用カメラ２２は、参照画像データ２４を取得するカメラである。
【００３６】カメラ架台機構３１は、基準画像用カメラ２１と参照画像用カメラ２２を２台のカメラの光軸が平行かつ監視空間領域内の物体の撮影画像が距離測定に必要十分な視差を生じる間隔をもって配置・固定する。さらに基準画像用カメラ２１と参照画像用カメラ２２を所望の仰角に維持する。
【００３７】主制御装置２６は、基準画像用カメラ２１と参照画像用カメラ２２で得られた画像データを空間距離演算装置２７に転送して空間距離演算を実行させる処理と警報信号２８を外部に出力させる。
【００３８】空間距離演算装置２７は、請求項３に記載のもので図−４で詳細を説明する。
【００３９】架台ガイド機構３２は、カメラ架台機構３１、主制御装置２６、空間距離演算装置２７の各構成要素を装置として固定し、さらに装置全体を監視空間方向に固定する。
【００４０】なお、図−１、図−２、図−３ともに１台の基準画像用カメラと１台の参照画像用カメラを使用した実施例を示したが、１台の基準画像用カメラと複数台の参照画像用カメラを使用しても同様に実現できる。
【００４１】図−４は、請求項３の空間距離演算装置の機能構成の一例を示したもので、全体で空間距離演算装置２７を構成している。基準画像データ２３、参照画像データ２４はステップＳ１０２で示した画像データであり、フィルタ部４１に入力される。フィルタ部４１はステップＳ１０２で示した基準画像、参照画像のエッジ強調や、２つの画像間の平均明度を同レベルにするための処理を実行する。フィルタ部４１の出力信号が入力される視差マップ生成部４２はステップＳ１０３を実行する。
【００４２】視差マップ生成部４２の出力信号は物体弁別部４３に入力される。物体弁別部４３はステップＳ１０４を実行する。
【００４３】物体弁別部４３の出力信号は距離演算部４４に入力される。距離演算部４４は、ステップＳ１０５を実行する。
【００４４】距離演算部４４の出力信号は判定部４５に入力される。判定部４５は、ステップＳ１０１を実行して監視空間領域を設定し、ステップＳ１０６を実行して物体が監視空間領域内に存在すると判断したときには警報信号２８を出力する。
【００４５】記憶部４６は、各ステップで取り扱うデータ（視差マップ等）をメモリに一次記憶する。
【００４６】警報信号２８は、判定部４５で処理され、ステップＳ１０７で出力する警報信号である。
【００４７】画像情報２９は、記憶部４６で処理され、ステップＳ１０８で出力する画像情報である。
【発明の効果】
【００４８】本発明によれば、任意に範囲設定した監視空間領域を包含する空間領域を、視差を生じるように配置した複数台のデジタルカメラで撮影し、得られたデジタル画像からステレオマッチング法により全画素の視差を求め、求めた視差から各画素に写る物体の空間座標位置を算出して、隣接する空間座標位置に在る画素の数が一定以上の数となる画素集合を弁別することで検知対象となる物体の大きさを検査し、弁別した画素集合に含まれる画素で監視空間領域内に位置する画素を数えることで検知対象となる物体が監視空間領域内に占める大きさを検査し、その大きさが一定寸法を超えた場合に監視空間領域内に検知対象となる物体が在るとリアルタイムに判定し、その判定結果を警報信号として出力することができる。
【００４９】任意に設定された監視空間領域を監視できるため、狭い空間範囲に限定した領域での物体の監視、例えば自動ドアのドア付近の狭い範囲でのドア開閉に障害となる物体の検知などにも最適な監視条件を設定することができる。
【００５０】空間分解能も、使用するデジタルカメラの画素分解能とレンズ焦点距離を適切に選択することで高解像度を実現できるため、小さな物体の監視検出、例えば駅プラットホームドア監視で車両からはみ出た傘の先端部など車両やプラットホームドアの開閉に障害となる物体の検知などにも最適な監視条件を設定することができる。
【００５１】またデジタルカメラを使用しているため、撮像素子の光波長感度を調整することで人間の視覚では難しい条件での物体検知、例えば赤外線領域や紫外線領域で高い反射率をもつ物体の検知や、暗視野照明と組み合わせたビルや人家、倉庫等の防犯センサーとしても最適な条件を設定して使用することができる。
【図面の簡単な説明】
【００５２】
【図−１】空間監視の処理フロー図
【図−２】空間監視装置の機能構成図
【図−３】空間監視装置の構造図
【図−４】空間距離演算装置の機能構成図
【図−５】大きさ判定条件の設定例
【図−６】割合判定条件の設定例
【図−１】
2013164823.tif 000003
【図−２】
2013164823.tif 000004
【図−３】
2013164823.tif 000005
【図−４】
2013164823.tif 000006
【図−５】
2013164823.tif 000007
【図−６】
2013164823.tif 000008