(57)【要約】【課題】  カメラの設置高さが低いような条件下においても、雨天のような条件下においても適切に監視領域への侵入を検出可能とする。【解決手段】  監視対象領域を撮像するカメラにより得られる画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成手段１１と、作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成手段１２と、背景画像データと対象画像データの類似度を算出する類似度算出手段１３と、算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定手段１４とを具備する。【選択図】  図１
2005202782.tif 000002
【特許請求の範囲】
【請求項１】
監視対象領域を撮像するカメラにより得られる画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成手段と、
作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成手段と、
背景画像データと対象画像データの類似度を算出する類似度算出手段と、
算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記判定手段による判定が侵入有りへ転じた場合に、使用した背景画像データを保持し、それ以降の背景画像データとして用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記類似度判定手段は、背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段により侵入有りの判定が所定時間以上継続された場合に侵入有りを出力することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
監視対象領域を撮像するカメラにより得られる画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成ステップと、
作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成ステップと、
背景画像データと対象画像データの類似度を算出する類似度算出ステップと、
算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定ステップと
を具備することを特徴とする画像処理方法。
【請求項６】
前記類似度判定ステップでは、背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
監視対象領域を撮像するカメラにより得られる画像データをコンピュターに与えると、
当該画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成ステップと、
作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成ステップと、
背景画像データと対象画像データの類似度を算出する類似度算出ステップと、
算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定ステップと
を実行することを特徴とする画像処理プログラム。
【請求項８】
前記類似度判定ステップでは、
背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする請求項７に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラによる監視領域に侵入が生じたか否かを適切に判定することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関するものであり、特にトンネル内の非常駐車帯に車両が侵入したか否かを監視する場合に好適な画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置では、非常駐車帯内における路面のみが見えている部分の背景画像を作成し、非常駐車帯内の入力画像と差分をとって非常駐車帯内に車両が侵入したか否かを検出していた。しかしながら、非常駐車帯を監視するカメラの設置高さは一般的に低く、非常駐車帯の奥側に車両が駐車したような場合には車両方向に縮んだように車両映像が写し出され、車両の存在検出が難しく、未検出になることが多いという問題点を含んでいる。
【０００３】
更に、雨の日においては、非常駐車帯内に水溜まりや路面の汚れが生じる場合があり、これらを駐車車両として誤検出する問題もあった。
【特許文献１】特開平１１−２９６７９７号公報
【特許文献２】特開２００２−２４８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
発明が解決しようとする課題は、カメラの設置高さが低いような条件下においても、雨天のような条件下においても適切に監視領域への侵入を検出可能とすることである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、監視対象領域を撮像するカメラにより得られる画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成手段と、作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成手段と、背景画像データと対象画像データの類似度を算出する類似度算出手段と、算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置は、前記判定手段による判定が侵入有りへ転じた場合に、使用した背景画像データを保持し、それ以降の背景画像データとして用いることを特徴とする。本発明に係る画像処理装置では、前記類似度判定手段が、背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする。本発明に係る画像処理装置は、前記判定手段により侵入有りの判定が所定時間以上継続された場合に侵入有りを出力することを特徴とする。
【０００７】
本発明に係る画像処理方法は、監視対象領域を撮像するカメラにより得られる画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成ステップと、作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成ステップと、背景画像データと対象画像データの類似度を算出する類似度算出ステップと、算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定ステップとを具備することを特徴とする。
【０００８】
本発明に係る画像処理方法は、前記類似度判定ステップにおいて、背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、監視対象領域を撮像するカメラにより得られる画像データをコンピュターに与えると、当該画像データの画素毎に輝度に関するヒストグラムを作成するヒストグラム作成ステップと、作成された所定時間のヒストグラムに基づき背景画像データ及び対象画像データを作成する画像データ作成ステップと、背景画像データと対象画像データの類似度を算出する類似度算出ステップと、算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定する判定ステップとを実行することを特徴とする。
【００１０】
本発明に係る画像処理プログラムは、前記類似度判定ステップにおいては、背景画像データと対象画像データの正規化相関値を算出して類似度とすることを特徴とする。
【発明の効果】
【００１１】
本発明に係る画像処理装置、画像処理方法及び画像処理プログラムでは、画像データの画素毎に輝度に関するヒストグラムを作成し、これから背景画像データ及び対象画像データを作成し、背景画像データと対象画像データの類似度を算出して侵入の有無に使用しており、輝度の時間的変化により適切な侵入検出が可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明は、監視領域における空間的な輝度分布について、時間的変化に着目した検出手法を採用して、従来の画像認識では不可能な条件下における画像処理を可能とした。以下添付図面を参照して本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施例を説明する。
【実施例】
【００１３】
図１に画像処理装置の構成を示す。この画像処理装置は、図２に示される監視システムの画像処理計算機２により実現される。図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１４】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれかにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、渋滞等である。
【００１５】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１６】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、画像変換部１０、ヒストグラム作成手段１１、画像データ作成手段１２、類似度算出手段１３、判定手段１４を具備している。画像変換部１０は、カメラ６−１〜６−ｍのいずれかから到来する映像信号をディジタル多値化して画像処理部計算機２において処理可能なデータとする。ヒストグラム作成手段１１は、監視対象領域を撮像するカメラ（カメラ６−１〜６−ｍのいずれか）により得られる画像データの画素毎に輝度に関するヒストグラムを作成するものである。
【００１７】
具体的には、図３に示されるように、例えば１秒間の画像データ（ａ）について、画素毎に輝度データのヒストグラムを作成する。つまり（ｂ）に示すように、１秒間における画素（０，０）の輝度を０〜２５５に示す２５６階調に振り分け、最頻値（最も多い輝度の値）をその画素（０，０）の代表値とし、・・・１秒間における画素（ｉ，ｊ）の輝度を０〜２５５に示す２５６階調に振り分け、最頻値（最も多い輝度の値）をその画素（ｉ，ｊ）の代表値とし・・・、１秒間における画素（３１９，２３９）の輝度を０〜２５５に示す２５６階調に振り分け、最頻値（最も多い輝度の値）をその画素（３１９，２３９）の代表値とする。このようにして、全ての画素（Ｍ，Ｎ）について代表値を並べた画像データを道路画像（ｃ）とする。
【００１８】
画像データ作成手段１２は、作成された所定時間ｔ１（ここでは一例として、１秒間）のヒストグラムに基づき背景画像データ及び対象画像データを作成するものである。背景画像データを作成する場合には、図３において説明した如くの道路画像を、図４に示されるようにｔ２(ｔ２の一例として、３０秒間)分収集し（図４（ａ））、この３０枚分の道路画像における各画素の平均を求め、１枚分の背景画像データを得る（図４（ｂ））。
【００１９】
類似度算出手段１３は、背景画像データと対象画像データの類似度を算出するものである。具体的には、背景画像データと対象画像データの正規化相関値を算出して類似度とする。ここで、背景画像データの値をＩA（ｉ，ｊ）、対象画像（道路画像）データの値をＩB（ｉ，ｊ）とするとき、正規化関数値ＮＣは次の式により表される。
【数１】
2005202782.tif 000003
【００２０】
判定手段１４は、上記式（１）により算出された類似度と閾値との比較に基づき監視対象領域における侵入の有無を判定するものである。判定手段１４による判定は類似度算出手段１３へ戻されており、判定手段１４による判定が侵入有りへ転じた場合に、使用した背景画像データを保持し、それ以降の背景画像データとして用いる。判定手段１４により侵入有りの判定が所定時間以上継続された場合に侵入有りを出力する。この出力は、上位装置である統合処理部計算機３へ送られ、その後の処理に使用される。尚、上記の画像変換部１０は、画像処理部計算機２とは別に設けても良い。
【００２１】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図５に示すような構成要素からなっている。すなわち、図５の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２２】
そして、図１に示した各手段は、ＣＰＵ５１が図６〜図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主記憶装置５２へ読み出されて実行される。
【００２３】
まず、動作が開始され、例えばカメラ６−１〜６−ｍのいずれかから画像データの取り込みを行い、画像変換部１０による処理が行われる。次に、画像処理部計算機２は、入力画像データについて図３により説明した通りのヒストグラム作成が行われる（Ｓ１）。ｔ１秒間分の画像データについてヒストグラムが作成されたかを検出し（Ｓ２）、ｔ１秒間分の画像データについてヒストグラムが作成された場合には、対象画像（道路画像）データＩB（ｉ，ｊ）を作成し（Ｓ３）、侵入（停止）有りにフラグがセットされているかを検出する（Ｓ４）。この例では、車両が侵入（停止）していないときに図１０の如くの映像が得られ、車両が侵入（停止）しているときに図１１の如くの映像が得られるものとする。
【００２４】
上記ステップＳ４において、侵入（停止）有りにフラグがセットされていないときにはステップＳ５へ進み、ｔ２秒経過を検出する（Ｓ５）。ｔ２秒が経過していなければ、終了となり、再びステップＳ１からの処理が行われる。そして、ｔ２秒が経過すると、ステップＳ５からＹＥＳへ分岐し、ｔ２秒間の対象画像（道路画像）データから背景画像データＩA（ｉ，ｊ）を作成し（Ｓ６）、既に式（１）で示した正規化関数値ＮＣを計算する（Ｓ７）。
【００２５】
そして、相関値を閾値と比較する（Ｓ８）。類似度は、対象画像（道路画像）データと背景画像データの正規化相関値が１に近いほど大きく、−１に近いほど小さい。正規化相関値が所定閾値未満のときに侵入（停止）有りとする。図１２には、時間変化によって侵入（停止）無しから侵入有りへ変化した場合を示している。
【００２６】
ステップＳ８において侵入（停止）有りとなると、現在の背景画像を保存して（Ｓ９）、侵入（停止）有りにフラグをセットする（Ｓ１０）。これに次いで再びステップＳ１からの処理が続けられ、ステップＳ４において侵入（停止）有りにフラグがセットされているので、保存してある背景画像データＩA（ｉ，ｊ）を用い（Ｓ１１）、既に式（１）で示した正規化関数値ＮＣを計算する（Ｓ１２）。
【００２７】
そして、相関値を閾値と比較する（Ｓ１３）。正規化相関値が所定閾値未満のときに侵入（停止）有りとする。この場合には、侵入（停止）有りにフラグがセットされてから所定時間以上が経過しているかを検出する（Ｓ１７）。所定時間以上が経過していない場合には、ステップＳ１へ戻って処理を続ける一方、所定時間以上が経過している場合には、既に侵入（停止）有りの出力を行ったかを検出する（Ｓ１８）。出力を行っていなければ（停止）有りの出力を行う（Ｓ１９）が、既に出力を行っているときには、またステップＳ１へ戻って処理を続ける。（停止）有りの出力を行った場合には、そのフラグをセットしておく。
【００２８】
また、ステップＳ１３における比較において、正規化相関値が所定閾値以上のときに侵入（停止）なしを検出して、（停止）有りの出力を行ったことを示すフラグがセットされているかを検出する（Ｓ１４）。当該フラグがセットされている場合には、侵入（停止）なしの出力を行って、上記フラグ及び侵入（停止）有りのフラグをリセットする（Ｓ１６）。再び、ステップＳ１に戻って処理続ける。ステップＳ１以降の処理においては、ステップＳ４において侵入（停止）有りのフラグがセットされていなければ、新たに背景画像データを作成する処理へ進むことになる。
【００２９】
以上のようにして、一定時間毎に対象画像（道路画像）データと背景画像データの類似度を計算（具体的には正規化相関を計算）した結果、監視対象領域内に車両が存在しない場合に、対象画像（道路画像）データと背景画像データの類似度の値は大きいが、車両が進入した場合は類似度が小さくなることに着目することで、停止車両を適切に検出することができた。また、監視対象領域全体の類似度（輝度データの類似度）の変化に着目することで、水溜りや路面の汚れを車両として検出する誤検出が少なくなる。
【産業上の利用可能性】
【００３０】
カメラの設置場所に応じて、非常駐車帯に車両が侵入して停止した場合以外に、侵入及び待機を検出監視する場合に用いることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置におけるヒストグラム作成及び対象画像（道路画像）データ作成の工程を示す図。
【図４】本発明に係る画像処理装置における背景画像データ作成の工程を示す図。
【図５】本発明に係る画像処理装置の実際の構成例を示すブロック図。
【図６】本発明に係る画像処理装置における動作を説明するためのフローチャート。
【図７】本発明に係る画像処理装置における動作を説明するためのフローチャート。
【図８】本発明に係る画像処理装置における動作を説明するためのフローチャート。
【図９】本発明に係る画像処理装置における動作を説明するためのフローチャート。
【図１０】本発明に係る画像処理装置における画像処理対象の一例である非常駐車帯における車両無し状態の画像を示す図。
【図１１】本発明に係る画像処理装置における画像処理対象の一例である非常駐車帯における車両停車状態の画像を示す図。
【図１２】本発明に係る画像処理装置における画像処理において、非常駐車帯への車両侵入に伴う正規化相関値の変化を示す図。
【符号の説明】
【００３２】
１  ネットワーク
２  画像処理部計算機
３  統合処理部計算機
４  事象判定部計算機
５−１〜５−ｎ  報知盤
６−１〜６−ｍ  カメラ
１０  画像変換部
１１  ヒストグラム作成手段
１２  画像データ作成手段
１３  類似度算出手段
１４  判定手段
【図１】
2005202782.tif 000004
【図２】
2005202782.tif 000005
【図５】
2005202782.tif 000006
【図６】
2005202782.tif 000007
【図７】
2005202782.tif 000008
【図８】
2005202782.tif 000009
【図９】
2005202782.tif 000010
【図１２】
2005202782.tif 000011
【図３】
2005202782.tif 000012
【図４】
2005202782.tif 000013
【図１０】
2005202782.tif 000014
【図１１】
2005202782.tif 000015