(57)【要約】【課題】状況に合致して適切に監視対象物の存在領域を特定する。【解決手段】カメラにより得られる監視対象画像データを取り込む画像取得手段１０により得た画像データについてフレーム間差分を行って物体領域検出を行う第１の検出手段１１と、前記画像データについて背景差分を行って物体領域検出を行う第２の検出手段１２と、前記第１の検出手段１１と前記第２の検出手段１２により得られた結果に基づいて監視対象の混雑状態を評価し、前記画像データの品質を映像信号に基づき評価する評価手段１３の評価結果に基づいて前記第１の検出手段１１のみによる出領域または前記第１及び前記第２の検出手段１１、１２による検出領域を用いるかの選択を行う選択手段１４とを具備する。【選択図】　図１
2004007174.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより得られる監視対象画像データを取り込む画像取得手段と、
前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出手段と、
前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出手段と、
前記第１の検出手段と前記第２の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、
前記評価手段による評価結果に基づいて前記第１の検出手段のみにより得られる検出領域を用いるかまたは前記第１の検出手段及び前記第２の検出手段により得られる検出領域を用いるかの選択を行う選択手段と
を具備することを特徴とする画像処理システム。
【請求項２】
前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を
具備することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第１の検出手段においては、差を求めるフレームの間隔を変えて、前記第２の検出手段においては背景画像を変えて、複数の検出領域を求める一方、
前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出ステップと、
前記第１の検出ステップと前記第２の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第１の検出ステップのみにより得られる検出領域を用いるかまたは前記第１の検出ステップ及び前記第２の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を具備することを特徴とする画像処理方法。
【請求項５】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを
具備することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第１の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第２の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、
前記中央処理装置に対し、
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出ステップと、
前記第１の検出ステップと前記第２の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第１の検出ステップのみにより得られる検出領域を用いるかまたは前記第１の検出ステップ及び前記第２の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を実行させることを特徴とする画像処理プログラム。
【請求項８】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップ
を実行させることを特徴とする請求項７に記載の画像処理プログラム。
【請求項９】
前記第１の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第２の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、道路監視システムや侵入監視システムなどに用いると好適な画像処理システム、画像処理方法、画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視や侵入監視の分野においては、カメラにより監視対象を撮像して得られた画像を画像処理して渋滞や事故の検出、或いは侵入者の検出が行われている。
【０００３】
従来、画像処理を行って物体（本明細書においては、人も含んで用いる）を検出する手法としては、背景差分処理とフレーム間差分処理という手法が知られている。
【０００４】
上記の背景差分処理は、背景画像を正常に作成できる場合には、監視対象物の輪郭を正確に検出することができるという利点がある。しかし、例えば道路が混雑し（渋滞を含む）路面が車両に覆い隠されている場合には、背景画像を正常に作成できず、車両の検出が上手くできないという問題がある。
【０００５】
上記に対してフレーム間差分では、輝度の変化やノイズに強くある程度動きの大きい物体ならば環境の変化に影響を受けずに、適切に物体検出を行える。しかし、停止した物体を検出できないという問題点を有している。
【０００６】
そこで、上記２つの手法を組み合わせて用いる画像処理システムが検討され、このようなシステムとしては、特開２０００−１７５１７４号公報、特開平７−３３４６８３号公報、特開平６−３２５１５７号公報及び特開平６−２６６８４１号などに記載のものがある。
【０００７】
ところで、明るさが時間と共に変化する外界の環境では時間に応じて周囲環境が変化するため、この時間的な明るさの変化に対応した画像処理の手法が求められる。また、照明がまばらで空間的に明るさの分布があるトンネル内のような環境においては、空間的な明るさの分布に対応した画像処理の手法が求められるものである。
【０００８】
【発明が解決しようとする課題】
上記に示した公知のシステムにおいては、このような環境を考慮したものではなく、十分なものとは言えない。本発明は係る現状に鑑みてなされたもので、その目的は、上記２つの画像処理の手法の長所と短所を見極めた上で、様々な状況に応じて画像処理の手法を適切に選択する処理を行い、切り換えを行うことにより状況に合致して適切に監視対象物の存在領域を特定することのできる画像処理システム、画像処理法及び画像処理プログラムを提供することである。
【０００９】
【課題を解決するための手段】
本発明に係る画像処理システムは、カメラにより得られる監視対象画像データを取り込む画像取得手段と、前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出手段と、前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出手段と、前記第１の検出手段と前記第２の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、前記評価手段による評価結果に基づいて前記第１の検出手段のみにより得られる検出領域を用いるかまたは前記第１の検出手段及び前記第２の検出手段により得られる検出領域を用いるかの選択を行う選択手段とを具備することを特徴とする。
【００１０】
本発明に係る画像処理システムでは、更に前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を具備することを特徴とする。
【００１１】
本発明に係る画像処理システムは、前記第１の検出手段においては、差を求めるフレームの間隔を変えて、前記第２の検出手段においては背景画像を変えて、複数の検出領域を求める一方、前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴としている。
【００１２】
本発明に係る画像処理方法は、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出ステップと、前記第１の検出ステップと前記第２の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第１の検出ステップのみにより得られる検出領域を用いるかまたは前記第１の検出ステップ及び前記第２の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを具備することを特徴とする。
【００１３】
本発明に係る画像処理方法では、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを具備することを特徴とする。
【００１４】
本発明に係る画像処理方法では、前記第１の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第２の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【００１５】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第１の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第２の検出ステップと、前記第１の検出ステップと前記第２の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第１の検出ステップのみにより得られる検出領域を用いるかまたは前記第１の検出ステップ及び前記第２の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを実行させることを特徴とする。
【００１６】
本発明に係る画像処理プログラムでは、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを実行させることを特徴とする。
【００１７】
本発明に係る画像処理プログラムでは、前記第１の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第２の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【００１８】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理システム、画像処理方法、画像処理プログラムの実施の形態を説明する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１９】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００２０】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００２１】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００２２】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段１０、第１の検出手段１１、第２の検出手段１２、評価手段１３、選択手段１４及び適正化手段１５を具備している。画像取得手段１０は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、第１の検出手段１１と第２の検出手段１２へ出力するためにコンピュータ処理可能な画像データに変換している。第１の検出手段１１は、画像取得手段１０により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行うものである。第２の検出手段１２は、画像取得手段１０により取り込まれた画像データについて背景差分を行って物体領域検出を行うものである。
【００２３】
また、評価手段１３は、第１の検出手段１１と第２の検出手段１２により得られた結果に基づいて監視対象の混雑状態（道路監視であれば渋滞、侵入監視の場合には多数の人の存在）を評価すると共に、カメラ６−１〜６−ｍから得られた画像データの品質を映像信号に基づき評価するものである。選択手段１４は、評価手段１３による評価結果に基づいて第１の検出手段１１のみにより得られる検出領域を用いるかまたは第１の検出手段１１及び第２の検出手段１２により得られる検出領域を用いるかの選択を行うものである。更に、適正化手段１５は、選択手段１４により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行うものである。
【００２４】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２５】
そして、図１に示した各手段は、ＣＰＵ５１が図４に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。まず、動作が開始され、カメラ６−１〜６−ｍから画像データの取り込みを行う（Ｓ１：画像取得手段１０）。
【００２６】
次に、１フレームずつの画像データを順次に得て、フレーム間差分により物体の存在領域の検出を実行する（Ｓ２）と共に、並行して、背景画像データと順次に得られるフレーム画像データとの差分を得て物体の存在領域の検出を実行する（Ｓ３）。
【００２７】
ステップＳ２においてフレーム差分が行われ、ステップＳ３において背景差分が行われている間に、監視対象の混雑状態の評価と共に、カメラ６−１〜６−ｍから得られた映像信号に基づく画像データの品質評価を行うことにより、２種類の差分について評価を与える（Ｓ４）。つまり、この状況下においては、フレーム間差分のみによる結果を用いるのが良いのか、フレーム間差分と背景差分による結果を用いるのが良いのかを評価する。
【００２８】
上記のステップＳ４における評価に基づいて、フレーム間差分のみによる結果か、フレーム間差分と背景差分による結果かの選択を行い（Ｓ５）、選択した差分による結果に係る物体の検出領域について最適化する処理を行い（Ｓ６）、最適化により得られた物体の検出領域を車両情報として出力する（Ｓ７）。
【００２９】
上記におけるステップＳ２〜Ｓ７までの処理の詳細を示すと図５乃至図９のフローチャートのようになる。以下に、詳細を説明する。フレーム間差分処理（Ｓ２）と背景差分処理（Ｓ３）は、図５のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）を行うと共に、異なる結果が得られるような複数の背景差分処理（Ｓ３−１〜Ｓ３−ｎ）を行っている。具体的には、複数のフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）においては、各処理において差を求めるフレームの間隔が異なるか又は２値化の際の閾値が異なるようにして、異なる結果得る。また、複数の背景差分処理（Ｓ３−１〜Ｓ３−ｎ）においては、各処理において背景画像が異なるか又は２値化の際の閾値が異なるようにして、異なる結果得る。
【００３０】
各フレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）は、処理手順は同じであるので、フレーム間差分処理（Ｓ２−１）を代表として説明する。まず、定められているフレーム間隔の画像データについて差分処理を行う（Ｓ２１）。このステップＳ２１における差分の結果は多値（例えば、２５６階調）であるから、所定の閾値により２値化を行い２値化画像を得る（Ｓ２２）。２値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し（Ｓ２３）次の処理へ渡す。
【００３１】
また、背景差分処理（Ｓ３−１〜Ｓ３−ｎ）は、処理手順は同じであるので、背景差分処理（Ｓ３−１）を代表として説明する。まず、背景画像データの作成を行う（Ｓ３１）。次に、現在到来の１フレームの画像データについて上記で作成した背景画像データとの差分処理を行う（Ｓ３２）。このステップＳ３２における差分の結果は多値（例えば、２５６階調）であるから、所定の閾値により２値化を行い２値化画像を得る（Ｓ３３）。２値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し（Ｓ３４）次の処理へ渡す。
【００３２】
以上説明したようなステップＳ２、Ｓ３における処理に続いて、図４に示されたステップＳ４における評価にあっては、図６に示される詳細処理がなされる。まず、混雑しているかを上記ステップＳ２、Ｓ３において求めた検出領域を用いて判定する（Ｓ１１）。このステップＳ１１における判定は道路監視においては渋滞が発生しているか否かであり、侵入監視においては多数の人が監視エリアに存在しているか否かである。具体的には、画像内に複数の検出領域の存在が認められるときや検出領域が重なっている場合などに、混雑していると判定することができる。
【００３３】
上記ステップＳ１１において混雑していると判定すると、図７に示す処理へと移行するが、混雑していないと判定すると、映像の状態を映像信号を入力してＳ／Ｎ比の検出（所定以上のＳ／Ｎ比）やコントラスト（上下輝度の差が所定以上）により映像状態が明瞭であるか不明瞭であるかを検出する（Ｓ１２）。このステップＳ１２において不明瞭であることが検出されると、車両情報の検出が不能であることを出力して（Ｓ１３）処理を終了する。また、映像の状態が明瞭であることが検出されると、図８に示し処理へと移行する。
【００３４】
図７に示す処理は、フレーム間差分のみによる結果を用いた処理であり、図８に示す処理は、フレーム間差分と背景差分の両方による結果を用いた処理である。上記図６のステップＳ１１において混雑の有無を検出して、混雑している場合には監視領域が物体により覆われ、背景差分によって得られる結果が意味を持たなくなることに鑑み、図７に示すフレーム間差分のみによる結果を用いた処理へ進むようにして、適切な処理を保証している。また、上記図６のステップＳ１２において映像状態を検出して、映像が不明瞭であることにより如何なる処理も意味を持たない場合に処理を行わずに不要な負荷発生を回避している。
【００３５】
次に、図７に示すフレーム間差分のみによる結果を用いた処理を説明する。まず、フレーム間差分によって得られた検出領域の取得を行う（Ｓ４１）。図５のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）が行われているので、複数の検出領域が得られている。そこで、これらの検出領域について比較選択、組み合わせを行って最適な領域を選択する（Ｓ４２）。この一例として、本願発明者が既に提示した特願２００２−１０６６８１号に開示の技術を用いることができる。
【００３６】
現在の１フレームにおいて実際に例えば車両が存在する領域が、図９（ａ）、図１０（ａ）、図１１（ａ）において、太枠にて囲った領域であるとする。フレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）のいずれかの結果が例えば図９（ａ）に示すように、「１」が集合した領域として特定される。そこで、図９（ｂ）に示すような領域が監視対象物の検出領域とされる。また、フレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）の別の結果が例えば図１０（ａ）に示すように、「１」が集合した領域として特定される。そこで、図１０（ｂ）に示すような領域が監視対象物の検出領域とされる。さらに、フレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）の更に別の結果が例えば図１１（ａ）に示すように、「１」が集合した領域として特定される。そこで、図１１（ｂ）に示すような領域が監視対象物の検出領域とされる。
【００３７】
このようにフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）が３通りとされている場合には、ここにおける監視対象物の複数（ここでは３通り）の領域を合成する。ここの合成処理においては、まずは、単純にＯＲ（論理和）演算による合成を行う。図９（ｂ）と図１０（ｂ）と図１１（ｂ）に示される領域が抽出されているときには、上記ＯＲ（論理和）演算により図１２に示されるように例えば車両である監視対象物の領域が特定される。
【００３８】
上記のようにして図７におけるステップＳ４２にて最適な検出領域が得られると、この結果をフレーム間差分の検出領域情報として出力する（Ｓ４３）。この特定領域の情報は、画像処理部計算機２が用いて本例における車両の位置を特定し必要な処理に用いる他、統合処理部計算機３と事象判定部計算機４へ送り、事象判定に用いられることになる。
【００３９】
次に、図８に示すフレーム間差分と背景差分の両方による結果を用いた処理を説明する。まず、背景差分によって得られた検出領域の取得を行う（Ｓ５１）。図５のフローチャートに示すように、異なる結果が得られるような複数の背景差分処理（Ｓ３−１〜Ｓ３−ｎ）が行われているので、複数の検出領域が得られている。次に、フレーム間差分によって得られた検出領域の取得を行う（Ｓ５２）。図５のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）が行われているので、複数の検出領域が得られている。
【００４０】
そこで、これら２方式による複数の検出領域を合成する（Ｓ５３）。この合成の手法も様々考え得るが、例えば、単なる論理積を求める。フレーム間差分によりｎ領域が求まり、背景差分によりｎ領域が求められているのであれば、例えばｎ×ｎの合成結果を得ておくようにする。
【００４１】
次に、図１３に示すステップ５４へ進む。このステップＳ５４においては、図８における処理において作成したフレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかを、例えば、各検出領域と予め保持されている車種毎の領域サンプルとのマッチングが最も得られるものを検出するなどして求める。
【００４２】
上記ステップＳ５４において、フレーム間差分のみにより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数のフレーム間差分処理（Ｓ２−１〜Ｓ２−ｎ）が行われているので、複数の検出領域が得られているので、これらの検出領域に関して図９〜図１２により説明した手法を用いて最適領域を求める（Ｓ５５）。また、ステップＳ５４において背景差分処理のみより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数の背景差分処理（Ｓ３−１〜Ｓ３−ｎ）が行われているので、これらの検出領域に関して図９〜図１２により説明した手法を用いて最適領域を求める（Ｓ５６）。更に、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域が最適であることが検出された場合には、図８のステップＳ５３の説明において述べた通り、複数の検出領域が得られているので、これらに関しても、図９〜図１２により説明した手法を用いて最適領域を求める（Ｓ５７）。
【００４３】
斯してこのステップＳ５４以降における処理によって、フレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかに応じて所定の手法による領域が選択される上に、それぞの手法が選択された場合に更にその中において領域の比較選択、組み合わせ及び最適領域の選択がなされ、最も好適な領域が選択されるようになる。
【００４４】
なお、以上の実施の形態においては、図４における最適化処理（Ｓ６）において図９〜図１２により説明した如き処理を行うようにしたが、係る処理は行わずに、ステップＳ２，Ｓ３及びステップＳ５３により得られる複数の領域から１つを選択するようにしても良い。
【００４５】
【発明の効果】
以上説明したように本発明によれば、フレーム間差分と背景差分により得られた結果に基づいて監視対象の混雑状態を評価すると共に、カメラから得られた画像データの品質を映像信号に基づき評価し、評価結果に基づいてフレーム間差分のみにより得られる検出領域を用いるかまたはフレーム間差分及び背景差分により得られる検出領域を用いるかの選択を行って、検出領域を得るようにしているので、明るさが時間と共に変化する外界の環境や照明がまばらで空間的に明るさの分布があるトンネル内のような環境に応じて、適切に監視対象物の存在領域を特定し、物体の種別や状況を画像認識する場合に高精度な結果を保証することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】図４に示すフローチャートの要部を詳細に示したフローチャート。
【図６】図４に示すフローチャートの要部を詳細に示したフローチャート。
【図７】図４に示すフローチャートの要部を詳細に示したフローチャート。
【図８】図４に示すフローチャートの要部を詳細に示したフローチャート。
【図９】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図１０】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図１１】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図１２】本発明に係る画像処理装置による複数の領域特定処理結果を合成して最終的な監視対象物の領域を得る処理を示す図。
【図１３】図４に示すフローチャートの要部を詳細に示したフローチャート。
【符号の説明】
１　ネットワーク
２　画像処理部計算機
３　統合処理部計算機
４　事象判定部計算機
５−１〜５−ｎ　報知盤
６−１〜６−ｍ　カメラ
１０　画像取得手段
１１　第１の検出手段
１２　第２の検出手段
１３　評価手段
１４　選択手段
１５　適正化手段
【図１】
2004007174.tif 000003
【図２】
2004007174.tif 000004
【図３】
2004007174.tif 000005
【図４】
2004007174.tif 000006
【図５】
2004007174.tif 000007
【図６】
2004007174.tif 000008
【図７】
2004007174.tif 000009
【図８】
2004007174.tif 000010
【図９】
2004007174.tif 000011
【図１０】
2004007174.tif 000012
【図１１】
2004007174.tif 000013
【図１２】
2004007174.tif 000014
【図１３】
2004007174.tif 000015