(57)【特許請求の範囲】
【請求項１】
異なる位置に配置した複数の撮像装置で撮像した観測位置の撮像画像が入力される画像入力部と、
上記画像入力部に入力された撮像画像毎に特徴部分を抽出し、撮像画像間における抽出した特徴部分の対応付けを行って作成した上記観測位置の３次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データを計測する第１の車両認識部と、
上記画像入力部に入力された１つの撮像画像について特徴部分を抽出して作成した上記観測位置の２次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データを計測する第２の車両認識部と、
上記画像入力部に撮像画像を入力している上記撮像装置毎に障害の発生を監視する障害発生監視部と、
上記障害発生監視部により障害が発生していない上記撮像装置が複数存在していることが確認されているときには、これらの障害が発生していない複数の撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第１の車両認識部に計測させ、上記障害発生監視部により障害が発生していない上記撮像装置が１つだけ存在していることが確認されているときには、この障害が発生していない１つの撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第２の車両認識部に計測させる、切り換えを行う切換部と、
上記第１の車両認識部、または上記第２の車両認識部により計測された交通データを上位装置へ出力する出力部と、を備えた車両認識装置。
【請求項２】
上記出力部は、各撮像装置について障害が発生しているかどうかを示す監視情報も上位装置へ出力する、請求項１に記載の車両認識装置。
【請求項３】
上記出力部は、上記第１の車両認識部または上記第２の車両認識部のどちらで上記観測位置における車両を認識し、当該観測位置における交通データを計測しているかを示す情報も出力する請求項２に記載の車両認識装置。
【請求項４】
上記障害発生監視部は、上記画像入力部に入力された撮像画像から該撮像画像を撮像した撮像装置に障害が発生しているかどうかを判定する請求項１〜３のいずれかに記載の車両認識装置。
【請求項５】
異なる位置に配置した複数の撮像装置で撮像した観測位置の撮像画像を画像入力部に入力し、
上記画像入力部に入力された撮像画像毎に特徴部分を抽出し、撮像画像間における抽出した特徴部分の対応付けを行って作成した上記観測位置の３次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データの計測を第１の車両認識部で行い、
上記画像入力部に入力された１つの撮像画像について特徴部分を抽出して作成した上記観測位置の２次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データの計測を第２の車両認識部で行う、車両認識方法であって、
上記画像入力部に撮像画像を入力している上記撮像装置毎に障害の発生を障害発生監視部で監視し、
上記障害発生監視部により障害が発生していない上記撮像装置が複数存在していることが確認されているときには、これらの障害が発生していない複数の撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第１の車両認識部で計測し、上記障害発生監視部により障害が発生していない上記撮像装置が１つだけ存在していることが確認されているときには、この障害が発生していない１つの撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第２の車両認識部で計測する、切り換えを切換部で行い、
上記第１の車両認識部、または上記第２の車両認識部により計測された交通データを出力部から上位装置へ出力する、車両認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、カメラ等の撮像装置で撮像した観測位置の撮像画像を処理して、該観測位置に存在する車両を認識し、当該観測位置の交通データを計測する車両認識装置および車両認識方法に関する。
【０００２】
【従来の技術】
従来、道路の上方に設置したカメラで道路上の特定の位置（以下、観測位置と言う。）を撮像した撮像画像を処理して、上記観測位置における物体、特に車両を認識することができる画像処理装置があった。
【０００３】
例えば、予め車両が存在していないときに撮像した観測位置の撮像画像を背景画像として記憶しておき、この背景画像と上記カメラで撮像した撮像画像との差分を観測位置における車両に関わる画像として抽出し、その抽出結果を順次追跡することで、観測位置における車両を認識するものがあった。また、上記背景画像を記憶するのではなく、最新の画像から１段階前に取り込んだ画像を差し引くことで観測位置における車両の位置の変化を抽出し、この抽出結果から観測位置における車両を認識するものもあった。
【０００４】
上記装置を利用することで、観測位置における車両の台数や速度等の交通データや渋滞や事故等の発生をすばやく検知することができ、この観測位置につながる道路に設けた案内板等に渋滞情報や事故情報等を表示して、観測位置に向かっている人に渋滞や事故の発生を知らせて迂回させることができる。
【０００５】
ところが、観測位置の状態が同じであっても、昼、夜、晴天時、雨天時など、観測位置の環境の変化により、カメラで撮像された撮像画像が変化するため、装置本体に背景画像を環境毎に記憶させておかなければならない。一方、背景画像が必要な環境を全て想定して装置本体に記憶させておくことや、観測位置の環境の変化に応じて利用する背景画像を変更することには限界があった。また、上記装置では観測位置において走行している車両の影や、風で揺れる木の影など、路面上を動く影、夜間のライトの反射光や、濡れた路面に写った車両等、路面上の変化が車両や物体として認識されてしまうという問題もあった。
【０００６】
そこで上記問題を解決し、物体の認識精度を向上させる技術として、観測位置の情報を３次元情報として処理する装置が提案された（特開平９−３３２３２号）。この装置は、複数（２台）のカメラで観測位置を撮像し、各カメラの撮像画像から特徴部分を抽出し、撮像画像間における特徴部分を対応付けることで、この特徴部分の３次元座標を得るものであり、高精度で車両等の物体が検出できる。なお、この装置は特徴部分の３次元座標を三角測距の原理を利用して得ており、一般にステレオ方式と呼ばれている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記ステレオ方式では、一方のカメラにおいて以下に示す（１）〜（４）の障害が発生すると装置本体がダウンするため、装置本体の稼働率が低いという問題があった。
（１）振動や経年変化等によるカメラの光軸ずれ
（２）２つのカメラ間の位置の相関関係（ステレオバランス）の変化
（３）カメラに接続されている映像信号線の断線や接触不良
（４）カメラの撮像レンズやカメラを内蔵した筐体の窓ガラスの汚れやくもり
なお、上記（１）の障害を検出する技術として、任意のタイミングで得られた撮像画像と予め光軸がずれていない状態下で得ている撮像画像とを比較する方法や、任意のタイミングで得られた撮像画像に対する認識結果と光軸がずれていない状態下で得ている撮像画像に対する認識結果とを比較する方法等が提案されている（特開平１１−２６１９９３号）。
【０００８】
上記（２）の障害を検出する技術として、各カメラが正常に機能して観測位置にかかる適正な画像データを生成している場合、各画像データには大きな差異は生じない。一方、何らかの要因により観測位置の適正な画像が生成できなくなった場合、このカメラからの画像データと、他の正常に機能するカメラからの画像データとを比較すると、両画像間に大きな差異が生じるので、各カメラからの撮像画像を相互に比較し、各カメラから適正な撮像画像が出力されているかどうかを判定することで、上記ステレオバランスの変化を検出する方法が提案されている（特開平１１−１７７９６４号）。また、上記２つの公報（特開平１１−２６１９９３号、特開平１１−１７７９６４号）に記載されている技術で上記（３）および（４）の障害が発生しているかどうかの検出も行える。
【０００９】
この発明の目的は、装置本体に撮像画像を入力しているいずれかの撮像装置において障害が発生したとき、装置本体の稼動を停止するのではなく、障害が発生していない撮像装置から入力された撮像画像を用いて動作させることで、装置本体の稼働率を向上させた車両認識装置および車両認識方法を提供することにある。
【００１０】
【課題を解決するための手段】
この発明の車両認識装置は、上記課題を解決するために以下の構成を備えている。
【００１１】
（１）異なる位置に配置した複数の撮像装置で撮像した観測位置の撮像画像が入力される画像入力部と、
上記画像入力部に入力された撮像画像毎に特徴部分を抽出し、撮像画像間における抽出した特徴部分の対応付けを行って作成した上記観測位置の３次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データを計測する第１の車両認識部と、
上記画像入力部に入力された１つの撮像画像について特徴部分を抽出して作成した上記観測位置の２次元情報に基づいて上記観測位置における車両を認識し、当該観測位置の交通データを計測する第２の車両認識部と、
上記画像入力部に撮像画像を入力している上記撮像装置毎に障害の発生を監視する障害発生監視部と、
上記障害発生監視部により障害が発生していない上記撮像装置が複数存在していることが確認されているときには、これらの障害が発生していない複数の撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第１の車両認識部に計測させ、上記障害発生監視部により障害が発生していない上記撮像装置が１つだけ存在していることが確認されているときには、この障害が発生していない１つの撮像装置から入力された撮像画像を用いて観測位置の交通データを上記第２の車両認識部に計測させる、切り換えを行う切換部と、
上記第１の車両認識部、または上記第２の車両認識部により計測された交通データを上位装置へ出力する出力部と、を備えている。
【００１２】
この構成では、異なる位置に配置された複数の撮像装置による観測位置の撮像画像が画像入力部に入力されている。第１の物体認識部は、異なる位置に配置された複数の撮像装置から画像入力部に入力された観測位置の撮像画像毎に特徴部分を抽出し、撮像画像間において抽出した特徴部分を対応付けた観測位置の３次元情報を作成し、この３次元情報を基に観測位置における車両を認識し、当該観測位置の交通データを計測する。また、第２の物体認識部は画像入力部に入力されている観測位置の１つの撮像画像について特徴部分を抽出し、ここで抽出した特徴部分を用いて作成した観測位置の２次元情報を基に観測位置における車両を認識し、当該観測位置の交通データを計測する。交通データとは、観測位置における車両の台数、速度、車種、車間距離、路車間距離等である。
【００１３】
障害発生監視部では、上記画像入力部に撮像画像を入力している撮像装置毎に障害の発生有無を監視している。切換部により、障害が発生していない撮像装置が複数あるときには観測位置の交通データを上記第１の物体認識部に計測させ、障害が発生していない撮像装置が１台であれば観測位置の交通データを上記第２の物体認識部に計測させる切り換えが行われる。出力部が、上記第１の車両認識部、または上記第２の車両認識部により計測された交通データを上位装置へ出力する。
【００１４】
このように、障害が発生していない撮像装置が１台であるときにも、装置本体を停止させるのではなく、第２の物体認識部が障害が発生していない撮像装置から入力された撮像画像を処理して作成した２次元情報を基に観測位置における交通データの計測を行うようにしたので、装置本体の稼働率が向上できる。
【００１５】
（２）上記出力部は、各撮像装置について障害が発生しているかどうかを示す監視情報も上位装置へ出力する。
【００１６】
この構成では、出力部により各撮像装置について障害が発生しているかどうかを示す監視情報が出力されているので、この監視情報を上位装置に入力することで、該上位装置に障害が発生している撮像装置を認識させることができる。
【００１７】
（３）上記出力部は、上記第１の車両認識部または上記第２の車両認識部のどちらで上記観測位置における車両を認識し、当該観測位置における交通データを計測しているかを示す情報も出力する。
【００１８】
この構成では上位装置に、観測位置における交通データの計測が上記第１の物体認識部または上記第２の物体認識部のどちらで行われているかを認識させることができる。
【００１９】
（４）上記障害発生監視部は、上記画像入力部に入力された撮像画像から該撮像画像を撮像した撮像装置に障害が発生しているかどうかを判定する。
【００２０】
この構成では、撮像装置毎に該撮像装置で撮像した撮像画像を用いて障害の発生有無が判定される。
【００２１】
なお、請求項５に記載した車両認識方法は請求項１に記載した車両認識装置に対応する方法の発明である。
【００２２】
【発明の実施の形態】
図１は、この発明の実施形態である画像処理装置（車両認識装置）を適用した交通管制システムの構成を示す図である。この実施形態の交通管制システムは、図１に示すように複数の交差点に画像処理装置１が設置されている。各画像処理装置１には、異なる位置に配置された２台のカメラ２（２Ａ、２Ｂ）によって撮像された観測位置（交差点等）の撮像画像が入力されている。各画像処理装置１は、２台のカメラ２から入力された観測位置の撮像画像を処理し、該観測位置における車両の台数、速度、車種、車間距離、路車間距離等の交通データ等を交通管制センタに設けられた上位装置３に伝送している。上位装置３は、複数の画像処理装置１から伝送されてきた交通データを用いて、複数の交差点にわたる渋滞のレベル等を総合的に判断し、この判断結果を交通情報として路側等に設置されている情報板４や信号機（不図示）の動作を制御する交通信号機制御装置５に送信する。情報板４は上位装置３から伝送されてきた交通情報に基づく表示を行い、交通信号機制御装置５は上位装置３から伝送されてきた交通情報や本画像処理装置の交通データに基づいて信号機の点灯を制御する。
【００２３】
この交通管制システムでは、渋滞や事故の発生等を含む交通情報が情報板４に表示されるので、事前にドライバに交通情報（渋滞や事故の発生等）を認識させて迂回させることができる。また、信号機の点灯制御も交通情報に基づいて行われているので交差点等における交通制御が適正に行われ、渋滞の発生防止と渋滞が解消されるまでに要する時間も短縮できる。
【００２４】
図２は、この発明の一実施形態である画像処理装置の構成を示すブロック図である。この実施形態の画像処理装置１には、上述したように異なる位置に配置した２台のカメラ２Ａ、２Ｂが接続されている。この２台のカメラ２Ａ、２Ｂによって観測位置が撮像されている。画像処理装置１は、各カメラ２Ａ、２Ｂから入力された観測位置の撮像画像をＡ／Ｄ変換するＡ／Ｄ変換部１１Ａ、１１Ｂと、Ａ／Ｄ変換部１１Ａ、１１ＢでＡ／Ｄ変換された画像データを記憶する画像メモリ１２Ａ、１２Ｂと、同期信号に映像の情報をのせた複合映像信号から同期信号を分離する同期分離部１３Ａ、１３Ｂと、２台のカメラ２Ａ、２Ｂで撮像された撮像画像を画像処理して、該観測位置における車両の台数、速度、車種、車間距離、路車間距離等を交通データとして計測する処理や上記２台のカメラ２Ａ、２Ｂにおいて障害が生じていないかどうかを検出する処理等を実行する画像処理部１４と、画像処理部１４における処理結果および監視情報を上位装置３に伝送する出力部１５と、画像処理部１４で実行する処理プログラムを記憶する実行プログラム格納部１６と、２台のカメラ２Ａ、２Ｂにおいて障害が生じていないときに画像処理部１４が実行するステレオ方式の処理プログラムを記憶したステレオ用プログラム格納部１７と、２台のカメラ２Ａ、２Ｂのいずれか一方に障害が生じているときに（他方のカメラ２Ａまたは２Ｂのいずれか一方が正常であるときに）画像処理部１４が実行する単眼方式の処理プログラムを記憶した単眼用プログラム格納部１８と、を備えている。ステレオ方式とは、周知のように２台のカメラ２Ａ、２Ｂが撮像した観測位置の撮像画像毎に特徴部分を抽出し、撮像画像間において特徴部分を対応付けて観測位置の３次元座標を得る方式であり、観測位置における車両等の物体を高精度で検出できる。なお、この方式では特徴部分の３次元座標を三角測距の原理を利用して得ている。
【００２５】
ここで、上記複合映像信号について説明する。複合映像信号とは同期信号に映像の情報をのせた信号であり、一般的なテレビでも利用されている信号である。同期信号には、水平同期信号および垂直同期信号がある。画面の右端まで水平方向の走査が完了したときに走査位置を左端に戻すときに同期をとる信号が水平同期信号であり、画面の下端まで垂直方向の走査が完了したときに走査位置を上端に戻すときに同期をとる信号が垂直同期信号である。なお、垂直方向の走査を奇数列と偶数列に分けて交互に走査することで、１画面を２回の走査に分けて表示するインタレース方式という走査方式もある。同期分離部１３Ａ、１３Ｂは、上記複合映像信号から同期信号（垂直同期信号および水平同期信号）を分離する機能を有する。
【００２６】
複合映像信号から同期信号を分離する機能を備えたＩＣとして、Ｎａｔｉｏｎａｌ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ社のＬＭ１８８１などがある。このＬＭ１８８１は、入力された複合映像信号を処理して、▲１▼複合同期信号、▲２▼垂直同期信号、▲３▼フィールドインデクス信号、▲４▼バーストゲート／バックポーチクランプを出力する。フィールドインデクス信号（ＦＩ信号）とは、インタレース走査において奇数フィールドと偶数フィールドとを分離する信号であり、奇数フィールドのときにオン、偶数フィールドのときにオフとなる信号である。また、バーストゲート／バックポーチクランプとは、同期信号のバックポーチの部分（水平同期信号の後の部分）でパルスが出力される。バックポーチには、カラー信号の基準となるカラーバースト信号が付加されており、このカラーバースト信号の電圧値（一般にペデスタルレベルと呼ばれている。）が輝度の基準となる。
【００２７】
次に、画像処理部１４が観測位置の撮像画像を入力している２台のカメラ２Ａ、２Ｂについて以下に示す▲１▼〜▲３▼の障害が発生していないかどうかを検出する手法について説明する。
【００２８】
まず、最初に、
▲１▼振動や経年変化等によるカメラ２Ａ、２Ｂの光軸のずれ
画像処理部１４には、カメラ２Ａ、２Ｂ毎に該カメラ２Ａ、２Ｂの設置時に撮像した撮像画像を処理して、この撮像画像内に位置する動かない目標物、例えば道路標識、看板、白線、ガードレール、について抽出した１種類以上の特徴量（例えば、形状、撮像画像における位置）が記憶されている。画像処理部１４は、動作時にカメラ２Ａ、２Ｂから入力された画像から上記目標物の特徴量を抽出し、ここで抽出した特徴量と設置時に抽出して記憶している特徴量とがずれているときに、光軸のずれが生じていると判定する。
【００２９】
また、画像処理部１４は、カメラ２Ａ、２Ｂの設置時にこの２台のカメラで撮像した撮像画像を処理して、この撮像画像内に位置する動かない目標物、例えば道路標識、看板、白線、ガードレール、までの距離や座標を抽出し、この距離や座標を特徴量として記憶している。画像処理部１４は、動作時にカメラ２Ａ、２Ｂから入力された画像から上記目標物までの距離や座標を抽出し、ここで抽出した距離や座標と設置時に抽出して記憶している目標物までの距離や座標とがずれているときに、２台のカメラ２Ａ、２Ｂの相対的な位置関係（ステレオバランス）がずれていると判定する。
【００３０】
▲２▼カメラに接続されている映像信号線の断線や接触不良
画像処理部１４は、同期分離部１３Ａ、１３Ｂから入力されるフィールドインデクス信号（ＦＩ信号）を監視しており、このフィールドインデクス信号の状態からカメラ２Ａ、２Ｂに接続されている映像信号線の断線や接触不良が生じているかどうかを判定する。具体的な判定方法について以下に示す。カメラに接続されている映像信号線の断線や接触不良が生じていないときには、画像処理部１４には図３（Ａ）に示すように周期的にオン／オフを繰り返すフィールドインデクス信号が入力される。一方、カメラに接続されている映像信号線の断線や接触不良が生じていると、画像処理部１４には図３（Ｂ）に示すように信号が入力されなかったり、図３（Ｃ）に示すようにオン／オフの周期が乱れたフィールドインデクス信号が入力される。画像処理部１４は、周期的にオン／オフを繰り返すフィールドインデクス信号が乱れたときに、カメラ２Ａ、２Ｂに接続されている映像信号線の断線や接触不良が生じていると判定する。
【００３１】
▲３▼カメラの撮像レンズやカメラを内蔵した筐体の窓ガラスの汚れやくもり
画像処理部１４は、２台のカメラ２Ａ、２Ｂで同タイミングに撮像された画像間の差分を算出し、ここで算出した差分が所定値よりも大きいときにカメラの撮像レンズについて汚れやくもりが生じていると判定する。なお、上記差分から撮像レンズについて汚れやくもり等が生じているかどうかを判定する技術は、特開平１１−１７７９６４号等で示されている公知の技術であり、ここでは詳細な説明を省略する。
【００３２】
次に、この発明の実施形態である画像処理装置１の動作について説明する。図４は、この実施形態の画像処理装置の動作を示すフローチャートである。画像処理装置１は、動作を開始すると、最初にステレオ用プログラム格納部１７に記憶されているステレオ方式用プログラムを実行プログラム格納部１６にロードする（ｓ１）。その後、画像処理装置１は接続されている２台のカメラ２Ａ、２Ｂから入力される撮像画像の処理を行って、
（１）振動や経年変化等によるカメラの光軸ずれ
（２）２つのカメラ間の位置の相関関係（ステレオバランス）の変化
（３）カメラに接続されている映像信号線の断線や接触不良
（４）カメラの撮像レンズやカメラを内蔵した筐体の窓ガラスの汚れやくもり
等の障害が発生しているかどうかを判定する（ｓ２）。
【００３３】
画像処理装置１は、ｓ２で接続されている２台のカメラ２Ａ、２Ｂにおいて障害が発生していなければ、これらのカメラ２Ａ、２Ｂから入力された２つの撮像画像からそれぞれ特徴部分を抽出し、撮像画像間において抽出した特徴部分を対応付ける等して、観測位置の３次元情報を作成し、ここで作成した３次元情報を用いて観測位置における車両の台数、速度等を検出するステレオ処理を実行する（ｓ３）。さらに、ｓ３で実行したステレオ処理の処理結果を出力部１５から上位装置３に伝送する（ｓ４）。
【００３４】
上位装置３には、複数の箇所に設置された画像処理装置１から処理結果が入力されている。上位装置は、これら複数の処理結果を用いて、総合的に判断した複数の交差点にわたる渋滞のレベル等を示す交通情報を、路側等に設置されている情報板４や信号機の動作を制御する交通信号機制御装置５に送信する。情報板４は上位装置３から送信されてきた交通情報を表示し、交通信号機制御装置５は上位装置３から伝送されてきた交通情報に基づいて信号機の点灯を制御する。
【００３５】
画像処理装置１は、上記ｓ４の処理を完了すると、上記ｓ２に戻って上述したｓ２〜ｓ４の処理を繰り返す。
【００３６】
ｓ２で、画像処理装置１が撮像画像を入力している少なくともいずれか一方のカメラ２Ａ、２Ｂにおいて障害が発生していると判定すると、発生している障害の内容を上位装置３に通知する（ｓ５）。このとき、画像処理装置１の出力部１５は障害が発生していると判定したカメラ２Ａまたは２Ｂを識別する情報も上位装置に通知する。また、単眼用プログラムで運用の旨も通知する。
【００３７】
次に、画像処理装置１は単眼用プログラム格納部１８に記憶されている単眼方式用プログラムを実行プログラム格納部１６にロードする（ｓ６）。ｓ６の処理は、ｓ１で実行プログラム格納部１６にロードしたステレオ方式用プログラムに単眼方式用プログラムを上書きする処理である。画像処理装置１はｓ６の処理を完了すると、障害が発生していないと判定している一方のカメラ２Ａまたは２Ｂにおいても障害が発生しているかどうかを判定する（ｓ７）。ｓ７で、一方のカメラ２Ａまたは２Ｂでは障害が発生していないと判定すると、この障害が発生していないカメラ２Ａまたは２Ｂから入力された撮像画像から特徴部分を抽出し、ここで抽出した特徴部分を用いて観測位置の２次元情報を作成し、ここで作成した２次元情報を用いて観測位置における車両の台数、速度等の認識処理を単眼処理で実行するとともに、該単眼処理の処理結果を出力部１５から上位装置３に伝送する（ｓ８、ｓ９）。
【００３８】
画像処理装置１は、上記ｓ９の処理を完了すると、上記ｓ７に戻って上述したｓ７〜ｓ９の処理を繰り返す。
【００３９】
ｓ７で、障害が発生していないと判定していた一方のカメラ２Ａまたは２Ｂにおいても障害が発生していると判定すると、すなわち２台のカメラ２Ａ、２Ｂにおいて障害が発生していると判定すると、発生している障害の内容を上位装置３に通知して（ｓ１０）、本体の動作を停止する。
【００４０】
このように、この実施形態の画像処理装置１では、通常時には異なる位置に配置した２台のカメラ２Ａ、２Ｂが撮像した観測位置の撮像画像を用いて、観測位置の３次元情報を作成し、ここで作成した３次元情報を用いて観測位置における車両の台数、速度等の認識処理をステレオ処理で実行するようにしているので、観測位置の車両を精度良く認識できる。
【００４１】
また、異なる位置に配置した２台のカメラ２Ａ、２Ｂの一方に障害が生じたときには、障害が生じていない他方のカメラ２Ａまたは２Ｂで撮像した観測位置の撮像画像を用いて、観測位置の２次元情報を作成し、ここで作成した２次元情報を用いて観測位置における車両の台数、速度等の認識処理を単眼処理で実行するようにしているので、装置本体の稼働率の低下を抑えることができる。
【００４２】
また、異なる位置に配置したカメラ２Ａ、２Ｂにおいて障害が生じたときには、障害の内容や稼動状況（２カメラ運用、１カメラ運用等）等を上位装置３に通知するようにしたので、上位装置３でシステム全体の管理が行える。
【００４３】
次に、この発明の別の実施形態にかかる画像処理装置１について説明する。図５は、この発明の実施形態である画像処理装置の構成を示すブロック図である。この図では、図２で示した構成と同一の構成については同一の符号を付している。また、図２で示した構成と同一の構成については説明を省略する。この実施形態の画像処理装置１は、上記実施形態の画像処理装置１における画像処理部１４にかえて、ステレオ方式画像処理部２１、単眼方式画像処理部２２および障害監視部２３を設けたものである。ステレオ方式画像処理部２１は上記実施形態で説明したステレオ処理（図４に示すｓ３の処理）を実行する構成であり、単眼方式画像処理部２２は上記実施形態で説明した単眼処理（図４に示すｓ８の処理）を実行する構成である。障害監視部２３は、上記実施形態の装置と同様の方法で、カメラ２Ａ、２Ｂについて障害が生じているかどうかを判定する。さらに、この実施形態の画像処理装置１には撮像画像を画像メモリ１２Ａ、１２Ｂからステレオ方式画像処理部２１または単眼方式画像処理部２２のどちらに入力するかを切り換える切換部２４が設けられている。この切換部２４は障害監視部２３によって制御される。具体的には、障害監視部２３は２台のカメラ２Ａ、２Ｂについて両方とも障害が生じていないと判定すると画像メモリ１２Ａ、１２Ｂからステレオ方式画像処理部２１に画像データが入力される接続とし、一方のカメラ２Ａ、２Ｂにおいて障害が生じていると判定すると画像メモリ１２Ａ、１２Ｂから単眼方式画像処理部２２に画像データが入力される接続とする。
【００４４】
なお、ステレオ方式画像処理部２１は接続されているステレオ用プログラム格納部１７に格納されているステレオ方式の処理プログラムを用いて上記実施形態で説明したステレオ処理を実行し、単眼方式画像処理部２２は接続されている単眼用プログラム格納部１８に格納されている単眼方式の処理プログラムを用いて上記実施形態で説明した単眼処理を実行する。また、障害監視部２３は、２台のカメラ２Ａ、２Ｂについて両方とも障害が生じていないか、いずれか一方で障害が生じているのか、両方で障害が生じているのかをステレオ方式画像処理部２１および単眼方式画像処理部２２に入力しており、ステレオ方式画像処理部２１および単眼方式画像処理部２２は入力された障害の内容から動作の実行、停止を制御している。
【００４５】
この実施形態の画像処理装置１の動作を図６に示す。この実施形態の画像処理装置１は、図４に示したｓ１に換えてｓ１１を実行し、ｓ６に換えてｓ１６を実行する点で上記実施形態の装置と相違している。ｓ１１の処理は切換部２４に画像メモリ１２Ａ、１２Ｂをステレオ方式画像処理部２１に接続させる処理であり、ｓ１６の処理は切換部２４に対して画像メモリ１２Ａ、１２Ｂを単眼方式画像処理部２２に接続させる処理である。
【００４６】
この実施形態の画像処理装置１も上記実施形態の装置と同様の効果を奏する。
【００４７】
さらに、図２でのステレオ用プログラム格納部１７および単眼用プログラム格納部１８を、図７に示すようにステレオ用および単眼用の１つのプログラムとして格納した実行プログラム格納部３１に置き換えてもよい。
【００４８】
【発明の効果】
以上のように、この発明によれば、通常時には装置本体に接続されている複数の撮像装置から入力された撮像画像毎に特徴部分を抽出し、各撮像画像から抽出した特徴部分を撮像画像間で対応付けて、観測位置の３次元座標を得るステレオ方式により該観測位置における交通データの計測が行われる。また、障害が発生していない撮像装置が１台であるときには、装置本体の稼動を停止させるのではなく、障害が発生していない撮像装置から入力された撮像画像を処理して作成した２次元情報を基に観測位置における交通データの計測が行われる。したがって、全ての撮像装置において障害が発生しているとき以外、装置本体が停止しないので、装置本体の稼働率を向上させることができる。
【００４９】
また、監視情報により上位装置において、単眼方式に切り替わった時点で保守対策を計画することも可能となる。
【図面の簡単な説明】
【図１】この発明の実施形態である画像処理装置を適用した交通管制システムを示す図である。
【図２】この発明の実施形態である画像処理装置の構成を示すブロック図である。
【図３】ＦＩフィールドインデクス信号を示す図である。
【図４】この発明の実施形態である画像処理装置の動作を示すフローチャートである。
【図５】この発明の実施形態である画像処理装置の構成を示すブロック図である。
【図６】この発明の実施形態である画像処理装置の動作を示すフローチャートである。
【図７】この発明の実施形態である画像処理装置の構成を示すブロック図である。
【符号の説明】
１−画像処理装置
２（２Ａ、２Ｂ）−カメラ
３−上位装置
１４−画像処理部
１５−出力部
１６−実行プログラム格納部
１７−ステレオ用プログラム格納部
１８−単眼用プログラム格納部
２１−ステレオ方式画像処理部
２２−単眼方式画像処理部
２３−障害監視部
２４−切換部
３１−実行プログラム格納部
【図１】
0003985436.tif 000002
【図２】
0003985436.tif 000003
【図３】
0003985436.tif 000004
【図４】
0003985436.tif 000005
【図５】
0003985436.tif 000006
【図６】
0003985436.tif 000007
【図７】
0003985436.tif 000008