(57)【特許請求の範囲】
【請求項１】
可視カメラおよび赤外カメラと、
環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御部と、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、
前記ゲインを乗じられた可視画像および赤外画像を加算する画像合成部と、
前記画像合成部で生成された合成画像を用いて走行車両の検出およびその走行状況を把握する画像処理部と、を備え、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握システム。
【請求項２】
可視カメラおよび赤外カメラと、
重み付け値であるゲインを生成するゲイン制御部と、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、
前記ゲインを乗じられた赤外画像に対して可視画像を加算する画像合成部と、
前記画像合成部で生成された合成画像を用いて赤外画像処理により走行車両の検出およびその走行状況を把握する画像処理部と、を備え、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握システム。
【請求項３】
可視カメラおよび赤外カメラと、
重み付け値であるゲインを生成するゲイン制御部と、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、
前記ゲインを乗じられた可視画像に対して赤外画像を加算する画像合成部と、
前記画像合成部で生成された合成画像を用いて可視画像処理により走行車両の検出およびその走行状況を把握する画像処理部と、を備え、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握システム。
【請求項４】
前記可視カメラおよび前記赤外カメラによる画像に所定のフィルタリングを行い、移動領域を抽出した画像（移動領域抽出画像）を生成する可視画像前処理手段および赤外画像前処理手段を備え、前記ゲイン乗算部は、前記移動領域抽出画像に前記ゲイン制御部で生成されたゲインを乗じることを特徴とする請求項１から３のいずれか１項に記載の道路状況把握システム。
【請求項５】
可視カメラおよび赤外カメラにより画像を撮像するステップと、
環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、
前記ゲインを乗じられた可視画像および赤外画像を加算する画像合成ステップと、
前記画像合成ステップで生成された合成画像を用いて走行車両の検出およびその走行状況を把握する画像処理ステップと、を有し、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握方法。
【請求項６】
可視カメラおよび赤外カメラにより画像を撮像するステップと、
環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、
前記ゲインを乗じられた赤外画像に対して可視画像を加算する画像合成ステップと、
前記画像合成ステップで生成された合成画像を用いて赤外画像処理により走行車両の検出およびその走行状況を把握する画像処理ステップと、を含み、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握方法。
【請求項７】
可視カメラおよび赤外カメラにより画像を撮像するステップと、
環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、
前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、
前記ゲインを乗じられた可視画像に対して赤外画像を加算する画像合成ステップと、
前記画像合成ステップで生成された合成画像を用いて可視画像処理により走行車両の検出およびその走行状況を把握する画像処理ステップと、を含み、
前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする道路状況把握方法。
【請求項８】
前記可視カメラおよび前記赤外カメラによる画像に所定のフィルタリングを行い、移動領域を抽出した画像（移動領域抽出画像）を生成する可視画像前処理ステップおよび赤外画像前処理ステップを有し、前記ゲイン乗算ステップでは、前記移動領域抽出画像に前記ゲイン制御ステップで生成されたゲインを乗じることを特徴とする請求項５から７のいずれか１項に記載の道路状況把握方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は動画像を用いた、移動物体の検知・状況把握方法に関し、特に道路上を撮像した動画像から車両をリアルタイムで２４時間安定して検出し、高い信頼性で車両の走行状況を自動で把握する技術に関する。
【背景技術】
【０００２】
可視画像を用いた道路状況（車両存在とその走行状況）把握装置の開発が進められてきた。交通流をとらえるだけであれば、必ずしも個々の車両を検知、追跡する必要はないが、道路と車両が個別に通信を行い、より高度なサービスを行うＩＴＳに発展させていくためには、個々の車両の走行状況を把握する必要がある。
【０００３】
そのためには、道路上から動画像を用いて、車両の存在とその位置・速度を精度良く計測できる技術（以下車両検出技術）が非常に重要である。
【０００４】
可視画像を用いた場合、トンネル内など照明が安定している場所では、運用要求に答えられる性能が得られているが、屋外（明かり部）では、「夜間の低照度」、「太陽による影とその揺れ」、「西日」、「対向車のライト」「雨天時の路面鏡面化」などの影響で、期待する車両検出性能を得ることが困難である。
【０００５】
一方、近年赤外画像を用いた道理状況把握装置の開発も進められ、屋外では可視画像に比べて非常に高い信頼性(車両検出率、位置。速度計測精度)で車両検出が可能であることが実道における走行実験で実証されてきている。
【０００６】
しかし、赤外画像も雨天時の車両やスクータなど車体の温度差が小さい車両に対する検出性能に課題があることも分かってきた。従って、様々な環境条件下において２４時間安定して道路状況を把握できる道路状況把握方式の開発が期待されている。
【０００７】
関連技術として、可視カメラと赤外カメラで得られるそれぞれの入力画像と、予め撮影し、背景画像記憶部に格納された背景画像を、背景差分処理部で差分処理して背景差分画像を作成し、３値化処理部で３値化処理した２つの背景差分画像を合成することにより物体検出部で物体を検出するものが開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−３５７３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の関連技術等の動画像を用いた道路状況把握装置には幾つかの課題があった。
【０００９】
第１の問題点は、可視画像を用いて車両を検出する場合、車両検出精度が日照条件に大きく影響されることである。
【００１０】
その理由は、可視画像は夜間の照度低下、日中には影とその揺らぎ、薄暮には西日による外乱光が画質を低下させることや、太陽が雲に隠れる際等に発生する照度の急変に画像処理が追従できないことによる。
【００１１】
第２の問題点は、可視画像を用いて車両を検出する場合、車両検出精度が雨天時に低下することである。
【００１２】
その理由は、雨で路面が濡れ、鏡面化することにより自車、他車のヘッドライト、あるいは街燈などの光が路面に反射し、外乱光として可視画像を乱すことによる。
【００１３】
第３の問題点は、赤外画像を用いて車両を検出する場合、車両検出精度が雨天時に低下することである。
【００１４】
その理由は、水に覆われることで、車両と道路の温度差が低下し、車両と道路路のコントラスト差が小さくなることによる。
【００１５】
本発明は、以上のような課題を解決するためになされたもので、走行車両の走行状況をリアルタイムかつ高い信頼性で２４時間、計測するための道路状況把握システムおよび道路状況把握方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第一の道路状況把握システムは、可視カメラおよび赤外カメラと、環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御部と、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、前記ゲインを乗じられた可視画像および赤外画像を加算する画像合成部と、前記画像合成部で生成された合成画像を用いて走行車両の検出およびその走行状況を把握する画像処理部と、を備え、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【００１７】
また、本発明の第二の道路状況把握システムは、可視カメラおよび赤外カメラと、重み付け値であるゲインを生成するゲイン制御部と、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、前記ゲインを乗じられた赤外画像に対して可視画像を加算する画像合成部と、前記画像合成部で生成された合成画像を用いて赤外画像処理により走行車両の検出およびその走行状況を把握する画像処理部と、を備え、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【００１８】
また、本発明の第三の道路状況把握システムは、可視カメラおよび赤外カメラと、重み付け値であるゲインを生成するゲイン制御部と、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御部で生成されたゲインを乗じるゲイン乗算部と、前記ゲインを乗じられた可視画像に対して赤外画像を加算する画像合成部と、前記画像合成部で生成された合成画像を用いて可視画像処理により走行車両の検出およびその走行状況を把握する画像処理部と、を備え、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【００１９】
また、本発明の第一の道路状況把握方法は、可視カメラおよび赤外カメラにより画像を撮像するステップと、環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、前記ゲインを乗じられた可視画像および赤外画像を加算する画像合成ステップと、前記画像合成ステップで生成された合成画像を用いて走行車両の検出およびその走行状況を把握する画像処理ステップと、を有し、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【００２０】
また、本発明の第二の道路状況把握方法は、可視カメラおよび赤外カメラにより画像を撮像するステップと、環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、前記ゲインを乗じられた赤外画像に対して可視画像を加算する画像合成ステップと、前記画像合成ステップで生成された合成画像を用いて赤外画像処理により走行車両の検出およびその走行状況を把握する画像処理ステップと、を含み、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【００２１】
また、本発明の第三の道路状況把握方法は、可視カメラおよび赤外カメラにより画像を撮像するステップと、環境条件に適応させた割合の重み付け値であるゲインを生成するゲイン制御ステップと、前記可視カメラおよび前記赤外カメラによる画像に前記ゲイン制御ステップで生成されたゲインを乗じるゲイン乗算ステップと、前記ゲインを乗じられた可視画像に対して赤外画像を加算する画像合成ステップと、前記画像合成ステップで生成された合成画像を用いて可視画像処理により走行車両の検出およびその走行状況を把握する画像処理ステップと、を含み、前記環境条件に適応させた割合の重み付け値である前記ゲインは、日照条件が問題となる日中の晴天時、曇天時および夜間は赤外画像のミックス率を高い値にすることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、走行車両の走行状況をリアルタイムかつ高い信頼性で２４時間、計測することが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の第一の実施の形態について図面を参照して詳細に説明する。図１に示す本実施の形態における道路状況把握システムは、まず、可視カメラ１１１で取得された可視画像に対して車両を強調し、ノイズを低減するフィルタリングを行い、そのフィルタリングされた画像に対してフレーム間差分方式や背景差分方式などを用いて可視画像から時間的に変化した領域だけを抽出した画像（移動領域抽出画像）を生成する可視前処理部１０１と、その移動領域抽出画像を白黒反転させる白黒反転部１０３と、その白黒反転画像に特定の重み付けを行う可視ゲイン演算部１０４と、赤外カメラ１１２で取得された赤外画像に対して車両を強調し、ノイズを低減するフィルタリングを行い、そのフィルタリングされた画像に対してフレー間差分方式や背景差分方式などを用いて赤外画像から時間的に変化した領域だけを抽出した画像（移動領域抽出画像）を生成する赤外前処理部１０２と、その移動領域抽出画像に特定の重み付けを行う赤外ゲイン演算部１０５と、移動領域が抽出され、それぞれ特定の重み付けをされた可視画像と赤外画像を合成する画像合成部１０６と、画像合成部で得られた合成画像と後段にある画像処理部からの情報、および時刻、天候情報を用いて可視画像、赤外画像それぞれの重み付け値を決定するゲイン制御部１０７と、前記合成画像を用いて走行車両を検出し、その走行状況を把握する画像処理装部１０８から構成される。
【００２４】
次に、図１を参照して本実施の形態の全体の動作について詳細に説明する。なお、ここでは赤外画像に対して可視画像を加算するパターンを前提とする。
【００２５】
まず、前提として、可視カメラ部１１１で取得される可視画像は、光の反射強度分布を画像化したものであり、反射強度が強い程、白く表示され、弱い程、黒く表示されることにより、人間の視覚イメージと合致する画像が得られる。一方で赤外カメラ部１１２で取得される赤外画像は、熱（赤外線）の放射分布を画像化するものであり、黒っぽい色ほど温まり易く、また同じ温度でも黒っぽい色の方がより多くの赤外線を放射する(放射率が高い)ことから、高い輝度（白色）として画像化される。実際に、赤外カメラの画像を白黒反転させると、可視カメラに近い画像が得られる。
【００２６】
可視カメラ１１１で取得された可視画像、及び赤外カメラ１１２で取得された赤外画像は（Ｓ２０１）、それぞれ可視前処理部１０１、赤外前処理部１０２で、車両の特徴を活かして車両を強調したり、ノイズを低減するフィルタリング処理を施こされた後（Ｓ２０２）、前フレームとの差分や予め取得した背景画像との差分などの手段により、取得画像から時間的に変化した領域だけを抽出した画像（移動領域抽出画像）を生成する（Ｓ２０３）。
【００２７】
上記の通り、可視画像を白黒反転させると赤外画像に近い特徴の画像が得られること、及び、それぞれが得意な計測環境条件が異なることを活用して、白黒反転部１０３では可視の移動領域抽出画像を白黒反転する（Ｓ２０４）。
【００２８】
ゲイン制御部１０７では、合成画像、それを用いた画像処理結果、及び計測環境条件（時刻、天候など）を用いて、可視、赤外それぞれのゲインを決定する（Ｓ２０５）。可視ゲイン乗算部１０４ではその可視画像に計測環境条件に応じて設定される可視ゲインを乗じる（Ｓ２０６）。赤外ゲイン乗算部１０５では、赤外の移動領域抽出画像に対して設定される赤外ゲインを乗じ（Ｓ２０７）、画像合成部１０６では、特定のゲインを乗じられた両画像を加算した合成画像を生成する（Ｓ２０８）。
【００２９】
画像処理部１０８では、合成画像に対して関連する赤外画像に対する画像処理方式を適用して走行車両の検出、及びその走行状況を把握する（Ｓ２０９）。
【００３０】
なお、上記のステップＳ２０４において白黒反転部１０３では赤外の移動領域抽出画像を白黒反転し、かつ、上記のステップＳ２０９において画像処理部１０８では、合成画像に対して関連する可視画像に対する画像処理方式を適用して走行車両の検出、及びその走行状況を把握することで、可視画像に対して赤外画像を加算するパターンも実現可能である。
【００３１】
上記の本実施の形態によれば、合成画像を用いた画像処理により車両の検出精度が日照条件に影響され難くなる。その理由は、日照条件が問題となる日中の晴天、曇天時、及び夜間は赤外画像のミックス率を高くすることにより、夜間の照度低下、影とその揺らぎ、西日による外乱光や、照度の急変の影響が軽減されるからである。
【００３２】
また、合成画像を用いた画像処理により雨天時の車両検出精度が低下し難くなる。その理由は、可視画像を白黒反転して、赤外画像とミックスすることにより、雨天時に赤外画像だけでは低下していた車両と路面とのコントラストが改善されるからである。このとき、路面の鏡面化により高い輝度の外乱ノイズとなっていたヘッドライトや街燈の路面反射光は白黒反転により低輝度となり、合成画像の画像処理ではその影響を非常に小さく押さえることができるからである。
【００３３】
さらに、合成画像を用いれば、可視画像、赤外画像の特徴を活かした道路状況把握が既存の画像処理装置１台で実現できる。その理由は、環境条件に適応させた適切な割合で、可視、赤外両画像をミックスするからでる。
【００３４】
本実施の形態では、図１に示すとおり、同じ視野を有する可視カメラと赤外カメラ画像を用いる。可視カメラの輝度映像は光の反射強度分布を画像化したものであり、反射強度が強い色程、高い輝度(白色)で表示され、弱い色程、低い輝度(黒色)表示されることにより、人間の視覚イメージと合致する画像が得られる。一方で赤外カメラは、熱（赤外線）の放射分布を画像化するものであり、黒っぽい色ほど温まり易く、また同じ温度でも黒っぽい色の方がより多くの赤外線を放射する(放射率が高い)ことから、黒っぽい色ほど、多くの赤外線を受信し、高い輝度（白色）として画像化される傾向にある。実際に、赤外カメラ画像を白黒反転させると、可視カメラの輝度映像に近い画像が得られる。このような特徴から、可視カメラ映像を用いた道路状況把握装置の得意な計測環境条件と赤外カメラ画像を用いた道路状況は装置の得意ない計測環境条件は異なる。
【００３５】
そこで、本実施の形態では、可視（赤外）画像を白黒反転させて、計測環境条件に最適な割合で赤外（可視）画像とミックスさせた合成画像を生成し、その合成画像を用いて画像処理を行うことにより、照度変化、晴天／曇天、及び夜間に強い赤外カメラ映像と、昼の曇天、雨天に強い可視カメラ映像との特徴を活かし、それぞれの弱点を補間し、昼夜間性、耐環境性に優れた車両検出性能を有する道路状況把握システムを提供する。本実施の形態は、可視（赤外）映像を白黒反転させて赤外(可視)映像とミックスすること、そのミックス比を、計測環境条件に応じてダイナミックに制御すること、画像処理部は既存の赤外（可視）用に開発されたものを活用できるという特長を有する。
【００３６】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、道路状況把握システムの機能を実現するためのプログラムを各装置に読込ませて実行することにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。また、各装置の機能が他の装置によりまとめて実現されたり、追加の装置により機能が分散されて実現される形態も本発明の範囲内である。
【００３７】
本発明によれば、道路状況（走行車両の検出とその走行状況）、具体的には、交通量計測、渋滞検出、渋滞末尾検出、停止・低速車検出、避走車両、事故車、事故状況を、リアルタイムかつ高い信頼性で、２４時間安定して把握するといった用途に適用できる。また、交差点の歩行者の状況把握、建物への侵入者・不審物検知といった用途にも適用可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係るシステム構成を示すブロック図である。
【図２】本発明の実施の形態に係るシステムの全体の動作を示すフローチャートである。
【符号の説明】
【００３９】
１１１    可視カメラ部
１１２    赤外カメラ部
１０１    可視画像前処理部
１０２    赤外画像前処理部
１０３    白黒反転部
１０４    可視ゲイン乗算部
１０５    赤外ゲイン乗算部
１０６    画像合成部
１０７    ゲイン制御部
１０８    画像処理部
【図１】
0004973565.tif 000002
【図２】
0004973565.tif 000003