(57)【要約】【課題】夜間・雨中でも車両などの検知が可能なようにカメラ映像を生成し、また、伝送するケーブルコストを抑えてシステムを構築することを目的とする。【解決手段】撮像部に可視と赤外を併用し、昼夜を判別し、降雨を判別して可視・赤外の画像処理の方式を判別結果に応じて変更する。また、可視と赤外カメラの映像を予め１枚の映像に合成するように２台のカメラ映像を接続し、その映像を入力して２枚の映像を１枚の映像に左右合成した映像を作成し出力する。【効果】夜でも雨が降っていても良好な監視映像を得ることができる。また、ケーブルの本数を増やさずにシステムを構築することができる。【選択図】  図１
2004312402.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラからの映像を入力する画像入力部と、複数の前記カメラ映像を一枚の映像に合成して合成画像を生成する画像合成部と、該合成画像を出力する画像出力部とを備えた撮像部と、
該撮像部の映像を入力する画像入力手段と一枚の入力映像を複数枚に分割する映像分割部と、分割した各々の映像を用いて画像認識する画像認識回路とを備えた画像認識部と、
から構成される道路監視システム。
【請求項２】
請求項１に於いて、
前記画像認識部は、更に、分割した各々の映像から周囲環境状態を判定する周囲環境判定回路と、周囲環境に応じ複数の映像の合成方式を切り替える画像合成回路とを備え、入力された映像に基づいて判定された周囲環境に応じて前記複数の映像の合成方式を切り替えることを特徴とする道路監視システム。
【請求項３】
請求項１に於いて、
前記撮像部と前記画像認識部とは、一のケーブルで接続されていることを特徴とする道路監視システム。
【請求項４】
撮像部と画像認識部とを有する道路監視システムであって、
前記撮像部は、可視カメラ及び赤外カメラからの映像を入力する画像入力部と、前記各カメラの映像を一枚の映像に合成して合成画像を生成する画像合成部と、該合成画像を出力する画像出力部と、を備え、
前記画像認識部は、該撮像部の映像を入力する画像入力手段と、入力された一枚の映像を、可視映像と赤外映像とに分割する映像分割部と、分割した各映像を用いて画像認識する画像認識回路と、分割した各映像から周囲環境について判定する周囲環境判定回路と、前記赤外映像の異常を判断する赤外映像異常判断回路と、前記周囲環境判定回路の出力と前記赤外映像異常判断回路の出力とに基づいて、可視映像と赤外映像の合成方式を切り替える画像合成回路と、を備えたことを特徴とする道路監視システム。
【請求項５】
請求項４に於いて、
前記周囲環境の判定は、昼夜の別，降雨の別を判定するものであることを特徴とする道路監視システム。
【請求項６】
請求項５に於いて、
前記画像合成回路は、前記周囲環境が昼と判定された場合は、入力された複数枚の映像の背景差分画像のＡＮＤ処理を実行し、
前記周囲環境が昼と判定されなかった場合は、入力された複数枚の映像の背景差分画像のＯＲ処理を実行することを特徴とする道路監視システム。
【請求項７】
可視カメラ及び赤外カメラからの映像を一の画像として入力する画像入力手段と、
当該入力された一の入力映像を可視映像と赤外映像と分割する映像分割部と、
前記赤外映像の異常を判断する赤外映像異常判断回路と、
可視映像及び赤外映像を用いて周囲環境状態を判定する周囲環境判定回路と、
前記赤外映像異常判断回路の出力と前記周囲環境判定回路の出力に基づいて、可視映像と赤外映像との合成方式を切り替える画像合成回路と、
を備えた道路監視装置。
【請求項８】
請求項７に於いて、
前記周囲環境の判定は、昼夜の別，降雨の別を判定するものであることを特徴とする道路監視装置。
【請求項９】
請求項８に於いて、
前記画像合成回路は、前記周囲環境が昼と判定された場合は、入力された複数枚の映像の背景差分画像のＡＮＤ処理を実行し、
前記周囲環境が昼と判定されなかった場合は、入力された複数枚の映像の背景差分画像のＯＲ処理を実行することを特徴とする道路監視装置。
【請求項１０】
請求項７に於いて、
前記画像合成回路により合成された画像を表示部に表示することを特徴とする道路監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は道路などに適用されるテレビカメラを用いた監視システムに関し、特に夜間でも高精度な計測が可能な道路監視装置に関する。
【０００２】
【従来の技術】
道路などの監視にテレビカメラが多数設置され、走行速度，通過台数などの計測を画像処理で自動的に計測するシステムが普及している。これらシステムでは可視カメラを用いることが一般的であるが、夜間時のように暗いシーンでは落下物や、無灯火の停止車両などを監視することが困難である。このため、可視カメラと赤外線カメラを用いて補完することが行われている（例：特開２００１−３５７３８８号）。この従来技術では、可視，赤外カメラそれぞれで予め記憶している背景画像との差分処理を実行し、その画像の合成処理で物体を検出するようにしたものである。また、「可視・赤外センサフュージョンによる車両検知システム」：情報処理学会高度道路交通システム研究会資料（２０００．９．１８）には、可視，赤外それぞれの背景差分画像を重み付け加算で画像を合成する方式が記載されている。また、特開平６−３３１４８０号には可視，赤外カメラ映像をカメラ切替部で切り替える処理が行われている。
【０００３】
【特許文献１】
特開２００１−３５７３８８号公報
【特許文献２】
特開平０６−３３１４８０号公報
【特許文献３】
特開２００２−１６３６４４号公報
【０００４】
【発明が解決しようとする課題】
道路監視に可視，赤外カメラを利用する場合において従来技術のような構成を用いるとすれば、カメラが複数なのでケーブルも複数必要となり、カメラの映像を数百ｍ先までケーブルで送る必要が生ずる。
【０００５】
また、画像処理手法として、可視カメラと赤外カメラではカメラの特性（映像の見え方など）が異なるため、単に可視と赤外カメラの映像を合成するのみでは環境（昼夜の別，降雨の有無等）によっては良好な監視画像が得られない。
【０００６】
【課題を解決するための手段】
本発明では、可視，赤外カメラの映像を左右等に分割合成した映像を生成し、その映像を画像認識装置に伝送する。
【０００７】
また本発明では、環境に基づいて、可視，赤外カメラの映像の合成方式を切り替える。
【０００８】
【発明の実施の形態】
以下、図面を用いて実施例の詳細を述べる。図１は機器の構成を示す。道路監視システムの場合、一般的に撮影部と画像認識部は１００〜２００ｍ程度離れた場所に設置されることが多い。このため、可視，赤外カメラの併用方式ではケーブル本数が増えるため、設備コストが上昇する。このため、撮影部１（図１）にカメラ１（２）及びカメラ２（３）の映像を入力するＡ／Ｄ変換器４，５と、そのディジタル映像を記憶する画像メモリ６，７と、記憶した２枚の画像を合成する画像合成回路８と、デジタル映像をアナログ出力するＤ／Ａ変換器９を設ける。
【０００９】
この画像合成回路８（図１）では、図２のように２枚の画像１８，１９を例えば３２０画素×２４０画素で各々入力し、その画像を６４０画素×２４０画素に左右合成した画像２０を作成し、その映像をテレビジョン信号に準拠した形式で出力する。または、２つのカメラ映像をそれぞれ６４０画素×２４０画素で取り込み、上下に重ねて６４０×４８０画素の映像にして出力する方式もある。このようにすることで、１本の映像ケーブルで２台のカメラ映像を送信することが可能となる。
【００１０】
なお、図１では有線で接続することとしているが、無線ＬＡＮなどを用いて映像を伝送することも可能である。また、左右に合成する方式の他に、奇数，偶数フィールド毎にカメラ１，カメラ２の映像を出力する方式もある。なお、カメラ１，カメラ２は基本的には同期が一致していることが前提であるため、外部から基準信号をカメラに与えるか、画像合成部でタイミングを合わせるかの何れかの機能が必要である。
【００１１】
撮影部１から１００〜２００ｍ程度離れた場所に設置されることが多い画像認識部１０（図１）は、撮影部１から伝送された映像をディジタルに変換するＡ／Ｄ変換器１１と、その映像を分割する映像分割回路１２と、２枚の映像を用いて周囲環境を判定する周囲環境判定回路１３と、２つの映像を合成処理して車両検出画像作成回路１５と、車両認識する車両認識回路１６と、認識結果の出力回路１７と、車両認識で用いるパラメータ記憶回路１４から構成される。映像分割回路１２は、数百ｍ程度離れた撮像部１から受け取った映像を６４０画素×２４０画素の画像２１で取り込み、この映像を左右に３２０画素×２４０画素に各々分離し記憶する（図３の２２，２３）。
【００１２】
図１で説明したカメラ１，カメラ２はここでは、可視カメラ，赤外カメラとして以下説明する。
【００１３】
可視画像と赤外画像の融合には表１に示すように、天候によって処理を変化させる必要があることが分かった。昼の場合、可視画像（可視カメラの出力）でボディは見えるが車の影、建物の影が発生する。赤外画像（赤外カメラの出力）では基本的に影は発生しない。従って、昼間の場合に車両の影を削除するためには、可視・赤外画像から抽出した車両パターンのＡＮＤ処理が有効である（図４参照）。
【００１４】
【表１】
2004312402.tif 000003
【００１５】
また、薄暮，夜については可視でボディが見えない場合があるため、可視と赤外のＯＲ処理が有効である。特に、夜間の無灯火車両検出のためには有効である。但し、ヘッドライトの路面反射が可視映像では発生するため、ＯＲ処理するとノイズが発生してしまう。ＡＮＤ処理にすればノイズを削除できるが、薄暮，夜の基本はＯＲ処理であるため、ノイズの位置だけＡＮＤ処理に切り替えることは困難である。このため、路面反射などのノイズを前処理で削除することが必要である（図５参照）。即ち、可視と赤外の背景差分画像をそれぞれ２値化処理した２値画像を生成し、昼は可視と赤外の２値画像のＡＮＤ処理、夜は可視と赤外の２値画像のＯＲ処理とし、ノイズの原因は予め削除する必要がある。このように、周囲環境の状態に応じて、可視・赤外画像の合成方式を可変にすることが得策であり、最適な監視画像を生成することが可能となる。
【００１６】
また、表２のように雨が降ると赤外で路面の温度が部分的に低下すると背景差分画像でノイズが発生してしまう。昼は可視とＡＮＤ処理するので問題ないが薄暮，夜はＯＲ処理するため予め雨によるノイズ除去が必要である。
【００１７】
【表２】
2004312402.tif 000004
【００１８】
以上のことから、周囲環境判定回路１３で昼，夜，薄暮の判定，雨の判定を実行し、その状態に応じ、車両検出画像作成回路１５で可視と赤外画像の合成処理を画像の座標を合わせた状態で実行し、その画像を用いて車両の認識（台数，速度計測など）を車両認識回路１６で実行する。
【００１９】
処理フローを大きく分類すると、（１）画像の座標変換，（２）昼夜判定，
（３）可視カメラ２値化処理，（４）赤外カメラ異常判断，（５）赤外カメラ２値化処理，（６）画像合成処理，（７）背景画像更新となる。
【００２０】
図６に処理の全体フローを示す。テーブルなどの初期化処理１００を経由し、可視カメラ映像入力１０１と赤外カメラ映像入力１０２を映像分割回路１２で実行する。この赤外カメラの映像を可視カメラの映像の座標に座標変換し１０３、赤外カメラの映像異常判断を実行する１０４。異常でない場合は予め記憶している赤外の背景画像１０９と入力画像１０２とで差分処理し１１０、これを所定の閾値で２値化する１１１。一方、可視カメラの画像も同様に予め記憶している背景画像１０７との差分処理１０６を実行するとともに可視カメラの明るさを用いて昼夜判定を実行する１０８。その後、可視の背景差分画像を所定の閾値で２値化し１１３、赤外を利用するかを判断し１１４、利用する場合は昼の場合は可視と赤外のＡＮＤ処理１１６、夜の場合はＯＲ処理を実行する１１７。
【００２１】
背景差分画像の合成処理が終了すると車両検出，追跡処理を実行し１１８、背景更新周期かどうかを判断し１１９、更新タイミングの場合は可視と赤外画像の背景画像を更新する１２０。以後、この処理を繰り返す。
【００２２】
以下、各部の処理の詳細を説明する。
【００２３】
（１）画像の座標変換
可視カメラと、赤外カメラの視野は一般的に一致しない（レンズが違う、撮像素子が違うなど）。このため、座標系をどちらかのカメラ映像に一致させることが必要である（例えば、可視カメラの映像に赤外カメラの映像の座標を一致させるなど）。図６では、赤外カメラの映像を座標変換を用いて可視カメラ映像に一致させる処理（１０３）を行い、その画像を入力映像として用いる。座標変換する前の画像２４を座標変換すると画像２５が得られる（図７）。
【００２４】
この座標変換のための設定方法としては、予め可視，赤外画像について、少なくとも４点の基準点を図８のように定める。この基準点は、画像上の座標値（カメラ座標）とカメラ取り付け位置を基準とするワールド座標値を与え、図９のようなデータとして記憶しておく。図９の左のテーブル２６がカメラ１の座標、右のテーブル２７がカメラ２の座標データである。各カメラ毎に式１に示すような透視変換行列のパラメータＣｉｊはワールド座標とカメラ座標の対応点が４点あれば求まるので、式１の（Ｘ，Ｙ）に値を代入することで、カメラ座標の（ｘ，ｙ）が求まる。この透視変換は「コンピュータビジョン」：新技術コミュニケーションズ発行：ｐｐ．７７−５３にカメラキャリブレーションとして記載されているので詳細は省略する。
【００２５】
【数１】
2004312402.tif 000005
【００２６】
なお、画面全体の座標変換は図１０のように可視カメラ２８の左上からラスタースキャンし、そのカメラ座標（ｘ０，ｙ０）のワールド座標（Ｘ０，Ｙ０）を式１で求め３０、この座標（Ｘ０，Ｙ０）に対応する赤外カメラのカメラ座標
（ｘ１，ｙ１）を求め３１、その画素値を可視カメラのカメラ座標位置（ｘ０，ｙ０）に書き込む３２ことを可視カメラの全面に渡って処理することで座標変換ができる。
【００２７】
（２）昼夜判定
可視カメラの映像を用いて昼夜判定を行う１０８。これは、可視カメラ映像の背景画像の濃度（輝度レベル）を数ヶ所求めることで、昼，夜，薄暮の判定が可能である（薄暮は夜と同じ処理としてもよい）。なお、赤外カメラの映像は周囲の明るさに影響されないため、赤外カメラ映像では昼夜判定は出来ない。
【００２８】
（３）可視カメラ２値化処理
昼夜判定後、可視カメラの背景差分画像の２値化処理１１３を実行する。２値化処理のフローを図１１に示す。基本的には背景差分画像を所定の閾値で２値化するが、昼と、夜で処理を変える。昼夜判定３３で判定した結果、昼は背景差分画像を単純に２値化する３４。夜は可視と赤外とのＯＲ処理となるので、ノイズを予め除去することが必要である。このノイズには、ヘッドライトによる路面反射が最も影響するため、背景画像より入力画像が明るい領域を２値化する３５。その２値画像の各物体の面積・高さ・幅などを求め、閾値以上の大きさの物体は除去することで、路面反射を除去する３６。これにより、赤外とのＯＲ処理でも路面反射の影響を除去することが出来る。
【００２９】
（４）赤外カメラ異常判断
赤外カメラ映像の処理は、赤外カメラの異常判定１０５を実行し、正常の場合だけ赤外カメラの背景差分画像の２値化処理を実行し、異常の場合は赤外カメラの映像を用いない処理とする。
【００３０】
図１２に赤外カメラの異常判断処理フローを示す。赤外カメラは電源投入時には図１３のようなパターンが数分間出力される（但し、カメラによって異なる）。また、非冷却式の赤外カメラでは、赤外カメラ内部の温度変化が所定値以上になると、カメラ自身の温度変化によるノイズなどの除去のために、蓄積された映像を自動的にクリアするリフレッシュ動作が行われる。このときの映像は、リフレッシュする前の映像が出力される場合（フリーズ状態）や、完全に０レベルになるものなどカメラによって異なるが、この間は赤外カメラ映像を使用することができない。従って、この期間は、車両などの動物体は静止映像となるため（フリーズ状態）、可視，赤外カメラの合成処理は不都合である。
【００３１】
この点については、赤外カメラがリフレッシュしたときには前回求めた車両の位置から予測位置を求めておき、その情報で補正することも考えられるが、リフレッシュ動作が頻繁に発生すると予測位置だけでは正確に車両の追跡ができなくなる可能性がある。
【００３２】
このため、図１２のように赤外カメラ初期化中判断部３７で初期化中かどうかの判断を行い、初期化中であれば赤外カメラの出力を用いない。初期化中でなければ、赤外カメラリフレッシュ中判断部３９でリフレッシュしているか判断する。初期化中やリフレッシュ期間中は可視カメラ映像だけで処理する。何れでもない場合は赤外を利用するモードに設定し４１、異常の場合は赤外を利用しないモードに設定する４２。初期化判断部の具体的判断方法には、例えば、図１３のようなパターンが出力されている場合は濃度頻度分布を求め、濃度のピークがブロックの数だけ求まれば初期化中、異なれば正常映像と判断する。
【００３３】
また、リフレッシュ中判断部３９の具体的処理は、リフレッシュ中にフリーズしたとすると、数秒間同じ映像が出力される。このため、入力画像を例えば１００ミリ秒周期で取り込んでいるとすると、その映像のフレーム間差分処理を実行し、映像の動きが無い場合はリフレッシュ期間として、赤外カメラ映像を用いないようにする。但し、可視カメラも動きがない場合は、フリーズでない可能性もあるので赤外，可視を合成する方式を用いる（例えば、夜間の停止車両検出が可能）。また、リフレッシュ期間が０クリアされるカメラの場合は、濃度の最大値が所定値以下ならリフレッシュ期間と判定することが出来る。
【００３４】
このように、赤外カメラの映像の異常チェックを組み込んでおくことで、動画像の可視，赤外カメラの併用処理が最適に動作することになる。
【００３５】
（５）赤外カメラ２値化処理
赤外カメラの２値化処理１１１のフローを図１４に示す。基本的には、赤外画像は周囲の環境変化に影響されにくいので、背景差分画像の２値化処理を実行する。但し、雨が降ると、路面温度が急に低下するため、背景差分画像の２値画像にノイズが発生する。昼の場合は可視画像とＡＮＤ処理するため、それほど影響は無いが、夜は可視画像とＯＲ処理するので影響が出る。このため、入力画像をチェックし、雨が降っているかどうかを判断する４３。ここで、雨の有無判定は、画像処理で実行する場合であれば、可視，赤外画像それぞれで濃度の分散を求めておき、分散値が所定値以上になったら雨が降っていると判断する方法や、水に感応する雨滴センサを用いる方法もある。雨が降っている場合は、背景画像より明るい（温度が高い）領域だけを抽出する２値化処理を実行する４７。これにより、雨で路面の温度が低下してもノイズの発生を抑制することが出来る。
【００３６】
また、雨が降っていない場合は、建物の影などで路面の温度が低下している領域にエンジンが始動したばかりの車が入るとコントラストが低下し、赤外画像での車両抽出が難しい場合がある。昼の場合は可視とＡＮＤ処理（１１５，１１６）するので、この影の部分に車両が入ったときにＡＮＤ処理では何も検出されなくなってしまう。そこで、雨でない場合は赤外の背景差分２値画像を作成するとともに４４、赤外の背景画像から低温部を抽出し４５、この画像のＯＲ処理画像を赤外の２値画像とする４６。具体的には図１５のように赤外背景画像から温度が低い領域を切り出し５２、その画像と赤外の背景差分画像を２値化した画像５１のＯＲ画像５３を作成しておく。この結果、可視の背景差分２値画像５０とＡＮＤ処理５４しても、赤外の温度が低いところは可視画像を有効に利用できるので、検出ミスを低減することが出来る。
【００３７】
（６）画像合成処理
赤外を利用しない１１４と判断した場合は、可視の２値画像だけを用いて車両検知・追跡処理１１８を実行する。
【００３８】
赤外を利用する１１４と判断した場合は以下のようにする。即ち、昼は可視と赤外の２値画像をＡＮＤ処理を実行し、夜は可視と赤外の２値画像のＯＲ処理を実行して、各々車両検知用の画像を生成する。
【００３９】
このように昼夜別に処理を可変に切り替えることで、検出ミスを大幅に低減可能である。
【００４０】
（７）背景画像更新
処理の最後には、可視，赤外画像それぞれの背景画像を更新する処理１２０を実行する。更新処理にはこれまで色々な処理が開発されているが、例えば入力画像と背景画像の加算平均で十分である。
【００４１】
以上の実施例のように、２台のカメラ映像を接続し、その映像を入力し２枚の映像を１枚の映像に左右合成した映像を作成し出力する撮像部とすることで、映像ケーブルのコスト低減を図ることができる。また、可視映像で周囲環境を判定し、可視，赤外映像の合成方式を可変とすることで、どのような環境においても良好な監視映像を生成可能となる。赤外カメラ映像の異常判定部を設け、赤外カメラ異常の場合は可視カメラの映像を用いることに切り替えることで、処理の誤判断を防止することが可能となる。
【００４２】
【発明の効果】
ケーブルの本数を増やさずにシステムを構築することができる。また、昼でも夜でも雨が降っていても良好な監視映像を得ることができる。
【図面の簡単な説明】
【図１】本発明のブロック構成を示す図である。
【図２】２カメラ映像の画像合成を説明する図である。
【図３】映像を２枚に分割する説明図である。
【図４】ＡＮＤ処理の概念を説明する図である。
【図５】ＯＲ処理の概念を説明する図である。
【図６】画像認識部の処理フローを示す図である。
【図７】座標変換の変換状態を示す図である。
【図８】座標変換のための座標設定の方式を説明する図である。
【図９】座標変換用のデータを格納するテーブルを示す図である。
【図１０】座標変換のフローを示す図である。
【図１１】可視画像の２値化処理フローである。
【図１２】赤外カメラ映像の異常判定フローである。
【図１３】赤外カメラ初期化中の画面の一例である。
【図１４】赤外画像の２値化処理フローである。
【図１５】昼の赤外，可視合成処理フローを説明する図である。
【符号の説明】
１…撮像部、２…カメラ１、３…カメラ２、８…画像合成回路、１２…映像分割回路、１３…周囲環境判定回路、１５…車両検出画像作成回路、１６…車両認識回路。
【図１】
2004312402.tif 000006
【図２】
2004312402.tif 000007
【図３】
2004312402.tif 000008
【図４】
2004312402.tif 000009
【図５】
2004312402.tif 000010
【図６】
2004312402.tif 000011
【図７】
2004312402.tif 000012
【図８】
2004312402.tif 000013
【図９】
2004312402.tif 000014
【図１０】
2004312402.tif 000015
【図１１】
2004312402.tif 000016
【図１２】
2004312402.tif 000017
【図１３】
2004312402.tif 000018
【図１４】
2004312402.tif 000019
【図１５】
2004312402.tif 000020