(57)【要約】【課題】車載カメラの撮像範囲及び死角範囲外にある危険物の存在を正確且つ迅速に検知する。【解決手段】車載撮像装置（１０）は、所定の点滅サイクルで順次点滅する複数の照明（４１）が設置された交差点（４０）を走行する車両（１）に搭載され、車載カメラ（１１）の撮像画像から危険物（５０）の存在を検知する。特に、照明の点滅サイクルを検出する点滅サイクル検出手段（１３）と、車載カメラの画像取得タイミングを点滅サイクルに同期させる同期制御手段（１４）と、複数の撮像画像から危険物の影（５１）が含まれているか否かにより、危険物の有無を判定する判定手段とを備える。【選択図】図２
2012073677.tif 000002
【特許請求の範囲】
【請求項１】
所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、前記道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置であって、
前記複数の照明の点滅サイクルを検出する点滅サイクル検出手段と、
前記撮像系の画像取得タイミングを前記検出手段によって検出された点滅サイクルに同期させる同期制御手段と、
前記同期制御手段によって同期された画像取得タイミングで時系列的に取得された複数の画像を比較し、該複数の画像中に前記危険物の影が含まれているか否かにより、前記撮像系の撮像範囲外及び死角範囲における前記危険物の有無を判定する判定手段と
を備えたことを特徴とする車載撮像装置。
【請求項２】
前記危険物の影が含まれた画像における影の形状及び位置に基づいて、前記危険物の位置を特定する位置特定手段を備えることを特徴とする請求項１に記載の車載撮像装置。
【請求項３】
前記判定手段は、前記特定された危険物の位置が時間的に変化している場合、前記当該危険物を要注意物体として、前記特定された危険物の位置が時系列的に変化しない危険物と区別して判定することを特徴とする請求項２に記載の車載撮像装置。
【請求項４】
前記所定の点滅サイクルは所定の点滅周波数を有しており、
前記点滅サイクル検出手段は、前記所定の点滅周波数より大きいフレーム周波数で時系列的に撮像された複数の画像における輝度の時系列変化に基づいて、前記所定の点滅周波数を検出することを特徴とする請求項１に記載の車載撮像装置。
【請求項５】
車両の走行路に設置され、所定の点滅サイクルで順次点滅する複数の照明と、
請求項１から４のいずれか一項に記載の車載撮像装置と
を備えたことを特徴とする交通システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像系の撮像画像に基づいて、車両の走行路及びその周辺領域における危険物の存在を検知可能な車載撮像装置及び該車載撮像装置を備えた交通システムの技術分野に関する。
【背景技術】
【０００２】
車両の走行時に、走行路及びその周辺領域にある危険物を的確に検知し、その存在をドライバーに認識させることは安全上重要である。近年、このような走行路上における危険物の存在を車載カメラの撮像画像に基づいて検知する技術について、研究開発が進められている。ここで、車載カメラの撮像範囲外及び死角範囲にある危険物は撮像画像中に写らず、ドライバーが認識することが困難であるという問題がある。
【０００３】
このような問題に対し、例えば特許文献１には、他車の撮影画像を無線受信により取り込むことによって自車の撮像範囲外及び死角範囲に存在する危険物を検知する技術が開示されている。また、特許文献２には、交差点にインフラとして設置されたカメラから撮像画像を無線受信することにより、撮像範囲外及び死角範囲に存在する危険物を検知可能な技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−６７９７号公報
【特許文献２】特開２００７−１４９０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１及び特許文献２では共に、車外から容量の大きい画像データを無線受信する必要があるため、その通信及び処理速度が低下してしまうという技術的問題点がある。尚、送受信される画像データを間引いてサイズの小さい画像データにする等によって、その容量を小さくして高速化を図ることも考えられるが、この場合、画像の解像度が低くなってしまい、ドライバーに必要な情報が失われてしまうおそれがある。
【０００６】
本発明は、上述した問題点に鑑みなされたものであり、撮像系の撮像範囲外及び死角範囲にある危険物の存在を的確且つ迅速に検知可能な車載撮像装置及び該車載撮像装置を含む交通システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の車載撮像装置は上記課題を解決するために、所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、前記道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置であって、前記複数の照明の点滅サイクルを検出する点滅サイクル検出手段と、前記撮像系の画像取得タイミングを前記検出手段によって検出された点滅サイクルに同期させる同期制御手段と、前記同期制御手段によって同期された画像取得タイミングで時系列的に取得された複数の画像を比較し、該複数の画像中に前記危険物の影が含まれているか否かにより、前記撮像系の撮像範囲外及び死角範囲における前記危険物の有無を判定する判定手段とを備えたことを特徴とする。
【０００８】
本発明によれば、撮像系の撮像範囲外及び死角範囲にあるためにそれ自身を撮像することが困難な危険物であっても、当該危険物を影として検知することができるので、撮像範囲外及び死角範囲にある危険物の存在をドライバーに認識させることができる。特に本発明では、複数の照明の点滅サイクルに撮像系の撮像タイミングを同期させることにより、危険物に対して異なる方向から光を照射して影を形成することで、危険物の影が撮像系の撮像範囲内に収められ易く構成されている。これにより、撮像系の撮像範囲外及び死角範囲にある危険物の存在を、ドライバーにより的確に認識させることができる。
【０００９】
好ましくは、前記危険物の影が含まれた画像における影の形状及び位置に基づいて、前記危険物の位置を特定する位置特定手段を備えるとよい。
【００１０】
この場合、危険物の影の形状や位置から、撮像範囲外にある危険物が道路及びその周辺領域のどの位置にあるかを特定することができる。このように特定された危険物の位置は、適宜画像や音声によってドライバーに認識させるとよい。これにより、ドライバーは撮像範囲外及び死角範囲にある危険物の位置を認識することができる。
【００１１】
好ましくは、前記判定手段は、前記特定された危険物の位置が時間的に変化している場合、前記当該危険物を要注意物体として、前記特定された危険物の位置が時系列的に変化しない危険物と区別して判定するとよい。
【００１２】
この場合、特定された危険物の位置が時間的に変化している場合、当該危険物は走行路上に置かれた単なる障害物ではなく、歩行者や他車である可能性が高く、ドライバーに対してより注意を喚起する必要がある。そこで、位置が時間的に変化するか否かによって危険物を区別して認識することで、ドライバーに対し、その危険度に応じた適切な喚起を行うことができる。
【００１３】
好ましくは、前記所定の点滅サイクルは所定の点滅周波数を有しており、前記点滅サイクル検出手段は、前記所定の点滅周波数より大きいフレーム周波数で時系列的に撮像された複数の画像における輝度の時系列変化に基づいて、前記所定の点滅周波数を検出するとよい。
【００１４】
この場合、複数の照明の点滅サイクルに対し、十分大きいフレーム周波数でサンプリングすることにより、照明の点滅サイクルに応じた撮像画像の輝度変化から、点滅サイクルを精度よく検出することができる。
【００１５】
本発明の交通システムは上記課題を解決するために、車両の走行路に設置され、所定の点滅サイクルで順次点滅する複数の照明と、上述の車載撮像装置（各種態様を含む）とを備えたことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮像系の撮像範囲外及び死角範囲にあるためにそれ自身を撮像することが困難な危険物であっても、当該危険物を影として検知することができるので、撮像範囲外及び死角範囲にある危険物の存在をドライバーに認識させることができる。特に本発明では、複数の照明の点滅サイクルに撮像系の撮像タイミングを同期させることにより、危険物に対して異なる方向から光を照射して影を形成することで、危険物の影が撮像系の撮像範囲内に収められ易く構成されている。これにより、撮像系の撮像範囲外及び死角範囲にある危険物の存在を、ドライバーにより的確に認識させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の車載撮像装置が搭載された車両及びその周辺環境を示す模式図である。
【図２】本発明に係る車載撮像装置の全体構成を示すブロック図である。
【図３】車載撮像装置の処理内容を示すフローチャート図である。
【図４】位相解析ＩＣによる街灯の点滅サイクルの検出メカニズムを示すグラフ図である。
【図５】位相解析による街灯の点滅サイクルの検出が行われる前後におけるフレーム周波数の設定内容を時系列的に示す模式図である。
【図６】フレーム周波数を点滅周波数に同期した車載カメラの撮像タイミングと各街灯の点滅タイミングを示すタイミングチャートである。
【図７】図６に示す各期間に対応する交差点の様子を示す模式図である
【図８】変形例に係る車載撮像装置の処理内容を示すフローチャート図である。
【発明を実施するための形態】
【００１８】
図１は本発明の車載撮像装置が搭載された車両及びその周辺環境を示す模式図である。車両１には本発明の車載撮像装置１０が搭載されており、該車載撮像装置には車両１の前方を撮像可能なフロントカメラである車載カメラが組み込まれている。本実施例では、車両１が交差点４０に向かって進行する際に、車載カメラの撮像範囲外及び死角範囲となる位置に危険物５０が存在する場合を例に説明する。
【００１９】
本実施例において車両１が侵入しようとする交差点４０は、互いに交差する２本の道路４０ａ及び４０ｂからなり、その四隅には街灯４１Ａ乃至４１Ｄが設置されている。車両１は道路４０ａに沿って交差点に向かって進行しており、他方の道路４０ｂ上に危険物５０（歩行者）が存在している。尚、街灯４１Ａ乃至４１ＤはＬＥＤ電球からなり、後述する所定の点滅サイクルで順次点滅するように制御されている。尚、このような街灯４１Ａ乃至４１Ｄは常にこのような点滅サイクルになるように、交通システムの一環として各々の点滅タイミングが制御されていてもよいし、通常時は他の点滅パターンで制御されており、当該車両１が交差点４０に接近したことを検知して上述の点滅サイクルで動作するように構成してもよい。
【００２０】
図２は、本発明に係る車載撮像装置１０の全体構成を示すブロック図である。車載撮像装置１０は、撮像レンズ１１ａと該撮像レンズ１１ａの透過光を受光して画像信号を出力する撮像素子１１ｂとを含んでなる車載カメラ１１と、所定の周波数を有する電気信号を出力可能な発信器１２と、前記車載カメラ１１から取得した画像信号に基づいて街灯４１Ａ乃至４１Ｄの点滅サイクルを解析可能な位相解析ＩＣ１３と、前記発信器１２の周波数を街灯４１Ａ乃至４１Ｄの点滅サイクルに同期させる周波数同期回路（ＰＬＬ）１４と、前記撮像素子１１ｂから出力された画像信号に対して各種処理を行う処理部１５と、該処理部１５によって処理された画像信号に基づいて画像表示を行うディスプレイ１６とからなる。
【００２１】
車載カメラ１１は車両１の前方に取り付けられており、図１において点線で示した撮像範囲を画像として取り込むことできる。尚、図１では当該車載カメラ１１の撮像範囲を２本の点線１１Ａ間の領域として表示している（以下、当該領域を適宜「撮像範囲１１Ａ」と称する）。車載カメラ１１の撮像タイミングは、撮像素子１１ｂのフレーム周波数によって規定されており、当該フレーム周波数は発信器１２からの出力周波数に基づいて制御可能に構成されている。尚、本願明細書では、撮像レンズ１１ａの焦点距離や画角などの光学的要素によって規定される撮像可能な範囲を「撮像範囲」、死角を生み出す遮蔽物によって遮蔽されることにより撮像不能な範囲（例えば、交差点の手前側に存在する壁によって車両側から見えない範囲）を「死角範囲」と称することとする。
【００２２】
処理部１５は撮像素子１１ｂから出力された画像信号に対して各種処理を行うことによって、車載カメラ１１の撮像画像に、危険物５０の位置をマーカで重畳表示するように画像信号を処理する。処理部１５によって処理された画像信号は、例えば車両１に搭載されたナビゲーションの画面等であるディスプレイ１６において画像化される。これにより、車両１のドライバーは、交差点４０の死角に存在する危険物５０の存在を、ディスプレイ上１６に表示された画像として認識することができる。
【００２３】
図３は、車載撮像装置１０の処理内容を示すフローチャート図である。まず、車載カメラ１１のフレーム周波数を街灯４１Ａ乃至４１Ｄの点滅サイクルに同期させるために、位相解析ＩＣ１３は、基準となる街灯４１Ａ乃至４１Ｄの点滅サイクルを検出する（ステップＳ１０１）。
【００２４】
ここで、図４は位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出メカニズムを示すグラフ図である。図４の横軸は時間を示しており、縦軸は撮像カメラ１１の撮像画像における輝度を示している。本実施例では特に、街灯４１Ａ乃至４１Ｄの点滅サイクルは所定の点滅周波数（６０Ｈｚ）を有してなり、位相解析ＩＣ１３によって街灯４１Ａ乃至４１Ｄの点滅サイクルを検出する際の撮像素子１１ｂのフレーム周波数は、該点滅周波数（６０Ｈｚ）より十分に大きい４８０Ｈｚに設定されている。
【００２５】
このように撮像素子１１ｂのフレーム周波数が十分大きく設定されているため、車載カメラ１１によって経時的に撮像された複数の画像の輝度から、図４に示すような街灯４１Ａ乃至４１Ｄの点滅周波数に応じた輝度の時間変化を得ることができる。即ち、図４のグラフは、撮像カメラ１１が４８０Ｈｚのフレーム周波数で連続的に撮像された複数の画像における、輝度の時間変化を示している。位相解析ＩＣはこのような輝度の時間変化から、輝度が上下する周期を逆数演算することによって、街灯４１Ａ乃至４１Ｄの点滅周波数を求めることができる。
【００２６】
撮像素子１１ｂのフレーム周波数は、このように位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出が行われる間には、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）より十分に大きい４８０Ｈｚに設定されるが、その他の時間（但し、後述するように、撮像素子１１ｂの撮像フレーム周波数が街灯４１Ａ乃至４１Ｄの点滅周波数に同期されている期間を除く）では、任意のフレーム周波数に設定されていてもよい。
【００２７】
図５は位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出が行われる前後におけるフレーム周波数の設定内容を時系列的に示す模式図である。上述のステップＳ１０１が実行される以前では、撮像素子１１ｂのフレーム周波数は、予め規定された所定のフレーム周波数（例えば、３０Ｈｚ又は６０Ｈｚ）に設定され、当該フレーム周波数に従った撮像タイミングで車載カメラ１１が動作している。そして、ステップＳ１０１が実行されると、撮像素子１１ｂのフレーム周波数は、位相解析ＩＣ１３によって街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）を検出すべく、当該点滅周波数より十分に大きい４８０Ｈｚに設定される。尚、ステップＳ１０１の実行後は後述するように、フレーム周波数は街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期される。
【００２８】
尚、位相解析ＩＣ１３による点滅周波数（６０Ｈｚ）の検出が行われる際のフレーム周波数は、高く設定するほどより精度よく点滅周波数（６０Ｈｚ）を検出することができるが、それに伴いデータ量が増加し、処理負担が増加する。そのため、点滅周波数（６０Ｈｚ）の検出精度と処理負担とのバランスを考慮して適切なフレーム周波数に設定するとよい。
【００２９】
再び図３に戻って、続いて周波数同期回路１４は位相解析ＩＣ１３によって検出された点滅周波数を取得し（ステップＳ１０２）、発信器１２の出力周波数が当該点滅周波数に同期するように発信器１２を制御する（ステップＳ１０３）。これにより、撮像素子１１ｂのフレーム周波数が、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期する。
【００３０】
続いて、車載カメラ１１は同期されたフレーム周波数に従って、時系列的に複数の画像を取得する（ステップＳ１０４）。ここでステップＳ１０４における画像の取得枚数は、少なくとも交差点４０に設置された街灯の数（本実施例では街灯４１Ａ乃至４１Ｄ
があるので、４枚）より多く設定される。
【００３１】
図６は、フレーム周波数を点滅周波数に同期した車載カメラ１１の撮像タイミングと各街灯４１Ａ乃至４１Ｄの点滅タイミングを示すタイミングチャートであり、図７（ａ）乃至（ｄ）は、それぞれ図６に示す各期間Ｔ１乃至Ｔ４に対応する交差点４０の様子を示す模式図である。
【００３２】
図６に示すように、街灯４１Ａ乃至４１Ｄは点滅周波数（６０Ｈｚ）に従って、順次点滅する点滅サイクルを有しており、撮像素子１１ｂのフレーム周波数は、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期されている。図６に示す各期間Ｔ１からＴ４では、街灯４１Ａ乃至４１Ｄのうちいずれか一つが点灯しており、道路上には当該点灯している街灯によって危険物５０が照らされることにより、それぞれ図７（ａ）から（ｄ）に示すように影５１が生じている。
【００３３】
ここで、期間Ｔ１及びＴ３では、それぞれ図７（ａ）及び（ｃ）に示すように、危険物５０の影５１は交差点４０から外側に向かって延びるように生じており、車載カメラ１１の撮像範囲１１Ａ外に位置している。一方、期間Ｔ２及びＴ４では、それぞれ図７（ｂ）及び（ｄ）に示すように、危険物５０の影５１は交差点４０の内側に向かって延びるように生じており、車載カメラ１１の撮像範囲１１Ａ内に位置している。
【００３４】
このようにステップＳ１０４において取得された４枚の画像は差分解析され（ステップＳ１０５）、４枚の画像の各々に危険物５０の影５１が含まれているか否かが判定される（ステップＳ１０６）。本実施例では、期間Ｔ１及びＴ３における車載カメラ１１の撮像画像には危険物５０の影５１が含まれないが（図７（ａ）及び（ｃ）を参照）、期間Ｔ２及びＴ４における車載カメラ１１の撮像画像には危険物５０の影５１が含まれる（図７（ｂ）及び（ｄ）を参照）。従って、これら４枚の画像を比較し、それらの差を算出することによって、図７（ｂ）及び（ｄ）において撮像範囲に含まれた危険物５０の影５１を抽出することができる。
【００３５】
４枚の画像中に危険物の影が含まれている場合（ステップＳ１０６：ＹＥＳ）、当該抽出された危険物５０の影５１に基づいて、危険物５０の存在位置が特定される（ステップＳ１０７）。つまり、抽出された危険物５０の影５１の形状や位置に基づいて、危険物５０が交差点４０のどの位置に存在するのかが特定される。尚、４枚の画像に危険物５０の影５１が無い場合（ステップＳ１０５：ＮＯ）は、処理は終了する（ＥＮＤ）。
【００３６】
処理部１５は、このように位置が特定された危険物５０の存在をドライバーに認識させるべく、車載カメラ１１の撮像画像に危険物５０の存在位置をマーカで重畳表示するために、車載カメラ１１から取得した画像信号を処理する（ステップＳ１０８）。このように処理された画像信号は、ディスプレイ１６に送信され、ディスプレイ１６上に車載カメラ１１による撮像画像と共に、危険物５０の位置を示すマーカが重畳表示される（ステップＳ１０９）。
【００３７】
尚、車載カメラ１１の撮像範囲外及び死角範囲にある危険物５０の表示マーカは、本来の撮像画像の表示を妨げないように、透過的に表示したり、点滅表示したりしてもよい。また、本実施例では車両１のドライバーに危険物５０の存在を認識させるための手段として、車載カメラ１１の撮像画像に重畳表示されるマーカを用いたが、これに代えて又はこれに加えて、ドライバーの五感に働きかける他の手段、例えば音声を介した報知手段などを用いてもよい。
【００３８】
次に本発明の車載撮像装置１０の変形例について説明する。図８は変形例に係る車載撮像装置１０の処理内容を示すフローチャート図である。尚、変形例に係る車載撮像装置１０は、基本的に上述の実施例と構成及び動作が共通しており、当該共通している点に関しては説明を適宜省略し、相違点について重点的に説明することとする。
【００３９】
変形例に係る車載撮像装置１０は、まず、図３に示す動作制御を繰り返すことにより、危険物５０の位置を時系列的に特定し（ステップＳ２０１）、該特定された危険物５０の位置が時系列的に変化するか否かを判定する（ステップＳ２０２）。危険物５０の位置が時系列的に変化する場合（ステップＳ２０２：ＹＥＳ）、当該危険物５０は歩行者、自転車又は他の車両などである可能性が高いとして、危険度を「高」に設定する（ステップＳ２０３）。一方、危険物５０の存在位置が時系列的に変化しない場合（ステップＳ２０２：ＮＯ）、当該危険物５０は単なる障害物であるとして、危険度を「低」に設定する（ステップＳ２０４）。そして、処理部１５は、設定された危険度に応じて、危険物５０の位置を異なる色のマーカや点滅表示周期を変えることで区別して撮像画像に重畳表示するように、車載カメラ１１から取得した画像信号を処理する（ステップＳ２０５）。これにより、ディスプレイ１６上には危険物５０の位置が危険度に応じて、異なる色のマーカで撮像画像上に重畳的に表示される（ステップＳ２０６）。
【００４０】
尚、本変形例では危険度の違いをマーカの色を異ならしめることで表示するとしたが、危険度の高い危険物５０が存在する場合に限り、特別な報知手段によってドライバーに報知するようにしてもよい。例えば、危険度の低い危険物５０のみが存在している場合では上述のようにディスプレイ１６の画面上にマーカでその存在位置を表示するのみである一方で、危険度の高い危険物５０が存在する場合には、このような画面上での表示に加え、音声によってドライバーに報知するようにするとよい。また、危険度の高い危険物５０がある場合には、車両１のブレーキ等を自動的に制御することによって、車両１の挙動に反映させてもよい。
【００４１】
以上説明したように、本発明によれば、車載カメラ１１の撮像範囲外及び死角範囲にあるために危険物５０自体を撮像不能な場合（即ち危険物５０が死角にある場合）であっても、当該危険物５０の影５１を検知することによって、危険物５０の存在を認識することができる。
【産業上の利用可能性】
【００４２】
本発明は、所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置に利用可能である。
【符号の説明】
【００４３】
１  車両
１０  車載撮像装置
１１  車載カメラ
１１a  撮像レンズ
１１ｂ  撮像素子
１２  発信器
１３  位相解析ＩＣ
１４  周波数同期回路
１５  処理部
１６  ディスプレイ
４０  交差点
４１  街灯
５０  危険物
５１  影
【図１】
2012073677.tif 000003
【図２】
2012073677.tif 000004
【図３】
2012073677.tif 000005
【図４】
2012073677.tif 000006
【図５】
2012073677.tif 000007
【図６】
2012073677.tif 000008
【図７】
2012073677.tif 000009
【図８】
2012073677.tif 000010