(57)【要約】【課題】夜間の走行等の照度が不足している場合においても、撮影画像の視認性を確保し、かつ歩行者などを表示させることができるようにする。【解決手段】走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する画像処理装置を、前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積手段と、前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成手段と、前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出手段と、前記重畳対象検出手段により検出された重畳対象領域を前記下地画像に重畳する画像重畳手段とにより構成し、夜間の走行時でも運転者の走行を効果的に支援できるようにする。【選択図】図１
2014078165.tif 000002
【特許請求の範囲】
【請求項１】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する画像処理装置であって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積手段と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成手段と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出手段と、
前記重畳対象検出手段により検出された重畳対象領域を前記下地画像に重畳する画像重畳手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記画像蓄積手段は、前記撮像装置が撮影した画像を前記蓄積装置に蓄積する際に、前記画像の付随情報として位置情報及び撮影時刻をフレーム毎に蓄積することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像蓄積手段は、前記撮像装置が撮影した画像を前記蓄積装置に蓄積する際に、画像に含まれる動体を検出し、検出した動体を除去して蓄積することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記下地画像生成手段は、前記蓄積装置から蓄積画像を取り出す際に、画像に含まれる動体を検出し、検出した動体を除去することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重畳対象検出手段は、特徴抽出の前処理として、前記撮影画像の照度を均一化するように輝度調整することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記下地画像生成手段は、前記蓄積装置に蓄積されている画像の中で、撮影画像と前記位置情報が最も近く、かつ前記撮影時刻が最も新しい蓄積画像を前記下地画像とすることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記下地画像生成手段は、前記撮影画像と前記位置情報が近い少なくとも２つ以上の蓄積画像から前記下地画像を生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつあらかじめ撮影された画像を蓄積した蓄積装置を有する画像処理装置であって、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成手段と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出手段と、
前記重畳対象検出手段により検出された重畳対象領域を前記下地画像に重畳する画像重畳手段と、
を具備することを特徴とする画像処理装置。
【請求項９】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつ通信手段によって、外部の蓄積手段から前記位置情報に沿った撮影画像を取得する画像処理装置であって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積手段と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成手段と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出手段と、
前記重畳対象検出手段により検出された重畳対象領域を前記下地画像に重畳する画像重畳手段と、
を具備することを特徴とする画像処理装置。
【請求項１０】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する画像処理方法であって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積工程と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程と、
を具備することを特徴とする画像処理方法。
【請求項１１】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつあらかじめ撮影された画像を蓄積した蓄積装置を有する画像処理方法であって、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程と、
を具備することを特徴とする画像処理方法。
【請求項１２】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつ通信工程によって、外部の蓄積工程から前記位置情報に沿った撮影画像を取得する画像処理方法であって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積工程と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程と、
を具備することを特徴とする画像処理方法。
【請求項１３】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する画像処理方法の各工程をコンピュータに実行させるプログラムであって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積工程と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつあらかじめ撮影された画像を蓄積した蓄積装置を有する画像処理方法の各工程をコンピュータに実行させるプログラムであって、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得し、かつ通信工程によって、外部の蓄積工程から前記位置情報に沿った撮影画像を取得する画像処理方法の各工程をコンピュータに実行させるプログラムであって、
前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積工程と、
前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成工程と、
前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出工程と、
前記重畳対象検出工程において検出された重畳対象領域を前記下地画像に重畳する画像重畳工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１３〜１５の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
走行中の車両前方を車載カメラで撮影した画像を蓄積し、異常発生時の状況解析などに用いるドライブレコーダーと称されるシステムがある。また、運転者の走行をより快適にすることを目的として、このシステムが取得した画像を用いる応用開発が行われている。
【０００３】
その一つとして、車載カメラが撮影した前方の画像に対して、地図情報を重畳表示させたナビゲーション技術がある（特許文献１）。一般の地図画像だけを用いるのでは、リアルタイムな更新、例えば歩行者や、駐車車両、道路上の障害物などを反映させることは難しいので、撮影画像を用いることは、運転者の走行を支援する上で極めて効果的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１０８６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、夜間の走行時に撮影した撮影画像は、照度が不足しているため、地図情報を重畳表示させても、地図情報と実際の位置との対応が困難である問題点があった。
本発明は前述の問題点に鑑み、夜間の走行等の照度が不足している場合においても、撮影画像の視認性を確保し、かつ歩行者などを表示させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する画像処理装置であって、前記撮像装置から出力される撮影画像を蓄積装置に蓄積する画像蓄積手段と、前記蓄積装置に蓄積された画像から重畳の下地となる下地画像を生成する下地画像生成手段と、前記撮影画像から車両の走行時に注視すべき対象を重畳対象領域として検出する重畳対象検出手段と、
前記重畳対象検出手段により検出された重畳対象領域を前記下地画像に重畳する画像重畳手段とを具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、夜間の走行等の照度が不足している場合においても、撮影画像の視認性を確保し、かつ歩行者などを表示させることができる画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態を示し、画像処理装置の構成例を表すブロック図である。
【図２】第１の実施形態の画像蓄積部で行われる処理の概念を表す図である。
【図３】第１の実施形態のデータベースで管理する情報の一例を示した図である。
【図４】第１の実施形態の画像処理装置の処理手順を説明するフローチャートである。
【図５】第１の実施形態の画像処理装置で行なわれる画像処理の概念を表す図である。
【図６】第２の実施形態の画像処理装置の構成例を表すブロック図である。
【図７】第２の実施形態の画像処理装置の処理手順を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、本発明の第１の実施形態を示し、画像処理装置１００の構成例を示すブロック図である。本実施形態の画像処理装置１００は、走行中の車両の前方を撮影する撮像装置から撮影画像を取得し、かつＧＰＳシステムから自車両の位置情報を取得する。
始めに、本実施形態の画像処理装置１００の各部を簡単に説明する。
撮像装置１０１は、車のノーズなどの前方に取り付けられ、車両前方を撮影する。撮影した画像を以下の説明では、撮影画像ｘと称する。
画像蓄積部１０２は、撮像装置１０１から出力される撮影画像ｘを、蓄積装置１０３に蓄積する。
【００１０】
下地画像生成部１０４は、蓄積装置１０３から、重畳画像の下地となる画像を生成する。生成した画像を以下の説明では、下地画像ｙと称する。
重畳対象検出部１０５は、撮影画像ｘの中から、下地画像に重畳する対象の領域を検出する。
画像重畳部１０６は、下地画像ｙに、重畳対象検出部１０５が検出した領域を重畳した画像を生成する。
【００１１】
図５は、本実施形態の画像処理装置１００が行う画像処理の概念を示す図である。
図５（ａ）の５００は、下地画像ｙである。図５（ｂ）の５０１は撮影画像ｘである。図中の枠５０２、５０３、５０４で囲った領域が重畳対象検出部１０５で検出された重畳対象領域である。これらの重畳対象領域５０２、５０３、５０４を下地画像５００に重畳した画像が、図５（ｃ）の重畳画像５０５である。
なお、本実施形態の画像処理装置１００は、夜間走行時のナビゲーション装置の背景画像として用いられる実画像を生成する。すなわち、図５（ｃ）の画像に対して、さらに地図情報が重畳表示されることを意図している。
【００１２】
次に、本実施形態の画像処理装置１００の各部の詳細を説明する。
画像蓄積部１０２は、夜間走行時の下地画像として用いるために、昼間の画像を蓄積する。しかし、昼間の画像に存在する歩行者や車両などの動体は、その時点から時間の経過した夜間には、存在しないことがほとんどである。よって、これらの対象を予め除去してから、昼間の画像を蓄積する。
【００１３】
昼間の画像から歩行者や車両などの動体を除去する除去手段は種々考えられるが、例えば、撮影画像１フレームごとに、特徴抽出を行い、歩行者、もしくは車両と推定された対象の領域を画像から除去する。除去した領域は例えば、除去領域が接する外周画素の平均値で置き換えるなどすればよい。
【００１４】
図２を用いて概念を説明する。図２（ａ）は撮影画像、図２（ｂ）は蓄積画像である。
撮影画像ｘ中の走行中の車両（図２（ａ）の２０１）を検出し、検出領域２０１を周辺画素の平均値で置き換える（図２（ｂ））。なお、歩行者や車両を検出する特徴抽出については、一般的な技術であるので、ここでは述べない。また、歩行者や車両以外の動体を抽出するのでも構わない。
【００１５】
また、画像蓄積部１０２は、ＧＰＳ受信機１０７ａと制御装置１０７ｂからなるＧＰＳシステム１０７から自車両の現在の位置情報を入手し、蓄積時に、フレーム毎の付随情報として位置情報を同時に蓄積する。さらに、蓄積装置１０３は図３に示すようなデータを保管、管理するデータベース３００を有し、データベース３００に撮影画像の撮影時刻及び位置情報をひも付けして登録する。
【００１６】
下地画像生成部１０４は、ＧＰＳシステム１０７から現在の自車両の位置情報を入手し、蓄積装置１０３に蓄積されている画像の中で現在の自車両の位置情報と等しく、かつ最新の蓄積画像をデータベース３００の情報を元に取り出し、下地画像ｙとする。なお、蓄積装置１０３に等しいものが蓄積されていなかった場合は、現在の自車両の位置情報に最も近い画像で、かつ最新の蓄積画像と、その前後画像を取り出し、フレーム補間処理により、中間画像を生成して中間画像を下地画像ｙとする。
【００１７】
重畳対象検出部１０５は、撮影画像ｘに対して、画像蓄積部１０２と同様の特徴抽出を行い、運転者が注視すべき対象である人物、車両、及び道路上にある障害物などを抽出する。ただし、重畳対象検出部１０５で処理される撮影画像ｘは、夜間の画像なので、そのままでは、特徴抽出が行いにくい。その一因として、照度が画像の中で不均一であることが挙げられる。
【００１８】
すなわち、自車両のヘッドライトでは、自車両周辺しか照度を確保することができず、遠方は照度不足となる。これは、画像下端（ヘッドライトに最も近い部分）から離れるに従って照度が落ちるということを意味する。この照度不均一という課題に対して、重畳対象検出部１０５は、特徴抽出の前処理として、画像下端からの距離に応じた輝度調整を行う。これにより、照度が均一化された特徴抽出を行いやすい画像を得ることが可能となる。
【００１９】
その後、画像蓄積部１０２と同様の特徴抽出を行う。ただし、道路上にある障害物も抽出する点は異なる。画像重畳部１０６には、撮影画像ｘと、抽出された領域の座標情報を渡す。
画像重畳部１０６は、重畳対象検出部１０５から入力された座標情報が示す撮影画像ｘの領域を下地画像ｙの同位置に重畳した画像を生成する。
【００２０】
本実施形態の画像処理装置１００の動作手順を図４のフローチャートを参照しながら説明する。
Ｓ４０１では、蓄積モードか否かを判定する。この判定は、例えば蓄積は昼間のみ行うとすれば、日の出日の入り時間を元に、蓄積モードのオンオフを切り替える（日の出期間はオン、日の入り期間はオフ）。
【００２１】
Ｓ４０２では、画像蓄積部１０２が、撮影画像ｘを蓄積装置１０３に蓄積する。
Ｓ４０３では、画像蓄積部１０２が、蓄積時間と、位置情報をデータベース３００に登録する。
Ｓ４０４では、重畳モードか否かを判定する。この判定は、例えば重畳は夜間のみ行うとすれば、日の出日の入り時間を元に、重畳モードのオンオフを切り替える（日の出期間はオフ、日の入り期間はオン）。重畳モードでなかった場合は処理を終了し、重畳モードであった場合はＳ４０５に進む。
【００２２】
Ｓ４０５では、下地画像生成部１０４が、下地画像ｙを取り出す。その後、Ｓ４０６に進む。
Ｓ４０６では、重畳対象検出部１０５が、撮影画像ｘの中から重畳対象を検出し、画像重畳部１０６が、下地画像ｙに該重畳対象を重畳表示する。
以上説明した本実施形態の画像処理装置１００により、夜間の走行等の照度が不足している場合においても、撮影画像の視認性を確保し、かつ歩行者などを表示させることが可能となる。
【００２３】
なお、本実施形態の画像処理装置１００では、車両前方を対象としていたが、車両前方以外に撮像装置を取り付けた場合でも効果は同等である。例えば、車両を後退させる際に車両後方を確認するために、撮像装置１０１が撮像する画像を用いる。画像を確認する際に本実施形態の画像処理装置１００の構成を適用することで、前述した効果を得ることができる。
【００２４】
（第２の実施形態）
本発明は、車両走行中の前方画像が蓄積装置に予め蓄積されている場合でも有効である。本実施形態では、そのような場合の実施形態について説明する。
図６は、本発明の第２の実施形態の画像処理装置６００の構成例を示すブロック図である。
本実施形態においては車両前方の撮影画像を、既に蓄積装置に蓄積しており、かつ図３に示すようなデータベース３００も保有しているとする。よって、下地画像生成部１０４は、第１の実施形態と同様に、蓄積装置１０３から、重畳画像の下地となる画像を生成する。残りの処理部も第１の実施形態と同様である。
【００２５】
本実施形態の画像処理装置６００の処理手順を表したのが図７のフローチャートである。
Ｓ４０４では、重畳モードか否かを判定する。この判定は、例えば重畳は夜間のみ行うとすれば、日の出日の入り時間を元に、重畳モードのオンオフを切り替える（日の出期間はオフ、日の入り期間はオン）。重畳モードでなかった場合は処理を終了し、重畳モードであった場合はＳ４０５に進む。
【００２６】
Ｓ４０５では、下地画像生成部１０４が、下地画像ｙを取り出す。その後、Ｓ４０６に進む。
Ｓ４０６では、重畳対象検出部１０５が、撮影画像ｘの中から重畳対象を検出し、画像重畳部１０６が、下地画像ｙに該重畳対象を重畳表示する。
【００２７】
以上説明した本実施形態により、夜間の走行等の照度が不足している場合においても、撮影画像の視認性を確保し、かつ歩行者などを表示させることができる画像処理装置の提供をすることができる。本実施形態では、車両走行中の前方画像が蓄積装置に予め蓄積されている場合を述べたが、それ以外にも、車両走行中の前方画像が通信装置などで外部から送信される場合でも有効である。
【００２８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２９】
１００  画像処理装置、１０１  撮像装置、１０２  画像蓄積部、１０３  蓄積装置、１０４  下地画像生成部、１０５  重畳対象検出部、１０６  画像重畳部、１０７  ＧＰＳシステム、１０７ａ  ＧＰＳ受信機、１０７ｂ  制御装置
【図１】
2014078165.tif 000003
【図２】
2014078165.tif 000004
【図３】
2014078165.tif 000005
【図４】
2014078165.tif 000006
【図５】
2014078165.tif 000007
【図６】
2014078165.tif 000008
【図７】
2014078165.tif 000009