(57)【要約】【課題】車両前方を車室内からフロントウィンドガラスを通して撮像する前方監視カメラ３を備え、該前方監視カメラ３により撮像される処理対象画像を基に該車両前方に存在する障害物を検出する障害物検出装置１おいて、装置構成の簡易化及び低コスト化を図りつつ、障害物の検出精度の向上を図る。【解決手段】フロントウィンドガラスにその周辺が映り込んだ所定条件画像を予め記憶する所定条件画像記憶部１０３と、所定条件画像記憶部１０３に記憶された所定条件画像を基に、処理対象画像中に含まれる映り込み画像を推定する映り込み画像推定部１１５と、処理対象画像と映り込み画像との差分画像を生成する差分画像生成部１０８とを備え、該生成された差分画像を基に対象物検出を行う障害物検出部１０９とを備える。【選択図】図２
2010079706.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されかつ該車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された処理対象画像を基に該車両外方に存在する対象物を検出する車両用対象物検出装置であって、
上記ウィンドガラスにその周辺の映り込みが生じる所定条件下において上記撮像カメラにより撮像された所定条件画像を記憶しておく所定条件画像記憶部と、
上記所定条件画像記憶部に記憶された所定条件画像を基に、上記撮像カメラにより撮像された処理対象画像中に含まれる、上記映り込み部分に対応した映り込み画像を推定する映り込み画像推定部と、
上記撮像カメラにより撮像された処理対象画像と上記映り込み画像推定部にて推定された当該処理対象画像中の映り込み画像とを差分処理して差分画像を生成する差分画像生成部と、
上記差分画像生成部にて生成された差分画像を基に、上記対象物を検出する対象物検出部とを備えていることを特徴とする車両用対象物検出装置。
【請求項２】
請求項１記載の車両用対象物検出装置において、
上記所定条件は、上記ウィンドガラスにその周辺の車両固定物が映り込む条件とされ、
上記映り込み画像推定部は、
上記所定条件画像記憶部に記憶された所定条件画像を基に、上記処理対象画像中に含まれる上記車両固定物の映り込み画像を推定する固定物画像推定部と、
上記処理対象画像の撮像時よりも前の所定期間内に上記撮像カメラにより撮像された複数のサンプル画像を基に、該処理対象画像中に含まれる、上記車両固定物上の載置物の映り込み画像を推定する載置物画像推定部と、
上記固定物画像推定部にて推定された車両固定物の映り込み画像と、上記載置物画像推定部にて推定された載置物の映り込み画像とを重畳して、該重畳した画像を上記差分処理用の上記映り込み画像とする画像重畳部とを備えていることを特徴とする車両用対象物検出装置。
【請求項３】
請求項２記載の車両用対象物検出装置において、
上記載置物画像推定部は、上記所定期間内に上記撮像カメラにより撮像された複数のサンプル画像を比較して、画素値の分散値が所定値未満となる画素を算出するとともに、該算出結果を基に、上記処理対象画像中に含まれる上記載置物の映り込み画像を推定するように構成されていることを特徴とする車両用対象物検出装置。
【請求項４】
請求項２記載の車両用対象物検出装置において、
上記撮像カメラは、車両外方を撮像する一対のカメラからなるステレオカメラで構成されていて、上記車両固定物に対して上側に配設されており、
上記処理対象画像は、上記一対のカメラのうちの一方により撮像された画像とされ、
上記一方のカメラにより撮像された処理対象画像中の所定領域内において、他方のカメラにより撮像された画像との対応点を探索するとともに、各対応点ごとに該両画像間の視差量を算出する視差量算出部をさらに備え、
上記載置物画像推定部は、上記視差量算出部にて算出された視差量が所定量よりも大きくなる対応点領域の画像を上記載置物の映り込み画像と推定するように構成されていることを特徴とする車両用対象物検出装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の車両用対象物検出装置において、
上記車両固定物の周辺照度を検出する照度センサをさらに備え、
上記映り込み画像推定部は、上記映り込み画像を推定するにあたって、上記撮像カメラによる上記所定条件画像撮像時と上記処理対象画像撮像時とにおける、上記照度センサの検出照度を比較して、該比較結果を基に上記所定条件画像の各画素の画素値を補正するように構成されていることを特徴とする車両用対象物検出装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の車両用対象物検出装置において、
上記映り込み画像推定部は、上記映り込み画像を推定するにあたって、上記撮像カメラによる上記所定条件画像撮像時と上記処理対象画像撮像時とで、該撮像カメラのカメラゲイン及び露出値の少なくとも一方を比較して、該比較結果を基に上記所定条件画像の各画素の画素値を補正するように構成されていることを特徴とする車両用対象物検出装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の車両用対象物検出装置において、
上記所定条件画像を上記所定条件画像記憶部に記憶させるための画像記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するためのモード切換え手段をさらに備えていることを特徴とする車両用対象物検出装置。
【請求項８】
請求項７記載の車両用対象物検出装置において、
上記モード切換え手段は、上記車両のイグニッションキースイッチを含んでいて、該キースイッチを所定操作することで上記両モードを切り換え可能に構成されていることを特徴とする車両用対象物検出装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の車両用対象物検出装置において、
上記ウィンドガラスは、上記車両のフロントウィンドガラスであり、
上記車両固定物は、上記フロントウィンドガラスの下端縁に沿って車室内側に設けられるダッシュボードを含むことを特徴とする車両用対象物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されかつ該車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された処理対象画像を基に該車両外方に存在する対象物を検出する車両用対象物検出装置に関する技術分野に属する。
【背景技術】
【０００２】
従来より、車両の車室内に設けられた車載カメラによりウィンドガラスを通して撮像した車両外の画像を画像処理することで、走行道路上の白線検出や障害物検出を行うようにした車両用対象物検出装置は知られている。このような検出装置では、例えば、車載カメラによりフロントウィンドガラスを通して車両外方を撮像する場合に、その周辺のダッシュボードやダッシュボード上の載置物が光の反射によりフロントウィンドガラスに映り込んで、画像処理時にその映り込み画像を検出対象物として誤検出してしまうという問題があり、この誤検出を防止するべく、これまでにも様々な技術が提案されている。
【０００３】
例えば、特許文献１に示すものでは、車載カメラの撮像タイミングに合わせて点灯、消滅を交互に繰り返す照明装置をダッシュボード付近に設けるとともに、照明時の撮像画像と非照明時の撮像画像との差分画像を作成し、この作成した差分画像の各画素の画素値の時間的ばらつきが小さい画素を抽出することで映り込み画像を検出するようにしている。
【特許文献１】特開２００２−２３０５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に示す車両用対象物検出装置では、照明装置を車室内に搭載する必要があるため、部品点数が増加して装置の高コスト化を招くという問題があり、また、光源照度のばらつきに起因する映り込み画像の検出精度低下を防止するべく、照度制御用の専用フィードバック回路等が必要となって、装置の複雑化及びさらなる高コスト化を招くという問題がある。
【０００５】
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された撮像画像（処理対象画像）を基に該車両外方に存在する対象物を検出する車両用対象物検出装置に対して、その構成に工夫を凝らすことで、装置構成の簡易化及び低コスト化を図りつつ、上記対象物の検出精度の向上を図ろうとすることにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、この発明では、ウィンドガラスにその周辺が映り込んだ所定条件画像を予め記憶する所定条件画像記憶部と、該所定条件画像を基に、撮像カメラにより撮像された処理対象画像中に含まれる映り込み画像を推定する画像推定部と、該処理対象画像と所定条件画像との差分画像を生成する差分画像生成部とを備え、該生成された差分画像を基に対象物検出を行うようにした。
【０００７】
具体的には、請求項１の発明では、車両に搭載されかつ該車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された処理対象画像を基に該車両外方に存在する対象物を検出する車両用対象物検出装置を対象とする。
【０００８】
そして、上記ウィンドガラスにその周辺の映り込みが生じる所定条件下において上記撮像カメラにより撮像された所定条件画像を記憶しておく所定条件画像記憶部と、上記所定条件画像記憶部に記憶された所定条件画像を基に、上記撮像カメラにより撮像された処理対象画像中に含まれる、上記映り込み部分に対応した映り込み画像を推定する映り込み画像推定部と、上記撮像カメラにより撮像された処理対象画像と上記映り込み画像推定部にて推定された当該処理対象画像中の映り込み画像とを差分処理して差分画像を生成する差分画像生成部と、上記差分画像生成部にて生成された差分画像を基に、上記対象物を検出する対象物検出部とを備えているものとする。
【０００９】
この構成によれば、ウィンドガラスにその周辺の映り込みが生じる所定条件下で撮像カメラにより撮像された所定条件画像が所定条件画像記憶部に記憶され、映り込み画像推定部にて、該所定条件画像を基に上記処理対象画像中に含まれる映り込み画像が推定され、差分画像推定部にて、該推定された映り込み画像と処理対象画像との差分画像が生成され、対象物検出部にて、該差分画像を基に対象物検出が実行される。
【００１０】
このように、映り込み画像推定部における、処理対象画像中の映り込み画像の推定を、予め所定条件画像記憶部に記憶した所定条件画像に基づいて行うようにしたことで、別に照明装置等を設けることなく簡単な構成で確実に、処理対象画像中に含まれる映り込み画像を推定することができ、延いては、対象物検出部における誤検出を確実に防止することが可能となる。
【００１１】
請求項２の発明では、請求項１の発明において、上記所定条件は、上記ウィンドガラスにその周辺の車両固定物が映り込む条件とされ、上記映り込み画像推定部は、上記所定条件画像記憶部に記憶された所定条件画像を基に、上記処理対象画像中に含まれる上記車両固定物の映り込み画像を推定する固定物画像推定部と、上記処理対象画像の撮像時よりも前の所定期間内に上記撮像カメラにより撮像された複数のサンプル画像を基に、該処理対象画像中に含まれる、上記車両固定物上の載置物の映り込み画像を推定する載置物画像推定部と、上記固定物画像推定部にて推定された車両固定物の映り込み画像と、上記載置物画像推定部にて推定された載置物の映り込み画像とを重畳して、該重畳した画像を上記差分処理用の上記映り込み画像とする画像重畳部とを備えているものとする。
【００１２】
この構成によれば、固定物画像推定部において、所定条件画像記憶部に記憶された所定条件画像を基に、処理対象画像中に含まれる上記車両固定物の映り込み画像が推定され、載置物画像推定部において、処理対象画像の撮像時よりも前の所定期間内に撮像カメラにより撮像したサンプル画像を基に、処理対象画像中に含まれる、車両固定物上の載置物の映り込み画像が推定され、画像重畳部にて、該推定された車両固定物の映り込み画像と載置物の映り込み画像とが重畳されて上記差分処理用の映り込み画像（以下、全映り込み画像という）が生成される。
【００１３】
ここで、ダッシュボード等の車両固定物については、位置や形状の経年変化が殆どないことから、上記の如く、所定条件画像記憶部に予め記憶された所定条件画像を基にその映り込み画像を推定することで、該推定を容易にかつ高精度で行うことができる。また、車両固定物上に置かれた雑誌等の載置物については、その位置や形状が頻繁に変化することから、上記の如く、所定期間内に撮像カメラにより撮像されたサンプル画像を基にその映り込み画像を推定することで、該推定を高精度で行うことができる。よって、車両固定物と載置物画像とが共に映り込んだ全映り込み画像の推定精度を向上させることができ、延いては、対象物検出部における誤検出をより一層確実に防止することが可能となる。
【００１４】
請求項３の発明では、請求項２の発明において、上記載置物画像推定部は、上記所定期間内に上記撮像カメラにより撮像された複数のサンプル画像を比較して、画素値の分散値が所定値未満となる画素を算出するとともに、該算出した画素に基づいて上記処理対象画像中に含まれる上記載置物の映り込み画像を推定するように構成されているものとする。
【００１５】
この構成によれば、載置物画像推定部における載置物の映り込み画像の推定を高精度で確実に行うことができる。すなわち、載置物の映り込み画像は、風景画像とは異なり各画素の画素値の時間変化が小さいことから、上記サンプル画像間での各画素の画素値の分散値が風景画像に比べて低くなる。したがって、本発明の如く、載置物画像推定部にて、分散値が所定値未満となる画素を算出して、該算出結果を基に処理対象画像中に含まれる載置物の映り込み画像を推定することで、その推定精度の向上を図ることができる。
【００１６】
請求項４の発明では、請求項２の発明において、上記撮像カメラは、車両外方を撮像する一対のカメラからなるステレオカメラで構成され、上記処理対象画像は、上記一対のカメラのうちの一方により撮像された画像とされ、上記一対のカメラによりそれぞれ撮像される画像間の対応点を探索するとともに、各対応点ごとに該両画像間の視差量を算出する視差量算出部をさらに備え、上記載置物画像推定部は、上記視差量算出部にて算出された視差量が所定量よりも大きくなる対応点領域の画像を上記載置物の映り込み画像と推定するように構成されているものとする。
【００１７】
この構成によれば、載置物画像推定部における載置物の映り込み画像の推定を高精度で確実に行うことができる。すなわち、本発明の如く、ステレオカメラを車両固定物の上側に配設した場合、ステレオカメラに対して載置物が車両固定物よりも近くに位置することとなり、このため、ステレオカメラにより撮像された載置物の映り込み画像の視差量（一対のカメラにより撮像された各画像間の視差量）は、車両固定物の映り込み画像の視差量（所定量）よりも大きくなる。したがって、本発明の如く、載置物画像推定部において、上記視差量算出部により算出された視差量が所定量よりも大きくなる対応点領域を、処理対象画像中より抽出することで、載置物の映り込み画像を高精度で推定することができる。
【００１８】
また、上記所定領域として、車両固定物及び載置物の映り込み画像が生じ易い領域を設定することで、処理対象画像中における対応点探索の処理負担を軽減することができる
請求項５の発明では、請求項１乃至４のいずれか一つの発明において、上記車両固定物の周辺照度を検出する照度センサをさらに備え、上記映り込み画像推定部は、上記映り込み画像を推定するにあたって、上記撮像カメラによる上記所定条件画像撮像時と上記処理対象画像撮像時とにおける、上記照度センサの検出照度を比較して、該比較結果を基に上記所定条件画像の各画素の画素値を補正するように構成されているものとする。
【００１９】
この構成によれば、処理対象画像撮像時における車両固定物の周辺照度（照度センサの検出照度）が、所定条件画像撮像時における照度と異なっていても、映り込み画像推定部にて、映り込み画像を推定するにあたって、両撮像時における照度センサの検出照度を比較して該比較結果を基に、上記所定条件画像の画素値が補正される。このため、処理対象画像中の映り込み画像をその周辺照度に拘わらず高精度で推定することができる。
【００２０】
請求項６の発明では、請求項１乃至５のいずれか一つの発明において、上記映り込み画像推定部は、上記映り込み画像を推定するにあたって、上記撮像カメラによる上記所定条件画像撮像時と、上記撮像カメラによる上記所定対象画像撮像時とで、該撮像カメラのカメラゲイン及び露出値の少なくとも一方を比較して、該比較結果を基に上記所定条件画像の各画素の画素値を補正するように構成されているものとする。
【００２１】
この構成によれば、処理対象画像撮像時における撮像カメラの設定値（カメラゲイン及び露出値の少なくとも一方）が、所定条件画像撮像時における設定値と異なっていても、映り込み画像推定部にて、映り込み画像を推定するにあたって、両撮像時における設定値を比較して該比較結果を基に、上記所定条件画像の各画素の画素値が補正される。このため、撮像カメラによる所定条件画像撮像後にその設定値を変化させたとしても、処理対象画像中の映り込み画像を高精度で推定することができる。
【００２２】
請求項７の発明では、請求項１乃至６の発明において、上記所定条件画像を上記所定条件画像記憶部に記憶させるための画像記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するためのモード切換え手段をさらに備えているものとする。
【００２３】
この構成によれば、モード切換え手段により、所定条件画像記憶用の画像記憶モードと、対象物検出用の対象物検出モードとを切り換えることができる。このため、車両固定物の色合い等が経年変化したとしても、モード切換え手段により画像記憶モードを設定して、撮像カメラにより所定条件画像を撮像し直すことで、映り込み画像推定部における映り込み画像の推定精度の低下を防止することができる。
【００２４】
請求項８の発明では、請求項７の発明において、上記モード切換え手段は、上記車両のイグニッションキースイッチを含んでいて、該キースイッチを所定操作することで上記両モードを切り換え可能に構成されているものとする。
【００２５】
このように、車両に設置された既存のイグニッションキースイッチを利用してモード切換え手段を構成するようにしたことで、車両の乗員が容易にモード切り換えを行うことができるとともに、装置全体の低コスト化を図ることが可能となる。
【００２６】
請求項９の発明では、請求項１乃至８のいずれか一つの発明において、上記ウィンドガラスは、車両のフロントウィンドガラスであり、上記車両固定物は、上記フロントウィンドガラスの下端縁に沿って車室内側に設けられるダッシュボードを含むものとする。
【００２７】
この構成によれば、フロントウィンドガラスへのダッシュボード（車両固定物）の映り込み画像、及びダッシュボード上に乗員が載置した雑誌等（載置物）の映り込み画像を、映り込み画像推定部にて高精度で検出することができ、延いては、対象物検出部にて車両前方の対象物を高精度で確実に検出することができる。
【発明の効果】
【００２８】
以上説明したように、車両に搭載されかつ該車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備えた本発明の車両用対象物検出装置によると、ウィンドガラスにその周辺が映り込んだ所定条件画像を予め記憶する所定条件画像記憶部と、該所定条件画像を基に、撮像カメラによる処理対象画像中に含まれる映り込み画像を推定する画像推定部と、該処理対象画像と所定条件画像との差分画像を生成する差分画像生成部とを備え、該生成された差分画像を基に対象物検出を行うようにしたことで、処理対象画像中に含まれる映り込み画像を対象物として誤検出するのを確実に防止して、対象物検出精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００３０】
図１は、本発明の実施形態に係る車両用対象物検出装置としての障害物検出装置１を搭載した車両Ａを示す。この車両Ａは、車両前方の障害物（対象物）を検出してその存在を乗員に報知する車両用運転支援システムを搭載しており、このシステムの一部として障害物検出装置１が適用されている。
【００３１】
障害物検出装置１は、車室前部に配設されかつフロントウィンドガラス２を通して車両前方を撮像する撮像カメラとしての前方監視カメラ３（例えばＣＣＤカメラやＣＭＯＳカメラからなる）を備えていて、該前方監視カメラ３の撮像画像（以下、処理対象画像という）を画像処理することで、車両前方の障害物を検出する。該障害物検出装置１は、処理対象画像の画像処理を行うにあたって、フロントウィンドガラス２（図５参照）に映り込んだ車両固定物１０（本実施形態では、ダッシュボード６、ダッシュボード６上に設置されたスピーカ８及びメータフード９とされる）やその上に置かれた載置物７（例えば、雑誌等）を、障害物と誤判定するのを防止する処理を実行する。
【００３２】
ここで、本実施形態において、「車両固定物」とは、車両Ａに工場出荷時から固定設置されているものを意味し、「載置物」とは、工場出荷後に車両固定物１０上に置かれたもの（固定設置されたものを含む）を意味するものとする。
【００３３】
障害物検出装置１は、図２に示すように、上記前方監視カメラ３から出力される画像データを処理して障害物検出を行う検出ＥＣＵ１００を備えており、検出ＥＣＵ１００は、障害物を検出したときには、乗員に対して警報を行うべく警報装置１１０に作動信号を出力する。尚、警報装置１１０としては、作動信号を受けて警告音を発するスピーカ８や、ディスプレイに警告表示を行う表示装置等を採用することができる。
【００３４】
前方監視カメラ３は、本実施形態では、車室前部の車幅方向中央部に（ルームミラーの裏側に）一つだけ配設されていて、撮像した画像を、輝度情報（輝度値（画素値に相当））を有するｎ個（＝i行×j列）の画素からなる画像として検出ＥＣＵ１００に出力する。
【００３５】
検出ＥＣＵ１００は、ＣＰＵやＲＯＭ及びＲＡＭ等からなる周知のマイクロコンピュータで構成されていて、後述のモード設定にも利用されるエンジン始動用のイグニッションキースイッチ４と、ダッシュボード６の上側周辺の照度を検出する照度センサ５と、上記前方監視カメラ３とに信号の授受可能に接続されていて、モード設定部１０１と、照度記憶部１０２と、所定条件画像記憶部１０３と、撮像画像記憶部１０４と、固定物画像推定部１０５と、載置物画像推定部１０６と、画像重畳部１０７と、差分画像生成部１０８と、障害物検出部１０９とを備えている。
【００３６】
モード設定部１０１は、イグニッションキースイッチ４が乗員により操作された場合に、その操作信号を基に、対象物検出用の対象物検出モードと、後述する所定条件画像記憶用の所定条件画像記憶モードとを切り換えて設定する。具体的には、モード設定部１０１は、乗員によりイグニッションキースイッチ４の所定操作（例えば、ＡＣＣオンとオフとの切り換えを連続して３回実行する等の操作）が行われた場合には、乗員によるモード切り換え要求があったものとして、現在設定されているモードをこれとは異なるモードに切り換える。
【００３７】
照度記憶部１０２は、照度センサ５の検出照度を時系列で記憶する。尚、後述の所定条件画像撮像時における照度センサ５の検出照度も該照度記憶部１０２に記憶される。
【００３８】
所定条件画像記憶部１０３は、上記所定条件画像記憶モードが設定されているときに、前方監視カメラ３により所定条件下で撮像された画像を所定条件画像として記憶する。ここで、本実施形態において、所定条件とは、車両固定物１０上に載置物７が存在せず、かつ、車両固定物１０の周辺照度が、フロントウィンドガラス２に該車両固定物１０の映り込みが生じる照度範囲にあることを条件とするものである。
【００３９】
撮像画像記憶部１０４は、処理対象画像の撮像時よりも前に、前方監視カメラ３により撮像された画像をサンプル画像として順次記憶する。
【００４０】
固定物画像推定部１０５は、所定条件画像記憶部１０３に記憶された所定条件画像と、照度センサ５の検出照度とを基に、処理対象画像中に含まれる車両固定物１０の映り込み画像を推定する。具体的には、固定物画像推定部１０５は、所定条件画像のうち上記車両固定物１０に対応する領域以外の画素の画素値を０とした上で、各画素の画素値をＬ（＝処理対象画像撮像時における照度センサ５の検出照度／所定条件画像撮像時の照度センサ５の検出照度）倍する画素値補正を行うことで車両固定物１０の映り込み画像を推定する。
【００４１】
載置物画像推定部１０６は、撮像画像記憶部１０４に記憶されたＮ枚（本実施形態ではＮ＝５）のサンプル画像を基に、処理対象画像中に含まれる載置物７の映り込み画像を推定する。具体的には、複数のサンプル画像を比較して、分散値が所定値未満となる画素番号、つまり時間変化に伴う画素値変化の小さい画素番号を求める。そして、処理対象画像のうち、該画素番号に対応する画素領域を抽出した上で、車両固定物１０に対応する画素領域を消し込む（画素値を０とする）ことで、載置物７の映り込み画像を推定する。
【００４２】
画像重畳部１０７は、固定物画像推定部１０５にて推定した車両固定物１０の映り込み画像と、載置物画像推定部１０６にて推定した載置物７の映り込み画像とを重畳した画像を、処理対象画像中の全映り込み画像として推定する。そうして、固定物画像推定部１０５、載置物画像推定部１０６、及び画像重畳部１０７が映り込み画像推定部１１５を構成することとなる。
【００４３】
差分画像生成部１０８は、図６に示すように、処理対象画像と、画像重畳部１０７にて推定された全映り込み画像とを差分処理して差分画像を生成する。
【００４４】
障害物検出部１０９は、差分画像生成部１０８にて生成した差分画像に対して障害物検出処理を実行する。具体的には、本実施形態では、障害物として、歩行者、車両、及び二輪車等を検出するようになっており、障害物検出部１０９は、予め記憶したこれらのテンプレート画像を基に、上記差分画像に対してパターンマッチング処理を実行することで、車両前方に障害物が存在するか否かを検出する。そして、該障害物検出部１０９は、障害物を検出したときには、警報装置１１０に対して作動信号を出力する。
【００４５】
警報装置１１０は、障害物検出部１０９からの作動信号を受けて、乗員に対して警告音を発することで車両前方に障害物が存在する旨を報知する。
【００４６】
次に、図３のフローチャートを参照しながら、検出ＥＣＵ１００による障害物検出処理について説明する。
【００４７】
最初のステップＳ１では、前方監視カメラ３、イグニッションキースイッチ４、及び照度センサ５からの各種情報を読み込む。
【００４８】
ステップＳ２では、対象物検出モードが設定されているか否かを判定し、この判定がＹＥＳであるときにはステップＳ３に進み、ＮＯであるときにはステップＳ９に進む。
【００４９】
ステップＳ３では、照度センサ５により検出された検出照度が予め設定した所定照度範囲内か否かを判定し、この判定がＹＥＳであるときにはステップＳ４に進み、ＮＯであるときにはステップＳ１に戻る。ここで、所定照度範囲とは、フロントウィンドガラス２にその周辺（車両固定物１０及び載置物７）の映り込みが生じる照度範囲であって、予め実験等により求められる。
【００５０】
ステップＳ４では、今回の撮像画像（処理対象画像）の撮像時よりも前の所定期間内（直前の所定期間内であって前方監視カメラ３によりＮ枚の画像を撮像するのに必要な時間）に前方監視カメラ３により撮像されたＮ枚の画像をサンプル画像として撮像画像記憶部１０４より読み込む。そして、これらのサンプル画像を基に、今回の撮像画像中（処理対象画像）に含まれる載置物７の映り込み画像を推定する。この載置物７の映り込み画像推定処理の詳細については後述する。
【００５１】
ステップＳ５では、所定条件画像記憶部１０３に記憶された所定条件画像を読み込み、この所定条件画像に対して、照度センサ５の検出照度を基に上述の画素値補正を行うことで、車両固定物１０の映り込み画像を推定する。
【００５２】
ステップＳ６では、ステップＳ４及びＳ５でそれぞれ推定した、載置物７の映り込み画像及び車両固定物１０の映り込み画像を重畳（加算）して全映り込み画像と推定する。
【００５３】
ステップＳ７では、前方監視カメラ３により、今回、撮像された撮像画像（処理対象画像）と、ステップＳ６にて推定した全映り込み画像とを差分処理して差分画像を生成する。
【００５４】
ステップＳ８では、ステップＳ７で生成した差分画像に対して上記障害物検出処理を実行して（障害物が存在するか否かを検出して）、障害物が存在することを検出したときには、警報装置１１０に対して作動信号を出力する。
【００５５】
ステップＳ２の判定がＮＯであるときに進むステップＳ９（画像記憶モードが設定されている場合に進むステップＳ９）では、前方監視カメラ３の撮像画像を所定条件画像として所定条件画像記憶部１０３に記憶させる。
【００５６】
次に、図４のフローチャートを参照しながら、検出ＥＣＵ１００による障害物検出処理に含まれる載置物映り込み画像推定処理について説明する。
【００５７】
先ず、最初のステップＳＡ４１では、上記読み込んだＮ枚のサンプル画像の画素番号ｋを指定する。最初に本ステップＳＡ４１の処理を行う際には、画素番号を１として、その後は、本ステップＳＡ４１の処理を実行する度にその指定番号を一つづつ増加させる。尚、各サンプル画像におけるｘ行×ｙ列に位置する画素と画素番号ｋとの関係は、ｋ＝（ｘ−１）×ｊ＋ｙと表される。
【００５８】
ステップＳＡ４２では、Ｎ枚のサンプル画像のそれぞれについて、ステップＳＡ４１で指定した画素番号ｋの画素を抽出するとともに、これらの画素値の平均値aveを算出する。
【００５９】
ステップＳＡ４３では、次式に基づいて分散値Ｖを算出する。
【００６０】
【数１】
2010079706.tif 000003
・・・・・（１）
【００６１】
ステップＳＡ４４では、分散値Ｖが所定値よりも小さいか否かを判定し、この判定がＮＯであるときにはステップＳＡ４６に進み、ＹＥＳであるときにはステップＳＡ４５に進む。
【００６２】
ステップＳＡ４５では、現在の指定画素番号ｋを記憶する。
【００６３】
ステップＳＡ４６では、指定画素番号が全画素数ｎに等しいか否か、つまり各サンプル画像の全画素についての分散値Ｖの算出処理が終了したか否かを判定し、この判定がＮＯであるときにはステップＳＡ４１に戻る一方、ＹＥＳであるときにはステップＳＡ４７に進む。
【００６４】
ステップＳＡ４７では、処理対象画像中からステップＳＡ４５で記憶した画素番号ｋに対応する領域、つまり分散値Ｖが所定値未満となる領域を抽出する。
【００６５】
ステップＳＡ４８では、ステップＳＡ４７で抽出した画像において車両固定物１０に対応する領域の画素値を０とした画像を、載置物７の映り込み画像として推定し、しかる後にリターンする。
【００６６】
以上の如く上記実施形態１では、映り込み画像推定部１１５（画像重畳部１０７）において処理対象画像中の全映り込み画像を推定し、差分画像生成部１０８において、全映り込み画像と処理対象画像との差分画像を生成して、該生成した差分画像に対して障害物検出部１０９における障害物検出処理を実行する（図６参照）。ここで、映り込み画像推定部１１５は、固定物画像推定部１０５にて推定された車両固定物１０の映り込み画像と、載置物画像推定部１０６にて推定された載置物７の映り込み画像とを重畳して全映り込み画像を推定するようになっている。したがって、処理対象画像中に含まれる車両固定物１０や載置物７を障害物として誤検出するのを確実に防止することができる。
【００６７】
また、上記実施形態１では、固定物画像推定部１０５（映り込み画像推定部１１５）は、前方監視カメラ３による所定条件画像撮像時と処理対象画像撮像時とにおける照度センサ５の検出照度を基に、所定条件画像記憶部１０３に予め記憶された所定条件画像の各画素の輝度補正を行うことで、処理対象画像中に含まれる車両固定物１０の映り込み画像を推定するようになっており、これにより、車両固定物１０の周辺照度の影響を受けずに簡単にかつ精度良くその映り込み画像を推定することができる。
【００６８】
また、上記実施形態１では、載置物画像推定部１０６は、上記ｎ枚のサンプル画像を比較して、分散値が所定値未満となる画素番号ｋを算出する（ローパスフィルタ処理を実行する）とともに、処理対象画像中における該算出した画素番号ｋに対応する領域画像を、載置物７の映り込み画像と推定するようになっている。ここで、上記実施形態１では、照度センサ５の検出照度が所定照度範囲内、つまりフロントウィンドガラス２に映り込みが生じる照度範囲内にあるときのみ、載置物画像推定部１０６におけるローパスフィルタ処理を実行するようになっており、こうすることで、ローパスフィルタ処理の処理精度を向上させることができ、延いては、処理対象画像中の載置物７の映り込み画像の推定精度を可及的に向上させることが可能となる。
【００６９】
また、上記実施形態１では、上記所定条件画像を上記所定条件画像記憶部１０３に記憶させるための画像記憶モードと、対象物検出を行うための対象物検出モードとを、イグニッションキースイッチ４の所定操作により容易に切り換え可能になっている。
【００７０】
こうすることで、車両Ａが工場より出荷された後であっても、上記イグニッションキースイッチ４を操作して画像記憶モードを設定することで、前方監視カメラ３により所定条件画像を撮像し直すことができる。したがって、例えば車両固定物１０であるダッシュボード６の表面色が時間の経過とともに変化しても、上記のように所定条件画像を撮像し直すことで、固定物画像推定部１０５における映り込み画像の推定精度の低下を確実に防止することができる。
【００７１】
（実施形態２）
図７及び図８は、本発明の実施形態２を示し、前方監視カメラ３及び検出ＥＣＵ１００の構成、並びに検出ＥＣＵ１００による載置物７の映り込み画像推定処理を上記実施形態１とは異ならせたものである。尚、図７において図２と実質的に同じ構成要素については同じ符号を付してその詳細な説明を適宜省略する。
【００７２】
前方監視カメラ３は、本実施形態では、左右一対のカメラ３Ｌ，３Ｒからなるステレオカメラ３で構成されており、左側カメラ３Ｌ及び右側カメラ３Ｒは、互いの撮像領域が重複するように配設されている。尚、以下の説明では、左側カメラ３Ｌにより撮像された画像を左側撮像画像ＧＬといい、右側カメラ３Ｒにより撮像された画像を右側撮像画像ＧＲという。
【００７３】
検出ＥＣＵ１００は、モード設定部１０１と、照度記憶部１０２と、所定条件画像記憶部１０３と、撮像画像記憶部１０４と、固定物画像推定部１０５と、載置物画像推定部１０６と、画像重畳部１０７と、差分画像生成部１０８と、障害物検出部１０９とに加えて、視差量算出部１１１と、視差マップ記憶部１１２をさらに有している。
【００７４】
視差量算出部１１１は、左側カメラ画像ＧＬの所定領域Ｕ内（図９参照）において、右側カメラ画像ＧＲとの対応点を探索しかつ各対応点ごとに両画像ＧＬ，ＧＲ間の視差量を算出し、載置物画像推定部１０６では、この視差量算出部１１１からの対応点情報を基に、処理対象画像中に含まれる載置物７の映り込み画像を推定する。尚、対応点とは、該両撮像画像ＧＬ，ＧＲ間で互いに対応付けられる点であり、例えば、公知の方法であるArea-based matching手法に基づいてこの対応点探索を行うことができる。
【００７５】
また、視差マップ記憶部１１２は、載置物画像推定部１０６における画像推定に際して使用する視差マップＭを記憶する。この視差マップＭは、フロントウィンドガラス２に映り込んだ車両固定物１０が実際にそこに存在すると仮定した仮想車両固定物を、両カメラ３Ｌ，３Ｒにより撮像した場合における両画像ＧＬ，ＧＲ間の各対応点の視差量Ｄｄ（以下、理論視差量Ｄｄという）をマップ化したものである。この視差マップＭは、予め既知とされる車両固定物１０（ダッシュボード６、スピーカ８及びメータフード９）とフロントウィンドガラス２と各カメラ３Ｌ，３Ｒとの幾何学的関係（位置関係及び形状）を基に、三角測量の原理に基づいて作成され、工場出荷前に視差マップ記憶部１１２に予め記憶される。
【００７６】
検出ＥＣＵ１００による対象物検出処理は、本実施形態では、専ら左側撮像画像ＧＬに対して実行される。具体的には図３に示すフローチャートにおいて「処理対象画像」を「左側撮像画像」と変更したものが本実施形態の対象物検出処理であり、したがって、ここではその説明を省略して、実施形態１とは異なる、検出ＥＣＵ１００における載置物映り込み画像推定処理（ステップＳ４の処理）について図８を参照しながら詳細に説明する。
【００７７】
先ず、最初のステップＳＢ４１では、左側撮像画像ＧＬの所定領域Ｕ内において右側画像ＧＲとの対応点を探索する。ここで、所定領域Ｕは、車両固定物１０とフロントウィンドガラス２との位置関係を基に、車両固定物１０及びその上の載置物７の映り込み画像が生じ易い領域として予め設定される領域である。
【００７８】
ステップＳＢ４２では、ステップＳＢ４１で探索した各対応点ごとに両画像ＧＬ，ＧＲ間の視差量Ｄ（以下、実測視差量Ｄという）を算出する。
【００７９】
ステップＳＢ４３では、視差マップ記憶部１１２に記憶された視差マップＭから、各対応点の理論視差量Ｄｄを読み込む。
【００８０】
ステップＳＢ４４では、実測視差量Ｄが理論視差量Ｄｄよりも大きくなる対応点領域を左側撮像画像ＧＬより抽出して、載置物７の映り込み画像として推定し、しかる後に本推定処理を終了する。
【００８１】
以上の如く上記実施形態では、載置物画像推定部１０６は、視差量算出部１１１にて算出された実測視差量Ｄが理論視差量Ｄｄよりも大きくなる対応点領域を処理対象画像中より抽出することで載置物７の映り込み画像として推定するようになっている。この推定原理は以下の通りである。すなわち、車両固定物１０上に載置物７が置かれた場合には、フロントウィンドガラス２に映り込んだ載置物７が実際にそこに存在すると仮定した仮想載置物と前方監視カメラ３との距離は、上記仮想車両固定物と前方監視カメラ３との距離よりも大きくなる。このため、当該仮想載置物を両カメラ３Ｌ，３Ｒで撮像した場合における両画像ＧＬ，ＧＲ間の視差量は、仮想車両固定物を両カメラ３Ｌ，３Ｒで撮像した場合における両画像ＧＬ，ＧＲ間の視差量である理論視差量Ｄｄ未満となる。したがって、上記の如く、載置物画像推定部１０６において、処理対象画像中より実測視差量Ｄが理論視差量Ｄｄよりも大きくなる対応点領域を抽出することで、載置物７の映り込画像を精度良く確実に推定することが可能となる。
【００８２】
（他の実施形態）
本発明の構成は、上記実施形態に限定されるものではなく、それ以外の種々の構成を包含するものである。すなわち、上記各実施形態では、固定物画像推定部１０５（映り込み画像推定部１１５）は、前方監視カメラ３による所定条件画像撮像時と処理対象画像撮像時とにおける照度センサ５の検出照度の比較を基に、上記所定条件画像の輝度補正を行うようにしているが、例えば、両撮像時におけるカメラ設定値（カメラゲイン及び露出値の少なくとも一方）の比較を基に所定条件画像の輝度補正を行うようにしてもよい。具体的には、例えば、処理対象画像撮像時のカメラゲインが所定条件画像撮像時のＩ倍であれば、固定物画像推定部１０５にて、所定条件画像の各画素の画素値をＩ倍した画像を載置物の映り込み画像と推定すればよく、同様に、処理対象画像撮像時の露出値が所定条件画像撮像時のＪ倍であれば、固定物画像推定部１０５にて、所定条件画像の各画素の画素値をＪ倍した画像を載置物の映り込み画像と推定するようにすればよい。
【００８３】
上記各実施形態では、車両固定物１０を、車両Ａに工場出荷時から固定設置されているものと定義し、載置物７を工場出荷後に車両固定物１０上に置かれたものと定義しているが、これに限ったものではなく、例えば、ダッシュボード６上のレーダ探知機のように、車両Ａの工場出荷後に、車両固定物１０上に固定設置されて殆ど動かさない物については車両固定物１０に含めるようにしてもよい。
【００８４】
また、上記各実施形態では、差分画像生成部１０８にて生成された差分画像を基に、車両前方の障害物検出を行うようにしているが、これに限ったものではなく、例えば、白線検出を行うようにしてもよい。
【００８５】
また、上記各実施形態では、前方監視カメラ３によりフロントウィンドガラス２を通して車両前方を撮像するようにしているが、これに限ったものではなく、例えば、リヤウィンドガラスを通して車両後方を撮像するようにしてもよい。
【００８６】
また、上記実施形態２では、車両固定物１０と各カメラ３Ｌ，３Ｒとの位置関係及び形状を基に、三角測量の原理に基づいて視差マップＭを作成するようにしているが、これに限ったものでははく、例えばフロントウィンドガラス２に映り込んだ車両固定物１０を、両カメラ３Ｌ，３Ｒにより実際に撮像した撮像画像ＧＬ，ＧＲを基に、該両画像間ＧＬ，ＧＲ間の対応点の視差量をマップ化して視差マップＭを作成するようにしてもよい。
【００８７】
また、上記実施形態では、イグニッションキースイッチ４を所定操作することでモード切り換えを行うようにしているが、これに限ったものではなく、例えば、エンジンルーム内に設けたアース端子をグランドさせることで、画像記憶モードが設定され、グランドを解除することで対象物検出モードが設定されるようにしてもよい。
【産業上の利用可能性】
【００８８】
本発明は、車両に搭載されかつ該車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された撮像画像を基に車両外方に存在する対象物を検出する車両用対象物検出装置に有用であり、特に、撮像カメラによりフロントウィンドガラスを通して車両前方を撮像する車両用対象物検出装置に有用である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る車両用対象物検出装置としての障害物検出装置１を搭載した車両を示す、その上側から視た模式図である。
【図２】障害物検出装置１の制御構成を示すブロック図である。
【図３】検出ＥＣＵ１００における障害物検出処理を示すフローチャートである。
【図４】検出ＥＣＵ１００における障害物検出処理に含まれる載置物映り込み画像推定処理を示すフローチャートである。
【図５】フロントウィンドガラスへの映り込み画像を示す模式図である。
【図６】処理対象画像と全映り込み画像との差分処理を示す模式図である。
【図７】実施形態２を示す図２相当図である。
【図８】実施形態２を示す図４相当図である。
【図９】ステレオカメラによる撮像画像を示す模式図である。
【図１０】処理対象画像中に含まれる載置物の映り込み画像の判別に使用する視差マップを示す模式図である。
【符号の説明】
【００９０】
Ａ      車両
１      障害物検出装置（車両用対象物検出装置）
２      フロントウィンドガラス（ウィンドガラス）
３      前方監視カメラ（撮像カメラ、ステレオカメラ）
３Ｌ    左側カメラ（撮像カメラ）
３Ｒ    右側カメラ（撮像カメラ）
４      イグニッションキースイッチ（モード切換え手段）
５      照度センサ
６      ダッシュボード（車両固定物）
７      載置物
１０    車両固定物
１０１  モード設定部（モード切換え手段）
１０３  所定条件画像記憶部
１０５  固定物画像推定部
１０６  載置物画像推定部
１０７  画像重畳部 
１０８  差分画像生成部
１０９  障害物検出部（対象物検出部）
１１１  視差量算出部
１１５  映り込み画像推定部
【図１】
2010079706.tif 000004
【図２】
2010079706.tif 000005
【図３】
2010079706.tif 000006
【図４】
2010079706.tif 000007
【図５】
2010079706.tif 000008
【図６】
2010079706.tif 000009
【図７】
2010079706.tif 000010
【図８】
2010079706.tif 000011
【図９】
2010079706.tif 000012
【図１０】
2010079706.tif 000013