(57)【要約】【課題】車両前方の撮像画像に基づいて、運転者の視線方向の障害物を適切に認識する。【解決手段】車両前方の撮像画像から運転者の視線方向にある障害物を検出し、この障害物の画像を表示させるために、投影機２と、運転者を撮像する運転者撮像カメラ３と、運転者の視線方向を検出する視線方向検出ＥＣＵ４と、車両の前方を撮像する前方撮像カメラ５と、車両前方にある障害物を検出する前方障害物検出ＥＣＵ６と、前方撮像カメラ５及び投影機２を制御する制御ＥＣＵ７とを備えており、この制御ＥＣＵ７は、視線方向検出ＥＣＵ４から出力された視線方向情報と前方障害物検出ＥＣＵ６から出力された障害物画像及び位置情報とに基づいて、前方撮像カメラ５に対して測光部分を指示する測光位置制御を行うと共に、撮像画像又は障害物画像の輝度を調整して投影機２に障害物画像を投影させる輝度調整制御を行う。【選択図】図１
2008222061.tif 000002
【特許請求の範囲】
【請求項１】
運転者の視線方向を検出する視線方向検出手段と、
車両の外方を撮像する撮像手段と、
前記撮像手段により得られる撮像画像における前記視線方向部分の輝度を制御する輝度調整手段と、
前記撮像画像から前記視線方向に位置する対象物を検出する対象物検出手段と、を有することを特徴とする車両用撮像装置。
【請求項２】
表示器と、
前記対象物検出手段で検出した対象物に基づき表示画像を生成して前記表示器に表示させる表示制御手段と、を更に有することを特徴とする請求項１に記載の車両用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から対象物を検出する車両用撮像装置に関する。
【背景技術】
【０００２】
従来、夜間でも視線方向の障害物を認識することができるように、前方障害物レーダで車両前方の障害物を検出すると共に、車両内に設置されたカメラにより運転者の視線方向の障害物を検出し、視線方向にある障害物の情報をフロントウインドやヘッドアップディスプレイ等に表示させる装置が知られている。（例えば特許文献１，２参照）。
【０００３】
ところで、夜間でも視線方向の障害物を認識するための手段として、カメラで撮像した画像を利用する手段が考えられる。この手段は、カメラで撮像した車両前方の撮像画像から障害物を検出すると共に、運転者の視線方向の障害物を検出して、この障害物の情報をフロントウインドやヘッドアップディスプレイ等に表示させるものである。
【特許文献１】特開２００２−０２５０００号公報
【特許文献２】特開２００２−０１９４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像を利用して視線方向の障害物を認識する場合、対向車のヘッドライト等の影響があると、カメラのゲインが過度にオーバー又はアンダーとなるため、ハレーション等によって視線方向の状況を撮像画像から認識することができないという問題があった。
【０００５】
そこで、本発明は、撮像した画像に基づいて、運転者の視線方向の検出物を適切に認識することができる車両用撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る車両用撮像装置は、運転者の視線方向を検出する視線方向検出手段と、車両の外方を撮像する撮像手段と、撮像手段により得られる撮像画像における視線方向部分の輝度を制御する輝度調整手段と、撮像画像から視線方向に位置する対象物を検出する対象物検出手段と、を有することを特徴とする。
【０００７】
本発明に係る車両用撮像装置によれば、撮像画像における視線方向部分の輝度を調整することにより、撮像画像から視線方向に位置する対象物を容易に検出することが可能となる。例えば、夜間において視線方向から対向車が到来し、この対向車のヘッドライトの光によって視線方向に存在する対象物が見えなくなるような状況であっても、撮像画像における視線方向部分の輝度は適切に調整されるため、この撮像画像から対象物を検出することが可能となる。
【０００８】
この場合、表示器と、対象物検出手段で検出した対象物に基づき表示画像を生成して表示器に表示させる表示制御手段と、を更に有することが好ましい。この車両用撮像装置によれば、検出した対象物に基づいて生成された表示画像を表示させることにより、運転者に対して、視線方向の対象物の存在をより適切に認識させることが可能となる。
【発明の効果】
【０００９】
本発明によれば、撮像した画像に基づいて、運転者の視線方向の検出物を適切に認識することができ、撮像画像にハレーションが生じやすい夜間でも運転者に対して、より適切に検出物を認識させることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明に係る車両用撮像装置の好適な実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１１】
図１は、本発明に係る第１の実施形態の車両用撮像装置の構成を示した図である。車両用撮像装置１は、車両前方の撮像画像から運転者の視線方向にある障害物を検出し、この障害物の画像を表示させるナイトビューシステムに適用されるものである。そして、車両用撮像装置１は、図１に示すように、投影機（表示器）２と、運転者を撮像する運転者撮像カメラ（視線方向検出手段）３と、運転者の視線方向を検出する視線方向検出ＥＣＵ（視線方向検出手段）４と、車両の前方を撮像する前方撮像カメラ（撮像手段）５と、車両前方にある障害物を検出する前方障害物検出ＥＣＵ（対象物検出手段）６と、前方撮像カメラ５及び投影機２を制御する制御ＥＣＵ（輝度調整手段、対象物検出手段、表示制御手段）７とを備えている。
【００１２】
投影機２は、制御ＥＣＵ７で指示された画像等を投影するプロジェクタである。この投影機２は、フロントガラス（不図示）に向けて画像等を投影できるように、例えば、メーターパネル（不図示）上部に固定されている。このフロントガラスには、投影機２から画像等が投影される位置にウインドシールドスクリーン８が貼り付けられている。
【００１３】
ウインドシールドスクリーン８は、投影機２から投影される画像等を運転席に座った運転者に向けて反射する特性を備える透明のフィルムにより形成されている。そのため、運転者はウインドシールドスクリーン８及びフロントガラスを通して車両前方の景色を見ることができ、しかも、ウインドシールドスクリーン８に投影機２から投影された画像等を見ることができる。
【００１４】
運転者撮像カメラ３は、例えばステアリングカバーの内部に設置されて、運転席に座った運転者の顔を撮像するカメラである。この運転者撮像カメラ３は、撮像した運転者の顔画像ａを映像信号として視線方向検出ＥＣＵ４に出力する。
【００１５】
視線方向検出ＥＣＵ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットである。この視線方向検出ＥＣＵ４は、運転者撮像カメラ３と制御ＥＣＵ７とに接続されており、運転者撮像カメラ３で撮像した顔画像ａに基づいて運転者の視線方向を検出する。そして、視線方向検出ＥＣＵ４は、この視線方向を示す視線方向情報ｂを制御ＥＣＵ７に出力する。
【００１６】
前方撮像カメラ５は、例えば車両のインナーバックミラーの内部に設置されて、車両の前方を撮像するカメラである。この前方撮像カメラ５は、測光機能及びゲイン（露光）調整機能を備えており、測光値に基づいてゲインを調整することができるように構成されている。また、前方撮像カメラ５の測光機能は、撮像エリアが複数の測光部分に分割されており、測光部分ごとに焦点を当てて測光できるようになっている。そして、前方撮像カメラ５は、制御ＥＣＵ７から指示された測光部分で測光し、撮像した車両前方の撮像画像ｃを映像信号として前方障害物検出ＥＣＵ６に出力する。
【００１７】
前方障害物検出ＥＣＵ６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットである。この前方障害物検出ＥＣＵ６は、前方撮像カメラ５と制御ＥＣＵ７とに接続されており、前方撮像カメラ５で撮像した撮像画像ｃから障害物を検出し、この障害物の障害物画像ｄと位置情報ｅとを制御ＥＣＵ７に出力する。
【００１８】
制御ＥＣＵ７は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットである。この制御ＥＣＵ７は、投影機２、視線方向検出ＥＣＵ４及び前方障害物検出ＥＣＵ６に接続されている。そして、制御ＥＣＵ７は、視線方向検出ＥＣＵ４から出力された視線方向情報ｂに基づいて、前方撮像カメラ５に対して測光部分ｆを指示する測光位置制御を行う。また、制御ＥＣＵ７は、障害物画像の輝度に対する補正量を示した補正量テーブルを参照しながら、視線方向情報ｂと前方障害物検出ＥＣＵ６から出力された障害物画像ｄ及び位置情報ｅとに基づいて、この障害物画像ｄの輝度を調整して投影機２に障害物画像ｇを投影させる輝度調整制御を行う。
【００１９】
次に、図２〜５を参照しながら、車両用撮像装置１の動作について説明する。図２は、視線方向検出ＥＣＵの動作を示すフローチャート、図３は、制御ＥＣＵの測光位置制御動作を示すフローチャート、図４は、前方障害物検出ＥＣＵの動作を示すフローチャート、図５は、制御ＥＣＵの輝度調整制御動作を示すフローチャートである。
【００２０】
まず、運転者が車両を始動させると、運転者撮像カメラ３が運転者の撮像を開始し、前方撮像カメラ５が車両前方の撮像を開始する。
【００２１】
その後、図２に示すように、視線方向検出ＥＣＵ４は、運転者撮像カメラ３が撮像した運転者の顔画像ａが入力されると（ステップＳ１１）、この顔画像ａのエッジを際立たせて特徴点を検出しやすくするため、ソーベルフィルタなどのフィルタ処理を施す（ステップＳ１２）。そして、視線方向検出ＥＣＵ４は、顔画像ａに対して画像処理を行うことにより、顔画像ａから顔の位置を検出して（ステップＳ１３）、目尻，目頭，瞳の中心，鼻腔，口端をそれぞれ示す特徴点を検出する（ステップＳ１４）。
【００２２】
次に、視線方向検出ＥＣＵ４は、各特徴点から運転者の顔方向を検出すると共に（ステップＳ１５）、視線方向を検出し（ステップＳ１６）、視線方向を示す視線方向情報ｂを制御ＥＣＵ７に出力する（ステップＳ１７）。なお、ステップ１６において視線方向を検出できなかった場合、視線方向検出ＥＣＵ４は、顔方向は視線方向と同じであると仮定して、視線方向情報ｂを制御ＥＣＵ７に出力する。
【００２３】
続いて、図３に示すように、制御ＥＣＵ７は、視線方向検出ＥＣＵ４から出力された視線方向情報ｂが入力されると（ステップＳ２１）、ＥＣＵ６を介して取得された前方撮像カメラ５の各測光部分と視線方向情報ｂとを対比して、前方撮像カメラ５の全測光部分の中から視線方向に位置する測光部分ｆを選択する（ステップＳ２２）。次に、制御ＥＣＵ７は、前方撮像カメラ５に対して、選択した測光部分ｆに焦点を当てて測光するように指示する（ステップＳ２３）。
【００２４】
制御ＥＣＵ７から測光部分ｆの指示を受けた前方撮像カメラ５は、この測光部分ｆで測光を行い、撮像画像ｃにおける測光部分ｆの輝度が所定の範囲内になるように前方撮像カメラ５のゲインを調整して、車両前方の撮像画像ｃを撮像する。そして、前方撮像カメラ５は、撮像した車両前方の撮像画像ｃを前方障害物検出ＥＣＵ６に出力する。
【００２５】
一方、図４に示すように、前方障害物検出ＥＣＵ６は、前方撮像カメラ５が撮像した車両前方の撮像画像ｃが入力されると（ステップＳ３１）、この撮像画像ｃのエッジを際立たせて障害物を検出しやすくするため、ソーベルフィルタなどのフィルタ処理を施す（ステップＳ３２）。次に、前方障害物検出ＥＣＵ６は、撮像画像ｃに対して画像処理を行うことにより、撮像画像ｃに存在する全ての障害物を検出する（ステップＳ３３）。次に、検出した全ての障害物の障害物画像ｄを抽出して（ステップＳ３４）、その位置を算出する（ステップＳ３５）。そして、前方障害物検出ＥＣＵ６は、算出した位置を示す位置情報ｅに障害物画像ｄを対応付けて制御ＥＣＵ７に出力する（ステップＳ３６）。
【００２６】
その後、図５に示すように、制御ＥＣＵ７は、視線方向検出ＥＣＵ４から出力された視線方向情報ｂと前方障害物検出ＥＣＵ６から出力された障害物画像ｄ及び位置情報ｅとが入力されると（ステップＳ４１）、視線方向情報ｂと位置情報ｅとを対比して、全ての障害物画像ｄの中から視線方向に位置する障害物画像ｄを選択する（ステップＳ４２）。そして、制御ＥＣＵ７は、選択した障害物画像ｄの輝度が所定の範囲内になるように、補正量テーブルを参照しながら障害物画像ｄに対して画像処理を施して輝度を補正する（ステップＳ４３）。なお、ステップＳ４３では、障害物画像ｄの輝度が所定の範囲内にあれば、障害物画像ｄの輝度を補正しないが、障害物画像ｄの輝度が所定の範囲よりも低ければ、画像処理により障害物画像ｄの輝度を上げるように補正し、障害物画像ｄの輝度が所定の範囲よりも高ければ、画像処理により障害物画像ｄの輝度を下げるように補正する。そして、制御ＥＣＵ７は、投影機２に対して上記ステップＳ４３で補正した障害物画像ｇを投影するように指示する（ステップＳ４４）。
【００２７】
制御ＥＣＵ７から投影指示を受けた投影機２は、上記ステップＳ４３で輝度が補正された障害物画像ｇをウインドシールドスクリーン８に投影する。
【００２８】
図６は、夜間に車両前方から対向車が到来した場合における運転者の視界を示した図である。図において、星印は運転者の視線方向を示しており、実際には、この視線方向に障害物が存在している。図に示すように、対向車のヘッドライトの光によって運転者の視線方向に存在する障害物が見えなくなってしまう。そして、通常の前方撮像カメラで車両前方を撮像すると、対向車のヘッドライトの光によって撮像画像の視線方向部分がハレーションを起こしてしまうため、この撮像画像から障害物を検出することができず、運転者は障害物を認識することができない。
【００２９】
これに対して、車両用撮像装置１によれば、撮像画像における視線方向部分の輝度が適正になるように輝度を調整するため、図７に示すように、投影機２から投影される障害物画像１５ａ，１５ｂ，１５ｃが鮮明に映し出されるようになり、運転者は車両前方に存在する障害物（人及び対向車）を認識することができる。
【００３０】
このように、本実施形態に係る車両用撮像装置１によれば、撮像画像から視線方向に位置する障害物を容易に検出することが可能となり、更に、運転者に対して、視線方向の障害物の存在を適切に認識させることが可能となる。このため、ダイナミックレンジの広い特殊な撮像素子や構造を備えた高価なカメラを用いることなく、前方撮像カメラとして普通のカメラ等を用いても、障害物を容易に検出することが可能となる。
【００３１】
また、本実施形態に係る車両用撮像装置１によれば、制御ＥＣＵ７が前方撮像カメラ５の測光部分を指示することにより、視線方向における撮像画像の輝度が所定値（又は所定の範囲内）になるように前方撮像カメラ５のゲインを調整させるため、前方撮像カメラ５で撮像する視線方向における撮像画像の輝度をより適切に調整することができ、撮像画像から視線方向にある障害物画像をより容易に検出することが可能となる。
【００３２】
また、本実施形態に係る車両用撮像装置１によれば、制御ＥＣＵ７が、視線方向における障害物画像の輝度が所定の範囲内になるように、前方障害物検出ＥＣＵ６から出力される障害物画像を画像処理により補正することで、視線方向における障害物画像をより適切な輝度に調整することが可能となる。更に、前方撮像カメラ５によって撮像した後に輝度を調整することができるため、車両用撮像装置１をフレキシブルに構成させることが可能となり、例えば、制御ＥＣＵ７から前方撮像カメラ５に対して測光制御を行うことができない場合（ゲインコントロールができない場合）であっても、撮像画像における視線方向部分の輝度を適切に調整することが可能となる。
【００３３】
また、障害物画像をウインドシールドスクリーン８に投影することで、運転者の視線方向に障害物画像を投影させることができるため、運転者に対して、車両前方を見ながら障害物の存在をより適切に認識させることが可能となり、検出物の状態をより確実に認識させることが可能となる。更に、実際の障害物の形態と投影される障害物画像の形態が略一致するため、運転者に与える違和感を最小限に抑えて、視線方向の障害物の存在及び障害物が何であるのかをより適切に認識させることができる
【００３４】
なお、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、障害物画像を表示する一例として、障害物画像を投影機２からウインドシールドスクリーン８に投影させるように説明したが、障害物画像を表示して運転者に認識させることができれば如何なる手段で障害物画像を表示してもよい。そのため、例えば、ＧＰＳ用のモニタやヘッドアップディスプレイ等に障害物画像を表示させても良い。
【００３５】
また、上記実施形態では、撮像画像から抽出した障害物画像を投影機２で投影するように説明したが、障害物を示す画像や映像を投影することができれば如何なる画像や映像を投影するようにしてもよい。そのため、例えば、図８に示すように、視線方向にある障害物の位置情報に基づき障害物を矩形のマークで表し、制御ＥＣＵ７は投影機２に対してマーク２０ａ，２０ｂ，２０ｃを投影させるようにしても良い。このようにすることで、ウインドシールドスクリーン８には、実際の障害物とは異なる形態の画像が投影されるため、運転者に対して、障害物の存在をより際立たせることができ、視線方向の障害物をより適切に認識させることが可能となる。
【００３６】
また、上記実施形態では、撮像方向、視線方向および投影方向は、車両の前方のみとして説明したが、これらの方向は特に限定されるものではなく、車両の外方であれば如何なる方向でもよい。そのため、例えば、車両の側方及び後方を撮像するカメラと、運転者の全方向の顔画像を撮像するカメラと、全てのウインドに貼り付けられたウインドシールドスクリーンとを備えることで、全方向において、視線方向の障害物を容易に検出し、表示させることが可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る実施形態の車両用撮像装置の構成を示した図である。
【図２】視線方向検出ＥＣＵの動作を示すフローチャートである。
【図３】制御ＥＣＵの測光位置制御動作を示すフローチャートである。
【図４】前方障害物検出ＥＣＵの動作を示すフローチャートである。
【図５】制御ＥＣＵの輝度調整制御動作を示すフローチャートである。
【図６】夜間に車両前方から対向車が到来した場合における運転者の視界を示した図である。
【図７】図６の状況において、本実施形態に係る車両用撮像装置を備えた車両から見た運転者の視界を示した図である。
【図８】図６の状況において、障害物をマークで表す車両撮像装置を備えた車両から見た運転者の視界を示した図である。
【符号の説明】
【００３８】
１…車両用撮像装置、２…投影機（表示器）、３…運転者撮像カメラ（視線方向検出手段）、４…視線方向検出ＥＣＵ（視線方向検出手段）、５…前方撮像カメラ（撮像手段）６…前方障害物検出ＥＣＵ（対象物検出手段）、７…制御ＥＣＵ（輝度調整手段、対象物検出手段、表示制御手段）。
【図１】
2008222061.tif 000003
【図２】
2008222061.tif 000004
【図３】
2008222061.tif 000005
【図４】
2008222061.tif 000006
【図５】
2008222061.tif 000007
【図６】
2008222061.tif 000008
【図７】
2008222061.tif 000009
【図８】
2008222061.tif 000010