(57)【要約】【課題】自車両側方の画像を撮影する際の露光制御をより適切に行うこと。【解決手段】自動車１は、レーダによって検出された自車両側方の周辺車両が、自車両側方を撮影する撮影部１０の撮影範囲に進入して来るまでの時間を算出する。そして、周辺車両が撮影範囲に進入するまでは、撮影範囲全体を基準として露光制御を行い、周辺車両が撮影範囲に進入する直前に、撮影範囲における周辺車両が進入して来る側の端部を基準として露光制御を行う。そのため、自車両側方の画像を撮影する際に、周辺車両が障害物となり、露光制御が乱されることを防ぐことができる。したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。【選択図】図１
2009038463.tif 000002
【特許請求の範囲】
【請求項１】
自車両側方の画像を撮影し、撮影画像を基に自車両側方の環境を認識する際に、自車両周辺を走行する周辺車両を検出し、該周辺車両が自車両側方の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように、露光調整を行うことを特徴とする露光調整方法。
【請求項２】
自車両側方の画像を撮影する撮影手段と、
自車両周辺を走行する周辺車両を検出する車両検出手段と、
前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、
を備えることを特徴とする車両用撮像装置。
【請求項３】
前記露光制御手段は、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入するまでの進入時間と、現在の撮影画像における露光状態から設定された露光状態とするまでに要する制御時間とを算出し、該進入時間が制御時間より短くなるときに、撮影画像において車両が進入する部分の露光状態を設定された状態に変化させることを特徴とする請求項２記載の車両用撮像装置。
【請求項４】
前記撮影手段の露光調整に関する設定パラメータを記憶する記憶手段をさらに備え、
前記露光制御手段は、前記車両検出手段によって検出された周辺車両が、設定された相対速度以上で自車両側方を通過すると予測した場合、該周辺車両が撮影範囲に進入する直前の露光調整に関する設定パラメータを前記記憶手段に記憶し、該周辺車両が撮影範囲から離脱した場合に、前記記憶手段に記憶した露光調整に関するパラメータに再設定することを特徴とする請求項２または３記載の車両用撮像装置。
【請求項５】
前記露光制御手段は、撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理に適合した目標輝度値に調整する第１の露光制御と、撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理を行う上で許容される範囲の輝度値であって前記目標輝度値よりも平均輝度値に近い輝度値である目標許容輝度値に調整する第２の露光制御とを切り換えて実行することを特徴とする請求項２から４のいずれか１項に記載の車両用撮像装置。
【請求項６】
前記露光制御手段は、車速が高いほど、前記撮影手段において撮影画像の平均輝度値を目標輝度値に変化させる露光制御の制御感度を低くすることを特徴とする請求項２から５のいずれか１項に記載の車両用撮像装置。
【請求項７】
車体と、
自車両における車体側方の画像を撮影する撮影手段と、
自車両周辺を走行する周辺車両を検出する車両検出手段と、
前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、
前記撮影手段によって撮影された画像を基に、自車両側方の環境を認識し、その認識結果に基づく車両制御を行う車両制御手段と、
を備えることを特徴とする自動車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の画像を撮影する際の露光調整方法、その露光調整方法を適用した車両用撮像装置およびそれを備えた自動車に関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Charge Coupled Devices）カメラあるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いたカメラ等の撮像装置を用いて、自車両前方の画像を撮影し、撮影された画像から自車両前方の環境を認識する技術が用いられている。
このような技術においては、撮影された画像を基に車線の境界線等を認識することから、認識対象となる車線の境界線部分等に画像の白とびや黒つぶれ等が発生すると、環境の認識を正確に行うことが困難となる。
【０００３】
そこで、撮影画像から自車両前方の環境を認識する技術において、撮像装置の露光制御を正確に行い、適切な露光量で画像を撮影する手法が提案されている。
例えば、特許文献１には、ＣＣＤカメラによって撮影された自車両前方の画像を基に障害物（先行車両等）を検出し、検出した障害物と自車両との間の路面にあたる画像領域を、露光制御の対象の領域（処理領域）として設定する技術が開示されている。
【０００４】
即ち、障害物の画像は、走行環境を構成する路面等の画像に比して、輝度が大きく異なり、正確な露光制御を妨げる場合があることから、特許文献１に記載された技術においては、障害物が存在しない処理領域内の画像情報に基づいて、撮像装置における次回の露光量を演算することとしている。
これにより、障害物の画像に影響されることなく、正確な露光制御を行い、自車両前方の環境を認識するのに適した画像の撮影を図るものである。
【特許文献１】特開平１０−０６６０６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術を含め、従来の技術においては、主に自車両前方の画像を撮影することが想定されているため、これらの技術を用いた場合、自車両側方における画像を撮影しようとすると、適切な露光制御を行えない場合が生じる。
例えば、自車両の側方を比較的大きな相対速度（例えば２０ｋｍ／ｈ程度）で追い越す車両がある場合、走行環境を構成する路面等の画像と輝度が大きく異なる車両の画像が、画面内を横切ることになる。すると、それにより一時的に露光制御が乱される可能性がある。
なお、自車両側方を撮影する撮像装置は、視野を比較的広く取ることから、上述の状況がより高い割合で生じ得る。
本発明の課題は、自車両側方の画像を撮影する際の露光制御をより適切に行うことである。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、本発明に係る露光調整方法は、
自車両側方の画像を撮影し、撮影画像を基に自車両側方の環境を認識する際に、自車両周辺を走行する周辺車両を検出し、該周辺車両が自車両側方の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように、露光調整を行うことを特徴としている。
【０００７】
また、本発明に係る車両用撮像装置は、
自車両側方の画像を撮影する撮影手段と、自車両周辺を走行する周辺車両を検出する車両検出手段と、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段とを備えることを特徴としている。
【０００８】
また、本発明に係る自動車は、
車体と、自車両における車体側方の画像を撮影する撮影手段と、自車両周辺を走行する周辺車両を検出する車両検出手段と、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、前記撮影手段によって撮影された画像を基に、自車両側方の環境を認識し、その認識結果に基づく車両制御を行う車両制御手段とを備えることを特徴としている。
【発明の効果】
【０００９】
本発明に係る露光調整方法によれば、自車両周辺を走行する周辺車両が自車両側方の撮影範囲に進入するときに、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように露光調整が行われる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な露光調整方法を実現できる。
【００１０】
また、本発明に係る車両用撮像装置によれば、検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な車両用撮像装置を実現できる。
【００１１】
また、本発明に係る自動車によれば、検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。そして、そのように撮影された画像を基に、自車両側方の環境を認識し、車両制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な自動車を実現できる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照して本発明を適用した自動車の実施の形態を説明する。
（第１実施形態）
（構成）
図１は、本発明に係る自動車１の構成を示す図である。
図１において、自動車１は、車体１Ａと、撮影部１０と、検出部２０と、処理部３０と、車両制御部４０とを備えている。なお、撮影部１０、検出部２０および処理部３０によって、車両用撮像装置１Ｂが構成されている。
【００１３】
これらのうち、撮影部１０は、車体１Ａの側面に設置されて、自車両の側方を撮影するものであり、レンズ１１と、イメージセンサ１２と、Ａ／Ｄ（Analog to Digital）変換器１３と、露光調整部１４と、画像メモリ１５とをさらに備えている。なお、撮影部１０は、車体１Ａの左右の側面それぞれに設置され、これらは同様の機能を有するものである。
レンズ１１は、被写体からの光をイメージセンサ１２上に結像させる。
イメージセンサ１２は、ＣＣＤあるいはＣＭＯＳセンサによって構成され、レンズ１１によって結像された被写体の画像をアナログ信号として出力する。また、イメージセンサ１２は、電子シャッタの機能を備えており、露光調整部１４によって設定された露光時間だけ光を蓄積する。
【００１４】
Ａ／Ｄ変換器１３は、イメージセンサ１２によって出力された撮影画像のアナログ信号を量子化し、デジタルデータとして出力する。
露光調整部１４は、現在の撮影画像の輝度平均値と、画像処理を行うためにより適する輝度として設定された目標値（以下、適宜「目標適正輝度値」と言う。）との差に応じて、撮影画像の輝度が目標適正輝度値となるようイメージセンサ１２における露光時間の設定（電子シャッタ速度の設定）を行う。
また、露光調整部１４は、領域設定部３２によって露光対象領域が設定され、露光演算部３１によって、その露光対象領域における輝度を設定された目標値とさせる指示が行われた場合、露光対象領域の輝度平均値をその目標値とするように露光時間の設定を行う。
画像メモリ１５は、Ａ／Ｄ変換器１３によって出力された撮影画像のデータを記憶する。
【００１５】
次に、検出部２０は、車体１Ａの四隅に設置されたレーダを有し、自車両周辺の走行車両や道路環境を検出する。具体的には、検出部２０は、周辺車両検出部２１と、自車速度検出部２２と、道路環境検出部２３とを備えている。
周辺車両検出部２１は、レーザレーダ、赤外線レーダあるいは超音波レーダ等によって構成され、周辺車両の位置および自車両との相対速度を検出する。
自車速度検出部２２は、各車輪に設置された車輪速センサ（不図示）によって出力される車輪速を基に、自車両の車速Ｖを検出する。
【００１６】
道路環境検出部２３は、ＧＰＳ（Global Positioning System）機能およびＶＩＣＳ（Vehicle Information and Communication System）機能を備えたカーナビゲーションシステムを含んで構成され、カーナビゲーションシステムが有する地図データベースや、ＶＩＣＳ機能によって受信される交通情報を基に、自車両が走行している道路環境（例えばトンネルやカーブの有無等）を検出する。
【００１７】
次に、処理部３０は、撮影部１０によって撮影された自車両側方の画像、および、検出部２０によって検出された自車両周辺の情報を基に、自車両側方の環境を適確に認識するための露光に関する処理を行う。具体的には、処理部３０は、露光演算部３１と、領域設定部３２と、位置相対速度算出部３３とを備えている。
露光演算部３１は、領域設定部３２によって設定される露光対象領域（露光制御の対象領域）について、領域内の全画素における現在の輝度合計値を算出し、それを領域内の全画素数で除すことにより、領域内の画素の平均輝度値を算出する。そして、露光演算部３１は、算出した平均輝度値と輝度の目標値との差を算出し、算出した輝度値の差に応じて、露光調整部１４の露光調整に要する時間ｔを算出する。
【００１８】
ここで、上述の露光調整部１４においては、露光制御を行う場合、撮影画像の輝度平均値と設定された目標値との差に応じて、電子シャッタ速度をフィードバック制御し、撮影画像の輝度平均値を目標値に収束させる。このとき、車速が高いほど、自車両周辺の撮影画像における輝度変化が激しくなる傾向にある（特に自車両側方の画像においては顕著である）。そのため、露光演算部３１が車速の高さを判定し、車速の高さに応じて、露光調整部１４におけるフィードバック制御の感度を低くさせることが可能である。
【００１９】
即ち、露光調整部１４は、撮影画像の輝度平均値と目標値との差が、設定された閾値の範囲内である場合には、撮影画像の露光状態が目標とする露光状態に収束していると判定して電子シャッタ速度を維持する。一方、露光調整部１４は、撮影画像の輝度平均値と目標値との差が、設定された閾値を超えている場合、撮影画像の輝度平均値と目標値との差が小さくなるよう電子シャッタ速度の調整を行う。そのため、撮影画像の輝度平均値と目標値との差について設定された閾値を小さくすると、フィードバック制御の感度が高くなり、反対に大きくすると、フィードバック制御の感度が低くなる。そこで、露光演算部３１が車速を監視し、車速が高いほど、露光調整部１４における閾値（撮影画像の輝度平均値と目標の輝度値との差について設定された閾値）を大きくさせることで、撮影画像の輝度変化が激しい場合でも、露光制御が安定しない状態となることを防ぐことができる。
【００２０】
領域設定部３２は、撮影部１０によって撮影された自車両側方の画像と、検出部２０によって検出された自車両周辺の情報と、位置相対速度算出部３３の算出結果（自車両と周辺車両の相対速度等）を基に、撮影範囲内のいずれの位置を露光対象領域とするかを決定する。例えば、領域設定部３２は、自車両側方を他車両が追い越す場合等には、撮影範囲内の後方側端部（撮影範囲の１／３等）の領域を露光対象領域とし、自車両周辺に他車両がいない場合には、撮影範囲内全体を露光対象領域とする。
位置相対速度算出部３３は、検出部２０によって検出された自車両の周辺車両に関する情報から、周辺車両の位置、自車両との相対速度、撮影範囲内に進入するまでの時間ＴＴＳを算出する。
【００２１】
次に、車両制御部４０は、撮影部１０によって撮影された自車両側方の画像を基に、自車両側方の隣接車線や周辺車両等、自車両側方の環境を認識し、その認識結果に基づいて、自動車１における各種機器の制御を行う。例えば、車両制御部４０は、自車両側方の認識結果に基づいて、ディスプレイあるいはスピーカーにより、周辺車両の接近を報知したり、車線変更を妨げる要因（隣接車線における周辺車両等）が存在する場合に、操舵反力を付与することにより、車線変更に対する警告を行うといった制御を行う。
【００２２】
（露光制御処理）
次に、自動車１が実行する露光制御処理について説明する。
図２は、自動車１が実行する露光制御処理を示すフローチャートである。
図２において、露光制御処理は、自動車１のイグニションオンと共に開始され、イグニションオフとされるまで繰り返し実行される。
露光制御処理が開始されると、処理部２０は、自動車１に備えられたセンサあるいは装置から各種データを読み込む。このとき、処理部２０は、撮影部１０によって撮影された自車両側方の画像と、周辺車両検出部２１によって検出された周辺車両の位置および自車両との相対速度を読み込む（ステップＳ１０１）。
【００２３】
次いで、検出部２０は、自車速度検出部２２によって自車両の車速Ｖを算出する（ステップＳ１０２）。
具体的には、自車速度検出部２２は、通常の走行時であるときには、各車輪の車輪速から次式に従って従動輪の車輪速に基づき車速Ｖを算出する。ただし、次式において、各車輪速をＶｗｉ（ｉ＝１〜４）と表し、添え字については、右前輪：ｉ＝１、左前輪：ｉ＝２、右後輪：ｉ＝３、左後輪：ｉ＝４とする。
（前輪駆動の場合）
Ｖ＝（Ｖｗ３＋Ｖｗ４）／２      （１）
（後輪駆動の場合）
Ｖ＝（Ｖｗ１＋Ｖｗ２）／２      （２）
なお、ＡＢＳ（Antilock Brake System）制御が作動しているときには、車速Ｖとして、ＡＢＳ制御において推定された推定車体速を用いる。
【００２４】
次に、処理部３０は、露光演算部３１によって、次式に従い、露光対象領域とされ得る領域（例えば撮影画像全体および画像の後方側１／３の領域）それぞれについて、平均輝度値Ｅｎｏｗを算出する（ステップＳ１０３）。
Ｅnow＝露光対象領域内における画素の輝度値の合計／露光対象領域内の画素数  （３）
続いて、周辺車両検出部２１は、レーダによって、自車両側方の周辺車両が検出されているか否か判定する（ステップＳ１０４）。
【００２５】
ステップＳ１０４において、自車両側方の周辺車両が検出されていないと判定した場合、領域設定部３２は、自車両側方の撮影画像全体の領域を露光対象領域に設定する（ステップＳ１０５）。このように撮影画像全体の領域を露光対象領域とした場合、画像全体を平均化した輝度を基準として電子シャッタ速度が決定されるため、画像全体として環境を認識し易いものとなる。なお、画像内に輝度の差が大きい部分が存在する場合（例えば画角内に太陽が存在する場合等）には、その部分については白とびや黒つぶれの傾向が生じる場合がある。
一方、ステップＳ１０４において、自車両側方の周辺車両が検出されていると判定した場合、位置相対速度算出部３３は、その周辺車両が自車両側方の撮影範囲に進入して来るまでの時間ＴＴＳを次式に従って算出する（ステップＳ１０６）。
ＴＴＳ＝自車両から周辺車両までの距離／自車両と周辺車両との相対速度    （４）
【００２６】
次に、露光演算部３１は、検出された周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）における画素の平均輝度値と目標適正輝度値との差に基づいて、露光調整部１４の露光調整に要する時間ｔを算出する（ステップＳ１０７）。
これは、ステップＳ１０４において自車両側方の周辺車両が検出されたと判定された場合に、周辺車両が進入してくる画像領域の平均輝度値を画像処理に適する目標適正輝度値Ｅｓｅｔに露光調整するための準備に相当し、輝度Ｅｓｅｔとして、本実施例においては、Ｅｓｅｔ＝１００（正規化後の値）に設定している。
【００２７】
露光調整を行う場合、（３）式で算出された平均輝度値Ｅｎｏｗを、画像処理を行うために適した輝度値Ｅｓｅｔに調整する。このとき、具体的には、電子シャッタ速度を早くするあるいは遅くする制御が行われるが、電子シャッタ速度を早くすると撮影画像がより暗くなり、電子シャッタ速度を遅くすると撮影画像がより明るくなる。そして、電子シャッタ速度を最適な値に設定し、目標とする輝度に画像を変化させるまでには制御上の限界速度Ｅｌｉｍ（単位時間当たりの明るさの変化量）が課せられることとなる。したがって、現在の平均輝度値Ｅｎｏｗを目標の輝度値Ｅｓｅｔに変化させるまでの時間ｔは、
ｔ＝（Ｅｓｅｔ−Ｅｎｏｗ）／Ｅｌｉｍ      （５）
として算出できる。
【００２８】
次に、領域設定部３２は、ステップＳ１０６において算出した時間ＴＴＳと、ステップＳ１０７において算出した時間ｔ（平均輝度値Ｅｎｏｗを目標適正輝度値Ｅｓｅｔに変化させるまでの時間ｔ）とを比較する（ステップＳ１０８）。
ステップＳ１０８において、時間ＴＴＳが時間ｔ以上でない（周辺車両が撮影範囲に進入する直前である）と判定した場合、領域設定部３２は、周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）を露光対象領域に設定する（ステップＳ１０９）。
【００２９】
一方、ステップＳ１０８において、時間ＴＴＳが時間ｔ以上である（周辺車両が撮影範囲に進入するまでに余裕がある）と判定した場合、領域設定部３２は、ステップＳ１０５の処理に移行し、自車両側方の撮影画像全体の領域を露光対象領域に設定する。
次いで、露光調整部１４は、露光対象領域における平均輝度値と目標適正輝度値との誤差を基に、輝度値の誤差に関する関数ｆｕｎｃを参照し、次式に従って新たな電子シャッタ速度ＳｈｔＳｐｄを算出する（ステップＳ１１０）。
Ｅｅｒｒ＝（Ｅｓｅｔ−Ｅｎｏｗ）      （６）
ＳｈｔＳｐｄ＝ＳｈｔＳｐｄ-ｚ＋ｆｕｎｃ（Ｅｅｒｒ）      （７）
なお、Ｅｅｒｒは、現在の平均輝度値と目標適正輝度値との誤差、ＳｈｔＳｐｄ-ｚは、現在の電子シャッタ速度をそれぞれ表している。
【００３０】
図３は、輝度値の誤差Ｅｅｒｒと電子シャッタ速度の調整量との関係を示す図である。
図３においては、輝度値の誤差Ｅｅｒｒが大きい場合、最大の調整量で変化させ、輝度値の誤差Ｅｅｒｒが０の近傍一定の範囲内である場合、誤差の大きさに応じた調整量で電子シャッタ速度を変化させる特性となっている。
次に、露光調整部１４は、現在の電子シャッタ速度ＳｈｔＳｐｄ-ｚをステップＳ１１０において算出した電子シャッタ速度ＳｈｔＳｐｄに更新（ＳｈｔＳｐｄ-ｚ＝ＳｈｔＳｐｄ）し（ステップＳ１１１）、露光制御処理を繰り返す。
【００３１】
（動作）
次に、動作を説明する。
自動車１の運転者が、片側２車線の左側レーンを走行しているものとする。
このとき、自動車１は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部２０に読み込んでいる。
そして、自動車１は、検出部２０において車速Ｖを算出し、処理部３０において、露光対象領域となる可能性がある領域（撮影画像全体あるいは画像の後方側端部１／３等）内の画素の平均輝度値Ｅｎｏｗをそれぞれ算出する。
【００３２】
さらに、自動車１は、検出部２０において自車両側方の周辺車両が検出されているか否か判定し、自車両側方の周辺車両が検出されていないときには、撮影画像全体について平均的に適度な露光となるよう、露光対象領域を撮影画像全体に設定する。
一方、検出部２０において自車両側方の周辺車両が検出されているときには、自動車１は、処理部３０において周辺車両が自車両側方の撮影範囲に進入して来るまでの時間ＴＴＳを算出し、周辺車両が進入して来る側の画像端部の領域の平均輝度値を目標適正輝度値に露光調整するために要する時間ｔを算出する。
【００３３】
そして、自動車１は、処理部３０において時間ＴＴＳと時間ｔとを比較し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えるか否か、即ち、周辺車両が撮影範囲に進入する直前であるか否かを判定する。
このとき、周辺車両が撮影範囲に進入して来るまでに露光調整が行える（周辺車両が撮影範囲に進入する直前でない）と判定した場合、処理部３０において露光対象領域を自車両側方の撮影画像全体に設定し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えない（周辺車両が撮影範囲に進入する直前である）と判定した場合、露光対象領域を周辺車両が進入して来る側の画像端部の領域に設定する。
【００３４】
さらに、自動車１は、設定された露光対象領域について露光調整、即ち、電子シャッタ速度の調整を行い、現在の電子シャッタ速度を示すデータＳｈｔＳｐｄ-ｚを更新する。
自動車１は、このような処理を繰り返すことにより、自車両側方の画像を撮影する上で、周辺車両が存在する場合と存在しない場合それぞれに応じた領域を露光対象領域に設定し、それぞれの状況に応じた露光制御を行うことができる。
【００３５】
即ち、周辺車両が撮影範囲に進入するまでは撮影画像全体を平均的に適度な露光量とし、周辺車両が撮影範囲に進入する際には周辺車両が進入してくる側の画像端部を基準とした露光量とすることができる。そのため、周辺車両が撮影範囲に進入する際に、周辺車両が現れる部分の画像領域を適切な露光量とし、環境認識に適した画像を撮影することができる。
【００３６】
以上のように、本実施形態に係る自動車１は、レーダによって検出された自車両側方の周辺車両が、自車両側方を撮影する撮影部１０の撮影範囲に進入して来るまでの時間を算出する。そして、周辺車両が撮影範囲に進入するまでは、撮影範囲全体を基準として露光制御を行い、周辺車両が撮影範囲に進入する直前に、撮影範囲における周辺車両が進入して来る側の端部を基準として露光制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両が障害物となり、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
【００３７】
また、周辺車両が撮影範囲に進入して来る直前であるか否かを、露光制御における制御速度を基に判定するため、周辺車両が撮影範囲に進入するタイミングに合わせて適確な露光制御に切り替えることができる。
したがって、周辺車両が撮影範囲に進入する場合にも、自車両側方の環境を適切に把握することが可能となる。
なお、本実施形態においては、撮影部１０が撮影手段を構成し、検出部２０が車両検出手段を構成し、処理部３０が露光制御手段を構成し、車両制御部４０が車両制御手段を構成する。
【００３８】
（第１実施形態の効果）
（１）自車両周辺を走行する周辺車両が自車両側方の撮影範囲に進入するときに、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように露光調整が行われる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な露光調整方法を実現できる。
【００３９】
（２）検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な車両用撮像装置を実現できる。
【００４０】
（３）周辺車両が、撮影範囲に進入するまでの進入時間と、現在の撮影画像における露光状態から設定された露光状態とするまでに要する制御時間とを算出し、該進入時間が制御時間より短くなるときに、撮影画像において車両が進入する部分の露光状態を設定された状態に変化させる。
そのため、周辺車両が撮影範囲に進入して来る直前であるか否かを、露光制御における制御速度を基に判定するため、周辺車両が撮影範囲に進入するタイミングに合わせて適確な露光制御に切り替えることができる。
したがって、周辺車両が撮影範囲に進入する場合にも、自車両側方の環境を適切に把握することが可能となる。
【００４１】
（４）検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。そして、そのように撮影された画像を基に、自車両側方の環境を認識し、車両制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な自動車を実現できる。
【００４２】
（第２実施形態）
次に、本発明の第２実施形態について説明する。
（構成）
本実施形態に係る自動車１は、図１に示す第１実施形態の自動車１に対し、同様の構成の下、異なる制御則によって露光制御を行うものである。
したがって、自動車１が実行する露光制御処理を主として説明する。
（露光制御処理）
図４は、本実施形態における露光制御処理を示すフローチャートである。
ここで、図４に示す露光制御処理におけるステップＳ２０１からステップＳ２０４の処理は、図２に示す露光制御処理におけるステップＳ１０１からステップＳ１０４の処理と同様である。
【００４３】
ステップＳ２０４において、自車両側方の周辺車両が検出されていないと判定した場合、露光調整部１４は、従前の露光調整パラメータ（電子シャッタ速度や絞り値等）を記憶しているか否かを示すフラグｆｌａｇＡを０（露光調整パラメータを記憶していないことを示す値）に設定し、位置相対速度算出部３３は、検出された周辺車両との相対速度が高いことを示すフラグｆｌａｇＢを０（相対速度がＶｔｈ未満であることを示す値）に設定する（ステップＳ２０５）。なお、本実施形態においては、露光対象領域が切り替えられた場合、露光調整部１４は、直前の露光対象領域について露光制御されていた際の露光調整パラメータ（電子シャッタ速度や絞り値等）を記憶する。
【００４４】
ステップＳ２０４において、自車両側方の周辺車両が検出されたと判定した場合、位置相対速度算出部３３は、その周辺車両が自車両側方の撮影範囲に進入して来るまでの時間ＴＴＳ１を次式に従って算出する（ステップＳ２０６）。
ＴＴＳ１＝自車両から周辺車両までの距離／自車両と周辺車両との相対速度      （８）
次に、位置相対速度算出部３３は、検出した周辺車両が自車両側方を高い相対速度で通過するか否かの判定を行う（ステップＳ２０７）。具体的には、位置相対速度算出部３３は、周辺車両と自車両との相対速度がＶｔｈ以上であるか否かを判定する。
【００４５】
ステップＳ２０７において、周辺車両が自車両側方を高い相対速度で通過すると判定した場合（相対速度がＶｔｈ以上である場合）、位置相対速度算出部３３は、その周辺車両が自車両側方の撮影範囲内における前端領域（後述）に進入して来るまでの時間ＴＴＳ２を次式に従って算出する（ステップＳ２０８）。
ＴＴＳ２＝（自車両から周辺車両までの距離＋ｚｏｎｅ-ｄｉｓ）
／自車両と周辺車両との相対速度      （９）
【００４６】
図５は、自車両側方の撮影範囲と前端領域との関係を示す図である。
図５において、自車両側方の撮影範囲は、撮影部１０の画角によって決まり、前端領域は、撮影範囲の前方側端部の一定幅に設定されている。例えば、本実施形態においては、前端領域の幅を１［ｍ］に設定している。（９）式におけるｚｏｎｅ-ｄｉｓは、自車両側方の撮影範囲における後端から、前端領域までの距離を表す。
なお、ステップＳ２０８においては、ＴＴＳ２の算出に加えて、位置相対速度算出部３３が、検出された周辺車両との相対速度が高いことを示すフラグｆｌａｇＢを１（相対速度がＶｔｈ以上であることを示す値）に設定する。
【００４７】
また、ステップＳ２０７において、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合（相対速度がＶｔｈ未満である場合）、位置相対速度算出部３３は、時間ＴＴＳ２に０を代入する（ステップＳ２０９）。
なお、ステップＳ２０９においては、ＴＴＳ２の設定に加えて、位置相対速度算出部３３が、検出された周辺車両との相対速度が高いことを示すフラグｆｌａｇＢを０（相対速度がＶｔｈ未満であることを示す値）に設定する。
【００４８】
ステップＳ２０８およびステップＳ２０９の後、露光演算部３１は、検出された周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）における画素の平均輝度値と目標適正輝度値との差に基づいて、露光調整部１４の露光調整に要する時間ｔを算出する（ステップＳ２１０）。
次に、領域設定部３２は、ステップＳ２０８において算出した時間ＴＴＳ１と、ステップＳ２１０において算出した時間ｔ（平均輝度値Ｅｎｏｗを目標適正輝度値Ｅｓｅｔに変化させるまでの時間ｔ）とを比較する（ステップＳ２１１）。
【００４９】
ステップＳ２１１において、時間ＴＴＳ１が時間ｔ以上であると判定した場合、露光調整部１４は、従前の露光調整パラメータ（電子シャッタ速度や絞り値等）を記憶しているか否かを示すフラグｆｌａｇＡ＝１に設定する（ステップＳ２１２）。
ステップＳ２０５およびステップＳ２１２の後、領域設定部３２は、自車両側方の撮影画像全体の領域を露光対象領域に設定する（ステップＳ２１３）。
【００５０】
また、ステップＳ２１１において、時間ＴＴＳ１が時間ｔ未満であると判定した場合、領域設定部３２は、周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）を露光対象領域に設定する（ステップＳ２１４）。
ステップＳ２１３およびステップＳ２１４の後、露光調整部１４は、露光対象領域における平均輝度値と目標適正輝度値との誤差を基に、輝度値の誤差に関する関数ｆｕｎｃを参照し、（７）式に従って新たな電子シャッタ速度ＳｈｔＳｐｄを算出する（ステップＳ２１５）。
【００５１】
次いで、露光調整部１４は、ｆｌａｇＡ＝１である場合には、ステップＳ２１５において算出した電子シャッタ速度ＳｈｔＳｐｄを含む露光調整パラメータを記憶する（ステップＳ２１６）。
次に、位置相対速度算出部３３は、ｆｌａｇＢ＝１であるか否か（相対速度が大きいか否か）を判定し（ステップＳ２１７）、ｆｌａｇＢ＝１である場合、時間ＴＴＳ２が０以下であるか否か（周辺車両が自車両側方を高い相対速度で通過するか否か）の判定を行う（ステップＳ２１８）。
【００５２】
ステップＳ２１８において、時間ＴＴＳ２が０以下でないと判定した場合、露光調整部１４は、ステップＳ２１６において記憶した露光調整パラメータに再設定し、ｆｌａｇＡおよびｆｌａｇＢを１に設定する（ステップＳ２１９）。
ステップＳ２１７においてｆｌａｇＢ＝１でないと判定した場合、ステップＳ２１８において時間ＴＴＳ２が０以下であると判定した場合、および、ステップＳ２１９の後、露光調整部１４は、現在の電子シャッタ速度ＳｈｔＳｐｄ-ｚをステップＳ２１６において算出した電子シャッタ速度ＳｈｔＳｐｄに更新（ＳｈｔＳｐｄ-ｚ＝ＳｈｔＳｐｄ）し（ステップＳ２２０）、露光制御処理を繰り返す。
【００５３】
（動作）
次に、動作を説明する。
自動車１の運転者が、片側２車線の左側レーンを走行しているものとする。
このとき、自動車１は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部２０に読み込んでいる。
そして、自動車１は、検出部２０において車速Ｖを算出し、処理部３０において、露光対象領域となる可能性がある領域（撮影画像全体あるいは画像の後方側端部１／３等）内の画素の平均輝度値Ｅｎｏｗをそれぞれ算出する。
【００５４】
さらに、自動車１は、自車両側方の周辺車両が検出されていないときには、従前の露光調整パラメータを記憶しているか否かを示すフラグｆｌａｇＡを０（露光調整パラメータを記憶していないことを示す値）に設定し、検出された周辺車両との相対速度が高いことを示すフラグｆｌａｇＢを０（相対速度がＶｔｈ未満であることを示す値）に設定する。
また、自車両側方の周辺車両が検出されているときには、自動車１は、検出した車両が自車両側方の撮影領域に進入して来るまでの時間ＴＴＳ１を算出する。
【００５５】
ここで、自動車１は、検出した周辺車両が自車両側方を高い相対速度で通過するか否かを判定する。
そして、周辺車両が自車両側方を高い相対速度で通過すると判定した場合には、自動車１は、自車両側方の撮影範囲における前端領域に進入して来る時間ＴＴＳ２を算出する。
一方、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合、時間ＴＴＳ２に０を設定する。
【００５６】
また、自動車１は、周辺車両が自車両側方を高い相対速度で通過するか否かの判定結果に応じて、周辺車両との相対速度が高いことを示すフラグｆｌａｇＢの値を０または１に設定する。
そして、自動車１は、周辺車両が撮影範囲に進入するまでの時間ＴＴＳ１が露出制御に要する時間ｔより小さい場合、周辺車両が進入して来る側の画像端部の領域に露光対象領域を設定する。
【００５７】
反対に、自動車１は、周辺車両が撮影範囲に進入するまでの時間ＴＴＳ１が露出制御に要する時間ｔ以上である場合、ｆｌａｇＡを１（露光調整パラメータを記憶する状態）に設定し、撮影画像全体の領域を露光対象領域として設定する。
さらに、自動車１は、露光対象領域における平均輝度値を基に露光制御（電子シャッタ速度の調整）を行い、ｆｌａｇＡ＝１に設定されている場合には、以後の露光調整を迅速に行うべく、このときの露光調整パラメータを記憶する。
【００５８】
また、自動車１は、周辺車両との相対速度が大きい（ｆｌａｇＢ＝１）ときには、前端領域への進入時間ＴＴＳ２が０より大きければ、記憶されている露光調整パラメータに再設定する。
一方、自動車１は、周辺車両との相対速度が大きくない（ｆｌａｇＢ＝０）ときには、通常通りの露光制御を行い、新たに設定された電子シャッタ速度に調整する。
【００５９】
以上のように、本実施形態に係る自動車１は、自車両側方の画像を撮影する上で、周辺車両が存在する場合と存在しない場合それぞれに応じた領域を露光対象領域に設定し、それぞれの状況に応じた露光制御を行うことができる。
さらに、自動車１は、自車両側方を周辺車両が高い相対速度で通過することが把握された場合、その周辺車両の通過後には、撮影範囲内に周辺車両が進入する前の撮影状況に戻る可能性が高いことから、周辺車両が進入する前の露光調整パラメータ（電子シャッタ速度等）を記憶しておき、周辺車両通過後に、その露光調整パラメータに再設定する。
【００６０】
そのため、高い相対速度をもって通過する周辺車両によって、一時的に露光調整の状態に変化が生じた場合でも、周辺車両の通過後、迅速に適切な露光制御に戻ることが可能となる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
なお、本実施形態においては、露光調整パラメータを記憶する露光調整部１４が記憶手段を構成する。
【００６１】
（第２実施形態の効果）
（１）検出された周辺車両が、設定された相対速度以上で自車両側方を通過すると予測した場合、該周辺車両が撮影範囲に進入する直前の露光調整に関する設定パラメータを記憶しておき、周辺車両が撮影範囲から離脱した場合に、記憶した露光調整に関するパラメータに再設定する。
そのため、高い相対速度をもって通過する周辺車両によって、一時的に露光調整の状態に変化が生じた場合でも、周辺車両の通過後、迅速に適切な露光制御に戻ることが可能となる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
【００６２】
（第３実施形態）
次に、本発明の第３実施形態について説明する。
（構成）
本実施形態に係る自動車１は、図１に示す第１実施形態の自動車１に対し、同様の構成の下、異なる制御則によって露光制御を行うものである。
したがって、自動車１が実行する露光制御処理を主として説明する。
（露光制御処理）
図６は、本実施形態における露光制御処理を示すフローチャートである。
ここで、図６に示す露光制御処理におけるステップＳ３０１からステップＳ３０６の処理は、図２に示す露光制御処理におけるステップＳ１０１からステップＳ１０６の処理と同様である。
【００６３】
また、ステップＳ３０７の処理は、図４に示す露光制御処理におけるステップＳ２０７の処理と同様である。
ステップＳ３０７において、周辺車両が自車両側方を高い相対速度で通過すると判定した場合、自動車１は、露光演算部３１によって、検出された周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）における画素の平均輝度値Ｅｎｏｗと、画像処理を行う上で許容可能な輝度値として設定された目標許容輝度値Ｅｍｉｎとの差に基づいて、露光調整部１４の露光調整に要する時間ｔを算出する（ステップＳ３０８）。
【００６４】
この目標許容輝度値Ｅｍｉｎは、現在の平均輝度値からより少ない調整量で、画像処理可能な撮影画像を得るための目標輝度値であり、本実施形態においては、以下のように設定している。
即ち、Ｅｍｉｎ＜Ｅｓｅｔであるときには、
Ｅｍｉｎ＝Ｅｓｅｔ−Ｄｉｆｆ-Ａ      （１０）
Ｅｍｉｎ＞＝Ｅｓｅｔであるときには、
Ｅｍｉｎ＝Ｅｓｅｔ＋Ｄｉｆｆ-Ａ      （１１）
これらＥｓｅｔおよびＤｉｆｆ-Ａは、本実施形態においては、Ｅｓｅｔ＝１００、Ｄｉｆｆ-Ａ＝２０（いずれも正規化された値）の固定値としている。なお、Ｄｉｆｆ-Ａは、イメージセンサ１２の受光感度の高さとノイズの少なさに応じて定めることができる。
【００６５】
現在の露光対象領域における平均輝度値Ｅｎｏｗを目標許容輝度値Ｅｍｉｎに調整するために要する時間ｔは、次式により求められる。
ｔ＝｜Ｅｍｉｎ−Ｅｎｏｗ｜／Ｅｌｉｍ      （１２）
一方、ステップＳ３０７において、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合、自動車１は、露光演算部３１によって、検出された周辺車両が進入して来る側の画像端部の領域（例えば画像の後方側１／３の領域等）における画素の平均輝度値Ｅｎｏｗと目標適正輝度値Ｅｓｅｔとの差に基づいて、露光調整部１４の露光調整に要する時間ｔを算出する（ステップＳ３０９）。
以後、ステップＳ３１０からステップＳ３１３の処理は、図２に示す露光制御処理におけるステップＳ１０８からステップＳ１１１の処理と同様である。
【００６６】
（動作）
次に、動作を説明する。
自動車１の運転者が、片側２車線の左側レーンを走行しているものとする。
このとき、自動車１は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部２０に読み込んでいる。
そして、自動車１は、検出部２０において車速Ｖを算出し、処理部３０において、露光対象領域となる可能性がある領域（撮影画像全体あるいは画像の後方側端部１／３等）内の画素の平均輝度値Ｅｎｏｗをそれぞれ算出する。
【００６７】
さらに、自動車１は、検出部２０において自車両側方の周辺車両が検出されているか否か判定し、自車両側方の周辺車両が検出されていないときには、撮影画像全体について平均的に適度な露光となるよう、露光対象領域を撮影画像全体に設定する。
一方、検出部２０において自車両側方の周辺車両が検出されているときには、自動車１は、処理部３０において周辺車両が自車両側方の撮影範囲に進入して来るまでの時間ＴＴＳを算出する。
【００６８】
そして、自動車１は、検出した周辺車両が自車両側方を高い相対速度で通過するときには、露光対象領域の平均輝度値Ｅｎｏｗを目標許容輝度値Ｅｍｉｎに調整するのに要する時間ｔを算出し、検出した周辺車両が自車両側方を高い相対速度で通過しないときには、露光対象領域の平均輝度値Ｅｎｏｗを目標適正輝度値Ｅｓｅｔに調整するのに要する時間ｔを算出する。
そして、自動車１は、処理部３０において時間ＴＴＳと時間ｔとを比較し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えるか否か、即ち、周辺車両が撮影範囲に進入する直前であるか否かを判定する。
【００６９】
このとき、周辺車両が撮影範囲に進入して来るまでに露光調整が行える（周辺車両が撮影範囲に進入する直前でない）と判定した場合、処理部３０において露光対象領域を自車両側方の撮影画像全体に設定し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えない（周辺車両が撮影範囲に進入する直前である）と判定した場合、露光対象領域を周辺車両が進入して来る側の画像端部の領域に設定する。
さらに、自動車１は、設定された露光対象領域について露光調整、即ち、電子シャッタ速度の調整を行い、現在の電子シャッタ速度を示すデータＳｈｔＳｐｄ-ｚを更新する。
【００７０】
以上のように、本実施形態に係る自動車１は、通常時には、露光対象領域の目標とする輝度値を目標適正輝度値に設定し、自車両側方を周辺車両が高い相対速度で通過することが把握されたときには、露光対象領域の目標とする輝度値を現在の平均輝度値からより少ない調整量で設定可能な目標許容輝度値Ｅｍｉｎに設定する。
そのため、より短時間で、画像処理可能な輝度の画像を撮影することができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
【００７１】
（第３実施形態の効果）
（１）撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理に適合した目標輝度値に調整する露光制御と、画像処理を行う上で許容される範囲の輝度値であって目標輝度値よりも平均輝度値に近い輝度値である目標許容輝度値に調整する露光制御とを切り換えて実行する。
そのため、より短時間で、画像処理可能な輝度の画像を撮影することができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
【図面の簡単な説明】
【００７２】
【図１】本発明に係る自動車１の構成を示す図である。
【図２】第１実施形態における露光制御処理を示すフローチャートである。
【図３】輝度値の誤差Ｅｅｒｒと電子シャッタ速度の調整量との関係を示す図である。
【図４】第２実施形態における露光制御処理を示すフローチャートである。
【図５】自車両側方の撮影範囲と前端領域との関係を示す図である。
【図６】第３実施形態における露光制御処理を示すフローチャートである。
【符号の説明】
【００７３】
１  自動車、１Ａ  車体、１Ｂ  車両用撮像装置、１０  撮影部、１１  レンズ、１２  イメージセンサ、１３  Ａ／Ｄ変換器、１４  露光調整部、１５  画像メモリ、２０  検出部、２１  周辺車両検出部、２２  自車速度検出部、２３  道路環境検出部、３０  処理部、３１  露光演算部３１、３２  領域設定部、３３  位置相対速度算出部
【図１】
2009038463.tif 000003
【図２】
2009038463.tif 000004
【図３】
2009038463.tif 000005
【図４】
2009038463.tif 000006
【図５】
2009038463.tif 000007
【図６】
2009038463.tif 000008