(57)【要約】【課題】特に夜間に近赤外線の照射により車両周辺の画像を撮影する場合において、ぶれの少ない、且つ鮮明な画像を撮影できる車載用撮像装置により撮像した画像情報を用いて各種の車両制御を行う車両制御装置を提供する。【解決手段】車両制御装置２０は、車両の直進状態若しくは旋回状態を検出するヨーレートセンサ２０５と、車速を検出する車輪速センサ２１０と、車輪速センサ２１０で検出される車速及びヨーレートセンサ２０５において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するカメラ制御部２０１と、カメラ制御部２０１において制御されたシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理部２０２と、画像処理部２０２において生成された合成画像に基づいて車両制御を行うドライバサポートＥＣＵ２０３とを備える。【選択図】図２
2010250503.tif 000002
【特許請求の範囲】
【請求項１】
近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御装置であって、
車両の直進状態及び旋回状態を検出する旋回検出手段と、
車速を検出する車速検出手段と、
前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、
前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮像された画像を用いて合成画像を生成する画像処理手段と、
前記画像処理手段において生成された当該合成画像に基づいて車両制御を行う電子制御手段とを備える
ことを特徴とする車両制御装置。
【請求項２】
前記シャッタ速度制御手段は、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値未満の場合には、シャッタ速度を低速側に制御し、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行う
ことを特徴とする請求項１記載の車両制御装置。
【請求項３】
前記画像処理手段は、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、
前記電子制御手段は、当該合成画像に基づいて車両制御を行う
ことを特徴とする請求項２記載の車両制御装置。
【請求項４】
前記シャッタ速度制御手段は、前記旋回検出手段において車両が旋回中と判定される場合には、撮像領域全体のシャッタ速度を高速側に制御する
ことを特徴とする請求項１記載の車両制御装置。
【請求項５】
前記シャッタ速度制御手段は、前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度の異なる撮影モードを決定し、決定された当該撮影モードに基づくシャッタ速度に制御する
ことを特徴とする請求項１記載の車両制御装置。
【請求項６】
前記撮影モードには、前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて決定される、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードが含まれ、
前記シャッタ速度制御手段は、前記低速撮影モードにおいては前記車載用撮像装置のシャッタ速度を低速側に固定し、前記中速撮影モード及び前記高速撮影モードにおいては複数の異なるシャッタ速度を繰り返す制御を行い、前記旋回撮影モードにおいてはシャッタ速度を高速側に固定する
ことを特徴とする請求項５記載の車両制御装置。
【請求項７】
前記画像処理手段は、前記中速撮影モード及び前記高速撮影モードにおいては、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、
前記電子制御手段は、当該合成画像に基づいて車両制御を行う
ことを特徴とする請求項６記載の車両制御装置。
【請求項８】
前記旋回撮影モードにおいては、近赤外線を用いる前記照射手段の照射範囲を拡大する
ことを特徴とする請求項６記載の車両制御装置。
【請求項９】
近赤外線による照射手段を用いて車両周辺の画像情報を撮像する車載用撮像装置であって、
車速及び車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、
前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理手段とを備える
ことを特徴とする車載用撮像装置。
【請求項１０】
前記シャッタ速度制御手段は、直進中であり、且つ車速が所定値未満の場合には、シャッタ速度を低速側に制御し、直進中と判定され、且つ車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行う
ことを特徴とする請求項９記載の車載用撮像装置。
【請求項１１】
前記画像処理手段は、直進中と判定され、且つ車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成する
ことを特徴とする請求項１０記載の車載用撮像装置。
【請求項１２】
前記シャッタ速度制御手段は、車両が旋回中と判定される場合には、シャッタ速度を高速側に制御する
ことを特徴とする請求項９記載の車載用撮像装置。
【請求項１３】
近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御方法であって、
車両の直進状態及び旋回状態を検出する旋回検出ステップと、
車速を検出する車速検出ステップと、
前記車速検出ステップにおいて検出される車速及び前記旋回検出ステップにおいて検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御ステップと、
前記シャッタ速度制御ステップにおいて制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理ステップと、
前記画像処理ステップにおいて生成された当該合成画像に基づいて車両制御を行う電子制御ステップとを含む
ことを特徴とする車両制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の状況を撮像する車載用撮像装置、及び当該車載用撮像装置において撮像した画像情報を用いて各種の車両制御を行う車両制御装置に関し、特に、夜間において近赤外線による照射を用いて車両周辺の状況を撮像する車載用撮像装置及び車両制御装置に関する。
【背景技術】
【０００２】
従来より、車載カメラを用いて周辺の道路標識、路面標識や先行車等を認識して、警報、表示、危険回避等を援助するプリクラッシュセーフティ（Pre-Crash Safety：以下ＰＣＳと記載）、レーンキープアシスト（Lane Keep Assist：以下ＬＫＡと記載）機能などの車両制御が行われている。
【０００３】
例えば、車両制御の１つであるプリクラッシュブレーキ制御においては、車載カメラやレーダ装置等より取得した情報を用いて、先行車両や道路構造物などの被衝突物が検知され、衝突の可能性が高い場合にディスプレイに「ブレーキ！」表示、及び警報を発し、運転者に注意喚起を促す。そして、衝突不可避な状態と判断された場合にブレーキを自動的に作動する。
【０００４】
また、ＬＫＡ機能においては、車載カメラを用いて、路上に描かれた白線を認識し、ステアリング操作をアシストして車体が左右の白線内、中央部付近に止まるように制御する。そして、白線から逸脱しそうになると例えば警報を鳴らすと共に、ステアリング自体を小刻みに揺らして運転者に警告する等を実行する。
【０００５】
そして、車載カメラからの画像情報を用いて車両制御を正確に行うためには、ぶれのない、且つ鮮明な画像が必要であるため、そのために例えばカメラのシャッタ速度を変更する必要がある。なお、シャッタ速度には、絞りと同じく  光量を調整する役割があり、シャッタ速度が遅いほど、ＣＣＤ（Charged Coupled Device）やフィルムに当てる光量が増え、速いほど、ＣＣＤやフィルムに当てる光量が減る。
【０００６】
そして、従来、車載カメラでのシャッタ速度の制御方法としては、例えば撮影した画像全体の平均輝度情報を用いて、平均輝度が低い場合には光量を増加させるためシャッタ速度を遅くする制御等を行う方法がある。
【０００７】
ところで、走行路の制限速度をリアルタイムに認識できる制限速度認識装置が開示されている（例えば、特許文献１参照）。この装置においては、画像認識部ではＣＣＤカメラで撮像した車両前方の画像に基づいて道路標識や路面標識に表示されている制限速度を認識し、得られた制限速度を警報制御部へ出力する。警報制御部では車速と制限速度とを比較して、速度超過を判定し、速度超過の場合には警報手段を駆動させて運転者に速度超過を知らせるものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１２８７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の画像の輝度情報を用いて車載カメラのシャッタ速度を変更する方法においては、画像全体の明るさに応じてシャッタ速度を制御しているのみであるために、画像の明るさの確保とぶれのない画像との両立は不可能という問題がある。
【００１０】
すなわち、（Ｉ）画像の明るさを優先して撮影すると、カメラのシャッタ速度を長く設定する必要があり、この場合には、車両に近接している撮像物は画面内で大きく移動するため、特に路側側の画像がぶれてしまうという問題がある。
一方、（ＩＩ）画像のブレを防止するためにシャッタ速度を優先して撮影すると、遠方で照明が暗くなる領域では画像が暗くなり、撮影物全体を明るく撮影できないという問題がある。これは、特に近赤外線等を用いて夜間に車両の周辺画像を撮影する場合に問題となる。
【００１１】
本発明は以上の課題に鑑みてなされたものであり、特に夜間に近赤外線の照射により車両周辺の画像を撮影する場合において、ぶれの少ない、且つ鮮明な画像を撮影できる車載用撮像装置を提供することを目的とする。
また、本発明に係る車載用撮像装置を用いて撮影されたぶれの少ない、且つ鮮明な画像を用いて各種の車両制御を行う車両制御装置を提供することをも目的とする。
【課題を解決するための手段】
【００１２】
以上の課題を解決するために、本発明に係る車両制御装置は、近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御装置であって、車両の直進状態若しくは旋回状態を検出する旋回検出手段と、車速を検出する車速検出手段と、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理手段と、上記画像処理手段において生成された当該合成画像に基づいて車両制御を行う電子制御手段とを備えることを特徴とする。
【００１３】
この構成により、上記シャッタ速度制御手段は上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、車載用撮像装置におけるシャッタ速度を制御でき、また、上記画像処理手段は、制御されたシャッタ速度で撮影された画像を用いて合成画像を生成することでぶれの少ない鮮明な画像を生成し、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種車両制御を実現できるために、より車両の安全性を向上できる。
【００１４】
また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値未満の場合には、シャッタ速度を低速側に制御し、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行うことを特徴とする。
【００１５】
この構成により、上記シャッタ速度制御手段は、自車が旋回中でない場合には車速に応じてシャッタ速度を低速側若しくは高速側に適宜変更でき、ぶれの少ない、且つ鮮明な画像を取得できる。
【００１６】
また、本発明に係る車両制御装置の上記画像処理手段は、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、上記電子制御手段は、当該合成画像に基づいて車両制御を行うことを特徴とする。
【００１７】
この構成により、特に夜間において近赤外線を用いて周辺状況を撮像する場合にも、上記画像処理手段は、車両近側方の領域はカメラのシャッタ速度を短く撮影した画像、車両遠前方の領域は、シャッタ速度を長く撮影した画像を用いて１つの画像を合成することにより、近くの対象のぶれを防止し、遠い対象は明るさを確保した画像を撮像できる。そして、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるために、より車両の安全性を向上できる。
【００１８】
また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記旋回検出手段において車両が旋回中と判定される場合には、撮像領域全体のシャッタ速度を高速側に制御することを特徴とする。
【００１９】
この構成により、車両が旋回中において、上記シャッタ速度制御手段は全画面を短いシャッタ速度に設定して撮影することにより、前方画像の全てが車両旋回と逆方向に流れてしまうことを防止して、ぶれの少ない、且つ鮮明な画像を撮像できる。
【００２０】
また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度の異なる撮影モードを決定し、決定された当該撮影モードに基づくシャッタ速度に制御することを特徴とする。
【００２１】
この構成により、上記シャッタ速度制御手段は、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、特定の撮影モードを決定できる。
【００２２】
また、本発明に係る車両制御装置の上記撮影モードには、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて決定される、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードが含まれ、上記シャッタ速度制御手段は、上記低速撮影モードにおいては上記車載用撮像装置のシャッタ速度を低速側に固定し、上記中速撮影モード及び上記高速撮影モードにおいては複数の異なるシャッタ速度を繰り返す制御を行い、上記旋回撮影モードにおいてはシャッタ速度を高速側に固定することを特徴とする。
【００２３】
この構成により、上記シャッタ速度制御手段は、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードから上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じてシャッタ速度制御の異なる１つの撮影モードを決定する。そして、画像処理部２０２は、各撮影モードに応じて画像合成処理を行うことができるために、画像のブレを防止した、且つ鮮明な画像を取得でき、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるため、より車両の安全性を向上できる。
【００２４】
また、本発明に係る車両制御装置の上記画像処理手段は、上記中速撮影モード及び上記高速撮影モードにおいては、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、上記電子制御手段は、当該合成画像に基づいて車両制御を行うことを特徴とする。
【００２５】
この構成により、上記画像処理手段は、車両が直進中の場合には、撮影モードに応じて、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をするため、画像のブレを防止した、且つ鮮明な画像を取得でき、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるため、より車両の安全性を向上できる。
【００２６】
また、本発明に係る車両制御装置の上記旋回撮影モードにおいては、近赤外線を用いる上記照射手段の照射範囲を拡大することを特徴とする。
【００２７】
この構成により、上記旋回撮影モードにおいては近赤外線の照射範囲を拡大でき、画像が暗くなることを防止できる。
【００２８】
また、本発明に係る車載用撮像装置は近赤外線による照射手段を用いて車両周辺の画像情報を撮像する車載用撮像装置であって、車速及び車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、上記シャッタ速度制御手段において制御された異なるシャッタ速度で撮像された画像を用いて合成画像を生成する画像処理手段とを備えることを特徴とする。
【００２９】
この構成により、上記シャッタ速度制御手段は、車両の車速及び車両の直進状態若しくは旋回状態に応じてシャッタ速度を適宜変更して、上記画像処理手段は、異なるシャッタ速度で撮影された画像を用いて合成画像を生成できる。従って、本発明に係る車載用撮像装置は、夜間において近赤外線を用いて周辺状況を撮像する場合にも、ぶれを少なくして、且つ鮮明な画像を撮像できる。
【００３０】
なお、本発明に係る車載用撮像装置及び車両制御装置を構成する処理手段をステップとする撮像方法及び車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００３１】
本発明に係る車載用撮像装置においては、近赤外線を用いて光量の少ない夜間において撮像する場合においても、車速及び車両の旋回若しくは直進状態に応じてカメラのシャッタ速度を適宜変更して撮像し、画像処理部において合成画像を生成することでぶれの少ない、且つより鮮明な画像を撮影できる。
また、本発明に係る車両制御装置においては、この車載用撮像装置で撮影された画像情報に基づいてより正確な各種の車両制御を実現できる。
【図面の簡単な説明】
【００３２】
【図１】車両のヘッドランプ部に搭載された近赤外線投光器を用いて車両の前方画像を撮像する前方カメラを備えた車両の全体図
【図２】実施の形態に係る車両制御装置の機能ブロック図
【図３】実施の形態に係る車載用撮像装置の全体の動作手順を説明するためのフローチャート
【図４】実施の形態に係る車載用撮像装置において、低速撮影モード、及び中速撮影モードにおける詳細な動作手順を示すフローチャート
【図５】実施の形態に係る制御装置において、高速撮影モード、及び旋回撮影モードにおける詳細な動作手順を示すフローチャート
【図６】実施の形態に係る前方カメラにおいてのシャッタ速度と画像領域との関係を説明するための図
【発明を実施するための形態】
【００３３】
以下、本発明に係る車載用撮像装置及び車両制御装置の実施の形態に関して図面を参照しながら説明を行う。
【００３４】
（実施の形態）
図１は、車両のヘッドランプ部に搭載された近赤外線投光器１０１を用いて車両の前方画像を撮像する前方カメラ２００を備えた車両１０の全体図を示す。
【００３５】
車両１０に備わる前方カメラ２００は、太陽光、または太陽光等の光量の少ない夜間においてはヘッドランプ部に備わる近赤外線投光器１０１から人の目に感じない領域１０１ａに照射される近赤外線が対象物に当たり反射した反射光をＣＣＤ等の撮像素子が受光して映像信号に変換する車載用撮像装置である。なお、図１において領域２００ａは、前方カメラ２００の撮像領域を示している。
【００３６】
図２は、本実施の形態に係る車両制御装置２０の機能ブロック図を示す。
車両制御装置２０は、前方カメラ２００と、ドライバサポートＥＣＵ（Electronic Control Unit）２０３（特許請求の範囲の電子制御手段に相当）と、メータ２０４と、ヨーレートセンサ２０５と、蛇角センサ２０６と、パワーステアリングＥＣＵ２０７と、電気パワーステアリング２０８と、ブレーキＥＣＵ２０９と、車輪速センサ２１０と、ブレーキアクチュエータ２１１と、警報ブザー２１２とを備える。
【００３７】
以下、各処理部２００〜２１２の機能について説明を行う。
前方カメラ２００は、図１に示すように車両のフロントガラスの上部付近に設けられ、光による電荷量を光電変換してそれを順次読み出して電気信号に変換するＣＣＤカメラ等の車載用撮像装置である。なお、前方カメラ２００は１台に限定されるものではなく、複数台のカメラを備えることもできる。
【００３８】
ドライバサポートＥＣＵ２０３は、半導体集積回路から構成され、前方カメラ２００からの画像情報に基づき、ドライバの走行を支援するためＰＣＳやＬＫＡ等の各種の車両制御を行うためのマイコンを備える。また、ドライバサポートＥＣＵ２０３は、ヨーレートセンサ２０５、蛇角センサ２０６や車輪速センサ２１０等のセンサ情報から車速や旋回中若しくは直進等の運転状況を解析し、前方カメラ２００のシャッタ速度を制御するため前方カメラ２００に備わるカメラ制御部２０１にこれらの情報を送信する。
メータ２０４は、車輪速センサ２１０より車速情報を取得して、運転者に車速を表示するためのディスプレイである。
【００３９】
ヨーレートセンサ（加速度センサ）２０５は、車両が回転する速度を検出するセンサであり、自車の旋回方向への回転角の変化速度であるヨーレートを検出する。
【００４０】
蛇角センサ２０６は、運転者がハンドルを切った時の前輪の操舵角を感知するセンサであり、ドライバサポートＥＣＵ２０３は、この蛇角センサ２０６で検出された操舵角及びヨーレートセンサ２０５で検出したデータを用いて自車が旋回中か否かを判断する。
【００４１】
パワーステアリングＥＣＵ２０７は、電気パワーステアリング２０８の制御を行うための電子制御部であり、操舵トルク及び車速からアシスト電流を演算してモータを駆動させる。電気パワーステアリング２０８は、モータと減速機の働きにより、操舵時にアシストトルクを発生させ、ステアリング操舵力を軽減させる。
【００４２】
ブレーキＥＣＵ２０９は、通信線を介してドライバサポートＥＣＵ２０３と接続され、ドライバサポートＥＣＵ２０３から送信される車両制御に関する信号情報に基づいてブレーキアクチュエータ２１１及び警報ブザー２１２を制御する。
車輪速センサ２１０は、例えば磁気ロータの回転による磁気の変化をセンサで検出して車速パルスとしてブレーキＥＣＵ２０９に出力する。
【００４３】
ブレーキアクチュエータ２１１は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御信号に基づくブレーキ制御を行う。また、警報ブザー２１２は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御情報に基づく警告音を発する。
【００４４】
次に、本発明に係る前方カメラ２００の機能について説明を行う。
前方カメラ２００は、カメラ制御部（特許請求の範囲のシャッタ速度制御手段に相当）２０１及び画像処理部（特許請求の範囲の画像処理手段に相当）２０２を備え、カメラ制御部２０１は、ドライバサポートＥＣＵ２０３から取得する車速及び車両の旋回若しくは直進情報を用いて、前方カメラ２００のシャッタ速度を制御する。なお、カメラ制御部２０１におけるシャッタ速度制御は、ソレノイド等による電磁制御で行う。また、カメラ制御部２０１においての具体的なシャッタ速度の制御に関しては後述の図３において説明する。
【００４５】
画像処理部２０２は、前方カメラ２００において撮影したシャッタ速度の異なる複数の画像を１つの画像に合成する。例えば、画像処理部２０２は、車両が直進中の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をして１つの画像を生成する。そして、画像処理部２０２で画像処理された画像信号がドライバサポートＥＣＵ２０３に入力され、当該画像に基づいて障害物認識や標識認識等が行われる。
【００４６】
図３は、本実施の形態に係る車載用撮像装置の全体の動作手順を説明するためのフローチャートである。
最初に、ドライバサポートＥＣＵ２０３は、ヨーレートセンサ２０５や蛇角センサ２０６等からの検出値を用いて車両が直進中若しくは旋回中かを判定する（ステップＳ３０１）。ここでは、ドライバサポートＥＣＵ２０３は、例えば曲率半径を用いて旋回中か否かを判定する。
【００４７】
そして、ドライバサポートＥＣＵ２０３は、車両旋回中と判定する場合には（ステップＳ３０１でＹＥＳ）、撮影モードとして後述の図５（ｂ）及び図６（ｃ）に示す旋回撮影モードをカメラ制御部２０１に設定する（ステップＳ３０７）。
【００４８】
また、ドライバサポートＥＣＵ２０３は、車両が旋回中でない場合には（ステップＳ３０１でＮＯ）、車輪速センサ２１０から取得する車速情報を用いて車速判定を行い、車速が４０ｋｍ/ｈ以上か否かを判定する（ステップＳ３０２）。そして、車速が４０ｋｍ/ｈ未満の場合には（ステップＳ３０２でＮＯ）、ドライバサポートＥＣＵ２０３は、撮影モードとして低速撮影モードをカメラ制御部２０１に設定する（ステップＳ３０４）。
【００４９】
一方、車速が４０ｋｍ/ｈ以上の場合には、ドライバサポートＥＣＵ２０３は、車速８０ｋｍ/ｈ以上か否かを判定し（ステップＳ３０３）、８０ｋｍ/ｈ未満の場合には、後述の図４（ｂ）及び図６（ａ）に示す中速撮影モードをカメラ制御部２０１に設定する（ステップＳ３０５）。
【００５０】
また、ドライバサポートＥＣＵ２０３は、車速が８０ｋｍ/ｈ以上の場合には（ステップＳ３０３でＹＥＳ）、後述の図５（ａ）及び図６（ｂ）に示す高速撮影モードをカメラ制御部２０１に設定する（ステップＳ３０６）。
【００５１】
最後に、画像処理部２０２は、中速撮影モード及び高速撮影モードにおいて、シャッタ速度を変更して撮像した複数の画像を用いて合成処理を行い、その結果の画像情報をドライバサポートＥＣＵ２０３に入力し、ドライバサポートＥＣＵ２０３は、ぶれの少ない、且つより鮮明な画像情報を用いて標識や障害物等の認識を行い、ＬＫＡ等の各種の車両制御を実行する（ステップＳ３０８）。
【００５２】
なお、低速撮影モード及び旋回撮影モードにおいて、画像処理部２０２は、特に画像合成を行う必要はなく、前方カメラ２００において撮像した映像信号をドライバサポートＥＣＵ２０３に出力する。また、本図の説明における４０ｋｍ/ｈや８０ｋｍ/ｈの車速は例示であって、これら以外の車速を用いることも可能である。
【００５３】
図４は、本実施の形態に係る車載用撮像装置において、低速撮影モード（ステップＳ３０４に対応）、及び中速撮影モード（ステップＳ３０５に対応）における詳細な動作手順を示すフローチャートである。
【００５４】
図４（ａ）に示す低速撮影モードでは、最初に、カメラ制御部２０１が全フレームのシャッタ速度を低速側の１/３０秒に固定し、前方カメラ２００において撮像を行う（ステップＳ４０１）。次に、前方カメラ２００は、撮像した各フレーム画像をドライバサポートＥＣＵ２０３に出力する（ステップＳ４０２）。
【００５５】
図４（ｂ）に示す中速撮影モードでは、Ｎ（ここでＮは正の奇数となる）番目のフレームのシャッタ速度を１/３０秒、Ｎ＋１番目のフレームのシャッタ速度を１/１００秒として撮像を行う（ステップＳ４０３）。次に、画像処理部２０２は、前方カメラ２００で撮像したＮ番目のフレームとＮ＋１番目のフレームとを設定された画像領域で合成した後にドライバサポートＥＣＵ２０３に出力する（ステップＳ４０４）。
【００５６】
図５は、本実施の形態に係る制御装置において、高速撮影モード（ステップＳ３０６に対応）、及び旋回撮影モード（ステップＳ３０７に対応）における詳細な動作手順を示すフローチャートである。
【００５７】
図５（ａ）に示す高速撮影モードでは、Ｎ番目のフレームのシャッタ速度を１/３０秒、Ｎ＋１番目のフレームのシャッタ速度を１/１００秒、Ｎ＋２番目のフレームのシャッタ速度を１/５００秒として撮像を行う（ステップＳ５０１）。次に、画像処理部２０２は、前方カメラ２００で撮像したＮ番目のフレームとＮ＋１番目のフレームとＮ＋２番目のフレームとを設定された画像領域で合成した後にドライバサポートＥＣＵ２０３に出力する（ステップＳ５０２）。
【００５８】
図５（ｂ）に示す旋回撮影モードにおいては、最初に、全フレームのシャッタ速度を高速側の１/１００秒に固定して前方カメラ２００を用いて撮像を行う（ステップＳ５０３）。次に、前方カメラ２００は、撮像した各フレーム画像をドライバサポートＥＣＵ２０３に出力する（ステップＳ５０４）。なお、この旋回撮影モードにおいては、近赤外線の照射範囲を拡大することで、遠方を照射して画像が暗くなってしまうことを防ぐことも考え得る。
【００５９】
図６は、本実施の形態に係る前方カメラ２００においてのシャッタ速度と画像領域との関係を説明するための図である。なお、本図の説明におけるシャッタ速度は例示であり、他のシャッタ速度に設定することも可能である。
【００６０】
図６（ａ）は、中速撮影モードにおけるカメラの撮像領域６００における各シャッタ速度を示す図であり、撮像領域６００ａにおいてはシャッタ速度１／３０秒、撮像領域６００ｂにおいてはシャッタ速度１／１００秒となるように、例えば撮像フレーム周期を３０Ｈｚ（３３．３ｍｓ周期）で撮影する場合には、カメラ制御部２０１は、撮像の交互でシャッタ速度を電子的に変更し、画像処理部２０２において、異なるシャッタ速度で撮像した２つの画像を設定された撮像領域で合成して６６．６ｍｓ毎に１枚の画像信号を出力する。
【００６１】
図６（ｂ）は、車速８０ｋｍ以上の高速撮影モードにおけるカメラの撮像領域６０１における各シャッタ速度を示す図であり、撮像領域６０１ａにおいてはシャッタ速度１／３０秒、撮像領域６０１ｂにおいてはシャッタ速度１／１００秒、撮像領域６０１ｃにおいてはシャッタ速度１／５００秒となるように、例えばフレーム周期を３０Ｈｚ（３３．３ｍｓ周期）で撮影する場合には、カメラ制御部２０１は、シャッタ速度を１/３０、１/１００、１/５００秒の変更を繰り返し、画像処理部２０２において、異なるシャッタ速度で撮像した３つの画像を撮像領域で合成して１００ｍｓ毎に１枚の画像信号を出力する。
【００６２】
図６（ｃ）は、旋回撮影モードにおけるカメラの撮像領域６０２における各シャッタ速度を示す図であり、カメラ制御部２０１は、全ての撮像領域６０２ａを高速側のシャッタ速度１／１００秒に設定する。そして、画像処理部２０２は、撮像した画像を合成する処理を行わずドライバサポートＥＣＵ２０３に出力する。
なお、シャッタ速度を変更する撮像領域は、図６の内容に限定されるものではなく、異なる形状で画像を分割、若しくは画像の分割数を増減させることも考え得る。
【００６３】
以上の説明のように、本実施の形態に係る車載用撮像装置及び車両制御装置においては、ドライバサポートＥＣＵ２０３で、車速及び車両の旋回若しくは直進状態を解析して、前方カメラ２００のカメラ制御部２０１は、当該解析された車両情報を用いてシャッタ速度を変更して撮像処理を行う。また、画像処理部２０２は、車両が直進中の場合には、各撮影モードに応じて、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をする。
【００６４】
このため、本発明では、光量の減少する夜間において近赤外線を用いて周辺状況を撮像する場合にも、車両近側方の領域はカメラのシャッタ速度を短く撮影し、車両遠前方の領域は、シャッタ速度を長く撮影することで、近くの対象のぶれを防止し、遠い対象は明るさを確保した画像を取得できる。
また、車両旋回時には、前方画像の全てが車両旋回と逆方向に流れてしまうため、全画面を短いシャッタ速度で撮影すると共に、近赤外線の照射範囲を拡大することで、画像が暗くなることを防止できる。
【産業上の利用可能性】
【００６５】
本発明に係る車載用撮像装置及び車両制御装置は、例えば、夜間に近赤外線による照射を用いて車両の周辺状況を判定して車両制御を行う車両に用いることができる。
【符号の説明】
【００６６】
１０  車両
２０  車両制御装置
１０１  赤外線投光器
２００  前方カメラ
２０１  カメラ制御部
２０２  画像処理部
２０３  ドライバサポートＥＣＵ
２０４  メータ
２０５  ヨーレートセンサ
２０６  蛇角センサ
２０７  パワーステアリングＥＣＵ
２０８  電気パワーステアリング
２０９  ブレーキＥＣＵ
２１０  車輪速センサ
２１１  ブレーキアクチュエータ
２１２  警報ブザー
【図１】
2010250503.tif 000003
【図２】
2010250503.tif 000004
【図３】
2010250503.tif 000005
【図４】
2010250503.tif 000006
【図５】
2010250503.tif 000007
【図６】
2010250503.tif 000008