(57)【要約】  車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供する。  情報処理装置は、イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部を具備する。前記イメージセンサは車両に搭載して用いられ、前記認識部は、少なくとも周辺車両又は路面を画像認識する。そして、前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する。
2020054240.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置。
【請求項２】
前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記イメージセンサは車両に搭載して用いられ、
前記認識部は、少なくとも周辺車両又は路面を画像認識し、
前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、前記認識部が認識した２以上の車線の交点に基づいて前記消失点を算出する、
請求項５に記載の情報処理装置。
【請求項７】
前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項１に記載の情報処理装置。
【請求項８】
前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項１に記載の情報処理装置。
【請求項９】
前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項１に記載の情報処理装置。
【請求項１０】
前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
請求項９に記載の情報処理装置。
【請求項１１】
前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
請求項９に記載の情報処理装置。
【請求項１２】
前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、車両領域とそれ以外の領域の重みを制御する、
請求項１２に記載の情報処理装置。
【請求項１４】
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法。
【請求項１５】
イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置。
【請求項１６】
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置。
【請求項１７】
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムに関する。
【背景技術】
【０００２】
自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天時や夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、さまざまな外界認識センサが車両に搭載され始めている。【０００３】
例えば、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、時間差をもって測定された明るさを比較することで明るさの変化を検出し、明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う露出制御装置について提案がなされている（特許文献１を参照のこと）。【０００４】
また、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法について提案がなされている（特許文献２を参照のこと）。【０００５】
また、所定の基準露出値でオートブラケティング撮影を行なった後、得られた複数個の画像データから適正露出又は適正露出に最も近い画像データを選択して新たな基準露出値とする、オートブラケティング撮影の機能を有する車載監視カメラの露出制御方法について提案がなされている（特許文献３を参照のこと）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１３４８４５号公報
【特許文献２】特開２０１２−１３８６８８号公報
【特許文献３】特開２０１２−１３８６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本明細書で開示する技術の目的は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本明細書で開示する技術の第１の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置である。【０００９】
前記イメージセンサは車両に搭載して用いられ、前記認識部は、少なくとも周辺車両又は路面を画像認識する。そして、前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する。【００１０】
また、本明細書で開示する技術の第２の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法である。【００１１】
また、本明細書で開示する技術の第３の側面は、
イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置である。【００１２】
また、本明細書で開示する技術の第４の側面は、
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置である。【００１３】
また、本明細書で開示する技術の第５の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。【００１４】
第５の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第５の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００１５】
本明細書で開示する技術によれば、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することができる。【００１６】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００１７】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００１８】
【図１】図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【図２】図２は、第１の実施例に係る撮像装置２００の機能的構成例を模式的に示した図である。
【図３】図３は、撮像装置における一般的な露光制御ループを模式的に示した図である。
【図４】図４は、本明細書で開示する技術を適用した露光制御ループを模式的に示した図である。
【図５】図５は、撮像装置２００の基本的な動作手順を示したフローチャートである。
【図６】図６は、第２の実施例に係る撮像装置６００の機能的構成例を模式的に示した図である。
【図７】図７は、撮像装置６００の基本的な動作手順を示したフローチャートである。
【図８】図８は、撮像装置６００で撮像する風景を例示した図である。
【図９】図９は、図８に示した風景を俯瞰した様子を示した図である。
【図１０】図１０は、図８に示した撮像画像に検波枠を配置した様子を示した図である。
【図１１】図１１は、消失点及び消失点検波枠を算出する方法を説明するための図である。
【図１２】図１２は、検波値に基づいて画像のコントラスト度合いを算出する方法を説明するための図である。
【図１３】図１３は、検波値に基づいて画像のコントラスト度合いを算出する方法（マルチ枠機能を想定した場合）を説明するための示した図である。
【図１４】図１４は、画像全体に検波枠を配置した様子を示した図である。
【図１５】図１５は、図１４に示した画像全体に検波枠を配置して取得したヒストグラムを例示した図である。
【図１６】図１６は、トンネル入り口の消失点検波枠を配置した様子を示した図である。
【図１７】図１７は、トンネル出口の消失点検波枠を配置した様子を示した図である。
【図１８】図１８は、消失点検波値と自動露光制御の収束速度の関係を示した図である。
【図１９】図１９は、撮像装置６００で撮像する風景を例示した図である。
【図２０】図２０は、図１９に示した撮像画像に写った各車両の距離及び相対速度を示した図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２０】
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【００２１】
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
【００２２】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【００２３】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【００２４】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【００２５】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【００２６】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【００２７】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、ソナー等からなる。
【００２８】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【００２９】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【００３０】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
【００３１】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
【００３２】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ  Ｔｙｐｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【００３３】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【００３４】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【００３５】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【００３６】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【００３７】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔａｂｉｌｉｔｙ  Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
【００３８】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【００３９】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【００４０】
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【００４１】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【００４２】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【００４３】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【００４４】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【００４５】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【００４６】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【００４７】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
【００４８】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００４９】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【００５０】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ  Ｇｒｉｄ  Ｍａｐ）とされる。
【００５１】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【００５２】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【００５３】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【００５４】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【００５５】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００５６】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【００５７】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
【００５８】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【００５９】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【００６０】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【００６１】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００６２】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００６３】
自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなどさまざまな外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー（ミリ波レーダー）、カメラ、及びレーザーレーダー（ＬｉＤＡＲ）の得手不得手を以下の表１にまとめておく。同表中で、◎は大得意（高い認識精度を持つ）、○は得意（良好な認識精度を持つ）、△は苦手（認識精度が十分でない）を意味する。また、２以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。
【００６４】
【表１】
2020054240.tif 000003
【００６５】
一般的なデジタルカメラが撮影した画像のビューイング若しくは観賞を目的とするのに対し、車載カメラは衝突回避やレーン制御といった自車両の自動運転やＡＤＡＳの実現を目的とするものである。したがって、車載カメラで撮影した画像は、撮影した風景を忠実に再現して人が見て違和感がないものとするよりも、むしろ車両や歩行者を始めとする障害物や路面など特定の物体を高い精度で画像認識できる画像であることが好ましい、と本出願人は考えている。
【００６６】
画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。例えば、特許文献２には、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法が開示されている。しかしながら、撮影画像中のターゲットが存在し得る範囲からターゲットが有するターゲットパターンを走査して、ターゲットパターンを有しない物体に合わせて露出制御を行うことができない。また、所定の範囲から外れた物体に合わせて露光制御を行うこともできない。
【００６７】
そこで、本明細書では、カメラで撮影した画像の認識結果に基づいて、認識対象とする物体毎に適した自動露光制御を実施することによって、物体毎に認識精度が高い画像を得る技術について、以下で提案する。
【実施例１】
【００６８】
図２には、本明細書で開示する技術の第１の実施例に係る撮像装置２００の機能的構成例を模式的に示している。撮像装置２００は主に車両に搭載して用いられることを想定している。撮像装置２００は、車両制御システム１００内のデータ取得部１０２が備える撮像装置の１つに相当する。図示の撮像装置２００は、レンズ２０１と、イメージセンサ２０２と、信号処理部２０３と、認識部２０４と、制御部２０５を備えている。【００６９】
イメージセンサ２０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｙｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｏｐｌｅｄ  Ｄｅｖｉｃｅ）などの素子を用いて構成され、レンズ２０１によって撮像面に結像された画像を撮像する。【００７０】
信号処理部２０３は、イメージセンサ２０２から出力されるＲＡＷデータに対する「現像」とも呼ばれる処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、ＹＣ変換などが現像処理に該当する。【００７１】
認識部２０４は、信号処理部２０３による処理後の撮像画像に含まれる物体を認識する。認識部２０４は、周辺車両や路面といった、自動運転やＡＤＡＳを実現するためには認識若しくは検出することが必須となる物体を認識対象とする。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。ドライバなど自車両の搭乗者のマニュアル操作に応じて、認識対象となる物体を追加、削除、変更できるようにしてもよい。また、撮像装置２００が車載カメラ以外に用いられる場合には、用途に応じて認識対象となる物体を追加、削除、変更できるようにしてもよい。【００７２】
制御部２０５は、イメージセンサ２０２の撮像画像のうち、認識部２０４が認識した物体毎の領域の状態に基づいて、イメージセンサ２０２における撮像動作や、信号処理部２０３における信号処理を制御する。【００７３】
制御部２０５では、車両や路面といった、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体を高精度で認識できるようにするために、イメージセンサ２０２や信号処理部２０３に対する制御を行う。したがって、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像は、後段の車両制御システム１００内で行われる認識処理において、車両や路面などの特定の物体を認識し易くなるように画質調整された画像となる。このため、撮像装置２００から車両制御システム１００に出力される画像は、元の風景を忠実に再現したものとは限らず、人がビューイング若しくは観賞した際には違和感を覚えさせることもある。【００７４】
後段の車両制御システム１００では、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両や路面を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。【００７５】
図３には、撮像装置２００における一般的な露光制御ループを模式的に示している。【００７６】
イメージセンサ２０２は、シャッター３０１と、素子部３０２と、アナログゲイン処理部３０３を含んでいる。レンズ２０１によって集光された光は、シャッター３０１を通過して素子部３０２の撮像面に到達する。素子部３０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部３０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。【００７７】
信号処理部２０３は、現像処理部３０４と、検波部３０５と、比較部３０６を含んでいる。現像処理部３０４は、イメージセンサ２０２から出力されるデジタル画素信号に対し、デジタルゲイン処理やガンマ処理を含む現像処理を施す。また、検波部３０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ（Ｏｐｔｉｃａｌ  Ｄｅｔｅｃｔｉｏｎ）検波して、画面の明るさ（輝度）を検出する。そして、比較部３０６は、検波部３０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。【００７８】
制御部２０５は、比較部３０６から出力される画面の明るさと基準値の差分に基づいて、シャッター３０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部３０３のアナログゲインを調整したり、現像処理部３０４におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が適当な明るさとなるように制御する。【００７９】
図３に示すような一般的な露光制御ループによれば、画面全体として明るさを調整することができるが、周辺車両や路面といった必要な被写体が必ずしも適切な明るさ（若しくは、画像認識に適した明るさ）で撮影されているとは限らない。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、日陰の部分の車両や路面を高い精度では画像認識できないような撮像画像になってしまうことが懸念される。【００８０】
図４には、撮像装置２００において、本明細書で開示する技術を適用した露光制御ループを模式的に示している。図４に示す制御ループは、認識部２０４が撮像画像から認識した物体毎に最適な画作りを実施するように構成されている。ここでは、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両（直近の先行車両）と路面をそれぞれ検出することを想定している。【００８１】
イメージセンサ２０２は、シャッター４０１と、素子部４０２と、アナログゲイン処理部４０３を含んでいる。レンズ２０１によって集光された光は、シャッター４０１を通過して素子部４０２の撮像面に到達する。素子部４０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部４０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。【００８２】
なお、以下ではイメージセンサ２０２は単一露光（すなわち、１フレーム期間内に単一の露光タイミングを持つ）を行うものとして説明する。【００８３】
信号処理部２０３は、現像処理部４０４と、検波部４０５と、比較部４０６を含んでいる。但し、検波部４０５は、認識部２０４が撮像画像から認識した物体毎にＯＰＤ検波を行うことができるように、撮像画像中の車両部分の明るさを検波する車両用検波部４０５−１と、撮像画像中の路面部分の明るさを検波する路面用検波部４０５−２を備えている。また、検波部４０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波する画面全体検波部４０５−３も備えている。また、認識部２０４が車両及び路面以外の物体を追加して検出する場合には、追加した物体の明るさを検波する検波部をさらに備えていてもよい。【００８４】
また、現像処理部４０４は、認識部２０４が撮像画像から認識した物体毎に適した現像処理を個々に行うことができるように、車両用現像処理部４０４−１並びに路面用現像処理部４０４−２を備えている。また、現像処理部は、画面全体に適した現像処理を行う画面全体現像処理部４０４−３も備えている。また、認識部２０４が車両及び路面以外の物体を追加して検出する場合には、追加した物体用の現像処理部をさらに備えていてもよい。【００８５】
図４中、参照番号４１０で示す範囲内では、通常の自動露光制御が実施される。すなわち、画面全体検波部４０５−３は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波して、画面の明るさを検出する。そして、比較部３０６は、検波部３０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。制御部２０５は、比較部４０６から出力される画面の明るさと基準値の差分に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部４０３のアナログゲインを調整したり、画面全体現像処理部４０４−３におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が最適な明るさとなるように制御する。【００８６】
一方、認識部２０４は、信号処理部４０３による処理後の撮像画像４２０に含まれる物体を認識する。ここでは、撮像装置２００が車載カメラ（若しくは、車両制御システム１００内のデータ取得部１０２）として用いられることを想定して、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両４２１及び路面４２２を認識する。もちろん、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。【００８７】
車両用検波部４０５−１は、認識部２０４による車両４２１の認識結果に基づいて、撮像画像４２０中に車両４２１の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５−３で検波した画面全体の明るさと、車両４２１の検波枠内の明るさの差分を算出する。そして、車両用現像処理部４０４−１内では、その差分に基づいてデジタルゲインやガンマ値を調整して、車両４２１の枠内の明るさを調整する。すなわち、車両用現像処理部４０４−１は、撮像画像から車両４２１を物体認識するのに最適となる現像処理を行う（画面全体に対して車両４２１の検波枠が暗過ぎれば、車両４２１がもっと明るくなるように現像処理し、画面全体に対して車両４２１の検波枠が明る過ぎれば、車両４２１が暗くなるように現像処理する）。車両用現像処理部４０４−１によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、車両４２１を高精度に認識できる画像である。【００８８】
また、路面用検波部４０５−２は、認識部２０４による路面４２２の認識結果に基づいて、撮像画像４２０中の路面４２２の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５−３で検波した画面全体の明るさと、路面４２２の検波枠内の明るさの差分を算出する。そして、路面用現像処理部４０４−２内では、その差分に基づいてデジタルゲインやガンマ値を調整して、路面４２２の枠内の明るさを調整する（画面全体に対して路面４２２の検波枠が暗過ぎれば、路面４２２がもっと明るくなるように現像処理し、画面全体に対して路面４２２の検波枠が明る過ぎれば、車両４２１が暗くなるように現像処理する）。すなわち、路面用現像処理部４０４−２は、撮像画像から路面４２２を物体認識するのに最適となる現像処理を行う。路面用現像処理部４０４−２によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、路面４２２を高精度に認識できる画像である。【００８９】
図４に示した撮像装置２００は、認識部２０４を備えるとともに、この認識部２０４が認識する物体毎に複数の現像処理部及び検波部を搭載することにより、通常の自動露光制御を安定して実施すると同時に、各物体の画像認識に最適な現像を行うことが可能である。【００９０】
自動運転やＡＤＡＳの実現のためには、車両並びに路面の画像認識が最重要である。この観点から、図４に示した撮像装置２００では、認識部２０４は車両及び路面の２種類の物体を認識し、車両用及び路面用の複数の検波部及び現像処理部を搭載するという構成である。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもでき、これに対応して、追加した認識物体毎の複数の検波部及び現像処理部を増設することによって、多種類の物体の画像認識に最適な現像を行うことが可能となる。【００９１】
また、上記では、イメージセンサ２０２が単一露光を行うものとして説明してきたが、もちろん、複数同時露光（すなわち、１フレーム期間内に複数の露光タイミングを持ち、１フレーム期間内に複数の画像を撮像する）を実施可能であってもよい。撮像装置２００は、複数同時露光を利用して、低輝度側自動露光並びに高輝度側自動露光といった輝度グループ毎の自動露光制御と、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）フリッカ対策用など、用途に分けて画像を出力するようにしてもよい。【００９２】
図５には、図４に示した撮像装置２００において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。但し、ここではイメージセンサ２０２が複数同時露光可能であり、車両用、路面用、及び画面全体用の３回露光を行うものとする。【００９３】
画面全体検波部４０５−３は、イメージセンサ２０２による撮影画像の画面全体の明るさを検波する（ステップＳ５０１）。【００９４】
次いで、比較部４０６は、画面全体検波部４０５−３で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較して、エラー量を算出する（ステップＳ５０２）。【００９５】
そして、制御部２０５は、ステップＳ５０２で算出したエラー量に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）や、アナログゲイン処理部４０３のアナログゲイン調整といったデバイス制御を実施する（ステップＳ５０３）。【００９６】
ここでは、イメージセンサ２０２が複数同時露光を行うことを想定している。したがって、ステップＳ５０３では、低輝度用、高輝度用、画面全体用に、各々のデバイス制御（ステップＳ５０３−１、Ｓ５０３−２、Ｓ５０３−３）を実施するようにしてもよい。また、各デバイス制御は同様の内容であってもよい。【００９７】
なお、ステップＳ５０１〜Ｓ５０３で実施される処理は、通常の自動露光制御に相当する処理である。【００９８】
認識部２０４は、ステップＳ５０３−１並びにＳ５０３−２のデバイス制御に基づいて処理された各撮像画像に対して画像認識処理を実施する（ステップＳ５０４）。【００９９】
認識部２０４が撮像画像から対象とする物体（車両、路面）を認識できなかった場合には（ステップＳ５０４のＮｏ）、本処理を終了する。【０１００】
一方、認識部２０４が撮像画像から対象とする物体（車両、路面）を認識できた場合には（ステップＳ５０４のＹｅｓ）、信号処理部２０３は、認識部２０４から、対象とする物体（車両、路面）に関する画像認識情報を取得する（ステップＳ５０５）。【０１０１】
車両用検波部４０５−１は、認識部２０４から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠の明るさを検波する（ステップＳ５０６）。ここで、認識部２０４が撮像画像からＮ台（但し、Ｎは２以上の整数）の車両を認識できた場合には、車両用検波部４０５−１は、Ｎ台分の検波枠を設定してすべての車両の明るさを個別に検波してもよいし、すべての検波枠の明るさの平均を検波してもよいし、優先順位が上位の所定台数までの明るさを検波するようにしてもよい。車両の優先順位は、自車両からの距離など自車両と衝突する可能性に基づいて割り振ってもよい。【０１０２】
次いで、車両用検波部４０５−１は、車両の検波枠の明るさを、画面全体検波部４０５−３で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５０７）。そして、車両用現像処理部４０４−１は、複数同時露光によって車両用に撮像した画像に対して、ステップＳ５０７で算出したエラー量に基づいて現像処理する（ステップＳ５０８）。【０１０３】
また、路面用検波部４０５−２は、認識部２０４から取得した画像認識情報に基づいて路面の検波枠を設定して、車両の検波枠の明るさを検波する（ステップＳ５０９）。次いで、路面用検波部４０５−２は、車両の検波枠の明るさを、画面全体検波部４０５−３で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５１０）。そして、路面用現像処理部４０４−２は、複数同時露光によって路面用に撮像した画像に対して、ステップＳ５１０で算出したエラー量に基づいて現像処理する（ステップＳ５１１）。【０１０４】
他方、現像処理部４０４−３は、ＬＥＤフリッカ対策用の現像処理を実施する（ステップＳ５１２）。【０１０５】
最後に、実施例１についてまとめておく。撮像装置２００は、図４にも示したように、複数同時露光機能、複数検波機能、及び複数現像機能を装備している。かかる構成により、撮像装置２００は、ＬＥＤフリッカを抑制しつつ、急激な被写体変化にも安定した露出を維持することができる。これによって、撮像装置２００は、複数の被写体に対して、お互いの露光に依存せずに最適な現像処理が可能であるとともに、現像時のエラー量を即時に反映することができるという特徴がある。また、撮像装置２００は、被写体検知機能を維持できるという特徴がある。
【実施例２】
【０１０６】
画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。しかしながら、逆光や暗闇では、認識不能なシーンを撮影することになる。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、自動露光制御が明暗の変化に追い付かない。通常のカメラの制御では、適正な露光条件になるまでに時間がかかり過ぎて、追従できない。その結果として、露光オーバー又は露光アンダーが長く続き、この間、画像認識ができない状態が続くため、車両制御システム１００による自動運転やＡＤＡＳが十分に機能しない。画像認識ができない状態の他の例として、トンネルの出入り口や、対向車のヘッドライトを浴びている状態を挙げることができる。【０１０７】
そこで、第２の実施例では、周辺車両の画像認識ができない状態となる問題シーンを画像認識結果に基づいて判定し、かかる問題シーンにおいて自動露光を適応的に制御する撮像装置について説明する。【０１０８】
ここで、画像認識ができない状態となる問題シーンとして、上述したように、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を挙げることができる。このような問題シーンは、撮像画像中の消失点及びコントラスト度合いの計算結果に基づいて判定することができる。また、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を挙げることができる。問題シーンの判定方法並びに自動露光の適応制御の詳細については後述に譲る。【０１０９】
図６には、第２の実施例に係る撮像装置６００の機能的構成例を模式的に示している。撮像装置６００は主に車両に搭載して用いられることを想定している。図示の撮像装置６００は、レンズ６０１と、イメージセンサ６０２と、信号処理部６０３と、認識部６０４と、判定部６０５と、制御部６０５を備えている。【０１１０】
イメージセンサ６０２は、例えばＣＭＯＳやＣＣＤなどの素子を用いて構成され、レンズ６０１によって撮像面に結像された画像を撮像する。信号処理部６０３は、イメージセンサ６０２から出力されるＲＡＷデータに対する現像処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、ＹＣ変換などが現像処理に該当する。【０１１１】
認識部６０４は、信号処理部６０３による処理後の撮像画像に含まれる物体を認識する。本実施例では、認識部６０４は、基本的には、後段の判定部６０５で問題シーンの判定に用いる物体として、周辺車両と斜線（レーン）を画像認識する。もちろん、認識部６０４は、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など、他の物体をさらに認識対象に取り入れることもできる。【０１１２】
判定部６０５は、周辺車両の画像認識ができない状態となる問題シーンを、認識部６０４における画像認識結果に基づいて判定する。具体的には、判定部６０５は、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を判定する。判定部６０５は、認識部６０４による画像認識結果に基づいて消失点を算出し、また、撮像画像のコントラスト度合いを算出して、これらの計算結果に基づいてシーン判定を行う。【０１１３】
消失点は、透視変換によって３次元空間中の複数の平行線を画像上に投影した場合に、それら平行線に対応する画像上の直線が収束する点のことであり、理論的には無限遠点である。消失点の計算方法はさまざまである。本実施例では、判定部６０５は、認識部６０４によるレーンの検出結果や、画像認識された所領の位置やサイズに基づいて消失点を算出するものとする。【０１１４】
また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合いを算出する。本実施例では、判定部６０５は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較する方法と、ヒストグラム（画像の輝度分布）の形状に基づいて判定する方法の２通りによってコントラスト度合いを算出するものとする。【０１１５】
制御部６０６は、判定部６０５が周辺車両の画像認識ができない状態であると判定する問題シーンにおいて、イメージセンサ６０２における撮像動作や、信号処理部６０３における現像処理を制御して、自動露光を適応的に制御する。具体的には、制御部６０６は、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を実施する。【０１１６】
後段の車両制御システム１００では、制御部６０６による制御下においてイメージセンサ６０２で撮影され且つ信号処理部６０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。【０１１７】
第２の実施例に係る撮像装置６００は、第１の実施例（すなわち、図４に示した撮像装置２００）とは相違し、イメージセンサ６０６は単一露光でよく、且つ、信号処理部６０３及び検波部６０４は１系統でよく、物体毎の系統は不要である。すなわち、撮像装置６００は、図３に示したような装置構成でもよい。【０１１８】
図７には、図６に示した撮像装置６００において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。【０１１９】
判定部６０５は、認識部６０４による画像認識情報を取得する（ステップＳ７０１）。認識部６０４は、イメージセンサ６０２による撮像画像から、路面、路面上の車線や車両など物体を認識することができる。そして、認識部６０４による画像認識結果に基づいて、撮像画像に対して、地面（路面）、空、車両、消失点などに検波枠を配置することができる。【０１２０】
判定部６０５は、認識部６０４による画像認識情報に基づいて、消失点を算出し（ステップＳ７０２）、さらに消失点領域の検波値を取得する（ステップＳ７０３）。【０１２１】
また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合いを算出する。具体的には、判定部６０５は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによってコントラスト度合いを算出するとともに（ステップＳ７０４）、ヒストグラム（画像の輝度分布）の形状に基づいてコントラスト度合いを算出する（ステップＳ７０５）。【０１２２】
次いで、判定部６０５は、ステップＳ７０３で取得した消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満であるかどうかをチェックする（ステップＳ７０６）。【０１２３】
消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満である場合には（ステップＳ７０６のＹｅｓ）、判定部６０５は、認識部６０４が車両を安定して認識できているかどうかをさらにチェックする（ステップＳ７０７）。ここで、「安定」して認識することとは、認識の尤度が高いことや、認識結果が急峻に変化せず安定していることなどを意味する。【０１２４】
認識部６０４が車両を安定して認識できている場合には（ステップＳ７０７のＹｅｓ）、制御部６０６は、撮像画像のうち車両領域の検波値を取得して（ステップＳ７０８）、車両領域の検波値のみを使ってイメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７０９）。【０１２５】
一方、認識部６０４が車両を安定して認識できていない場合には（ステップＳ７０７のＮｏ）、判定部６０５は、ステップＳ７０４及びステップＳ７０５で算出したコントラスト度合いが所定の閾値ＴＨc以上であるかどうかをさらにチェックする（ステップＳ７１０）。【０１２６】
そして、撮像画像のコントラスト度合いが所定の閾値ＴＨc以上である場合には（ステップＳ７１０のＹｅｓ）、検波領域を路面領域のみにしてＯＰＤ検波を行い、制御部６０６は、路面領域の検波結果に基づいて、イメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７１１）。あるいは、路面領域の重みをそれ以外の領域よりも大きくしてＯＰＤ検波を行うようにしてもよい。【０１２７】
また、撮像画像のコントラスト度合いが所定の閾値ＴＨc以上である場合には（ステップＳ７１０のＹｅｓ）、日差しの強い逆光状態や、対向車のヘッドライトを浴びている状態であると推定されるので、測光領域を路面領域のみにして自動露光制御を実施する。一方、撮像画像のコントラスト度合いが所定の閾値ＴＨc未満である場合には（ステップＳ７１０のＮｏ）、逆光状態では無く、前方に車両がいないだけの状態であると推定されるので、自動露光制御を実施せずに本処理を終了する。【０１２８】
また、消失点領域の検波値が下限閾値ＴＨlow未満、又は上限閾値ＴＨHighを超える場合（ステップＳ７０６のＮｏ）、自車両がトンネルの出口付近又は入り口付近のいずれかに達していると推定される。そこで、検波枠を（トンネルの出入り口に相当する）消失点領域のみに設定してＯＰＤ検波を行い、制御部６０６は、消失点領域の検波結果に基づいて、イメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７１２）。また、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、制御部６０６は、自動露光制御の収束速度を速める（ステップＳ７１３）。【０１２９】
続いて、図８に示すような風景を撮像装置６００で撮影する場合を例にとって、図７に示した動作手順について具体的に説明する。【０１３０】
検波枠の配置について：
図８は、自車両が片側３車線の道路を走行中に、車載の撮像装置６００で自車両の前方を撮影した様子である。図８に示す例では、自車両の前方の路面８００を、自車両から距離が近い順に、先行車両８０１、８０２、及び８０３が走行している。また、図９には、自車両の前方を俯瞰した様子を示している。自車両から先行車両８０１、８０２、及び８０３までの距離は、それぞれｄ１、ｄ２、ｄ３である。また、先行車両８０１、８０２、及び８０３の相対速度及び向きは、それぞれｖ１、ｖ２、ｖ３である。先行車両８０１、８０２、及び８０３の距離及び相対速度は、例えば、車両制御システム１００がデータ取得部１０２として装備するレーダーを用いて計測することができる。【０１３１】
認識部６０４は、図８に示した撮像画像に対して画像認識処理を行うことにより、路面（地面）８００や、先行車両８０１〜８０３、車線８０４、８０５などの物体を認識する。そして、判定部６０５は、認識部６０４による画像認識情報に基づいて、図１０に示すように、路面８００、空、消失点、先行車両８０１〜８０３の各々に対して検波枠を配置することができる。【０１３２】
・路面、空（Ｗｇ、Ｗｓ）
・消失点（Ｗｖｐ）
・先行車両（Ｗｖ１、Ｗｖ２、Ｗｖ３）【０１３３】
もちろん、認識部６０４は、上述した以外に、バイクや自転車、歩行者、道路標識、信号機などの物体も必要に応じて認識することができる。また、判定部６０５は、これらの認識物体に対しても検波枠を同様に配置することができる。【０１３４】
制御部６０６は、路面検波枠Ｗｇ及び空検波枠Ｗｓからなる全体枠をベースに、各先行車両８０１、８０２、８０３までの距離ｄ１、ｄ２、ｄ３や相対速度ｖ１、ｖ２、ｖ３から、先行車両８０１、８０２、８０３の重み付けを制御する。例えば自車両から距離が近い車両や、速い速度で自車両に接近している車両の重みを大きくする。【０１３５】
消失点の算出について：
判定部６０５は、図７に示したフローチャート中のステップＳ７０２において、認識部６０４による画像認識情報に基づいて消失点を算出し、続くステップＳ７０３において消失点検波枠を算出する。図１１には、消失点を算出する様子を示している。対象とする３次元空間中の平行線として、車線を挙げることができる。そこで、判定部６０５は、車線８０４と車線８０５の交点を、消失点検波枠の中心位置に決定する。そして、各車両８０１〜８０３の位置とサイズに基づいて、消失点検波枠Ｗｖｐを算出する。【０１３６】
コントラスト度合いの算出方法１：
判定部６０５は、図７に示したフローチャート中のステップＳ７０４において、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによって、コントラスト度合いを算出する。図１２には、コントラスト度合いを算出する様子を示している。判定部６０５は、認識部６０４が画像認識した先行車両８０１〜８０３、並びに車線８０４及び８０５の情報から、路面検波枠Ｗｇを求め、それ以外を空検波枠Ｗｓと仮定することができる。そして、判定部６０５は、路面検波枠Ｗｇの検波値と空検波枠Ｗｓの検波値の差分の絶対値ＡＢＳ（Ｗｇ−Ｗｓ）をコントラスト度合いとして算出する。その後、判定部６０５は、ステップＳ７１０において、コントラスト度合いとして算出した差分の絶対値ＡＢＳ（Ｗｇ−Ｗｓ）が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定することができる。【０１３７】
図１３には、マルチ枠機能を想定した場合の、コントラスト度合いを算出する様子を示している。判定部６０５は、認識部６０４が画像認識した先行車両８０１〜８０３、並びに車線８０４及び８０５の情報から、路面検波枠Ｗｇを求め、それ以外を空検波枠Ｗｓと仮定する。図１３中、路面検波楽Ｗｇを淡いグレーで塗り潰し、それ以外の空検波枠Ｗｓを濃いグレーで塗り潰している。そして、判定部６０５は、路面検波枠Ｗｇの検波値と空検波枠Ｗｓの検波値の差分の絶対値ＡＢＳ（Ｗｇ−Ｗｓ）をコントラスト度合いとして算出する。その後、判定部６０５は、ステップＳ７１０において、コントラスト度合いとして算出した差分の絶対値ＡＢＳ（Ｗｇ−Ｗｓ）が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定する。【０１３８】
コントラスト度合いの算出方法２：
判定部６０５は、図７に示したフローチャート中のステップＳ７０５において、ヒストグラム（画像の輝度分布）の形状に基づいて、コントラスト度合いを算出する。判定部６０５は、２値化手法の１つである判別分析法を用いて、ヒストグラムの分離度を算出し、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。【０１３９】
例えば、図１４に示すように、画像全体に検波枠を配置して、ヒストグラムを取得する。図１５には、図１４に示した画像全体に検波枠を配置して取得したヒストグラムを例示している。図１５に示した例では、画像の輝度レベルは０〜２５５の２５６階調からなり、輝度レベル毎の画素数分布が取得されている。【０１４０】
ここで、図１４に示した画像全体の画素数がωt、輝度レベルの平均値がｍt、分散がσtであったとする。また、図１５に示したヒストグラムにおいて、輝度レベルの閾値ＴＨlを設定して、画素を輝度レベルが閾値ＴＨl以上の白クラスと閾値ＴＨl未満の黒クラスの２値に分離する。そして、黒クラスの画素数がω1、輝度レベルの平均値がｍ1、分散がσ1であり、白クラスの画素数がω2、輝度レベルの平均値がｍ2、分散がσ2であったとする。下式（１）に従ってクラス内分散σw2を算出するとともに、下式（２）に従ってクラス間分散σb2を算出し、クラス内分散σw2及びクラス間分散σb2に基づいて下式（３）に従って全分散σt2を算出する。そして、下式（４）に示す、クラス間分散σb2とクラス内分散σw2の比が最大となる閾値ＴＨlを求めることによって、分離度を算出する。そして、判定部６０５は、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。【０１４１】
【数１】
2020054240.tif 000004
【０１４２】
【数２】
2020054240.tif 000005
【０１４３】
【数３】
2020054240.tif 000006
【０１４４】
【数４】
2020054240.tif 000007
【０１４５】
自動露光制御の収束速度の制御について：
図１６には、自車両がトンネルの入り口付近に到達したときに、撮像装置６００で自車両前方を撮影した様子を示している。この場合、トンネルの入り口が消失点領域となり、且つ、消失点領域の検波値が下限閾値ＴＨlow未満となる。また、図１７には、自車両がトンネルの出口付近に到達したときに、撮像装置６００で自車両前方を撮影した様子を示している。この場合、トンネルの出口が消失点領域となり、且つ、消失点領域の検波値が上限閾値ＴＨHighを超える。【０１４６】
判定部６０５は、図７に示したフローチャート中のステップＳ７０６において、消失点領域の検波値が下限閾値ＴＨlow未満、又は上限閾値ＴＨHighを超える場合に、自車両がトンネルの出入り口付近に達していると推定する。そして、判定部６０５は、図１６並びに図１７にそれぞれ示すように、検波枠をトンネルの入り口又は出口に相当する消失点領域のみに設定する（ステップＳ７１２）。また、制御部６０６は、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、ステップＳ７１３において、自動露光制御の収束速度を速める。【０１４７】
図１８には、消失点検波値と自動露光制御の収束速度の関係を示している。同図に示すように、判定部６０５は、消失点領域の検波値が下限閾値ＴＨlow未満となった場合に、自動露光制御の収束速度を速める。また、判定部６０５は、消失点領域の検波値が上限閾値ＴＨHighを超える場合に、自動露光制御の収束速度を速める。判定部６０５は、消失点領域の検波値を時系列で監視することで、連続的な収束速度の可変制御を実現することができる。【０１４８】
また、判定部６０５は、消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満の範囲内である期間中も、認識部６０４による車両認識情報に基づいて自車両の前方を常時監視する。例えば、過去の数フレーム分の画像認識結果を蓄積しておき、先行車両を認識できなくなった状態が所定数のフレーム以上継続した場合にも、自動露光制御の収束速度を速めるようにしてもよい。【０１４９】
車両枠の重み付け制御について：
判定部６０５は、図７に示したフローチャート中のステップＳ７０１で認識部６０４による画像認識情報を取得すると、空、消失点、及び先行車両の各々に対して検波枠を配置する。このとき、判定部６０５は、各先行車両の距離や相対速度に基づいて、各車両枠の重み付けを制御する。【０１５０】
例えば、図１９に示すようなイメージセンサ６０２の撮像画像１９００から、認識部６０４による画像認識情報に基づいて、車両枠Ｗｖ１、Ｗｖ２、Ｗｖ３が配置されたとする。また、図２０に示すように、自車両から各先行車両までの距離がそれぞれｄ１、ｄ２、ｄ３であり、各先行車両の相対速度がそれぞれｖ１、ｖ２、ｖ３であるとする。【０１５１】
先行車両との距離が短ければ、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。また、先行車両の相対速度が速いほど、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。そこで、下式（５）に示すように、先行車両との距離と相対速度に基づいて、各車両枠Ｗｖ１、Ｗｖ２、Ｗｖ３の重みＷeｖ１、Ｗeｖ２、Ｗeｖ３を制御するようにしてもよい。【０１５２】
【数５】
2020054240.tif 000008
【０１５３】
また、認識部６０４により画像認識された全車両の車両枠Ｗｖと、それ以外の領域とで重みを変えるようにしてもよい。例えば、全車両の車両枠の重みＷeｖを、下式（６）のように定義することができる（但し、図１９に示す例ではｎ＝３）。【０１５４】
【数６】
2020054240.tif 000009
【０１５５】
最後に、実施例２についてまとめておく。撮像装置６００は、単一露光、単一検波、単一現像として構成することもできるが、急激な被写体変化にも安定した露出を維持することができ、複数の被写体変化にも対応することができ、且つ、被写体検知機能を維持できるという特徴がある。
【産業上の利用可能性】
【０１５６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【０１５７】
本明細書では、車載カメラに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。【０１５８】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【０１５９】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置。
（１−１）前記処理部をさらに備える、
上記（１）に記載の情報処理装置。
（２）前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
上記（１）に記載の情報処理装置。
（３）前記イメージセンサは車両に搭載して用いられ、
前記認識部は、少なくとも周辺車両又は路面を画像認識し、
前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）に記載の情報処理装置。
（５）前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
上記（１）に記載の情報処理装置。
（６）前記制御部は、前記認識部が認識した２以上の車線の交点に基づいて前記消失点を算出する、
上記（５）に記載の情報処理装置。
（７）前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（６）のいずれかに記載の情報処理装置。
（８）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（７）のいずれかに記載の情報処理装置。
（９）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
上記（９）に記載の情報処理装置。
（１１）前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
上記（９）に記載の情報処理装置。
（１２）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）前記制御部は、車両領域とそれ以外の領域の重みを制御する、
上記（１２）に記載の情報処理装置。
（１４）イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法。
（１５）イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置。
（１６）移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置。
（１７）イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
【符号の説明】
【０１６０】
１００…車両制御システム
１０１…入力部、１０２…データ取得部、１０３…通信部
１０４…車内機器、１０５…出力制御部、１０６…出力部
１０７…駆動系制御部、１０８…駆動系システム
１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
１１２…自動運転制御部、１２１…通信ネットワーク
１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
１３４…計画部、１３５…動作制御部
１４１…車外情報検出部、１４２…車内情報検出部
１４３…車両状態検出部
１５１…マップ解析部、１５２…交通ルール認識部
１５３…状況認識部、１５４…状況予測部
１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
２００…撮像装置、２０１…レンズ、２０２…イメージセンサ
２０３…信号処理部、２０４…認識部、２０５…制御部
３０１…シャッター、３０２…素子部、３０３…アナログゲイン処理部
３０４…現像処理部、３０５…検波部、３０６…比較部
４０１…シャッター、４０２…素子部、４０３…アナログゲイン処理部
４０４−１…車両用現像処理部、４０４−２…路面用現像処理部
４０４−３…画面全体現像処理部、４０５−１…車両用検波部
４０５−２…路面用検波部、４０５−３…画面全体検波部
４０６…比較部
６００…撮像装置、６０１…レンズ、６０２…イメージセンサ
６０３…信号処理部、６０４…認識部、６０５…判定部
６０６…制御部
【図１】
2020054240.tif 000010
【図２】
2020054240.tif 000011
【図３】
2020054240.tif 000012
【図４】
2020054240.tif 000013
【図５】
2020054240.tif 000014
【図６】
2020054240.tif 000015
【図７】
2020054240.tif 000016
【図８】
2020054240.tif 000017
【図９】
2020054240.tif 000018
【図１０】
2020054240.tif 000019
【図１１】
2020054240.tif 000020
【図１２】
2020054240.tif 000021
【図１３】
2020054240.tif 000022
【図１４】
2020054240.tif 000023
【図１５】
2020054240.tif 000024
【図１６】
2020054240.tif 000025
【図１７】
2020054240.tif 000026
【図１８】
2020054240.tif 000027
【図１９】
2020054240.tif 000028
【図２０】
2020054240.tif 000029
【国際調査報告】
2020054240.tif 000030
2020054240.tif 000031
2020054240.tif 000032
2020054240.tif 000033
2020054240.tif 000034
2020054240.tif 000035
2020054240.tif 000036
2020054240.tif 000037
2020054240.tif 000038
2020054240.tif 000039