(57)【要約】【課題】画像を効率的に分析できるようにする。【解決手段】撮影した画像の短蓄信号と長蓄信号のうち、先行フレームの短蓄信号が、後行フレームの短蓄信号と対応される。先行フレームの短蓄信号を利用して、後行フレームの信号が処理される。本技術は、例えばＮフレームシーケンスの各フレームにおいて、車両の運転を支援するのに必要な対象物、例えば車両が走行するに際しての障害物、案内物、その他の対象物を認識する処理等、各種の処理を行い、車両の運転を支援する装置において撮像を制御する場合に適用することができる。【選択図】図２
2017220843.tif 000002
【特許請求の範囲】
【請求項１】
先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と
を備える撮像制御装置。
【請求項２】
前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、
前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換する
請求項１に記載の撮像制御装置。
【請求項３】
前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成する
請求項２に記載の撮像制御装置。
【請求項４】
前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、
前記処理部は、前記階調変換カーブに基づいて階調変換を行う
請求項３に記載の撮像制御装置。
【請求項５】
前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波する
請求項４に記載の撮像制御装置。
【請求項６】
前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御する
請求項１に記載の撮像制御装置。
【請求項７】
階調変換された信号から認識対象を認識する認識部をさらに備える
請求項４に記載の撮像制御装置。
【請求項８】
先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップと
を含む撮像制御方法。
【請求項９】
撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、
先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、
処理された信号から認識対象を認識する認識部と
を備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像制御装置および方法、並びに車両に関し、特に画像を効率的に分析することができるようにした撮像制御装置および方法、並びに車両に関する。
【背景技術】
【０００２】
運転者が車両を安全に運転できるようにするために、さまざまな提案がなされている。例えば、レーダで車両の前方をスキャンし、車両や障害物が検知されたとき、運転者に警告を発したり、自動的にブレーキがかかるように制御することが提案されている。また前方を走行する車両との距離が適切になるように、走行速度を自動的に制御することも提案されている。
【０００３】
さらに車両の運転を支援するために道路上の白線、道路標識等をビデオカメラで撮影、認識し、必要に応じて車両の運転者にその情報を提示することも知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２３９１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで運転支援には、迅速な対応が求められる。対応する時間が長くなると、その時間内に車両が走行する距離も長くなり、支援が間に合わなくなるからである。そのため、例えば車両の周囲を撮影し、その画像を分析することで、障害物等の有無を検知する場合にも、画像を効率的に分析できるようにすることが望まれる。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、画像を効率的に分析できるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面は、先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部とを備える撮像制御装置である。
【０００８】
前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換することができる。
【０００９】
前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成することができる。
【００１０】
前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、前記処理部は、前記階調変換カーブに基づいて階調変換を行うことができる。
【００１１】
前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波することができる。
【００１２】
前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御することができる。
【００１３】
階調変換された信号から認識対象を認識する認識部をさらに備えることができる。
【００１４】
本技術の一側面は、先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップとを含む撮像制御方法である。
【００１５】
本技術の一側面は、撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、処理された信号から認識対象を認識する認識部とを備える車両である。
【００１６】
本技術の一側面においては、先行フレームの短蓄信号が、後行フレームの短蓄信号と対応され、先行フレームの短蓄信号を利用して、後行フレームの信号が処理される。
【発明の効果】
【００１７】
以上のように、本技術の一側面によれば、画像を効率的に分析することができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術の一実施の形態の撮像制御装置の構成を示すブロック図である。
【図２】本技術の一実施の形態の認識処理を説明する図である。
【図３】本技術の一実施の形態の露光制御処理を説明するフローチャートである。
【図４】本技術の一実施の形態の信号処理部の構成を示すブロック図である。
【図５】本技術の一実施の形態の階調変換処理を説明するフローチャートである。
【図６】本技術の一実施の形態の階調変換カーブの生成処理を説明する図である。
【図７】本技術の一実施の形態のヒストグラムの範囲を説明する図である。
【図８】本技術の一実施の形態の階調変換カーブを説明する図である。
【図９】本技術と比較する認識処理を説明する図である。
【図１０】本技術と比較する認識処理を説明する図である。
【図１１】本技術と比較する信号処理部の構成を示すブロック図である。
【図１２】本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。
【図１３】本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。
【図１４】本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。
【図１５】本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。
【図１６】本技術の一実施の形態の露光情報の反映のタイミングを説明するタイミングチャートである。
【図１７】本技術の一実施の形態の信号処理部の構成を示すブロック図である。
【図１８】本技術の一実施の形態の信号処理部の構成を示すブロック図である。
【図１９】本技術の一実施の形態の信号処理部の構成を示すブロック図である。
【図２０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．  実施の形態
（１）  撮像制御装置の構成例（図１）
（２）  フレームシーケンス（図２）
（３）  露光制御処理（図３）
（４）  階調変換処理（図４〜図８）
（５）  比較するフレームシーケンス（図９乃至図１１）
（６）  イメージセンサの露光タイミング（図１２〜図１５）
（７）  露光制御の反映（図１６〜図１９）
２．応用例（図２０、図２１）
３．その他
【００２０】
＜１．実施の形態＞
（１）  撮像制御装置の構成例
図１は、本技術の一実施の形態の撮像制御装置の構成を示すブロック図である。撮像制御装置１は、光学系１１、撮像ブロック１２、認識ブロック１３、および出力部１４により構成されている。なおこれらは、図１においては一体的に構成された状態が示されているが、その一部は別体として設けることもできる。
【００２１】
撮像ブロック１２は、イメージセンサ２１および撮像制御部２２により構成されている。撮像制御部２２は、信号処理部３１およびタイミング制御部３２により構成されている。認識ブロック１３は、認識部４１により構成されている。なお、イメージセンサ２１は、必要に応じて撮像ブロック１２の外部に配置することもできる。
【００２２】
光学系１１はズームレンズ、フォーカスレンズ、絞り等を有し、被写体、すなわち認識対象からの光を集光し、イメージセンサ２１に入射させ、結像させる。イメージセンサ２１はCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ、CCD(Charge-Coupled Device)イメージセンサなどにより構成される。イメージセンサ２１は、光学系１１からの入射光を受光し、光電変換を行うことで、光学系１１からの入射光に対応する被写体（認識対象）の画像を撮像する。すなわち、イメージセンサ２１は、タイミング制御部３２から指定される撮影タイミングで撮影を行い、対応する撮影信号を出力する。
【００２３】
そして、イメージセンサ２１は、内蔵する画素の露光時間を制御し、露光時間が長い長蓄露光とすることで生成される長蓄信号と、露光時間が短い短蓄露光とすることで生成される短蓄信号とを出力する機能を有している。すなわち、イメージセンサ２１は、画素毎に電子的に露出設定を変えることができる。さらに信号処理部３１は、WDR（Wide Dynamic Range）処理と階調変換処理を実行する。
【００２４】
信号処理部３１は、出力画像に対して、例えばノイズの除去、WB（ホワイトバランス）の調整などの処理を行う。また、信号処理部３１は、撮影画像の明るさを検波し、撮影画像の明るさが適正になる露光時間を適正露光時間として、タイミング制御部３２に出力する。
【００２５】
タイミング制御部３２は、イメージセンサ２１の撮影タイミングを制御する。本実施の形態においては、Ｎフレームシーケンスで撮影が行われるように、タイミング制御部３２はイメージセンサ２１を制御する。詳細は図２を参照して後述するが、Ｎフレームを１フレームシーケンスとする撮影が行われる。Ｎの値は任意であるが、以下では、Ｎ＝４の場合を例として説明する。
【００２６】
認識部４１は、フレームシーケンスを構成する各フレーム毎の画像を分析し、処理対象の認識処理を行う。いまの場合、４フレームシーケンスとされるので、第１のフレームにおいて第１の対象物に対する認識処理が実行され、以下同様に、第２乃至第４のフレームのそれぞれにおいて、第２乃至第４の対象物に対する認識処理が実行される。この認識処理は、車両の運転を支援するのに必要な対象物を認識する処理である。例えば車両が走行するに際しての障害物、案内物、その他の対象物を、フレームシーケンスを構成するフレームの数だけ（従って、いまの場合４種類の対象物を）認識することができる。
【００２７】
出力部１４は、例えばモニタ、スピーカ等を有し、認識結果に基づく必要な情報を使用者（運転者）に提示する。
【００２８】
撮像制御装置１は、例えば自動車等の車両に搭載される。
【００２９】
（２）  フレームシーケンス
図２は、本技術の一実施の形態の認識処理を説明する図である。この図は、各フレームシーケンスの各フレームにおける認識処理を、模式的に表している。
【００３０】
図２に示されるように、本実施の形態においては、Ｎフレームシーケンス（図２の場合、Ｎ＝４）で画像を周期的に取得し、各フレームの画像を分析することで所定の認識処理が実行される。図２の実施の形態の場合、１フレームシーケンスの時間的長さがＴ秒（例えば１秒以下の任意の時間）とされ、このフレームシーケンスがＴ秒毎に繰り返される。図２には、フレームシーケンス＃１とフレームシーケンス＃２が示されている。
【００３１】
フレームシーケンス＃１においては、第１のフレームＦ１が第１の認識フレーム、第２のフレームＦ２が第２の認識フレーム、第３のフレームＦ３が第３の認識フレーム、第４のフレームＦ４が第４の認識フレームとされている。
【００３２】
同様に、フレームシーケンス＃２においては、第１のフレームＦ１１が第１の認識フレーム、第２のフレームＦ１２が第２の認識フレーム、第３のフレームＦ１３が第３の認識フレーム、第４のフレームＦ１４が第４の認識フレームとされている。
【００３３】
なお、図２において、第１のフレームには、その特徴を表すタイトルとして、WDRの文字が付されている。WDRは、Wide Dynamic Rangeを表し、このフレームにおいては長蓄と短蓄の２枚露光が行われる。第４のフレームには、その特徴を表すタイトルとして、NMLとHISTの文字が付されている。NMLは、Normalを表し、このフレームにおいては、ノーマル露光、すなわち長蓄のみの１枚露光が行われる。また、HISTはHistogramを表し、このフレームにおいてはHIST処理が行われる。
【００３４】
イメージセンサ２１から出力された映像信号は、信号処理部３１でノイズ除去処理、WB処理等が行われた後、認識部４１に入力される。認識部４１は各フレームシーケンスの第１のフレームの映像信号に基づいて第１の認識処理を実行する。
【００３５】
第１の認識処理の場合、信号処理部３１において、ダイナミックレンジをワイドダイナミックレンジ(WDR)にする処理が実行される。すなわち、通常のダイナミックレンジでは、極端な明暗差のある映像や、逆光の状態にある映像などからは、各部の対象を正確に認識することができない。そこで、ダイナミックレンジを広げることで、極端な明暗差のある映像や、逆光の状態にある映像などからでも、各部の対象を正確に認識できるようにする。
【００３６】
さらに、この第１のフレームでは、信号処理部３１においてATR(Adaptive Tone Reproduction)処理が実行される。この第１のフレームでの処理を実現するため、その直前のフレームシーケンスの第４のフレームの短蓄露光を、第１のフレームの短蓄露光と合わせる処理が実行される。そして第４のフレームで、短蓄信号からヒストグラムが生成され、それに基づいて階調変換カーブが生成される。第１のフレームでは、この階調変換カーブに基づいて階調変換処理が実行される。
【００３７】
第４のフレームの短蓄露光は、第１のフレームの短蓄露光と合わせられるため（第１のフレームの第１の処理に利用できるようにするため）、第４のフレームの第４の認識処理として、独自に短蓄露光を必要とする認識処理を割り当てることができない。つまり、第４のフレームの第４の認識処理には、短蓄露光を必要としない認識処理が割り当てられる。そこで第４のフレームは、長蓄のみの１枚露光が行われる（短蓄露光が利用されない）ノーマル露光のフレームとされる。
【００３８】
認識部４１において、第１のフレームの次の第２のフレームでは、その映像信号に基づいて第２の認識処理が実行され、第３のフレームでは、その映像信号に基づいて第３の認識処理が実行される。そして第４のフレームではその映像信号に基づいて第４の認識処理が実行される。認識結果は、必要に応じて出力部１４に供給され、使用者に提示される。
【００３９】
図２の実施の形態においては、フレームシーケンスを構成するフレームの数を４としたが、認識対象の数に応じてその数を増減することができる。
【００４０】
（３）露光制御処理
次に、図３を参照して、露光制御処理について説明する。図３は、本技術の一実施の形態の露光制御処理を説明するフローチャートである。
【００４１】
ステップＳ１１において信号処理部３１は、イメージセンサ２１から入力される映像信号の現在のフレームが、ATR処理するフレームの直前のフレームであるかを判定する。図２を参照して説明したように、ATR処理するフレームは第１のフレーム（フレームＦ１，Ｆ１１）であるから、その直前のフレームは第４のフレーム（フレームＦ４，Ｆ１４）である。すなわち現在のフレームが第４のフレームであるかが判定される。また、上述したように、この第４のフレームはノーマル露光のフレームである必要がある。
【００４２】
現在のフレームが第４のフレームではないと判定された場合、現在のフレームは、第１、第２、または第３のフレームである。この場合、ステップＳ１２において信号処理部３１は、対応する認識処理に必要な露光条件を設定する。例えば、信号処理部３１はタイミング制御部３２を制御し、対応する認識処理に必要な露光時間を設定させる。つまり、現在のフレームが第１のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第１の認識処理に必要な露光時間に設定される。もちろん、露光条件としては、露光時間以外に、ゲイン、絞り、レンズ等を調整するようにすることもできるが、以下においては、主に露光時間として説明する。
【００４３】
同様に、現在のフレームが第２のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第２の認識処理に必要な露光時間に設定される。現在のフレームが第３のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第３の認識処理に必要な露光時間に設定される。なお、短蓄信号が利用されない場合には、その露光時間の制御は省略することができる。
【００４４】
一方、ステップＳ１１で、現在のフレームがATR処理するフレームの直前のフレームである、すなわち、第４のフレームであると判定された場合、処理はステップＳ１３に進む。ステップＳ１３において、信号処理部３１は、現在のフレームの短蓄を、ATR処理するフレームの短蓄に対応させる処理を実行する。つまり、第４のフレームの短蓄の露光時間を、ATR処理するフレームの短蓄の露光時間に合わせる処理が実行される。具体的には、信号処理部３１はタイミング制御部３２を制御し、第４のフレームの短蓄の露光時間を、第１のフレームの短蓄の露光時間に合わせる設定をさせる。これにより、第４のフレームの短蓄の露光時間が、第１のフレームの短蓄の露光時間と一致することになる。第４のフレームの長蓄の露光時間は、第４の認識処理に必要な時間に設定される。
【００４５】
第４の認識処理においては短蓄信号は利用されていない。従って第４のフレームの短蓄露光を第１のフレームの短蓄露光に対応させても、第４の認識処理は実行することができる。すなわち、本実施の形態においては、ATR処理する直前のフレームには、その短蓄信号を利用しない認識処理が配置される。
【００４６】
ステップＳ１２，Ｓ１３の処理の後、ステップＳ１４において、信号処理部３１はフレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。フレームシーケンス処理を終了すると判定された場合、露光制御処理は終了される。
【００４７】
（４）階調変換処理
上述したように信号処理部３１は、WDR処理と階調変換処理を実行する。このため信号処理部３１は図４に示される構成を有する。図４は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。
【００４８】
図４の実施の形態においては、信号処理部３１は合成部５１、選択部５２、HIST検波部５３およびATR部５４を有している。合成部５１は、イメージセンサ２１が出力する長蓄信号と短蓄信号を合成してWDR合成信号を出力する。選択部５２は、イメージセンサ２１が出力する長蓄信号と短蓄信号、または合成部５１が出力する合成信号のいずれかを選択するようにフレーム毎に切り替えられる。選択された信号（選択後信号）はATR部５４に出力される。
【００４９】
HIST検波部５３は、イメージセンサ２１が出力する短蓄信号をHIST検波し、階調変換カーブを生成し、ATR部５４に出力する。ATR部５４は、HIST検波部５３により生成された階調変換カーブに基づいて、選択部５２から供給されたWDR合成信号を階調変換し、認識部４１に出力する。
【００５０】
次に図５のフローチャートを参照して、図４の信号処理部３１が実行する階調変換処理について説明する。図５は、本技術の一実施の形態の階調変換処理を説明するフローチャートである。
【００５１】
ステップＳ５１においてHIST検波部５３は、現在のフレームが、ATR処理するフレームの直前のフレームであるかを判定する。図２に示されるように、ATR処理するフレームである第１のフレーム（フレームＦ１，Ｆ１１）の直前のフレームは第４のフレーム（フレームＦ４,Ｆ１４）であるから、現在のフレームが第４のフレームであるかが判定される。換言すれば、現在のフレームが、ATR処理するフレームの短蓄露光と同じ露光条件が設定された短蓄露光の短蓄信号を有するフレーム（フレームＦ４，Ｆ１４）であるかが判定される。すなわち、図３のステップＳ１３の処理により、第４のフレームの短蓄の露光時間は、第１のフレームの短蓄の露光時間と一致するように設定されている。
【００５２】
ステップＳ５１において現在のフレームがATR処理するフレームの直前のフレームであると判定された場合、つまり現在のフレームが第４のフレーム（フレームＦ４，Ｆ１４）であると判定された場合、ステップＳ５２の処理が実行される。ステップＳ５２においてHIST検波部５３は短蓄信号を取得する。そしてHIST検波部５３は、ヒストグラムを生成する。
【００５３】
ステップＳ５３においてHIST検波部５３は、累積ヒストグラムを生成する。ステップＳ５４においてHIST検波部５３は累積ヒストグラムに基づいて、階調変換カーブを生成する。この階調変換カーブは次の第１のフレームの処理（後述するステップＳ５７の処理）で利用される。
【００５４】
ステップＳ５４の処理の後、ステップＳ５８において、選択部５２は認識処理に対応する選択をする。いまの場合、現在のフレームは第４のフレーム（フレームＦ４，Ｆ１４）なので、長蓄信号または短蓄信号が選択され、ATR部５４をスルーして、認識部４１に供給される。そして認識部４１により第４の認識処理が実行される。
【００５５】
ステップＳ５８の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００５６】
ここでステップＳ５２乃至ステップＳ５４の処理について、図６と図７を参照して説明する。図６は、本技術の一実施の形態の階調変換カーブの生成処理を説明する図である。図６Ａは、ステップＳ５２で取得された短蓄信号から生成されたヒストグラムを表している。図６Ａにおいて横軸は画素値を表し、縦軸は画素数を表している。
【００５７】
図６Ｂは、ステップＳ５３で生成される累積ヒストグラムを表している。図６Ａに示される画素数を、順次隣の画素値の画素数に累積する処理が繰り返されて、図６Ｂの累積ヒストグラムが生成される。さらにステップＳ５４で累積ヒストグラムに基づいて生成されるのが、図６Ｃに示される階調変換カーブの元になるカーブである。このカーブを８ビットで表される画素値で表現するように変換することで、後述する図８に示される階調変換カーブが生成される。
【００５８】
図７は、本技術の一実施の形態のヒストグラムの範囲を説明する図である。図７Ａは、短蓄信号に基づき生成されるヒストグラムを表しており、図７Ｂは、長蓄信号に基づき生成されるヒストグラムを表している。図７Ａと図７Ｂにおいて横軸は画素値を表し、縦軸は画素数を表している。２つの図を比較して明らかなように、図７Ａの横軸は短蓄画素値×露光比ゲインで表されるので、短蓄信号の画素値の範囲ＲＳの方が、長蓄信号の画素値の範囲ＲＬより広くなる。そこで、短蓄信号に基づいて有効な階調変換カーブを生成することができる。
【００５９】
図５のフローチャートの説明に戻って、ステップＳ５１において、現在のフレームがATR処理するフレームの直前のフレーム（つまり第４のフレーム）ではないと判定された場合、ステップＳ５５の処理が実行される。すなわち現在のフレームが第１、第２または第３のフレームである場合、ステップＳ５５において選択部５２は、現在のフレームが、ATR処理するフレームであるかを判定する。つまり現在のフレームが第１のフレーム（フレームＦ１，Ｆ１１）であるかが判定される。
【００６０】
現在のフレームがATR処理するフレームであると判定された場合、処理はステップＳ５６に進む。すなわち現在のフレームが第１のフレーム（フレームＦ１，Ｆ１１）である場合、ステップＳ５６において、選択部５２は合成信号を選択する。つまり、合成部５１により長蓄信号と短蓄信号を合成したWDR合成信号がATR部５４に供給される。
【００６１】
ステップＳ５７においてATR部５３は、階調変換カーブを利用して階調を変換する。すなわち直前のフレーム（フレームＦ４，Ｆ１４）のステップＳ５４の処理において階調変換カーブが生成されている。ATR部５４はこの階調変換カーブを利用して、選択部５２により選択されたWDR合成信号の階調を変換する処理を実行する。
【００６２】
図８は、本技術の一実施の形態の階調変換カーブを説明する図である。図８において横軸は変換前の画素値を表し、縦軸は変換後の画素値を表している。図８に示されるように、階調変換カーブは、図中黒丸印で表されるコントロールポイントの隣接する２個を順次直線で結んだ折れ線グラフとなる。選択部５２により選択された信号の変換前の画素値（横軸の値）は、階調変換カーブと交叉する点に対応する変換後の値（縦軸の値）に変換される。
【００６３】
階調変換された信号は認識部４１に供給され、対応する認識処理が実行される。いまの場合、第１のフレーム（フレームＦ１，Ｆ１１）であるから、第１の認識処理が実行される。
【００６４】
ステップＳ５７の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００６５】
ステップＳ５５において、現在のフレームがATR処理する第１のフレームではない、すなわち第２のフレーム（フレームＦ２，Ｆ１２）または第３のフレーム（フレームＦ３，Ｆ１３）であると判定された場合、ステップＳ５８の処理が実行される。選択部５２はステップＳ５８において、認識処理に対応する選択をする。例えば、現在のフレームが第２のフレーム（フレームＦ２，Ｆ１２）である場合、長蓄信号または短蓄信号のうち、第２の認識処理に必要な信号が選択される。現在のフレームが第３のフレーム（フレームＦ３，Ｆ１３）である場合、長蓄信号または短蓄信号のうち、第３の認識処理に必要な信号が選択される。
【００６６】
この場合、ATR部５４は特に処理をせず、選択された信号を認識部４１に供給する。認識部４１は対応する認識処理を実行する。すなわち現在のフレームが第２のフレーム（フレームＦ２，Ｆ１２）である場合、第２の認識処理が実行される。現在のフレームが第３のフレーム（フレームＦ３，Ｆ１３）である場合、第３の認識処理が実行される。
【００６７】
ステップＳ５８の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００６８】
ステップＳ５９において、フレームシーケンス処理の終了が指示されたと判定された場合、処理は終了される。
【００６９】
以上のように、この実施の形態においては、Ｎフレームシーケンスのうちの時間的に前の先行フレームの短蓄信号を生成するための短蓄露光が、先行フレームより時間的に後の後行フレームの短蓄信号を生成するための短蓄露光と対応される。その結果、Ｎ個（図２の実施の形態においてはＮ＝４）の全てのフレームを効率的に、無駄なく認識処理に利用することができる。また、短蓄露光を対応させるフレームを、直前のフレームとしたので、迅速な認識処理が可能となる。
【００７０】
（５）比較するフレームシーケンス
ここで図９乃至図１１を参照して、異なるフレームシーケンス処理について説明する。図９は、本技術と比較する認識処理を説明する図である。図９の例では、フレームシーケンス＃１が４個のフレームＦ４１乃至フレームＦ４４で構成されている。そのうち、第２のフレームＦ４２においてWDR処理とATR処理に基づく第１の認識処理、第３のフレームＦ４３において第３の認識処理、そして第４のフレームＦ４４において第４の認識処理が実行される。同様に、フレームシーケンス＃２が４個のフレームＦ５１乃至フレームＦ５４で構成されている。そのうち、第２のフレームＦ５２においてWDR処理とATR処理に基づく第１の認識処理、第３のフレームＦ５３において第３の認識処理、そして第４のフレームＦ５４において第４の認識処理が実行される。
【００７１】
そしてATR処理のためには、第２のフレームＦ４２，Ｆ５２の直前の第１のフレームＦ４１，Ｆ５１の露光条件を、第２のフレームＦ４２，Ｆ５２と同じ露光条件に設定する必要がある。第１のフレームＦ４１，Ｆ５１において独自の処理が実行できるようにするには、第１のフレームＦ４１，Ｆ５１の露光条件を独自に設定できるようにする必要がある。
【００７２】
しかし図９の例では、第１のフレームＦ４１，Ｆ５１の露光条件を独自に設定することができない。その結果、第１のフレームＦ４１，Ｆ５１が、実質的に無効の（すなわち独自の処理が実行できない）フレームになっている。その結果、図２のフレームシーケンス処理では第１の認識処理、第２の認識処理、第３の認識処理、および第４の認識処理の４種類の認識処理が実行できている。これに対して、図９のフレームシーケンスの処理では、３種類の認識処理しか実行できない。つまり第２の認識処理が実行できないことになる。
【００７３】
さらに図１０のようなフレームシーケンス処理も考えられる。図１０は、本技術と比較する認識処理を説明する図である。この例においては、フレームシーケンス＃１とフレームシーケンス＃２のいずれにおいても、４種類の認識処理が実行される。すなわち、フレームシーケンス＃１の第１のフレームＦ７１乃至第４のフレームＦ７４において、それぞれATRの第１の認識処理、第２の認識処理、第３の認識処理、または第４の認識処理の４種類の認識処理が実行される。同様に、フレームシーケンス＃２の第１のフレームＦ８１乃至第４のフレームＦ８４において、それぞれATRの第１の認識処理、第２の認識処理、第３の認識処理、または第４の認識処理の４種類の認識処理が実行される。
【００７４】
同じ認識処理では同じ露光条件が設定される。従って、フレームシーケンス＃１の第１のフレームＦ７１の露光条件は、フレームシーケンス＃２の第１のフレームＦ８１の露光条件と同じとなる。そこで、フレームシーケンス＃２の第１のフレームＦ８１においては、フレームシーケンス＃１の第１のフレームＦ７１の情報を利用してATR処理が実行可能となる。しかしこのようにすると、１フレームシーケンス前（すなわちＴ秒前）の情報を利用してATR処理が実行されるため、迅速な処理ができず、このシステムを高速で走行する車両に適用することが困難となる。つまり、図２に示されるように、直前のフレーム（すなわちＴ／４秒前のフレーム）を利用した方が、迅速な処理が可能になる。
【００７５】
図４に示す信号処理部３１と同様に、図９と図１０の例を処理する信号処理部４３１の構成は、図１１に示されるようになる。図１１は、本技術と比較する信号処理部の構成を示すブロック図である。図１１におけるイメージセンサ４２１、信号処理部４３１、合成部４５１、選択部４５２、HIST検波部４５３、ATR部４５４は、それぞれ図４のイメージセンサ２１、信号処理部３１、合成部５１、選択部５２、HIST検波部５３、ATR部５４に対応し、それらと同様の機能を有する。
【００７６】
図４の信号処理部３１においては、HIST検波部５３は短蓄信号をHIST検波する。これに対して、図１１の信号処理部４３１においては、HIST検波部４５３は、選択部４５２によりフレーム毎に選択された選択後信号（すなわち、長蓄信号、短蓄信号またはWDR合成信号）をHIST検波する。
【００７７】
（６）イメージセンサの露光タイミング
以上においては、模式的なタイミングチャートに基づいてフレームシーケンス処理について説明した。次に、イメージセンサ２１として、画素を１行（ライン）毎に順次読み出すことができるイメージセンサを用いた場合のタイミングチャートについて説明する。
【００７８】
図１２は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。図１２のタイミングチャートは、画素信号の読み出しタイミングをオーバーラップさせずにWDR機能を実現するイメージセンサ２１を使用した場合の例を示している。このイメージセンサ２１は、蓄積時間の異なる３フレームのデータを、各フレームのライン毎に出力する機能を有しており、低照度時の画質を改善することができる。なお、図１２は、２枚露光の場合、すなわち、１フレームにおける露光により得られる画像の枚数は２枚である場合を示している。
【００７９】
この例では、２つのノーマル処理のフレーム（NML1,NML2）（すなわち１枚露光のフレーム）の次にATR処理のフレームATRが続いている。図１２においてtx（xは数字）は時刻を表し、XVSは垂直同期信号を表している。このことは他の図においても同様である。
【００８０】
ノーマル処理のフレームNML2の長蓄信号１０２Lに関して、垂直同期信号XVS1と垂直同期信号XVS2の間の時刻t13において第１番目のラインの露光が開始され、その露光は、垂直同期信号XVS2と垂直同期信号XVS3の間の時刻t17で終了する。以下、第２番目以降のラインの露光が順次行われ、最後のラインの露光が時刻t16で開始され、時刻t20で終了する。従って、線１０２Lｈは各ラインの露光開始のタイミングを表し、線１０２Lｅは露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０２Lｅは読み出しのタイミングも表している。
【００８１】
長蓄信号１０２Lに対応する短蓄信号１０２Sに関して、最初のラインの露光が、長蓄信号１０２Lの第１ラインの露光が終了した時刻t17の直後から開始され、時刻t18に終了する。以下同様に、長蓄信号１０２Lの各ラインの露光が終了した直後から短蓄信号１０２Sの各ラインの露光が順次行われる。そして短蓄信号１０２Sの最後のラインの露光は、時刻t21で終了する。この場合も、線１０２Shは、短蓄信号１０２Sの各ラインの露光開始のタイミングを表しており、線１０２Seは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０２Sｅは読み出しのタイミングも表している。
【００８２】
なお、便宜上、短蓄信号１０２Sは、長蓄信号１０２Lの下に図示されているが、正確には、長蓄信号１０２Lの横に（すなわち、短蓄信号１０２Sの線１０２Shが長蓄信号１０２Lの線１０２Leと接するように）配置されるべきである。このことは、他の信号についても同様である。また、短蓄信号１０２Sの露光時間（時刻t17から時刻t18までの時間）は、長蓄信号１０２Lの露光時間（時刻t13から時刻t17までの時間）より十分短い。
【００８３】
ノーマル処理のフレームNML2の次のATR処理のフレームATRの長蓄信号１０３Lに関して、垂直同期信号XVS2と垂直同期信号XVS3の間の時刻t19において第１番目のラインの露光が開始される。そしてその露光は、垂直同期信号XVS3と垂直同期信号XVS4の間の時刻t23で終了する。以下、第２番目以降のラインの露光が順次行われ、最後のラインの露光が時刻t25で開始され、時刻t26で終了する。従って、線１０３Lｈは各ラインの露光開始のタイミングを表し、線１０３Lｅは露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０３Lｅは読み出しのタイミングも表している。
【００８４】
長蓄信号１０３Lに対応する短蓄信号１０３Sに関して、最初のラインの露光が、長蓄信号１０３Lの第１ラインの露光が終了した時刻t23の直後から開始され、時刻t24に終了する。以下同様に、長蓄信号１０３Lの各ラインの露光が終了した直後から短蓄信号１０３Sの各ラインの露光が順次行われる。そして短蓄信号１０３Sの最後のラインの露光は、時刻t27で終了する。この場合も、線１０３Shは、短蓄信号１０３Sの各ラインの露光開始のタイミングを表しており、線１０３Seは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０３Sｅは読み出しのタイミングも表している。
【００８５】
ノーマル処理のフレームNML2の短蓄信号１０２Sの露光条件は、ATR処理のフレームATRの短蓄信号１０３Sの露光条件と異なる設定が可能であるが、この例では同じ設定とされている。つまり、短蓄信号１０２Sの露光時間である時刻t17から時刻t18までの時間は、短蓄信号１０３Sの露光時間である時刻t23から時刻t24までの時間と同じである。ATR検波データの更新は、短蓄信号１０２Sの最後のラインの露光が終了した時刻t21のすぐ後の時刻t22とされている。すなわち検波データは、時刻t22において検波データ２１から検波データ２２に更新される。
【００８６】
なおこの例では、ノーマル処理のフレームNML1の長蓄信号１０１Lに続くタイミングの短蓄信号１０１Sは、使用されていないのでその露光が行われない。または読み出しが行われないか、読み出されても使用されない。
【００８７】
図１３は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この例は、イメージセンサ２１が、複数のフレームの画素の画素信号が同時に読み出される方式のものである場合のタイミングチャートを表している。このタイミングは、図１２の場合と同様であるのでその説明は省略する。この方式では、図１２の例の場合と同様に、１フレームの信号の読み出し中に、次のフレームの露光を開始することが可能である。
【００８８】
図１４は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この図１４は、図１２の例と同様に、画素信号の読み出しタイミングをオーバーラップさせずにWDR機能を実現するイメージセンサ２１により、各フレームにおいて１つの長蓄信号と２つの短蓄信号を読み出す場合の例を示している。すなわちこの例は、３枚露光のタイミングチャートを表している。
【００８９】
長蓄信号と第１の短蓄信号の露光タイミングは、図１２の２枚露光の場合と同様であるので、その説明は省略し、第２の短蓄信号のタイミングについてのみ説明を追加する。
【００９０】
ノーマル処理のフレームNML1の信号は、長蓄信号１３１L、第１の短蓄信号１３１S1、第２の短蓄信号１３１S2であり、ノーマル処理のフレームNML2の信号は、長蓄信号１３２L、第１の短蓄信号１３２S1、第２の短蓄信号１３２S2である。ATR処理のフレームATRの信号は、長蓄信号１３３L、第１の短蓄信号１３３S1、第２の短蓄信号１３３S2である。
【００９１】
ノーマル処理のフレームNML2の長蓄信号１３２Lに対応する第２の短蓄信号１３２S2に関して、最初のラインの露光が、第１の短蓄信号１３２S1の最初のラインの露光が終了した時刻t89の直後から開始され、時刻t90に終了する。以下同様に、第１の短蓄信号１３２S1の各ラインの露光が終了した直後から第２の短蓄信号１３２S2の各ラインの露光が順次開始される。そして第２の短蓄信号１３２S2の最後のラインの露光は、時刻t94で終了する。この場合も、線１３２S2hは、第２の短蓄信号１３２S2の各ラインの露光開始のタイミングを表しており、線１３２S2eは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１３２S2ｅは読み出しのタイミングも表している。
【００９２】
なお、便宜上、第２の短蓄信号１３２S2は、第１の短蓄信号１３２S1の下に図示されているが、正確には、第１の短蓄信号１３２S1の横に（すなわち、第２の短蓄信号１３２S2の線１３２S2hが第１の短蓄信号１３２S1の線１３２S1eと接するように）配置されるべきである。このことは、他の信号についても同様である。
【００９３】
ATR処理のフレームATRの長蓄信号１３３Lに対応する第２の短蓄信号１３３S2に関して、最初のラインの露光が、第１の短蓄信号１３３S1の最初のラインの露光が終了した時刻t97の直後から開始され、時刻t98に終了する。以下同様に、第１の短蓄信号１３３S1の各ラインの露光が終了した直後から第２の短蓄信号１３３S2の各ラインの露光が順次開始される。そして第２の短蓄信号１３３S2の最後のラインの露光は、時刻t102で終了する。この場合も、線１３３S2hは、第２の短蓄信号１３３S2の各ラインの露光開始のタイミングを表しており、線１３３S2eは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１３３S2ｅは読み出しのタイミングも表している。
【００９４】
ノーマル処理のフレームNML2の長蓄信号１３２L、第１の短蓄信号１３２S1，第２の短蓄信号１３２S2の露光条件は、ATR処理のフレームATRの長蓄信号１３３L、第１の短蓄信号１３３S1，第２の短蓄信号１３３S2の露光条件と異なる設定が可能である。しかし、この例では、ノーマル処理のフレームNML2の第１の短蓄信号１３２S1の露光条件が、ATR処理のフレームATRの第１の短蓄信号１３３S1の露光条件と同じとされている。同様に、第２の短蓄信号１３２S2の露光条件は、ATR処理のフレームATRの第２の短蓄信号１３３S2の露光条件と同じとされている。なお、この例では、第２の短蓄信号１３２S2の露光時間（時刻t89から時刻t90までの時間）は、第１の短蓄信号１３２S1の露光時間（時刻t88から時刻t89までの時間）より短い。ATR検波データの更新は、短蓄信号１３２S2の最後のラインの露光が終了した時刻t94のすぐ後の時刻t95とされている。すなわち検波データは、時刻t95において検波データ３１から検波データ３２に更新される。
【００９５】
またこの例では、ノーマル処理のフレームNML1の長蓄信号１３１Lに続くタイミングの第２の短蓄信号１３１S2は、第１の短蓄信号１３１S1と同様に使用されていないので、その露光が行われない。または読み出しが行われないか、読み出されても使用されない。
【００９６】
図１５は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この例は、イメージセンサ２１が１つの画素につき、高感度画素の受光部と、低感度画素の受光部とを有している場合のタイミングチャートを表している。
【００９７】
この図１５のタイミングチャートは、基本的に図１２のタイミングチャートと同様である。ただ短蓄信号の露光タイミングが異なっている。すなわち、ノーマル処理のフレームNML2の短蓄信号１４２Sの最初のラインの露光は、垂直同期信号XVS31と垂直同期信号XVS32の間の時刻t125から時刻t126まで行われる。最後のラインの露光は、垂直同期信号XVS32と垂直同期信号XVS33の間の時刻t128から時刻t129まで行われる。すなわち、短蓄信号１４２Sの最後のラインの露光が終了する時刻が、長蓄信号１４２Lの最後のラインの露光が終了する時刻と同じ時刻t129となる。つまりこの例の場合、長蓄信号１４２Lの露光がまだ終了していないとき、一部のタイミングが重なるように、同時に並行して短蓄信号１４２Sの露光が実行される。
【００９８】
ATR処理のフレームATRの短蓄信号１４３Sの最初のラインの露光は、垂直同期信号XVS32と垂直同期信号XVS33の間の時刻t131から、垂直同期信号XVS33と垂直同期信号XVS34の間の時刻t132まで行われる。最後のラインの露光は、垂直同期信号XVS33と垂直同期信号XVS34の間の時刻t134から時刻t135まで行われる。すなわち、長蓄信号１４３Lの最後のラインの露光が終了する時刻が、短蓄信号１４３Sの最後のラインの露光が終了する時刻と同じ時刻t135となる。
【００９９】
ノーマル処理のフレームNML2の長蓄信号１４２L、短蓄信号１４２Sの露光条件は、ATR処理のフレームATRの長蓄信号１４３L、短蓄信号１４３Sの露光条件と異なる設定が可能である。しかし、この例では、ノーマル処理のフレームNML2の短蓄信号１４２Sの露光条件は、ATR処理のフレームATRの短蓄信号１４３Sの露光条件と同じに設定されている。
【０１００】
なおこの例では、ノーマル処理のフレームNML1の長蓄信号１４１Lに続くタイミングの短蓄信号１４１Sは使用されていないのでその露光が行われない。または読み出しが行われないか、読み出されても使用されない。
【０１０１】
また、イメージセンサ２１が、画素毎に電子的に露出設定を変えることができる構成の他のイメージセンサである場合にも、そのタイミングチャートは、図１５と同様になる。
【０１０２】
（７） 露光制御の反映
図１６は、本技術の一実施の形態の露光制御の反映のタイミングを説明するタイミングチャートである。先行フレームの短蓄信号を、後行フレームの露光制御に用いることができる。図１６は、この場合のタイミングチャートを表している。
【０１０３】
図１６の実施の形態においては、WDR露光は行われず、ノーマル露光が行われる。この例では、フレームＦ１０１で、長蓄露光が行われ、次のフレームＦ１０２で、長蓄露光された信号が読み出され、さらに次のフレームＦ１０３で、読み出された長蓄信号に基づいて検波が行われる（長蓄検波が行われる）。
【０１０４】
長蓄信号の読み出しが行われているフレームＦ１０２で、短蓄露光が行われ、次の長蓄検波が行われているフレームＦ１０３で短蓄信号の読み出しが行われる。そしてさらにその次のフレームＦ１０４で、読み出された短蓄信号に基づいて検波が行われる（短蓄検波が行われる）。
【０１０５】
以上のフレームＦ１０１乃至フレームＦ１０４と同様の処理が、続くフレームＦ１０５乃至フレームＦ１０８のサイクルにおいても行われる。
【０１０６】
フレームＦ１０３の長蓄検波とフレームＦ１０４の短蓄検波の結果は、フレームＦ１０４とフレームＦ１０５の間の垂直同期信号XVS55のタイミングで送信され、次のサイクルに反映される。このように、短蓄信号を有効に活用して、３フレーム前の露光情報を反映させることができる。つまり後行のフレームＦ１０５の画像が、３フレーム前の先行のフレームＦ１０２で行われた短蓄露光の露光情報に基づいて制御される。
【０１０７】
この実施の形態の場合、３フレーム前の短蓄信号の検波データを使用して、露光制御が行われるので、明暗変化に迅速に追従することが可能となる。
【０１０８】
図１７は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。すなわち、図１７は、図１６の処理を実行する信号処理部３１の構成例を表している。
【０１０９】
この例においては、信号処理部３１は、HIST検波部２０１とHIST検波部２０２、およびCPU(Central Processing Unit)２０３により構成されている。イメージセンサ２１が出力する長蓄信号は、信号処理部３１の外部に設けられた後段チップ２２１に供給されるとともに、HIST検波部２０１に供給されている。イメージセンサ２１が出力する短蓄信号はHIST検波部２０２に供給されている。なお、後段チップ２２１は、例えば図１の認識ブロック１３を有する。
【０１１０】
HIST検波部２０１は入力される長蓄信号を検波する。すなわち、図４のHIST検波部５３と同様の検波処理が、長蓄信号に関して行われる。この長蓄検波は、図１６のフレームＦ１０３、Ｆ１０７で行われる処理である。検波結果はレジスタで読み出され、CPU２０３に供給される。
【０１１１】
HIST検波部２０２は入力される短蓄信号を検波する。すなわち、図４のHIST検波部５３と同様の検波処理が、短蓄信号に関して行われる。この短蓄検波は、図１６のフレームＦ１０４、Ｆ１０８で行われる処理である。検波結果はレジスタで読み出され、CPU２０３に供給される。
【０１１２】
CPU２０３は、HIST検波部２０１とHIST検波部２０２の一方または両方の検波の結果に基づいて、イメージセンサ２１の長蓄と短蓄の露光条件を制御する。短蓄信号の方が、露光時間が短くなるため、よりダイナミックレンジが広い範囲を検波する。従って、ダイナミックレンジが変動した場合、長蓄信号の露光制御に１フレーム早くフィードバックすることが可能となる。
【０１１３】
図１８は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。図１８も、図１６の処理を実行する信号処理部３１の構成例を表している。この例においては、図１７におけるCPU２０３が省略され、HIST検波部２０１とHIST検波部２０２の出力が、外部の後段チップ２２１に供給されている。そして、後段チップ２２１が、図１７のCPU２０３に代わって、イメージセンサ２１の露光条件を外部から制御する。
【０１１４】
以上においては、短蓄信号または長蓄信号を用いてヒストグラムを生成するようにしたが、長蓄信号と短蓄信号を適切に合成した合成ゲインでダイナミックレンジを拡張した信号を用いることもできる。以下、この場合の例を、図１９を参照して説明する。
【０１１５】
図１９は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。図１９の信号処理部３１の基本的構成は、図４の場合と同様であるが、この例においては、HIST検波部５３に、短蓄信号に代えて、合成部５１からのWDR合成信号が供給されている。合成部５１は、イメージセンサ２１からのノーマル処理のフレームNMLの長蓄信号と短蓄信号を合成して、WDR合成信号を生成し、HIST検波部５３に供給する。HIST検波部５３は階調変換カーブを生成する。この階調変換カーブは後でフレームATRのATR処理に利用される。
【０１１６】
選択部５２は、イメージセンサ２１が出力する長蓄信号だけを選択し、ATR部５４に出力する。ATR部５４は、入力された長蓄信号をそのまま後段の認識部４１に出力する。なお、短蓄信号の露光は、フレームATRの短蓄信号の露光と対応されているが、長蓄信号の露光は、認識処理対象に対して適正になるように設定されている。
【０１１７】
この例においては、HIST検波に長蓄信号も使用されるので、低輝度部分のヒストグラムを補完することができる。通常、低輝度部分に階調を多く割り当てることが多く、長蓄信号は、低輝度により高い解像度を有している。従って、長蓄信号により階調の割り当てを最適化することができる。
【０１１８】
なお、図４、図１７乃至図１９においては、２枚合成の場合を例として示したが、３枚合成を行うことも可能である。
【０１１９】
なお、以上においては、検波としてHIST検波を用いるようにしたが、AE（Auto Exposure）等の測光検波を用いることもできる。
【０１２０】
１枚の画像を保存するフレームメモリが設けられている場合、保存された画像に対して検波と階調変換を同時に行うことができるが、本技術は、このようなフレームメモリが設けられていない場合にも適用が可能である。もちろん、フレームメモリが設けられている場合であっても、本技術は適用することができる。
【０１２１】
＜２．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
【０１２２】
図２０は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１２３】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１２４】
駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１２５】
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１２６】
ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１２７】
バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１２８】
車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
【０１２９】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１３０】
ここで、図２１は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１３１】
なお、図２１には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
【０１３２】
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１３３】
図２０に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１３４】
また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１３５】
車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１３６】
統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１３７】
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random  Access  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read  Only  Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１３８】
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１３９】
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、又はＤＳＲＣ（Dedicated  Short  Range  Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１４０】
測位部２６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１４１】
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
【０１４２】
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
【０１４３】
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１４４】
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
【０１４５】
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１４６】
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１４７】
なお、図２０に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
【０１４８】
以上説明した車両制御システム２０００において、図１を用いて説明した本実施の形態に係る撮像制御部２２と認識ブロック１３は、図２０に示した応用例の統合制御ユニット２６００に適用することができる。
【０１４９】
また、図１を用いて説明した撮像制御部２２と認識ブロック１３の少なくとも一部の構成要素は、図２０に示した統合制御ユニット２６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明したる撮像制御部２２と認識ブロック１３が、図２０に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。
【０１５０】
なお、図１を用いて説明した撮像制御部２２と認識ブロック１３の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１５１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５５】
＜３．その他＞
本技術は、以下のような構成もとることができる。
（１）
先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と
を備える撮像制御装置。
（２）
前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、
前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換する
前記（１）に記載の撮像制御装置。
（３）
前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成する
前記（１）または（２）に記載の撮像制御装置。
（４）
前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、
前記処理部は、前記階調変換カーブに基づいて階調変換を行う
前記（１）乃至（３）のいずれかに記載の撮像制御装置。
（５）
前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波する
前記（１）乃至（４）のいずれかに記載の撮像制御装置。
（６）
前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御する
前記（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）
階調変換された信号から認識対象を認識する認識部をさらに備える
前記（１）乃至（６）のいずれかに記載の撮像制御装置。
（８）
先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップと
を含む撮像制御方法。
（９）
撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、
先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、
処理された信号から認識対象を認識する認識部と
を備える車両。
【符号の説明】
【０１５６】
１１  光学系，  １２  撮像ブロック，  １３  認識ブロック，  ２１  イメージセンサ，  ３１  信号処理部，  ３２  タイミング制御部，  ４１  認識部，  ５１  合成部，  ５２  選択部，  ５３  HIST検波部，  ５４  ATR部
【図１】
2017220843.tif 000003
【図２】
2017220843.tif 000004
【図３】
2017220843.tif 000005
【図４】
2017220843.tif 000006
【図５】
2017220843.tif 000007
【図６】
2017220843.tif 000008
【図７】
2017220843.tif 000009
【図８】
2017220843.tif 000010
【図９】
2017220843.tif 000011
【図１０】
2017220843.tif 000012
【図１１】
2017220843.tif 000013
【図１２】
2017220843.tif 000014
【図１３】
2017220843.tif 000015
【図１４】
2017220843.tif 000016
【図１５】
2017220843.tif 000017
【図１６】
2017220843.tif 000018
【図１７】
2017220843.tif 000019
【図１８】
2017220843.tif 000020
【図１９】
2017220843.tif 000021
【図２０】
2017220843.tif 000022
【図２１】
2017220843.tif 000023