(57)【要約】  本発明は、他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することである。撮像を行う撮像部と、前記撮像部に対して、第一の制御量で露光制御を行う一の露光制御部と、前記撮像部に対して、前記第一の制御量に基づいた制御量で露光制御を行う他の露光制御部と、前記撮像部に対する露光制御を、前記一の露光制御部が行うか、前記他の露光制御部が行うか、を切り替える露光制御切替部と、を備えた、ことを特徴とする。
2018225516.tif 000002
【特許請求の範囲】
【請求項１】
撮像を行う撮像部と、
前記撮像部に対して、第一の制御量で露光制御を行う一の露光制御部と、
前記撮像部に対して、前記第一の制御量に基づいた制御量で露光制御を行う他の露光制御部と、
前記撮像部に対する露光制御を、前記一の露光制御部が行うか、前記他の露光制御部が行うか、を切り替える露光制御切替部と、を備えた、ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部と、撮像を行う第二の撮像部と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量で露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値以上であり且つ前記第二の閾値未満である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第二の閾値以上である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第一の閾値以上であり且つ前記第二の閾値未満の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値未満である場合、前記第一の閾値以上であり且つ前記第二の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部と、撮像を行う第二の撮像部と、から成り、
前記一の露光制御部は第二の露光制御部であり、
前記他の露光制御部は第一の露光制御部であり、
前記第一の露光制御部は、前記第二の露光制御部による露光制御の制御量に基づいた前記第一の制御量で、前記第一の撮像部と前記第二の撮像部とに対して露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
外環境の判定を行う外環境判定部をさらに備え、
前記一の露光制御部及び前記他の露光制御部は、前記外環境判定部による判定結果に基づいて、前記撮像部に対する露光制御の制御量を決定する、ことを特徴とする画像処理装置。
【請求項８】
撮像を行う第一の撮像部と、
撮像を行う第二の撮像部と、
前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である第一の制御量で露光制御を行う第一の露光制御部と、
前記第一の撮像部に対して予め定めた固定値の制御量である第二の制御量の露光制御を行い、前記第二の撮像部に対して予め定めた固定値の制御量である第三の制御量の露光制御を行う第二の露光制御部と、
前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切替部と、を備えた、ことを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部と、撮像を行う第二の撮像部と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部と、撮像を行う第二の撮像部と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置において、
前記画像処理装置を搭載した車両の移動量を算出する移動量算出部を備え、
前記撮像部は、撮像を行う第一の撮像部と、撮像を行う第二の撮像部と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記移動量算出部による算出結果が所定量以下である場合、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、周囲の画像を撮像可能な撮像デバイスを制御する画像処理装置に関する。
【背景技術】
【０００２】
従来、車両に搭載され、一対の撮像デバイスで車外を撮像した画像を用いて、例えば三角測量により車両から対象物までの距離を算出するといった画像処理装置が知られている。また、この画像処理装置においては、撮像画像を利用して様々な処理を行うことが知られており、例えば、撮像画像に含まれる対象物を認識する処理を行う。また、画像処理装置における、車両から対象物までの距離を算出する処理などは、二つの撮像デバイスで撮像した画像（視差画像）を用いる処理（以下、「ステレオ処理」という）であるが、対象物を認識する処理などの一つの撮像デバイスで撮像した画像を用いて行うことができる処理（以下、「単眼処理」という）もある。【０００３】
特開２０１１−３０１２３号公報では、第一の撮像部及び第二の撮像部の二つの撮像部を備え、一つの撮像部だけで撮像を行う単眼モードと、二つの撮像部で撮像を行う複眼モードと、を有し、単眼モードから複眼モードに切り替える際に、複眼モードでの撮像部の状態を単眼モードでの撮像部の状態に近づける発明について開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特開２０１１−３０１２３号公報に記載の発明では、複眼モードでの撮像部の状態を単眼モードでの撮像部の状態に近づけることで、単眼モードから複眼モードに切り替えたときにスムーズに立体画像を得られるようにしようとしているが、単眼モードや複眼モードでの撮像画像を用いたその他の処理については何ら考慮されていないものであった。【０００６】
例えば、車載用の画像処理装置における処理としては撮像画像の中から道路標識を認識する処理が考えられるが、最近の道路標識は多様化し、例えば、板に塗料で描かれた看板式標識のほか、内側が光る標識も知られている。例えば看板式標識を認識可能な撮像条件で内側が光る標識を撮像した場合、その撮像画像では、内側が光る標識が明るすぎて白とびしてしまい、内側が光る標識の認識が不可能であるという問題が考えられる。一方、内側が光る標識を認識可能な撮像条件を用いた場合、看板式標識や、ステレオ処理で車両からの距離を算出する対象物が黒つぶれしてしまい、それらの認識が不可能であるという問題が考えられる。【０００７】
また、車載用の画像処理装置では、上記の道路標識以外の対象物（例えば、立体物、車両、歩行者等）を撮像画像から認識する複数の認識アプリケーションが実装及び実行されている。そのため、道路標識の認識アプリケーションの構成に際しては、その処理が他の認識アプリケーションの処理を阻害しないように配慮し、全ての認識アプリケーションと共存可能な処理で構成することが必要である。その際、車速が高い場合でも対応可能なように、処理に要する時間を短くすることも重要となる。【０００８】
すなわち従来は、特に、車載用の画像処理装置において、ステレオ処理を行うアプリケーションや、単眼処理を行うアプリケーションなどの複数のアプリケーションを、他のアプリケーションから悪影響を受けずに実行可能とすることや、明るさの異なる様々な対象物を認識する処理を、車両の走行に合わせて高速で実行することについて、何ら考慮されていないという問題があった。【０００９】
本発明の目的は、他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は上記の目的を達成するために、撮像を行う撮像部と、前記撮像部に対して第一の制御量で露光制御を行う第一の露光制御部と、前記撮像部に対して、前記第一の制御量に基づいた制御量で露光制御を行う第二の露光制御部と、前記撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切替部と、を備えた、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することができる。【００１２】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１に係る画像処理装置１のブロック図。
【図２】図１に示した画像処理装置１の第一の撮像部１００や第二の撮像部１０１による撮像画像の種別と撮像のタイミングについて説明する図。
【図３】（ａ）は電光式標識の例を正面から見た図、（ｂ）は（ａ）の標識を、短い露光時間で撮像した撮像画像の例を示す図。
【図４】図１に示した画像処理装置１による処理のフローチャート。
【図５】本発明の実施例２に係る画像処理装置２のブロック図。
【図６】本発明の実施例３に係る画像処理装置３のブロック図。
【図７】本発明の実施例４に係る画像処理装置４のブロック図。
【図８】実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの例を示す図。
【図９】実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの図８とは別の例を示す図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面や以下の説明は、本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
【実施例１】
【００１５】
図１は、本発明の実施例１に係る画像処理装置１のブロック図である。【００１６】
本実施例では、画像処理装置１が、車両（不図示）の前方に取り付けたカメラである第一の撮像部１００及び第二の撮像部１０１を備え、車両の前方の障害物や道路状況の監視を行う装置である場合の例について説明する。車両の前方の障害物としては、車両や歩行者などがあり、道路状況としては信号や道路標識などがある。【００１７】
画像処理装置１は、それぞれ車両前方を撮像する左右一対の第一の撮像部１００及び第二の撮像部１０１と、第一の撮像部１００や第二の撮像部１０１が撮像する際の露光制御を行う第一の露光制御部１０３及び第二の露光制御部１０４と、第一の露光制御部１０３によって第一の撮像部１００や第二の撮像部１０１の露光制御を行うか第二の露光制御部１０４によって第一の撮像部１００や第二の撮像部１０１の露光制御を行うかを切り替える露光制御切替部１０２と、単眼処理を行う単眼画像処理部１０５と、ステレオ処理を行うステレオ画像処理部１０６と、を備える。なお、画像処理装置１は、外部の他の機器との通信に使用する外部ＩＦ（インターフェース）を備えているが、図示は省略している。【００１８】
第一の撮像部１００及び第二の撮像部１０１のそれぞれは、不図示のレンズやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ回路などから構成されるカメラモジュールであり、受けた光を電気信号に変換し、出力することができる。なお、第一の撮像部１００及び第二の撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ回路を用いるものであってもよい。第一の撮像部１００と第二の撮像部１０１とで視差画像を撮像可能である。【００１９】
第一の露光制御部１０３及び第二の露光制御部１０４のそれぞれは、第一の撮像部１００及び第二の撮像部１０１のそれぞれに対して設定すべき露光制御情報を算出する。第一の露光制御部１０３による露光制御情報を設定するか、それとも第二の露光制御部１０４による露光制御情報を設定するかは、露光制御切替部１０２が判断する。この露光制御情報は、第一の撮像部１００や第二の撮像部１０１に対する露光制御の制御量を定める情報である。また、露光制御の制御量として、本実施例では、露光時間（いわばシャッター速度）を用いる。ただし、本発明は、露光制御の制御量として露光時間を用いるものに限られず、露光制御の制御量として、第一の撮像部１００や第二の撮像部１０１からの出力を増幅するゲイン（利得）を用いるものであってもよいし、撮像時の絞り値を用いるものであってもよいし、撮像時のＩＳＯ感度を用いるものであってもよい。また、このほか、第一の撮像部１００や第二の撮像部１０１に入射する光が通過するレンズとして、例えば電流を流すことで色を変化させることができるエレクトロクロミズム素材を用いたレンズを採用し、このレンズの光透過度を露光制御の制御量としてもよい。また、露光制御の制御量は、撮像画像の明るさを調節可能な他の如何なる制御量であってもよい。さらに、露光制御の制御量は、例示した制御量の如何なる組合せであってもよい。【００２０】
単眼画像処理部１０５は、単眼処理、例えば道路標識の検知、認識や露光制御用の画像処理を行う。【００２１】
ステレオ画像処理部１０６は、ステレオ処理、例えば３次元座標から立体物や路面形状を推定する処理を行う。本実施例では、ステレオ画像処理部１０６で実行するステレオ処理が、車両の前方の障害物を検出する処理であって、ステレオ画像処理による立体物検出処理である場合について説明する。【００２２】
ステレオ画像処理部１０６で行うステレオ画像処理では、第一の撮像部１００及び第二の撮像部１０１から得られた画像データを、予め算出した校正パラメータを用いて画像変換し、変換後の画像（撮像画像）から各画像の対応点（第一の撮像部１００による撮像画像と第二の撮像部１０１による撮像画像との対応点）を求めることで、３次元情報を取得することができる。【００２３】
ここで、各画像の対応点を求める際に、第一の撮像部１００及び第二の撮像部１０１の双方から得られる画像データが同時刻に撮像したものであることが重要である。各画像の対応点のずれ、すなわち視差から距離を算出するため、時刻がずれてしまうと、対応する位置がずれてしまい正しく距離を測定することができない。【００２４】
そこで、第一の露光制御部１０３は、第一の撮像部１００と第二の撮像部１０１とが同じタイミングで露光動作するように制御する。障害物を検出する際には、この３次元情報を使用して、ステレオ画像処理部１０６では、道路上に対して垂直に面を持つものであって、大きさが車両または歩行者程度のサイズであるものをグループ化することで障害物を検出する。【００２５】
図２は、図１に示した画像処理装置１の第一の撮像部１００や第二の撮像部１０１による撮像画像の種別と撮像のタイミングについて説明する図であり、横軸は時間軸である。【００２６】
第一の撮像部１００や第二の撮像部１０１で撮像する道路標識としては、詳しくは後述するような明るさの異なる三種類の道路標識が存在する。このため、画像処理装置１では、単眼画像処理部１０５で実行する道路標識認識処理によって明るさの異なる三種類の道路標識のすべてが撮像画像から認識可能であることが望ましい。なお、本実施例では、撮像画像の中から明るさの異なる三種類の道路標識のそれぞれを認識する場合の処理について説明するが、本発明はこれに限られるものではなく、道路標識以外の対象物を認識する処理であってもよい。【００２７】
明るさの異なる三種類の道路標識を認識可能な撮像画像を得るためには、第一の撮像部１００や第二の撮像部１０１において露光制御の制御量を異ならせて撮像する必要がある。一方、ステレオ処理に供するためには、第一の撮像部１００による撮像画像と第二の撮像部１０１による撮像画像とが、同じ露光制御の制御量で撮像されたものである必要がある。異なる露光制御の制御量で撮像されたものでは上述の対応点を正しく求めることができないからである。【００２８】
このため、従来は、ステレオ処理で必要な、同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１により撮像された撮像画像では、道路標識認識処理において明るさの異なる三種類の道路標識の認識ができないし、逆に、道路標識認識処理で必要な、異なる露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１により撮像された撮像画像では、ステレオ処理が正しく動作できず、道路標識認識処理とステレオ処理とが互いに悪影響を与えてしまい、両処理が両立できないという問題があった。【００２９】
そこで本実施例では、第一の撮像部１００及び第二の撮像部１０１による撮像タイミングの中に、ステレオ処理に供する撮像画像を撮像するタイミングと、道路標識認識処理に供する撮像画像を撮像するタイミングと、を設けた。また本実施例では、ステレオ処理に供する撮像画像を撮像した後、その撮像画像を用いたステレオ処理が完了するまでは、次のステレオ画像に供する撮像画像を撮像する必要がないので、その間に、道路標識認識処理に供する撮像画像を撮像し、ステレオ処理が完了したならば、次のステレオ処理に供する撮像画像を撮像する。このようにすることで、ステレオ処理に悪影響を与えることなく、道路標識認識処理に供する撮像画像を撮像することができる。なお、ステレオ処理に供する撮像画像を撮像した後、ステレオ処理が完了した後であっても、次のステレオ処理を実行するまでに時間の余裕があれば、その間に道路標識認識処理に供する撮像画像を撮像するようにしてもよい。【００３０】
図２には、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングとを示している。図中、枠内に「立体物」と記載してあるのは、ステレオ処理に供する撮像画像であることを示し、枠内に「標識Ａ」と記載してあるのは、道路標識認識処理に供する撮像画像であって、明るさの異なる三種類の道路標識のうち標識Ａを認識するための撮像画像であることを示し、枠内に「標識Ｂ」と記載してあるのは、道路標識認識処理に供する撮像画像であって、明るさの異なる三種類の道路標識のうち標識Ｂを認識するための撮像画像であることを示し、枠内に「標識Ｃ」と記載してあるのは、道路標識認識処理に供する撮像画像であって明るさの異なる三種類の道路標識のうち標識Ｃを認識するための撮像画像であることを示す。【００３１】
第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（以下「第一の露光制御」という）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００３２】
第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（以下「第二の露光制御」という）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行い、第三の制御量である露光制御の制御量で第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像は道路標識認識処理に供される。【００３３】
第二の撮像タイミングに続く第三の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第一の露光制御により、第一の撮像タイミングと同じ撮像が行われる。第三の撮像タイミングに続く第四の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第四の撮像タイミングでは、第二の露光制御により、第二の撮像タイミングと同じ撮像が行われる。以下、第三の撮像タイミング及び第四の撮像タイミングと同じ処理が繰り返され、撮像が継続される。【００３４】
ここで、明るさの異なる三種類の道路標識について説明する。明るさの異なる三種類の道路標識には、看板式標識と、電光式標識と、内側から蛍光灯やＬＥＤで明かりが灯された内側が光る標識（内照式標識）と、がある。本実施例では、これに対応し、この看板式標識、電光式標識及び内側が光る標識を、認識可能な撮像画像を撮像する露光制御を行う。【００３５】
看板式標識は、板に塗料で描かれた反射式の標識であり、周辺の明るさや、車両のヘッドライトの当たり具合で明るさが多く変化する。車両のヘッドライトと看板式標識の位置によっては、夜間とても暗くなるため、できるだけ長い時間露光して、明るく撮像したい。【００３６】
電光式標識は、格子状に配列された複数の光源（例えばＬＥＤ光源）を適宜明滅させることによって文字や図形等が描かれる自発光式の標識である。この電光式標識について図３を参照して説明する。図３（ａ）は電光式標識の例を正面から見た図である。図３（ｂ）は図３（ａ）の標識を、短い露光時間で撮像した撮像画像の例を示す図である。図３（ａ）に示す電光式標識は、最高速度４０ｋｍの区間であることを示す規制標識であり、数字の４０がＬＥＤ光源によって描かれる。このＬＥＤ光源は、常に点灯しているように見えても、人間の目では識別できない程度の高速で点滅していることが多い。このため、露光時間がある閾値より短いと、図３（ｂ）に示すような文字が欠けた撮像画像が撮像されてしまうことがある。これは、第一の撮像部１００や第二の撮像部１０１のＣＭＯＳセンサ回路が光を蓄積する露光時間が短すぎると、電光式標識の文字の点滅周期より短くなってしまい、消灯状態を撮像した撮像画像となってしまうからである。これをフリッカ現象と呼ぶ。したがって、電光式標識の文字が判別できるように撮像するには、一定以上の露光時間で露光する必要がある。【００３７】
内側が光る標識（内照式標識）は、半透明の板に文字や図形が描かれた自発光式の標識であり、この標識に内蔵した光源（例えばＬＥＤや蛍光灯など）によって照らされることで、夜間でも視認性の良い標識となっている。しかし、夜間は、周囲の明るさに比べて明るく照らされているために、歩行者や車両に比べてとても明るく撮像される。歩行者や車両に比べてあまりにも明るいと、標識部分の輝度が第一の撮像部１００や第二の撮像部１０１のＣＭＯＳセンサ回路などの最大値を超えてしまい、いわゆる白とび状態となってしまう。白とび状態では、模様がなくなってしまい、道路標識認識処理にて識別することができない。【００３８】
以上のことから、本実施例では、図２の標識Ａ、Ｂ及びＣのいずれかに、看板式標識、電光式標識及び内側が光る標識のそれぞれが該当するように制御し、車両走行中に、これら明るさの異なる三種類の道路標識のいずれがあったとしても、最短の時間で必要な撮像画像を撮像し、道路標識の認識を可能とする。【００３９】
次に、図２の標識Ａ、Ｂ及びＣの露光制御の制御量の定め方について図４を参照して説明する。図４は、図１に示した画像処理装置１による処理のフローチャートである。ここでは、露光制御の制御量が露光時間である場合を例に説明する。【００４０】
まず、第一の露光制御部１０３が第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように、露光制御切替部１０２によって切り替える。第一の露光制御部１０３は、予め定めた露光時間（第一の制御量）で第一の撮像部１００及び第二の撮像部１０１を露光制御（第一の露光制御）して撮像を行う（ステップＳ４０１）。この撮像が、図２に示した第一の撮像タイミングでの撮像である。【００４１】
ステップＳ４０１で用いる露光時間は、例えば、不図示の露出計、輝度計または照度計などを単独あるいは組み合わせて、車両の外界の明るさを測定し、その測定結果に基づいて定めてもよいし、外界の明るさの変化に応じてその都度変更してもよい。なお、本実施例とは別の例として、ステップＳ４０１で用いる露光時間は、予め定めた固定値であってもよい。【００４２】
ステレオ画像処理部１０６では、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を用いてステレオ処理を実行する。【００４３】
単眼画像処理部１０５では、ステップＳ４０１において第一の撮像部１００で撮像した画像を用いて、図２に示した「標識Ａ」を認識する単眼処理を行う。【００４４】
第一の露光制御部１０３では、第一の露光制御として、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を参照して、次回の第一の露光制御部１０３による露光制御の制御量を算出し、決定する（ステップＳ４０２）。このステップＳ４０２では、例えば、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を参照し、画像全体の輝度画像の分布を計算し、所定の閾値よりも明るい画素が多ければ制御量を小さくし（露光時間を短くし）、所定の閾値よりも暗い画素が多ければ制御量を大きくする（露光時間を長くする）、といった制御を行う。制御量を小さくする場合の閾値と制御量を大きくする場合の閾値とは、同じものである場合があり、異なるものである場合がある。例えば、露光制御の制御量が第一の撮像部１００や第二の撮像部１０１からの出力を増幅するゲインである場合には、所定の閾値よりも明るい画素が多ければゲインを小さくし、所定の閾値よりも暗い画素が多ければゲインを大きくする、といった制御を行う。例えば、露光制御の制御量が撮像時の絞り値である場合には、所定の閾値よりも明るい画素が多ければ絞り値を大きくし、所定の閾値よりも暗い画素が多ければ絞り値を小さくする、といった制御を行う。例えば、露光制御の制御量が撮像時のＩＳＯ感度である場合には、所定の閾値よりも明るい画素が多ければＩＳＯ感度を低くし、所定の閾値よりも暗い画素が多ければＩＳＯ感度を高くする、といった制御を行う。例えば、露光制御の制御量がレンズの光透過度である場合には、所定の閾値よりも明るい画素が多ければレンズの光透過度を低くし、所定の閾値よりも暗い画素が多ければレンズの光透過度を高くする、といった制御を行う。【００４５】
続いて、ステップＳ４０３以降で第二の露光制御を行う。第二の露光制御部１０４では、ステップＳ４０１で用いた露光時間、今回の第二の露光制御での第一の撮像部１００における露光時間及び今回の第二の露光制御での第二の撮像部１０１における露光時間の三種類の露光時間が、明るさの異なる三種類の道路標識のそれぞれに対応し、すべての道路標識が認識可能となるように、露光制御の制御量（露光時間）を決定する。【００４６】
本実施例では、適切な露光時間を、電光式標識は５０ｍｓ、内側が光る標識は７ｍｓ、看板式標識は１５０ｍｓとする。また、電光式標識でフリッカ現象がおきる最短露光時間を１０ｍｓ、暗い看板式標識を認識できる最低露光時間を１００ｍｓとする。なお、適切な露光時間は、レンズの特性やＣＭＯＳセンサの感度や、外環境（外界環境）の状況（例えば、時刻、地域、天候、季節）によって変動するので、それに応じて異ならせるようにしてもよい。【００４７】
ステップＳ４０３では、ステップＳ４０１で用いた露光時間（第一の露光時間）が１０ｍｓ未満であるかを判定する。第一の露光時間が１０ｍｓ未満のとき（ステップＳ４０３：ＹＥＳ）は、第一の撮像部１００の露光時間（第二の制御量）を５０ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を１５０ｍｓに設定する（ステップＳ４０５）。【００４８】
ステップＳ４０３において第一の露光時間が１０ｍｓ以上のとき（ステップＳ４０３：ＮＯ）は、第一の露光時間が１００ｍｓ未満であるかを判定する（ステップＳ４０４）。第一の露光時間が１０ｍｓ以上且つ１００ｍｓ未満のとき（ステップＳ４０４：ＹＥＳ）は、第一の撮像部１００の露光時間（第二の制御量）を７ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を１５０ｍｓに設定する（ステップＳ４０６）。【００４９】
ステップＳ４０４において第一の露光時間が１００ｍｓ以上のとき（ステップＳ４０４：ＮＯ）は、第一の撮像部１００の露光時間（第二の制御量）を７ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を５０ｍｓに設定する（ステップＳ４０７）。【００５０】
その後、ステップＳ４０８では、第二の露光制御部１０４が第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように、露光制御切替部１０２によって切り替える。第二の露光制御部１０４は、ステップＳ４０５、Ｓ４０６またはＳ４０７で設定した露光時間（第二の露光時間）で第一の撮像部１００を露光制御（第二の露光制御）して撮像を行い、またステップＳ４０５、Ｓ４０６またはＳ４０７で設定した露光時間（第三の露光時間）で第二の撮像部１０１を露光制御（第二の露光制御）して撮像を行う。この撮像が、図２に示した第二の撮像タイミングでの撮像である。【００５１】
単眼画像処理部１０５では、ステップＳ４０８において第一の撮像部１００で撮像した画像を用いて、図２に示した「標識Ｂ」を認識する単眼処理を行うとともに、ステップＳ４０８において第二の撮像部１０１で撮像した画像を用いて、図２に示した「標識Ｃ」を認識する単眼処理を行う。【００５２】
以降、ステップＳ４０１〜Ｓ４０８を繰り返す。【００５３】
前述のように、第一の露光時間が１０ｍｓ未満の場合（ステップＳ４０３：ＹＥＳ）は、第一の撮像部１００の露光時間を５０ｍｓ、第二の撮像部１０１の露光時間を１５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１０ｍｓ未満であって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は５０ｍｓであって、電光式標識の最適露光時間（本実施例では５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて電光式標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は１５０ｍｓであって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて看板式標識の認識を行うことができる。【００５４】
また前述のように、第一の露光時間が１０ｍｓ以上且つ１００ｍｓ未満の場合（ステップＳ４０３：ＮＯ、ステップＳ４０４：ＹＥＳ）は、第一の撮像部１００の露光時間を７ｍｓ、第二の撮像部１０１の露光時間を１５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１０ｍｓ以上１００ｍｓ未満であって、電光式標識の最適露光時間（本実施例では５０ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて電光式標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は７ｍｓであって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は１５０ｍｓであって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて看板式標識の認識を行うことができる。【００５５】
また前述のように、第一の露光時間が１００ｍｓ以上の場合（ステップＳ４０３：ＮＯ、ステップＳ４０４：ＮＯ）は、第一の撮像部１００の露光時間を７ｍｓ、第二の撮像部１０１の露光時間を５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１００ｍｓ以上であって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて看板式標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は７ｍｓであって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は５０ｍｓであって、電光式標識の最適露光時間（本実施例では５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて電光式標識の認識を行うことができる。【００５６】
以上により、車両や歩行者の検出処理と両立して、短時間で三種類の標識を検出、認識することができる。【００５７】
なお、本実施例では、第一の露光画像に応じて第二の露光画像を生成する（第一の露光制御の露光時間に応じて第二の露光制御の露光時間を決定する）例について説明したが、第二の露光画像から第一の露光画像を決めてもよく（第二の露光制御の露光時間に応じて第一の露光制御の露光時間を決定してもよく）、本発明はこれに限定されない。
【実施例２】
【００５８】
実施例２では、ハードウェアのコストを抑えながら本発明を実現する構成の例について説明する。【００５９】
図５は、本発明の実施例２に係る画像処理装置２のブロック図である。図５において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図５の画像処理装置２では、図１の画像処理装置１の構成に加えて、ステレオ処理判定部５０１を有している。【００６０】
ステレオ処理判定部５０１は、露光制御切替部１０２の切替結果によってステレオ処理を実行すべきかどうかを判断する。露光制御切替部１０２が、標識用の露光設定の場合（第二の露光制御部１０４によって第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように切り替えている場合）は、ステレオ処理判定部５０１は単眼画像処理部１０５のみを実行し、ステレオ画像処理部１０６のステレオ処理を行わないよう制御する。【００６１】
このステレオ処理判定部５０１を設けることで、ステレオ処理を必要以上に高速に動作させることはないため、処理コストを抑えることができる。たとえば、ステレオ処理をＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）に搭載する場合は、回路が小規模になり、低コスト及び低消費電力で実現することができる。
【実施例３】
【００６２】
実施例３では、外環境に応じた処理を行う例について説明する。【００６３】
図６は、本発明の実施例３に係る画像処理装置３のブロック図である。図６において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図６の画像処理装置３では、図１の画像処理装置１の構成に加えて、外環境判定部５０２を有している。【００６４】
外環境判定部５０２は、時刻、地域、天候、季節などの外環境を取得し、これらの外環境単独または組合せにより、現在の外環境を判定する。第一の露光制御部１０３や第二の露光制御部１０４は、この外環境判定部５０２による判定結果に基づいて最適な露光制御の制御量で第一の撮像部１００や第二の撮像部１０１を制御する。実施例１では、適切な露光時間を、電光式標識は５０ｍｓ、内側が光る標識は７ｍｓ、看板式標識は１５０ｍｓとしたが、本実施例では、外環境判定部５０２が外環境を判定し、例えば雪道の晴天の昼間のような明るい状況には適切な露光時間をより短くするよう、第一の露光制御部１０３や第二の露光制御部１０４が第一の撮像部１００や第二の撮像部１０１を制御する。このようにすることで、外環境に応じて、現状に適した制御を行うことができる。
【実施例４】
【００６５】
実施例４では、車両の移動量に応じた処理を行う例について説明する。【００６６】
図７は、本発明の実施例４に係る画像処理装置４のブロック図である。図７において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図７の画像処理装置４では、図１の画像処理装置１の構成に加えて、移動量算出部５０３を有している。【００６７】
移動量算出部５０３は、画像処理装置４を搭載した車両の移動量の算出を行うものであり、例えば、車速センサを用いることもできるし、第一の撮像部１００や第二の撮像部１０１で撮像した撮像画像の時間変化により車両の移動量を算出するものを用いることもできる。【００６８】
移動量算出部５０３により算出した移動量が所定量以下である場合、第二の露光制御部１０４は、第一の撮像部１００または第二の撮像部１０１のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行う。この点について図８を参照して詳しく説明する。【００６９】
図８は、実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの例を示す図である。【００７０】
本実施例では、移動量算出部５０３による算出結果が所定量を超えるものであった場合には、図２を参照して説明したタイミングで、ステレオ処理に供する撮像画像の撮像及び道路標識認識処理に供する撮像画像の撮像を行う。一方、移動量算出部５０３による算出結果が所定量以下であった場合には、図８のタイミングで撮像を行う。図８の枠内の記載の意味は図２と同様である。また、図８において、枠内に「停止」と記載してあるのは、その撮像部による撮像を停止することを示す。【００７１】
第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００７２】
第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００７３】
第二の撮像タイミングに続く第三の撮像タイミングは、ステレオ処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供される。【００７４】
第三の撮像タイミングに続く第四の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第四の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第三の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００７５】
以下、第一の撮像タイミングから第四の撮像タイミングと同じ処理が繰り返され、撮像が継続される。【００７６】
なお、図８では、第二の撮像タイミング及び第四の撮像タイミングにおいて第一の撮像部１００のみで撮像を行うようにしているが、本発明はこれに限られるものではなく、第二の撮像タイミング及び第四の撮像タイミングにおいて第二の撮像部１０１のみで撮像を行うようにしてもよい。【００７７】
図９は、実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの図８とは別の例を示す図である。図９の枠内の記載の意味は図８と同様である。【００７８】
第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００７９】
第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００８０】
第二の撮像タイミングに続く第三の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第三の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。【００８１】
以下、第一の撮像タイミングから第三の撮像タイミングと同じ処理が繰り返され、撮像が継続される。【００８２】
なお、図９では、第二の撮像タイミング及び第三の撮像タイミングにおいて第一の撮像部１００のみで撮像を行うようにしているが、本発明はこれに限られるものではなく、第二の撮像タイミング及び第三の撮像タイミングにおいて第二の撮像部１０１のみで撮像を行うようにしてもよい。【００８３】
なお、実施例４においては、移動量算出部５０３による算出結果が所定量を超えるものであった場合には図２のタイミングで撮像を行い、移動量算出部５０３による算出結果が所定量以下であった場合には図８または図９のタイミングで撮像を行うようにしたが、本発明はこれに限られるものではなく、移動量算出部５０３による算出結果にかかわらず図８または図９のタイミングで撮像を行うようにしてもよい。【００８４】
この実施例４によれば、移動量算出部５０３による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第二の撮像部１０１は第二の露光制御部１０４によって制御されないので、その空いた時間で他の処理を行うことができる。【００８５】
また、実施例４によれば、移動量算出部５０３による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部１００または第二の撮像部１０１のいずれか一方のみが第二の露光制御部１０４により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部１０３による制御と第二の露光制御部１０４による制御とが交互に実施される環境において、第二の露光制御部１０４により制御される第一の撮像部１００が第一の露光制御部１０３により制御され次に第一の露光制御部１０３により制御可能となるまでの時間が、例えば第一の撮像部１００が第二の露光制御部１０４により第二の制御量の制御がされ且つ第二の撮像部１０１が第二の露光制御部１０４により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部１０３により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。また、計算量を削減することで低消費電力化することができる。【００８６】
また、本発明は上述の構成に限られるものではなく、例えば、第一の露光制御部１０３や第二の露光制御部１０４による露光制御の制御量の一部またはすべてを、予め定めた固定値にしてもよい。このようにすることで、制御量の算出の負荷が削減され、また限定された外界環境で用いる（例えば特定の地域の晴れの日の昼間にしか車両を使用しないなど）場合には上述の実施例と同様の効果を得ることができる。【００８７】
なお、上述の実施例では車載用の画像処理装置について説明したが、本発明はこれに限られるものではなく、例えば、模型やロボットに搭載してもよいし、自身は移動せずに周囲が移動する環境に適用してもよい。【００８８】
＜付記１＞
なお、以上説明した本発明は、
１．
撮像を行う撮像部（例えば、第一の撮像部１００、第二の撮像部１０１）と、
前記撮像部に対して、第一の制御量で露光制御を行う一の露光制御部（例えば、第一の露光制御部１０３、第二の露光制御部１０４）と、
前記撮像部に対して、前記第一の制御量に基づいた制御量で露光制御を行う他の露光制御部（例えば、第二の露光制御部１０４、第一の露光制御部１０３）と、
前記撮像部に対する露光制御を、前記一の露光制御部が行うか、前記他の露光制御部が行うか、を切り替える露光制御切替部（例えば、露光制御切替部１０２）と、を備えた、ことを特徴とする画像処理装置、としたので、
・他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することができる。
・すなわち、例えば、一の露光制御部によって制御された撮像部によって、他のアプリケーションで用いる撮像画像を得て、また、他の露光制御部によって制御された撮像部によって、明るさの異なる対象物についての撮像画像を得ることで、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。【００８９】
また、本発明は、
２．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部と（例えば、第二の撮像部１０１）、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量で露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第一の露光制御部で用いる第一の制御量に基づいて、第二の露光制御部で用いる露光制御の制御量を決定することで、現状に適した制御を行うことができる。【００９０】
また、本発明は、
３．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値以上であり且つ前記第二の閾値未満である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第一の閾値以上であり且つ第二の閾値未満の場合に対応することができる。【００９１】
また、本発明は、
４．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第二の閾値以上である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第一の閾値以上であり且つ前記第二の閾値未満の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第二の閾値以上の場合に対応することができる。【００９２】
また、本発明は、
５．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値未満である場合、前記第一の閾値以上であり且つ前記第二の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第一の閾値未満の場合に対応することができる。【００９３】
また、本発明は、
６．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第二の露光制御部であり、
前記他の露光制御部は第一の露光制御部であり、
前記第一の露光制御部は、前記第二の露光制御部による露光制御の制御量に基づいた前記第一の制御量で、前記第一の撮像部と前記第二の撮像部とに対して露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第二の露光制御部で用いる露光制御の制御量に基づいて、第一の露光制御部で用いる第一の制御量を決定することで、現状に適した制御を行うことができる。【００９４】
また、本発明は、
７．
１．に記載の画像処理装置において、
外環境の判定を行う外環境判定部（例えば、外環境判定部５０２）をさらに備え、
前記一の露光制御部及び前記他の露光制御部は、前記外環境判定部による判定結果に基づいて、前記撮像部に対する露光制御の制御量を決定する、ことを特徴とする画像処理装置、としたので、
・外環境に応じて、現状に適した制御を行うことができる。【００９５】
また、本発明は、
８．
撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、
撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、
前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である第一の制御量で露光制御を行う第一の露光制御部（例えば、第一の露光制御部１０３）と、
前記第一の撮像部に対して予め定めた固定値の制御量である第二の制御量の露光制御を行い、前記第二の撮像部に対して予め定めた固定値の制御量である第三の制御量の露光制御を行う第二の露光制御部（例えば、第二の露光制御部１０４）と、
前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切替部（例えば、露光制御切替部１０２）と、を備えた、ことを特徴とする画像処理装置、としたので、
・第一の制御量、第二の制御量及び第三の制御量として適切な値を予め定めておくことで、処理の負荷を軽減しながら、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。【００９６】
また、本発明は、
９．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の制御量として適切な値を予め定めておくことで、処理の負荷を軽減しながら、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。
・また、第一の露光制御部で用いる第一の制御量に基づいて、第二の露光制御部で用いる露光制御の制御量を決定することで、現状に適した制御を行うことができる。【００９７】
また、本発明は、
１０．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部または第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第一の撮像部または第二の撮像部のいずれか他方は第二の露光制御部によって制御されないので、その空いた時間で他の処理を行うことができる。
・また、第一の撮像部または第二の撮像部のいずれか一方のみが第二の露光制御部により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部による制御と第二の露光制御部による制御とが交互に実施される環境において、第二の露光制御部により制御される撮像部が第一の露光制御部により制御され次に第一の露光制御部により制御可能となるまでの時間が、例えば第一の撮像部が第二の露光制御部により第二の制御量の制御がされ且つ第二の撮像部が第二の露光制御部により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。【００９８】
また、本発明は、
１１．
１．に記載の画像処理装置において、
前記画像処理装置を搭載した車両の移動量を算出する移動量算出部（例えば、移動量算出部５０３）を備え、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記移動量算出部による算出結果が所定量以下である場合、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部または第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、移動量算出部による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部または第二の撮像部のいずれか他方は第二の露光制御部によって制御されないので、その空いた時間で他の処理を行うことができる。
・また、移動量算出部による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部または第二の撮像部のいずれか一方のみが第二の露光制御部により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部による制御と第二の露光制御部による制御とが交互に実施される環境において、第二の露光制御部により制御される撮像部が第一の露光制御部により制御され次に第一の露光制御部により制御可能となるまでの時間が、例えば第一の撮像部が第二の露光制御部により第二の制御量の制御がされ且つ第二の撮像部が第二の露光制御部により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。【００９９】
なお、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。【０１００】
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。【０１０１】
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。【０１０２】
また、上述した個々の実施例の各要素のいかなる組合せも本発明に含むものである。
【符号の説明】
【０１０３】
１…画像処理装置、２…画像処理装置、１００…第一の撮像部、１０１…第二の撮像部、１０２…露光制御切替部、１０３…第一の露光制御部、１０４…第二の露光制御部、１０５…単眼画像処理部、１０６…ステレオ画像処理部、５０１…ステレオ処理判定部、５０２…外環境判定部、５０３…移動量算出部。
【図１】
2018225516.tif 000003
【図２】
2018225516.tif 000004
【図３】
2018225516.tif 000005
【図４】
2018225516.tif 000006
【図５】
2018225516.tif 000007
【図６】
2018225516.tif 000008
【図７】
2018225516.tif 000009
【図８】
2018225516.tif 000010
【図９】
2018225516.tif 000011
【国際調査報告】
2018225516.tif 000012
2018225516.tif 000013
2018225516.tif 000014
2018225516.tif 000015