(57)【要約】  １つの単眼カメラまたはステレオカメラによって光学条件が異なる複数の画像を比較して車外環境を認識することが可能な外界認識装置を提供する。  車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラ１Ｌ，１Ｒは、第１および第２の撮像領域１３ａ，１３ｂを有する撮像素子１３と、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに撮影対象領域の映像を結像させる第１の光学部材１１と、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光を通過させる第２の光学部材１２（例えば偏光フィルタ）とを備える。画像処理部２は、第１の撮像領域１３ａから得られる第１の画像情報と、第２の撮像領域１３ｂから得られる第２の画像情報とを比較して、撮影対象領域の状態（例えば路面の摩擦係数）を認識する。
2015045501.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラと、該画像情報を処理する画像処理部とを備えた外界認識装置であって、  前記カメラは、第１および第２の撮像領域を有する撮像素子と、前記第１および第２の撮像領域のそれぞれに前記撮影対象領域の映像を結像させる第１の光学部材と、前記第１および第２の撮像領域のそれぞれに対して異なる光学条件の光を通過させる第２の光学部材とを備え、  前記画像処理部は、前記第１の撮像領域から得られる第１の画像情報と、前記第２の撮像領域から得られる第２の画像情報とを比較して、前記撮影対象領域の状態を認識することを特徴とする外界認識装置。
【請求項２】
前記カメラは、前記第１および第２の光学部材が光路上に配置された偏光領域と、前記第１の光学部材が光路上に配置された無偏光領域とを有し、  前記第１の撮像領域には、前記偏光領域を介して前記映像を結像させ、  前記第２の撮像領域には、前記無偏光領域を介して前記映像を結像させることを特徴とする請求項１に記載の外界認識装置。
【請求項３】
前記画像処理部は、路面の摩擦係数と前記第１および第２の画像情報との関係を記録した路面μデータを備え、前記第１および第２の画像情報とに基づいて前記路面μデータを参照し、前記撮影対象領域の状態として路面の摩擦係数を認識することを特徴とする請求項２に記載の外界認識装置。
【請求項４】
２つの前記カメラを左カメラおよび右カメラとして配置し、  前記画像処理部は、前記左カメラによって得られた前記第１の画像情報と、前記右カメラによって得られた前記第１の画像情報の視差処理を行うことを特徴とする請求項２または請求項３に記載の外界認識装置。
【請求項５】
前記左および右カメラの少なくとも一方の前記無偏光領域の光路上に光学フィルタが配置されることを特徴とする請求項４に記載の外界認識装置。
【請求項６】
前記左および右カメラの前記光学フィルタは、光学条件が異なることを特徴とする請求項５に記載の外界認識装置。
【請求項７】
前記偏光領域は、前記左カメラの前記撮影対象領域の右側と、前記右カメラの前記撮影対象領域の左側に対応して設けられ、  前記無偏光領域は、前記左カメラの前記撮影対象領域の左側と、前記右カメラの前記撮影対象領域の右側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項８】
前記偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられ、  前記無偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項９】
前記偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられ、  前記無偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項１０】
前記偏光領域の面積は、前記無偏光領域の面積よりも大きいことを特徴とする請求項４に記載の外界認識装置。
【請求項１１】
前記第１の光学部材は、第１および第２のレンズを備え、  前記偏光領域の光路上に前記第１のレンズおよび前記第２の光学部材が配置され、  前記無偏光領域の光路上に前記第１のレンズおよび第２のレンズが配置されていることを特徴とする請求項２から請求項１０のいずれか１項に記載の外界認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、車載用の外界認識装置に係り、例えば撮像素子の画像情報に基づいて車外環境を認識する装置に関する。
【背景技術】
【０００２】  従来から車両に搭載され、車両の前方の状況を認識するステレオカメラ装置等の外界認識装置が知られている。例えば、近距離から遠距離までのワイドレンジの被写体までの距離を精度良く測定すると共に近距離においても広角レンズで広い視野を確保するステレオカメラ装置およびそれを用いた車外監視装置が開示されている（下記特許文献１を参照）。【０００３】  特許文献１に記載のステレオカメラ装置は、近距離用および遠距離用の２つのステレオ画像を得るために左右に配置される第１および第２の撮像部と、遠距離用の画像を処理する第１のカメラ制御部と、近距離用の画像を処理する第２のカメラ制御部とを備えている。【０００４】  第１の撮像部は、遠距離用の第１の撮像レンズと、近距離用の第２の撮像レンズと、近距離用および遠距離用のそれぞれの撮像領域を有する撮像素子と、各撮像レンズと撮像素子との間に配置されるプリズムおよび偏光ビームスプリッタとを備えている。同様に、第２の撮像部は、遠距離用の第３の撮像レンズと、近距離用の第２の撮像レンズと、近距離用および遠距離用のそれぞれの撮像領域を有する撮像素子と、各撮像レンズと撮像素子との間に配置されたプリズムおよび偏光ビームスプリッタとを備えている。【０００５】  各撮像部のプリズムおよび偏光ビームスプリッタは、遠距離用の撮像レンズを透過した光のうち、Ｓ偏光成分の光だけを撮像素子の遠距離用の撮像領域に通過させる。また、近距離用の撮像レンズを透過した光のうち、Ｐ偏光成分だけを撮像素子の近距離用の撮像領域に通過させる。これにより、第１のカメラ制御部は、各撮像部の撮像素子の遠距離用の撮像領域で撮像された遠距離の被写体の右の画像と左の画像を１枚の画像として合成する。同様に、第２のカメラ制御部は、各撮像部の撮像素子の近距離用の撮像領域で撮像された近距離の被写体の右の画像と左の画像を１枚の画像として合成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭２０１０−２６１８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】  特許文献１に記載のステレオカメラ装置は、偏光成分の異なる遠距離の被写体のステレオ画像と近距離の被写体のステレオ画像とを同時に得ることができるが、それぞれの画像で被写体の距離が異なるため、これらの画像を比較して撮影対象領域の状態を認識することは困難である。【０００８】  本発明は、前記課題に鑑みてなされたものであり、光学条件が異なる複数の画像を比較して車外環境を認識することが可能な外界認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】  前記目的を達成すべく、本発明の外界認識装置は、車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラと、該画像情報を処理する画像処理部とを備えた外界認識装置であって、前記カメラは、第１および第２の撮像領域を有する撮像素子と、前記第１および第２の撮像領域のそれぞれに前記撮影対象領域の映像を結像させる第１の光学部材と、前記第１および第２の撮像領域のそれぞれに対して異なる光学条件の光を通過させる第２の光学部材とを備え、前記画像処理部は、前記第１の撮像領域から得られる第１の画像情報と、前記第２の撮像領域から得られる第２の画像情報とを比較して、前記撮影対象領域の状態を認識することを特徴とする。
【発明の効果】
【００１０】  本発明の外界認識装置によれば、光学条件が異なる複数の画像を比較して車外環境を認識することができる。本発明のその他の課題および効果は、以下の実施の形態により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係る外界認識装置を備える車載システムの概略構成を示すブロック図。
【図２】図１に示す外界認識装置の画像処理部の概略構成を示すブロック図。
【図３】図１に示す外界認識装置のカメラの配置と座標系を示す図。
【図４】図１に示す外界認識装置のカメラの撮影対象領域を示す図。
【図５】（ａ）は偏光フィルタを通した撮影対象領域の画像を示す図、（ｂ）は偏光フィルタを通さない撮影対象領域の画像を示す図。
【図６】図１に示す外界認識装置が備えるカメラの説明図。
【図７】図６に示すカメラによって取得される撮影対象領域の画像の説明図。
【図８】（ａ）および（ｂ）は、図６に示すカメラによって取得される撮影対象領域の画像の一例を示す図。
【図９】（ａ）から（ｃ）は、図７に示す撮影対象領域の画像の変形例を示す図。
【図１０】本発明の実施形態２に係る外界認識装置の画像処理部の概略構成を示すブロック図。
【図１１】本発明の実施形態２に係る外界認識装置が備えるカメラの説明図。
【図１２】本発明の実施形態２に係る外界認識装置が備えるカメラによって取得される撮影対象領域の画像を示す図。
【図１３】撮影対象領域の画像に基づく路面摩擦係数の推定および学習の説明図。
【発明を実施するための形態】
【００１２】  以下、図面を参照して本発明の外界認識装置の実施の形態について説明する。
【００１３】[実施形態１]  図１は、本発明の実施形態１に係る外界認識装置１００を備える車載システムの概略構成を示すブロック図である。図２は、図１に示す外界認識装置１００の画像処理部２の概略構成を示すブロック図である。
【００１４】  本実施形態の外界認識装置１００は、車両に搭載され、車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。外界認識装置１００は、例えば、路面の濡れ、積雪および模様の識別、歩行者、サイクリストおよび動物と背景との識別、または降雪、降雨、煙霧等の悪天候下における画像処理等に用いられる。
【００１５】  外界認識装置１００は、画像情報を取得する左右に配置された２つのカメラ１Ｌ、１Ｒと、該画像情報を処理する画像処理部２とを備えている。左カメラ１Ｌおよび右カメラ１Ｒは、それぞれ、第１の光学部材１１と、第２の光学部材１２と、撮像素子１３とを備えている。撮像素子１３は、カメラ１Ｌ，１Ｒの撮影対象領域の映像を画像情報に変換する第１の撮像領域１３ａおよび第２の撮像領域１３ｂを有している。
【００１６】  第１の光学部材１１は、カメラ１Ｌ，１Ｒの光路上に隣接して配置された第１のレンズ１１ａと第２のレンズ１１ｂにより構成されている。第１のレンズ１１ａは第２のレンズ１１ｂの一部と光路上で重なるように配置されている。なお、本実施形態において、第１のレンズ１１ａと第２のレンズ１１ｂとは別の部材とされているが、第１のレンズ１１ａと第２のレンズ１１ｂを一体的に形成して第１の光学部材１１を一部材としてもよい。
【００１７】  第２の光学部材１２は、例えば偏光フィルタであり、所定の偏光成分の光を選択的に透過させる光学フィルタである。第２の光学部材１２は、第１の撮像領域１３ａの光路上に配置され、第２の撮像領域１３ｂの光路上には配置されないことで、第１の撮像領域１３ａに所定の偏光成分の光Ｌ１を通過させ、第２の撮像領域１３ｂに無偏光の光Ｌ２を通過させる。すなわち、第２の光学部材１２は、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光Ｌ１，Ｌ２を通過させる。
【００１８】  第１の光学部材１１は、第２の光学部材１２を透過した所定の偏光成分の光を第２のレンズ１１ｂに入射させ、撮像素子１３の第１の撮像領域１３ａに撮影対象領域の映像を結像させる。また、第１の光学部材１１は、第２の光学部材１２を透過しない無偏光の光を、第１のレンズ１１ａおよび第２のレンズ１１ｂに入射させ、撮像素子１３上の第２の撮像領域１３ｂに撮影対象領域の映像を結像させる。
【００１９】  すなわち、本実施形態のカメラ１Ｌ，１Ｒは、第１および第２の光学部材１１，１２が光路上に配置された偏光領域Ａ１と、第１の光学部材１１のみが光路上に配置された無偏光領域Ａ２とを有している。また、カメラ１Ｌ，１Ｒは、第１の撮像領域１３ａには、偏光領域Ａ１を介して撮影対象領域の映像を結像させ、第２の撮像領域１３ｂには、無偏光領域Ａ２を介して撮影対象領域の映像を結像させる。
【００２０】  画像処理部２は、カメラ１Ｌ，１Ｒの撮像素子１３，１３の第１の撮像領域１３ａ，１３ａから得られる第１の画像情報と、カメラ１Ｌ，１Ｒの撮像素子１３，１３の第２の撮像領域１３ｂ，１３ｂから得られる第２の画像情報とを比較して、カメラ１Ｌ，１Ｒの撮影対象領域の状態を認識する。以下、画像処理部２について詳細に説明する。
【００２１】  画像処理部２は、ステレオカメラの左カメラ１Ｌ、右カメラ１Ｒとして配置された２つのカメラ１の撮像素子１３，１３に接続され、図２に示すように、画像処理手段２１と、視差処理手段２２と、路面推定手段２３と、路面μデータ２４とを備えている。各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
【００２２】  画像処理部２は、左右のカメラ１Ｌ，１Ｒの撮像素子１３，１３の第１の撮像領域１３ａ，１３ａから出力された信号を、画像処理手段２１によって、第１の画像情報に変換する画像処理を行う。第１の画像情報は、左右のカメラ１Ｌ，１Ｒのそれぞれの偏光領域Ａ１を介して撮像素子１３の第１の撮像領域１３ａに結像した撮影対象領域の映像に基づく画像情報であり、第２の光学部材１２すなわち偏光フィルタを介した画像情報である。
【００２３】  画像処理部２は、バス６を介して制御部３、記憶部４および入出力部５に接続されている。制御部３は、画像処理部２、記憶部４および入出力部５を制御する単一または複数のコンピュータユニットにより構成されている。記憶部４は、例えば画像処理部２によって得られた画像情報等を記憶するメモリ等により構成されている。入出力部５は、外界認識装置１００から出力された情報を、ＣＡＮ７を介して自車両の制御システム８に出力する。制御システム８は、外界認識装置１００の情報に基づいて、例えば、乗員に警告を発し、自車両の制動を行い、または対象物の回避制御を行うことができる。
【００２４】  画像処理部２は、左右のカメラ１Ｌ，１Ｒの撮像素子１３，１３の第２の撮像領域１３ｂ，１３ｂから出力された信号を、画像処理手段２１によって、第２の画像情報に変換する画像処理を行う。第２の画像情報は、左右のカメラ１Ｌ，１Ｒのそれぞれの無偏光領域Ａ２を介して撮像素子１３の第２の撮像領域１３ｂに結像した撮影対象領域の映像に基づく画像情報であり、第２の光学部材１２すなわち偏光フィルタを介さない画像情報である。
【００２５】  図３は、図１に示す外界認識装置１００のカメラ１Ｌ，１Ｒの配置と座標系を示す図である。外界認識装置１００は、左右のカメラ１Ｌ，１Ｒの中間点を原点ｏとし、水平方向（車幅方向）をｘ軸、鉛直方向をｙ軸、自車進行方向をｚ軸とするｘｙｚ直交座標系を用いている。左右のカメラ１Ｌ，１Ｒはそれぞれ、ｚ軸に平行な中心線ｃ１，ｃ２に対称な所定の角度範囲αを撮影対象領域としている。
【００２６】  画像処理部２は、画像処理手段２１によって得られた左右のカメラ１Ｌ，１Ｒの第２の光学部材１２を介した映像に基づく第１の画像情報同士の視差処理を、視差処理手段２２によって行う。すなわち、外界認識装置１００は、視差処理手段２２によって、左カメラ１Ｌの撮影対象領域の第１の画像情報と、右カメラ１Ｒの撮影対象領域の第１の画像情報との間で、撮影対象領域内の同一の点の視差処理を行って、三角測量の原理で撮影対象領域内の各点までの距離を求めることができる構成となっている。
【００２７】  画像処理部２は、路面の摩擦係数μを推定する路面推定手段２３と、路面μ推定辞書としての路面μデータ２４とを備えている。路面推定手段２３は、画像処理手段２１によって得られた第２の光学部材１２を介した撮影対象領域の映像に基づく第１の画像情報と、第２の光学部材１２を介さない撮影対象領域の映像に基づく第２の画像情報とを取得する。路面μデータ２４には、路面推定手段２３の演算および学習に基づく、第１の画像情報、第２の画像情報および路面の摩擦係数μの関係が記録されている。路面推定手段２３は画像処理手段２１から取得した第１および第２の画像情報に基づいて、前記路面μデータ２４を参照し、撮影対象領域内の路面の摩擦係数μを推定する。路面推定手段２３と路面μデータ２４の演算および学習についての詳細は後述する。
【００２８】  図４は、左カメラ１Ｌの撮影対象領域の画像情報Ｐ１と、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２との関係を示す図である。ステレオカメラでは、通常、左カメラ１Ｌの撮影対象領域の画像情報Ｐ１と、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２とが重複する領域において視差処理を行っている。すなわち、左カメラ１Ｌの画像情報Ｐ１の右側の領域の画像情報Ｐ１ａと、右カメラ１Ｒの画像情報Ｐ２の左側の領域の画像情報Ｐ２ａには、立体視する撮影対象が撮像される。一方、左カメラ１Ｌの画像情報Ｐ１の左側の領域の画像情報Ｐ１ｂと、右カメラ１Ｒの画像情報Ｐ２の右側の領域の画像情報Ｐ２ｂは視差処理が行われず、立体視には用いられない。なお、左右のカメラ１Ｌ，１Ｒの撮影対象は、例えば、路面ＲＳ、路面ＲＳ上の水、氷、雪またはオイル等の路上要素ＲＥ、歩行者およびサイクリストを含む障害物ＯＢ、または降雨、降雪、煙霧等の気象現象ＷＰ等を含む。
【００２９】  図５は、路面の摩擦係数の推定についての説明図であり、（ａ）は偏光フィルタを通した光に基づく撮影対象領域の画像情報ＰＡ１を示す図であり、（ｂ）は偏光フィルタを通していない光に基づく撮影対象領域の画像情報ＰＡ２を示す図である。路面推定手段２３は、図５（ａ）に示す偏光フィルタを通した撮影対象領域の画像情報ＰＡ１の路上要素ＲＥおよび路面ＲＳと、図５（ｂ）に示す偏光フィルタを通した撮影対象領域の画像情報ＰＡ１の路上要素ＲＥおよび路面ＲＳとに基づき、路面μデータ２４を参照する。そして、路面推定手段２３は、路面μデータ２４の参照結果に基づいて、路面ＲＳおよび路上要素ＲＥにおける路面の摩擦係数μを推定する。
【００３０】  図６は、図１に示す外界認識装置１００が備えるカメラの説明図である。前記したように、左右のカメラ１Ｌ，１Ｒの撮影対象領域内の撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰからの光Ｌは、左右のカメラ１Ｌ，１Ｒの偏光領域Ａ１において、偏光フィルタである第２の光学部材１２を通過する。そして、光学部材１２を通過した所定の偏光成分の光Ｌ１が、第１の光学部材１１の第２のレンズ１１ｂによって集光され、撮像素子１３の第１の撮像領域１３ａに結像する。また、撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰからの光Ｌは、左右のカメラ１Ｌ，１Ｒの無偏光領域Ａ２において、偏光フィルタである第２の光学部材１２を通過することなく、第１の光学部材１１の第１のレンズ１１ａおよび第２のレンズ１１ｂによって集光され、撮像素子１３の第２の撮像領域１３ｂに結像する。これにより、左右のカメラ１Ｌ，１Ｒによって、図７に示すような撮像対象領域の画像情報Ｐ１，Ｐ２が取得される。
【００３１】  図７は、図６に示す左右のカメラ１Ｌ，１Ｒによって取得される撮影対象領域の画像情報Ｐ１，Ｐ２の説明図である。左カメラ１Ｌの撮影対象領域の画像情報Ｐ１の右側の領域の画像情報Ｐ１ａは、偏光領域Ａ１において、左カメラ１Ｌの撮像素子１３の第１の撮像領域１３ａに結像した映像に基づいている。また、画像情報Ｐ１の左側の領域の画像情報Ｐ１ｂは、左カメラ１Ｌの無偏光領域Ａ２において、撮像素子１３の第２の撮像領域１３ｂに結像した映像に基づいている。同様に、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２の左側の領域の画像情報Ｐ２ａは、偏光領域Ａ１において、右カメラ１Ｒの撮像素子１３の第１の撮像領域１３ａに結像した映像に基づいている。また、画像情報Ｐ１の右側の領域の画像情報Ｐ２ｂは、右カメラ１Ｌの無偏光領域Ａ２において、撮像素子１３の第２の撮像領域１３ｂに結像した映像に基づいている。
【００３２】  図６および図７に示す例において、前記したように、偏光領域Ａ１は、左カメラ１Ｌの撮影対象領域の右側と、右カメラの１Ｒの撮影対象領域の左側に対応して設けられている。また、無偏光領域Ａ２は、左カメラ１Ｌの撮影対象領域の左側と、右カメラ１Ｒの撮影対象領域の右側に対応して設けられている。また、左右のカメラ１Ｌ，１Ｒの偏光領域Ａ１の面積は、無偏光領域Ａ２の面積よりも大きくなっている。
【００３３】  図８（ａ）および（ｂ）は、図６に示すカメラ１Ｌ，１Ｒによって取得される撮影対象領域の画像情報Ｐ１，Ｐ２の一例を示す図である。図８（ａ）に示す例では、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置された偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａを視差処理に用いている。また、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置されていない無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂでは、偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａの撮影対象領域と同一範囲の画像情報を取得している。
【００３４】  なお、図６に示す左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に光学フィルタＦＬ，ＦＲを配置してもよい。この場合、図８（ａ）に示す、画像情報Ｐ１，Ｐ２の無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂの少なくとも一方が、光学フィルタＦＬ，ＦＲを通した光に基づく画像情報となる。光学フィルタＦＬ，ＦＲとしては、例えば、第２の光学部材１２と異なる偏光成分を通過させる偏光フィルタ、近赤外フィルタ、または紫外フィルタ等を用いることができる。なお、左右のカメラ１Ｌ，１Ｒの無偏光領域Ａ２に、それぞれ光学フィルタＦＬ，ＦＲを設ける場合には、光学フィルタＦＬ，ＦＲに同じ光学条件の光学フィルタを用いてもよいし、異なる光学条件の光学フィルタを用いてもよい。
【００３５】  図８（ｂ）に示す例では、図８（ａ）に示す例と同様に、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置された偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａを視差処理に用いている。一方、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置されていない無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂでは、偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａの撮影対象領域の左半分の画像情報と右半分の画像情報を取得している。
【００３６】  以上の構成を有する外界認識装置１００は、前記したように、ステレオカメラを構成する左右のカメラ１Ｌ，１Ｒによって車両前方の撮影対象領域を撮影し、撮像素子１３の第１の撮像領域１３ａから得られる第１の画像情報Ｐ１ａ，Ｐ２ａと、第２の撮像領域１３ｂから得られる第２の画像情報Ｐ１ｂ，Ｐ２ｂを、画像処理部２によって比較して、撮影対象領域の状態を認識する。したがって、本実施形態の外界認識装置１００によれば、ステレオカメラを構成する左右のカメラ１Ｌ，１Ｒによって取得した光学条件が異なる第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとを比較して、車外環境を認識することが可能になる。
【００３７】  具体的には、カメラ１Ｌ，１Ｒは、第１および第２の光学部材１１，１２が光路上に配置された偏光領域Ａ１と、第１の光学部材１１が光路上に配置された無偏光領域Ａ２とを有し、撮像素子１３の第１の撮像領域１３ａには、偏光領域Ａ１を介した映像を結像させ、第２の撮像領域１３ｂには、無偏光領域Ａ２を介した映像を結像させる。このようにして、偏光フィルタを介した第１の画像情報Ｐ１ａ，Ｐ２ａと、偏光フィルタを介していない第２の画像情報Ｐ１ｂ，Ｐ２ｂを比較することで、路面ＲＳ上の水、氷、積雪、オイル等の路上要素ＲＥと、路面ＲＳ上の模様とを判別し、路面ＲＳおよび路上要素ＲＥの摩擦係数μを推定することが可能になる。
【００３８】  すなわち、画像処理部２は、路面ＲＳの摩擦係数μと第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとの関係を記録した路面μデータ２４を備え、第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとに基づいて路面μデータ２４を参照し、撮影対象領域内の路面ＲＳおよび路上要素ＲＥの摩擦係数μを推定する。これにより、摩擦係数μの低い路面ＲＳおよび路上要素ＲＥを認識した場合に、入出力部５を介して情報を出力し、車両の制御システム８によって車両の乗員に警告を発し、車両の制動制御を行い、または危険を回避する回避制御を行うことができる。
【００３９】  また、２つのカメラ１Ｒ，１Ｌが左カメラ１Ｌおよび右カメラ１Ｒとして配置され、画像処理部２は、左カメラ１Ｌによって得られた第１の画像情報Ｐ１ａと、右カメラ１Ｒによって得られた第１の画像情報Ｐ２ａの視差処理を行っている。これにより、車内設備やガラス等による反射光の影響を低減し、撮影対象領域の撮影対象である例えば路上要素ＲＥ、歩行者またはサイクリストを含む障害物ＯＢ等までの距離を正確に測定することができる。また、偏光領域Ａ１の面積を、無偏光領域Ａ２の面積よりも大きくすることで、視差処理を行う画像情報Ｐ１ａ，Ｐ２ａを増加させ、より正確な距離の測定が可能になる。
【００４０】  さらに、左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に光学フィルタＦＬ，ＦＲが配置される場合には、路面ＲＳおよび路上要素ＲＥの判別および摩擦係数μの推定だけでなく、より多様な外界認識を行うことが可能になる。
【００４１】  例えば、左右のカメラ１Ｌ，１Ｒの一方の無偏光領域Ａ２の光路上に配置される光学フィルタＦＬまたはＦＲに近赤外フィルタを用いることができる。この場合、例えば図８（ａ）に示す例において、第２の画像情報Ｐ１ｂ，Ｐ２ｂのいずれか一方の近赤外フィルタを介した画像情報と、もう一方の近赤外フィルタを介していない画像情報とを比較して歩行者、サイクリスト、動物等の検知と衝突防止機能の高度化および高精度化を実現することができる。
【００４２】  また、左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に配置される光学フィルタＦＬ，ＦＲとして、近赤外フィルタ、赤外フィルタ、紫外フィルタ等を用いることができる。この場合、例えば、降雨、降雪、煙霧等の悪天候環境下において、光の波長帯ごとの散乱係数が相違することを利用して、理想的な画像と実際に撮像された画像との間の散乱係数を推定することができる。さらに、推定した散乱係数に対する逆演算を施すことで、高品質の画像を得ることが可能になる。また、左右のカメラ１Ｌ，１Ｒの光学フィルタＦＬ，ＦＲの光学条件を異ならせることで、より多様な推定が可能になる。この場合には、偏光フィルタだけでなく、近赤外フィルタ、赤外フィルタ、紫外フィルタを用いて煙霧除去を行うことができる。
【００４３】  また、第１の光学部材１１は、第１および第２のレンズ１１ａ，１１ｂを備え、偏光領域Ａ１の光路上に第１のレンズ１１ａおよび第２の光学部材１２が配置され、無偏光領域Ａ２の光路上に第１のレンズ１１ａおよび第２のレンズ１１ｂが配置されている。このような構成を採用することで、カメラ１Ｌ，１Ｒの製造を容易にして、製造コストを低減することができる。
【００４４】  以上説明したように、本実施形態の外界認識装置１００によれば、ステレオカメラによって光学条件が異なる複数の画像を比較して車外環境を認識することができる。
【００４５】  なお、本実施形態の外界認識装置１００では、図６、図７、図８（ａ）および（ｂ）に示すように、無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂ，Ｐ２ｂを左カメラ１Ｌの画像情報Ｐ１の左側と右カメラ１Ｒの画像情報Ｐ２の右側に配置する構成としたが、必ずしもこの構成に限定されない。図９（ａ）、（ｂ）および（ｃ）にその変形例を示す。
【００４６】  図６に示す例において、偏光領域Ａ１は左右のカメラ１Ｌ，１Ｒの撮影対象領域の右側および左側に対応して設けられている。しかし、偏光領域Ａ１は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の上側に対応して設けられ、無偏光領域Ａ２は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の下側に対応して設けられてもよい。
【００４７】  これにより、図９（ａ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａが左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の上側に配置される。一方、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂは、左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の下側に配置される。画像情報Ｐ１，Ｐ２の下側の領域は、車両に接近した領域の画像情報であり、通常は視差処理に用いられないため、この領域を有効に活用することが可能になる。
【００４８】  また、偏光領域Ａ１は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の下側に対応して設けられ、無偏光領域Ａ２は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の上側に対応して設けられてもよい。これにより、図９（ｂ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａが左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の下側に配置される。一方、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂは、左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の上側に配置される。画像情報Ｐ１，Ｐ２の上側の領域は、車両前方の空に対応する画像情報であり、通常は視差処理に用いられないため、この領域を有効に活用することが可能になる。
【００４９】  また、図７、図９（ａ）および図９（ｂ）に示す画像情報Ｐ１ａ，Ｐ２ａおよび画像情報Ｐ１ｂ，Ｐ２ｂの配置は、適宜組み合わせることができる。例えば、図９（ｃ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａを左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２の下側の右側および左側に配置し、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂを左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２の上側と、左側および右側に配置することができる。これにより、通常は視差処理に用いられない領域を有効に活用することが可能になる。
【００５０】[実施形態２]  次に、本発明の外界認識装置の実施形態２について、図１を援用し、図１０から図１２を用いて説明する。
【００５１】  図１０は、本発明の実施形態２に係る外界認識装置１００Ｂの画像処理部２Ｂの概略構成を示すブロック図である。図１１は、本実施形態の外界認識装置１００Ｂが備える単眼カメラ１の説明図である。図１２は、本実施形態の外界認識装置１００Ｂが備える単眼カメラ１によって取得される撮影対象領域の画像を示す図である。
【００５２】  本実施形態の外界認識装置１００Ｂは、左右のカメラ１Ｌ，１Ｒからなるステレオカメラを備えず、図１に示す左カメラ１Ｌまたは右カメラ１Ｒと同様の構成の１つの単眼カメラ１を備える点で、実施形態１の外界認識装置１００と異なっている。また、本実施形態の外界認識装置１００Ｂが備える画像処理部２Ｂは、視差処理手段２２に代えて、物体認識処理手段２２Ｂを備えている。その他の点は同一であるので、同一の部分は同一の符号を付して説明は省略する。
【００５３】  本実施形態の外界認識装置１００Ｂが備える単眼カメラ１は、図１１に示すように、撮像素子１３の第１および第２の撮像領域１３ａ，１３ｂのそれぞれに撮影対象領域の映像を結像させる第１の光学部材１１を備えている。また、単眼カメラ１は、撮像素子１３の第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光を通過させる第２の光学部材１２を備えている。第１の光学部材１１は複数の第１のレンズ１１ａを備えている。本実施形態においては、例えば２つの第１のレンズ１１ａ，１１ａが第２の光学部材１２のｙ方向両側に配置されている。また、撮像素子１３は、第１の撮像領域１３ａのｙ方向両側にそれぞれ第２の撮像領域１３ｂを備えている。
【００５４】  以上の構成を有する外界認識装置１００Ｂは、単眼カメラ１によって車両前方の撮影対象領域を撮影し、画像処理部２Ｂの物体認識処理手段２２Ｂによって、撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰを認識する。そして、図１２に示すように、第１の撮像領域１３ａから得られる第１の画像情報Ｐ１ａと、第２の撮像領域から得られる第２の画像情報Ｐ１ｂとを、実施形態１と同様に比較して、撮影対象領域の状態を認識する。したがって、本実施形態の外界認識装置１００Ｂによれば、実施形態１の外界認識装置１００と同様に、単眼カメラ１によって取得した光学条件が異なる第１の画像情報Ｐ１ａと第２の画像情報Ｐ１ｂとを比較して、車外環境を認識することが可能になる。
【００５５】[路面摩擦係数の推定および学習]  最後に、前述した実施形態１及び２に共通する撮影対象領域の第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂに基づく路面摩擦係数の推定および学習について説明する。図１３は、路面μデータ２４を用いた路面摩擦係数の推定および学習の説明図である。図１３および以下の表１は、路面の摩擦係数μ（以下、路面μともいう）の推定に必要となる路面μ推定辞書（以下、路面μデータ２４という）を学習するための仕組みを述べている。ここでは、自動微分を使った学習手法について主に説明する。
【００５６】
【表１】
2015045501.tif 000003
【００５７】  一般に、画像中の特定パタンを認識するための路面μデータ２４を学習する場合の過程は次のようになる。まず、図１３に示すように、例えば第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂ等の画像・原信号Ｓ１，Ｓ２，…に対して、路面μデータ２４に記憶されている各種パラメータを加えて、各種ベクトル演算、行列演算、自己相関演算、畳込み演算などの演算ＯＰを行い、未知パタンのカテゴリが何であるかを判定した結果を出力して、その正誤を検証する。自動微分ＡＤ（Automatic Differentiation）は、この計算過程を支える基本的な数値演算体系である。
【００５８】  自動微分ＡＤでは「数」と「演算」を独自に定義する。表１に、自動微分ＡＤで用いる演算関数例を示している。ここで、プログラム中にある全変数の内、ｎ個の変数が偏微分の対象であるとする。このとき「数」の構造は次のベクトルで表される。
【００５９】
【数１】
2015045501.tif 000004
【００６０】  ここで、ｖは関数の値を保持する場所である。また、ｄｋ（ｋ＝１〜ｎ）は関数を第ｋ番目の変数で偏微分した時の値を保持する場所である。自動微分では上記構造を持つ数を上記の式（１）で表されるＡＤ数として、これに基づいて各種の演算を行う。各種演算の詳細な過程は表１に示されており、ここに示すように微分関数の推移律を使うことで、全ての関数計算の過程において、値の計算と偏微分関数値の計算とを同時に進めることができるのが、自動微分である。
【００６１】  このような機構を導入するのは、学習プロセスによる認識辞書のパラメータ調整を、目的や状況に合わせて柔軟に構成することができるためである。例えば、路面μ推定に関しては、例えば第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂのように、偏光フィルタ有の画像、偏光フィルタ無の画像など複数の画像を原信号Ｓ１，Ｓ２，…として扱う。学習に用いるそれぞれ画像については、それがどのようなシチュエーションであるか、例えば濡れた路面か、氷結した路面か、雪面であるか、濡れたのと紛らわしい路面の汚れであるのか、および当該シチュエーションにおける路面μ値の実測値が正解情報として付属している。これを元に、画像間の画素の単純な比較や、フーリエ変換などのフィルタを掛けた後の係数の比較、認識辞書に記されたパラメータによる各種画像演算に対する重み付け、演算結果の数値の大小比較などを行い、最終的に路面状態と、その路面μ値を算出し、学習データに対して正解情報になるべく近くなるように、パラメータを微調整するのが学習プロセスである。
【００６２】  学習プロセスにおいては、路面μデータ２４を更新する際に、自動計算した判別結果と、正解情報とがどれだけ異なるかを評価して、このギャップがなるべく小さくなるように調整するが、一般に、この判別結果を自動計算するプロセスと、正解情報とのギャップを計算するプロセスは、全てｉｆ文などの条件分岐や算術演算を含むプログラムとして書くことができる。その際に、値の計算と偏微分関数値の計算が同時に処理できる自動微分機構が役に立つ。自動微分機構を使うと、プログラムで書いた計算プロセスにより、目的とする数値（例えば路面μの推定値）が得られるが、この数値と同時に、計算で使ったパラメータに対する偏微分関数値が同時に求まる。従って、計算した数値（路面μの推定値）と正解情報の間に誤差が大きい場合は、計算で使った各パラメータに対して、当該パラメータに対応する偏微分関数値に比例した負のフィードバックを与えることで、正解情報とのギャップを小さくなるようにパラメータの微調整量が計算できる。この結果として、路面μデータ２４に含まれるパラメータの更新と学習が可能になる。
【００６３】  上記のようにパラメータを微調整する方法を勾配法と称する。勾配法では目標関数の偏微分関数値が必要になる。路面μ推定では、偏光フィルタ無と偏光フィルタ有の画像と、当該画像に対する路面の正解情報とが入力となり、認識辞書（路面μデータ２４）に記されたパラメータを参照にして、入力画像に対する路面μ値を計算し、それと正解との誤差を最小化することが目的関数となる。この目標の関数は、学習シチュエーションによって、しばしば変更される。例えば、偏光フィルタに加えて、他のフィルタ（赤外線や紫外線フィルタ等）を使う場合は、入力する画像が３つ以上に増えることになる。このような条件変更があっても、自動微分を使えば、目的関数をプログラムとして書くだけで、関数の計算値とパラメータが求まるため、勾配法による学習が容易に行える。
【００６４】  以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
【００６５】  例えば、前述の実施形態では、第１の光学部材としてレンズを用いる場合について説明したが、第１の光学部材としてミラー、プリズム、ビームスプリッタを含むその他の光学部材を用いてもよい。
【符号の説明】
【００６６】１  カメラ１Ｌ  左カメラ（カメラ）１Ｒ  右カメラ（カメラ）２，２Ｂ  画像処理部１１  第１の光学部材１１ａ  第１のレンズ１１ｂ  第２のレンズ１２  第２の光学部材１３  撮像素子１３ａ  第１の撮像領域１３ｂ  第２の撮像領域２４  路面μデータ１００，１００Ｂ  外界認識装置Ａ１  偏光領域Ａ２  無変更領域ＦＬ，ＦＲ  光学フィルタＰ１，Ｐ２  画像情報Ｐ１ａ，Ｐ２ａ  第１の画像情報Ｐ１ｂ，Ｐ２ｂ  第２の画像情報Ｌ，Ｌ１，Ｌ２  光ＲＳ  路面
【図１】
2015045501.tif 000005
【図２】
2015045501.tif 000006
【図３】
2015045501.tif 000007
【図４】
2015045501.tif 000008
【図５】
2015045501.tif 000009
【図６】
2015045501.tif 000010
【図７】
2015045501.tif 000011
【図８】
2015045501.tif 000012
【図９】
2015045501.tif 000013
【図１０】
2015045501.tif 000014
【図１１】
2015045501.tif 000015
【図１２】
2015045501.tif 000016
【図１３】
2015045501.tif 000017
【手続補正書】
【提出日】平成28年10月18日(2016.10.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラと、該画像情報を処理する画像処理部とを備えた外界認識装置であって、
前記カメラは、第１および第２の撮像領域を有する撮像素子と、
前記第１および第２の撮像領域のそれぞれに前記撮影対象領域の映像を結像させる第１の光学部材と、
前記第１および第２の撮像領域のそれぞれに対して異なる光学条件の光を通過させる第２の光学部材とを備え、
前記画像処理部は、前記第１の撮像領域から得られる第１の画像情報と、前記第２の撮像領域から得られる第２の画像情報とを比較して、前記撮影対象領域の状態を認識することを特徴とする外界認識装置。
【請求項２】
前記カメラは、前記第１および第２の光学部材が光路上に配置された偏光領域と、前記第１の光学部材が光路上に配置された無偏光領域とを有し、
前記第１の撮像領域には、前記偏光領域を介して前記映像を結像させ、
前記第２の撮像領域には、前記無偏光領域を介して前記映像を結像させることを特徴とする請求項１に記載の外界認識装置。
【請求項３】
前記画像処理部は、路面の摩擦係数と前記第１および第２の画像情報との関係を記録した路面μデータを備え、
前記第１および第２の画像情報とに基づいて前記路面μデータを参照し、前記撮影対象領域の状態として路面の摩擦係数を認識することを特徴とする請求項２に記載の外界認識装置。
【請求項４】
２つの前記カメラを左カメラおよび右カメラとして配置し、
前記画像処理部は、前記左カメラによって得られた前記第１の画像情報と、前記右カメラによって得られた前記第１の画像情報の視差処理を行うことを特徴とする請求項２または請求項３に記載の外界認識装置。
【請求項５】
前記左および右カメラの少なくとも一方の前記無偏光領域の光路上に光学フィルタが配置されることを特徴とする請求項４に記載の外界認識装置。
【請求項６】
前記左および右カメラの前記光学フィルタは、光学条件が異なることを特徴とする請求項５に記載の外界認識装置。
【請求項７】
前記偏光領域は、前記左カメラの前記撮影対象領域の右側と、前記右カメラの前記撮影対象領域の左側に対応して設けられ、
前記無偏光領域は、前記左カメラの前記撮影対象領域の左側と、前記右カメラの前記撮影対象領域の右側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項８】
前記偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられ、
前記無偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項９】
前記偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられ、
前記無偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
【請求項１０】
前記偏光領域の面積は、前記無偏光領域の面積よりも大きいことを特徴とする請求項４に記載の外界認識装置。
【請求項１１】
前記第１の光学部材は、第１および第２のレンズを備え、前記偏光領域の光路上に前記第１のレンズおよび前記第２の光学部材が配置され、
前記無偏光領域の光路上に前記第１のレンズおよび第２のレンズが配置されていることを特徴とする請求項２から請求項１０のいずれか１項に記載の外界認識装置。
【請求項１２】
前記画像処理部は、路面の摩擦係数と前記第１および第２の画像情報との関係を記録した路面μデータを備え、
前記第１および第２の画像情報とに基づいて前記路面μデータを参照し、前記撮影対象領域内の路面、及び路上要素の摩擦係数を得ることを特徴とする請求項２に記載の外界認識装置。
【請求項１３】
前記無偏光領域の光路上に所定の波長成分を通過させる波長フィルタを有することを特徴とする請求項２、又は１２に記載の外界認識装置。
【請求項１４】
前記画像処理部は既知の画像と前記第２の画像との間の散乱係数を得ることを特徴とする請求項１３に記載の外界認識装置。
【請求項１５】
前記画像処理部は前記散乱係数に対する逆演算を行うことを特徴とする請求項１４に記載の外界認識装置。
【請求項１６】
前記路面μデータは自動微分を使用した学習で得られたものであることを特徴とする請求項３、又は１５に記載の外界認識装置。
【請求項１７】
前記学習は、前記第１の画像、及び前記第２の画像に対して前記路面μデータのパラメータを加え、演算を行い、未知パタンのカテゴリが何であるかを判定し、判定結果の正誤の検証を行う工程を含むことを特徴とする請求項１６に記載の外界認識装置。
【請求項１８】
前記学習は、前記パラメータを勾配法により調整する工程を含むことを特徴とする請求項１６、又は１７に記載の外界認識装置。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2015045501.tif 000018
【国際調査報告】
2015045501.tif 000019
2015045501.tif 000020
2015045501.tif 000021
2015045501.tif 000022