(57)【特許請求の範囲】
【請求項１】
車両に搭載された一対の撮像モジュールで撮像された一対の撮像画像を取得する画像取得部と、
該一対の撮像画像の差分に基づいて視差画像を生成する視差画像生成部と、
該視差画像に基づいて前記車両の車外環境を認識する認識処理部と、
予め設定されているテスト画像を加工して互いに異なる第１のテスト画像と第２のテスト画像を生成するテスト画像生成部と、を備え、
前記視差画像生成部は、互いに異なる前記第１のテスト画像と前記第２のテスト画像と間の差分に基づいて診断用視差画像を生成し、
前記認識処理部は、前記診断用視差画像と予め設定されている基準視差画像とを比較して前記視差画像生成部の診断を行うことを特徴とする画像処理装置。
【請求項２】
前記第１のテスト画像と前記第２のテスト画像は、互いに対応するブロックをそれぞれ有しており、該ブロックどうしが予め設定された距離の画素数分だけ横方向にずれていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のテスト画像と前記第２のテスト画像は、
予め設定された近距離の画素数分だけ横方向にずれている一対の近距離ブロックと、
予め設定された遠距離の画素数分だけ横方向にずれている一対の遠距離ブロックと、
をそれぞれ有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１のテスト画像と前記第２のテスト画像は、互いに対応するブロックをそれぞれ複数有しており、
該複数のブロックは、横方向にずれている画素数が予め設定された近距離の画素数分から遠距離の画素数分まで漸次変化することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記テスト画像は、互いに同一または異なるものが前記一対の撮像モジュールにそれぞれ記憶されており、
前記テスト画像生成部は、前記テスト画像の少なくとも一方を加工して、前記第１のテスト画像と前記第２のテスト画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記テスト画像生成部は、前記テスト画像を記憶するメモリを有しており、該メモリに記憶されている前記テスト画像を用いて前記第１のテスト画像と前記第２のテスト画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記一対の撮像モジュールのいずれか一方と前記テスト画像生成部は、前記テスト画像として互いに同一または異なるものを記憶するメモリをそれぞれ有し、
前記テスト画像生成部は、前記撮像モジュールのメモリに記憶されているテスト画像と、前記テスト画像生成部のメモリに記憶されているテスト画像の少なくとも一方を加工して、前記第１のテスト画像と前記第２のテスト画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記視差画像生成部は、前記第１のテスト画像と前記第２のテスト画像を記憶するメモリを有し、該メモリから読み出した前記第１のテスト画像と前記第２のテスト画像を用いて前記診断用視差画像を生成することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
従来、車載カメラ画像処理装置の故障診断において、撮像素子から画像処理装置にテスト画像を出力し、画像処理装置内の故障診断部において期待値との比較を行うことによって、撮像素子から画像処理装置の経路において何らかの故障が発生した場合に異常を検知する方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】WO2015/104915
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような従来の構成においては、撮像素子から出力するテスト画像はストライプパターンなどの定型のテスト画像であり、例えばステレオカメラシステムのような一対のカメラからくる撮像画像を組み合わせて視差画像を得るシステムの場合、定型のテスト画像では視差画像生成部分の機能を適切に活性化させ、確実に視差画像生成部分の故障検知を行うことができない、という問題がある。【０００５】
本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、一対のカメラを組み合わせて視差画像を得る視差画像生成部分の機能を活性化させ、確実な故障診断を行う画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記する課題を解決するために、本発明の画像処理装置は、車両に搭載された一対の撮像モジュールで撮像された一対の撮像画像を取得する画像取得部と、該一対の撮像画像の差分に基づいて視差画像を生成する視差画像生成部と、該視差画像に基づいて前記車両の車外環境を認識する認識処理部と、を備え、前記視差画像生成部は、互いに異なる第１のテスト画像と第２のテスト画像と間の差分に基づいて診断用視差画像を生成し、前記認識処理部は、前記診断用視差画像と予め設定されている基準視差画像とを比較して前記視差画像生成部の診断を行うことを特徴とする。
【発明の効果】
【０００７】
本発明の画像処理装置によれば、視差画像生成部の大部分を活性化させることができ、より大きな範囲で画像処理装置の信頼性を高めることが可能となる。
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施例１の画像処理装置の概略構成図。
【図２】本発明に係る実施例１の画像処理装置の診断動作の概略構成図。
【図３】本発明に係る実施例２の画像処理装置の診断動作の概略構成図。
【図４】本発明に係る実施例３の画像処理装置の診断動作の概略構成図。
【図５】本発明に係る実施例４の画像処理装置の診断動作の概略構成図。
【図６】本発明に係る実施例１の画像処理装置の診断動作の診断画像の一例。
【図７】本発明に係る実施例１の画像処理装置の診断動作の診断画像の一例。
【発明を実施するための形態】
【０００９】
以下、本発明の実施例について図面を参照して説明する。
【００１０】
［実施例１］
図１は、本発明に係る画像処理装置の構成及び動作を説明するための図である。本実施例の画像処理装置１２は車両から外部を撮像した画像を処理するものであり、車両に取り付けられて車両前方などの外部を撮像する右カメラ撮像素子部０１、左カメラ撮像素子部０２を有する。右カメラ撮像素子部０１と左カメラ撮像素子部０２は、車両に搭載された一対の撮像モジュールであり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子と電子信号を扱う回路部からなり、レンズを透過した光を電子の信号に変換し、ＡＤ変換の後にデジタル信号として出力する機能の他に、テスト画像をデジタル信号として出力する機能がある。テスト画像としては均一輝度画像、ストライプ画像、カラーチャートなどの固定パターンを出力することができる。
【００１１】
画像処理装置１２は、通常の車両走行状態において前方を監視しており、右カメラ撮像素子部０１の右カメラ撮像画像０３と、左カメラ撮像素子部０２の左カメラ撮像画像０４を画像処理機能部１１に出力している。
【００１２】
画像処理機能部１１は、データ加工部０５と、視差画像生成部０８と、認識処理部１０を備えている。画像処理機能部１１は、右カメラ画像素子部０１と左カメラ撮像素子部０２から出力された一対の撮像画像である右カメラ撮像画像０３と左カメラ撮像画像０４を取得する（画像取得部）。
【００１３】
データ加工部０５では、取得した右カメラ撮像画像０３と左カメラ撮像画像０４に対して、それぞれノイズの除去や画像の鮮明化を目的として画像の加工を行う。加工の具体例としては、画像全体の輝度の調整、画素毎の輝度の調整、輝度毎のゲインの調整などがある。
【００１４】
加工後の右カメラ画像０６，加工後の左カメラ画像０７は、視差画像生成部０８の入力として使用され、視差画像生成部０８はこの二つの画像データ０６，０７を組み合わせて視差画像０９を生成する。視差画像０９とは、右カメラ画像０６と左カメラ画像０７の差分を利用して、車両前方の物体までの距離情報を示したものである。認識処理部１０では、視差画像０９の情報をもとに、車両前方の情報を判断し（車外環境を認識し）、衝突の危険性や車両加減速の要否を判断し、車両通信部１８により、車両に判定結果を報知する。
【００１５】
画像処理機能部１１以降は、デジタル信号プロセッシングであり、データ加工部０５、視差画像生成部０８、認識処理部１０は、マイクロコンピュータやメモリ、またはＦＰＧＡやＡＳＩＣなどのソフトウェアやハードウェアの組み合わせで構成される。特に大量の撮像画像を高速で処理するデータ加工部０５、視差画像生成部０８などは、ハードウェアで構成する場合が多い。車両通信部１８は、ＣＡＮバスやＬＩＮバス、ＦＬＥＸ−ＲＡＹといったものが考えられる。
【００１６】
図１において、右カメラ撮像素子部０１、右カメラ撮像画像０３の送信経路１３，１４、左カメラ撮像素子部０２、左カメラ撮像画像０４の送信経路１５，１６、データ加工部０５、視差画像生成部０８、視差画像送信経路１７のいずれか一つ以上に故障が発生した場合、視差画像０９は、正常なものが出力されないおそれがある。この場合、視差画像０９のズレにより車両前方の物体の誤判定や距離判定を車両に誤って伝えることになり、車両の意図しない急ブレーキや衝突が発生するおそれがある。
【００１７】
図２は、本実施例における画像処理装置の診断動作の説明をするための図である。
【００１８】
本実施例における画像処理装置１２の診断においては、右カメラ撮像素子部０１と左カメラ撮像素子部０２のそれぞれの出力として、右カメラテスト画像２０、左カメラテスト画像２１を使用する。テスト画像のパターンとしては、後段のデータ加工部０５にて加工しやすいように均一輝度画像を用いても良いし（図６）、視差情報を生成しやすいように縦縞のストライプパターンを用いても良い（図７）。
【００１９】
また、テスト画像２０，２１は、同一のパターンとしても良いし、違うパターンにしても良い。しかしながら、後段の視差画像生成部０８の入力に使用するには、できる限り相似のパターンを用いて、データ加工部０５の処理内容を簡素化できるような組み合わせが望ましい。ここでいう相似のパターンとは、簡単な線形計算（単純な足し算とかけ算の有限回数の組み合わせ）や、画素位置や輝度値で範囲を区切って特定画素の輝度値をゼロなどの特徴量へ変更することや、特定のパターンを特定の画素位置に平行移動させることなどの簡単な処理の組み合わせで同一のパターンにすることができるようなパターンのことを言う。
【００２０】
図２のデータ加工部０５において、右カメラテスト画像２０と左カメラテスト画像２１のどちらか一方、または両方を加工して、互いに異なる加工後のテスト画像２２，２３（第１のテスト画像と第２のテスト画像）を生成する。データ加工部０５の機能としては、画像全体の輝度の調整、画素毎の輝度の調整、輝度毎のゲインの調整などがあるが、できるかぎり全ての機能を使用してテスト画像２０，２１の加工を行うことが望ましい。できる限りたくさんの機能を使ってデータ加工を行うことで、診断のカバレッジを上げることができ、画像処理装置１２全体の信頼性を上げることができる。
【００２１】
図２の視差画像生成部０８において、データ加工部０５の出力である加工済み右カメラテスト画像２２（第１のテスト画像）と加工済み左カメラテスト画像２３（第２のテスト画像）を入力として診断用視差画像２４を生成する（テスト画像生成部）。
【００２２】
このとき、加工済みテスト画像２２，及び２３には視差画像生成部０８の機能をできるだけ多く使うような加工を予め施しておく。すなわち、視差画像生成部０８は、テスト画像２０，２１に対して視差画像生成部０８の機能をできるだけ多く使うような加工を施して加工済みテスト画像２２，２３を生成する。例えば近距離の視差が出るように右カメラの加工済みテスト画像に輝度一定のブロックを用意し、そのブロックに対応する左カメラの加工済みテスト画像に近距離分の画素数分ずらした同一の輝度一定のブロックを用意する。このようなブロックを複数用意し、画素のずらし分を調整し、診断用視差画像２４を得たとき、近距離から長距離に渡る視差が出るような加工済みテスト画像２２，２３の組み合わせにしておくと良い。
【００２３】
加工済み右カメラテスト画像２２と加工済み左カメラテスト画像２３は、互いに対応するブロックをそれぞれ有しており、ブロック同士が予め設定された距離の画素数分だけ横方向にずれている。加工済み右カメラテスト画像２２と加工済み左カメラテスト画像２３は、例えば予め設定された近距離の画素数分だけ横方向にずれている一対の近距離ブロックと、予め設定された遠距離の画素数分だけ横方向にずれている一対の遠距離ブロックとをそれぞれ有している。また、互いに対応するブロックをそれぞれ複数有し、複数のブロックは、横方向にずれている画素数が予め設定された近距離の画素数分から遠距離の画素数分まで漸次変化するようにしてもよい。
【００２４】
このような加工済み画像の組み合わせの例を図６に示す。図６は、画像処理装置の診断動作の診断画像の一例を示す図である。図６で符号６２は、右カメラの加工済みテスト画像の例、符号６３は、左カメラの加工済みテスト画像の例、符号６４は、視差計算後の視差画像例（診断用視差画像）である。図６の例では、画素距離間１の遠距離視差と、画素距離間５の中間距離視差と、画素距離間１０の近距離視差について、それぞれ診断可能となる。図６の例では、数値が大きいほど近距離視差である。視差情報生成部０８においては、後段の認識処理部１０の働きを助けるために、ある種のフィルタを設けている場合がある。このようなフィルタ機能についても活性化するようなテスト画像２２，２３の組み合わせにしておくと良い。
【００２５】
図７にこのようなフィルタ機能を診断している例を示す。図７は、画像処理装置の診断動作の診断画像の一例を示す図である。図７で符号７２は、右カメラの加工済みテスト画像の例、符号７３は、左カメラの加工済みテスト画像の例、符号７４は、視差計算後の視差画像例（診断用視差画像）である。図７の例では、視差画の算出時に複数の視差が得られた場合（右カメラ画像の画素に対して、左カメラの画素が一致する箇所が複数ある場合）、視差数値が小さい方（遠距離側）の視差を無効化するようなフィルタ機能である。すなわち、このフィルタ機能では、画素距離間４の視差と画素距離間６の視差のうち、画素距離間４の視差を無効化している。図７の例の画像によってこのフィルタ機能の診断をすることができる。
【００２６】
図２の認識処理部１０では、視差画像生成部０８の出力である診断用視差画像２４と、あらかじめ認識処理部１０において保持している正解視差画像（基準視差画像）２５を比較する。正解視差画像２５は、右カメラ撮像素子部０１と、左カメラ撮像素子部０２と、右カメラ撮像画像０３の送信経路１３，１４と、左カメラ撮像画像０４の送信経路１５，１６と、データ加工部０５と、視差画像生成部０８と、視差画像送信経路１７のいずれもが正常に動作している場合に得られる、ただ一つの正解パターンである。この正解視差画像２５と診断用視差画像２４と、を比較し、同一であった場合に、認識処理部１０は、右カメラ撮像素子部０１と、左カメラ撮像素子部０２と、右カメラ撮像画像０３の送信経路１３，１４と、左カメラ撮像画像０４の送信経路１５，１６と、データ加工部０５と、視差画像生成部０８と、視差画像送信経路１７については、正常であると判定する。一方、正解視差画像２５と診断用視差画像２４とが同一でなかった場合は、右カメラ撮像素子部０１と、左カメラ撮像素子部０２と、右カメラ撮像画像０３の送信経路１３，１４と、左カメラ撮像画像０４の送信経路１５，１６と、データ加工部０５と、視差画像生成部０８と、視差画像送信経路１７のいずれかに故障が発生していると判定し、必要に応じて車両通信部１８に故障診断結果を報知する。
【００２７】
画像処理機能部１１以降はデジタル信号プロセッシングであるため、故障が発生してない場合、正解視差画像２５と診断用視差画像２４は完全一致するはずであるが、場合によってはノイズの影響により一時的に完全一致しない場合もあり得る。この場合は複数回診断動作を繰り返すことにより、完全一致するまで画像処理装置１２の機能を正常と判定しない、といった処理が望ましい。
【００２８】
故障診断結果により画像処理装置１２の機能で故障があると判定された場合には画像処理装置１２の機能を停止させ、乗員に報知することが望ましい。報知の方法にはモータライズドシートベルトによる締め付けや車両警告灯の表示、警告音による注意喚起などが考えられる。
【００２９】
このような図２における画像処理装置１２の診断はイグニッションＯＮ時など、画像処理装置１２の起動のたびに行われることが望ましい。このようにすることによって、画像処理装置１２の右カメラ撮像素子部０１と、右カメラ撮像画像０３の送信経路１３，１４と、左カメラ撮像素子部０２と、左カメラ撮像画像０４の送信経路１５，１６と、データ加工部０５と、視差画像生成部０８と、視差画像送信経路１７の動作の信頼性を高め、視差画像０９のズレを起因とする車両の意図しない急ブレーキや衝突の危険を大幅に低減することが可能となる。
【００３０】
本発明の画像処理装置１２によれば、一対の診断に使用するテスト画像のうちの少なくとも一つにあらかじめデータ加工を施す。このデータ加工としては、一対のテスト画像２２，２３を組み合わせて診断用視差画像２４を生成したときに、視差画像生成部０８の機能を確実に使用するような視差画像になるような加工を施す。例えばストライプ画像を用いた場合、一方のテスト画像には、近距離から遠距離にいたるまでの視差が得られるようにストライプの幅を更新する、といった方法が考えられる。この加工済みテスト画像を用いて生成した診断用視差画像２４と正解視差画像２５との比較を行えば、視差画像生成部０８の大部分を活性化させることができ、より大きな範囲で画像処理装置１２の信頼性を高めることが可能となる。
【００３１】
［実施例２］
図３は本発明にかかる形態の好適な実施例２を示したものである。本実施例では実施例１に対して右カメラテスト画像２０の替わりにメモリ３０上に記憶されたテスト画像３１を用い、左カメラテスト画像２１の替わりにテスト画像３２を用いるものである。データ加工部０５は、テスト画像３１，３２を記憶するメモリ３０を有しており、メモリ３０から読み出したテスト画像３１，３２を用いて一対のテスト画像２２，２３（第１のテスト画像と第２のテスト画像）を生成する。
【００３２】
本実施例によれば、診断時にデータ加工部０５の処理を軽微にすることができる。そして、右カメラ撮像素子部０１と左カメラ撮像素子部０２のメモリ負荷を減らし、構成の簡素化を図ることができる。また、右カメラ撮像素子部０１と左カメラ撮像素子部０２を別体化でき、汎用性を向上させることができる。右カメラ撮像画像０３の送信経路１４、左カメラ撮像画像０４の送信経路１６、データ加工部０５，視差画像生成部０８、視差画像送信経路１７の診断のみで車両システムとして許容できる場合はこのような構成でも良い。実施例１と同様の信頼性を得るためには別途該当部分の診断方法を用意する必要がある。その他の構成や動作は実施例１と同様であり、実施例１と同様の構成には同様の符号を付してその詳細な説明を省略する。
【００３３】
［実施例３］
図４は、本発明にかかる形態の好適な実施例３を示したものである。本実施例では実施例１に対して、右カメラテスト画像４０のメモリ上に記憶された右カメラの画像に相当するテスト画像４０と、画像処理機能部１１のメモリ３０上に記憶された左カメラの画像に相当するテスト画像４１とを用いるものである。
【００３４】
右カメラ撮像素子部０１は、右カメラテスト画像４０を記憶するメモリを備えており、データ加工部０５は、テスト画像４１を記憶するメモリ３０を備えている。データ加工部０５は、右カメラテスト画像４０と、メモリ３０のテスト画像４１とを用いて、一対のテスト画像２２，２３（第１のテスト画像と第２のテスト画像）を生成する。
【００３５】
本実施例によれば、右カメラ撮像素子部０１のみメモリを有したものを使用し、左カメラ撮像素子部０２についてはメモリを有していないものを使用することができる。したがって、左カメラ撮像素子部０２の簡素化を図ることができ、その分、コストを削減できる。その他の構成や動作は実施例２と同様であり、実施例２と同様の構成には同様の符号を付してその詳細な説明を省略する。
【００３６】
［実施例４］
図５は本発明にかかる形態の好適な実施例４を示したものである。本実施例では実施例２に対して右カメラ加工済みテスト画像２２の替わりにメモリ５０上に保存されたテスト画像５１を用い、左カメラ加工済みテスト画像２３の替わりにテスト画像５２を用いるものである。視差画像生成部０８は、テスト画像５１，５２（第１のテスト画像と第２のテスト画像）を記憶するメモリ５０を有しており、メモリ５０から読み出したテスト画像５１，５２を用いて診断用視差画像２４を生成する。本実施例によれば、データ加工部０５の処理負荷を軽減することができ、処理の高速化を図ることができる。
【００３７】
本実施例においては診断時に視差画像生成部０８、視差画像送信経路１７のみの診断となる。車両システムとして許容できる場合はこのような構成でも良い。実施例１と同様の信頼性を得るためには別途の診断方法を用意する必要がある。その他の構成や動作は実施例２と同様であり、実施例２と同様の構成には同様の符号を付してその詳細な説明を省略する。
【００３８】
なお、本発明は上記した実施例１〜４に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例１〜４は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、実施例１〜４の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３９】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００４０】
０１  右カメラ撮像素子部
０２  左カメラ撮像素子部
０３  右カメラ撮像画像
０４  左カメラ撮像画像
０５  データ加工部
０６  加工後の右カメラ画像
０７  加工後の左カメラ画像
０８  視差画像生成部
０９  視差画像
１０  認識処理部
１１  画像処理機能部
１２  画像処理装置
１３  右カメラ撮像画像送信経路
１４  加工後右カメラ画像送信経路
１５  左カメラ撮像画像送信経路
１６  加工後左カメラ画像送信経路
１７  視差画像送信経路
１８  車両通信部
２０  右カメラテスト画像
２１  左カメラテスト画像
２２  加工済み右カメラテスト画像
２３  加工済み左カメラテスト画像
２４  診断用視差画像
２５  正解視差画像（基準視差画像）
３０  メモリ
３１  メモリ上保持右カメラテスト画像
３２  メモリ上保持左カメラテスト画像
４０  右カメラテスト画像
４１  メモリ上保持左カメラテスト画像
５０  メモリ
５１  メモリ上保持視差情報生成部入力用右カメラテスト画像
５２  メモリ上保持視差情報生成部入力用左カメラテスト画像
６２  加工済み右カメラテスト画像の一例
６３  加工済み左カメラテスト画像の一例
６４  視差計算後視差画像の一例
７２  加工済み右カメラテスト画像の一例
７３  加工済み左カメラテスト画像の一例
７４  視差計算後視差画像の一例
【図１】
0006742423.tif 000002
【図２】
0006742423.tif 000003
【図３】
0006742423.tif 000004
【図４】
0006742423.tif 000005
【図５】
0006742423.tif 000006
【図６】
0006742423.tif 000007
【図７】
0006742423.tif 000008