(57)【特許請求の範囲】
【請求項１】
撮像手段（１０）により周期的に撮像される撮像画像に対して、前記周期ごとに画像処理を行う画像処理手段（１１）と、
前記画像処理手段が前記撮像画像に対して行う周期的な画像処理と並行して、前記画像処理手段により直接アクセス可能な主記憶装置に予め保存した診断用画像データに対する画像処理を前記画像処理手段に行わせることにより、前記診断用画像データに対する画像処理結果と、前記診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、前記診断用画像データに対する画像処理結果が正常であるか否かを判断する診断手段（１４）と、
前記診断手段により前記診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、前記撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段（２）に出力する出力制御手段（１５）とを備え、
前記診断手段は、前記診断用画像データを前記撮像手段から入力された撮像画像の所定領域に組込んだ組込画像に対する画像処理を前記画像処理手段に行わせることにより、前記撮像画像に対する画像処理と並行して前記診断用画像データに対する画像処理を前記画像処理手段に行わせること、
を特徴とする画像処理装置。
【請求項２】
撮像手段（１０）により周期的に撮像される撮像画像に対して、前記周期ごとに画像処理を行う画像処理手段（１１）と、
前記画像処理手段が前記撮像画像に対して行う周期的な画像処理と並行して、前記画像処理手段により直接アクセス可能な主記憶装置に予め保存した診断用画像データに対する画像処理を前記画像処理手段に行わせることにより、前記診断用画像データに対する画像処理結果と、前記診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、前記診断用画像データに対する画像処理結果が正常であるか否かを判断する診断手段（１４）と、
前記診断手段により前記診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、前記撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段（２）に出力する出力制御手段（１５）とを備え、
前記診断手段は、起動時において、画像処理結果が前記期待値データに対して不正な値となるように用意された不正診断用画像データに対する画像処理を前記画像処理手段に行わせて、前記不正診断用画像データに対する画像処理結果が所定の故障条件に適合するか否かを判断し、
前記診断手段により前記不正診断用画像データに対する画像処理結果が故障条件に適合すると判断されたことを条件に、前記診断用画像データが保存されている補助記憶手段から前記主記憶装置に前記診断用画像データを転送し、以降、前記診断手段は、前記主記憶装置に保存された診断用画像データを用いて、前記診断用画像データに対する画像処理結果が正常であるか否かを判断すること、
を特徴とする画像処理装置。
【請求項３】
撮像手段（１０）により周期的に撮像される撮像画像に対して、前記周期ごとに画像処理を行う画像処理手段（１１）と、
前記画像処理手段が前記撮像画像に対して行う周期的な画像処理と並行して、前記画像処理手段により直接アクセス可能な主記憶装置に予め保存した診断用画像データに対する画像処理を前記画像処理手段に行わせることにより、前記診断用画像データに対する画像処理結果と、前記診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、前記診断用画像データに対する画像処理結果が正常であるか否かを判断する診断手段（１４）と、
前記診断手段により前記診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、前記撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段（２）に出力する出力制御手段（１５）とを備え、
前記診断手段は、前記撮像手段に予め保存されている診断用画像データ、及び前記主記憶装置に保存されている診断用画像データについて、交互に前記画像処理手段に画像処理行わせることにより、それぞれの診断用画像データに対する画像処理結果が正常であるか否かを判断し、
前記撮像手段及び前記主記憶装置それぞれの診断用画像データに対する前記診断手段による判断結果のパターンに応じて故障箇所を特定する特定手段（１４ｃ）と、
前記特定手段により特定された故障箇所に対する修復動作を実行する特定修復手段（１５ｃ）をと備えること、
を特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３の何れか１項に記載の画像処理装置において、
前記画像処理手段による画像処理結果の複数の類型それぞれに対応する複数種類の前記診断用画像データが前記主記憶装置に保存され、
前記診断手段は、複数種類の前記診断用画像データそれぞれに対して、前記画像処理手段に画像処理を行わせることにより、複数種類の前記診断用画像データに対する画像処理結果と、複数種類の前記診断用画像データそれぞれに対応する複数種類の期待値データとを比較し、画像処理結果が正常であるか否かを判断すること、
を特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４の何れか１項に記載の画像処理装置において、
起動時に、前記診断用画像データが保存されている補助記憶手段から前記主記憶装置に、前記診断用画像データを転送すること、
を特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５の何れか１項に記載の画像処理装置において、
前記診断手段により前記診断用画像データに対する画像処理結果が異常であると診断された場合、前記撮像画像に対する画像処理の関する処理結果を前記制御手段に出力せずに破棄し、使用者に対して異常を通知するフェイルセーフ手段（１５）を備えること、
を特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６の何れか１項に記載の画像処理装置において、
前記診断手段により前記診断用画像データに対する画像処理結果が異常であると診断された事象が規定回数連続したことを条件に、前記画像処理手段に関する修復動作を実行する修復手段（１５ａ）を備えること、
を特徴とする画像処理装置。
【請求項８】
撮像手段（１０ｂ）により周期的に撮像される撮像画像に対して、前記周期ごとに画像処理を行う画像処理手段（１１ｂ）と、
前記画像処理手段が前記撮像画像に対して行う周期的な画像処理と並行して、前記撮像手段に予め保存されている診断用画像データを取得して前記画像処理手段に画像処理行わせることにより、前記診断用画像データに対する画像処理結果と、前記診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、前記診断用画像データに対する画像処理結果が正常であるか否かを判断する診断手段（１４ｂ）と、
前記診断手段により前記診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、前記撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段（２）に出力する出力制御手段（１５ｂ）とを備え、
前記診断手段は、前記診断用画像データを前記撮像手段から入力された撮像画像の所定領域に組込んだ組込画像に対する画像処理を前記画像処理手段に行わせることにより、前記撮像画像に対する画像処理と並行して前記診断用画像データに対する画像処理を前記画像処理手段に行わせること、
を特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
カメラにより撮像された画像データに対して、画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、カメラ等により撮像された画像に対し、物体認識等の各種画像処理を行う技術が知られている。例えば、特許文献１には、一対のステレオ画像から両画像に共通する対応点の視差を導出し、対象物体の距離情報を取得する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８３７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような画像処理技術においては、画像処理を行うプロセッサが故障することにより、画像の認識が発生する可能性がある。これに対し、画像処理の異常を速やかに検知可能で、かつ、通常の画像処理のルーチンを妨げにならない故障診断方法が求められる。
【０００５】
本発明は上記課題を解決するためになされたものである。本発明の目的は、画像処理装置の故障診断において、通常の画像処理のルーチンを阻害せず、同時性を有する手法で故障を診断できる技術を提供することである。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像処理装置は、画像処理手段と、診断手段と、出力制御手段とを備える。画像処理手段は、撮像手段により周期的に撮像される撮像画像に対して、前記周期ごとに画像処理を行う。診断手段は、画像処理手段が撮像画像に対して行う周期的な画像処理と並行して、画像処理手段により直接アクセス可能な主記憶装置に予め保存した診断用画像データに対する画像処理を画像処理手段に行わせる。そして、診断手段は、診断用画像データに対する画像処理結果と、診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、診断用画像データに対する画像処理結果が正常であるか否かを判断する。出力制御手段は、診断手段により診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段に出力する。
【０００７】
本発明によれば、画像処理手段による通常の画像処理の周期的なルーチンと並行して診断用画像データに基づく故障診断を周期的に行うことで、通常の画像処理のルーチンを阻害せず、画像処理手段の故障の有無をリアルタイムに監視することができる。特に、通常の画像処理の周期に合わせて診断手段による処理を高速に実行するために、高速にアクセス可能な主記憶装置に記憶した診断用画像データを用いる構成にしたことで、画像処理のルーチンに対する故障検出の同時性を保証できる。
【０００８】
また、本開示の別の態様に係る画像処理装置は、画像処理手段と、診断手段と、出力制御手段とを備える。画像処理手段は、撮像手段により周期的に撮像される撮像画像に対して、周期ごとに画像処理を行う。診断手段は、画像処理手段が撮像画像に対して行う周期的な画像処理と並行して、撮像手段に予め保存されている診断用画像データを取得して画像処理手段に画像処理行わせる。そして、診断手段は、診断用画像データに対する画像処理結果と、診断用画像データに対する画像処理の正常な処理結果の基準を表す期待値データとを比較し、診断用画像データに対する画像処理結果が正常であるか否かを判断する。出力制御手段は、診断手段により診断用画像データに対する画像処理結果が正常であると判断されたことを条件に、撮像画像に対する画像処理に関する処理結果を有効なものとして、所定の制御手段に出力する。
【０００９】
本発明によれば、画像処理手段による通常の画像処理の周期的なルーチンと並行して、撮像手段から取得した診断用画像データに基づく故障診断を周期的に行うことができる。このようにすることで、通常の画像処理のルーチンを阻害せず、撮像手段からの入力ラインや画像処理手段に関する故障の有無をリアルタイムに監視することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置（第１実施形態）の構成を表すブロック図。
【図２】フレームごとの画像処理の手順を表すフローチャート。
【図３】画像処理装置（第２実施形態）の構成を表すブロック図。
【図４】画像処理装置（第３実施形態）の構成を表すブロック図。
【図５】故障部位特定処理の手順を表すフローチャート。
【図６】画像処理装置（第４実施形態）の構成を表すブロック図。
【図７】試験処理の手順を表すフローチャート。
【図８】組込画像の一例を表す説明図。
【図９】組込画像の一例を表す説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
〈第１実施形態〉
［画像処理装置の構成の説明］
第１実施形態の画像処理装置１ａの構成について、図１を参照しながら説明する。画像処理装置１ａは、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えるコンピュータで構成されており、ステレオカメラ１０により撮像された一対のステレオ画像間の視差を算出し、画像内に含まれる対象物の距離情報を取得する画像処理を行う機能を有する。この画像処理装置１ａは、例えば、車両に搭載され、各種の車両制御（後述する）に用いられる距離情報の生成を担う車載システムとして具現化される。画像処理装置１ａは、本発明における特徴的な構成として、画像処理部１１ａと、ＲＡＭ１２ａと、ＲＯＭ１３ａと、故障診断部１４ａと、出力制御部１５ａとを備える。
【００１２】
ステレオカメラ１０ａは、公知のステレオカメラと同様、平行等位の位置に配置された左右一対の撮像装置を備える。ステレオカメラ１０ａは、一対の撮像装置により互いに共通する領域を同一タイミングで撮像することで、左右一対のステレオ画像からなる画像データを繰返し取得し、取得した画像データを画像処理部１１ａに出力する。
【００１３】
画像処理部１１ａは、ステレオカメラ１０ａにより入力されるステレオ画像のフレームに基づいて、ステレオ画像間の視差値を求める画像処理を行う。この画像処理部１１ａは、ステレオカメラ１０ａにより連続的に取得される画像のフレームレート（例えば、４０ｆｐｓ：frame par second）と同じ周期で、繰返し画像処理を行う。
【００１４】
画像処理部１１ａは、画像全体を小区画に分割した画像ブロックごとにステレオ画像間の水平視差を算出し、算出した水平視差を画像上の座標に対応付けた視差値マップを作成する。水平視差の算出には、ステレオマッチング等の技法を用いることができる。なお、ステレオマッチングは公知の技法であるので、ここでの詳しい説明は省略する。
【００１５】
ＲＡＭ１２ａは、ＣＰＵのメインメモリとして利用される記憶装置（ランダムアクセス・メモリ）である。このＲＡＭ１２ａは、画像処理部１１ａが最も高速にアクセス可能なメモリである。ＲＡＭ１２ａには、ステレオカメラ１０ａにより入力された画像データに対して画像処理部１１ａにより画像処理が行われた結果である処理結果値（視差値マップ）が格納される。
【００１６】
また、ＲＡＭ１２ａには、画像処理部１１ａの故障診断に用いられる複数組のテスト画像のデータが格納される。このテスト画像は、ステレオカメラ１０ａにより撮像されるステレオ画像を模擬した一対の画像で構成されている。システムとして取り得る視差値を網羅的に検査するため、画像処理によって得られる視差値がそれぞれ異なるように構成された複数組のテスト画像が、ＲＡＭ１２ａに格納されている。また、ＲＡＭ１２ａには、前記複数組のテスト画像それぞれに対応する複数の期待値データが格納される。この期待値データは、テスト画像に対して画像処理部１１ａによる画像処理を施したときの正常な結果値を表す情報である。また、ＲＡＭ１２ａには、テスト画像に対して画像処理部１１ａにより画像処理が行われた結果である結果値が格納される。
【００１７】
ＲＯＭ１３ａは、読出し専用の記憶装置（リードオンリー・メモリ）である。このＲＯＭ１３ａには、ＲＡＭ１２ａに展開されるテスト画像、及び各テスト画像に対応する期待値データの原本となるオリジナルのテスト画像及び期待値データが記憶されている。ＲＯＭ１３ａに記憶されているテスト画像及び期待値データは、画像処理装置１ａの起動時にＲＯＭ１３ａからＲＡＭ１２ａに転送され、ＲＡＭ１２ａの所定領域に展開される。
【００１８】
故障診断部１４ａは、ＲＡＭ１２ａに展開されている複数組のテスト画像を用いて、画像処理部１１ａに画像処理を実行させる。そして、テスト画像に対する処理結果値と各テスト画像に対応する期待値データとを比較し、画像処理部１１ａの故障の有無を診断する。故障診断部１４ａは、画像処理部１１ａがステレオカメラ１０ａにより取得されるステレオ画像に対して画像処理を行うルーチンと並行して、周期的にテスト画像を用いる故障診断を行う。
【００１９】
出力制御部１５ａは、故障診断部１４ａによる診断結果に基づいて、ステレオ画像の処理結果値に関する出力制御を行う。具体的には、出力制御部１５ａは、故障診断部１４ａによる診断結果が正常を示す場合、そのとき画像処理されたステレオ画像に関する処理結果を有効なものとして出力する。出力制御部１５ａから有効として出力された処理結果は、車両制御装置群２に出力され、車両の運転者に対する情報提示や走行安全に係る車両制御に用いられる。一方、故障診断部１４ａによる診断結果が異常を示す場合、フェイルセーフ制御を実行する。
【００２０】
車両制御装置群２は、車両におけるボディ系、パワートレイン系、シャーシ系といった各種制御対象の作動を制御する複数の装置からなる。その制御対象としては、例えば、操舵装置、スピーカ、ディスプレイ、制動装置、駆動装置、灯火等が例示される。車両制御装置群２を構成する各装置は、車両の走行状態や画像処理装置１による対象物の認識結果に応じて制御対象の作動を制御する。具体的には、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール（ＡＣＣ）、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、クロストラフィック警報、踏み間違い防止、自動駐車等といった周知の車両制御を実行する。
【００２１】
［フレームごとの画像処理の説明］
画像処理装置１ａの各部が実行する一連の処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、ステレオカメラ１０ａから一対のステレオ画像のフレームが入力されるごとに、周期的に実行される。なお、前提として、画像処理装置１ａの起動時に、複数組のテスト画像と、それらのテスト画像に対応する期待値データとが、ＲＯＭ１３ａからＲＡＭ１２ａに予め転送されているものとする。
【００２２】
Ｓ１００では、画像処理部１１ａが、ステレオカメラ１０から取得した一対のステレオ画像を構成する２つのフレームに対して、画像間の視差値を求める画像処理を行う。画像処理部１１ａは、ステレオ画像に対する処理結果値をＲＡＭ１２ａに格納する。
【００２３】
Ｓ１０２では、Ｓ１００の画像処理が終了し、その処理結果値が出力される前までの間に、故障診断部１４ａが、ＲＡＭ１２ａに展開されている複数組のテスト画像を用いて、画像処理部１１ａに各テスト画像について視差値を求める画像処理を実行させる。画像処理部１１ａは、各テスト画像に対する処理結果値をＲＡＭ１２ａに格納する。
【００２４】
Ｓ１０４では、故障診断部１４ａは、ＲＡＭ１２ａに格納された各テスト画像に対する処理結果値と、予めＲＡＭ１２ａに展開されている各テスト画像に対応する期待値データとを比較し、両者の一致性に基づいて画像処理結果が正常か否か判断する。ここでは、テスト画像に対する処理結果値と、当該テスト画像に対応する期待値データとが一致基準を満たす場合、正常と判断し、一致基準を満たさない場合、異常（すなわち、画像処理部１１ａが故障している）と判断する。一方、Ｓ１０８では、故障診断部１４ａの処理と並行して、他の演算部（不図示）において、画像処理部１１ａによるステレオ画像に対する画像処理結果に基づく各種演算処理が実行される。
【００２５】
Ｓ１１０では、Ｓ１０４における故障診断部１４ａの判断結果に応じて、出力制御部１５ａの処理が分岐する。Ｓ１０４における判断の結果、正常と判断された場合（Ｓ１１０：正常）、出力制御部１５ａはＳ１１２に進む。Ｓ１１２では、出力制御部１５ａは、今回のステレオ画像に関する処理結果を、有効な処理結果として出力する。また、出力制御部１５ａは、画像処理部１１ａによる画像処理に関する機能が使用可能であることを表す通知情報を、車両制御装置群２を介して運転者に報知する。
【００２６】
一方、Ｓ１０４における判断の結果、異常と判断された場合（Ｓ１１０：異常）、出力制御部１５ａはＳ１１３に進む。Ｓ１１３では、出力制御部１５ａは、異常が検知された事象が規定回数連続したか否に応じて処理を分岐する。異常が検知された事象が規定回数連続していない場合、出力制御部１５ａはＳ１１４に進む。Ｓ１１４では、出力制御部１５ａは、フェイルセーフ制御を実行する。具体的には、出力制御部１５ａは、今回のステレオ画像に関する処理結果を出力せず破棄する。また、出力制御部１５ａは、画像処理部１１ａの画像処理に関する機能が使用不能であることを表す通知情報を、車両制御装置群２を介して運転者に報知する。
【００２７】
一方、異常が検知された事象が規定回数連続した場合（Ｓ１１３：規定回数連続）、出力制御部１５ａはＳ１１５に進む。Ｓ１１５では、出力制御部１５ａは、画像処理部１１ａに関する修復動作を実行する。具体的には、出力制御部１５ａは、ＲＯＭ１３ａからテスト画像のデータをＲＡＭ１２ａに再転送して、ＲＡＭ１２ａのテスト画像のデータをリセットする。また、画像処理部１１ａを構成するシステムＬＳＩの構成情報を再ロードして、画像処理部１１ａの再構成を試みる。なお、変形例として、テスト画像の処理結果値が異常と判断された事象が１回であっても、修復動作を実行する構成であってもよい。
【００２８】
［第１実施形態の効果］
第１実施形態の画像処理装置１ａによれば、次の効果を奏する。周期に入力されるステレオ画像に対する画像処理のルーチンと並行して、予めＲＡＭ１２ａに展開されているテスト画像を用いる故障診断を周期的に行うことで、通常の画像処理のルーチンを阻害せず、画像処理部１１ａの故障をリアルタイムに診断できる。
【００２９】
特に、故障診断に用いるテスト画像を、画像処理部１１ａが高速にアクセス可能なＲＡＭ１２ａに予め展開しておく構成にしたことで、ステレオ画像に対する画像処理の周期に合わせて、故障診断部１４ａの処理を高速に実行することができる。また、画像処理によって得られる処理結果値が異なる複数組のテスト画像を故障診断に用いることで、システムとして取り得る処理結果値を網羅的に検査することができる。
【００３０】
故障診断の結果、異常が検知された場合、画像処理の結果を破棄したり、異常を通知したりするフェイルセーフ制御を出力制御部１５ａが行うことで、誤った画像処理結果に基づく誤作動を防止できる。また、故障診断において異常が検知された事象が連続した場合、出力制御部１５ａが修復動作を実行することで復旧を試みることができ、システムの可用性が向上する。
【００３１】
［第１実施形態の変形例］
第１実施形態では、画像処理装置１ａの内部に設けられたＲＯＭ１３ａに記憶されているテスト画像及び期待値データを、画像処理装置１ａの起動時にＲＡＭ１２ａに転送する事例について説明した。これに限らず、画像処理装置１ａの外部から接続された記憶装置から、テスト画像及び期待値データをＲＡＭ１２ａに転送する構成であってもよい。
【００３２】
〈第２実施形態〉
第２実施形態の画像処理装置１ｂの構成について、図３を参照しながら説明する。画像処理装置１ｂは、画像処理部１１ｂと、ＲＡＭ１２ｂと、ＲＯＭ１３ｂと、故障診断部１４ｂと、出力制御部１５ｂとを備える。なお、第２実施形態における符号１０ｂ〜１５ｂの各構成は、第１実施形態における符号１０ａ〜１５ａの各構成とそれぞれ対応するものである。この第２実施形態については、上述の第１実施形態（図１参照）の画像処理装置１ａと異なる事項について主に説明し、第１実施形態と共通の構成や機能についての説明は省略する。
【００３３】
第２実施形態は、故障診断に用いられるテスト画像のデータが、ステレオカメラ１０ｂに格納されている点において第１実施形態と相違する。このテスト画像は、ステレオカメラ１０ｂにより撮像されるステレオ画像を模擬した一対の画像で構成されている。システムとして取り得る視差値を網羅的に検査するため、画像処理によって得られる視差値がそれぞれ異なるように構成された複数組のテスト画像が、ステレオカメラ１０ｂの記憶装置（不図示）に格納されている。ステレオカメラ１０ｂは、左右一対のステレオ画像からなる画像データを繰返し取得し、取得した画像データを画像処理部１１ｂに出力する。また、ステレオカメラ１０ｂは、記憶装置に格納されているテスト画像を、撮像されたステレオ画像と並行して周期的に出力する。
【００３４】
故障診断部１４ｂは、ステレオカメラ１０ｂから入力される複数組のテスト画像を用いて、画像処理部１１ｂに画像処理を実行させる。そして、テスト画像に対する処理結果値と各テスト画像に対応する期待値データとを比較し、画像処理部１１ｂの故障の有無を診断する。故障診断部１４ｂは、画像処理部１１ｂがステレオカメラ１０ｂにより取得されるステレオ画像に対して画像処理を行うルーチンと並行して、周期的にテスト画像を用いる故障診断を行う。
【００３５】
ＲＡＭ１２ｂには、ステレオカメラ１０ｂにより入力された画像データに対して画像処理部１１ｂにより画像処理が行われた結果である処理結果値（視差値マップ）が格納される。ＲＡＭ１２ｂには、複数組のテスト画像それぞれに対応する複数の期待値データが格納される。この期待値データは、ステレオカメラ１０ｂから入力されるテスト画像に対して画像処理部１１ｂによる画像処理を施したときの正常な結果値を表す情報である。また、ＲＡＭ１２ｂには、テスト画像に対して画像処理部１１ｂにより画像処理が行われた結果である結果値が格納される。
【００３６】
ＲＯＭ１３ｂには、ステレオカメラ１０ｂから入力される各テスト画像に対応する期待値データの原本となるオリジナルの期待値データが記憶されている。ＲＯＭ１３ｂに記憶されている期待値データは、画像処理装置１ｂの起動時にＲＯＭ１３ｂからＲＡＭ１２ｂに転送され、ＲＡＭ１２ｂの所定領域に展開される。
【００３７】
第２実施形態の画像処理装置１ｂの各部が実行する画像処理の手順については、第１実施形態において既に説明した図２のフローチャートの手順に準ずる。ただし、第２実施形態では、図２のＳ１０２が次の手順となる。すなわち、Ｓ１００の画像処理が終了し、その処理結果値が出力される前までの間に、故障診断部１４ｂは、ステレオカメラ１０ｂから入力された複数組のテスト画像を用いて、画像処理部１１ｂに各テスト画像について視差値を求める画像処理を実行させる。画像処理部１１ｂは、各テスト画像に対する処理結果値をＲＡＭ１２ｂに格納する。また、第２実施形態では、図２のＳ１１５における修復動作において、テスト画像のデータをＲＡＭ１２ａに再転送する代わりに、ステレオカメラ１０ｂの構成情報を再ロードして、ステレオカメラ１０ｂの再構成を試みる。
【００３８】
［第２実施形態の効果］
第２実施形態の画像処理装置１ｂによれば、次の効果を奏する。画像処理部１１ｂによる通常の画像処理の周期的なルーチンと並行して、ステレオカメラ１０ｂから取得したテスト画像データに基づく故障診断を周期的に行うことができる。このようにすることで、通常の画像処理のルーチンを阻害せず、ステレオカメラ１０ｂからの入力ラインや画像処理部１１ｂに関する故障の有無をリアルタイムに監視することができる。
【００３９】
〈第３実施形態〉
第３実施形態の画像処理装置１ｃの構成について、図４を参照しながら説明する。画像処理装置１ｃは、画像処理部１１ｃと、ＲＡＭ１２ｃと、ＲＯＭ１３ｃと、故障診断部１４ｃと、出力制御部１５ｃとを備える。なお、第３実施形態における符号１０ｃ〜１５ｃの各構成は、第１実施形態における符号１０ａ〜１５ａの各構成とそれぞれ対応するものである。この第３実施形態については、上述の第１実施形態（図１参照）や第２実施形態（図３参照）と異なる事項について主に説明し、第１実施形態や第２実施形態と共通の構成や機能についての説明は省略する。
【００４０】
第３実施形態は、故障診断に用いられるテスト画像のデータが、ステレオカメラ１０ｃ及びＲＡＭ１２ｃの両方に格納されている点において第１，２実施形態と相違する。これらのテスト画像は、ステレオカメラ１０ｃにより撮像されるステレオ画像を模擬した一対の画像で構成されている。システムとして取り得る視差値を網羅的に検査するため、画像処理によって得られる視差値がそれぞれ異なるように構成された複数組のテスト画像が、ステレオカメラ１０ｃの記憶装置（不図示）及びＲＡＭ１２ｃに格納されている。
【００４１】
ステレオカメラ１０ｃは、左右一対のステレオ画像からなる画像データを繰返し取得し、取得した画像データを画像処理部１１ｃに出力する。また、ステレオカメラ１０ｃは、記憶装置に格納されているテスト画像を、撮像されたステレオ画像と並行して周期的に出力する。また、ＲＯＭ１３ｃには、ＲＡＭ１２ｃに展開されるテスト画像、及び各テスト画像に対応する期待値データの原本となるオリジナルのテスト画像及び期待値データが記憶されている。ＲＯＭ１３ｃに記憶されているテスト画像及び期待値データは、画像処理装置１ｃの起動時にＲＯＭ１３ｃからＲＡＭ１２ｃに転送され、ＲＡＭ１２ｃの所定領域に展開される。
【００４２】
故障診断部１４ｃは、画像処理部１１ｃがステレオカメラ１０ｃにより取得されるステレオ画像に対して画像処理を行うルーチンと並行して、周期的にステレオカメラ１０ｃ及びＲＡＭ１２ｃのテスト画像を交互に切替えて故障診断を行う。具体的には、故障診断部１４ｃは、ＲＡＭ１２ｃに展開されている複数組のテスト画像を用いて、画像処理部１１ｃに画像処理を実行させる。そして、テスト画像に対する処理結果値と各テスト画像に対応する期待値データとを比較し、異常の有無を診断する。また、故障診断部１４ｃは、ステレオカメラ１０ｃから入力される複数組のテスト画像を用いて、画像処理部１１ｃに画像処理を実行させる。そして、テスト画像に対する処理結果値と各テスト画像に対応する期待値データとを比較し、異常の有無を診断する。なお、個々のテスト画像を用いて故障診断を行う手順については、図２のフローチャートにおけるＳ１００〜Ｓ１１４の手順に準ずる。
【００４３】
さらに、故障診断部１４ｃは、ステレオカメラ１０ｃ及びＲＡＭ１２ｃそれぞれのテスト画像に関する診断結果から故障箇所を特定する。そして、出力制御部１５ｃは、故障診断部１４ｃによって特定された故障箇所に応じた修復動作を実行する。この一連の処理手順について、図５のフローチャートを参照しながら説明する。
【００４４】
Ｓ２００では、故障診断部１４ｃは、ステレオカメラ１０ｃ及びＲＡＭ１２ｃそれぞれのテスト画像について交互に故障診断した結果を参照する。Ｓ２０２では、故障診断部１４ｃは、ステレオカメラ１０ｃ及びＲＡＭ１２ｃそれぞれのテスト画像に関する診断結果の組合せパターンに基づいて、ステレオカメラ１０ｃ、画像処理部１１ｃ又はテスト画像の関する故障箇所を特定する。
【００４５】
具体的には、ステレオカメラ１０ｃ及びＲＡＭ１２ｃそれぞれのテスト画像について、定常的に異常と診断された場合、故障診断部１４ｃは、画像処理部１１ｃが故障していると判断する。また、ステレオカメラ１０ｃのテスト画像を用いた場合のみ異常と診断された場合、故障診断部１４ｃは、ステレオカメラ１０ｃかステレオカメラ１０ｃに格納されているテスト画像のデータが故障していると判断する。また、ＲＡＭ１２ｃのテスト画像を用いた場合のみ異常と診断された場合、故障診断部１４ｃは、ＲＡＭ１２ｃに格納されているテスト画像のデータが故障していると判断する。
【００４６】
Ｓ２０４では、出力制御部１５ｃは、Ｓ２０２において特定された故障箇所に対応する修復動作を実行する。具体的には、画像処理部１１ｃが故障していると特定された場合、出力制御部１５ｃは、画像処理部１１ｃを構成するシステムＬＳＩの構成情報を再ロードして、画像処理部１１ｃの再構成を試みる。また、ステレオカメラ１０ｃかステレオカメラ１０ｃに格納されているテスト画像のデータが故障していると特定された場合、出力制御部１５ｃは、ステレオカメラ１０ｂの構成情報を再ロードして、ステレオカメラ１０ｂの再構成を試みる。また、ＲＡＭ１２ｃに格納されているテスト画像のデータが故障していると特定された場合、出力制御部１５ｃは、ＲＯＭ１３ｃからテスト画像のデータをＲＡＭ１２ｃに再転送して、ＲＡＭ１２ｃのテスト画像のデータをリセットする。
【００４７】
［第３実施形態の効果］
ステレオカメラ１０ｃ及びＲＡＭ１２ｃそれぞれのテスト画像を用いて故障診断を行いて故障箇所を特定し、特定した故障箇所に応じた修復動作を行うことで、故障部位の切分け及び可用性の向上が見込まれる。
【００４８】
〈第４実施形態〉
第４実施形態の画像処理装置１ｄの構成について、図６を参照しながら説明する。画像処理装置１ｄは、画像処理部１１ｄと、ＲＡＭ１２ｄと、ＲＯＭ１３ｄと、故障診断部１４ｄと、出力制御部１５ｄとを備える。なお、第４実施形態における符号１０ｄ〜１５ｄの各構成は、第１実施形態における符号１０ａ〜１５ａの各構成とそれぞれ対応するものである。この第４実施形態については、上述の第１実施形態（図１参照）と異なる事項について主に説明し、第１実施形態と共通の構成や機能についての説明は省略する。
【００４９】
第４実施形態は、故障診断に用いられる正常なテスト画像の他に、故障診断機能の試験に用いられる不正テスト画像がＲＯＭ１３ｄに格納されている点において、第１実施形態と相違する。正常なテスト画像については、上述の第１実施形態において説明したものと同様である。不正テスト画像は、正常なテスト画像と同様にステレオカメラ１０ｄにより撮像されるステレオ画像を模擬した画像で構成されている。ただし、この不正テスト画像は、画像処理部１１ｄにおいて正常に画像処置が行われたときの処理結果値が期待値データに対して不正となるように改変されている。
【００５０】
この第４実施形態の画像処理装置１ｄでは、起動に伴う初期化の段階において、まず、ＲＯＭ１３ｄに記憶されている不正テスト画像がＲＡＭ１２ｄに転送され、ＲＡＭ１２ｄの所定領域に展開される。故障診断部１４ｄは、初期化時にＲＡＭ１２ｄに転送された不正テスト画像を用いて、故障診断機能が正常に動作するか否かを試験する。そして、故障診断機能が正常に動作することが確認されたことを条件に、今度は正常なテスト画像がＲＯＭ１３ｄからＲＡＭ１２ｄに転送され、それ以降、通常の画像処理（図２参照）が開始される。この一連の処理手順について、図７のフローチャートを参照しながら説明する。
【００５１】
Ｓ３００では、故障診断部１４ｄは、画像処理装置１ｄの起動に伴う初期化が行われたことを条件に、ＲＯＭ１３ｄに格納されている不正テスト画像をＲＡＭ１２ｄに転送する。転送された不正テスト画像は、ＲＡＭ１２ｄの所定領域に展開される。Ｓ３０２では、故障診断部１４ｄは、ＲＡＭ１２ｄに展開されている不正テスト画像を用いて、画像処理部１１ｄに不正テスト画像について視差値を求める画像処理を実行させる。画像処理部１１ｄは、不正テスト画像に対する処理結果値をＲＡＭ１２ｄに格納する。
【００５２】
Ｓ３０４では、故障診断部１４ｄは、ＲＡＭ１２ｄに格納された不正テスト画像に対する処理結果値と、「故障」を定義する所定の故障期待値とを比較し、両者の一致性を判断する。不正テスト画像に対する処理結果値と、故障期待値とが一致基準を満たすとき一致と判断し、一致基準を満たさないとき不一致と判断する。Ｓ３０６では、故障診断部１４ｄは、Ｓ３０４における判断結果に応じて処理を分岐する。
【００５３】
不正テスト画像に対する処理結果値と故障期待値とが一致と判断された場合（Ｓ３０６：一致）、故障診断部１４ｄはＳ３０８に進む。この場合、不正画像データに対する処理結果値について正しく「故障」と判断されることが確認できたため、故障診断機能が正常に動作すると判断される。Ｓ３０８では、故障診断部１４ｄは、ＲＡＭ１２ｄをリセットし、ＲＯＭ１３ｄに格納されている正常なテスト画像をＲＡＭ１２ｄに転送する。Ｓ３０８以降の処理の手順については、第１実施形態において既に説明した図２のフローチャートの手順に準ずる。
【００５４】
一方、不正テスト画像に対する処理結果値と故障期待値とが不一致と判断された場合（Ｓ３０６：不一致）、故障診断部１４ｄはＳ３１０に進む。この場合、不正画像データに対する処理結果値について正しく「故障」と判断されることが確認できなかったため、故障診断機能が正常に動作していないと判断される。Ｓ３１０では、出力制御部１５ｄがフェイルセーフ制御を実行する。具体的には、出力制御部１５ｄは、画像処理部１１ｄの画像処理に関する機能が使用不能であることを表す通知情報を、車両制御装置群２を介して運転者に報知する。
【００５５】
［その他の工夫］
以下、実施形態に適用できる種々の工夫について説明する。
画像処理部にテスト画像に対する画像処理を行わせる際、テスト画像単独で画像処理を行う構成であってもよいし、ステレオカメラから入力された実画像の所定領域にテスト画像のパターンを組込んだ状態で、実画像及びテスト画像に対する画像処理を一括で行う構成であってもよい。
【００５６】
後者の具体例として、図８に例示されるとおり、ステレオカメラによって実際に撮像された実画像３０の上下左右方向に隣接する空白領域に、テスト画像のパターン３１ａ〜３０ｄを組込むことが考えられる。
【００５７】
また、図９は、ステレオカメラ１０によって実際に撮像された実画像４０を構成するライン（ラスター線）の間に、テスト画像のパターン４１ａが組込まれた事例を表している。この事例では、実画像４０の水平方向のある位置に定められた境界線において区分される領域ごとに視差演算方法が異なる場合、その境界の間にテスト画像のパターン４１ａを組込むことが考えられる。また、図９は、実画像４０の右側の領域に異なる２種類のテスト画像４１ｂ，４１ｃが組込まれた事例を表している。このように、テスト画像が組込まれた領域において、ある境界からテスト画像のパターンが変わるような構成であってもよい。
【符号の説明】
【００５８】
１ａ，１ｂ，１ｃ，１ｄ…画像処理装置、１０ａ，１０ｂ，１０ｃ，１０ｄ…ステレオカメラ、１１ａ，１１ｂ，１１ｃ，１１ｄ…画像処理部、１２ａ，１２ｂ，１２ｃ，１２ｄ…ＲＡＭ、１３ａ，１３ｂ，１３ｃ，１３ｄ…ＲＯＭ、１４ａ，１４ｂ，１４ｃ，１４ｄ…故障診断部、１５ａ，１５ｂ，１５ｃ，１５ｄ…出力制御部、２…車両制御装置群。
【図１】
0006458579.tif 000002
【図２】
0006458579.tif 000003
【図３】
0006458579.tif 000004
【図４】
0006458579.tif 000005
【図５】
0006458579.tif 000006
【図６】
0006458579.tif 000007
【図７】
0006458579.tif 000008
【図８】
0006458579.tif 000009
【図９】
0006458579.tif 000010