(57)【要約】      （修正有）【課題】故障検出用データ長と故障検知時間を短縮し、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行う。【解決手段】カメラ装置１は、画像データに対して、論理回路に係る複数のリソース部分であるパイプライン３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄを用いて画像処理を行って生成データを生成する視差演算部３６と、生成データに係るフレーム内の未使用部である埋め込みデータ領域に、画像処理に用いたリソース部分を表すタグ番号を埋め込むデータ埋め込み部３６ｅと、複数の故障検知用データの中から、タグ番号に応じた適切な故障検知用データを選択するセレクタ４０ｄと、セレクタ４０ｄにより選択された故障検知用データに対して、視差演算部３６により生成された演算結果データと、故障検知用データの期待値データとを比較して、視差演算部３６が故障か否かを検知する故障検知部４０と、を備える。【選択図】図２
2017092757.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して、論理回路に係る複数のリソース部分を用いて画像処理を行って生成データを生成する画像処理手段と、
前記生成データ内の未使用部に、前記画像処理に用いた前記リソース部分を表すタグ番号を埋め込む埋め込み手段と、
複数の故障検知用データの中から、前記タグ番号に応じた適切な故障検知用データを選択する選択手段と、
前記選択手段により選択された故障検知用データに対して、前記画像処理手段により生成された生成データと、前記故障検知用データの期待値データとを比較して、前記画像処理手段が故障か否かを検知する故障検知手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
メモリから論理データを取得するためのデータ入力手段と、
制御手段と、を備え、
前記画像処理手段は、前記論理回路の再構成が可能なフィールド・プログラマブル・ゲート・アレイによって構成され、前記制御手段は前記故障検知手段により前記論理回路の故障が検知された場合に、前記データ入力手段を介して取得した論理データを用いて、前記フィールド・プログラマブル・ゲート・アレイを論理再構成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
制御手段を備え、
前記故障検知手段は、前記画像処理手段に設けられたバスの任意のビットの値が前記故障検知用データの転送期間中に常に固定値にならない場合は、前記論理回路が回復可能な一時的な故障と判定し、前記バスの任意のビットの値が前記故障検知用データの転送期間中に常に固定値になる場合は、回復不可能な永続的な故障であると判定し、
前記制御手段は、前記論理回路が回復可能な一時的な故障であるときに、前記論理回路を再構成することを特徴とする請求項１記載の画像処理装置。
【請求項４】
制御手段を備え、
前記故障検知手段は、前記論理回路の故障が検知された場合に、前記論理回路に係るリソース部分を故障部分として特定し、
前記制御手段は、前記特定された故障部分のみ論理再構成することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記制御手段は、前記論理回路の論理再構成を行った場合に、前記論理回路が回復できなかったときに、前記メモリに圧縮して保存しておいた論理再構成データを論理再構成データ保存領域に展開させて、前記メモリに係る論理再構成データの書き換えを行い、再度前記論理回路を再構成することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記故障検知手段により検知された故障の有無を表す故障検知結果を表示する表示手段を更に備えたことを特徴とする請求項１記載の画像処理装置。
【請求項７】
画像データに対して、論理回路に係る複数のリソース部分を用いて画像処理を行って生成データを生成する画像処理ステップと、
前記生成データ内の未使用部に、前記画像処理に用いたリソース部分を表すタグ番号を埋め込む埋め込みステップと、
複数の故障検知用データの中から、前記タグ番号に応じた適切な故障検知用データを選択する選択ステップと、
前記選択ステップにより選択された故障検知用データに対して、前記画像処理ステップにより生成された生成データと、前記故障検知用データの期待値データとを比較して、前記画像処理ステップが故障か否かを検知する故障検知ステップと、を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置の故障検知に好適な技術に関する。
【背景技術】
【０００２】
従来、車両に使用される電子機器では、諸機能の安全性を向上するために故障検知機能を有しており、高い故障検出率が求められている。
特に、ブレーキ、ハンドル、エンジン等の運転制御に関わる電子機器においては、ＩＳＯ２６２６２等で最高水準のＦＩＴ値１０以下が要求されている。しかし、このような電子機器に使用されるＳＲＡＭベースのＦＰＧＡ（Field Programmable Gate Array）にあっては、外部から飛来する放射線などの影響により、一定の割合でビット故障が発生する。
また、車載カメラが撮影した動画像を処理するモジュールにおいては、その画像フレームを処理したモジュールが故障していないか否かを画像フレームごとに確認し、モジュールが故障していないことを確認した後に、処理画像を後段の処理に使用する必要がある。
【０００３】
動画像を処理するモジュールの故障を検出するためには、例えば、同じ回路を二重化しておき、夫々の出力値が一致するか否かを検出する手法や、想定した故障パターンを網羅する故障検出パターンを回路に入力して、回路の出力値が期待値と一致しているか否かを判定する手法が既に知られている。
特許文献１には、画像処理装置の故障の有無を自己診断させる目的で、故障検出パターンを複数生成し、各故障検出パターンに対して出力値と期待値との比較を行うという構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、既存の故障パターンを回路に入力して出力値と期待値とが一致するか否かを確認することで故障検出を行うという手法にあっては、全回路の故障を検出するために、ソフトウェア処理により膨大なテストパターンを全回路に通過させる必要があった。
詳しくは、テストパターン長が検出対象となる回路の規模に比例するため、検出対象の全ての回路に対して故障検知を行う場合、ソフトウェア処理により生成されるテストパターン長が膨大になり、車載電子機器に必要である１フレーム毎のリアルタイムの故障検出を実現することができないといった問題があった。
特許文献１にあっては、故障検出を行う目的で、ソフトウェア処理により故障検出パターンを生成し、出力値と期待値とを比較するという点が開示されている。しかし、上述したように故障検出までの所要時間が長いという問題は解消できていない。
そこで、最小限のテストパターン長を用いて、対象回路の故障検知を実行するソフトウェアの負荷なしに実施する手法として、ハードウエア構成に重点を置いた故障検知手法の提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、故障検出用データ長と故障検知時間を短縮することができ、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行うことにある。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、上記課題を解決するため、画像データに対して、論理回路に係る複数のリソース部分を用いて画像処理を行って生成データを生成する画像処理手段と、前記生成データ内の未使用部に、前記画像処理に用いた前記リソース部分を表すタグ番号を埋め込む埋め込み手段と、複数の故障検知用データの中から、前記タグ番号に応じた適切な故障検知用データを選択する選択手段と、前記選択手段により選択された故障検知用データに対して、前記画像処理手段により生成された生成データと、前記故障検知用データの期待値データとを比較して、前記画像処理手段が故障か否かを検知する故障検知手段と、を備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、故障検出用データ長と故障検知時間を短縮することができ、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係るカメラ装置１の全体回路構成を示すブロック図である。
【図２】本発明の第１実施形態に係る視差演算部、及び故障検知部の回路構成を示すブロック図である。
【図３】本発明の第１実施形態に係る視差演算部、及び故障検知部の入出力タイミングを示すタイミングチャートである。
【図４】本発明の第１実施形態に係る視差演算部が生成した画像データの出力フォーマットについて説明するための図である。
【図５】本発明の第１実施形態に係る視差演算部の動作と、埋め込みデータとの関係について説明するための図である。
【図６】本発明の第１実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
【図７】本発明の第２実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
【図８】本発明の第３実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
【図９】本発明の第４実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
【図１０】本発明の第５実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、故障検出用データ長と故障検知時間を短縮し、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行うために、以下の構成を有する。
すなわち、本発明の画像処理装置は、画像データに対して、論理回路に係る複数のリソース部分を用いて画像処理を行って生成データを生成する画像処理手段と、生成データ内の未使用部に、画像処理に用いたリソース部分を表すタグ番号を埋め込む埋め込み手段と、複数の故障検知用データの中から、タグ番号に応じた適切な故障検知用データを選択する選択手段と、選択手段により選択された故障検知用データに対して、画像処理手段により生成された生成データと、故障検知用データの期待値データとを比較して、画像処理手段が故障か否かを検知する故障検知手段と、を備えたことを特徴とする。
以上の構成を備えることにより、故障検出用データ長と故障検知時間を短縮することができ、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行うことができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【０００９】
＜第１実施形態＞
図１は、本発明の第１実施形態に係るカメラ装置１の全体回路構成を示すブロック図である。
カメラ装置１は、イメージセンサ１０Ｒ、イメージセンサ１０Ｌ、基板回路２０、及び表示部６０を備えている。
イメージセンサ１０Ｒ、及びイメージセンサ１０Ｌは、風景を撮影してフレーム毎に画像データを基板回路２０に設けられた入力制御部３２に出力する。
基板回路２０は、ＦＰＧＡ（field-programmable gate array：フィールド・プログラマブル・ゲート・アレイ）２２、ＤＤＲ部２４、メモリデータ入力部２６、ＳＤメモリカード２８、及びＵＳＢ端子３０を備えている。
ＦＰＧＡ２２は、プログラミングによりパイプラインのような論理回路の論理再構成を行うことが可能なゲート・アレイである。
ＤＤＲ（Double-Data-Rate SDRAM）部２４は、例えばＤＤＲメモリ、ＤＤＲ２メモリ、ＤＤＲ３メモリなどにより構成され、ＤＤＲ＿Ｉ／Ｆ部４２を介して出力制御部３８による書き込みデータを記憶するとともに、読み出しに応じてデータを出力制御部３８に出力する。
表示部６０は、画像データやメッセージを表示する。
【００１０】
メモリデータ入力部２６は、コネクタを備え、当該コネクタにＳＤメモリカード２８が装着された場合に、ＳＤメモリカード２８から読み出した論理データをＦＰＧＡ２２に入力する。
ＳＤメモリ２８は、いわゆるＳＤメモリカード（SD Memory Card）であり、フラッシュメモリーに属するメモリカードであれば、容量の大きさによってＳＤメモリカード、ＳＤＨＣメモリカード、ＳＤＸＣメモリカードを用いてもよい。
ＳＤメモリ２８には、論理回路の論理再構成を行うための論理データが論理再構成データ保存領域に保存されるており、さらに別領域に圧縮された論理データが保存されている。
ＵＳＢ端子３０は、シリアルバス規格の１つであるユニバーサル・シリアル・バス（Universal Serial Bus）であり、ＵＳＢケーブル５２を介して外部に配置されたパーソナルコンピュータＰＣ５０等の情報機器に回路基板２０を接続するために用いる。
パーソナルコンピュータＰＣ５０は、ＵＳＢケーブル５２、ＵＳＢ端子３０、メモリデータ入力部２６を介してＳＤメモリ２８に接続する。パーソナルコンピュータＰＣ５０は、ＳＤメモリカードの別領域に圧縮して保存しておいた論理再構成データを論理再構成データ保存領域に展開させ、外部メモリに係る論理再構成データの書き換えを行う。
【００１１】
ＦＰＧＡ２２は、入力制御部３２、画像処理部３４、視差演算部３６、出力制御部３８、故障検知部４０、ＤＤＲ＿Ｉ／Ｆ部４２、及び制御部４４を備えている。
入力制御部３２は、イメージセンサ１０Ｒ、１０Ｌから入力される２系統の画像データのタイミング調整等を行い、各画像データを画像処理部３４に出力する。
画像処理部３４は、各画像データに対してγ変換、ＲＧＢ変換等を行い、処理後の各画像データを視差演算部３６に出力する。
視差演算部３６は、画像処理手段を構成し、２系統の画像データに対して視差演算を行い、各画像データを出力制御部３８に出力する。
【００１２】
出力制御部３８は、各画像データをＤＤＲ＿Ｉ／Ｆ部４２を介してＤＤＲ部２４へ書き込み、ＤＤＲ部２４から各画像データを読み出す際の調停を行うとともに、各画像データを後段に設けられた回路へ出力する。
出力制御部３８は、カメラ装置１の表示部６０にメッセージを表示してユーザに通知する。
ＤＤＲ＿Ｉ／Ｆ部４２は、出力制御部３８とＤＤＲ部２４との間に介在し、出力制御部３８とＤＤＲ部２４とのインターフェースを行う。
故障検知部４０は、予め定められた故障検知用データを視差演算部３６に出力し、視差演算部３６により生成された生成データと、故障検知用データに対応した期待値データとを比較して、視差演算部３６が故障か否かを検知する。
制御部４４は、ＣＲＡＭ（configuration RAM）を備え、当該ＦＰＧＡ２２を制御するために設けられており、ＳＤカード２８から取得した論理再構成データをＣＲＡＭに記憶させることで、ＦＰＧＡ２２の論理再構成を行う。なお、制御部４４は、制御に用いるＣＰＵを有していてもよく、また外部に配置されたパーソナルコンピュータＰＣ５０からＵＳＢケーブル５２、ＵＳＢ端子３０を介して当該制御部４４を制御してもよい。ここで、ＣＲＡＭに対する論理再構成については、周知技術であるため、その説明を省略する。
【００１３】
図２は、本発明の第１実施形態に係る視差演算部、及び故障検知部の回路構成を示すブロック図である。
＜視差演算部＞
視差演算部３６は、セレクタ部（ＳＥＬ）３６ｓ１、３６ｓ２、３６ｓ３、３６ｓ４、３６ｓ５と、１列４行構成のパイプライン（リソース部分）３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄとが交互に並んで直列接続された構成を備えている。さらに、視差演算部３６は、最終段のセレクタ部（ＳＥＬ）３６ｓ５の後段にデータ埋め込み部３６ｅを備えている。
パイプライン３６ｍの１段目はｍａ［＊］、２段目はｍｂ［＊］、３段目はｍｃ［＊］、４段目はｍｄ［＊］とし、夫々にタグ番号が対応している。従って、タグ番号を確認できれば、どのパイプラインであるかを特定することができる。
ここで、パイプライン（Ｐｉｐｅｌｉｎｅ）とは、ある処理を複数のステージに分割し、あるステージの処理が行われている間にほかのステージでも処理を並列して行うことができる並列処理手法をいう。
【００１４】
視差演算部３６では、前段にあるステージのパイプラインによる演算結果に応じて、次段のステージのパイプラインのうちどれを選択するかをセレクタ部（ＳＥＬ）３６ｓが決める。セレクタ部（ＳＥＬ）３６ｓが決めた選択結果は、各パイプラインに設けられたレジスタ（３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄ）に保持され、１フレーム内で一度でも通過した部分はレジスタ（３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄ）の各ｂｉｔに保持される。
データ埋め込み部３６ｅは、画像データに対する１フレーム内でのレジスタ（３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄ）の結果を、最終段のセレクタ部３６ｓ５から取得して、画像データの終端部分に位置する埋め込みデータ領域にタグ番号として埋め込む。
データ埋め込み部３６ｅは、画像データの終端部分に位置する埋め込みデータ領域に埋め込まれたリソース部分を表すタグ番号を、故障検知部４０に出力する。
【００１５】
＜故障検知部＞
故障検知部４０は、セレクタ部（ＳＥＬ）４０ａ、故障検知パターン期待値比較部４０ｂ、故障検知パターン記憶部４０ｃ、及びセレクタ部（ＳＥＬ）４０ｄを備えている。
故障検知部４０は、画像データの終端部分に位置する埋め込みデータ領域に埋め込まれたタグ番号に基づいて、画像データが通過中のパイプラインのリソース部分を認識する。
故障検知パターン記憶部４０ｃは、複数種類のタグ番号に夫々対応した故障検知用データを記憶しており、特定のタグ番号を指定して当該タグ番号に対応する故障検知用データ、及び期待値データを読み出すように構成されている。故障検知用データは、視差演算部３６内の画像データが通過するパイプライン（モジュール内の回路）が全て活性化するパターンとなっており、６４ｂｉｔ以上のデータで構成されている。
表１は、故障検知パターン記憶部４０ｃに記憶されているタグ番号、故障検知用データ、及び期待値データのレコードを表すテーブルである。
【００１６】
【表１】
2017092757.tif 000003
【００１７】
セレクタ部（ＳＥＬ）４０ｄは、タグ番号に応じて故障検知パターン記憶部４０ｃから適切な故障検知用データを選択し、故障検知用データをセレクタ部（ＳＥＬ）４０ｄから視差演算部３６（現在処理中のパイプラインのリソース部分に対して）に出力する。
視差演算部３６は、故障検知用データに対して視差演算等の画像処理を行い、演算結果データを故障検知部４０に返却する。
故障検知パターン期待値比較部４０ｂは、視差演算部３６から返却された演算結果データと、故障検知パターン記憶部４０ｃから取得した故障検知用データの期待値データとが一致するか否かを比較する。故障検知パターン期待値比較部４０ｂは、両者が一致した場合は、検知前に入力した画像フレームに対する視差演算処理が正常であると判定する。
【００１８】
＜動作タイミング＞
図３は、本発明の第１実施形態に係る視差演算部、及び故障検知部の入出力タイミングを示すタイミングチャートである。
画像処理部３４は、図３に示すように、垂直同期信号（ＶＳＹＮＣ）に同期した画像データのフレームを１フレームおきに視差演算部３６に転送する。
この間、セレクタ部（ＳＥＬ）４０ｄは、故障検知パターン記憶部４０ｃからタグ番号に対応した故障検知用データを読み出し、視差演算部３６に出力する。
このため、図３に示すように、視差演算部３６のセレクタ部（ＳＥＬ）３６ｓ１には、垂直同期信号（ＶＳＹＮＣ）に同期して、画像処理部３４からの画像データ、セレクタ部（ＳＥＬ）４０ｄからの故障検知用データがフレーム毎に交互に入力される。
セレクタ部（ＳＥＬ）３６ｓ１は、入力される画像データ、故障検知用データを垂直同期信号（ＶＳＹＮＣ）に同期して切り替え、１段目のパイプライン３６ｍａに出力する。
【００１９】
視差演算部３６は、上述したようにタグ番号で指定された各パイプラインのリソース部分に画像データを通過させて視差演算を行い、一定ライン（ＨＳＹＮＣ）時間だけ遅延した後に、視差演算結果と、埋め込みデータとしてタグ番号を出力する。
視差演算部３６は、視差演算等を行って生成されたデータを出力制御部３８に出力する。
ここで、視差演算部３６は、埋め込みデータであるタグ番号を故障検知部４０に出力する。
故障検知部４０では、セレクタ部（ＳＥＬ）４０ｄがタグ番号に応じて、故障検知パターン記憶部４０ｃから故障検知用データを選択して、視差演算部３６に出力する。
視差演算部３６は、故障検知用データの処理を行い、故障検知用データが視差演算部３６を通過して視差演算等が行われる。視差演算部３６は生成した演算結果データを、再度、故障検知部４０に出力する。
故障検知部４０は、故障検知パターン期待値比較部４０ｂは、視差演算部３６から返却された演算結果データと、故障検知パターン記憶部４０ｃから取得した故障検知用データの期待値データとを比較して故障の有無を判定する。
故障検知部４０において故障が判定された場合、出力制御部３８から表示部６０にメッセージを表示してユーザに通知する等の通知処理を行う。
【００２０】
＜画像データの出力フォーマット＞
図４は、本発明の第１実施形態に係る視差演算部が生成した画像データの出力フォーマットについて説明するための図である。
まず、入力制御部３２は、図４に示す水平同期信号（ＨＳＹＮＣ）、及び垂直同期信号（ＶＳＹＮＣ）を発生する。水平同期信号（ＨＳＹＮＣ）は、例えば、１２８０画素（ｐｉｘ）の有効画素を示す有効画素期間と、３７０画素（ｐｉｘ）分のブランキング領域を示すブランキング期間とを有する。垂直同期信号（ＶＳＹＮＣ）は、例えば、６８２ライン（ｌｉｎｅ）分のデータ領域期間と、６８ライン（ｌｉｎｅ）分のブランキング領域を示すブランキング期間とを有する。
【００２１】
視差演算部３６の出力フォーマットは、図４に示すように、例えば、６ライン（ｌｉｎｅ）を有するＯＢ（Optical Blank：視覚的ブランキング）領域、２ライン（ｌｉｎｅ）を有する埋め込み（Ｅｍｂｄｅｄｄ）データ領域、６７２ライン（ｌｉｎｅ）を有する有効画像データ領域、２ライン（ｌｉｎｅ）を有する埋め込み（Ｅｍｂｄｅｄｄ）データ領域、６８ライン（ｌｉｎｅ）を有するブランキング領域で構成される。
レジスタ（ｍａ、ｍｂ、ｍｃ、ｍｄ）のレジスタ結果は、データ埋め込み部３６ｅが画像データ下部の埋め込みデータ領域に埋め込みデータを埋め込む。
ここで、埋め込みデータは、レジスタ結果としてｍａ［３：０］、ｍｂ［３：０］、ｍｃ［３：０］、ｍｄ［３：０］を有している。
【００２２】
＜タグ番号＞
図５は、本発明の第１実施形態に係る視差演算部の動作と、埋め込みデータとの関係について説明するための図である。
図５においは、レジスタ３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄを通過したことを表す埋め込みデータ例を下記に示します。なお、図５に示す４個のレジスタは一例であり、本発明はこれに限定されない。
図５に示すように、画像処理部３４から視差演算部３６に対して入力された画像データが、レジスタ３６ｍａでは［０］、［１］、レジスタ３６ｍｂで［２］、レジスタ３６ｍｃでは［３］、レジスタ３６ｍｄでは［０］、［２］を通過したこととする。
この場合、データ埋め込み部３６ｅにより埋め込みデータ領域に埋め込まれるタグ番号は、例えば、ｍａ＝４’ｂ００１１、ｍｂ＝４’ｂ０１００、ｍｃ＝４’ｂ１０００、ｍｄ＝４’ｂ０１０１となる。なお、図５に示すレジスタ上の網掛け箇所が１を、白抜き箇所が０を表す。
【００２３】
ここで、「４’ｂ」とは４ビットデータであることを意味しており、一例としてレジスタ３６ｍが夫々４行構成であるため４ビットで表現しているが、本発明はこれに限定されない。
例えば、データ配置を逆にした他の例として、ｍａ＝４’ｂ１１００、ｍｂ＝４’ｂ００１０、ｍｃ＝４’ｂ０００１、ｍｄ＝４’ｂ１０１０でも良い。この値が視差演算部３６の最終段に設けられたデータ埋め込み部３６ｅにおいて、画像データの下部にある埋め込みデータ領域（図４）に埋め込まれ、画像データとして故障検知部４０、及び出力制御部３８へ出力される。
【００２４】
図６は、本発明の第１実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。
＜動作説明＞
ステップＳ５では、入力制御部３２は、イメージセンサ１０Ｒ、１０Ｌから入力される２系統の画像データのタイミング調整等を行い、各画像データを画像処理部３４に出力する。
ステップＳ１０では、画像処理部３４は、各画像データに対してγ変換、ＲＧＢ変換等を行い、処理後の各画像データを視差演算部３６に出力する。
ステップＳ１５では、視差演算部３６は、２系統の画像データに対して視差演算を行い、各画像データを出力制御部３８に出力する。
ステップＳ２０では、出力制御部３８は、各画像データを表示部６０に表示する。
ステップＳ２５では、データ埋め込み部３６ｅは、１フレーム内でのレジスタ（ｍａ、ｍｂ、ｍｃ、ｍｄ）の通過結果を、最終段のレジスタ（ｍｄ）からセレクタ３６ｓ５を介して取得する。データ埋め込み部３６ｅは、画像データの終端部分に位置する埋め込みデータ領域にこの通過結果をタグ番号として埋め込み、画像データを故障検知部４０に出力する。
【００２５】
ステップＳ３０では、セレクタ部（ＳＥＬ）４０ｄは、タグ番号に応じて故障検知パターン記憶部４０ｃから適切な故障検知用データを選択し、セレクタ部（ＳＥＬ）４０ｄから故障検知用データを視差演算部３６のセレクタ３６ｓ１に出力する。ここで、現在処理中のパイプラインのリソース部分は、セレクタ部３６ｓ１、３６ｓ２、３６ｓ３、３６ｓ４、３６ｓ５により、複数のリソース部分の中から、タグ番号に応じたリソース部分が選択されたままの状態である。
ステップＳ３５では、視差演算部３６は、故障検知用データに対して視差演算等の画像処理を行い、演算結果データを故障検知部４０に返却する。
ステップＳ４０では、故障検知パターン期待値比較部４０ｂは、視差演算部３６から返却された演算結果データと、故障検知パターン記憶部４０ｃから取得した故障検知用データの期待値データとが一致するか否かを比較する。
これにより、故障検知用データの長さと故障検知時間を短縮することができ、最小限の故障検知用データを用いて１フレームおきにリアルタイムで故障検知を行うことができる。
【００２６】
次に、ステップＳ４５では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合は処理を終了する。一方、制御部４４は、両データが一致しなかった場合はステップＳ５０に進む。
ステップＳ５０では、制御部４４は、ＳＤカード２８からデータ入力部２６を介して論理再構成データを取得する。
ステップＳ５５では、制御部４４は、論理再構成データをＦＰＧＡ２２内に設けられたＣＲＡＭに対して論理再構成する。
これにより、論理回路の故障が検知された場合に、論理データを用いて、ＦＰＧＡ２２のＣＲＡＭの論理再構成を行うことができる。
【００２７】
＜第２実施形態＞
本発明の第２実施形態に係るカメラ装置１は、第１実施形態において説明した図１〜図５に示す技術的事項に適用することとする。
図７は、本発明の第２実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。なお、本実施形態では、図７に示すステップＳ５〜Ｓ４０までの処理は、第１実施形態における図６に示すフローチャートのステップＳ５〜Ｓ４０と同様の内容であるので、その説明を省略する。
【００２８】
＜動作説明＞
ステップＳ４５では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合は処理を終了する。一方、制御部４４は、両データが一致しなかった場合はステップＳ１１０に進む。
ステップＳ１１０では、制御部４４は、視差演算部３６に設けられたバスの任意のビットの値が画像データの転送期間中に常に固定されていない場合は、論理回路が回復可能な一時的な故障と判定し、バスの任意のビットの値が画像データの転送期間中に常に固定されている場合は、回復不可能な永続的な故障であると判定する。
ステップＳ１１５では、制御部４４は、ステップＳ１１０の判定結果が一時的な故障か、永続的な故障かを判断する。一時的な故障である場合はステップＳ１２０に進む。一方、永続的な故障である場合は処理を終了する。
ステップＳ１２０では、制御部４４は、論理再構成データをＦＰＧＡ２２内に設けられたＣＲＡＭに対して論理再構成する。
これにより、論理回路が回復可能な一時的な故障であるときに、論理回路を再構成することができる。
【００２９】
＜第３実施形態＞
本発明の第３実施形態に係るカメラ装置１は、第１実施形態において説明した図１〜図５に示す技術的事項に適用することとする。
図８は、本発明の第３実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。なお、本実施形態では、図８に示すステップＳ５〜Ｓ４０までの処理は、第１実施形態における図６に示すフローチャートのステップＳ５〜Ｓ４０と同様の内容であるので、その説明を省略する。
【００３０】
＜動作説明＞
ステップＳ４５では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合は処理を終了する。一方、制御部４４は、両データが一致しなかった場合はステップＳ２１０に進む。
ステップＳ２１０では、制御部４４は、論理回路に係るリソース部分を故障部分として特定する。
ステップＳ２１５では、制御部４４は、ＳＤカードからデータ入力部を介して取得した論理再構成データを、ＦＰＧＡ内のＣＲＡＭに対して故障部分のみ論理再構成する。
これにより、論理回路の故障が検知された場合に、論理回路に係るリソース部分を故障部分として特定し、故障部分のみ論理再構成することができる。
【００３１】
＜第４実施形態＞
本発明の第４実施形態に係るカメラ装置１は、第１実施形態において説明した図１〜図５に示す技術的事項に適用することとする。
図９は、本発明の第４実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。なお、本実施形態では、図９に示すステップＳ５〜Ｓ４０までの処理は、第１実施形態における図６に示すフローチャートのステップＳ５〜Ｓ４０と同様の内容であるので、その説明を省略する。
【００３２】
＜動作説明＞
ステップＳ４５では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合は処理を終了する。一方、制御部４４は、両データが一致しなかった場合はステップＳ３１０に進む。
ステップＳ３１０では、制御部４４は、ＳＤカードの論理再構成データ保存領域からデータ入力部を介して取得した論理データを、ＦＰＧＡ内のＣＲＡＭに対して論理再構成する。
ステップＳ３１５では、制御部４４は、故障検知用データに対して画像処理により生成された画像データと故障検知用データに係る期待値データとを比較する。
ステップＳ３２０では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合は処理を終了する。一方、制御部４４は、両データが一致しなかった場合はステップＳ３２５に進む。
ステップＳ３２５では、制御部４４は、ＳＤカードの別領域に圧縮して保存しておいた論理再構成データを論理再構成データ保存領域に展開させ、外部メモリに係る論理再構成データの書き換えを行う。そして、制御部４４は、ステップＳ３１０に戻り、上述した処理を繰り返す。
これにより、論理回路の論理再構成を行った場合に、論理回路が回復できなかったときでも、ＳＤメモリカード２８に圧縮して保存しておいた論理再構成データを用いて、再度論理回路を再構成することができる。
【００３３】
＜第５実施形態＞
本発明の第５実施形態に係るカメラ装置１は、第１実施形態において説明した図１〜図５に示す技術的事項に適用することとする。
図１０は、本発明の第５実施形態に係るカメラ装置１の動作について説明するためのフローチャートである。なお、本実施形態では、図１０に示すステップＳ５〜Ｓ４０までの処理は、第１実施形態における図６に示すフローチャートのステップＳ５〜Ｓ４０と同様の内容であるので、その説明を省略する。
【００３４】
＜動作説明＞
ステップＳ４５では、制御部４４は、演算結果データと故障検知用データの期待値データとが一致するか否かを判断する。両データが一致した場合はステップＳ４１０に進む。一方、制御部４４は、両データが一致しなかった場合はステップＳ４１５に進む。
ステップＳ４１０では、制御部４４は、視差演算部３６に故障がない旨のメッセージを表示部６０に表示する。
ステップＳ４１５では、制御部４４は、視差演算部３６に故障がある旨のメッセージを表示部６０に表示する。
これにより、故障検知を行った結果をユーザに提示することができる。
【００３５】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様のカメラ装置１は、画像データに対して、論理回路に係る複数のリソース部分であるパイプライン（リソース部分）３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄを用いて画像処理を行って生成データを生成する視差演算部３６（画像処理手段）と、生成データに係るフレーム内の未使用部である埋め込みデータ領域（図４）に、画像処理に用いたリソース部分を表すタグ番号を埋め込むデータ埋め込み部３６ｅと、複数の故障検知用データの中から、タグ番号に応じた適切な故障検知用データを選択するセレクタ４０ｄ（選択手段）と、セレクタ４０ｄにより選択された故障検知用データに対して、視差演算部３６により生成された演算結果データと、故障検知用データの期待値データとを比較して、視差演算部３６が故障か否かを検知する故障検知部４０と、を備えたことを特徴とする。
本態様によれば、視差演算部３６が、画像データに対して、論理回路に係る複数のリソース部分であるパイプライン（リソース部分）３６ｍａ、３６ｍｂ、３６ｍｃ、３６ｍｄを用いて画像処理を行って生成データを生成する。データ埋め込み部３６ｅが、生成データに係るフレーム内の未使用部である埋め込みデータ領域（図４）に、画像処理に用いたリソース部分を表すタグ番号を埋め込む。セレクタ４０ｄ（選択手段）が、複数の故障検知用データの中から、タグ番号に応じた適切な故障検知用データを選択する。故障検知部４０が、セレクタ４０ｄにより選択された故障検知用データに対して、視差演算部３６により生成された演算結果データと、故障検知用データの期待値データとを比較して、視差演算部３６が故障か否かを検知する。
これにより、故障検知用データの長さと故障検知時間を短縮することができるため、最小限の故障検知用データを用いてフレーム毎にリアルタイムで故障検知を行うことができる。
【００３６】
＜第２態様＞
本態様のカメラ装置１は、ＳＤメモリカード２８から論理データを取得するためのデータ入力部２６と、制御部４４と、を備え、視差演算部３６（画像処理手段）は、論理回路の再構成が可能なフィールド・プログラマブル・ゲート・アレイによって構成され、制御部４４は、故障検知部４０により論理回路の故障が検知された場合に、データ入力部２６を介して取得した論理データを用いて、フィールド・プログラマブル・ゲート・アレイを論理再構成することを特徴とする。
本態様によれば、制御部４４が、ＳＤメモリカード２８から論理データを取得する。制御部４４が、故障検知部４０により論理回路の故障が検知された場合に、データ入力部２６を介して取得した論理データを用いて、フィールド・プログラマブル・ゲート・アレイを論理再構成する。
これにより、論理回路の故障が検知された場合に、論理データを用いて、フィールド・プログラマブル・ゲート・アレイを論理再構成することができる。
【００３７】
＜第３態様＞
本態様のカメラ装置１は、制御部４４を備え、故障検知部４０は、視差演算部３６（画像処理手段）に設けられたバスの任意のビットの値が故障検知用データの転送期間中に常に固定値にならない場合は、論理回路が回復可能な一時的な故障と判定し、バスの任意のビットの値が故障検知用データの転送期間中に常に固定値になる場合は、回復不可能な永続的な故障であると判定し、制御部４４は、論理回路が回復可能な一時的な故障であるときに、論理回路を再構成することを特徴とする。
本態様によれば、故障検知部４０が、視差演算部３６に設けられたバスの任意のビットの値が故障検知用データの転送期間中に常に固定値にならない場合は、論理回路が回復可能な一時的な故障と判定する。一方、故障検知部４０が、バスの任意のビットの値が故障検知用データの転送期間中に常に固定値になる場合は、回復不可能な永続的な故障であると判定する。制御部４４は、論理回路が回復可能な一時的な故障であるときに、論理回路を再構成する。
これにより、論理回路が回復可能な一時的な故障であるときに、論理回路を再構成することができる。
【００３８】
＜第４態様＞
本態様のカメラ装置１は、制御部４４を備え、故障検知部４０は、論理回路の故障が検知された場合に、論理回路に係るリソース部分を故障部分として特定し、制御部４４は、特定された故障部分のみ論理再構成することを特徴とする。
本態様によれば、故障検知部４０は、論理回路の故障が検知された場合に、論理回路に係るリソース部分を故障部分として特定し、制御部４４は、特定された故障部分のみ論理再構成する。
これにより、論理回路の故障が検知された場合に、論理回路に係るリソース部分を故障部分として特定し、故障部分のみ論理再構成することができる。
【００３９】
＜第５態様＞
本態様の制御部４４は、論理回路の論理再構成を行った場合に、論理回路が回復できなかったときに、ＳＤメモリカード２８に圧縮して保存しておいた論理再構成データを論理再構成データ保存領域に展開させて、ＳＤメモリカード２８に係る論理再構成データの書き換えを行い、再度論理回路を再構成することを特徴とする。
本態様によれば、制御部４４は、論理回路の論理再構成を行った場合に、論理回路が回復できなかったときに、ＳＤメモリカード２８に圧縮して保存しておいた論理再構成データを論理再構成データ保存領域に展開させて、ＳＤメモリカード２８に係る論理再構成データの書き換えを行い、再度論理回路を再構成する。
これにより、論理回路の論理再構成を行った場合に、論理回路が回復できなかったときでも、ＳＤメモリカード２８に圧縮して保存しておいた論理再構成データを用いて、再度論理回路を再構成することができる。
【００４０】
＜第６態様＞
本態様の故障検知部４０により検知された故障の有無を表す故障検知結果を表示する表示部６０を更に備えたことを特徴とする。
本態様によれば、表示部６０は、故障検知部４０により検知された故障の有無を表す故障検知結果を表示する。
これにより、故障検知を行った結果をユーザに提示することができる。
【００４１】
＜第７態様＞
本態様の画像処理方法は、画像データに対して、論理回路に係る複数のリソース部分を用いて画像処理を行って生成データを生成する画像処理ステップ（Ｓ１５）と、生成データ内の未使用部に、画像処理に用いたリソース部分を表すタグ番号を埋め込む埋め込みステップ（Ｓ２５）と、複数の故障検知用データの中から、タグ番号に応じた適切な故障検知用データを選択する選択ステップ（Ｓ３０）と、選択ステップにより選択された故障検知用データに対して、画像処理ステップにより生成された生成データと、故障検知用データの期待値データとを比較して、画像処理ステップが故障か否かを検知する故障検知ステップ（Ｓ４０）と、を実行することを特徴とする。
第７態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。
【符号の説明】
【００４２】
１…カメラ装置、１０Ｒ、１０Ｌ…イメージセンサ、２０…基板回路、２２…ＦＰＧＡ、２４…ＤＤＲ部、２６…メモリデータ入力部、２８…ＳＤメモリカード、３０…ＵＳＢ端子、３２…入力制御部、３４…画像処理部、３６…視差演算部、３８…出力制御部、４０…故障検知部、４０ｄ…セレクタ部、４２…ＤＤＲ＿Ｉ／Ｆ部、４４…制御部、５０…パーソナルコンピュータＰＣ、５２…ＵＳＢケーブル、６０…表示部
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平１１−０８８５８５号公報
【図１】
2017092757.tif 000004
【図２】
2017092757.tif 000005
【図３】
2017092757.tif 000006
【図４】
2017092757.tif 000007
【図５】
2017092757.tif 000008
【図６】
2017092757.tif 000009
【図７】
2017092757.tif 000010
【図８】
2017092757.tif 000011
【図９】
2017092757.tif 000012
【図１０】
2017092757.tif 000013