(57)【要約】【課題】動作中に故障検知を可能にする画像処理装置を提供すること。【解決手段】外部から画像を入力し、入力画像データを出力する画像入力手段（撮像素子１０）と、入力画像データに画像処理を行い、処理画像データを出力する画像処理部２１と、予め設定された部分画像データと前記入力画像データとを比較して、一致する前記入力画像データの位置情報を出力するパターンマッチング部２２と、部分画像データに画像処理を行ったときの期待値を予め保持する第１の記憶手段（ＳＤＲＡＭ４０）と、処理画像データを保持する第２の記憶手段（不揮発性メモリ５０）と、第１の記憶手段から読み出した期待値と、第２の記憶手段から読み出した処理画像データの位置情報に対応する処理画像部分データとを比較し、画像処理部２１の故障の有無を判定する故障検知手段と、を備える。【選択図】図１
2018005339.tif 000002
【特許請求の範囲】
【請求項１】
外部から画像を入力し、入力画像データを出力する画像入力手段と、
前記入力画像データに画像処理を行い、処理画像データを出力する画像処理手段と、
予め設定された部分画像データと前記入力画像データとを比較して、一致する前記入力画像データの位置情報を出力するパターンマッチング手段と、
前記部分画像データに前記画像処理を行ったときの期待値を予め保持する第１の記憶手段と、
前記画像処理手段が出力した前記処理画像データを保持する第２の記憶手段と、
前記第１の記憶手段から読み出した前記期待値と、前記第２の記憶手段から読み出した前記処理画像データの前記位置情報に対応する処理画像部分データとを比較し、前記画像処理手段の故障の有無を判定する故障検知手段と、
を備える画像処理装置。
【請求項２】
前記画像入力手段は、動作中モードと動作停止モードとを有し、
前記入力画像データは、前記画像入力手段が動作中モードに入力したデータであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像入力手段は、前記動作中モードに有効画像期間と無効画像期間とが設定され、
前記入力画像データは、前記有効画像期間に入力したデータであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記パターンマッチング手段は、前記部分画像データとして、複数のパターンが、パターン番号と対応づけて設定され、前記複数のパターンのうち、前記処理画像データと一致するパターンのパターン番号と、前記処理画像データの位置情報とを出力することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
画像入力手段から供給される入力画像データに画像処理を行う画像処理装置の故障検知方法であって、
予め設定された部分画像データに前記画像処理を行ったときの期待値を第１の記憶手段に保持し、
前記入力画像データに前記画像処理を行った処理画像データを第２の記憶手段に出力し、
予め設定された部分画像データと前記入力画像データとを比較して、一致する前記入力画像データの位置情報を取得し、
前記第１の記憶手段から読み出した前記期待値と、前記第２の記憶手段から読み出した前記処理画像データの前記位置情報に対応する処理画像部分データとを比較し、前記画像処理手段の故障の有無を判定する画像処理装置の故障検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理装置の故障検知方法に関する。
【背景技術】
【０００２】
乗用車にカメラを付けて、取り込んだ映像から障害物などの物体を認識して自動的にブレーキをかけるといった、運転のアシストを行う車載カメラ装置が既に知られている。そのような車載の装置では、安全性を高めるため、装置の故障を検知する機構が組み込まれている。
【０００３】
しかし、今までの車載カメラ装置の故障検知では、動作開始前や、動作中の無効領域や無効期間にテストを行っており、長期間の連続動作がある車載装置や、動作中の無効領域や無効期間が少ない車載装置では適用できないという問題があった。
例えば、特許文献１には、車載装置の故障を検知する目的で、少ないライン数のテストデータを画像処理装置に入力して処理結果を期待値と比較して故障を検知する技術が開示されている。しかし、特許文献１の車載カメラ装置の故障検知では、動作開始前や、動作中の無効領域や無効期間にテストを行う技術であり、長期間の連続動作がある車載装置や、動作中の無効領域や無効期間が少ない車載装置では適用できないという問題は解消できていない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動作中に故障検知を可能にする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の画像処理装置は、外部から画像を入力し、入力画像データを出力する画像入力手段と、前記入力画像データに画像処理を行い、処理画像データを出力する画像処理手段と、予め設定された部分画像データと前記入力画像データとを比較して、一致する前記入力画像データの位置情報を出力するパターンマッチング手段と、前記部分画像データに前記画像処理を行ったときの期待値を予め保持する第１の記憶手段と、前記画像処理手段が出力した前記処理画像データを保持する第２の記憶手段と、前記第１の記憶手段から読み出した前記期待値と、前記第２の記憶手段から読み出した前記処理画像データの前記位置情報に対応する処理画像部分データとを比較し、前記画像処理手段の故障の有無を判定する故障検知手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動作中に故障検知を可能にする画像処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態の画像処理装置の全体構成について説明する図である。
【図２】一実施形態の画像処理装置の動作フローの一例を説明する図である。
【図３】パターマッチング用のパターンの一例を示す図である。
【図４】入力画像データに対するパターンマッチングの一例を示す図である。
【図５】期待値比較の一例を説明する図である。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載および図面は、適宜、省略または簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。
【０００９】
図１は、一実施形態の画像処理装置の全体構成について説明する図である。
画像処理装置１００は、撮像素子１０、画像処理ＡＳＩＣ（Application Specific Integrated Circuit）２０、ＣＰＵ３０、ＳＤＲＡＭ４０、および不揮発性メモリ５０を備える。
撮像素子１０は、素子に入射される光を画像データに変換して、入力画像データを画像処理ＡＳＩＣ２０に出力する画像入力手段である。
【００１０】
画像処理ＡＳＩＣ２０は、撮像素子１０からの入力画像データを処理する機能を備える装置であり、画像処理部２１、パターンマッチング部２２およびマッチング結果保持部２３を備える。
画像処理部２１は、撮像素子１０からの入力画像データに対して画像処理を行い、処理画像データ（「出力画像データ」とも称する）をＳＤＲＡＭ４０などの揮発性メモリに出力する画像処理手段である。
【００１１】
パターンマッチング部２２は、撮像素子１０からの入力画像データとパターンとを比較し、一致した場合、一致したパターンの番号と入力画像データの座標とをマッチング結果保持部２３に格納するパターンマッチング手段である。
パターンは、故障検知に用いる画像データ（部分画像データ）であり、複数設定されることが好ましい。これは、複数のテストパターンを用いることにより、入力画像中で故障検知に使用できる部分が増加し、故障を検知する確率を上げることができるからである。
パターンマッチング部２２は、予めＣＰＵ３０によって、パターンが設定される。好ましくは、複数のパターンと各パターンを識別するパターン番号とを対応づけて設定される。
座標は、パターンと一致する処理画像データの位置（部分）を特定する位置情報の一例である。位置情報は、処理画像データの各画素を特定可能な情報であればよく、例えば、記号と数値の組み合わせを用いてもよい。
【００１２】
マッチング結果保持部２３は、パターンマッチング部２２が書き込むマッチング結果を一定期間保持するマッチング結果保持手段である。
マッチング結果は、少なくとも位置情報としての座標を含み、パターンマッチング部２２が複数のパターンを用いてパターンマッチングを実施する場合には、パターン番号と座標との組み合わせを含む。
【００１３】
ＳＤＲＡＭ４０は、画像処理部２１が画像処理を行った処理画像データを一定期間保持する第１の記憶手段である。
不揮発性メモリ５０は、パターンマッチング部２２に設定するパターンとその画像処理結果の期待値を保持する第２の記憶手段である。
パターン（部分画像データ）と期待値とは、複数のパターンを識別するパターン番号と対応づけて保持されることが好ましい。
【００１４】
ＣＰＵ３０は、画像処理装置１００の全体制御と故障検知などを行う。本実施形態では、ＣＰＵ３０は、故障検知を行う故障検知手段を実行する。
故障検知手段は、不揮発性メモリ５０から読み出した期待値と、ＳＤＲＡＭ４０から読み出した処理画像データの座標に対応する処理画像部分データ（検査データ）とを比較し、画像処理部２１の故障の有無を判定する機能を実現する。また、故障検知手段は、予めパターンマッチング部２２にパターンを設定する機能を含む。故障検知手段は、例えば、複数の命令群からなるプログラムを用いて構成され、ＣＰＵ３０が、命令群を実行することにより上述した機能を実現する。
【００１５】
以下の説明において、上述した各種の画像データを単に「画像」と記載する場合（例えば、入力画像データを「入力画像」、処理画像データを「処理画像」）もあるが、二つを区別するものではない。
【００１６】
次に、画像処理装置１００の動作例を説明する。
図２は、一実施形態の画像処理装置の動作フローの一例を説明する図である。以下では、部分画像データとして複数のパターンを用いる場合を、図２に示す（ａ）から（ｌ）と対応づけて説明する。
ＣＰＵ３０は、故障検出処理を開始する前に、使用するパターンをパターンマッチング部２２へ設定することを前提とする。
撮像素子１０からの入力画像データは、画像処理ＡＳＩＣ２０の画像処理部２１とパターンマッチング部２２に入力される（ａ、ｂ：入力画像データ供給）。
【００１７】
パターンマッチング部２２は、撮像素子１０からの入力画像データと、設定されたパターンとを比較し、一致した場合には、マッチング結果をマッチング結果保持部２３に出力する（ｃ：マッチング結果格納）。言い換えると、パターンマッチング部２２は、入力画像データを検索して、予め設定された部分画像データと一致する入力画像データの部分を検出し（検査箇所の特定）、検出した部分の座標およびパターン番号をマッチング結果として出力する。
画像処理部２１は、撮像素子１０からの入力画像データに、各種画像処理を行って、画像処理後の画像処理データをＳＤＲＡＭ４０に出力する（ｄ：画像処理データ格納）。
【００１８】
ＣＰＵ３０は、マッチング結果保持部２３からマッチングしたパターン番号と座標とを読み出す（ｅ：マッチング結果読み出し、ｆ：マッチング結果取得）。
ＣＰＵ３０は、マッチング結果保持部２３から読み出した座標に対応する処理画像データの一部分（処理画像部分データ）をＳＤＲＡＭ４０から読み出す（ｇ：処理画像データ読み出し、ｈ：処理画像データ取得）。
ＣＰＵ３０は、マッチング結果保持部２３から読み出したパターン番号に対応する期待値を不揮発性メモリ５０から読み出す（ｉ：期待値読み出し、ｊ：期待値取得）。
【００１９】
ＣＰＵ３０は、ＳＤＲＡＭ４０から読み出した処理画像部分データと不揮発性メモリから読み出した期待値とを比較し（ｋ）、一致しなかった場合、画像処理部２１に故障ありと判定する（ｌ）。
【００２０】
なお、図２において、ｃ：マッチング結果設定と、ｄ：画像処理データ格納とは、平行して実行されてもよく、ＣＰＵ３０が故障検知手段（符号ｅからｌまでの処理）を開始する前に処理が終了していればよい。
【００２１】
図２において、入力画像データは、画像処理装置が動作中に入力される画像のデータである。詳細には、本実施形態では、撮像素子１０は、動作中モードと動作停止モードとを有し、いずれかを設定可能に構成される。動作中モードは、画像処理装置１００が機能するために画像を入力する状態である。また、動作停止モードは、画像処理装置１００が機能を停止している状態であり、例えば、検査用のテストパターンを撮像素子１０に入力可能な状態である。本実施形態では、動作中モードの入力画像データを用いてパターンマッチングを行い、故障を検知する。
従って、本実施形態の故障検知手段は、画像入力手段が長時間連続的に画像を入力する撮像装置を搭載する場合にも適用することができる。これにより、画像処理装置が動作中モードであり、故障検知用のテストパターンを入力するタイミングが無い場合であっても、故障検知を実施することができるという有利な効果を奏する。
【００２２】
加えて、入力画像データは、撮像素子１０が動作中モードの有効画像期間において入力される画像のデータを用いることが可能である。詳細には、撮像素子１０は、動作中モードにおいて、有効画像期間と無効画像期間とが設定可能に構成される。画像処理装置１００は、有効画像期間に入力される入力画像データを処理して利用し、無効画像期間の入力画像データを利用しないことを前提とする。
従って、本実施形態の故障検知手段は、画像間の無効画像期間が短い撮像装置である場合にも適用することができる。これにより、画像処理装置が動作中モードであり、故障検知用のテストパターンを入力するタイミングが無い場合であっても故障検知を実施することができるという有利な効果を奏する。
【００２３】
図３はパターマッチング用のパターンの一例である。パターンは画像処理部２１で行う画像処理のアルゴリズムに応じて決定する。
例えば、画像処理部２１で画像中のエッジを検出するアルゴリズムが採用されている場合、撮像素子１０からの入力画像データ中のエッジが含まれる部分を故障検知に使うことが好ましい。図３は、縦、横、斜めのエッジが含まれる部分にマッチするようなパターンの一例である。３×３の画素の中央が注目画素（検査対象画素）になる。Ａ〜ＨとＩ〜Ｐは、画像の輝度が異なるパターンになっている。
【００２４】
図４は、入力画像データに対するパターンマッチングの一例である。
図３のＡ〜Ｐのパターンに対して、入力画像データと一致する部分を数箇所例示している。図４のような入力画像データが左上から右下に向かってパターンマッチング部２２へ入力されていった時、左上には、パターンＢにマッチする部分があり、注目画素の座標はｘ＝７，ｙ＝３である。また、右上にはパターンＡにマッチする部分があり、注目画素の座標はｘ＝５９，ｙ＝３である。パターンマッチング部２３は、このパターン番号と座標とをマッチング結果保持部２３に保存する。
【００２５】
図５はＣＰＵ３０における期待値比較の一例である。ＣＰＵ３０は、故障検知手段の命令群により、以下の処理を画像処理装置に実行させる。
ＣＰＵ３０は、まず、マッチング結果保持部２３から、マッチングしたパターン番号（ｎｏ）、ｘ座標およびｙ座標を読み出す。図では、パターン番号Ｂ、ｘ座標８、ｙ座標３を読み出す。
次に、ＣＰＵ３０は、マッチング結果保持部２３から読み出したパターン番号に対応する期待値を不揮発性メモリ５０から読み出す。図では、パターン番号Ｂに対応する期待値５０を読み出す。
次に、ＣＰＵ３０は、マッチング結果保持部２３から読み出した座標に対応する画像処理部２１の処理画像データをＳＤＲＡＭ４０から読み出す。図では、処理画像データのｘ座標８、ｙ座標３に対応する処理画像部分データ５０を読み出す。
【００２６】
次に、ＣＰＵ３０は、不揮発性メモリ５０から読み出した期待値とＳＤＲＡＭ４０から読み出した処理画像部分データとを比較して故障の有無を判定する。図では、期待値が５０、処理画像部分データも５０で一致するため、故障なしと判定する。処理画像部分データが５０以外だった場合は、期待値と不一致となるため、故障ありと判定する。
【００２７】
なお、上述した実施形態において、パターンマッチング部２２は、予め（例えば、故障検知開始前、画像処理装置の動作開始前）に設定されるパターン（部分画像データ）を保持する記憶領域を有する。記憶領域は、パターンマッチング部２２が参照可能に配置され、パターンマッチング部２２内、または画像処理ＡＳＩＣ２０内に配置されることが好ましい。
また、ＣＰＵ３０が故障検知手段の命令群を実行することにより、パターンマッチング部２２にパターンの部分画像を設定する場合を説明したが、これに限られることはない。
パターンマッチング部２２は、予めパターンを保持するように構成されていてもよい。例えば、不揮発性メモリ５０に期待値を書き込むタイミングに、パターンマッチング部２２が参照可能な記憶領域にパターンを書き込んでも良い。
さらに、パターンマッチング部２２は、外部からテストパターンを記憶領域に設定可能に構成されていてもよい。例えば、パターンマッチング部２２は、画像処理装置１００の動作開始前にパターンが書き込まれ、動作開始後、故障検知手段に支障がない範囲で、外部からパターンを書き換え可能に構成されることが好ましい。
【００２８】
以上のように、本発明に係る好適な実施形態では、車載装置が動作中に撮像素子から入力される入力画像データに対してパターンマッチングを行い、一致する画像パターンが見つかった場合、該当したパターン番号と一致した入力画像データの座標を出力するように構成される。画像処理装置は、パターンに対する画像処理結果の期待値と、実際の装置の画像処理結果とを比較して、一致しなかった場合、装置の故障と判定する。
このように、一実施形態の画像処理装置は、故障検知用のテストパターンを用いることなく、動作中の入力画像データを用いて故障検知を実施可能に構成される。これにより、画像処理装置、例えば、車載装置などの安全性が要求される装置が動作中であっても、故障を検知することができる。特に、長期間の連続動作がある車載装置や、動作中の無効領域や無効期間が少ない車載装置で持続的な動作中の故障検知を可能にするという有利な効果を奏することができる。
【００２９】
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【００３０】
１０  撮像素子
２０  画像処理ＡＳＩＣ
２１  画像処理部
２２  パターンマッチング部
２３  マッチング結果保持部
３０  ＣＰＵ
４０  ＳＤＲＡＭ
５０  不揮発性メモリ
１００  画像処理装置
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】特開２００８−１９０８６８号公報
【図１】
2018005339.tif 000003
【図２】
2018005339.tif 000004
【図３】
2018005339.tif 000005
【図４】
2018005339.tif 000006
【図５】
2018005339.tif 000007