(57)【要約】【課題】  画像に含まれるノイズを評価することによって、特別な構成を加えることなく簡単な構成で画像及びカメラの評価を行う。【解決手段】  カメラで撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、ノイズ度合いが所定のしきい値以上である画像領域を検出（ステップＳ３，４）。そして、当該画像領域におけるノイズ検出回数を加算し（ステップＳ５）、ノイズ検出回数が所定値以上である画像領域が、当該画像内位置における信頼性が低いノイズであると判定し（ステップＳ６）、ステップＳ１〜Ｓ６を時間的に連続して撮像された複数の画像のそれぞれについて行う。これにより、複数の画像に亘って計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出し（ステップＳ７）、当該ノイズの画像内位置に基づいてカメラの性能又は画像の評価を行う（ステップＳ８）。【選択図】      図２
2006314061.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、当該ノイズ度合いが所定のしきい値以上であるかを判定するノイズ判定手段と、
前記ノイズ度合いが所定のしきい値以上であると判定された画像領域におけるノイズ検出回数を加算する計数手段と、
前記計数手段により計数されたノイズ検出回数が所定値以上である画像領域が、当該画像内位置において信頼性が低いノイズであると判定するノイズ位置判定手段と、
前記ノイズ位置判定手段により判定されたノイズの画像内位置に基づいて、前記撮像手段の性能又は当該撮像手段で撮像された画像の評価を行う評価手段とを備え、
時間的に連続して撮像された複数の画像のそれぞれについて、前記ノイズ判定手段によりノイズ度合いを判定し、当該ノイズ度合いがしきい値以上である画像領域ごとにノイズ検出回数を前記計数手段により計数して、前記ノイズ位置判定手段は、前記複数の画像に亘って計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出し、当該ノイズの画像内位置に基づいて前記評価手段により前記撮像手段の性能又は画像の評価を行うことを特徴とする画像処理装置。
【請求項２】
前記ノイズ位置検出手段は、時間的に連続する画像内のノイズの動きを判定し、当該ノイズの動きが所定の動きのノイズが存在した場合に、当該ノイズを、ノイズではないと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価手段は、前記計数手段により計数したノイズ検出回数のうち所定割合以上でノイズと判定された画素を判定し、当該画素の数又は全画素に対する割合に応じて前記撮像手段の性能又は当該撮像された画像の評価を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記評価手段は、前記撮像手段の性能又は画像の評価が低い場合に、前記撮像手段で撮像された画像を利用した装置の性能が低くなっていることを判定し、
当該前記撮像手段で撮像された画像を利用した装置の停止命令の出力、又は、前記撮像手段の異常の通知をする出力手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮像手段で撮像された画像を利用した装置の種類に応じて、前記ノイズ位置判定手段によるノイズの画像内位置を検出するタイミング、又は、前記評価手段により前記撮像手段の性能又は画像の評価を行うタイミングを制御するタイミング制御手段を更に備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記ノイズ位置検出手段は、前記ノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を、複数の画素からなるノイズ領域として判定し、
前記評価手段は、前記ノイズ領域の位置、大きさ又は総面積に応じて、前記撮像手段の性能又は前記撮像手段で撮像された画像を利用した装置の性能を判定すること
を特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記ノイズ判定手段は、画像に含まれる画像領域ごとに、前記撮像手段で撮像された画像を利用した装置に影響を及ぼす形状のノイズを検出し、前記撮像手段で撮像された画像を利用した装置に影響を及ぼすか否かを判定するしきい値以上であるかというノイズ度合いを判定し、検出するノイズの形状及びしきい値を、前記撮像手段で撮像された画像を利用した装置によって変化させることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記撮像手段で撮像された画像を利用した装置が複数種類の処理を行うものであり、
前記評価手段は、前記ノイズ位置検出手段で検出されたノイズの位置又は面積に応じて、前記撮像手段で撮像された画像を利用した装置が行う処理ごとに性能を評価することを特徴とする請求項４に記載の画像処理装置。
【請求項９】
撮像手段で撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定するステップと、
前記ノイズ度合いが所定のしきい値以上である画像領域を検出し、当該画像領域におけるノイズ検出回数を加算するステップと、
前記撮像手段で撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、当該ノイズ度合いが所定のしきい値以上であるかを判定するステップと、
前記ノイズ度合いが所定のしきい値以上であると判定された画像領域におけるノイズ検出回数を加算するステップとを有し、
前記ノイズ検出回数が所定値以上である画像領域が、当該画像内位置における信頼性が低いノイズであると判定するステップとを、時間的に連続して撮像された複数の画像のそれぞれについて繰り返して行った後に、
前記複数の画像に亘って計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出するステップと、
当該ノイズの画像内位置に基づいて前記評価手段により前記撮像手段の性能又は画像の評価を行うステップと
を有することを特徴とするノイズ判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両に搭載されたカメラによって撮像された画像に含まれるノイズを除去する画像処理装置及びノイズ判定方法に関する。
【背景技術】
【０００２】
従来より、赤外線カメラで撮像した赤外画像に含まれるノイズを除去する技術としては、下記の特許文献１に記載された技術が知られている。
【０００３】
この特許文献１によれば、監視装置における画像認識精度を向上させるために赤外画像に含まれるノイズを除去して、簡易な赤外線カメラや安価な構成の赤外線カメラを使用できるようにしている。具体的には、赤外線カメラが撮像した映像処理において、カメラ視野内の温度分布を示す赤外画像を所定時間ごとに取得して、当該所定時間ごとの赤外画像間で差分演算を行い、所定以上の時間的な温度変化を示す画素をノイズとして判定し、当該ノイズの画素位置での検出結果を判定から除外している。
【０００４】
また、従来より、カメラ性能そのものや、カメラを利用した装置を評価する技術としては、下記の特許文献２に記載されているように、インターネットなどの通信を利用して評価したいサンプル画像を送信し、当該サンプル画像の評価側によって、サンプル画像を撮像したとき画像の質を評価するものが知られている。
【特許文献１】特開平５−２０５５８号公報
【特許文献２】特開２００２−１９７４５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載された技術では、時間的な画素値の変化を観測することに基づいた差分演算によってノイズの判定を行っているため、時間的に画素値が変化しない固定的なノイズを判定できないという問題がある。
【０００６】
また、特許文献１に記載された技術では、建物に取り付けた定置型の監視カメラを用いて、移動物体を検出することを前提としているため、例えば車載カメラのように赤外線カメラが動く場合には撮像する物体も常に移動していることになる。したがって、特許文献１に記載されたように時間的な画素値の変化からノイズを判定する技術は、車載カメラで撮像した映像のノイズを除去することができない。
【０００７】
また、特許文献２に記載された技術では、サンプル画像を指標とするため、当該サンプルと同じ画像を撮像した場合の評価を行うことができるものの、カメラをある装置に設置した後の不具合の調査など、カメラの装置設置後にカメラ本体及び画素に不具合を生じた場合には、当該カメラが設置された装置によって画像処理が行われている可能性があり、評価を行うことができないという問題がある。また、特許文献２では、サンプル画像として、あらゆる状況が想定される動画像を評価することもできないという問題点がある。
【０００８】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、画像に含まれるノイズを評価することによって、特別な構成を加えることなく簡単な構成で画像及びカメラの評価を行うことができる画像処理装置及びノイズ判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像手段で撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、ノイズ度合いが所定のしきい値以上である画像領域を検出し、当該画像領域におけるノイズ検出回数を加算し、ノイズ検出回数が所定値以上である画像領域が、当該画像内位置における信頼性が低いノイズであると判定する処理を、時間的に連続して撮像された複数の画像のそれぞれについて行う。これにより、複数の画像に亘って計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出し、当該ノイズの画像内位置に基づいて撮像手段の性能又は画像の評価を行う。
【発明の効果】
【００１０】
本発明によれば、複数の画像に亘って計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出して、撮像手段の性能又は画像の評価を行うので、撮像手段にとって固定的な位置に現れるノイズを検出して、当該画像に含まれるノイズを評価することによって、特別な構成を加えることなく簡単な構成で画像及びカメラの評価を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
［第１実施形態］
本発明は、例えば図１に示すように、遠赤外線カメラ１０（撮像手段）によって撮像された熱画像である赤外画像を用いて、周囲の人物等の障害物を検出する処理や、当該障害物の種類を識別する処理等を行う画像処理装置２０に適用される。この画像処理装置２０は、図２にノイズ判定処理の内容を示すように、遠赤外線カメラ１０で撮像した赤外画像に現れるノイズを判定することによって、画像処理装置２０に接続された遠赤外線カメラ１０そのものの性能評価や、遠赤外線カメラ１０を利用した装置として物体検出処理又は画像認識処理を行う画像処理チップの性能評価を行うものである。
【００１３】
なお、以下では、遠赤外線カメラ１０及び画像処理装置２０が車両に搭載され、自車両１の進行方向である前方が撮像範囲とされた場合について説明しているが、これに限らず、カメラによって画像を撮像して、当該画像に含まれるノイズを除去するものであれば、あらゆる用途に適用可能である。
【００１４】
遠赤外線カメラ１０は、例えば車両のインストルメントパネルや、室内ミラー付近に設けられ、車両の前方を撮像範囲としており、検出対象又は認識対象とする物体位置が撮像される位置・姿勢で取り付けられている。この遠赤外線カメラ１０は、物体の温度値が高い部分ほど、高い輝度値となる赤外画像データを生成して、画像処理装置２０に出力する。したがって、赤外画像データの画素値（輝度値）は、車両前方に存在する物体の温度に相当する値となる。
【００１５】
なお、図１（ａ）は、自車両１を側方から見た場合の遠赤外線カメラ１０の光軸を示し、図１（ｂ）は、自車両１を上方から見た場合の遠赤外線カメラ１０の光軸及び基準座標系を示している。この座標系は、横軸をＸ、縦軸をＹとし、左上画素を原点として画像内の画素位置を示す座標を求めることが可能となっている。
【００１６】
図３，図４は、道路に存在する人物を検出対象とし、路上歩行者を撮像するよう取り付けられたカメラの設置とそのカメラから撮像される画像を示す一例であり、通常のＣＣＤやＣＭＯＳのカメラを用いた場合に撮像される輝度画像（図３（ｂ）、図４（ｂ））と、遠赤外線カメラ１０を用いた場合に撮像される赤外画像（図３（ｃ）、図４（ｃ））を示している。
【００１７】
画像処理装置２０で入力する画像は、図３（ａ）にカメラと自車両１前方に存在する人物との位置関係を横から見た様子を示すように、図３（ｂ）に示すような輝度画像、図３（ｃ）に示すような環境温度及び障害物温度に応じた画素値の赤外画像となる。赤外画像を例に挙げて説明すると、撮像された人物が、赤外画像内Ｙ方向における座標ｙｄに現れる。この場合、画像処理装置２０は、遠赤外線カメラ１０の取り付け高さＨ、カメラレンズ１０ａの位置と撮像面１０ｂの位置との距離である焦点距離ｆが既知であるので、座標ｙｄと遠赤外線カメラ１０の取付高さＨ、焦点距離ｆとから、遠赤外線カメラ１０から人物までの距離を求めることができる。
【００１８】
また、画像処理装置２０で入力する画像は、図４（ａ）にカメラと自車両１前方に存在する人物との位置関係を上から見た様子を示すように、図４（ｂ）に示すような輝度画像、図４（ｃ）に示すような環境温度及び障害物温度に応じた画素値の赤外画像となる。この場合、画像処理装置２０は、人物がカメラレンズ１０ａからの前方距離ｚに存在し、光軸からの距離がＸＳである位置の点Ｐは、図４（ｃ）に示すように赤外画像上における座標ｘｃとして現れる。
【００１９】
画像処理装置２０は、図２に示すようなステップＳ１〜ステップＳ８に示すようなノイズ判定処理を行うための構成として、遠赤外線カメラ１０からの赤外画像データを入力する入力Ｉ／Ｆ、画像メモリ、及び後述の各種処理の内容を記述したプログラム、当該プログラムを実行するＣＰＵ（Central Processing Unit）等からなる。
【００２０】
すなわち、この画像処理装置２０は、ステップＳ１で遠赤外線カメラ１０からの赤外画像データを入力する入力Ｉ／Ｆ、ステップＳ２において赤外画像データを記憶する画像メモリ、ステップＳ３において赤外画像のノイズを判定し、当該ノイズ度合いを判定するノイズ判定部、ステップＳ５において赤外画像の一部分を示す画像領域ごとにノイズ検出回数をカウントしてノイズ判定用メモリに記憶させる計数部、ステップＳ７においてノイズ判定用メモリの内容を参照してノイズ位置・ノイズ領域を判定するノイズ位置・ノイズ領域判定部、ステップＳ８においてノイズ位置・ノイズ領域判定部の内容に基づき、カメラや遠赤外線カメラ１０内部の撮像素子、遠赤外線カメラ１０本体、遠赤外線カメラ１０で撮像した画像、又は遠赤外線カメラ１０で撮像された赤外画像を利用した物体検出処理、画像認識装置の信頼性を判定するカメラ・装置性能判定部と、ステップＳ９において当該画像処理装置２０本体、及び画像処理チップ性能の評価結果を出力する出力Ｉ／Ｆを備える。
【００２１】
このような画像処理装置２０は、先ず入力Ｉ／Ｆにより、遠赤外線カメラ１０からの赤外画像データを入力すると（ステップＳ１）、当該赤外画像データを画像メモリに保存する（ステップＳ２）。このとき、遠赤外線カメラ１０を車両の所定位置に設置し、画像メモリに図３（ｃ）、図４（ｃ）に示したような赤外画像を所定の分解能で保存し、後段の処理で使用できるようにする。また、この赤外画像データは、所定時間ごとに生成されて画像メモリに記憶させることになるが、新たな赤外画像が撮像された場合には画像メモリの内容を書き換えることになる。
【００２２】
次のステップＳ３におけるノイズ判定処理では、ステップＳ２で記憶させた赤外画像に対して所定の処理を施して、赤外画像を構成する各画素がノイズであるかどうかを判定して、各画素についてのノイズ可能性を判定する。このとき、画像処理装置２０は、図５（ａ）に示すような赤外画像が画像メモリに入力された場合に、当該赤外画像内略中央部分に出現したノイズのノイズ可能性を判定するために、例えば図５（ｂ）、図５（ｄ）に示すような縦３画素×横３画素程度のノイズを検出しやすいフィルタを使用する。ここで、画像処理装置２０は、赤外画像内に出現するノイズの典型形状を示す小画像として予め作成されており、赤外画像に出現するノイズの種類ごとに一又は複数のフィルタを用意しておく。本例では、赤外画像に出現する矩形状に連続したノイズを検出するために、図５（ｂ）に示すような４種の矩形ノイズ検出用フィルタを用意しておき、更に、赤外画像に出現する孤立したノイズを検出するために、図５（ｄ）に示すような２種の孤立点ノイズ検出用フィルタを用意している。そして、画像処理装置２０は、赤外画像の全体に亘って、各縦３画素×横３画素領域とフィルタとの一致度を求める処理を行う。
【００２３】
この一致度を求める処理は、例えば、縦３画素×横３画素のフィルタと、赤外画像上の縦３画素×横３画素部分の画素値との差分を算出する処理や、フィルタと赤外画像との類似度を求めて正規化する正規化相関処理が挙げられる。画像処理装置２０は、例えば差分を算出する処理において、ある画像領域とフィルタとの差分が所定の値より小さい場合には、当該画像領域の一致度が高いと判定する。また、画像処理装置２０は、正規化相関処理において、ある画像領域とフィルタとの相関値が１（最大値）に近い所定値より大きい場合には、当該画像領域の一致度が高いと判定する。なお、差分演算処理や正規化相関処理に限らず、画像によって適した一致度の算出手法がある場合は当該手法を適用してもよい。
【００２４】
また、このノイズ判定処理において、孤立点としてのノイズを検出する場合には、孤立点ノイズ検出用フィルタを使用し、矩形状のノイズを検出する場合には、矩形ノイズ検出用フィルタを使用しても良い。すなわち、ノイズ検出用フィルタの選択は、後段の物体検出処理又は画像認識処理で問題となる可能性があるノイズによって行われる。
【００２５】
次のステップＳ４におけるノイズ度合い判定処理は、ステップＳ３におけるノイズ判定処理で求めた一致度である判定結果が、ある所定のしきい値以上であるか否かを判定してノイズ度合い判定する処理である。このノイズ度合い判定処理は、ノイズ判定用メモリに格納されているカウンタ値（ノイズ検出回数）を加算すべきかどうかを基準としたしきい値を設けておき、当該所定のしきい値と一致度との比較により、一致度が高いほどノイズ度合いが高いものと判定する。
【００２６】
例えばステップＳ３において差分演算処理を行った場合には、フィルタとの差分がしきい値よりも小さく一致度が高い画像領域をノイズ度合いが高いものと判定する。また、ステップＳ３において正規化相関処理を行った場合には、フィルタとの相関値がしきい値よりも高く一致度が高い画像領域をノイズ度合いが高いものと判定する。ここで、差分演算処理に対するしきい値、正規化相関処理に対するしきい値は、経験的な値で設定すれば良く、また、第２実施形態以降で後述するが、入力した赤外画像を用いた物体認識処理や物体検出処理で検出対象としたい特徴を持つノイズを発見できるようにすることを基準として設定されていてもよい。
【００２７】
次のステップＳ５におけるノイズ判定用メモリ加算処理は、ステップＳ４においてノイズ度合いが高いと判定された画像領域と対応するノイズ判定用メモリのカウンタ値であるノイズ検出回数をインクリメントする。このノイズ判定用メモリは、画像メモリ内に保存されている赤外画像のうちノイズ可能性が高いと判定された画像内位置を画素単位でカウントアップするためのメモリである。
【００２８】
このノイズ判定用メモリは、ステップＳ２で赤外画像を記憶させる画像メモリと同じ解像度のメモリを用意する。例えば、縦３２０画素×横２４０画素の赤外画像を入力する場合、ノイズ判定用メモリを縦３２０画素×横２４０画素の配列構造のものとする。このノイズ判定用メモリは、まずは、遠赤外線カメラ１０の立ち上げ時やカウントを開始する時点において、全ての内容がクリアされ、全ての画素に対応する位置の値が「０」とされる。その後、ステップＳ５においてノイズと判定された赤外画像の画素に対応する位置の画素の値がカウントアップされる。
【００２９】
なお、画素単位ではなく、所定の画像領域ごとにノイズ位置を特定させる場合には、このノイズ判定用メモリとして、赤外画像と同じ分解能ではなく、縦方向又は横方向の１辺が半分などに対応する大きさであっても良い。その場合、カウントアップのノイズ判定用メモリ内の位置は、画像メモリの１辺の画素数とノイズ判定用メモリ１辺のスケーリングにより対応する位置となる。例えば、ノイズ判定用メモリの１辺を、赤外画像の解像度の半分の大きさとし、画素の位置（１００、１００）がノイズと判定された場合、ノイズ判定用メモリの位置（５０、５０）＝（１００／２、１００／２）をカウントアップすればよい。
【００３０】
具体的には、図５（ｂ）に示す矩形ノイズ検出用フィルタを使用して図５（ａ）に示す赤外画像に対してノイズ判定処理を行うことにより、図５（ｃ）に示すようなノイズを検出でき、図５（ｄ）に示す孤立点ノイズ検出用フィルタを使用して図５（ａ）に示す赤外画像に対してノイズ判定処理を行うことにより、図５（ｅ）に示すようなノイズを検出できる。この図５（ｃ）、図５（ｅ）では、ノイズ度合い判定処理において、ノイズ判定処理で求めた一致度がしきい値より高いと判定された画素を白画素で表している。
【００３１】
このように赤外画像からノイズを検知する処理において、ノイズ判定処理は、図６に示すように、ＸＹ座標系における赤外画像に対して、図７（ａ）で示す矩形ノイズ検出用フィルタを使用し、図６（ａ）に示す赤外画像の中心画素位置（ｘＡ、ｙＡ）とした領域Ａと矩形ノイズ検出用フィルタとを比較した場合、図７（ｂ）のように一致度が低くなる。また、図６（ａ）に示す赤外画像の中心画素位置（ｘＢ、ｙＢ）とした領域Ｂと矩形ノイズ検出用フィルタを比較した場合、図７（ｃ）に示すように一致度が高くなる。なお、図６においては、説明の簡単のため赤外画像及びノイズ判定用メモリを粗い画像で示している。
【００３２】
そして、ノイズ判定処理において、赤外画像の全画素について中心画素位置をずらしながら矩形ノイズ検出用フィルタとの比較を行って一致度を求めて、ノイズ度合い判定処理において、しきい値との比較を行う。このようにノイズ判定処理、ノイズ度合い判定処理を行うことにより、図７に示す１種類の矩形ノイズ検出用フィルタで一致度が高いと判定された画素（ｘＢ、ｙＢ）のみでノイズと判定できた場合には、図６（ｂ）に示すように、赤外画像（ｘＢ、ｙＢ）に対応するノイズ判定用メモリのカウンタ値をカウントアップする。一方、画素（ｘＡ、ｙＡ）では一致度が低いと判定されているので、当該画素（ｘＡ、ｙＡ）に対応した図６（ｂ）のノイズ判定用メモリのカウンタ値はそのままにしておく。
【００３３】
このノイズ判定処理及びノイズ度合い判定処理は、図５（ｂ）に示した４種の矩形ノイズ検出用フィルタのそれぞれについて行い、何れかの矩形ノイズ検出用フィルタによって求められた一致度がしきい値よりも高いと判定された場合に、当該一致度が求められた赤外画像の中心画素に対応したノイズ判定用メモリのカウンタ値をカウントアップすると、図５（ｃ）に示すように、ノイズ位置を示すノイズ判定用メモリのカウンタ値を設定することができる。また、ノイズ判定処理及びノイズ度合い判定処理は、図５（ｄ）に示した２種の孤立点ノイズ検出用フィルタのそれぞれについて行い、何れかの孤立点ノイズ検出用フィルタによって求められた一致度がしきい値よりも高いと判定された場合に、当該一致度が求められた赤外画像の中心画素に対応したノイズ判定用メモリのカウンタ値をカウントアップすると、図５（ｅ）に示すように、ノイズ位置を示すノイズ判定用メモリのカウンタ値を設定することができる。
【００３４】
更に、ノイズ判定処理及びノイズ度合い判定処理において、矩形ノイズ検出用フィルタ及び孤立点ノイズ検出用フィルタの両方によってノイズを検出して、アンド処理によって両方のノイズが検出された位置のみのノイズ判定用メモリのカウンタ値をカウントアップしても良い。すなわち、図５（ｃ）のようなノイズ判定用メモリのカウント値と、図５（ｅ）のようなノイズ判定用メモリのカウント値とを足し合わせたカウンタ値をノイズ判定用メモリの内容としても良い。
【００３５】
このようにステップＳ６において、ノイズ判定用メモリの各画素のカウンタ値がインクリメントされ、画像処理装置２０は、ステップＳ７において、ステップＳ６で更新されたノイズ判定用メモリの内容から、後段の物体検出処理や画像認識処理で使用される画素データとしての信頼性が低いノイズ位置又はノイズ領域を判定する。
【００３６】
このノイズ位置・ノイズ領域判定処理は、上述のステップＳ１〜ステップＳ６の処理が複数回に亘って行われた後に行われる。すなわち、所定時間ごとに連続して遠赤外線カメラ１０で撮像された赤外画像ごとにステップＳ１〜ステップＳ６の処理を行って、ノイズ判定用メモリのカウンタ値を複数回に亘って更新し、当該ノイズ判定用メモリを参照してノイズ位置・ノイズ領域判定処理が開始される。
【００３７】
そして、１回目にステップＳ１〜ステップＳ６の処理で図８（ａ）に示すような結果が得られ、複数回に亘ってステップＳ１〜ステップＳ６の処理が行われて、図８（ｂ）に示すように、最もカウンタ値が高いノイズ判定用メモリ内の画素の輝度値が最も高く、カウンタ値が低くなるほどノイズ判定用メモリ内の画素の輝度値を低くした結果を得ることができる。ここで、図８（ｂ）は、最もカウンタの値が高い値を最高輝度値として輝度を正規化表示した画像である。例えば、カウンタ値の最高値が８であれば、カウンタ値が４の位置の輝度値を最高輝度値の半分とし、カウンタ値が２の位置の輝度値を最高輝度値の４分の１とする。
【００３８】
図８（ａ）から分かるように、１回のみステップＳ１〜ステップＳ６の処理を行った結果は、偶発的に発生したノイズや実際の物体位置にてカウントアップされている。これに対し、遠赤外線カメラ１０位置と物体位置とが相対的に移動したり、ランダムノイズである場合には、当該ノイズに相当するカウンタ値が毎回のステップＳ１〜ステップＳ６ではカウントアップされないので、予め設定したステップＳ１〜ステップＳ６の実行回数と比較して低いカウンタ値となる。
【００３９】
一方、遠赤外線カメラ１０特有のノイズの現れやすい位置や低感度になっているなどの固定ノイズや、原因がはっきりしているノイズは、周期的又は毎回にノイズとなって赤外画像に出現する。このようなノイズが現れる画素は、ステップＳ１〜ステップＳ６の毎回の処理でノイズ判定用メモリのカウンタ値がカウントアップされるため、図８（ｂ）の赤外画像の略中心にあらわれる３点のノイズのように輝度値が周囲の物体等に比べて高くなる。
【００４０】
したがって、ステップＳ７においては、ステップＳ１〜ステップＳ６の処理を複数回実行された後のノイズ判定用メモリを参照して、ノイズ判定用メモリのうち、所定のしきい値よりも高いカウンタ値（輝度値）となっているノイズ判定用メモリ内位置を求めることにより、固定ノイズの赤外画像内位置を求める。具体的には、図８（ｂ）において、特にカウンタ値が高くなっているために輝度値が高くなっている座標（ｘＮＡ、ｙＮＡ）、（ｘＮＢ、ｙＮＢ）、（ｘＮＣ、ｙＮＣ）の３点がノイズ位置として検出できる。ここで、カウンタ値と比較される所定のしきい値は、ステップＳ１〜ステップＳ６の実行回数に対して所定の割合以上で現れる固定ノイズのみが検出できる値であり、ステップＳ１〜ステップＳ６の実行回数との兼ね合い、経験値によって予め設定される。
【００４１】
また、図８（ｃ）に示すように、ノイズ判定用メモリのカウンタ値が高くなっている位置が１点ごとに離散しておらず、複数の領域に集中してノイズが検出された場合、このステップＳ７においては、複数のノイズが集中した領域を特定しても良い。このようにノイズ領域を特定するために、例えば、しきい値以上のカウンタ値となったノイズ間の距離が数画素レベルの所定距離内であるものをグループ化し、当該グループ化したノイズのうち最小ｘ座標、最大ｘ座標、最小ｙ座標、最大ｙ座標を求める。そして、当該最小ｘ座標、最大ｘ座標、最小ｙ座標、最大ｙ座標を頂点する四角形領域を、ノイズ領域として特定することによって、図８（ｄ）に示すように、２個のノイズ領域を特定できる。また、ステップＳ７において、例えば、四角形でノイズ領域を赤外画像上で定義する場合には、各四角形の始点座標（（ｘＮＡ、ｙＮＡ）又は（ｘＮＢ、ｙＮＢ））と、その縦幅、横幅（（ｘｗＮＡ、ｙｗＮＡ）、（ｘｗＮＢ、ｙｗＮＢ））を示す情報を作成する。
【００４２】
そして、このステップＳ７で判定されたノイズの座標データ又はノイズ領域を示すノイズ判定用メモリの内容は、ステップＳ８において、遠赤外線カメラ１０そのものの評価及び画像の評価に使用される。このステップＳ８において、例えば遠赤外線カメラ１０の性能を評価する場合、ノイズ判定メモリの内容から、ノイズと判定される点又は領域が画像全体の３０〜５０％以上を占めた場合、又は、所定の個数以上の画素がノイズと判定された場合に、遠赤外線カメラ１０自体の性能が良好ではないと判定する。ここで、遠赤外線カメラ１０の性能が良好ではないと判定するためのノイズの割合又は個数に対するしきい値は、一般的な遠赤外線カメラ１０の性能要件を基準値として予め設定しておく。
【００４３】
また、このステップＳ８で物体検出処理又は画像認識処理を行う装置を評価するときには、物体検出処理又は画像認識処理に影響を及ぼす程度のノイズ個数や、物体検出処理又は画像認識処理の対象となる物体が撮像される重要な位置に多くのノイズが観測されたときに、物体検出処理又は画像認識処理の性能が低下していることを判定する。
【００４４】
次のステップＳ９において、ステップＳ８で求めた遠赤外線カメラ１０そのもの評価情報及び画像の評価情報を例えば図示しない評価内容の表示装置や解析装置等に送信させる。
【００４５】
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した画像処理装置２０によれば、遠赤外線カメラ１０で撮像された赤外画像と矩形ノイズ検出用フィルタや孤立点ノイズ検出用フィルタとの一致度を検出する所定の画像処理を行ってノイズ度合いを判定して、ノイズ度合いがしきい値以上である画像内位置のノイズ判定用メモリのカウンタ値をカウントアップする処理を複数回に亘って実行する。これにより、赤外画像において固定的に出現するノイズ位置のカウンタ値のみを高くする結果を得ることができ、これを利用して、遠赤外線カメラ１０本体や、物体検出処理又は画像認識処理等を行う遠赤外線カメラ１０を利用した装置の性能を判定することができる。
【００４６】
したがって、この画像処理装置２０によれば、遠赤外線カメラ１０の性能低下を評価することによって、遠赤外線カメラ１０等の交換時期を通知することができる。また、物体検出処理又は画像認識処理の性能低下を評価することによって、例えば道路環境の画像認識処理に対して、悪天候のために画像認識処理の性能が低下していることなどを通知することができる。
【００４７】
また、この画像処理装置２０によれば、ステップＳ１〜ステップＳ７のノイズ判定処理を、遠赤外線カメラ１０自体及び物体検出処理又は画像認識処理に対するフェールセーフ機能として活用することができる。これにより、遠赤外線カメラ１０自体や遠赤外線カメラ１０を利用した装置を実際の商品として普及させる場合に重要となるフェールセーフ機能を非常に単純な構成で、かつ、単純な演算で行うことができる。
【００４８】
更に、例えば工場の部品検査、屋外の監視カメラ、車載用の周囲認識用の画像処理装置において、実際の装置を構成した後であっても、カメラ前面にゴミが付着した場合や、カメラ内部の撮像素子に不能画素や低感度画素が多く存在又は増えた場合など、カメラで撮像した画像のノイズが多くなり、カメラが正常な画像を撮像できなくなったなどの不具合を、特別な装置を加えることなく、ステップＳ１〜ステップＳ７の処理のみによって検出して、通知することができる。
【００４９】
ここで、物体検出処理又は画像認識処理を行う装置は、通常、物体検出処理又は画像認識処理を行うための構成として、ステップＳ３やステップＳ４のノイズ判定に近い演算システムを備えている場合が多く、これを利用して、単純なノイズの演算及びノイズ判定用メモリを追加するのみでノイズ判定を実現できる。したがって、物体検出処理又は画像認識処理を行う装置に対して新たな装置を追加することなく、更には物体検出処理又は画像認識処理の演算時間が増えるということなく、カメラ及びカメラを利用した装置に対するフェールセーフ機能を持たせることができる。
【００５０】
［第２実施形態］
つぎに、第２実施形態に係る画像処理装置２０について説明する。なお、上述の第１実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【００５１】
第２実施形態に係る画像処理装置２０は、ノイズ判定用メモリの内容からノイズ位置又はノイズ領域を判定した後、当該ノイズ位置又はノイズ領域を撮像した画素の動きを判定して、当該ノイズのうち、所定の動きを有するものをノイズではないと判定することを特徴とするものである。
【００５２】
ここで、上述のステップＳ１〜ステップＳ６の処理を行い、ステップＳ７でノイズ位置、ノイズ領域を判定した場合、図９（ａ）に示すような車両前方に存在する物体である人物や側壁で出現したエッジは、車両が走行している場合において、通常図中矢印で示すように、同じ方向に動くように撮像される。また、遠赤外線カメラ１０自体が動いている場合であっても、互いに近い位置にあり、且つ、同じ物体から出現したエッジは、赤外画像上において略同じ方向に動くように撮像される。
【００５３】
このことから、第２実施形態に係る画像処理装置２０は、ノイズ判定メモリでカウントアップする対象となるノイズの画像内位置の動きを検出する。そして、所定数以上のノイズが同じ方向に動くように出現した場合には、当該ノイズをノイズではないと判定して、ノイズ判定用メモリのカウントアップも行わないようにする。すなわち、図６（ａ）に示す人物及び側壁によって出現した所定数以上のエッジがノイズの候補点となるが、当該所定数以上のノイズの動きが遠赤外線カメラ１０に対して同じ方向に動くように撮像されることを検出して、図６（ｂ）に示すように、実際にノイズと判定される画素を、同じ動きをするノイズが周囲に存在しない画素のみとできる。ここで、所定数とは、後段の物体検出処理又は画像認識処理の２値化処理等で物体から得られるエッジ点数によって予め決定されているものとする。
【００５４】
このような第２実施形態に係る画像処理装置２０は、ノイズの動きを求めるために、既存の相関法や勾配法などのオプティカルフロー算出処理を行う。また、ノイズの動きの判定及びノイズ判定メモリへのカウントアップをするか否かの判定は、図２におけるステップＳ３のノイズ判定処理又はステップＳ４のノイズ度合い判定処理の直後（ステップＳ５の前）にノイズと判定された時点において行うことを説明したが、これに限らず、ステップＳ７のノイズ位置・ノイズ領域判定処理の直後、つまり複数回に亘ってノイズ判定用メモリに対するカウント値の更新を行った後に、ノイズの動きを判定してもよい。
【００５５】
ステップＳ５のノイズ判定用メモリ加算処理によるノイズ判定用メモリへのカウント前にノイズの動きを判定する場合、画像処理装置２０は、ノイズの動きがない場合には、ノイズ判定用メモリへのカウントを実行し、ノイズの動きがある場合にはノイズ判定用メモリへのカウントを実行しない。これにより、ノイズ判定用メモリ内のカウント値は、動きが考慮された値となり、固定されたノイズと判定された画素のカウント値のみを更新できるので、ノイズである可能性が非常に高いノイズ位置又はノイズ領域だけのカウント値を高くすることができる。すなわち、ノイズ判定メモリの内容は、図９（ｂ）のような点として、固定されたノイズだけが出現させ、画像処理装置２０は、当該固定ノイズのみを判定できる。
【００５６】
一方、ステップＳ７の直後にノイズの動きを検出する場合、ノイズ判定メモリのカウンタ値は、動きを考慮せずに、固定されたノイズ及び同じ方向に動きを有するノイズを共にカウントした値であり、物体によって検出されるエッジもノイズとして検出されてカウントされた値となっている可能性がある。すなわち、ノイズ判定メモリの内容は、図９（ａ）のように、物体から検出されたノイズ及び固定ノイズの双方を含んだカウンタ値となっている。そして、ステップＳ１〜ステップＳ６の処理を繰り返した後、ステップＳ７のノイズ位置・ノイズ領域判定処理の時点で動きを判定し、図９（ｂ）のような固定されたノイズ位置のみを判定することになる。
【００５７】
この場合、ノイズ判定メモリには固定のノイズのみならず物体のエッジを含まれているように見える。しかし、毎回のステップＳ３のノイズ判定処理からステップＳ６のノイズ判定用メモリ更新処理のループ処理では動き計算が不必要であり、ステップＳ７のノイズ位置・ノイズ領域判定処理の判定時にだけオプティカルフローの算出処理を行う必要がある。したがって、上述のステップＳ５の前に動きを検出する場合と比較して、演算量を少なくできる。
【００５８】
なお、図９（ａ）と図９（ｂ）とを比較すると、図９（ａ）に示すノイズ判定用メモリの内容から、図９（ｂ）に示すノイズ判定用メモリの内容を減算することにより、固定されたノイズ及び物体のエッジから、固定されたノイズのみを差し引くことができる。このようにステップＳ１〜ステップＳ７の処理を利用して、物体上に存在する点の候補を抽出することもでき、同じ方向の動きを有するノイズをノイズとせずに、固定されたノイズのみを抽出する結果を、後段の物体検出処理又は画像認識処理に利用することもできる。したがって、ノイズの動きを検出する処理は、画像処理装置２０の処理速度や物体検出処理又は画像認識処理の内容等に応じて最適なタイミングで行えば良い。
【００５９】
また、遠赤外線カメラ１０のように自車両１の走行に応じて遠赤外線カメラ１０と物体との相対的な位置関係が連続的に変更される場合、当該遠赤外線カメラ１０の設置位置及び自車両１の走行方向から、背景に属する物体の動きと背景以外の物体の動きを分離しても良い。例えば、進行方向を撮像範囲として遠赤外線カメラ１０を取り付けた場合、背景に相当する物体上の点は、消失点を中心として画像の外側に逃げる方向に動くオプティカルフローとなる。したがって、画像処理装置２０は、画像の外側に逃げる方向のノイズを検出した場合には、当該ノイズをノイズではないと判定でき、画像の外側に逃げる方向とは反する方向に動くノイズを検出することができる。
【００６０】
また、自車両１の側方に遠赤外線カメラ１０が取り付けられた場合には、画像内の横方向に動くオプティカルフローとなり、後方に遠赤外線カメラ１０が取り付けられた場合には、消失点に集まる方向に動くオプティカルフローとなる。したがって、遠赤外線カメラ１０の自車両１への取付位置によって決定される動きと同方向に動くノイズをノイズではないと判定でき、これらの動きに反する動きをするノイズをノイズ又は動きを有する物体であると判定できる。
【００６１】
更に、遠赤外線カメラ１０から遠方に存在する物体は、画像内の小領域のみで撮像されるために、物体として認識されにくいが、遠赤外線カメラ１０の動きの方向と同じ方向の動きが検知された場合に、ノイズではないと判定できる。すなわち、孤立点ノイズとして検出された場合であっても、同じ方向とは異なる動きが検出された場合にはノイズの可能性が高いことを判定できる。
【００６２】
［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る画像処理装置２０によれば、ノイズの画像上の動きを判定し、画像内の周囲に所定数以上のノイズが所定の類似した動きとして観測される場合には、当該ノイズをノイズではないと判定し、残りの画素に対してノイズ判定用メモリのカウンタ値を加算することができる。すなわち、遠赤外線カメラ１０で撮像される物体や背景の建物によって現れる所定数以上のエッジは、遠赤外線カメラ１０と物体との相対位置が変化する場合には、略同じ方向に動いて撮像されることになるが、この場合には、ノイズではなく同一物体から得られたエッジであることを判定できる。
【００６３】
したがって、第２実施形態に係る画像処理装置２０によれば、遠赤外線カメラ１０自体の不具合、撮像素子の不具合、遠赤外線カメラ１０を含む装置の不具合によって画像内に発生する固定ノイズを高精度に検出することができ、更に精度の良い遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の評価を実現できる。
【００６４】
［第３実施形態］
つぎに、第３実施形態に係る画像処理装置２０について説明する。なお、上述の実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【００６５】
第３実施形態に係る画像処理装置２０は、ノイズ判定用メモリのカウンタ値のうち、極端にカウンタ値が高い画素、又は、ステップＳ１〜ステップＳ６の処理回数のうち所定の割合以上でノイズと判定された画素を判定する。そして、この画像処理装置２０は、ノイズと判定された画素の個数又は全画素に対する割合に応じて遠赤外線カメラ１０又は遠赤外線カメラ１０を利用した装置の性能判定を行い、更には、装置の停止命令又は遠赤外線カメラ１０の問題発生を通知することを特徴とするものである。
【００６６】
この画像処理装置２０は、ステップＳ８において、ノイズ判定用メモリを参照してステップＳ７でノイズと判定された画素数を取得する。そして、画像処理装置２０は、例えば、画像全体のうち、半数以上がノイズであると判定された場合には、遠赤外線カメラ１０として機能するのは難しく、遠赤外線カメラ１０の性能が良好ではないと評価する。ここで、この画像全体の何割かがノイズと判定された場合に性能が良好ではないと評価する指標となるしきい値は、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用して物体検出処理又は画像認識処理を行う装置の用途や一般的なカメラ性能評価の指標を基準として予め設定しておく。
【００６７】
また、画像処理装置２０は、固定ノイズとして常に観測されるノイズが多い場合には、遠赤外線カメラ１０又は遠赤外線カメラ１０の撮像素子の出荷時のカメラ性能評価として良好ではないことを評価する。
【００６８】
更に、画像処理装置２０は、後段の物体検出処理又は画像認識処理にとって必要な画像部分がノイズ又は撮像不能であり、物体検出処理又は画像認識処理が行えないと判定した場合には、遠赤外線カメラ１０の交換時期を通知しても良く、更には、遠赤外線カメラ１０を利用した物体検出処理又は画像認識処理の性能が低下していることを通知しても良い。ここで、物体検出処理又は画像認識処理の性能が良好でないと判定する指標であるしきい値は、例えば、ある基準のターゲットとなる認識率などを予め設定しておき、所定の物体検出率、画像認識率以下になった時点で性能が落ちたことを通知する。
【００６９】
［第３実施形態の効果］
以上詳細に説明したように、本発明を適用した第３実施形態に係る画像処理装置２０によれば、ノイズが検出された回数又はノイズと検出された割合に応じて、遠赤外線カメラ１０又は遠赤外線カメラ１０を利用した装置の性能を評価することができるので、例えば、遠赤外線カメラ１０の撮像素子やレンズに不具合が生じた場合であって、正常に撮像できなくなったことを判定できる。したがって、正常に遠赤外線カメラ１０が動作しているかを評価する専用の装置を追加することなく、物体検出処理又は画像認識処理のために用意されている機能を利用するのみで、フェールセーフ機能を追加できる。
【００７０】
更に、この画像処理装置２０によれば、固定ノイズが多い場合には、遠赤外線カメラ１０の撮像素子の交換時期を通知できると共に、固定ノイズが多いことによって物体検出処理又は画像認識処理の処理精度が低下した場合には、当該物体検出処理又は画像認識処理を停止させることもできる。
【００７１】
［第４実施形態］
つぎに、第４実施形態に係る画像処理装置２０について説明する。なお、上述の実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【００７２】
第４実施形態に係る画像処理装置２０は、遠赤外線カメラ１０で撮像された画像を利用する装置の種類に応じて、ノイズ位置及びノイズ領域の判定を行うタイミング、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能の判定を行うタイミングを制御し、当該タイミングによってノイズ判定用メモリの初期化、ノイズ判定用メモリの内容に基づくノイズ位置、ノイズ領域の判定、及び遠赤外線カメラ１０や遠赤外線カメラ１０を利用した装置の性能の判定を行うことを特徴とするものである。
【００７３】
この第４実施形態に係る画像処理装置２０は、図１０に示すように、ステップＳ１１において判定タイミングが制御された上で、ステップＳ１〜ステップＳ９の処理を行う。
【００７４】
このステップＳ１１において、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能の判定タイミングは、遠赤外線カメラ１０の撮像対象、遠赤外線カメラ１０を利用した物体検出処理又は画像認識処理の種類、物体検出処理又は画像認識処理の対象によって予め設定されている。
【００７５】
例えば、遠赤外線カメラ１０を利用した装置の性能の判定タイミングの周期が短い（判定頻度が高い）場合、偶発的に強い光が遠赤外線カメラ１０に入射されることに応じて遠赤外線カメラ１０の性能が低下したと判定しまうことがあり、過敏に遠赤外線カメラ１０の性能の低下と判定してしまう。
【００７６】
また、遠赤外線カメラ１０自体の性能の評価ではなく、遠赤外線カメラ１０で撮像された画像自体を判定する場合には、偶発的に強い光が遠赤外線カメラ１０に入射された場合を性能の低下と判定しないために、例えば数十秒ごとの一定期間ごとにステップＳ１〜ステップＳ９の判定を行わせても良い。このように、ステップＳ１１では、物体検出処理又は画像認識処理の種類、遠赤外線カメラ１０を利用した装置の種類に応じて、ノイズ位置及びノイズ領域の判定、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能の判定を行わせる。
【００７７】
なお、出荷時だけ性能評価を行うためにステップＳ１〜ステップＳ９の処理を行う場合には、工場などで遠赤外線カメラ１０が生産される時点において、遠赤外線カメラ１０と画像処理装置２０とを接続し、ある画像を撮像したときのノイズ位置及びノイズ領域の判定を行って、遠赤外線カメラ１０の評価を行うことになる。また、ステップＳ１１では、遠赤外線カメラ１０を利用した画像処理装置２０の電源投入時に、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能の評価を行わせても良い。
【００７８】
更に、本例の画像処理装置２０のように頻繁に背景や画像が変化する場合においては、ノイズが多く検出された場合及び実際に撮像している背景が複雑化したときには、ノイズ及び性能の判定が困難な場合がある。このような車載の遠赤外線カメラ１０の性能を判定する場合には、複雑な背景とノイズを区別可能にするように、例えばナビゲーションシステムにおける地図情報を参照して遠赤外線カメラ１０で撮像した画像のノイズを検査するように、ステップＳ１１において、ステップＳ１を開始するタイミングを制御する。例えば、遠赤外線カメラ１０で撮像した画像におけるノイズ位置及びノイズ領域の判定を行う地図上の地点を予め設定しておき、以前に判定した同じ地点で判定したノイズ位置及びノイズ領域よりも多くのノイズが検出された場合には、遠赤外線カメラ１０の性能の低下が発生しているものと判定して、ユーザ等に通知しても良い。ここで、ステップＳ１１においては、予め設定した地点に到達したと判定した場合に、ステップＳ１以降の処理を行わせる処理を行うことになる。
【００７９】
更にまた、遠赤外線カメラ１０の性能ではなく、遠赤外線カメラ１０で撮像した入力画像が、所定の物体検出処理又は画像認識処理に適した画像であるか否かの判定を一定間隔で行い、画像上にノイズであるか物体であるかを区別することが難しい点、エッジ、矩形点などが観測された場合に、ノイズ判定用メモリにノイズが所定の個数以上観測された場合には、当該画像による物体検出処理又は画像認識処理が困難であると判定してもよい。この場合、装置の性能ではなく、その時点での物体検出処理又は画像認識処理の性能評価に応用できる。
【００８０】
更にまた、自車両１の周囲を監視する遠赤外線カメラ１０のように、電源が継続して投入されていて物体検出処理又は画像認識処理を行う装置である場合には、例えば１０分ごとの所定期間ごとにノイズ位置又はノイズ領域の判定を行い、複数回連続して同じ画像内位置に所定の個数又は領域以上のノイズを検出した場合には、遠赤外線カメラ１０の性能低下が発生していると判定しても良い。
【００８１】
［第４実施形態の効果］
以上詳細に説明したように、本発明を適用した第４実施形態に係る画像処理装置２０によれば、ノイズ位置又はノイズ領域の判定、遠赤外線カメラ１０自体又は遠赤外線カメラ１０を利用した装置の性能の判定を行うタイミングを調整し、当該判定タイミングに従ってノイズ判定用メモリを行ってノイズ位置又はノイズ領域の判定をし、更には、遠赤外線カメラ１０又は遠赤外線カメラ１０を利用した装置の性能の判定を行うことができる。
【００８２】
これにより、本発明を適用した第４実施形態に係る画像処理装置２０によれば、ノイズ位置及びノイズ領域の判定タイミング、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の判定タイミングを、当該装置の特徴に応じて決定することができる。
【００８３】
例えば、物体検出処理又は画像認識処理を行う装置の立ち上げ時に必ずノイズ判定を行う構成とした場合、画像処理装置２０に電源が投入されたと同時に、ステップＳ１１において、ステップＳ１以降の処理を開始させて、必ず遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能が正常であることの判定を行うことができ、実際に動作させる前に不具合の判定及び当該不具合への対処を行うことができる。
【００８４】
また、この画像処理装置２０によれば、例えば車載の遠赤外線カメラ１０に適用した場合のように逐次画像が変化する用途では、数分ごとに必ずノイズ位置又はノイズ領域の判定を行うようにすることもできる。これにより、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の判定のみならず、環境が偶発的に複雑となって物体検出処理又は画像認識処理を正確に行うことが困難である状況、つまり、入力画像の画質の判定及び当該入力画像を利用したときの物体検出処理又は画像認識処理の困難度合いの判定にも応用できる。
【００８５】
更に、この車載された遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の判定結果を利用して、数分毎に判定を行った場合に、遠赤外線カメラ１０又は遠赤外線カメラ１０を利用した装置の性能が低下する判定結果が特定の道路環境においてのみ発生する場合は、遠赤外線カメラ１０や遠赤外線カメラ１０を利用した装置の問題ではなく、検出が困難である環境であると判定できる一方で、性能低下の判定結果が一定期間以上続いたり、速度や走行道路に関係なく発生する場合は、遠赤外線カメラ１０自体の性能低下であることを判定できる。
【００８６】
このように、画像処理装置２０によれば、ノイズ位置又はノイズ領域の判定タイミング、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の判定タイミングを制御することにより、新たな構成を追加することなく、上述した効果を得ることができる。
【００８７】
［第５実施形態］
つぎに、第５実施形態に係る画像処理装置２０について説明する。なお、上述の実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【００８８】
第５実施形態に係る画像処理装置２０は、ノイズ領域を検出した場合に、当該ノイズ領域の位置、大きさ又は総面積に応じて遠赤外線カメラ１０の性能の判定、遠赤外線カメラ１０を利用した装置の性能の判定を行うことを特徴とするものである。
【００８９】
この画像処理装置２０は、ステップＳ７においてノイズ領域の存在及び位置を検出すると、次のステップＳ８において、ノイズ領域が所定の面積よりも広いと判定した場合には、遠赤外線カメラ１０自体の性能低下であると判定する。
【００９０】
また、この画像処理装置２０は、物体検出処理又は画像認識処理で利用する赤外画像内の所定領域を予め設定しておき、ステップＳ７の処理結果によって、所定領域にノイズ領域が重複しているとステップＳ８で判定した場合には、遠赤外線カメラ１０又は遠赤外線カメラ１０を利用した装置の性能が低下していると判定しても良い。例えば、赤外画像において、右下側に頻繁に検出対象となる物体等が出現し、左上側を検出領域に予め利用していないような装置の場合、右下側がノイズ領域であると判定された場合には、遠赤外線カメラ１０を利用した装置の性能が低下すると判定する。一方、赤外画像の左上だけにノイズ領域が発生する場合、遠赤外線カメラ１０として性能の低下をするが、遠赤外線カメラ１０を利用した装置としては正しく動作すると判定できる。
【００９１】
更に、このようにノイズの位置、大きさ及び総面積によって、遠赤外線カメラ１０の性能判定及び遠赤外線カメラ１０を利用した装置の性能判定を行う処理や、遠赤外線カメラ１０を利用した装置としての物体検出処理又は画像認識処理の性能の低下を判定する処理は、ノイズを点として検出している場合に応用しても良く、ノイズとしての点が所定のしきい値以上出現した場合に、物体検出処理又は画像認識処理の性能低下が発生していると判定しても良い。
【００９２】
［第５実施形態の効果］
以上詳細に説明したように、本発明を適用した第５実施形態に係る画像処理装置２０によれば、ノイズ領域を検出して、当該ノイズ領域の位置、大きさ又は総面積によって遠赤外線カメラ１０自体の性能の判定又は遠赤外線カメラ１０を利用した装置の性能の判定を行うことができるので、ノイズ種類やノイズ位置に応じて遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の性能判定を行い、物体検出処理又は画像認識処理を停止するなどのフェールセーフ機能を働かせることができる。
【００９３】
ここで、ノイズが多い遠赤外線カメラ１０は物体検出処理又は画像認識処理への利用が不可能又は信頼性を落としてしまうという問題が生ずる。また、遠赤外線カメラ１０を所定の物体検出処理又は画像認識処理に利用していて、赤外画像の右下部分に検出する対象物が必ず撮像されると分かっている場合、赤外画像の右下部分に問題が生じた場合には、物体検出処理又は画像認識処理に影響を及ぼすが、右下部分以外にノイズが出現したり不鮮明となった場合、赤外画像それ自体には問題があっても物体検出処理又は画像認識処理には影響を及ぼさない場合もありうる。
【００９４】
これに対し、第５実施形態に係る画像処理装置２０によれば、物体検出処理又は画像認識処理の性能に大きく影響するような、ノイズ位置、ノイズ領域の大きさ、総面積が出現した場合には、物体検出処理又は画像認識処理を停止させ、それ以外のノイズである場合には、ノイズがあっても物体検出処理又は画像認識処理の停止は行わないというフェールセーフ機能を働かせることができる。これにより、物体検出処理又は画像認識処理の信頼度が落ちて問題がおきる可能性が高い場合には、確実に物体検出処理又は画像認識処理を停止させることができ、逆に、赤外画像にノイズが増えていても、物体検出処理又は画像認識処理に対して問題が発生しない場合には、通常の物体検出処理又は画像認識処理を継続させることができる。したがって、フェールセーフ機能が過敏になりすぎて頻繁に物体検出処理又は画像認識処理が停止されることを回避でき、物体検出処理又は画像認識処理としての耐久性も向上させることができる。
【００９５】
［第６実施形態］
つぎに、第６実施形態に係る画像処理装置２０について説明する。なお、上述の実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【００９６】
第６実施形態に係る画像処理装置２０は、ステップＳ３において、遠赤外線カメラ１０又は遠赤外線カメラ１０を利用する装置の性能の判定結果に応じて動作する物体検出処理又は画像認識処理に対して影響を及ぼす種類のノイズ検出用フィルタを用いてノイズを検出することを特徴とするものである。
【００９７】
すなわち、ステップＳ３においては、画像に含まれる画像領域ごとに、遠赤外線カメラ１０を利用した装置に影響を及ぼす形状のノイズを検出し、ステップＳ４においては、遠赤外線カメラ１０を利用した装置に影響を及ぼすか否かを判定するしきい値以上であるかというノイズ度合いを判定し、検出するノイズの形状及びしきい値を、前記撮像手段で撮像された画像を利用した装置によって変化させることを特徴とするものである。
【００９８】
ここで、遠赤外線カメラ１０で撮像した赤外画像には、様々な理由でノイズが出現するが、このノイズを含む赤外画像を物体検出処理又は画像認識処理で使用する場合、当該物体検出処理又は画像認識処理に影響を及ぼしやすいノイズと、及ぼさないノイズとが存在する。すなわち、物体検出処理又は画像認識処理に悪影響を及ぼす種類のノイズが多く出現した場合には、物体検出処理又は画像認識処理を行う装置の性能低下となるが、物体検出処理又は画像認識処理に影響を及ぼさないノイズが出現した場合には、赤外画像としての性能は低くとも、物体検出処理又は画像認識処理を行う装置の性能低下とはならない。
【００９９】
例えば、ステップＳ１〜ステップＳ９の処理結果に応じて行われる後段の処理が物体検出処理又は画像認識処理である場合において、当該物体検出処理又は画像認識処理において比較的大きな面積の物体の形状が、丸型であるか四角形であるかの判定を行うことを目的としている場合には、比較的大きな面積の内部に出現した数点の孤立点ノイズは大きな問題とはならない。しかしながら、小さな物体を検出対象とした物体検出処理又は画像認識処理においては、小さな孤立点ノイズの存在によって、物体検出率又は画像認識率に影響を及ぼしてしまう。
【０１００】
更に、ノイズの大きさのみならず、物体検出処理又は画像認識処理の対象となる画像のコントラストが常に鮮明である場合には、当該コントラストに相当するしきい値でエッジ検出などを行うため、コントラスト差の小さなノイズがエッジ検出時に検出されないため、検出結果に大きな影響を及ぼさない。しかし、逆にコントラストが不鮮明な物体を検出対象とした場合、コントラスト差が大きい点及び小さい点がノイズとして判定されてしまう。
【０１０１】
このように、物体検出処理又は画像認識処理に影響を及ぼすノイズが、対象により異なり、ノイズとして除去すべき点、無視しても良い点も対象により異なるため、第６実施形態に係る画像処理装置２０は、物体検出処理又は画像認識処理に悪影響を及ぼす種類のノイズを検出しやすいノイズ検出用フィルタを用いて、ステップＳ３においてノイズ検出を行う。
【０１０２】
このような画像処理装置２０は、例えば、ステップＳ３において使用するノイズ検出用フィルタを、物体検出処理又は画像認識処理において検出するエッジや矩形形状を検出するための形状と同じものを使用し、ステップＳ４においてノイズと判定するしきい値を物体検出処理又は画像認識処理においてエッジ検出するしきい値と同じ値とする。
【０１０３】
これにより、例えば、コントラストの高い点を物体検出処理又は画像認識処理における検出対象とする場合には、コントラストが高く検出されるノイズが物体検出処理又は画像認識処理に悪影響を及ぼすため、当該ノイズをステップＳ３及びステップＳ４で検出する。また、ノイズの形状においても、例えば、物体検出処理又は画像認識処理において短い線分のつなぎ合わせにより物体の輪郭や直線を検出する場合には、短い直線の形状となるノイズが悪影響を及ぼすため、当該ノイズをステップＳ３及びステップＳ４で検出する。
【０１０４】
更に、物体検出処理又は画像認識処理において、孤立点のような小さな点の分布に基づいたテクスチャ（模様）の解析を行う場合には、孤立点が物体検出処理又は画像認識処理に悪影響を及ぼすので、当該孤立点をノイズとしてステップＳ３及びステップＳ４で検出する。
【０１０５】
更にまた、道路環境における画像処理のように、頻繁に背景や対象物の形状や明るさが変化するため、物体検出処理又は画像認識処理において、エッジ検出や、矩形や点の検出のしきい値を可変にする場合には、背景や対象物の形状、明るさに応じてステップＳ３において使用するノイズ検出用フィルタの形状、ステップＳ４でノイズと判定するしきい値を変更することによって、物体検出処理又は画像認識処理にとって悪影響を及ぼすノイズを検出することができる。
【０１０６】
［第６実施形態の効果］
以上詳細に説明したように、本発明を適用した第６実施形態に係る画像処理装置２０によれば、ステップＳ９以降の後段で行う物体検出処理又は画像認識処理の種類によって、ステップＳ３及びステップＳ４で検出するノイズ検出用フィルタ及びしきい値を変更するので、後段の物体検出処理又は画像認識処理で悪影響を及ぼすノイズを確実に検出して、遠赤外線カメラ１０の判定、及び、遠赤外線カメラ１０を利用した物体検出処理又は画像認識処理を行う装置の判定を行うことができる。
【０１０７】
したがって、この画像処理装置２０によれば、物体検出処理又は画像認識処理で処理対象となる物体面積、物体形状、コントラストによって、悪影響を及ぼすノイズを検出するようにノイズ検出用フィルタ及びしきい値を変更して、遠赤外線カメラ１０及び遠赤外線カメラ１０を利用した装置の判定を行うことができる。
【０１０８】
［第７実施形態］
つぎに、第７実施形態に係る画像処理装置２０について説明する。なお、上述の実施形態と同様の部分については同一符号、同一ステップ番号を付することによりその詳細な説明を省略する。
【０１０９】
第７実施形態に係る画像処理装置２０は、遠赤外線カメラ１０を利用した装置が複数種類の処理を行うものであり、ステップＳ８において、遠赤外線カメラ１０を利用した装置が行う処理ごとの性能を評価することを特徴とするものである。
【０１１０】
上述したように、物体検出処理又は画像認識処理の内容によってノイズが悪影響を与えるか否かが決定されるが、例えば、１枚の赤外画像を用いて、コントラストの高い直線の検出処理と、同じ赤外画像に存在するテクスチャの解析処理を同時に行う場合、コントラストの低いノイズは直線検出には悪影響を及ぼさないが、テクスチャ解析には悪影響を及ぼす可能性がある。このように、同じ赤外画像を使用して複数種類の物体検出処理又は画像認識処理を行う場合、当該赤外画像に含まれるノイズによって、一方の物体検出処理又は画像認識処理には悪影響を及ぼすが、他方の物体検出処理又は画像認識処理には影響を及ぼさない場合がある。
【０１１１】
また、道路環境における画像処理において、車両前方に取り付けられた遠赤外線カメラ１０を利用した白線検出処理と、当該白線の間に挟まれる路面上に存在する他車両や人物を検出する処理とを行う場合がある。通常、白線検出処理は、画像の下半分の領域で検出される比較的エッジ強度の高い直線又は線分のつながり白線を検出する一方で、画像上で当該白線に基づいて検出される他車両は、画像の下半分よりも上方に存在する直線又は曲線で形成される形状で検出され、人物は、直線成分がほとんどなく矩形や曲線が多く分布する特徴点の固まりとして検出される。
【０１１２】
このような白線検出処理、他車両検出処理、人物検出処理の特徴を考慮し、第７実施形態に係る画像処理装置２０は、ステップＳ１〜ステップＳ７の処理によって、例えば、画像の下側に直線を形成するノイズが多く検出された場合には、ステップＳ８において、白線検出処理の検出率が低下したと判定し、直線を形成するノイズの影響を受けにくい人物検出処理の検出率が低下していないものと判定する。これにより、画像処理装置２０は、遠赤外線カメラ１０を利用した白線検出処理の性能低下を判定する一方で、遠赤外線カメラ１０を利用した人物検出処理の性能は低下していないものと判定する。逆に、ステップＳ１〜ステップＳ７の処理によって、細かな孤立点や矩形点を成すノイズが多く検出されるようになった場合には、ステップＳ８において、直線等の線分の組み合わせである白線検出処理の性能は低下していないものと判定できるが、人物検出処理の性能低下が発生したと判定できる。
【０１１３】
［第７実施形態の効果］
以上詳細に説明したように、本発明を適用した第７実施形態に係る画像処理装置２０によれば、遠赤外線カメラ１０を利用した装置として、同じ画像を使用して複数種類の処理を行う装置に対して、当該処理ごとに性能低下を判定することができるので、性能低下が判定された処理についてのみを停止を通知できる一方で、性能低下が判定されていない処理については継続させることができる。
【０１１４】
これにより、遠赤外線カメラ１０を利用した装置全体の停止時間を短くし、特定の物体検出処理又は画像認識処理が停止するという悪影響の起こる時間を可能な限り短くできる。特に、道路環境における画像処理のように、遠赤外線カメラ１０自体は正常に動作していても、ある物体検出処理又は画像認識処理に不適切な画像が入力されるような場面が頻繁にある場合、ある物体検出処理又は画像認識処理には適切な画像であれば、他の物体検出処理又は画像認識処理だけでも継続して動作させることによって、システム全体としての動作可能場面を長くすることができ、装置のロバスト性を向上させることができる。
【０１１５】
具体的には、白線が検出できなくとも、自車両の前方に存在する物体が、他車両か人物の判定が可能である場合であれば、白線検出処理のみを停止し、他車両や人物の検出処理を継続させることができる。逆に、他車両や人物の検出処理の継続が困難である場合でも、白線が正確に検出可能な画像である場合には、白線検出処理のみを継続できる。
【０１１６】
このように、遠赤外線カメラ１０を利用した装置の処理毎に画像に含まれるノイズの影響を判定することにより、不適切な画像を使用することによる誤検出を防ぐ一方で、個々の物体検出処理又は画像認識処理が可能な時間を可能な限り長くして、全体として天候や背景変化にロバストな装置を実現できる。
【０１１７】
また、この画像処理装置２０によれば、遠赤外線カメラ１０を利用した装置の処理ごとに最適なノイズ検出用フィルタの形状及びしきい値を使用して、それぞれの処理で悪影響を与えるノイズを判定するのみで、それぞれの処理の停止及び継続を判定でき、装置の大型化や著しい処理量の増加を招くことなくロバスト性を向上させることができる。
【０１１８】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１１９】
【図１】本発明を適用した画像処理装置を搭載した自車両の概略構成を示す図であって、（ａ）は側面図、（ｂ）は上面図である。
【図２】本発明を適用した第１実施形態に係る画像処理装置によって、画像内のノイズ位置を判定する処理手順を説明するためのフローチャートである。
【図３】遠赤外線カメラと物体との位置関係を横から見た様子を示す図であって、（ａ）は原理図、（ｂ）は輝度画像、（ｃ）は赤外画像を示す図である。
【図４】遠赤外線カメラと物体との位置関係を上から見た様子を示す図であって、（ａ）は原理図、（ｂ）は輝度画像、（ｃ）は赤外画像を示す図である。
【図５】ノイズ検出用フィルタを使用してノイズ位置をノイズ判定用メモリでカウントアップすることを説明するための図であって、（ａ）は入力画像、（ｂ）は矩形ノイズ検出用フィルタ、（ｃ）は矩形ノイズ検出用フィルタを使用した時のノイズ判定用メモリ、（ｄ）は孤立点ノイズ検出用フィルタ、（ｅ）は孤立点ノイズ検出用フィルタを使用したときのノイズ判定用メモリを示す。
【図６】（ａ）の入力画像に、ノイズ検出用フィルタでノイズを検知した場合に、（ｂ）のノイズ判定用メモリがカウントアップがされることを説明するための図である。
【図７】矩形ノイズ検出用フィルタと画像との一致度について説明するための図であり、（ａ）は矩形ノイズ検出用フィルタ、（ｂ）は一致度が小さい様子、（ｃ）は一致度が大きい様子を示す。
【図８】ノイズ検出処理を行った結果を説明するための図であり、（ａ）は１度のみノイズ検出を行った結果、（ｂ）は複数回ノイズ検出を行った結果、（ｃ）は複数回ノイズ検出を行った他の結果、（ｄ）はノイズ領域を設定した結果を示す図である。
【図９】（ａ）は各ノイズで動きが検出されることを示すノイズ判定用メモリの例であり、（ｂ）は同じ動きを有するノイズを削除した結果を示すノイズ判定用メモリの例である。
【図１０】本発明を適用した第４実施形態に係る画像処理装置によって、画像内のノイズ位置を判定する処理手順を説明するためのフローチャートである。
【符号の説明】
【０１２０】
１  自車両
１０  遠赤外線カメラ
２０  画像処理装置
【図１】
2006314061.tif 000003
【図２】
2006314061.tif 000004
【図３】
2006314061.tif 000005
【図４】
2006314061.tif 000006
【図５】
2006314061.tif 000007
【図６】
2006314061.tif 000008
【図７】
2006314061.tif 000009
【図８】
2006314061.tif 000010
【図９】
2006314061.tif 000011
【図１０】
2006314061.tif 000012