(57)【特許請求の範囲】
【請求項１】
複数の画素からなる平面に実空間を投影した画像を取得する画像取得手段と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手段で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手段と、
前記画像分離手段で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手段と、
前記画像分離手段で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手段で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手段と
を備え、
前記画像補正手段は、
前記着目画素を中心として設定された基準範囲内の各画素である対象画素と、前記着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が、前記ノイズ成分を表す値として予め規定された規定閾値以上であれば、前記着目画素がノイズであるものと判定する
ことを特徴とする画像処理装置。
【請求項２】
前記画像補正手段は、
前記輝度勾配ベクトルが前記対象画素から前記着目画素へと向かう方向であれば、当該対象画素に対する前記輝度勾配ベクトルの向きを、正の基準値とし、前記輝度勾配ベクトルが前記着目画素から前記対象画素へと向かう方向であれば、当該対象画素に対する前記輝度勾配ベクトルの向きを、負の基準値として、前記対象画素各々に対する前記輝度勾配ベクトルの向きを合計した結果の絶対値を、前記ベクトル集中度とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の画素からなる平面に実空間を投影した画像を取得する画像取得手段と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手段で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手段と、
前記画像分離手段で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手段と、
前記画像分離手段で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手段で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手段と
を備え、
前記画像合成手段は、
前記画像分離手段にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、前記画像補正手段にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた前記補正細部画像を、前記基本構造画像と合成することで、前記修正画像を生成する
ことを特徴とする画像処理装置。
【請求項４】
前記画像補正手段は、
前記着目画素がノイズであれば、当該着目画素に対して、規定範囲をマスク領域とするメディアンフィルタを適用することで、前記補正細部信号成分を導出する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記微細構造抽出フィルタは、
前記画像の空間周波数成分のうち、前記細部信号成分を通過するフィルタであり、
前記基本構造抽出フィルタは、
前記画像の空間周波数成分のうち、前記基本信号成分を通過するフィルタであり、
前記微細構造抽出フィルタと、前記基本構造抽出フィルタとは、互いに独立して作動する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記基本構造抽出フィルタは、
前記画像取得手段で取得した画像における全空間周波数成分と、前記微細構造抽出フィルタによって抽出された前記画像の細部信号成分との差分を、前記基本信号成分として抽出する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項７】
前記微細構造抽出フィルタは、
前記画像取得手段で取得した画像における全空間周波数成分と、前記基本構造抽出フィルタによって抽出された前記画像の基本信号成分との差分を、前記細部信号成分として抽出する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項８】
複数の画素からなる平面に実空間を投影した画像に対して実行する画像処理方法であって、
前記画像を取得する画像取得手順と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手順で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手順と、
前記画像分離手順で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手順と、
前記画像分離手順で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手順で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手順と
を実行し、
前記画像補正手順は、
前記着目画素を中心として設定された基準範囲内の各画素である対象画素と、前記着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が、前記ノイズ成分を表す値として予め規定された規定閾値以上であれば、前記着目画素がノイズであるものと判定する
ことを特徴とする画像処理方法。
【請求項９】
前記画像補正手順は、
前記輝度勾配ベクトルが前記対象画素から前記着目画素へと向かう方向であれば、当該対象画素に対する輝度勾配ベクトルの向きを、正の基準値とし、前記輝度勾配ベクトルが前記着目画素から前記対象画素へと向かう方向であれば、当該対象画素に対する輝度勾配ベクトルの向きを、負の基準値として、前記対象画素各々に対する前記輝度勾配ベクトルの向きを合計した結果の絶対値を、前記ベクトル集中度とする
ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
複数の画素からなる平面に実空間を投影した画像に対して実行する画像処理方法であって、
前記画像を取得する画像取得手順と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手順で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手順と、
前記画像分離手順で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手順と、
前記画像分離手順で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手順で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手順と
を実行し、
前記画像合成手順は、
前記画像分離手順にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、前記画像補正手順にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた前記補正細部画像を、前記基本構造画像と合成することで、前記修正画像を生成する
ことを特徴とする画像処理方法。
【請求項１１】
前記画像補正手順は、
前記着目画素がノイズであれば、当該着目画素に対して、規定範囲をマスク領域とする
メディアンフィルタを適用することで、前記補正細部信号成分を導出する
ことを特徴とする請求項８から請求項１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記微細構造抽出フィルタは、
前記画像の空間周波数成分のうち、前記細部信号成分を通過するフィルタであり、
前記基本構造抽出フィルタは、
前記画像の空間周波数成分のうち、前記基本信号成分を通過するフィルタであり、
前記微細構造抽出フィルタと、前記基本構造抽出フィルタとは、互いに独立して作動する
ことを特徴とする請求項８から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記基本構造抽出フィルタは、
前記画像取得手順で取得した画像における全空間周波数成分と、前記微細構造抽出フィルタによって抽出された前記画像の細部信号成分との差分を、前記基本信号成分として抽出する
ことを特徴とする請求項８から請求項１１のいずれか一項に記載の画像処理方法。
【請求項１４】
前記微細構造抽出フィルタは、
前記画像取得手順で取得した画像における全空間周波数成分と、前記基本構造抽出フィルタによって抽出された前記画像の基本信号成分との差分を、前記細部信号成分として抽出する
ことを特徴とする請求項８から請求項１１のいずれか一項に記載の画像処理方法。
【請求項１５】
複数の画素からなる平面に実空間を投影した画像を取得する画像取得手順と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手順で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手順と、
前記画像分離手順で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手順と、
前記画像分離手順で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手順で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手順とを、
コンピュータに実行させ、
さらに、
前記画像補正手順は、
前記着目画素を中心として設定された基準範囲内の各画素である対象画素と、前記着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が、前記ノイズ成分を表す値として予め規定された規定閾値以上であれば、前記着目画素がノイズであるものと判定する
ことを特徴とするプログラム。
【請求項１６】
複数の画素からなる平面に実空間を投影した画像を取得する画像取得手順と、
前記画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び前記画像の空間周波数成分であって前記細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、前記画像取得手順で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する画像分離手順と、
前記画像分離手順で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように前記細部信号成分を補正した補正細部信号成分を導出する画像補正手順と、
前記画像分離手順で分離した基本信号成分によって構成される基本構造画像と、前記画像補正手順で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する画像合成手順とを、
コンピュータに実行させ、
さらに、
前記画像合成手順は、
前記画像分離手順にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、前記画像補正手順にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた前記補正細部画像を、前記基本構造画像と合成することで、前記修正画像を生成する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して画像処理を実行する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の画素からなる平面に実空間を投影した画像に重畳したノイズを低減するノイズ低減方法として、画像全体に対して、平均値フィルタやメディアンフィルタを適用する方法が知られている。
【０００３】
このように平均値フィルタを適用する方法であれば、ガウス性ノイズを低減でき、メディアンフィルタを適用する方法であれば、インパルス性ノイズを低減できる。しかし、これらの方法では、画像全体が平均化されるため、画像に含まれるエッジ成分が不鮮明となる。つまり、平均値フィルタや、メディアンフィルタを画像全体に適用する方法では、画像に投影された物体の細部を表す高周波成分が保存されないという問題がある。
【０００４】
この問題を解決するために、平均値フィルタを改良したε−フィルタを用いる方法や、元来の画像（即ち、原画像）と平均値フィルタを施した補正画像とを、エッジの程度を表すエッジ特徴量に応じた比率で合成する方法（特許文献１参照）が提案されている。
【０００５】
ε−フィルタは、マスク内の各画素について、着目画素の画素値との差が小さければ、当該画素の画素値を維持し、着目画素の画素値との差が大きければ、当該画素の画素値を注目画素の画素値に置き換えた上で、各画素の画素値により平均化、即ち、着目画素の画素値との差が小さな画素の画素値のみを用いて平均化するものである。よって、このε−フィルタを用いたノイズの低減方法では、エッジを構成する画素の画素値がノイズ成分の画素値よりも大きくなければ、ノイズを低減できないと共に、インパルス性ノイズに対しては当該ノイズを低減できないという問題があった。
【０００６】
一方、特許文献１に記載されたノイズ低減方法では、まず、ノイズが重畳した画像に対して、メディアンフィルタを施してプレノイズ低減画像を生成する。そして、そのプレノイズ低減画像において、着目画素を含む範囲内の信号レベルの分散値に対する、当該プレノイズ低減画像全体の信号レベルの分散値の比を、エッジ特徴量として導出している。
【０００７】
しかしながら、特許文献１に記載されたノイズ低減方法では、メディアンフィルタを施すことでプレノイズ低減画像を生成しているため、エッジ特徴量を正確に求めることができず、画像として投影された物体の細部が不鮮明となるという問題があった。
【０００８】
つまり、上述した各種方法では、画像に重畳するノイズを十分に低減できないという問題があった。
このような問題を解決する方法として、画像を構成する画像信号を、第一信号成分と第二信号成分とに分離し、第一信号成分の信号レベルに基づいてノイズ低減処理に必要となるノイズ低減パラメータを設定した上で、第二信号成分に含まれるノイズを低減することが提案されている（特許文献２参照）。ここで言う第一信号成分とは、当該画像に投影された物体の骨格成分を表すものであり、エッジ成分を含むものである。また、第二信号成分とは、画像信号に対する第一信号成分の残差である。
【０００９】
なお、特許文献２に記載された方法では、画像信号から第一信号成分と第二信号成分とに分離する際に必要となるパラメータ（以下、分離パラメータと称す）の導出を、エネルギー汎関数を最小化する変分問題として定式化し、Ｐｒｏｊｅｃｔｉｏｎ法によって解くことで実行している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−９２４６１号公報
【特許文献２】特開２００８−１７２４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
このような特許文献２に記載された方法では、画像に重畳するノイズを低減する効果はあるものの、それら分離パラメータの最適値の決定に必要な処理量が多いという問題があった。
【００１２】
そこで、本発明は、画像処理において、画像に重畳するノイズを十分に低減しつつ、ノイズ低減に必要な処理量を低減することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するためになされた本発明は、画像取得手段が、複数の画素からなる平面に実空間を投影した画像を取得する。
すると、画像分離手段が、画像の空間周波数成分であって、当該画像に投影された物体の端部を表すエッジ成分、当該画像のテクスチャ成分、及び当該画像に重畳したノイズ成分を含む空間周波数成分である細部信号成分を抽出するフィルタである微細構造抽出フィルタ、及び画像の空間周波数成分であって細部信号成分以外の周波数成分である基本信号成分を抽出するフィルタである基本構造抽出フィルタに、画像取得手段で取得した画像を適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する。
【００１４】
そして、画像分離手段で抽出した細部信号成分によって構成される微細構造画像に含まれる一つの画素を着目画素として抽出し、画像補正手段が、その抽出した着目画素がノイズであるか否かを判定した結果、当該着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように細部信号成分を補正した補正細部信号成分を導出する。
【００１５】
さらに、画像合成手段が、画像分離手段で分離した基本信号成分によって構成される基本構造画像と、画像補正手段で生成した補正細部信号成分によって構成される補正細部画像とを合成し、修正画像を生成する。
さらに、本発明における画像補正手段は、輝度勾配ベクトルが対象画素から着目画素へと向かう方向であれば、当該対象画素に対する輝度勾配ベクトルの向きを、正の基準値とし、輝度勾配ベクトルが着目画素から対象画素へと向かう方向であれば、当該対象画素に対する輝度勾配ベクトルの向きを、負の基準値として、対象画素各々に対する輝度勾配ベクトルの向きを合計した結果の絶対値を、ベクトル集中度とする。
【００１６】
このような画像処理装置にて導出される補正細部信号成分は、画像の空間周波数成分のうちの細部信号成分であって、ノイズ成分が低減されるように補正されたものである。
そして、本発明の画像処理装置においては、補正細部信号成分によって構成される補正細部画像と、基本信号成分によって構成される基本構造画像とを合成することで、画像全体を修正した修正画像を生成するため、その修正画像に重畳するノイズは、元来の画像（即ち、原画像）に重畳するノイズよりも低減されている。
【００１７】
すなわち、本発明の画像処理装置によれば、画像に重畳するノイズを低減できる。
さらに、本発明の画像処理装置では、画像に対して、予め用意した微細構造抽出フィルタ、及び基本構造抽出フィルタを適用することで、細部信号成分及び基本信号成分を抽出している。よって、本発明の画像処理装置によれば、画像を取得してから、当該画像に含まれる基本信号成分、及び細部信号成分を抽出するまでに要する処理量を低減でき、ひいては、画像を取得してから、当該画像に重畳するノイズを低減するまでに要する時間を短縮できる。
【００１８】
以上のことから、本発明の画像処理装置によれば、画像処理において、画像に重畳するノイズを十分に低減しつつ、ノイズ低減に必要な処理量を低減できる。
本発明の画像処理装置によれば、輝度勾配ベクトルの大きさではなく、向きに基づいてベクトル集中度を算出しているため、低コントラスト画像においても安定してノイズの判定を行うことができる。なお、ここで言う基準値とは、「１」でも良いし、「２」でも良いし、「１００」でも良い。
また、本発明の画像処理装置における画像補正手段は、着目画素を中心として設定された基準範囲内の各画素である対象画素と、着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が規定閾値以上であれば、着目画素がノイズ成分であるものと判定しても良い。
【００１９】
なお、ここで言う規定閾値とは、ノイズ成分を表す値として予め規定されたベクトル集中度の値であり、例えば、取得すべき画像として想定される複数の画像について、各画素（即ち、着目画素）がノイズであるか否かを判別する実験などを予め行った結果に基づいて規定しても良い。
【００２０】
このような画像処理装置によれば、一つの着目画素に対するベクトル集中度が規定閾値以上であれば、その着目画素がノイズ成分であるものと判定できる。
【００２２】
また、本発明における画像補正手段は、着目画素がノイズであれば、当該着目画素に対して、規定範囲をマスク領域とするメディアンフィルタを適用することで、補正細部信号成分を導出しても良い。
【００２３】
このような画像処理装置によれば、補正細部信号成分の導出を簡易なフィルタにて実現でき、補正細部信号成分の導出に要する処理量を小さなものとすることができる。
さらに、本発明の画像合成手段は、画像分離手段にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、画像補正手段にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた補正細部画像を、基本構造画像と合成することで、修正画像を生成しても良い。
【００２４】
このような画像処理装置によれば、修正画像は、ノイズが確実に低減したものとなり、この結果、元来の画像に重畳していたノイズをより確実に低減したと言える。
ところで、本発明における微細構造抽出フィルタは、画像の空間周波数成分のうち、細部信号成分を通過するフィルタであり、基本構造抽出フィルタは、画像の空間周波数成分のうち、基本信号成分を通過するフィルタであり、微細構造抽出フィルタと、基本構造抽出フィルタとは、互いに独立して作動しても良い。
【００２５】
このような構成であれば、細部信号成分と、基本信号成分との両方を、取得した画像から並行して抽出できる。
なお、細部信号成分は、高周波成分である可能性が高い。このため、微細構造抽出フィルタは、細部信号成分を表す周波数として、例えば、取得すべき画像として想定される複数の画像から実験などによって予め求めた空間周波数（即ち、細部信号成分の下限周波数）以上の周波数を通過するハイパスフィルタとして構成しても良い。
【００２６】
また、基本信号成分は、低周波成分である可能性が高い。このため、基本構造抽出フィルタは、基本信号成分を表す周波数として、例えば、取得すべき画像として想定される複数の画像から実験などによって予め求めた空間周波数（即ち、基本信号成分の上限周波数）以下の周波数を通過するローパスフィルタとして構成しても良い。
【００２７】
さらに、本発明における基本構造抽出フィルタは、画像取得手段で取得した画像における全空間周波数成分と、微細構造抽出フィルタによって抽出された画像の細部信号成分との差分を、基本信号成分として抽出しても良い。これとは別に、本発明における微細構造抽出フィルタは、画像取得手段で取得した画像における全空間周波数成分と、基本構造抽出フィルタによって抽出された画像の基本信号成分との差分を、細部信号成分として抽出しても良い。
【００２８】
これらの画像処理装置によれば、画像の基本信号成分、または画像の細部信号成分を簡易な手法で抽出することができる。
ところで、本発明は、複数の画素からなる平面に実空間を投影した画像に対して実行する画像処理方法としてなされたものであっても良い。
【００２９】
本発明が画像処理方法としてなされている場合、画像取得手順にて、画像を取得し、画像分離手順にて、画像取得手順で取得した画像を、微細構造抽出フィルタ及び基本構造抽出フィルタに適用して、当該画像の細部信号成分と、当該画像の基本信号成分とを抽出する。
【００３０】
さらに、画像補正手順にて、微細構造画像に含まれる一つの画素を着目画素として抽出し、その抽出した着目画素がノイズであれば、当該着目画素におけるノイズ成分が低減するように細部信号成分を補正した補正細部信号成分を導出し、画像合成手順にて、基本構造画像と補正細部画像とを合成し、修正画像を生成すれば良い。
そして、本発明における画像補正手順では、着目画素を中心として設定された基準範囲内の各画素である対象画素と、着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が、ノイズ成分を表す値として予め規定された規定閾値以上であれば、着目画素がノイズであるものと判定しても良い。
【００３１】
このような画像処理方法であれば、本発明の画像処理装置と同様の効果を得ることができる。
また、本発明における画像合成手順では、画像分離手順にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、画像補正手順にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた補正細部画像を、基本構造画像と合成することで、修正画像を生成しても良い。
【００３２】
さらには、本発明は、コンピュータに実行させるプログラムとしてなされていても良い。
本発明がプログラムとしてなされている場合、この本発明のプログラムは、コンピュータに、画像取得手順と、画像分離手順と、画像補正手順と、画像合成手順とを実行させるようになされている必要がある。
なお、本発明における画像補正手順では、着目画素を中心として設定された基準範囲内の各画素である対象画素と、着目画素との画素値の差分によって表される輝度勾配ベクトルの向きを集計したベクトル集中度を導出し、その導出したベクトル集中度が、ノイズ成分を表す値として予め規定された規定閾値以上であれば、着目画素がノイズであるものと判定しても良い。
また、本発明における画像合成手順では、画像分離手順にて抽出した細部信号成分によって構成される微細構造画像に含まれる各画素の画素値の合計に対する、画像補正手順にて生成した補正細部信号成分によって構成される補正細部画像に含まれる各画素の画素値の合計の比を乗じた補正細部画像を、基本構造画像と合成することで、修正画像を生成しても良い。
【００３３】
本発明が、このようになされたプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各ステップを実行させることで、そのコンピュータを、本発明の画像処理装置として機能させることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明が適用された画像処理システムの概略構成を示すブロック図である。
【図２】画像処理装置の機能ブロック図である。
【図３】第一実施形態における分離部の機能ブロック図である。
【図４】ノイズ低減処理の処理手順を示すフローチャートである。
【図５】輝度勾配ベクトルを例示した図である。
【図６】画像処理装置が実行する画像処理の推移を示す説明図である。
【図７】第二実施形態における分離部の機能ブロック図である。
【図８】第三実施形態における分離部の機能ブロック図である。
【発明を実施するための形態】
【００３５】
以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈画像処理システムについて〉
図１に示すように、画像処理システム１は、画像ＰＩを撮像する撮像部５と、撮像部５にて撮像した画像ＰＩに対して画像処理を実行する画像処理装置１０とを備えている。
【００３６】
撮像部５は、複数の画素からなる平面に実空間を投影した画像ＰＩを、撮像素子によって撮像する周知の撮像装置（いわゆるＣＣＤやＣＭＯＳなどの撮像素子と光学レンズ、光学フィルタ、電源等の周辺電子回路からなるカメラ）である。この撮像部５は、実空間上の規定された領域を撮像範囲とした画像ＰＩを撮像する。
【００３７】
なお、本実施形態における画像処理システム１は、例えば、自動車に搭載され、自車の運転者を撮像した結果に基づいて当該運転者をモニタリングするドライバモニタシステムにて利用する画像に対して前処理を実行するシステムとして構成されていても良い。ここで言うドライバモニタシステムによるモニタリングとは、運転者の覚醒度を推定し、その推定した覚醒度が規定閾値以下であるか否かのモニタリングや、運転者の視線の向きなどを推定した結果、当該運転者が脇見運転を実施しているか否かのモニタリングを含むものである。そして、ドライバモニタシステムでは、モニタリングの結果、運転者の覚醒度が規定閾値以下である場合や、運転者が脇見運転を実施しているものと判定した場合には、警告を発するなどの処理を実行しても良い。
【００３８】
また、本実施形態における画像処理システム１は、例えば、自動車に搭載され、当該自動車の周辺を撮像した結果に基づいて認識した自車周辺の状況に従って、自車に搭載された機器を制御する周辺監視システムにて利用する画像に対して前処理を実行するシステムとして構成されていても良い。ここで言う周辺監視システムとしては、例えば、自車の先行車両と自車との位置関係などを自車周辺の状況として認識し、自車と先行車両との衝突回避が不可能となると、シートベルトを巻き上げる周知のプリクラッシュセーフティシステムや、自車の先行車両と自車との位置関係などを自車周辺の状況として認識し、先行車両に追従して自車が走行するよう、パワートレイン機構や制動機構などを制御するアダプティブクルーズコントロールシステムが考えられる。さらに、ここで言う周辺監視システムとして、自車の周辺に存在する人物の状況を自車周辺の状況として認識し、当該人物の行動が不審であれば、自車が盗難されることを防止するように警報などを発する盗難防止システムが考えられる。
〈画像処理装置の構成〉
次に、画像処理装置１０について説明する。
【００３９】
この画像処理装置１０は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶するＲＯＭ１３と、データを一時的に格納するＲＡＭ１５と、ＲＯＭ１３またはＲＡＭ１５に記憶されたプログラムに従って処理を実行するＣＰＵ１７とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。
【００４０】
このうち、ＲＯＭ１３には、撮像部５にて撮像した画像ＰＩに重畳したノイズを低減するように画像処理の一つであるノイズ低減処理を実行する低減処理プログラムが格納されている。
【００４１】
ここで、図２は、画像処理装置１０が低減処理プログラムを実行することで実現される画像処理装置１０の機能ブロックを示した図である。
すなわち、画像処理装置１０は、撮像部５にて撮像された画像ＰＩを取得する取得部２１と、取得部２１にて取得した画像ＰＩを、微細構造画像Ｐｍと、基本構造画像Ｐｂとに分離して、それぞれ（即ち、微細構造画像Ｐｍ及び基本構造画像Ｐｂ）を抽出する分離部２２とを有している。
【００４２】
ここで言う微細構造画像Ｐｍとは、複数の微細構造画素から構成される一枚の画像である。この複数の微細構造画素は、画像ＰＩの空間周波数成分であって、画像ＰＩに投影された物体の細部を表す空間周波数成分（細部信号成分）を有する。ここで言う物体の細部を表す空間周波数成分には、当該画像ＰＩに投影された物体の端部を表すエッジ成分、当該物体の模様や質感を表すテクスチャ成分、及び当該画像に重畳したノイズ成分が含まれる。
【００４３】
また、ここで言う基本構造画像Ｐｂは、複数の基本構造画素から構成される一枚の画像である。この複数の基本構造画素は、画像ＰＩの空間周波数成分であって、細部信号成分以外の周波数成分であり、画像ＰＩに投影された物体の全体構造を表す空間周波数成分（基本信号成分）を有する。
【００４４】
さらに、画像処理装置１０は、分離部２２にて抽出した微細構造画像Ｐｍに含まれるノイズ成分が低減するように、微細構造画像Ｐｍを補正した補正細部画像Ｐｍａを生成する微細画像補正部２３と、分離部２２にて抽出した基本構造画像Ｐｂと、微細画像補正部２３で生成された補正細部画像Ｐｍａとを合成して修正画像ＰＡを生成する加算部２４とを有している。
【００４５】
ここで言う補正細部画像Ｐｍａは、複数の補正微細構造画素から構成される一枚の画像である。この補正微細構造画素は、ノイズ成分が低減するように補正された微細構造画素であり、画像ＰＩに投影された物体の細部を表す空間周波数成分（細部信号成分）のうち、ノイズ成分が低減された空間周波数成分（補正細部信号成分）を有する。
【００４６】
具体的に、本実施形態の分離部２２は、図３に示すように、画像ＰＩの空間周波数成分のうちの低周波成分を抽出する基本構造抽出フィルタ３１と、画像ＰＩの空間周波数成分のうちの高周波成分を抽出する微細構造抽出フィルタ３３とを有している。
【００４７】
すなわち、本実施形態においては、画像ＰＩの低周波画像が基本構造画像Ｐｂとして、画像ＰＩの高周波画像が微細構造画像Ｐｍとして抽出される。
そして、本実施形態においては、これら基本構造抽出フィルタ３１、及び微細構造抽出フィルタ３３のそれぞれに、取得部２１にて取得した画像ＰＩが入力される。すなわち、本実施形態の分離部２２においては、これら基本構造抽出フィルタ３１と、微細構造抽出フィルタ３３とは、互いに独立して動作する。
【００４８】
本実施形態の基本構造抽出フィルタ３１は、画像ＰＩの空間周波数成分のうち、基本構造画素が有するべき上限周波数以下の周波数成分を通過するローパスフィルタとして構成されている。なお、基本構造画素が有するべき上限周波数は、例えば、画像処理装置１０が取得すべき画像ＰＩとして想定される複数種類の画像から実験などによって、予め求めたものであることが好ましい。このように、基本構造抽出フィルタ３１をローパスフィルタとして構成する理由は、物体の全体構造を表す空間周波数成分が、画像ＰＩの空間周波数のうちの低周波成分であるためである。
【００４９】
また、本実施形態における微細構造抽出フィルタ３３は、画像ＰＩの空間周波数成分のうち、微細構造画素が有するべき下限周波数以上の周波数成分を通過するハイパスフィルタとして構成されている。なお、微細構造画素が有するべき下限周波数は、例えば、画像処理装置１０が取得すべき画像ＰＩとして想定される複数種類の画像から実験などによって、予め求めたものであることが好ましい。このように、微細構造抽出フィルタ３３をハイパスフィルタとして構成する理由は、物体の細部を表す空間周波数成分が、画像ＰＩの空間周波数のうちの高周波成分であるためである。
〈ノイズ低減処理について〉
次に、画像処理装置１０が実行するノイズ低減処理について説明する。
【００５０】
このノイズ低減処理は、画像処理システム１が起動される（本実施形態では、イグニッションスイッチがオンされる）と、実行が開始（即ち、起動）されるものであり、以後、フレームごとに繰り返し実行されるものである。
【００５１】
そして、ノイズ低減処理は、図４に示すように、起動されると、まず、撮像部５にて撮像した画像ＰＩを取得する（Ｓ１１０）。続いて、その取得した画像ＰＩを、基本構造抽出フィルタ３１と微細構造抽出フィルタ３３とに適用して、画像ＰＩを、微細構造画像Ｐｍと、基本構造画像Ｐｂとに分離し、それぞれ（即ち、微細構造画像Ｐｍ及び基本構造画像Ｐｂ）を抽出する（Ｓ１２０）。さらに、その抽出した微細構造画像Ｐｍを取得する（Ｓ１３０）。
【００５２】
そして、微細構造画像Ｐｍを構成する全微細構造画素のうち、一つの微細構造画素を着目画素（ｉ，ｊ）とし、その着目画素（ｉ，ｊ）を中心として規定された範囲（以下、基準範囲（いわゆるマスク領域）とする、例えば、５×５や、７×７）に含まれる各微細構造画素の画素値を抽出する（Ｓ１４０）。その着目画素（ｉ，ｊ）についてのベクトル集中度ｖ（ｉ，ｊ）を導出する（Ｓ１５０）。
【００５３】
具体的に、本実施形態のベクトル集中度ｖ（ｉ，ｊ）は、着目画素（ｉ，ｊ）の画素値をｄ（ｉ，ｊ）とし、基準範囲内に存在する着目画素（ｉ，ｊ）以外の画素を対象画素（ｍ，ｎ）とし、その対象画素（ｍ，ｎ）の画素値をｄ（ｍ，ｎ）として、下記（１），（２）式に基づいて導出する。
【００５４】
【数１】
0005488621.tif 000002
【００５５】
ただし、（１）式中のＭは、基準範囲（即ち、マスクサイズ）の大きさを表す。なお、（２）式に示すように、ｉｎｄｅｘ（ｍ，ｎ）は、一つの対象画素（ｍ，ｎ）に対して導出される輝度勾配ベクトルの向きである。本実施形態におけるｉｎｄｅｘ（ｍ，ｎ）は、着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）が、対象画素（ｍ，ｎ）の画素値ｄ（ｍ，ｎ）よりも大きければ、正の基準値（本実施形態では、基準値＝「１」）が設定される。一方、本実施形態におけるｉｎｄｅｘ（ｍ，ｎ）は、着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）が、対象画素（ｍ，ｎ）の画素値ｄ（ｍ，ｎ）よりも小さければ、負の基準値が設定される。さらに、本実施形態におけるｉｎｄｅｘ（ｍ，ｎ）は、着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）が、対象画素（ｍ，ｎ）の画素値ｄ（ｍ，ｎ）に一致すれば、「０」が設定される。
【００５６】
すなわち、輝度勾配ベクトルは、小さい画素値を有する画素から大きい画素値を有する画素へ向くという数学的法則に従って、着目画素と周辺画素との比較の結果、輝度勾配ベクトルが着目画素を向いているか否かで、「−１」／「０」／「１」のいずれかを設定している。
【００５７】
つまり、本実施形態のＳ１５０にて導出されるベクトル集中度ｖ（ｉ，ｊ）は、各対象画素（ｍ，ｎ）の画素値ｄ（ｍ，ｎ）と、着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）との差分によって表される全輝度勾配ベクトルの向き（即ち、ｉｎｄｅｘ（ｍ，ｎ））を集計し、基準範囲の大きさ（対象画素（ｍ，ｎ）の個数）によって正規化（平均）したものである。
【００５８】
なお、（１）式から明らかなように、本実施形態におけるベクトル集中度ｖ（ｉ，ｊ）の値は、「０」から「１」までの範囲内である。
続いて、ノイズ低減処理では、上述したようにＳ１５０にて導出したベクトル集中度ｖ（ｉ，ｊ）が、予め規定された規定閾値α未満であるか否かを判定する（Ｓ１６０）。
【００５９】
ここで、規定閾値αとは、着目画素（ｉ，ｊ）がノイズではなく、エッジやテクスチャを構成する画素であることを表すベクトル集中度ｖの値である。この規定閾値αは、例えば、画像処理装置１０が取得すべき画像ＰＩとして想定される複数種類の画像から実験などによって、予め求めたものである。
【００６０】
このＳ１６０での判定の結果、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α未満であれば（Ｓ１６０：ＹＥＳ）、当該ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）がノイズではないものとして、当該ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）に対して、基準範囲をマスク領域として予め定めた平均値フィルタを適用する（Ｓ１７０）。すなわち、本実施形態のＳ１９０では、ノイズではないものと判定した微細構造画素（着目画素（ｉ，ｊ））に対して平均値フィルタを適用した結果を、補正微細画素とする。
【００６１】
その後、Ｓ２１０へと移行する。
一方、Ｓ１６０での判定の結果、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α以上であれば（Ｓ１６０：ＮＯ）、当該ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β以上であるか否かを判定する（Ｓ１８０）。
【００６２】
ここで、図５（Ａ）は、特定の基準範囲における各画素の画素値を示す図（図中の数値は画素値）であり、図５（Ｂ）は、図５（Ａ）に示す各対象画素の輝度勾配ベクトルを示す図である。また、図５（Ｃ）は、図５（Ａ）とは異なる特定の基準範囲における各画素の画素値を示す図（図中の数値は画素値）であり、図５（Ｄ）は、図５（Ｃ）に示す各対象画素の輝度勾配ベクトルを示す図である。
【００６３】
この図５（Ａ），（Ｂ）に示すように、基準範囲における着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）が、基準範囲内の他の画素（即ち、対象画素）それぞれの画素値ｄ（ｍ，ｎ）よりも大きい場合を想定する。この場合、基準範囲における各対象画素（ｍ，ｎ）の輝度勾配ベクトルは、各対象画素（ｍ，ｎ）から着目画素（ｉ，ｊ）へと向かう方向を有する。このため、ｉｎｄｅｘ（ｍ，ｎ）の合計値は、絶対値が大きな値であり、ベクトル集中度ｖ（ｉ，ｊ）は、基準値（「１」）に近い値となる。
【００６４】
また、図５（Ｃ），（Ｄ）に示すように、基準範囲における着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）が、基準範囲内の他の画素それぞれの画素値ｄ（ｍ，ｎ）よりも小さい場合を想定する。この場合、基準範囲における各対象画素（ｍ，ｎ）の輝度勾配ベクトルは、着目画素（ｉ，ｊ）から各対象画素（ｍ，ｎ）へと向かう方向を有する。このため、ｉｎｄｅｘ（ｍ，ｎ）の合計値は、絶対値が大きな値であり、ベクトル集中度ｖ（ｉ，ｊ）は、基準値（「１」）に近い値となる。
【００６５】
以上説明したように、着目画素（ｉ，ｊ）がノイズである可能性が高い場合には、当該着目画素（ｉ，ｊ）の画素値ｄ（ｉ，ｊ）は、対象画素（ｍ，ｎ）の画素値ｄ（ｍ，ｎ）との相関が低く、ベクトル集中度ｖ（ｉ，ｊ）は、基準値（「１」）に近い値となる。
【００６６】
このため、本実施形態における規定閾値β（ただし、規定閾値β＞規定閾値α）は、着目画素（ｉ，ｊ）がノイズであることを表すベクトル集中度ｖの値であり、基準値（「１」）よりも小さいものの、基準値（「１」）に近い値が予め規定されている。この規定閾値βは、例えば、画像処理装置１０が取得すべき画像ＰＩとして想定される複数種類の画像から実験などによって、予め求めたものである。
【００６７】
ここで、ノイズ低減処理へと戻り、Ｓ１８０での判定の結果、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β以上であれば（Ｓ１８０：ＹＥＳ）、当該ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）がノイズであるものとして、当該ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）に対して、基準範囲をマスク領域として予め定めたメディアンフィルタを適用する（Ｓ１９０）。すなわち、本実施形態のＳ１９０では、ノイズであるものと判定した微細構造画素（着目画素（ｉ，ｊ））に対して、メディアンフィルタを適用することで補正微細画素を生成する。
【００６８】
その後、Ｓ２１０へと移行する。
さらに、Ｓ１８０での判定の結果、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β未満であれば（Ｓ１８０：ＮＯ）、当該ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）が、エッジやテクスチャである可能性があるものとして、Ｓ２１０へと移行する。
【００６９】
すなわち、ベクトル集中度ｖ（ｉ，ｊ）が、規定閾値α以上（Ｓ１６０：ＮＯ）、かつ規定閾値β未満であれば（Ｓ１８０：ＮＯ）、Ｓ１７０やＳ１９０とは異なり、着目画素（ｉ，ｊ）に対してフィルタ処理を実行することなく（Ｓ２００）、Ｓ２１０へと移行する。すなわち、本実施形態のＳ２００では、微細構造画素（着目画素（ｉ，ｊ））そのものを補正微細画素とする。
【００７０】
そのＳ２１０では、Ｓ１１０にて取得した微細構造画像Ｐｍの全微細構造画素（全領域）に対して、Ｓ１４０からＳ２１０のステップを実行したか否かを判定する。そして、このＳ２１０での判定の結果、微細構造画像Ｐｍの全微細構造画素に対してＳ１４０からＳ２１０のステップを実行していなければ（Ｓ２１０：ＮＯ）、Ｓ１４０へと戻る。このとき、Ｓ１４０では、ラスタ走査などによって、Ｘ方向またはＹ方向に１画素ずれた着目画素（ｉ，ｊ）を抽出して、当該着目画素（ｉ，ｊ）を中心とした新たな基準範囲を設定して、Ｓ１５０へと移行する。
【００７１】
一方、Ｓ２１０での判定の結果、微細構造画像Ｐｍの全領域に対してＳ１４０からＳ２１０のステップを実行していれば（Ｓ２１０：ＹＥＳ）、Ｓ２２０へと進む。
このように、微細構造画像Ｐｍに対してＳ１４０からＳ２１０のステップが繰り返し実行されることで、着目画素（ｉ，ｊ）がノイズであれば、当該着目画素（ｉ，ｊ）におけるノイズ成分が低減するように着目画素（ｉ，ｊ）が補正され、補正細部画像Ｐｍａが生成される。
【００７２】
そして、Ｓ２２０では、補正細部画像Ｐｍａと、基本構造画像Ｐｂとを合成して、修正画像ＰＡを生成する。
なお、本実施形態のＳ２２０における修正画像ＰＡの生成は、補正細部画像Ｐｍａの各画素値に合成割合Ｒを乗じた画素値が、基本構造画像Ｐｂの各画素値に、対応する画素ごとに加算されることで実現される。
【００７３】
ただし、合成割合Ｒは、微細構造画像Ｐｍの画素値の合計Ｐ1（下記（３）式参照）を、補正細部画像Ｐｍａの画素値の合計Ｐ2（下記（４）式参照）にて除したもの（Ｒ＝Ｐ1／Ｐ2）である。
【００７４】
【数２】
0005488621.tif 000003
【００７５】
その後、本ノイズ低減処理を終了する。
〈画像処理装置の動作例〉
次に、画像処理装置の動作例について説明する。
【００７６】
図６に示すように、画像処理装置１０では、撮像部５にて撮像した画像ＰＩを取得する。すると、基本構造抽出フィルタ３１と微細構造抽出フィルタ３３とに画像ＰＩを適用して、微細構造画像Ｐｍと、基本構造画像Ｐｂとに分離して、微細構造画像Ｐｍ及び基本構造画像Ｐｂを抽出する。
【００７７】
その微細構造画像Ｐｍにおける微細構造画素ごとに、当該着目画素（ｉ，ｊ）についてのベクトル集中度ｖ（ｉ，ｊ）を導出し、各着目画素（ｉ，ｊ）がノイズであるか否かを判定する。その判定の結果、着目画素（ｉ，ｊ）がノイズであれば、当該着目画素（ｉ，ｊ）に対して、基準範囲をマスク領域としてフィルタ処理を実行して、ノイズ成分を低減させる。
【００７８】
その上で、ノイズ成分が低減された補正細部画像Ｐｍａと、基本構造画像Ｐｂとを合成して、修正画像ＰＡを生成する。
［第一実施形態の効果］
以上説明したように、画像処理装置１０においては、補正細部画像Ｐｍａと基本構造画像Ｐｂとを合成することで、画像全体を修正した修正画像ＰＡを生成するため、その修正画像ＰＡに重畳するノイズ成分は、元来の画像（即ち、原画像）ＰＩに重畳するノイズ成分よりも低減されている。
【００７９】
すなわち、画像処理装置１０によれば、画像ＰＩに重畳するノイズを十分に低減できる。
さらに、画像処理装置１０では、微細構造画像Ｐｍ及び基本構造画像Ｐｂの抽出を、予め用意した基本構造抽出フィルタ３１、及び微細構造抽出フィルタ３３に画像ＰＩを適用することで実現している。よって、画像処理装置１０によれば、画像ＰＩからの微細構造画像Ｐｍ及び基本構造画像Ｐｂの抽出を簡易な手法で実現でき、画像ＰＩを取得してから、微細構造画像Ｐｍ及び基本構造画像Ｐｂを抽出するまでに要する処理量を低減できる。
【００８０】
この結果、画像処理装置１０によれば、画像処理において、画像ＰＩに重畳するノイズを十分に低減しつつ、当該画像ＰＩに重畳するノイズを低減するまでに要する処理量を低減できる。
【００８１】
なお、画像処理装置１０では、着目画素（ｉ，ｊ）がノイズであるか否かの判定を、ベクトル集中度ｖ（ｉ，ｊ）に基づいて実施している。このベクトル集中度ｖ（ｉ，ｊ）の算出は、各輝度勾配ベクトルの向きを基準値（即ち、「１」，「−１」）に設定した上で実施されるため、各輝度勾配ベクトル（即ち、ｉｎｄｅｘ（ｍ，ｎ））の向きによって、ベクトル集中度ｖ（ｉ，ｊ）の値の大きさが決まる。
【００８２】
よって、画像処理装置１０によれば、輝度勾配ベクトルの大きさではなく、向きに基づいてベクトル集中度を算出しているため、低コントラスト画像においても安定してノイズの判定を行うことができる。
【００８３】
なお、画像処理装置１０では、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α以上かつ規定閾値β未満であれば、着目画素（ｉ，ｊ）に何ら処理を加えることがない。これにより、画像処理装置１０によれば、着目画素（ｉ，ｊ）がエッジ成分やテクスチャ成分である場合に、そのエッジ成分やテクスチャ成分を保存することができる。
【００８４】
さらに、画像処理装置１０では、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α未満であれば、基準範囲内の画素値がフラットであるものとして、ベクトル集中度ｖ（ｉ，ｊ）に対応する着目画素（ｉ，ｊ）に対して平均値フィルタを適用する。
【００８５】
これらの結果、画像処理装置１０によれば、ドライバモニタシステムや周辺監視システムにて用いる画像の画質を向上させることができ、ひいては、ドライバモニタシステムや周辺監視システムにおける認識精度を向上させることができる。
［第二実施形態］
次に、本発明の第二実施形態について説明する。
【００８６】
本実施形態の画像処理システムは、第一実施形態の画像処理システム１とは、主として、分離部を実現する処理が異なる。このため、本実施形態においては、第一実施形態と同様の構成及び処理には、同一の符合を付して説明を省略し、第一実施形態とは異なる分離部２２を中心に説明する。
【００８７】
ここで、図７は、本実施形態における分離部２２の機能ブロック図である。
この図７に示すように、本実施形態の分離部２２は、画像ＰＩから、基本構造画像Ｐｂを抽出する基本構造抽出フィルタ３５と、微細構造画像Ｐｍを抽出する微細構造抽出フィルタ３７とを有している。
【００８８】
そして、本実施形態の基本構造抽出フィルタ３５は、第一実施形態の基本構造抽出フィルタ３１と同様に構成されている。
一方、本実施形態の微細構造抽出フィルタ３７は、取得部２１にて取得した画像ＰＩと基本構造画像Ｐｂとの差分を、微細構造画像Ｐｍとして抽出するフィルタである。
【００８９】
より詳しくは、本実施形態の微細構造抽出フィルタ３７では、取得部２１にて取得した画像ＰＩにおける全空間周波数成分から、基本構造画像Ｐｂを構成する基本構造画素によって表される空間周波数成分（基本信号成分）の差分を導出し、その差分（細部信号成分）を微細構造画像Ｐｍとして抽出する。
【００９０】
つまり、本実施形態においては、これら基本構造抽出フィルタ３５、及び微細構造抽出フィルタ３７のそれぞれに、取得部２１にて取得した画像ＰＩが入力される。ただし、基本構造抽出フィルタ３５では、第一実施形態の基本構造抽出フィルタ３１と同様、基本構造画像Ｐｂを直接的に抽出するものの、微細構造抽出フィルタ３７では、画像ＰＩと基本構造画像Ｐｂとの差分を、微細構造画像Ｐｍとして抽出する。
［第二実施形態の効果］
本実施形態の画像処理システムによれば、簡易な手法で、微細構造画像Ｐｍを抽出することができる。
［第三実施形態］
次に、本発明の第三実施形態について説明する。
【００９１】
本実施形態の画像処理システムは、第一実施形態の画像処理システム１とは、主として、分離部を実現する処理が異なる。このため、本実施形態においては、第一実施形態と同様の構成及び処理には、同一の符合を付して説明を省略し、第一実施形態とは異なる分離部を中心に説明する。
【００９２】
ここで、図８は、本実施形態における分離部２２の機能ブロック図である。
この図８に示すように、本実施形態の分離部２２は、基本構造画像Ｐｂを抽出する基本構造抽出フィルタ４１と、微細構造画像Ｐｍを抽出する微細構造抽出フィルタ４３とを有している。
【００９３】
そして、本実施形態の微細構造抽出フィルタ４３は、第一実施形態の微細構造抽出フィルタ３３と同様に構成されている。
一方、本実施形態の基本構造抽出フィルタ４１は、取得部２１にて取得した画像ＰＩと微細構造画像Ｐｍとの差分を、基本構造画像Ｐｂとして抽出するフィルタである。
【００９４】
より詳しくは、本実施形態の基本構造抽出フィルタ４１では、取得部２１にて取得した画像ＰＩにおける全空間周波数成分から、微細構造画像Ｐｍを構成する微細構造画素によって表される空間周波数成分（細部信号成分）の差分を導出し、その差分（基本信号成分）を基本構造画像Ｐｂとして抽出する。
【００９５】
つまり、本実施形態においては、これら基本構造抽出フィルタ４１、及び微細構造抽出フィルタ４３のそれぞれに、取得部２１にて取得した画像ＰＩが入力される。ただし、微細構造抽出フィルタ４３では、第一実施形態の微細構造抽出フィルタ４３と同様、微細構造画像Ｐｍを直接的に抽出するものの、基本構造抽出フィルタ４１では、画像ＰＩと微細構造画像Ｐｍとの差分を、基本構造画像Ｐｂとして抽出する。
［第三実施形態の効果］
本実施形態の画像処理システムによれば、簡易な手法で、基本構造画像Ｐｂを抽出することができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００９６】
例えば、上記実施形態においては、取得部２１，分離部２２，微細画像補正部２３，加算部２４は、マイコンを中心に構成された画像処理装置１０がノイズ低減処理を実行することで実現していたが、取得部２１，分離部２２，微細画像補正部２３，加算部２４は、それぞれ、各機能が得られるように構成された専用の回路によって実現しても良い。つまり、画像処理装置１０は、ノイズ低減処理の機能を得るための専用の回路からなる装置として構成しても良い。
【００９７】
また、上記実施形態においては、着目画素（ｉ，ｊ）に対して実行する処理の内容を、規定閾値α，規定閾値βの２つの閾値に対するベクトル集中度ｖ（ｉ，ｊ）の大小関係にて決定していたが、着目画素（ｉ，ｊ）に対して実行する処理の内容の決定方法は、これに限るものではない。例えば、閾値を規定閾値β一つとし、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β以上であれば、当該着目画素（ｉ，ｊ）がノイズであるものとして、当該着目画素（ｉ，ｊ）に対してメディアンフィルタを適用し、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β未満であれば、当該着目画素（ｉ，ｊ）に対して平均値フィルタを適用しても良い。
【００９８】
さらに、規定閾値の数は２つに限るものではなく、３以上であっても良い。この場合、規定閾値それぞれに対するベクトル集中度ｖ（ｉ，ｊ）の大小関係によって実行する処理内容を変更することが好ましい。
【００９９】
なお、上記実施形態では、着目画素（ｉ，ｊ）がノイズであるか否かの判定を、規定閾値βに対するベクトル集中度ｖ（ｉ，ｊ）の大小関係にて実施していたが、着目画素（ｉ，ｊ）がノイズであるか否かを判定する方法は、これに限るものではない。すなわち、着目画素（ｉ，ｊ）がノイズであるか否かを判定可能であれば、どのような方法であっても良い。
【０１００】
また、上記実施形態における修正画像ＰＡの生成は、補正細部画像Ｐｍａに対して合成割合Ｒを乗じた上で、基本構造画像Ｐｂと合成していたが、修正画像ＰＡを生成する方法は、これに限るものではない。例えば、補正細部画像Ｐｍａに対して合成割合Ｒを乗じることなく、基本構造画像Ｐｂと合成しても良い。
【０１０１】
さらには、上記実施形態のノイズ低減処理では、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α以上である場合（Ｓ１６０：ＮＯ）に、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β以上であるか否かを判定（Ｓ１８０）していたが、これらステップの順序は、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値β未満である場合（Ｓ１８０：ＮＯ）に、ベクトル集中度ｖ（ｉ，ｊ）が規定閾値α未満であるか否かを判定（Ｓ１６０）しても良い。つまり、Ｓ１６０とＳ１８０とは順序が入れ替わっていても良い。
【０１０２】
なお、上記実施形態では、基準値を「１」としたが、基準値は、これに限るものではなく、「２」でも良いし、「１０」でも良いし、「１００」でも良いし、輝度ベクトルの大きさそのものでも良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１０３】
上記実施形態における取得部２１（即ち、ノイズ低減処理におけるＳ１１０）が、特許請求の範囲の記載における画像取得手段に相当し、分離部２２（即ち、ノイズ低減処理におけるＳ１２０）が、特許請求の範囲の記載における画像分離手段に相当する。さらに、上記実施形態における微細画像補正部２３（即ち、ノイズ低減処理におけるＳ１４０〜Ｓ２１０）が、特許請求の範囲の記載における画像補正手段に相当し、加算部２４（即ち、ノイズ低減処理におけるＳ２２０）が、特許請求の範囲の記載における画像合成手段に相当する。
【符号の説明】
【０１０４】
１…画像処理システム  ５…撮像部  １０…画像処理装置  ２１…取得部  ２２…分離部  ２３…微細画像補正部  ２４…加算部  ３１，３５，４１…基本構造抽出フィルタ  ３３，３７，４３…微細構造抽出フィルタ
【図１】
0005488621.tif 000004
【図２】
0005488621.tif 000005
【図３】
0005488621.tif 000006
【図４】
0005488621.tif 000007
【図５】
0005488621.tif 000008
【図７】
0005488621.tif 000009
【図８】
0005488621.tif 000010
【図６】
0005488621.tif 000011