(57)【要約】【課題】ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供すること。【解決手段】撮像手段１０１と、演算器１０２と、メモリ１０３とを構成要素とする画像情報出力手段に具備された、画像のノイズを低減する画像補正装置であって、注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置に基づいて設定し、前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定し、前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正することを特徴とする画像補正装置を構成する。【選択図】    図１
2006339957.tif 000002
【特許請求の範囲】
【請求項１】
画像のノイズを低減する画像補正装置であって、
注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定する相関度設定手段と、
前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定する信頼度設定手段と、
前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正する画素信号値補正手段とを備えることを特徴とする画像補正装置。
【請求項２】
前記画素信号値補正手段は、前記参照領域内に存在する画素の画素信号値の、前記相関度と前記信頼度とを重さとした加重平均値を用いて、前記注目画素の画素信号値を補正することを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記相関度設定手段は、前記参照領域にエッジが存在すると判断するか、前記参照領域にエッジが存在しないと判断するか、または、前記参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備し、
該エッジ関連判断手段によって、前記参照領域にエッジが存在すると判断された場合には、前記注目画素を通りエッジに平行な直線と前記参照領域内に存在する画素との距離に基づいて該画素の前記相関度を設定する第１の設定処理と、
該エッジ関連判断手段によって、前記参照領域にエッジが存在しないと判断された場合には、前記参照領域内の全ての画素の前記相関度として同一の値を設定する第２の設定処理と、
該エッジ関連判断手段によって、前記参照領域にエッジが存在するか否かが判定困難であると判断された場合には、前記注目画素と前記参照領域内の各画素との直線距離に基づき該画素の相関度を設定する第３の設定処理とのうちの少なくとも１つの設定処理を実行することを特徴とする請求項１または２に記載の画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像補正装置に関する。
【背景技術】
【０００２】
従来、画像ノイズの低減方法についての提案がなされている。例えば、下記特許文献１には、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うために、注目画素がエッジに含まれる場合、エッジに沿った楕円形のメディアンフィルタを用いた平滑化処理を実行する方法が記述されている。
【０００３】
【特許文献１】特開２００４−２１４７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の画像ノイズの低減方法においては、ノイズを含む画素を除外せずに補正するので、ノイズが多い画像ではノイズを含む画素の画素信号値が反映されてしまうため、ノイズの除去および低減が困難になる、という問題点があった。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、本発明が解決しようとする課題は、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することである。
【課題を解決するための手段】
【０００６】
画素信号値を補正する対象となっている画素、すなわち、注目画素の近傍に、該補正に用いる画素が存在する参照領域を設定し、さらに、該参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定し、前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定し、前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正することを特徴とする画像補正装置を構成する。
【発明の効果】
【０００７】
本発明の実施によって、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することが可能となる。
【発明を実施するための最良の形態】
【０００８】
本発明に係る画像補正装置は、画像のノイズを低減する画像補正装置であって、注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定する相関度設定手段と、前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定する信頼度設定手段と、前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正する画素信号値補正手段とを備えることを特徴とする。
【０００９】
ここで、「注目画素」は、画素信号値を補正する対象となっている画素を意味し、「参照領域」は、画素信号値が前記注目画素の画素信号値の補正に用いられるような画素が存在する領域を意味し、「画素素子」は、入力信号を個々の画素信号に変換する変換素子を意味し、画素素子と画素とは１対１に対応しているものとし、「感度」は画素素子である変換素子の変換効率を意味している。
【００１０】
このような構成によって、注目画素と補正に用いる画素との相対位置関係に基づく相関度を考慮した補正処理において、注目画素に近い画素、すなわち、注目画素と同じ対象物が撮像されている可能性が高い画素に対して高い相関度を設定することによって、画像中の領域形状を乱すことなく補正ができる。
【００１１】
また、補正に用いる画素の画素信号値の信頼度を、対応する画素素子の感度に基づき、画素素子の感度が高ければその画素の信頼度も高くなるように設定することによって、信頼度が低い画素素子に対応する画素、すなわち、画素素子の感度が低く、大きいノイズが発生し得る画素の画素信号値が、注目画素の補正に反映される程度が弱く、また、感度が高く、ノイズが小さい画素素子に対応する画素の画素信号値が、注目画素の補正に、より強く反映されるようになるため、画素素子の感度が低く、大きいノイズが発生し得る画素数の割合が多い画像であっても、より精度の高い補正を行うことができる。
【００１２】
また、前記相関度および信頼度を共に考慮した補正を行うので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。
【００１３】
以下に、温度画像の時系列画像のノイズ低減を実施の形態例として、本発明を詳細に説明する。本実施の形態例では、温度値（画素素子が出力する画素信号値）にノイズが大きく乗っている画素が多く存在し、且つ画素数が少ない画像の、ノイズ低減を目的とする。
【００１４】
なお、本実施の形態例では温度画像を対象とするが、本発明は、これに限るものではなく、他の２次元画像データのノイズ低減を行う画像補正装置であってもよい。
【００１５】
図１に、本実施の形態例の構成概略図を示す。図において、撮像手段１０１は、本実施の形態例では、電子式遠赤外線カメラであるとするが、その他の撮像手段、例えば、可視光や近赤外線の電子式カメラであってもよい。
【００１６】
メモリ１０３には、撮像手段１０１の各画素素子の感度が記録されている。演算器１０２は、メモリ１０３に記憶された情報に基づき、撮像手段１０１で得られた画像の補正演算を行う。また、不図示の出力手段によって、演算器１０２で補正された画像情報を出力する。
【００１７】
本実施の形態例において、演算器１０２には、上記の相関度設定手段、信頼度設定手段および画素信号値補正手段が具備されている。
【００１８】
さらに、本実施の形態例においては、前記相関度設定手段は、前記参照領域にエッジが存在すると判断するか、前記参照領域にエッジが存在しないと判断するか、または、前記参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備している。ここで、「エッジ」は、画面中の物体像の輪郭を意味する。
【００１９】
前記相関度設定手段は、エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて該画素の前記相関度を設定し、エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定し、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき該画素の相関度を設定する。ここで、「注目画素を通り」は、注目画素の位置を表す点（ここでは、注目画素の中心、すなわち、下記位置座標（ｉａ，ｊａ）で表される点であるとする）を通ることを意味し、「直線と参照領域内に存在する画素との距離」は、参照領域内に存在する画素の位置を表す点（ここでは、注目画素の中心、すなわち、下記位置座標（ｉ，ｊ）で表される点であるとする）から直線に下した垂線の長さを意味する。「注目画素と参照領域内の各画素との直線距離」は、それぞれの画素の位置を表す点の間の直線距離を意味する。
【００２０】
図２から図９に、本実施の形態例の作用を示す。
【００２１】
図２に、本実施の形態例のフローチャートを示す。
【００２２】
処理Ｓ２０１では、所定の事象をトリガーとして処理を開始する。例えば、撮像手段１０１の電源投入時をトリガーとする。なお、トリガーはこれに限るものではない。
【００２３】
処理Ｓ２０２では、撮像手段で撮像した画像をメモリ１０３に取り込む。取り込んだ画像において、画面左上から右方向にｉ番目の画素、下にｊ番目の画素（ｉ，ｊ）における画素信号値をＴｉｊとする。
【００２４】
処理Ｓ２０３では、注目画素を設定する。注目画素の位置座標を（ｉａ，ｊａ）とする。注目画素とは、補正対象の画素のことである。設定方法は、例えば、画面中の全画素を補正する場合には、画面左上端を開始点として、注目画素を順次更新していく。他にも、対応する画素素子の感度が所定の閾値以下である画素のみを補正対象として抽出することも考えられる。なお、注目画素の設定方法は、これらに限定されるものではない。
【００２５】
処理Ｓ２０４では、参照領域を設定する。具体的には、参照領域の幅ＲｘおよびＲｙを設定する。注目画素と参照領域との関係を、図３を用いて説明する。図３の３０１は撮像された取得画像であり、３０２は注目画素であり、３０３は参照領域である。図３に示すように、参照領域の幅ＲｘおよびＲｙとは縦方向および横方向の画素数である。図３の例では、Ｒｘ＝５、Ｒｙ＝７となる。ＲｘおよびＲｙの設定方法は、例えば、予め所定の値をメモリに保存しておいてこれを参照する。
【００２６】
なお、参照領域幅の取得方法はこれに限定されるものではない。例えば、参照領域内に存在すべき有効画素数が予め決まっている場合には、（参照領域内に存在して欲しい有効画素数）／（参照領域の画素数）＝（入力画像全画素中における有効画素数）／（入力画像全画素数）となるように、参照領域の大きさを定めても構わない。なお、ここで言う有効画素とは、対応する画素素子の感度が所定の閾値よりも大きい画素、すなわち、その画素の画素信号値にはノイズがあまり含まれず、画素信号値の信頼性が高いといえる画素のことである。
【００２７】
処理Ｓ２０５では、処理対象の画像が、処理開始から２回目以降に取得した画像であるか判定し、２回目以降であれば処理Ｓ２０６に、１回目であれば処理Ｓ２１６に移行する。
【００２８】
処理Ｓ２０６では、注目画素のエッジ指標を算出する。エッジ指標をＥａとおくと、Ｅａは次式で与えられる。
Ｅａ ＝ Σδｉｊ                                  （式１）
ここで、Σδｉｊは、参照領域に含まれる画素（ｉ，ｊ）（このように、画素を、その位置座標で表す、以下同様）全てについてのδｉｊの総和を表す。また、δｉｊは、下記（式２）で与えられる。
δｉｊ ＝ ０（Ｓｉｊ ＝ −１のとき）
δｉｊ ＝ １（その他のとき）                      （式２）
ここで、Ｓｉｊは、前回の処理周期において、後段の処理Ｓ２１４で求めるエッジ傾き画像の、画素（ｉ，ｊ）における値である。Ｓｉｊ ＝ −１であれば、画素（ｉ，ｊ）はエッジに含まれないことを意味する。Ｓｉｊ ＝ 0〜360 であれば、画素（ｉ，ｊ）は、傾き角度Ｓｉｊ（単位：度）のエッジ成分（エッジ部分に位置する画素）であることを意味する。図４の（ｂ）に、Ｓｉｊのマップ（数値の分布図）の一例を示す。なお、エッジ角度は、画面座標軸におけるｊ方向を0度とし、反時計回り方向を正方向とする（図８参照）。
【００２９】
よって、エッジ指標Ｅａとは、参照領域内に、エッジに含まれる画素が何画素存在するのかを示す値である。図４の（ｂ）の例では、Ｅａ＝１６となる。
【００３０】
エッジ角度画像の求め方については、後述する。
【００３１】
処理Ｓ２０７では、エッジ指標Ｅａが下記（式３）の条件を満たすか判定する。
【００３２】
Ｅａ ＞ ΘＥ                                    （式３）
ここでΘＥは所定の閾値である。条件（式３）を満たせば、これは前記エッジ関連判断手段が参照領域にエッジが存在すると判断した場合であるので、処理Ｓ２０８に移行し、満たさなければ処理Ｓ２１５に移行する。
処理Ｓ２１５では、エッジ指標Ｅａが下記（式４）の条件を満たすか判定する。
【００３３】
Ｅａ ＜ ΘＮ                                    （式４）
ここでΘＮは所定の閾値であり、ΘＥ ＞ ΘＮを満たす値である。条件（式４）を満たせば、これは前記エッジ関連判断手段が参照領域にエッジが存在しないと判断した場合であるので、処理Ｓ２１７に移行し、満たさなければ、これは前記エッジ関連判断手段が参照領域にエッジが存在するか否かが判定困難であると判断した場合であるので、処理Ｓ２１６に移行する。
【００３４】
処理Ｓ２０６、Ｓ２０７、Ｓ２１５の補足説明を行う。対象画像が時系列画像であり、かつ、撮像対象の動きに対して画像取り込み間隔が十分に短いことが保証されている場合には、ある参照領域内にエッジが存在する可能性は、前回取り込んだ画像の同じ参照領域内にエッジ画素（エッジに含まれる画素）が多ければ高くなるし、逆にエッジ画素が少なければ低くなる。つまり、エッジが存在する可能性が十分に高ければ処理Ｓ２０８およびＳ２０９に、エッジの有無の判定が困難な場合には処理Ｓ２１６に、エッジが無いと判断できる場合には処理Ｓ２１７に移行する。
【００３５】
Ｓ２０８およびＳ２０９は、参照領域内にエッジが存在する場合の処理である。  処理Ｓ２０８では、エッジが存在する場合に、エッジ角度も考慮した補正を行うため、参照領域内の平均エッジ傾き角度を算出する。前述した、前回の処理結果で得られたエッジ角度に対し、参照領域内での平均傾き角度θａを求める。θａは下記（式５）で与えられる。
θａ ＝ Σ{(δｉｊ×Ｓｉｊ)}/Σδｉｊ                  （式５）
ここで、Σ{Ｘ｝は、参照領域に含まれる画素（ｉ，ｊ）全てについてのＸの総和を表し、δｉｊは、上記（式２）で与えられる。
【００３６】
処理Ｓ２０９では、参照領域内の各画素（ｉ，ｊ）に対して、距離指標Ｄｉｊ ＝ Ｇ(θａ，ｉ，ｊ）を算出する。ここで、距離指標Ｄｉｊは、注目画素（ｉａ，ｊａ）を通る傾き角度θａの直線と、画素の位置（ｉ，ｊ）との距離（画素の位置（ｉ，ｊ）から該直線に下した垂線の長さ）であり（図５参照）、（式６）で与えられる。
Ｄｉｊ ＝ Ｇ(θａ，ｉ，ｊ)
＝ |(ｉ−ｉａ)ｃｏｓθａ − (ｊ−ｊａ)ｓｉｎθａ|    （式６）
ここに、｜Ｘ｜はＸの絶対値を表す。
【００３７】
処理Ｓ２１６では、エッジの有無が曖昧な場合、すなわち、前記エッジ関連判断手段が参照領域にエッジが存在するか否かが判定困難であると判断した場合に、距離指標Ｄｉｊを算出する処理である。エッジの有無が曖昧であるため、注目画素に近い画素の画素信号値ほど、注目画素の補正後の画素信号値に反映されるように重み付けを行う。距離指標Ｄｉｊは、注目画素と参照領域内の画素（ｉ，ｊ）との距離であり（図６参照）、下記（式７）で与えられる。
Ｄｉｊ ＝ Ｇ(ｉ，ｊ)
＝ ＳＱＲ{(ｉ−ｉａ)２ ＋（ｊ−ｊａ)２}             （式７）
ここに、ＳＱＲ{Ｘ}はＸの平方根を表す。
【００３８】
処理Ｓ２１７は、前記エッジ関連判断手段が参照領域にエッジが存在しないと判断した場合の処理である。エッジが無いため、参照領域内の全画素がほぼ等しい画素信号値を持つと見なすことが出来る。そのため、注目画素の補正に参照領域内のある画素の値を用いるのに際し、注目画素とその画素との距離に応じて、その画素の画素信号値が注目画素の補正後の値に反映される程度を変化させる必要がない。よって、Ｄｉｊを下記（式８）によって算出する。
Ｄｉｊ ＝ １                                            （式８）
処理Ｓ２１０では、参照領域内の各画素について、注目画素との相関度を求める。画素（ｉ，ｊ）の相関度をＲｉｊとすると、本実施の形態例では、Ｒｉｊを次式で与えるものとする。
【００３９】
Ｒｉｊ ＝ β／(Ｄｉｊ＋ｄ）                              （式９）
ここで、βは任意の係数値であり、ｄは０での割算を防ぐための正数である。
なお、相関度の算出法は（式９）に限定されるものではなく、例えば距離指標を変数としたガウス分布に従ってＲｉｊ ＝ ｅｘｐ{−Ｄｉｊ２/２σ｝として算出してもよい。ここでσは、例えばσ ＝ Ｒｘ/４とする。処理Ｓ２１０は、前記相関度設定手段による相関度設定処理に相当する。
【００４０】
このように、注目画素の近傍に傾き角度θのエッジがある場合には、注目画素を通る傾き角度θの直線からの距離が小さいほど、注目画素の補正後の値に反映させる程度を大きくする。この根拠は次の通りである。
【００４１】
エッジが存在する場合には、エッジに垂直な方向の輝度勾配が大きい。逆に、エッジに平行な方向の勾配は小さいため、エッジに平行な直線上の画素の画素信号値はいずれもほぼ等しい値となり得る。つまり、注目画素を通る傾き角度θの直線上の画素信号値は、注目画素とほぼ等しい画素信号値となる。また、エッジに垂直な方向に輝度勾配が発生しているので、エッジから垂直方向に離れていくほど、輝度はエッジ上の値から離れた値をとり得る。つまり、注目画素を通る角度θの直線からの距離が大きいほど、注目画素と離れた値をとり得る。以上の理由から、注目画素の近傍に傾き角度θのエッジがある場合には、注目画素を通る傾き角度θの直線からの距離が小さいほど、補正値に反映させる程度を大きくすることで、補正の精度を向上させることができる。
【００４２】
処理Ｓ２１１では、参照領域内の各画素の信頼度Ｐｉｊを求める。この処理は、前記信頼度設定手段が各画素の信頼度を設定する処理に相当する。ここでは、各画素の信頼度は、各画素に対応する画素素子の感度に基づき算出し、設定する。各画素素子の感度Ｋｉｊは撮像手段１０１に依存した値であり、既知であるとする。この処理Ｓ２１１は、前記信頼度設定手段が各画素の画素信号値の信頼度を設定する処理に相当する。感度Ｋｉｊが所定の閾値ΘＫ以下であれば、信頼度Ｐｉｊ ＝ ０とし、感度Ｋｉｊが所定の閾値ΘＫよりも大きい値であれば、信頼度Ｐｉｊ ＝ α×Ｋｉｊとする。ここでαは任意の係数値であるとする。
【００４３】
上記の信頼度算出方法について、図９を用いて説明する。撮像手段１０１の感度マップを９０１で、感度マップ中の注目画素を９０２、参照領域を９０３で示す。参照領域９０３内の各画素に対応する画素素子の感度値Ｋｉｊは、図９の（ｂ）で与えられたとする。このとき、係数α ＝ １とし、閾値ΘＫ ＝ ５とすると、図９の(ｃ)に示す各画素の信頼度が得られる。
【００４４】
上記相関度および信頼度を求める過程は、相関度設定手段が、注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定し、信頼度設定手段が、参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定することに該当し、
特に、相関度設定手段が、参照領域にエッジが存在すると判断するか、参照領域にエッジが存在しないと判断するか、または、参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備し、該エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて該画素の相関度を設定し、該エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定し、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき該画素の相関度を設定することに該当する。
【００４５】
処理Ｓ２１２では、注目画素の画素信号値を補正する。補正後の値をＴ'とおくと、Ｔ'は下記（式１０）で与えられる。
【００４６】
Ｔ' ＝ Ｆ(Ｒｉｊ，Ｐｉｊ，Ｔｉｊ）                      （式１０）
ここで、本実施の形態例では、（式１０）の右辺の式として下記（式１１）を用いる。
【００４７】
Ｆ(Ｒｉｊ，Ｐｉｊ，Ｔｉｊ）＝ Σ(Ｒｉｊ×Ｐｉｊ×Ｔｉｊ)/Σ(Ｒｉｊ×Ｐｉｊ）（式１１）
ここで、Σ(Ｘ）は、参照領域に含まれる画素（ｉ，ｊ）全てについてのＸの総和を表す。
【００４８】
上記の画素信号値の補正は、画素信号値補正手段が、参照領域内に存在する画素の画素信号値、相関度および信頼度を用いて注目画素の画素信号値を補正することに該当し、特に、画素信号値補正手段が、参照領域内に存在する画素の画素信号値の、相関度と信頼度とを重さとした加重平均値を用いて、注目画素の画素信号値を補正することに該当している。上記の場合には、重さとしてＲｉｊ×Ｐｉｊを用いているが、Ｒｉｊ＋Ｐｉｊを用いてもよいし、さらに一般に、ＲｉｊとＰｉｊとの関数であって、Ｒｉｊが大きくなれば大きくなり、Ｐｉｊが大きくなれば大きくなるようなものを用いてもよい。
【００４９】
処理Ｓ２１３では、補正対象である全ての画素の補正が終了しているか否かを判定する。終了していれば、処理Ｓ２１３に移行する。終了していなければ、処理Ｓ２１７において補正対象である注目画素（ｉａ、ｊａ）を更新し、処理Ｓ２０４に戻る。
【００５０】
ここで、係数αおよびβについて、補足説明を行う。係数αおよびβは、信頼度と相関度との重み付けに相当する。例えば、信頼度が一様に高い画像、すなわち、各画素が含むノイズの大きさが小さい画像であれば、信頼度よりも相関度の重みを上げたいので、係数βの値を大きくすればよい。逆に、信頼度が低い画素の割合が高い画像であれば、相関度よりも信頼度の重みを上げたいので、係数αの値を大きくすればよい。ただし、この場合には、加重平均に用いる重みとして、例えば、Ｒｉｊ＋Ｐｉｊを用いる（Ｒｉｊ×Ｐｉｊを重みとして用いた場合には、αおよびβの大きさは加重平均の結果に無関係となるので）。
【００５１】
処理Ｓ２１４では、エッジ角度画像を設定する。本実施の形態例では、図７に示す縦エッジ検出Ｓｏｂｅｌフィルタおよび横エッジ検出Ｓｏｂｅｌフィルタを用い、エッジ角度を算出する。以下に、その算出方法について、図４を用いて説明する。
【００５２】
ある画素（ｉ，ｊ）の、縦エッジ検出Ｓｏｂｅｌフィルタをかけた値をＳｖｉｊ、横エッジ検出Ｓｏｂｅｌフィルタをかけた値をＳｈｉｊとすると、各々は次式で与えられる。
Ｓｖｉｊ ＝ −Ｔ'ｉ−１，ｊ−１ − ２×Ｔ'ｉ−１，ｊ − Ｔ'ｉ−１，ｊ＋１ ＋ Ｔ'ｉ＋１，ｊ−１ ＋ ２×Ｔ'ｉ＋１，ｊ ＋ Ｔ'ｉ＋１，ｊ＋１    （式１２）
Ｓｈｉｊ ＝ −Ｔ'ｉ−１，ｊ−１ − ２×Ｔ'ｉ，ｊ−１ − Ｔ'ｉ＋１，ｊ−１ ＋ Ｔ'ｉ−１，ｊ＋１ ＋ ２×Ｔ'ｉ，ｊ＋１ ＋ Ｔ'ｉ＋１，ｊ＋１    （式１３）
ここで、Ｔ'ｉ，ｊ
は、補正画像における、画素（ｉ，ｊ）の画素信号値である。
【００５３】
このとき、エッジ角度画像における、画素（ｉ，ｊ）の画素信号値をＳｉｊとすると、Ｓｉｊは次式で与えられる。
【００５４】
Ｓｉｊ ＝ ε×{９０×|Ｓｈｉｊ|}/{|Ｓｖｉｊ|＋|Ｓｈｉｊ|}    （式１４）
ここで、係数εは、次式の条件に従って与えられる。
ε ＝ １（Ｓｈｉｊ×Ｓｖｉｊ＜０のとき）
ε ＝ −１（その他のとき）                          （式１５）
図４の例では、図４の（ｃ）の縦エッジ画像（Ｓｖｉｊのマップ）および図４の（ｄ）の横エッジ画像（Ｓｈｉｊのマップ）を（式１４）、（式１５）に適用することで、図４の（ｂ）に示すエッジ角度画像（Ｓｉｊのマップ）が得られる。
【００５５】
なお、エッジ角度画像の設定方法は、本手法に限定されるものではなく、他の手法を用いて構わない。
【００５６】
処理が終了したら、処理Ｓ２０２に戻り、次の画像の処理に移行する。
【００５７】
本実施の形態例において、注目画素の補正は、信頼度と相関度で加重した平均値を用いて補正するので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。
【００５８】
また、相関度設定手段は、参照領域にエッジが存在する場合には、注目画素を通るエッジの傾き角方向の直線との垂直方向の距離に基づき相関度を設定する、という構成なので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく補正を行うことができる。
【００５９】
また、参照領域内にエッジが存在しない場合には、全ての画素の相関度が等しくなるので、エッジが無い場合には、注目画素との距離に関わらず、信頼性の高い画素の値ほど、注目画素の補正後の値に反映されるため、より精度の高い補正を行うことができる。
【００６０】
また、参照領域にエッジが存在するか否か判定困難な場合には、注目画素と参照領域内の各画素との直線距離に基づき相関度を算出するので、エッジの有無が不明な場合であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。
【００６１】
また、上記の感度とは、画素に発生するノイズの大きさと相関を持つ値のことであって、感度が高い画素素子に対応する画素ほどその画素の画素信号値に発生するノイズの値が低くなる。ノイズとの相関を持つ値を設定できるのであれば、感度マップは任意の手段を用いて取得し、設定して構わない。
【００６２】
なお、本発明の実施形態は、上記の実施の形態例に限定されるものではない。
例えば、画素数が少なく、１画素あたりの空間分解能が低い画像の場合には、エッジの傾きが１画素単位で変化し得るので、エッジ傾き角度に基づく相関度は求め難いため、エッジが存在する場合およびエッジの有無が不明の場合には、注目画素に近い画素の画素信号値ほど注目画素の補正に大きく反映されるように重み付けを行い、エッジが無い場合には、そのような重み付けを行わない実施形態であってもよい。
【００６３】
また、本実施の形態例においては、エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて画素の相関度を設定する第１の設定処理と、エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定する第２の設定処理と、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき画素の相関度を設定する第３の設定処理との全てを実行しているが、上記第１ないし第３の設定処理のうちの少なくとも１つの設定処理を実行するものであってもよい。
【００６４】
また、上述した画素数の大小以外にも、感度が良好でない画素素子に対応する画素数の大小、撮像手段の波長帯（赤外光、可視光等）に応じて、実施の形態を変更してよい。
【００６５】
以上に説明したように、本発明の効果は、特に、ノイズを多く含む画素信号値を持つノイズ画素の割合が高い画像のノイズ補正において発揮される。ただし、もちろんノイズ画素の割合が低い画像においても、本発明に係るノイズ補正は適用可能である。
【図面の簡単な説明】
【００６６】
【図１】実施の形態例の構成概略図である。
【図２】実施の形態例のフローチャートである。
【図３】参照領域設定の説明図である。
【図４】エッジ画像の説明図である。
【図５】エッジが存在する場合の、距離指標の説明図である。
【図６】エッジの有無が不明の場合における、距離指標の説明図である。
【図７】エッジ検出フィルタの説明図である。
【図８】エッジ角度の説明図である。
【図９】信頼度設定の説明図である。
【符号の説明】
【００６７】
１０１：撮像手段、１０２：演算器、１０３：メモリ、３０１：取得画像、３０２：注目画素、３０３：参照領域、９０１：感度マップ、９０２：注目画素、９０３：参照領域。
【図１】
2006339957.tif 000003
【図２】
2006339957.tif 000004
【図３】
2006339957.tif 000005
【図４】
2006339957.tif 000006
【図５】
2006339957.tif 000007
【図６】
2006339957.tif 000008
【図７】
2006339957.tif 000009
【図８】
2006339957.tif 000010
【図９】
2006339957.tif 000011