(57)【特許請求の範囲】
【請求項１】
処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理部と、
前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出部と、
複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出部と、
前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理部により間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出部と、
前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出部または前記第２補正候補値算出部により算出された前記補正候補値に基づいて補正する補正部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象画像から所定の周波数以下の低周波成分を抽出する低周波成分抽出部をさらに備え、
前記間引き処理部は、前記対象画像の前記低周波成分の前記画素を間引いて、前記間引き画像を得ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１補正候補値算出部は、前記複数の類似画素の画素値の平均値を前記補正候補値として算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象画素の前記補正候補値に基づいて、前記対象画素の前記対象画素値と前記補正候補値の重み係数を算出する重み係数算出部をさらに備え、
前記補正部は、前記対象画素値と前記補正候補値とを前記重み係数で加重して加算することにより、前記対象画素値を補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記対象画素の前記補正候補値と、前記対象画素に対する複数の前記類似画素のノイズ分散値の関係を示すノイズ分散推定関数を記憶する関数記憶部と、
前記補正候補値と前記ノイズ分散推定関数とに基づいて、前記対象画素の前記ノイズ分散値を算出するノイズ分散値算出部と
をさらに備え、
前記重み係数算出部は、前記ノイズ分散値に基づいて前記重み係数を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記類似画素抽出部により前記間引き画像中の各画素に対して抽出された複数の前記類似画素の前記画素値の二乗平均を算出する二乗平均算出部と、
前記間引き画像中の各画素の前記二乗平均に基づいて、前記間引き画像中の各画素の前記画素値の画素分散値を算出する第１画素分散値算出部と、
前記間引き画像中の各画素に対して算出された複数の前記画素分散値に基づいて、前記間引き処理部により間引かれた前記画素に対する画素分散値を算出する第２画素分散値算出部と
をさらに備え、
前記重み係数算出部は、前記ノイズ分散値と前記画素分散値とに基づいて、前記重み係数を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記類似画素抽出部により前記間引き画像中の各画素に対して抽出された複数の前記類似画素の前記画素値の二乗平均値を算出する第１二乗平均算出部と、
前記間引き画像中の各画素に対して算出された複数の前記二乗平均値に基づいて、前記間引き処理部により間引かれた前記画素に対する複数の前記類似画素の前記画素値の二乗平均値を算出する第２二乗平均算出部と、
前記第１二乗平均算出部または前記第２二乗平均算出部により、前記対象画素に対して算出された前記二乗平均値に基づいて、前記対象画素に対する複数の前記類似画素の前記画素値の画素分散値を算出する画素分散値算出部と
をさらに備え、
前記重み係数算出部は、前記ノイズ分散値と前記画素分散値とに基づいて、前記重み係数を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
画像を撮像する撮像部と、
請求項１に記載の画像処理装置と
を備えることを特徴とする撮像装置。
【請求項９】
前記対象画素の前記補正候補値と、前記対象画素に対する複数の前記類似画素のノイズ分散値の関係を示すノイズ分散推定関数を、前記撮像部に設定され撮像条件に対応付けて複数記憶する関数記憶部と、
前記撮像部に設定されている前記撮像条件または外部から入力された前記撮像条件を取得する取得部と、
前記関数記憶部において、前記取得部が取得した前記撮像条件に対応付けられている前記ノイズ分散推定関数を選択する関数選択部と、
前記関数選択部により選択された前記ノイズ分散推定関数と、前記補正候補値とに基づいて、前記対象画素の前記ノイズ分散値を算出するノイズ分散値算出部と、
前記ノイズ分散値に基づいて、前記対象画素の前記対象画素値と前記補正候補値の重み係数を算出する重み係数算出部と
をさらに備え、
前記補正部は、前記対象画素値と前記補正候補値とを前記重み係数で加重して換算することにより、前記対象画素値を補正することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像条件は、ＩＳＯ感度であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記対象画像は、カラー画像であって、
前記補正部は、前記対象画素の前記対象画素値と前記補正候補値の差分を所定の色空間における第１特定方向に射影し、前記第１特定方向に射影された前記対象画素値と前記補正候補値とを前記重み係数で加重して加算することにより、前記対象画素値を前記第１特定方向上の値に補正することを特徴とする請求項４に記載の画像処理装置。
【請求項１２】
前記第１特定方向は、カラー画像の各色の比率が前記補正候補値の各色の比率と同一となる値を通る方向であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１特定方向は、輝度が変化する方向であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記対象画素の前記対象画素値に対する複数の類似画素の画素値およびノイズの分散共分散に基づいて、前記第１特定方向である最大分散方向を算出する第１特定方向算出部をさらに備え、
前記補正部は、前記第１特定方向算出部により算出された前記第１特定方向を用いて前記対象画素値を補正することを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】
前記対象画像は、分光画像であって、
前記補正部は、前記対象画素の前記対象画素値と前記補正候補値の差分を前記分光画像における第２特定方向に射影し、前記第２特定方向に射影された前記対象画素値と前記補正候補値とを前記重み係数で加重して加算することにより、前記対象画素値を前記第２特定方向上の値に補正することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記対象画素の前記対象画素値に対する複数の類似画素の画素値およびノイズの分散共分散に基づいて、前記第２特定方向である最大分散方向を算出する第２特定方向算出部をさらに備え、
前記補正部は、前記第２特定方向算出部により算出された前記第２特定方向を用いて前記対象画素値を補正することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
画像処理装置で実行される画像処理方法であって、
処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理ステップと、
前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出ステップと、
複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出ステップと、
前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理ステップにおいて間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出ステップと、
前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出ステップまたは前記第２補正候補値算出ステップにおいて算出された前記補正候補値に基づいて補正する補正ステップと
を含むことを特徴とする画像処理方法。
【請求項１８】
コンピュータを、
処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理部と、
前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出部と、
複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出部と、
前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理部により間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出部と、
前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出部または前記第２補正候補値算出部により算出された前記補正候補値に基づいて補正する補正部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやスキャナ等の撮像機器により撮影された画像には、撮像素子及び回路の特性上、ショットノイズや暗電流ノイズなどのノイズが含まれている。これらの撮影画像から高画質の画像を得るためには、画像中のノイズを低減することが必要となる。しかし、ノイズを低減するために単純にローパスフィルタを用いると、エッジなど人間が画像を知覚する上で重要な要素も同時に失われ、画質が劣化してしまう。そこで、画像の領域の特性に応じて、適応的にノイズ低減を行うことが必要となる。
【０００３】
そのようなノイズ低減技術の一つとして、εフィルタやバイラテラルフィルタが考案されている（非特許文献１，２参照）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することができる（非特許文献１参照）。
【０００４】
バイラテラルフィルタもεフィルタ同様、エッジの保存とノイズ低減を両立させることができる（非特許文献２参照）。バイラテラルフィルタは、注目画素との信号差及び空間距離によってフィルタの重み係数を作成しフィルタ処理を行う方法である。なお、バイラテラルフィルタに準ずる原理によるノイズ低減は他にも提案されている（例えば、特許文献１，２，３，４参照）。
【０００５】
また、特許文献５には、カラー画像に対する信号依存性のノイズ低減を、セグメンテーション等の反復処理を行うことなく、実現する技術が開示されている。これは、εフィルタに準ずる原理で、注目画素周辺の類似画素群を選択し、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させるものである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のノイズ低減処理は、処理コストが大きいことが問題となっていた。例えば、特許文献５に開示された処理は、画像中のすべての画素位置において、フィルタ演算を行う必要があり、計算コストは決して低くない。また、非特許文献３には、カラー画像における信号依存性のノイズの低減技術が提案されているが、この方法は画像のセグメンテーション、統計量の算出に多大な処理コストがかかってしまう。
【０００７】
本発明は、上記に鑑みてなされたものであって、画像のノイズ低減処理における処理コストを低減することのできる画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理部と、前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出部と、複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出部と、前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理部により間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出部と、前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出部または前記第２補正候補値算出部により算出された前記補正候補値に基づいて補正する補正部とを備えることを特徴とする。
【０００９】
また、本発明は、画像処理装置で実行される画像処理方法であって、処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理ステップと、前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出ステップと、複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出ステップと、前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理ステップにおいて間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出ステップと、前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出ステップまたは前記第２補正候補値算出ステップにおいて算出された前記補正候補値に基づいて補正する補正ステップとを含むことを特徴とする。
【００１０】
また、本発明は、コンピュータを、処理対象の対象画像から画素を間引いて、前記対象画像に比べて画素数の少ない間引き画像を得る間引き処理部と、前記間引き画像に含まれる画素のうち処理対象となる注目画素を含む領域から前記注目画素との類似度が第１閾値以上の類似画素を抽出する類似画素抽出部と、複数の前記類似画素の画素値に基づいて、画素値の補正に利用する補正候補値を算出する第１補正候補値算出部と、前記間引き画像に含まれる各画素に対して算出された複数の前記補正候補値に基づいて、前記間引き処理部により間引かれた前記画素に対する補正候補値を算出する第２補正候補値算出部と、前記対象画像中の補正対象となる対象画素の対象画素値を、前記対象画素に対して前記第１補正候補値算出部または前記第２補正候補値算出部により算出された前記補正候補値に基づいて補正する補正部として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、画像のノイズ低減処理における処理コストを低減することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１の実施の形態にかかる撮像装置の全体構成を示すブロック図である。
【図２】図２は、ノイズ低減処理を行う画像処理部の機能構成を示すブロック図である。
【図３】図３は、ダウンサンプリング部の処理を説明するための図である。
【図４】図４は、ウインドウを説明するための図である。
【図５】図５は、類似画素を抽出する処理を説明するための図である。
【図６】図６は、アップサンプリング部の処理を説明するための図である。
【図７】図７は、推定関数を示す図である。
【図８】図８は、画素値とノイズ分散値の関係をプロットしたグラフを示す図である。
【図９】図９は、画像処理部によるノイズ低減処理を示すフローチャートである。
【図１０】図１０は、第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。
【図１１】図１１は、第２の実施の形態にかかる画像処理部によるノイズ低減処理を示すフローチャートである。
【図１２】図１２は、第３の実施の形態にかかる画像処理部によるノイズ低減処理を示すフローチャートである。
【図１３】図１３は、ユークリッド距離の算出処理を説明するための図である。
【図１４】図１４は、特定方向ｅを説明するための図である。
【図１５】図１５は、ベイヤー配列型の画像データを示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、画像処理装置、撮像装置、画像処理方法およびプログラムの実施の形態を詳細に説明する。
【００１４】
（第１の実施の形態）
図１は、第１の実施の形態にかかる撮像装置１の全体構成を示すブロック図である。撮像装置１の具体例としてはデジタルカメラが挙げられる。撮像装置１は、像を撮影する撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１８と、撮像装置１全体を制御する主制御部１７と、画像データを記憶するフレームメモリ１９と、各種機器と接続するＩ／Ｆ（インターフェース）２１とを備えている。Ｉ／Ｆ２１には、ユーザからの入力を受け付ける入力部２２と、画像等を表示する表示部２３と、画像データを保存したり画像データを読み出すための外部メモリ２４と、記憶媒体２６を装着するメモリカード装着部２５とが接続されている。
【００１５】
撮像部１１は、レンズ１２と、絞り１３と、電子シャッター１４と、光電変換素子１５と、前処理部１６とを有する。光電変換素子１５は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ)である。撮像部１１は不図示のカラーフィルタ（原色系又は補色系のいずれでもよい）を有し、例えばセル状に配列されたＲ、Ｇ、Ｂ各色毎に１つの光電変換素子１５が配置されている。前処理部１６は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理やＡ／Ｄ変換器を備えており、光電変換素子１５により出力されたアナログ映像信号に対して増幅・クランプ等の前処理を施した後、アナログ映像信号をデジタル映像信号に変換する。
【００１６】
信号処理部１８は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等を有し、撮像部１１から得られたデジタル信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。信号処理部１８は処理した画像データをフレームメモリ１９に格納したり、格納した画像データをフレームメモリ１９から読み出し、読み出した画像データに対してノイズ低減などの画像処理を施す。
【００１７】
フレームメモリ１９は、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであり、画像データ等を記憶する。フレームメモリ１９から読み出された画像データは、信号処理部１８において画像圧縮等の信号処理が施された後、Ｉ／Ｆ２１を介して外部メモリ２４又はメモリカード装着部２５に装着された記憶媒体２６に記憶される。
【００１８】
外部メモリ２４は、フラッシュメモリ等の不揮発メモリであり、記憶媒体２６はＵＳＢメモリ、ＳＤメモリカード、光磁気ディスクなどの脱着可能な可搬型の不揮発メモリである。
【００１９】
なお、撮像装置１は、さらに通信ユニット（不図示）を備え、外部メモリ２４等に記憶されている画像データをサーバ等に送信してもよい。また、撮像装置１は、通信ユニットを介して、サーバ等から画像データを受信し、外部メモリ２４等に記憶してもよい。この場合、通信ユニットは、携帯電話網や無線／有線ＬＡＮ網に接続して、画像データを送受信する。
【００２０】
表示部２３は、フレームメモリ１９、外部メモリ２４または記憶媒体２６から読み出された画像データ等を表示する。表示部２３は、液晶ディスプレイや有機ＥＬディスプレイ等であり、撮像装置１の筐体に設置されている。表示部２３は入力部２２としてのタッチパネルを一体に有する。入力部２２は、タッチパネルと、筐体に設けられたキーボードにおけるユーザの操作を受け付ける。
【００２１】
主制御部１７および信号処理部１８は、マイコンやＬＳＩなどを有している。マイコンは、主にＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、ＡＳＩＣ等がバスで接続されたコンピュータを実体とし、ＥＥＰＲＯＭに記憶されたノイズ低減プログラム２０をＣＰＵが実行することで、以下で説明するノイズ低減処理が画像データに施される。
【００２２】
ノイズ低減プログラム２０は、予め、主制御部１７としてのＥＥＰＲＯＭに記憶された状態で撮像装置１と共に出荷される。記憶媒体２６にノイズ低減プログラム２０を記憶させて配布し、Ｉ／Ｆ２１を介してノイズ低減プログラム２０を主制御部1７としてのＥＥＰＲＯＭに読み込むことも可能である。また、ネットワークを介してノイズ低減プログラム２０をＥＥＰＲＯＭにダウンロードすることも可能である。
【００２３】
図２は、ノイズ低減処理を行う画像処理部１００の機能構成を示すブロック図である。画像処理部１００は、図１に示す主制御部１７、信号処理部１８、フレームメモリ１９およびノイズ低減プログラム２０により実現される。画像処理部１００は、撮像部１１により得られた画像や、フレームメモリ１９等に記憶された画像を処理対象とし、処理対象となる対象画像に対するノイズ低減処理を行う。なお、本実施の形態にかかる画像処理装置１００は、１つの画素が輝度成分のみを有するグレースケール画像を処理対象とし、信号値すなわち画素値に依存して生じるノイズを低減するノイズ低減処理を行う。
【００２４】
なお、他の例としては、ＡＳＩＣ等のハードウェアによりノイズ低減処理を行う画像処理部１００を実装してもよい。
【００２５】
画像処理部１００は、ダウンサンプリング部１０１と、類似画素抽出部１０２と、平均値算出部１０３と、アップサンプリング部１０４と、推定関数選択部１０５と、ノイズ分散値算出部１０６と、重み係数算出部１０７と、補正部１０８とを備えている。
【００２６】
ダウンサンプリング部１０１は、フレームメモリ１９等から処理対象となる対象画像としてのグレースケール画像を取得する。なお、対象画像は、撮像部１１により撮像された画像の他、記憶媒体２６に記憶された画像などであってもよい。ダウンサンプリング１０１は、対象画像中の画素を所定間隔で間引くことにより、対象画像に比べて画素数の少ないダウンサンプリング画像を得る。
【００２７】
図３は、ダウンサンプリング部１０１の処理を説明するための図である。図３に示すように、ダウンサンプリング部１０１は、まず、対象画像に対しローパスフィルタを適用する。これにより、対象画像から所定の周波数以下の低周波成分が抽出される。すなわち、ダウンサンプリング部１０１は、低周波成分抽出部として機能する。
【００２８】
ダウンサンプリング部１０１は、ローパスフィルタ適用後の対象画像の画素を所定間隔で間引き、ダウンサンプリング画像を得る。すなわち、ダウンサンプリング部１０１は、対象画像に比べて画素数の少ないダウンサンプリング画像（間引き画像）を得る間引き処理部として機能する。なお、図３においては、説明の便宜上１次元に配置された画素値を示しているが、ダウンサンプリング部１０１は、対象画像の水平方向および垂直方向の二方向に対して、ダウンサンプリングを行う。なお、図３に示す例においては、ローパスフィルタ（１２１）／４を適用することにより画素値を平滑化し、さらに対象画像の１／２の画素数に間引いている。
【００２９】
このように、本実施の形態にかかるダウンサンプリング部１０１は、ダウンサンプリングを行う前に、対象画像に対しローパスフィルタを適用し、対象画像を平滑化するので、エイリアシングの発生を防止し、ダウンサンプリング画像のノイズレベルを低減することができる。
【００３０】
図２に戻り、類似画素抽出部１０２は、ダウンサンプリング部１０１により得られたダウンサンプリング画像から注目画素を選択する。類似画素抽出部１０２は、例えばラスタ走査等の走査方法を用いて、ダウンサンプリング画像からすべての画素を順次注目画素として選択する。
【００３１】
類似画素抽出部１０２は、さらに対象画像において、注目画素を中心とするウインドウを設定する。図４は、ウインドウを説明するための図である。ウインドウ３２は、対象画像３０のうち、注目画素３１を中心とする所定のサイズの矩形領域である。図４に示すウインドウ３２は、５×５画素のウインドウである。なお、ウインドウは、注目画素を含む領域であればよく、ウインドウの形状およびサイズは実施の形態に限定されるものではなく、ウインドウの形状およびサイズは、任意に設定することができる。
【００３２】
類似画素抽出部１０２は、ウインドウ内の各画素と注目画素の類似度が所定の閾値以上となる類似画素を抽出する。類似画素抽出部１０２は、具体的には、各画素の画素値と注目画素の画素値の差分値の絶対値（絶対差分値）を算出し、この絶対差分値が閾値以下の画素を、注目画素との類似度が閾値以上の類似画素として抽出する。図５は、類似画素を抽出する処理を説明するための図である。図５においては、絶対差分値が３０以下の画素を類似画素として抽出する例を示している。以下、類似画素抽出部１０２により注目画素に対して抽出された複数の類似画素を類似画素群と称することとする。
【００３３】
図２に戻り、平均値算出部１０３は、類似画素抽出部１０２により抽出された類似画素群の画素値の平均値を算出する。平均値算出部１０３により算出された平均値は、対象画像のノイズを低減すべく注目画素の画素値を補正する処理（後述）において用いられる値、すなわち補正候補値である。すなわち、平均値算出部１０３は、注目画素の画素値の補正に利用する補正候補値を算出する第１補正候補値算出部として機能する。
【００３４】
なお、本実施の形態にかかる画像処理部１００においては、類似画素群の平均値を補正候補値として用いるが、画像候補値は、例えば類似画素群の二乗平均値や標準偏差など類似画素群の画素値に基づいて定まる値であればよく類似画素群の平均値に限定されるものではない。
【００３５】
なお、本実施の形態の画像処理部１００は、補正候補値として、注目画素の周辺のすべての画素の平均値を用いるのではなく、注目画素に対して抽出された類似画素のみの平均値を用いるので、例えばエッジ領域のように画素値が急峻に変化する部分の影響を受けない値（平均値）を補正候補値として算出することができる。
【００３６】
アップサンプリング部１０４は、ダウンサンプリング画像の各画素に対し、平均値算出部１０３により算出された平均値をアップサンプリングすることにより、ダウンサンプリングにより間引かれた画素に対する類似画素群の平均値、すなわち補正候補値を得る。アップサンプリング部１０４はさらにダウンサンプリング画像の各画素に対して得られた平均値と、間引かれた画素に対する平均値とに対しローパスフィルタを適用することにより、対象画像の各画素に対して得られた平均値を平滑化する。
【００３７】
図６は、アップサンプリング部１０４の処理を説明するための図である。図６に示す例においては、アップサンプリング部１０４は、まず平均値算出部１０３により算出されたダウンサンプリング画像の各画素に対する平均値の間に値「０」を挿入することにより、２倍にアップサンプリングする。続いて、アップサンプリング部１０４は、アップサンプリング後の平均値に対してローパスフィルタを適用することにより平滑化する。これにより、間引かれた画素に対する平均値が算出される。なお、図６に示す例においては、ローパスフィルタ（１２１）／２が適用されている。すなわち、アップサンプリング部１０４は、ダウンサンプリング部１０１により間引かれた画素に対する平均値を補正候補値として算出する第２補正候補値算出部として機能する。
【００３８】
なお、上述のアップサンプリング部１０４の処理は、ダウンサンプリング画像中の画素の平均値を線形補間するのと同等の処理であり、他の例としては、アップサンプリング部１０４は、上述の処理にかえて、ダウンサンプリング画像中の画素の平均値を線形補間することにより、間引かれた画素に対する平均値を算出してもよい。このように、アップサンプリング部１０４は、ダウンサンプリング画像中の画素の平均値に基づいて間引かれた画素に対する平均値を算出すればよく、具体的な処理は実施の形態に限定されるものではない。
【００３９】
また、図６においては、説明の便宜上１次元において平均値をアップサンプリングする例を示したが、アップサンプリング部１０４は、対象画像の垂直方向および水平方向のそれぞれについてアップサンプリングおよび平滑化の処理を行う。
【００４０】
図２に戻り、推定関数記憶部１１０は、平均値からノイズ分散値を推定する推定関数を記憶している。ここで、ノイズ分散値とは、対象画像中の画素のうち補正対象となる対象画素に対して得られた類似画素群のノイズの分散である。推定関数記憶部１１０は具体的には、図１に示すフレームメモリ１９、外部メモリ２４等の記憶手段により実現される。
【００４１】
図７は、推定関数を示す図である。このように、推定関数は、平均値（μ）が増加するに連れてノイズ分散値（τ２）が増加するような関数である。
【００４２】
ここで、ノイズ分散値について説明する。一般にＣＣＤやＣＭＯＳ等により撮像した画像に現れるショットノイズにおいては、ノイズの大きさは、信号値（画素値）に依存する。図８は、画素値とノイズ分散値の関係の一例をプロットしたグラフを示す図である。
【００４３】
図８に示すように、画素値とノイズ分散値の相関は高い。そこで、プロットの回帰により画素値からノイズ分散を良好な精度で推定することができる。ただし、真の画素値はノイズ低減画像からは分からない。そこで、本実施の形態にかかる撮像装置１においては、画素値にかえて類似画素群の平均値（μ）からノイズ分散値（τ２）を算出することとする。具体的には、図７に示すような推定関数を予め設定し、これを推定関数記憶部１１０に記憶しておく。なお、ノイズの大きさは、画像撮像時のＩＳＯ感度などの撮像条件に応じて変化する。そこで、推定関数記憶部１１０には、撮像条件に対応付けて推定関数を記憶しておくこととする。すなわち、推定関数記憶部１１０は、撮像条件に対応付けられた複数の推定関数を記憶する。
【００４４】
推定関数は、具体的には、各撮像条件下でパッチ画像の撮像を行い、パッチ上の信号値のばらつきをノイズとみなし、得られた信号値に最小二乗法を適用することにより同定することができる。
【００４５】
推定関数選択部１０５は、対象画像の撮像時の撮像条件に基づいて、推定関数記憶部１１０から撮像条件に対応付けられている推定関数を選択する。推定関数選択部１０５は、対象画像が撮像部１１により得られた画像である場合には、撮像部１１から撮像を取得する。また、対象画像がメモリに記憶された画像である場合には、画像とともに記憶されている撮像条件情報を取得する。
【００４６】
図２に戻り、ノイズ分散値算出部１０６は、推定関数選択部１０５により選択された推定関数を用いて、アップサンプリング部１０４により得られた、対象画像中の各画素に対する平均値（μ）に基づいて、各画素のノイズ分散値（τ２）を算出する。
【００４７】
なお、本実施の形態にかかるノイズ分散値算出部１０６は、推定関数により平均値（μ）からノイズ分散値（τ２）を算出することとしたが、他の例としては、推定関数にかえて推定関数と同様に平均値（μ）からノイズ分散値（τ２）を特定するためのルックアップテーブルを用いることとしてもよい。ルックアップテーブルにおいては、平均値（μ）とノイズ分散値（τ２）とが対応付けられているものとする。
【００４８】
重み係数算出部１０７は、対象画像に含まれる画素のうち補正対象となる対象画素に対して平均値算出部１０３またはアップサンプリング部１０４により得られた平均値（μ）と、対象画素に対してノイズ分散値算出部１０６により得られたノイズ分散値（τ２）とに基づいて重み係数を算出する。ここで、重み係数とは、後述の補正部１０８により補正対象となる対象画素の画素値の補正に用いられる係数である。具体的には、（式１）により重み係数（ｗ）を算出する。
【数１】
0006024107.tif 000002
ここで、αは、任意の設計パラメータである。
【００４９】
補正部１０８は、対象画素の画素値と、対象画素に対して平均値算出部１０３またはアップサンプリング部１０４により得られた平均値（μ）との加重加算を行う。そして、補正部１０８は、対象画素の画素値を加重加算により得られた補正値に置換することにより、対象画素の画素値を補正する。
【００５０】
具体的には、補正部１０８は、（式２）により補正値を算出する。
【数２】
0006024107.tif 000003
ここで、ｘは補正値、ｙは対象画素の画素値である。式（２）に示すように、補正値ｘは、重み係数（ｗ）が１に近づくほど平均値（μ）に近い値となり、重み係数（ｗ）が０に近づくほど対象画素の元の画素値ｙに近い値となる。
【００５１】
これに対し、上述の重み係数算出部１０７は、（式１）により、平坦な領域やノイズの多い領域、すなわちノイズ分散（τ２）が大きい領域においては、重み係数として比較的大きい値（１に近い値)を算出する。したがって、補正部１０８は、対象画素の対象画素値を平均値に近い補正値に補正することとなり、より多くのノイズを低減することができる。
【００５２】
一方、重み係数算出部１０７は、（式１）により、テクスチャのある領域やノイズの少ない領域、すなわちノイズ分散が小さい領域においては、重み係数（ｗ）として小さい値（０に近い値）を算出する。したがって、補正部１０８は、対象画素の対象画素値を元の画素値（ｙ）に近い補正値に補正することとなり、微細な信号成分を残すことができる。このように加重加算を用いることで、対象画像の局所領域の特性に合わせた適応的なノイズ低減が可能となる。
【００５３】
補正部１０８は、対象画像中のすべての画素に対して補正値を算出し、対象画像中のすべての画素の画素値を算出した補正値で置換することにより、ノイズ低減画像を得て、このノイズ低減画像を出力する。
【００５４】
図９は、画像処理部１００によるノイズ低減処理を示すフローチャートである。ノイズ低減処理においては、画像処理部１００のダウンサンプリング部１０１は、フレームメモリ１９等の記憶手段からノイズ低減処理の対象となる対象画像を取得する（ステップＳ１００）。次に、ダウンサンプリング部１０１は、ローパスフィルタを用いて低周波成分を抽出し、さらに対象画像の画素を所定間隔で間引くことによりダウンサンプリング画像を得る（ステップＳ１０１）。
【００５５】
次に、類似画素抽出部１０２は、ダウンサンプリング画像から注目画素を選択する（ステップＳ１０２）。次に、類似画素抽出部１０２は、注目画素に対してウインドウを設定し、ウインドウ内の各画素の画素値と注目画素の画素値の差分絶対値が閾値以下となる画素、すなわち注目画像との類似度が閾値以上となる複数の画素を類似画素群として抽出する（ステップＳ１０３）。次に、平均値算出部１０３は、類似画素群の画素値の平均値（μ）を算出する（ステップＳ１０４）。
【００５６】
ダウンサンプリング画像中のすべての画素が注目画素として選択されていない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０２に戻り、類似画素抽出部１０２は、ダウンサンプリング画像中の他の画素を注目画素として選択する（ステップＳ１０２）。ステップＳ１０５において、ダウンサンプリング画像中のすべての画素に対しステップＳ１０２〜ステップＳ１０４の処理が完了した場合には（ステップＳ１０５，Ｙｅｓ）、アップサンプリング部１０４は、ダウンサンプリング画像中の各画素に対して得られた複数の平均値（μ）に対しアップサンプリングおよび平滑化を施す（ステップＳ１０６）。これにより、対象画像のうちダウンサンプリング部１０１により間引かれた画素に対する平均値（μ）が算出される。
【００５７】
次に、ノイズ分散値算出部１０６は、対象画像から補正処理の対象となる対象画素を選択する（ステップＳ１１１）。次に、ノイズ分散値算出部１０６は、対象画素に対して平均値算出部１０３またはアップサンプリング部１０４により算出された平均値（μ）に基づいて、ノイズ分散値（τ２）を算出する（ステップＳ１１２）。このとき、推定関数選択部１０５は、推定関数記憶部１１０において、対象画像の撮像条件に対応付けられている推定関数を選択する。そして、ノイズ分散値算出部１０６は、選択された推定関数と対象画素の平均値（μ）とに基づいて、ノイズ分散値（τ２）を算出する。
【００５８】
次に、重み係数算出部１０７は、（式１）により、対象画素の平均値とノイズ分散値とに基づいて重み係数（ｗ）を算出する（ステップＳ１１３）。次に、補正部１０８は、対象画素の重み係数（ｗ）を用いて（式２）により対象画素の画素値（ｙ）と対象画素の平均値（μ）とを加重加算し、補正値（ｘ）を算出する（ステップＳ１１４）。次に、補正部１０８は、対象画素の画素値を補正値（ｘ）で置換する（ステップＳ１１５）。
【００５９】
対象画像中のすべての画素が対象画素として選択されていない場合には（ステップＳ１１６，Ｎｏ）、ステップＳ１１１に戻り、ノイズ分散値算出部１０６は、対象画像中の他の画素を対象画素として選択する（ステップＳ１１１）。
【００６０】
ステップＳ１１６において、対象画像中のすべての画素に対し、ステップＳ１１１〜ステップＳ１１５の処理が完了すると（ステップＳ１１６，Ｙｅｓ）、対象画像に対するノイズ低減処理が完了する。
【００６１】
以上のように、本実施の形態の画像処理部１００は、対象画像に含まれるすべての画素の画素値に対する平均値を算出するのにかえて、対象画像の画素を間引くダウンサンプリングにより得られたダウンサンプリング画像中の画素の平均値のみを算出するので、平均値算出にかかる計算量を低減することができる。
【００６２】
例えば、水平垂直ともに対象画像を１／２にダウンサンプリングする場合、ダウンサンプリング画像の画素数は対象画像の１／４となる。さらに、類似画素群を抽出するウィンドウサイズも１／４にすることができる。したがって、ダウンサンプリングおよびアップサンプリングにかかる計算量を除けば、計算量を１／１６に削減することができる。
【００６３】
一般にダウンサンプリングした画像に画像処理を行うと元のサイズの画像の解像感低下につながる。しかしながら、本実施の形態にかかる画像処理部１００は、対象画素の画素値と平均値の加重加算の処理を元の画像のサイズに戻した後に行っているので、解像感の低下が生じ難い。
【００６４】
画像処部１００は、さらに対象画像のダウンサンプリングの前に対象画像に対しローパスフィルタを施すため、ダウンサンプリングされた画像のノイズレベルは入力画像よりも低くなり、類似画素群抽出のための信号差分の閾値を小さく取ることができる。これにより、大きなノイズを含んだ画像に対してもエッジのぼけを生じ難くすることができる。
【００６５】
このように、本実施の形態にかかる撮像装置１によれば、画像のノイズ低減処理において、画像の局所領域のノイズの分散に応じて、ノイズ低減強度を適応的に変化させることができる。
【００６６】
なお、本実施の形態の画像処理部１００においては、重み係数算出部１０７は、推定関数を用いて、対象画素毎に算出されたノイズ分散値を用いて重み係数を算出したが、他の例としては、重み係数算出部１０７は、一定の設計値をノイズ分散値として用いることとしてもよい。すなわち、この場合には、撮像装置１は、推定関数記憶部１１０を備えなくてもよい。また、画像処理部１００は、推定関数選択部１０５およびノイズ分散値算出部１０６を備えなくてもよい。
【００６７】
（第２の実施の形態）
次に、第２の実施の形態にかかる撮像装置について説明する。第１の実施の形態にかかる撮像装置においては、対象画像に対する類似画素群の平均値とノイズ分散値とに基づいて重み係数を算出したが、第２の実施の形態にかかる撮像装置においては、対象画像に対する類似画素群の画素値の分散値（画素分散値）とノイズ分散値とに基づいて重み係数を算出する。
【００６８】
以下においては、第１の実施の形態にかかる撮像装置１と異なる部分について説明する。図１０は、第２の実施の形態にかかる画像処理部１２０の機能構成を示すブロック図である。画像処理装置１２０は、第１の実施の形態にかかる画像処理装置１００の機能構成に加えて、二乗平均算出部１２１と、画像分散値算出部１２２とを備えている。
【００６９】
二乗平均算出部１２１は、注目画素に対して類似画素抽出部１０２により抽出された類似画素群の画素値の二乗平均を算出する。画素分散値算出部１２２は、注目画素に対して二乗平均算出部１２１により算出された二乗平均から、注目画素に対して平均値算出部１０３により算出された平均値の二乗を減算し、注目画素の画素分散値（σ２）を算出する。
【００７０】
また、アップサンプリング部１２３は、平均値算出部１０３により算出された平均値をアップサンプリングし、さらに画素分散値算出部１２２により算出された画素分散値をアップサンプリングする。なお、画素分散値のアップサンプリングは、図６を参照しつつ説明した平均値のアップサンプリングと同様である。すなわち、アップサンプリング部１２３は、ダウンサンプリング画像の各画素に対する画素分散値の間に値「０」を挿入することにより、２倍にアップサンプリングし、その後ローパスフィルタを適用することにより平滑化する。これにより、間引かれた画素に対する画素分散値が算出される。
【００７１】
すなわち、画素分散値算出部１２２は、ダウンサンプリング画像中の各画素の画素分散値を算出する第１画素分散値算出部として機能し、アップサンプリング部１２３は、ダウンサンプリングにより間引かれた画素の画素分散値を算出する第２画素分散値算出部として機能する。
【００７２】
また、重み係数算出部１２４は、（式３）を用いて、対象画素に対する類似画素群の画素分散値（σ２）とノイズ分散値（τ２）とに基づいて、重み係数（ｗ）を算出する。
【数３】
0006024107.tif 000004
【００７３】
図１１は、第２の実施の形態にかかる画像処理部１２０によるノイズ低減処理を示すフローチャートである。本実施の形態にかかるノイズ低減処理においては、平均値算出部１０３による平均値算出処理（ステップＳ１０４）の後、二乗平均算出部１２１は、注目画素に対して得られた類似画素群の二乗平均を算出する（ステップＳ２００）。
【００７４】
次に、画素分散値算出部１２２は、注目画素に対して得られた二乗平均から平均値の二乗を減算することにより注目画素に対する類似画素群の画素分散値を算出する（ステップＳ２０１）。
【００７５】
ダウンサンプリング画像に含まれるすべての画素に対し、ステップＳ１０２〜ステップＳ２０１の処理が完了すると（ステップＳ１０５，Ｙｅｓ）、アップサンプリング部１０４は、ダウンサンプリング画像中の各画素に対して得られた平均値（μ）および画素分散値（σ２）それぞれに対し、アップサンプリングおよび平滑化を施す（ステップＳ２０２）。これにより、対象画像のうちダウンサンプリング部１０１により間引かれた画素に対する平均値（μ）および画素分散値（σ２）が算出される。
【００７６】
また、ステップＳ１１２において、対象画像中の対象画素に対するノイズ分散値が算出されると、重み係数算出部１２４は、（式３）を用いて、対象画素に対する類似画素群の画素分散値（σ２）とノイズ分散値（τ２）とに基づいて、重み係数（ｗ）を算出する（ステップＳ２０３）。
【００７７】
なお、第２の実施の形態にかかる撮像装置のこれ以外の構成および処理は、第１の実施の形態にかかる撮像装置の構成および処理と同様である。
【００７８】
以上のように、第２の実施の形態にかかる撮像装置においては、第１の実施の形態にかかる撮像装置と同様に、画像のノイズ低減処理において、画像の局所領域のノイズの分散に応じて、ノイズ低減強度を適応的に変化させることができる。
【００７９】
また、本実施の形態にかかる画像処理部１２０は、注目画素に対する類似画素群の画素分散値とノイズ分散値とに基づいて、重み係数を算出する。このため、平坦領域では、類似画素群の画素分散値は小さくなり、重み係数は１に近付く。なお、ノイズ分散値は類似画素群の画素分散値以下の値となる。したがって、本実施の形態にかかる画像処理部１２０によれば、重み係数は誤差を除けば最大値は１となり、この結果、補正値（ｘ）は、平均値に近付くこととなり、平坦領域では、滑らかな画像を得ることができる。
【００８０】
一方、テクスチャの存在するようなざらついた領域においては、類似画素群の画素分散値はノイズ分散値に比べて相対的に大きくなり、重み係数は０に近付く。この結果、補正値（ｘ）は、元の画素値に近付くこととなり、ざらついた領域においては、ざらつきを残し解像感を保持した画像を得ることができる。
【００８１】
第２の実施の形態にかかる撮像装置の変更例としては、重み係数１２３は、（式３）に替えて（式４）を用いて重み係数（ｗ）を算出してもよい。
【数４】
0006024107.tif 000005
ここで、αおよびβは、任意の設計パラメータである。設計パラメータα，βを調整することにより、ノイズの低減強度を調整することができる。
【００８２】
（第３の実施の形態）
第３の実施の形態にかかる撮像装置は、第２の実施の形態にかかる撮像装置と同様に、対象画素に対する類似画素群の画素分散値とノイズ分散値とに基づいて重み係数を算出する。ただし、第２の実施の形態にかかる撮像装置においては、ダウンサンプリング画像の画素に対する画素分散値を算出するのに対し、第３の実施の形態にかかる撮像装置においては、ダウンサンプリング画像の画素に対する画素分散値の算出は行わず二乗平均の算出に留め、アップサンプリング後の二乗平均に基づいて対象画素の画素分散値を算出する。
【００８３】
第３の実施の形態にかかる撮像装置の画像処理部の機能構成は、図１０を参照しつつ説明した第２の実施の形態にかかる画像処理部１２０の機能構成と同様である。
【００８４】
第３の実施の形態にかかる画像処理部１２０においては、アップサンプリング部１２３は、平均値算出部１０３により算出された平均値と、二乗平均算出部１２１により算出された二乗平均とに対し、アップサンプリングおよび平滑化を施す。なお、二乗平均に対するアップサンプリングおよび平滑化の処理は、図６を参照しつつ説明した平均値に対するアップサンプリングおよび平滑化の処理と同様である。すなわち、所定倍にアップサンプリングし、その後ローパスフィルタを適用して平滑化する。
【００８５】
なお、第３の実施の形態にかかる二乗平均算出部１２１およびアップサンプリング部１２３は、それぞれ第１二乗平均算出部および第２二乗平均算出部として機能する。
【００８６】
また、画素分散値算出部１２２は、二乗平均算出部１２１により算出されたダウンサンプリング画像中の各画素に対する二乗平均またはアップサンプリング部１２３により得られた、ダウンサンプリング部１０１の処理により間引かれた画素に対する二乗平均に基づいて、対象画像中の対象画素の画素分散値を算出する。
【００８７】
図１２は、第３の実施の形態にかかる画像処理部１２０によるノイズ低減処理を示すフローチャートである。第３の実施の形態においては、注目画素を選択すると（ステップＳ１０２）、注目画素の類似画素群の平均値および二乗平均を算出し（ステップＳ１０４，ステップＳ２００）、画素分散値を算出することなく、アップサンプリングおよび平滑化の処理に進む（ステップＳ３００）。ステップＳ３００においては、アップサンプリング部１２３は、平均値および二乗平均に対し、アップサンプリングおよび平滑化を施す。
【００８８】
また、対象画素が選択されると（ステップＳ１１１）、画素分散値算出部１２２は、二乗平均算出部１２１により算出されたダウンサンプリング画像中の画素の二乗平均およびアップサンプリング部１２３により得られたダウンサンプリングにより間引かれた画素に対する二乗平均に基づいて、対象画素の画素分散値を算出する（ステップ３０１）。
【００８９】
なお、第３の実施の形態にかかる撮像装置のこれ以外の構成および処理は、他の実施の形態にかかる撮像装置の構成および処理と同様である。
【００９０】
以上のように、第３の実施の形態にかかる撮像装置においては、他の実施の形態にかかる撮像装置と同様に、画像のノイズ低減処理において、画像の局所領域のノイズの分散に応じて、ノイズ低減強度を適応的に変化させることができる。
【００９１】
さらに、第２の実施の形態にかかる画像処理部１２０においては、ダウンサンプリング画像から画素分散値を算出し、これをアップサンプリングすることにより、対象画像中の各画素に対する画素分散値を得るが、第３の実施の形態にかかる画像処理部１２０においては、ダウンサンプリング画像からは類似画素群の二乗平均のみ算出し、アップサンプリングにより得られた対象画像中の各画素に対する二乗平均から画素分散値を算出する。このような画素分散値の算出方法の違いに起因し、第２の実施の形態にかかる撮像装置と第３の実施の形態にかかる撮像装置においては、ノイズ低減処理におけるエッジ保存効果の程度が異なってくる。
【００９２】
ここで、第２，３の実施の形態におけるノイズ低減処理において、ダウンサンプリングにより間引かれた画素ｘ２に対する画素分散値を算出する処理について説明する。画素ｘｎに対応する類似画素群の平均をＥ（ｘｎ）、画素ｘｎに対応する類似画素群の二乗平均をＥ（ｘｎ２）、画素ｘｎの画素分散値をＶ（ｘｎ）とすると、画素分散値Ｖ（ｘｎ）は、（式５）により得られる。
【数５】
0006024107.tif 000006
【００９３】
第２の実施の形態にかかるノイズ低減処理にしたがい、画素ｘ２に対する画素分散値を算出する場合には、画素ｘ１と画素ｘ３それぞれ対して算出された画素分散値を線形補間することとなり、この場合の画素ｘ２の画素分散値Ｖ’（ｘ２）は、（式６）により得られる。
【数６】
0006024107.tif 000007
【００９４】
一方、第３の実施の形態にかかるノイズ低減処理にしたがい、画素ｘ２の画素分散値を算出する場合には、画素ｘ１と画素ｘ３に対して算出された二乗平均を用いて画素分散値を算出することとなり、この場合の画素ｘ２の画素分散値Ｖ”（ｘ２）は、（式７）により得られる。
【数７】
0006024107.tif 000008
【００９５】
（式７）に示されるように、画素分散値Ｖ”（ｘ２）は、画素分散値Ｖ’（ｘ２）に比べて、画素ｘ１と画素ｘ３の期待差分の半分の二乗だけ大きい値となる。すなわち、平坦領域においては、画素分散値Ｖ’（ｘ２）と画素分散値Ｖ”（ｘ２）の差異は少ないが、画素ｘ１と画素ｘ３がエッジをまたぐ領域のように変化の大きい領域である場合には、画素ｘ１と画素ｘ３の期待差分が大きくなるので、画素分散値Ｖ”（ｘ２）の値は画素分散値Ｖ’（ｘ２）に比べて大きくなる。この結果、画素分散値に基づいて算出される重み係数は、エッジ領域において０に近付くこととなる。すなわち、エッジの保存効果が高くなる。
【００９６】
このように、第３の実施の形態にかかるノイズ低減処理においては、第２の実施の形態にかかるノイズ低減処理に比べて高いエッジ保存効果を得ることができる。
【００９７】
（第４の実施の形態）
第４の実施の形態にかかる撮像装置は、ＲＧＢの３成分を有するカラー画像に対し、ノイズ低減処理を施す。なお、第４の実施の形態にかかる撮像装置の構成および処理は、図１〜図９を参照しつつ説明した第１の実施の形態にかかる撮像装置の構成および処理とほぼ同様である。
【００９８】
以下、第４の実施の形態にかかる撮像装置について、第１の実施の形態にかかる撮像装置と異なる部分について説明する。図２に示す画像処理部１００において、本実施の形態にかかる類似画素抽出部１０２は、注目画素を含むウインドウから、注目画素との乖離度が閾値以下となる画素を、注目画素との類似度が閾値以上の類似画素として抽出する。乖離度には、ＲＧＢ空間におけるユークリッド距離を用いることとする。
【００９９】
平均値算出部１０３は、注目画素に対する類似画素群の平均値として、ＲＧＢの３次元ベクトル（μＲ，μＧ，μＢ）を算出する。推定関数記憶部１１０は、ＲＧＢ各成分に対する推定関数を記憶している。ノイズ分散値算出部１０６は、平均値（μＲ，μＧ，μＢ）と、ＲＧＢ各成分の推定関数とに基づいて、各色のノイズ分散値（τＲ２，τＧ２，τＢ２）を算出する。
【０１００】
重み係数算出部１０７は、（式８）を用いて、各色のノイズ分散値および平均値に基づいて重み係数行列（Ｗ）を算出する。
【数８】
0006024107.tif 000009
ここで、αは、任意の設計パラメータである。
【０１０１】
補正部１０８は、対象画素の画素値ｙ（ＲＧＢ３次元ベクトル）、対象画素に対する類似画素群の平均値μ(ＲＧＢ３次元ベクトル)、重み係数行列Ｗ（３×３行列）、単位行列Ｉ（３×３行列）用いて、（式９）により補正値ｘ（ＲＧＢ３次元ベクトル)を算出する。
【数９】
0006024107.tif 000010
【０１０２】
第４の実施の形態にかかる撮像装置によれば、カラー画像に対して信号依存性のノイズを解像感を落とすことなく低い処理コストで低減することができる。
【０１０３】
なお、第４の実施の形態にかかる撮像装置のこれ以外の構成および処理は、他の実施の形態にかかる撮像装置の構成および処理と同様である。
【０１０４】
第４の実施の形態にかかる撮像装置は、ＲＧＢ成分を有するカラー画像を処理対象としたが、第１の変更例としては、撮像装置は、ＹＣＣやＬ＊ａ＊ｂ＊など任意の色空間で表現されたカラー画像を処理対象としてもよい。また、他の例としては、撮像装置は、ｎバンドの分光画像を処理対象としてもよい。この場合には、画素値（信号値）をｎ次元ベクトルとみなして、ノイズ低減処理を施すことができる。
【０１０５】
また、第２の変更例としては、画素間の乖離度として、ＲＧＢ空間のユークリッド距離以外の値を用いてもよい。例えば、図１３に示すように、ウインドウ内の画素をＬ＊ａ＊ｂ＊空間にマッピングし、その空間におけるユークリッド距離を乖離度として用いることとしてもよい。また、他の例としては、ユークリッド距離に替えてＬｐノルムや、画素値分布間距離を用いてもよい。画素値分布間距離とは、ウインドウ内の各画素の周囲の画素値の平均値と注目画素の周囲の画素値の平均値の間の距離である。画素値分布間距離の詳細については、特開２０１１−０３９６７５号公報を参照することができる。
【０１０６】
また、第３の変更例としては、第４の実施の形態にかかる撮像装置においては、補正部１０８は、ＲＧＢの３成分の３次元空間において対象画素の画素値と平均値の加重加算を行うが、これに替えて、補正部１０８は、図１４に示すように、対象画素の画素値と平均値の差分を１次元の特定方向ｅに射影し、射影後の画素値と平均値を加重加算してもよい。特定方向ｅとしては、類似画素群の平均値のＲＧＢ比率と同一のＲＧＢ比率により定まる方向や輝度の方向、最大分散の方向などが挙げられる。最大分散の方向については後述する。
【０１０７】
なお、重み係数ｗ（ｐ）はスカラーであり、重み係数算出部１０７は、例えば（式１０）により重み係数ｗ（ｐ）を算出する。
【数１０】
0006024107.tif 000011
【０１０８】
このように、３次元の画素値と平均値を１次元の値に射影することにより、計算量を低減することができる。さらに、特定方向ｅ上に射影することにより、特定方向ｅに直交する方向のノイズを強制的に０にすることができる。なお、３次元の画素値と平均値を１次元の特定方向ｅに射影して補正値を算出する処理の詳細については、特開２０１０−２１８１１０号公報を参照することができる。
【０１０９】
ここで、最大分散の方向について説明する。補正部１０８は、類似画素群の画素値の分散共分散行列Σｉｍａｇｅからノイズの分散共分散行列Σｎｏｉｓｅを減算する。補正部１０８はさらに、減算した値から得られた行列の固有値と固有ベクトルを求め、分散共分散行列の固有値が最大になる固有ベクトルを求めることにより、最大分散方向を得る。
【０１１０】
分散共分散行列の固有ベクトルは、与えられたデータの分散がいずれの方向を向いているかを示す。また、固有値は、固有ベクトルが示す方向に対しどの程度の大きさで分散が広がっているか、すなわちどの程度ばらついているかを示す。したがって、分散共分散行列の固有値が最大になる固有ベクトルを求めることにより、最大分散方向を得ることができる。
【０１１１】
このように、本実施の形態にかかる補正部１０８は、最大分散方向を特定方向ｅとして算出する第１特定方向算出部または第２特定方向算出部として機能する。
【０１１２】
（第５の実施の形態）
第５の実施の形態にかかる撮像装置は、第４の実施の形態にかかる撮像装置と同様に、カラー画像に対してノイズ低減処理を施す。なお、第５の実施の形態にかかる撮像装置においては、対象画素に対する類似画素群の画素値の分散共分散行列Σｉｍａｇｅとノイズの分散共分散行列Σｎｏｉｓｅとに基づいて、重み係数を算出する。なお、第５の実施の形態にかかる撮像装置の構成および処理は、図１０および図１１を参照しつつ説明した第２の実施の形態にかかる撮像装置の構成および処理と同様である。
【０１１３】
以下、第５の実施の形態にかかる撮像装置について、他の実施の形態にかかる撮像装置と異なる部分について説明する。図１０に示す画像処理部１２０において、本実施の形態にかかる二乗平均算出部１２１は、ＲＧＢ成分の任意の二成分（ＲとＧ、ＧとＢ、ＢとＲ）の乗算値の平均を求める。具体的には、二乗平均算出部１２１は、注目画素のＲＧＢの３次元行列ベクトルｙに対して、乗算値ｙｙＴの平均Ｅ（ｙｙＴ）を求める。ここで、Ｔは転置行列を示す。
【０１１４】
画素分散値算出部１２２は、注目画素に対する類似画素群の平均μ（ＲＧＢ３次元ベクトル）と二乗平均Ｅ（ｙｙＴ）とに基づいて、（式１１）を用いて、注目画素に対する類似画素群の分散共分散行列Σｉｍａｇｅを算出する。
【数１１】
0006024107.tif 000012
【０１１５】
アップサンプリング部１２３は、ダウンサンプリング画像中の各画素に対して算出された平均μ（ＲＧＢ３次元ベクトル）と二乗平均Ｅ（ｙｙＴ）に対し、アップサンプリングおよび平滑化を施す。なお、アップサンプリングと平滑化の処理は、図６を参照しつつ説明した処理と同様である。
【０１１６】
重み係数算出部１２４は、（式１２）により重み係数行列Ｗを算出する。
【数１２】
0006024107.tif 000013
このように、重み係数算出部１２４は、対象画素に対する類似画素群の画素の分散共分散行列Σｉｍａｇｅとノイズの分散共分散行列Σｎｏｉｓｅとに基づいて、重み係数を算出する。
【０１１７】
なお、分散共分散行列Σｎｏｉｓｅは、ノイズ分散値算出部１０６により、類似画素群の平均値から推定関数を用いて算出される。
【０１１８】
なお、第５の実施の形態にかかる撮像装置のこれ以外の構成および処理は、他の実施の形態にかかる撮像装置の構成および処理と同様である。
【０１１９】
本実施の形態にかかる撮像装置によれば、ＲＧＢ成分の分散共分散を加重加算の重み係数の算出に用いるので、画素値のＲＧＢ空間での分布をノイズ低減強度に反映させることができる。これにより、ＲＧＢの微細信号を保持しつつノイズを低減することができる。
【０１２０】
（第６の実施の形態）
第６の実施の形態にかかる撮像装置は、第４、５の実施の形態にかかる撮像装置と同様に、カラー画像に対してノイズ低減処理を施す。なお、第５の実施の形態にかかる撮像装置においては、ダウンサンプリング画像の画素に対する画素分散値を算出するのに対し、第６の実施の形態にかかる撮像装置においては、ダウンサンプリング画像の画素に対する画素分散値の算出は行わず二乗平均の算出に留め、アップサンプリング後の二乗平均に基づいて対象画素の画素分散値を算出する。
【０１２１】
第６の実施の形態にかかる撮像装置の画像処理部の機能構成は、図１０および図１２を参照しつつ説明した第３の実施の形態にかかる撮像装置の構成および処理と同様である。
【０１２２】
以下、第６の実施の形態にかかる撮像装置について、他の実施の形態にかかる撮像装置と異なる部分について説明する。図１０に示す画像処理部１２０において、本実施の形態にかかるアップサンプリング１２３は、平均値算出部１０３により算出された平均値と、二乗平均算出部１２１により算出された二乗平均とに対し、アップサンプリングおよび平滑化を施す。
【０１２３】
また、画素分散値算出部１２２は、二乗平均算出部１２１により算出されたダウンサンプリング画像中の各画素に対する二乗平均（Ｅ（ｙｙＴ））またはアップサンプリング部１２３により得られた、ダウンサンプリング部１０１の処理により間引かれた画素に対する二乗平均（Ｅ（ｙｙＴ））に基づいて、対象画像中の対象画素の画素分散値を算出する。
【０１２４】
なお、第６の実施の形態にかかる撮像装置のこれ以外の構成および処理は、他の実施の形態にかかる撮像装置の構成および処理と同様である。
【０１２５】
本実施の形態にかかる撮像装置によれば、第５の実施の形態にかかる撮像装置と同様に、ＲＧＢの微細信号を保持しつつノイズを低減することができる。さらに、第２、３の実施の形態にかかる、グレースケール画像に対するノイズ低減処理の関係と同様に、第５、６の実施の形態にかかる、カラー画像に対するノイズ低減処理においても、エッジ周辺領域におけるノイズ低減の特性が異なり、線形補間を用いる場合には、第６の実施の形態にかかるノイズ低減処理においては、第５の実施の形態にかかるノイズ低減処理に比べて高いエッジ保存効果を得ることができる。
【０１２６】
また、カラー画像を処理対象とする撮像装置の変更例としては、図１５に示すようなベイヤー配列型の画像データに対してノイズ低減処理を施すこととしてもよい。具体的には、画像処理部は、ベイヤー配列型の画像データに対し、デモザイキングを施し、ＲＧＢ画像に変換することにより、第５、６の実施の形態において説明したノイズ低減処理を施すことができる。
【０１２７】
また、ダウンサンプリング画像に対する処理については、ベイヤー配列の各色成分に対して、第１〜第３の実施の形態にかかるグレースケール画像に対するノイズ低減処理を施し、アップサンプリングおよび平滑化の処理において、ベイヤー配列型の画像データをＲＧＢ画像に変換し、その後の処理については、ＲＧＢ画像に対して、第４〜第６の実施の形態にかかるカラー画像に対するノイズ低減処理を施すこととしてもよい。
【０１２８】
なお、本実施の形態の撮像装置は、デジタルカメラ、スキャナ、カメラ付き携帯電話など画像を撮影する機器であれば好適に適用できる。
【符号の説明】
【０１２９】
１  撮像装置
１１  撮像部
１７  主制御部
１８  信号処理部
１９  フレームメモリ
２０  ノイズ低減プログラム
１００，１２０  画像処理部
１０１  ダウンサンプリング部
１０２  類似画素抽出部
１０３  平均値算出部
１０４，１２３  アップサンプリング部
１０５  推定関数選択部
１０６  ノイズ分散値算出部
１０７，１２４  重み係数算出部
１０８  補正部
１２１  二乗平均算出部
１２２  画素分散値算出部
【先行技術文献】
【特許文献】
【０１３０】
【特許文献１】特開２００７−２８８４３９号公報
【特許文献２】特開２００８−２０５７３７号公報
【特許文献３】特開２０１０−１７８３０２号公報
【特許文献４】特開２０１０−０８７７６９号公報
【特許文献５】特開２０１０−２１８１１０号公報
【非特許文献】
【０１３１】
【非特許文献１】原島博，小田島薫，鹿喰善明，宮川洋  「ε−分離非線形ディジタルフィルタとその応用」  電子情報通信学会論文誌Ａ，Ｖｏｌ．Ｊ６５−Ａ，Ｎｏ．４，ｐｐ２９７−３０４，１９８２年
【非特許文献２】ＣＣ．  Ｔｏｍａｓｉ  ａｎｄ  Ｒ．  Ｍａｎｄｕｃｈｉ，  “Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  Ｇｒａｙ  ａｎｄ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ”  Ｐｒｏｃ．  Ｓｉｘｔｈ  Ｉｎｔ’ｌ  Ｃｏｎｆ．  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｐｐ．８３９−８４６，  １９９８．
【非特許文献３】Ｃｅ  Ｌｉｕ，  ｅｔ  ａｌ．，  “Ａｕｔｏｍａｔｉｃ  Ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  Ｒｅｍｏｖａｌ  ｏｆ  Ｎｏｉｓｅ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ  Ｉｍａｇｅ,"  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．３０，ｎｏ．２，ｐｐ．２９９−３１４，  ２００８．
【図１】
0006024107.tif 000014
【図２】
0006024107.tif 000015
【図３】
0006024107.tif 000016
【図５】
0006024107.tif 000017
【図６】
0006024107.tif 000018
【図７】
0006024107.tif 000019
【図８】
0006024107.tif 000020
【図９】
0006024107.tif 000021
【図１０】
0006024107.tif 000022
【図１１】
0006024107.tif 000023
【図１４】
0006024107.tif 000024
【図１５】
0006024107.tif 000025
【図４】
0006024107.tif 000026
【図１２】
0006024107.tif 000027
【図１３】
0006024107.tif 000028