(57)【要約】【課題】人間の視覚特性を考慮するとともに、画像信号に含まれるノイズの性質を考慮して効果的にノイズを除去する。【解決手段】画像データに含まれるノイズをパラメータに基づいて除去する画像処理装置１００において、画像データを入力する入力端子１１０と、輝度に依存する物理特性値を入力端子１１０から入力された画像データの輝度に基づいて算出する物理特性値算出部１５０と、入力端子１１０から入力された画像データの色を判別する色判別部１４０と、物理特性値算出部１５０により算出された物理特性値と色判別部１４０により判別された色に応じた視覚特性値とに基づいてパラメータを決定するパラメータ決定部１６０とを具備する画像処理装置である。これにより、物理特性値と視覚特性値とに基づいて決定されたパラメータによってノイズを適切に除去する。【選択図】図１
2008113222.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれるノイズを所定のパラメータに基づいて除去するノイズ除去処理を実行する画像処理装置において、
画像データを入力する入力手段と、
輝度に依存する物理特性値を前記入力された画像データの輝度に基づいて算出する物理特性値算出手段と、
前記入力された画像データの色を判別する色判別手段と、
前記物理特性値算出手段により算出された物理特性値と前記色判別手段により判別された色に応じた視覚特性値とに基づいて前記パラメータを決定するパラメータ決定手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記物理特性値算出手段は、前記入力された画像データのうちの一の画像データである注目画素の輝度に基づいて前記物理特性値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記色判別手段は、前記注目画素と前記注目画素の周辺に位置する複数の周辺画素とを含む画像データの色に基づいて前記視覚特性値を算出することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記ノイズ除去処理は、前記注目画素と前記注目画素の周辺に位置する複数の周辺画素とを含む画像データに基づいて前記入力された画像データに含まれるノイズを除去することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記視覚特性値は、前記物理特性値算出手段により算出された物理特性値を補正する係数である補正値であり、
前記色判別手段は、前記補正値を前記入力された画像データの色に基づいて算出することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記パラメータ決定手段は、前記物理特性値算出手段により算出された物理特性値と前記色判別手段により判別された色に応じた視覚特性値とを乗算することによって前記パラメータを算出することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記入力手段により入力された画像データは、ベイヤー配列の画像データであることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記入力手段により入力された画像データは、撮像素子から出力されたＲＡＷデータであることを特徴とする請求項１記載の画像処理装置。
【請求項９】
ノイズの物理特性と人間の視覚特性とに基づいて画像データに含まれるノイズを除去するノイズ除去処理を実行することを特徴とする画像処理装置。
【請求項１０】
前記ノイズの物理特性を示す値は、前記画像データの輝度に基づいて算出される物理特性値であり、
前記人間の視覚特性を示す値は、前記画像データの色に基づいて算出される視覚特性値であり、
前記ノイズ除去処理は、前記物理特性値と前記視覚特性値とに基づいて算出されるパラメータを用いて前記画像データに含まれるノイズを除去することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
画像データに含まれるノイズを所定のパラメータに基づいて除去するノイズ除去処理を実行する撮像装置において、
所定の被写体の画像を撮像する撮像素子により撮像された画像に対応する画像データを入力する入力手段と、
輝度に依存する物理特性値を前記入力された画像データの輝度に基づいて算出する物理特性値算出手段と、
前記入力された画像データの色を判別する色判別手段と、
前記物理特性値算出手段により算出された物理特性値と前記色判別手段により判別された色に応じた視覚特性値とに基づいて前記パラメータを決定するパラメータ決定手段と
を具備することを特徴とする撮像装置。
【請求項１２】
画像データに含まれるノイズを所定のパラメータに基づいて除去するノイズ除去処理を実行する画像処理方法において、
画像データを入力する入力手順と、
輝度に依存する物理特性値を前記入力された画像データの輝度に基づいて算出する物理特性値算出手順と、
前記入力された画像データの色を判別する色判別手順と、
前記物理特性値算出手順で算出された物理特性値と前記色判別手順で判別された色に応じた視覚特性値とに基づいて前記パラメータを決定するパラメータ決定手順と
を具備することを特徴とする画像処理方法。
【請求項１３】
画像データに含まれるノイズを所定のパラメータに基づいて除去するノイズ除去処理を実行する画像処理装置において、
画像データを入力する入力手順と、
輝度に依存する物理特性値を前記入力された画像データの輝度に基づいて算出する物理特性値算出手順と、
前記入力された画像データの色を判別する色判別手順と、
前記物理特性値算出手順で算出された物理特性値と前記色判別手順で判別された色に応じた視覚特性値とに基づいて前記パラメータを決定するパラメータ決定手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像信号に含まれる雑音（ノイズ）を効果的に除去することができる画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）等の撮像素子から出力されるＲＡＷデータには各種のノイズが含まれている。これらのノイズを効果的に除去する方法として、人間の視覚特性を考慮してノイズ除去の強さを変更する方法が広く知られている。
【０００３】
例えば、ノイズが重畳された画像において、所定サイズの領域毎の画像の色を判断し、判断した色に応じてパラメータを決定し、決定したパラメータに従ってノイズ除去処理を実行する画像処理方法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００４−４０２３５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、所定サイズの領域毎の画像の色に応じて、ノイズ除去処理のためのパラメータを変更するため、ノイズ除去の強さを色毎に変更することができる。
【０００５】
ところで、ショットノイズは輝度（レベル）依存性があり、信号量が大きくなるに従ってノイズ量が多くなるという性質がある。このため、ＲＡＷデータに含まれるノイズがショットノイズである場合には、画像の色とは無関係に、信号量に応じてノイズ除去の強さを変更する必要がある。
【０００６】
しかしながら、上述の従来技術では、画像の色に基づくノイズ除去を実行することができるものの、画像の色とは無関係にノイズ除去の強さを変更する必要があるショットノイズ等のノイズを、効果的に除去することができないという問題があった。
【０００７】
そこで、本発明は、人間の視覚特性を考慮するとともに、画像信号に含まれるノイズの性質を考慮して効果的にノイズを除去することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像データに含まれるノイズを所定のパラメータに基づいて除去するノイズ除去処理を実行する画像処理装置において、画像データを入力する入力手段と、輝度に依存する物理特性値を上記入力された画像データの輝度に基づいて算出する物理特性値算出手段と、上記入力された画像データの色を判別する色判別手段と、上記物理特性値算出手段により算出された物理特性値と上記色判別手段により判別された色に応じた視覚特性値とに基づいて上記パラメータを決定するパラメータ決定手段とを具備することを特徴とする画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像データの輝度に依存する物理特性値と、入力された画像データの色に応じた視覚特性値とに基づいてパラメータを決定し、決定されたパラメータに基づいて、入力された画像データに含まれるノイズを適切に除去するという作用をもたらす。
【０００９】
また、この第１の側面において、上記物理特性値算出手段は、上記入力された画像データのうちの一の画像データである注目画素の輝度に基づいて上記物理特性値を算出することができる。これにより、上記決定されたパラメータに基づいて、入力された画像データに含まれる注目画素のノイズを適切に除去するという作用をもたらす。
【００１０】
また、この第１の側面において、上記色判別手段は、上記注目画素と上記注目画素の周辺に位置する複数の周辺画素とを含む画像データの色に基づいて上記視覚特性値を算出することができる。これにより、上記決定されたパラメータに基づいて、入力された画像データに含まれる注目画素とその周辺に位置する複数の周辺画素とのノイズを適切に除去するという作用をもたらす。
【００１１】
また、この第１の側面において、上記ノイズ除去処理は、上記注目画素と上記注目画素の周辺に位置する複数の周辺画素とを含む画像データに基づいて上記入力された画像データに含まれるノイズを除去することができる。これにより、上記決定されたパラメータに基づいて、入力された画像データに含まれる注目画素とその周辺に位置する複数の周辺画素とのノイズを適切に除去するという作用をもたらす。
【００１２】
また、この第１の側面において、上記視覚特性値は、上記物理特性値算出手段により算出された物理特性値を補正する係数である補正値であり、上記色判別手段は、上記補正値を上記入力された画像データの色に基づいて算出することができる。これにより、入力された画像データの輝度に依存する物理特性値を、入力された画像データの色に応じた補正値によって補正してパラメータを決定し、決定されたパラメータに基づいて、入力された画像データに含まれるノイズを適切に除去するという作用をもたらす。
【００１３】
また、この第１の側面において、上記パラメータ決定手段は、上記物理特性値算出手段により算出された物理特性値と上記色判別手段により判別された色に応じた視覚特性値とを乗算することによって上記パラメータを算出することができる。これにより、入力された画像データの輝度に依存する物理特性値と、入力された画像データの色に応じた視覚特性値とを用いて的確なパラメータを決定するという作用をもたらす。
【００１４】
また、この第１の側面において、上記入力手段により入力された画像データは、ベイヤー配列の画像データであることができる。これにより、ベイヤー配列の画像データに対してノイズを適切に除去するノイズ除去処理を実行するという作用をもたらす。
【００１５】
また、この第１の側面において、上記入力手段により入力された画像データは、撮像素子から出力されたＲＡＷデータであることができる。これにより、撮像素子等から出力されたＲＡＷデータに対してノイズを適切に除去するという作用をもたらす。
【００１６】
また、本発明の第２の側面は、ノイズの物理特性と人間の視覚特性とに基づいて画像データに含まれるノイズを除去するノイズ除去処理を実行することを特徴とする画像処理装置である。これにより、画像データに含まれるノイズの物理特性と、画像データに関する人間の視覚特性とに基づいて画像データに含まれるノイズを適切に除去するという作用をもたらす。
【００１７】
また、この第２の側面において、上記ノイズの物理特性を示す値は、上記画像データの輝度に基づいて算出される物理特性値であり、上記人間の視覚特性を示す値は、上記画像データの色に基づいて算出される視覚特性値であり、上記ノイズ除去処理は、上記物理特性値と上記視覚特性値とに基づいて算出されるパラメータを用いて上記画像データに含まれるノイズを除去することができる。これにより、画像データの輝度に依存する物理特性値と、画像データの色に応じた視覚特性値とに基づいてパラメータを算出し、算出されたパラメータに基づいて、画像データに含まれるノイズを適切に除去するという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、ノイズの物理特性と人間の視覚特性とを考慮して効果的にノイズを除去することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
なお、本発明の実施の形態において、「ノイズ除去処理」とは、ノイズを含む画像データについて、このノイズを軽減または除去する画像処理を意味するものとする。つまり、「ノイズ除去」が、ノイズを含む画像データから完全にノイズを除去することを意味するだけではなく、このノイズを軽減することも含むものとする。
【００２１】
図１は、本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００２２】
画像処理装置１００は、入力端子１１０と、ラインバッファ１２０と、周辺画素参照部１３０と、色判別部１４０と、物理特性値算出部１５０と、パラメータ決定部１６０と、ノイズ除去部１７０と、出力端子１８０とを備える。
【００２３】
入力端子１１０は、ＲＧＢの各色信号からなるカラー信号データ（ベイヤー配列の画像データ）を入力する入力端子であり、入力された画像データをラインバッファ１２０に送るものである。例えば、ベイヤー配列の画像データとしては、ＣＣＤ（Charge Coupled Device）等の撮像素子から出力されるＲＡＷデータがある。なお、ＲＡＷデータは、所定の被写体の画像を撮像する撮像素子により撮像された画像に対応する画像データの一例である。
【００２４】
ベイヤー配列とは、図２（ｂ）および（ｃ）に示すように、水平方向２画素×垂直方向２画素を基本ブロックとし、この基本ブロックにおいて２つの緑画素（Ｇ）が一方の対角上に配置され、赤画素（Ｒ）と青画素（Ｂ）とが残りの対角上に配置され、さらに、この基本ブロックが周期的に配置された画素配列である。
【００２５】
ラインバッファ１２０は、複数ライン分のラインバッファから構成され、入力端子１１０から入力された画像データをライン単位で複数ライン分保持するものである。
【００２６】
図２（ａ）は、入力端子１１０から入力されラインバッファ１２０に格納されている画像データ２００を概念的に示す図である。なお、図２（ａ）に示す画像データ２００のサイズを、水平画素数をＷとし、垂直画素数をＨとする。また、画像データ２００を構成する各画素の垂直方向のアドレスを示す変数をｉとし、水平方向のアドレスを示す変数をｊとする。
【００２７】
周辺画素参照部１３０は、ラインバッファ１２０に格納されている数ライン分の画像データから所定のサイズ毎の画像データを順次読み出すものである。
【００２８】
図２（ｂ）および（ｃ）は、ラインバッファ１２０に格納されている画像データ２００から読み出されるベイヤー配列の画像データ３００および４００を概念的に示す図である。
【００２９】
例えば、周辺画素参照部１３０が読み出す所定のサイズ毎の画像データは、図２（ａ）に示す注目画素２０１、図２（ａ）および（ｂ）に示す注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ３００（５×５画素のウィンドウ）、図２（ａ）および（ｃ）に示す注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ４００（９×９画素のウィンドウ）である。
【００３０】
また、周辺画素参照部１３０は、図２（ａ）に示すように、注目画素２０１を１画素ずつ矢印方向にシフトさせながら順次読み出すことによって、画像データ２００の全画素について読み出しを行う。
【００３１】
物理特性値算出部１５０は、画像データの輝度に基づいて、画像データの輝度に依存する値である物理特性値（ノイズ量）を算出するものである。すなわち、この物理特性値算出部１５０は、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照して、この画像データの輝度に応じた物理特性値を計算し、計算した物理特性値をパラメータ決定部１６０に出力する。
【００３２】
色判別部１４０は、画像データの色を判別して、物理特性値を補正するための補正値を算出するものである。すなわち、この色判別部１４０は、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を参照して、この画像データが示す画像の色を判別する。そして、判別した色に基づいて、注目画素２０１の物理特性値を補正する係数である補正値を算出し、算出した補正値をパラメータ決定部１６０に出力する。なお、この補正値は、判別された色に応じた視覚特性値である。
【００３３】
パラメータ決定部１６０は、物理特性値算出部１５０の出力値と、色判別部１４０の出力値とに基づいて、ノイズ除去部１７０がノイズ除去処理を行うために用いる閾値（パラメータ）を計算し、計算した閾値をノイズ除去部１７０に出力するものである。
【００３４】
ノイズ除去部１７０は、例えば、εフィルタを用いたノイズ除去方法を用いてノイズ除去処理を実行するノイズ除去部であり、パラメータ決定部１６０が出力した閾値に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行するものである。
【００３５】
出力端子１８０は、ノイズ除去部１７０がノイズ除去処理を施した画像データを外部に出力する出力端子である。
【００３６】
次に、色判別部１４０についてさらに詳細に説明する。
【００３７】
図３は、色判別部１４０の機能構成例を示すブロック図である。
【００３８】
色判別部１４０は、入力端子１４１と、同色平均部１４２と、ホワイトバランス補正部１４３と、γ補正部１４４と、色分離部１４５と、変換テーブル部１４６と、出力端子１４７とを備える。
【００３９】
ここでは、図２（ｂ）に示すように、ウィンドウサイズが５×５画素であるベイヤー配列の画像データ３００において、注目画素２０１がＲの場合について説明する。注目画素２０１がＲの場合、注目画素２０１を中心としたベイヤー配列の画像データ３００には、Ｒが９画素、Ｇが１２画素、Ｂが４画素含まれる。
【００４０】
入力端子１４１は、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を入力する入力端子である。
【００４１】
同色平均部１４２は、入力端子１４１から入力されたベイヤー配列の画像データ３００に含まれるＲ、Ｇ、Ｂの各入力信号について、それぞれの画素の色の平均値を求め、求めた各画素の平均値をホワイトバランス補正部１４３に出力するものである。つまり、以下に示す（式１）〜（式３）に従って、各入力信号Ｒ、Ｇ、ＢをＲ１、Ｇ１、Ｂ１に変換し、変換したＲ１、Ｇ１、Ｂ１をホワイトバランス補正部１４３に出力する。
Ｒ１＝ベイヤー配列の画像データ３００に含まれる９個のＲの画素値の平均値（平均濃度）…（式１）
Ｇ１＝ベイヤー配列の画像データ３００に含まれる１２個のＧの画素値の平均値（平均濃度）…（式２）
Ｂ１＝ベイヤー配列の画像データ３００に含まれる４個のＢの画素値の平均値（平均濃度）…（式３）
【００４２】
ホワイトバランス補正部１４３は、同色平均部１４２が出力したＲ１、Ｇ１、Ｂ１の各値について、以下に示す（式４）〜（式６）に従って、Ｒ２、Ｇ２、Ｂ２に変換し、変換したＲ２、Ｇ２、Ｂ２の各値をγ補正部１４４に出力するものである。
Ｒ２＝Ｒ１×Ｒのホワイトバランス係数…（式４）
Ｇ２＝Ｇ１…（式５）
Ｂ２＝Ｂ１×Ｂのホワイトバランス係数…（式６）
【００４３】
γ補正部１４４は、ホワイトバランス補正部１４３が出力したＲ２、Ｇ２、Ｂ２の各値について、以下に示す（式７）〜（式９）に従って、Ｒ３、Ｇ３、Ｂ３に変換し、変換したＲ３、Ｇ３、Ｂ３の各値を色分離部１４５に出力するものである。
Ｒ３＝Ｒ２×γ係数…（式７）
Ｇ３＝Ｇ２×γ係数…（式８）
Ｂ３＝Ｂ２×γ係数…（式９）
【００４４】
色分離部１４５は、γ補正部１４４が出力したＲ３、Ｇ３、Ｂ３の各値について、ｒ、ｇ、ｂの三色に分離し、分離したＲ３、Ｇ３、Ｂ３の各値を変換テーブル部１４６に出力するものである。
【００４５】
図４は、人間の視覚特性を考慮して作成されている色と補正値の変換テーブル１４６ａを示す図である。
【００４６】
変換テーブル１４６ａは、色１４６ｂと、ｒ、ｇ、ｂの値１４６ｃと、補正値１４６ｄとが対応付けられている変換テーブルであり、色分離部１４５が出力したＲ３、Ｇ３、Ｂ３の各値を補正値ｋに変換するものである。
【００４７】
変換テーブル部１４６は、変換テーブル１４６ａを参照して、色分離部１４５が出力したＲ３、Ｇ３、Ｂ３の各値に最も近い値をｒ、ｇ、ｂの値１４６ｃの中から選択する。そして、選択したｒ、ｇ、ｂの値に対応する補正値ｋを選択し、選択した補正値ｋを出力端子１４７を介して外部に出力する。なお、Ｒ３、Ｇ３、Ｂ３の各値に最も近い値をｒ、ｇ、ｂの値１４６ｃの中から選択する際には、各値の色空間距離（ベクトル）を基準に判断する。
【００４８】
次に、物理特性値算出部１５０の物理特性値の計算方法についてさらに詳細に説明する。
【００４９】
最初に、ノイズの物理特性について説明する。
【００５０】
図５（ａ）は、画像の輝度（明るさ）と物理特性値（ノイズ量）との関係の一例を示すグラフである。
【００５１】
一般的に、ＣＣＤ等の撮像素子の出力におけるノイズの大きさ（信号の標準偏差）は、フロアノイズ、光学ショットノイズ、感度ムラノイズのエネルギー和の平方根で示すことができる。具体的には、次の（式１０）で示される。
σ（ｘ）＝√（ａｘ２＋ｂｘ＋ｃ）…（式１０）
ここで、ｘは信号量であり、ａは感度ムラノイズに関連する定数であり、ｂは光学ショットノイズに関連する定数であり、ｃは暗電流ショットノイズと回路の熱雑音とを主とするフロアノイズに関連する定数であり、σ（ｘ）は物理特性値である。ただし、各種のノイズを取り扱う応用例では、その目的に応じて上式（式１０）の平方根内のいくつかの項が省略される場合もある。
【００５２】
上式（式１０）の近似式として、感度ムラノイズの影響を省略したものが次式（式１１）になる。
σ（ｘ）＝√（ｂｘ＋ｃ）…（式１１）
【００５３】
また、さらに（式１１）の近似式として、次式（式１２）が成立することが知られている。
σ（ｘ）＝ｂ（√ｘ）＋ｃ…（式１２）
【００５４】
なお、上述のａ、ｂ、ｃについては、ＣＣＤ、基板、温度等に応じて決定することができるパラメータであり、測定した値を使用するようにしてもよいし、理論値から計算した値を使用するようにしてもよい。
【００５５】
本実施の形態では、（式１２）を用いて、注目画素２０１の信号量ｘから物理特性値σ（ｘ）を計算する。この場合に、信号量ｘと物理特性値σ（ｘ）とは、図５（ａ）に示すグラフの曲線（ノイズカーブ）を描く。
【００５６】
物理特性値算出部１５０は、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照し、例えば、（式１２）に従って、当該画像データが示す画像の信号量ｘに応じた物理特性値σ（ｘ）を計算し、計算した物理特性値σ（ｘ）の値をパラメータ決定部１６０に出力する。
【００５７】
図５（ａ）には、一例として、以下に示すように、光学ショットノイズに関連する定数ｂを５とし、フロアノイズに関連する定数ｃを１００とした場合におけるノイズカーブを示す。
σ（ｘ）＝５（√ｘ）＋１００（信号量ｘ：０〜８００）
【００５８】
この場合において、信号量ｘが１００の場合には物理特性値σ（ｘ）は１５０であり、信号量ｘが４００の場合には物理特性値σ（ｘ）は２００であるものと仮定している。
【００５９】
次に、εフィルタを用いたノイズ除去処理についての閾値の決定方法について説明する。
【００６０】
図５（ｂ）は、ノイズ量の分布が正規分布だと仮定した場合における正規分布表（ガウス関数）と物理特性値σ（ｘ）との関係を示す図である。
【００６１】
図５（ｂ）に示すように、ノイズ量の分布が正規分布であると仮定した場合、物理特性値σ（ｘ）は信号量ｘに対する標準偏差であるため、ノイズと閾値との間には、以下の関係が成立する。
【００６２】
閾値が１σの場合には、閾値の範囲内（±１σ）に６８％のノイズが含まれる。また、閾値が２σの場合には、閾値の範囲内（±２σ）に９６％のノイズが含まれる。また、閾値が３σの場合には、閾値の範囲内（±３σ）に９９％のノイズが含まれる。
【００６３】
このような関係がノイズと閾値との間には成立するため、ノイズを含む画像のノイズ除去処理において、閾値を高く設定した場合には、ノイズを多く除去することができる。一方、閾値を高く設定した場合には、ノイズを多く除去してしまうため、画像のエッジ成分を保存する割合が減少する。このため、ノイズ除去処理を実行する場合には、ノイズ成分とエッジ成分とを考慮して、適切な閾値を設定する必要がある。
【００６４】
具体的には、閾値を１σに設定してノイズ除去処理を実行すると、３２％のノイズを除去することができずに画像に残ってしまうものの、画像のエッジ成分を比較的多く保存することができる。
【００６５】
また、閾値として、２σを用いてノイズ除去処理を実行すると、４％のノイズが残り、１σの場合と比較するとノイズを２８％軽減することができる。ただし、この場合には、１σの場合と比較すると画像のエッジ成分を保存することができる割合が減少する。
【００６６】
なお、バイラテラルフィルタ、ウェーブレット変換等のεフィルタ以外のノイズ除去方法においても閾値の決定が重要である。
【００６７】
パラメータ決定部１６０は、例えば、色判別部１４０が出力した補正値ｋと、物理特性値算出部１５０が出力した物理特性値σ（ｘ）とを乗算した値である閾値ｋσ（ｘ）を計算し、計算した閾値ｋσ（ｘ）をノイズ除去部１７０に出力する。このように、閾値ｋσ（ｘ）を決定することによって、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を用いたノイズ除去処理を実行することができる。
【００６８】
次に、ノイズ除去部１７０のノイズ除去方法について詳細に説明する。なお、本実施の形態では、一例として、９×９画素のεフィルタを用いたノイズ除去方法について説明する。
【００６９】
εフィルタとは、注目画素を中心としたウィンドウ内にある周辺画素の中で、「仲間である」と判別した周辺画素のみを集めて平均化処理を行うノイズ除去方法である。「仲間である」か否かを判別する方法としては、注目画素と周辺画素との差の絶対値が閾値の範囲内にあるか否かに基づいて判別する判別方法を利用する。注目画素と周辺画素との差の絶対値が閾値の範囲内にある場合には、当該周辺画素を仲間と判断し平均化処理の対象とする。一方、注目画素と周辺画素との差の絶対値が閾値の範囲外であれば、当該周辺画素がノイズであると判断し平均化処理の対象としない。このように、εフィルタは、注目画素から値が大きく外れた画素をノイズと判断し除去するノイズ除去方法である。
【００７０】
図６は、注目画素２０１と、注目画素２０１の周辺画素２０２〜２０９との画素レベルの関係を示す図である。
【００７１】
例えば、図６に示すように、注目画素２０１の周辺画素２０２〜２０９が８個であった場合、注目画素２０１（Ｒｃ）を中心として、閾値ｋσ（Ｒｃ）の範囲内に存在する周辺画素２０３〜２０６、２０９については仲間と判断し平均化処理の対象とする。一方、閾値ｋσ（Ｒｃ）の範囲外に存在する周辺画素２０２、２０７については、ノイズであると判断し平均化処理の対象としない。
【００７２】
ここでは、図２（ｃ）に示すように、ウィンドウサイズが９×９画素であるベイヤー配列の画像データ４００において、注目画素２０１がＲの場合について説明する。注目画素２０１がＲの場合、注目画素２０１を中心としたベイヤー配列の画像データ４００には、注目画素２０１を含み２５画素のＲが含まれている。なお、図２（ｃ）において、注目画素２０１をＲｃで示す。
【００７３】
ノイズ除去部１７０は、パラメータ決定部１６０が出力した閾値ｋσ（Ｒｃ）に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行する。具体的には、ベイヤー配列の画像データ４００に含まれる２５画素のＲについて、注目画素２０１（Ｒｃ）を中心として、閾値ｋσ（Ｒｃ）の範囲内に存在する周辺画素Ｒについては仲間と判断し平均化処理の対象とし、一方、閾値ｋσ（Ｒｃ）の範囲外に存在する周辺画素Ｒについては、ノイズであると判断し平均化処理の対象とせずに、ノイズ除去処理を実行する。
【００７４】
次に、本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。
【００７５】
図７は、画像処理装置１００によるノイズ除去処理の処理手順を示すフローチャートである。
【００７６】
入力端子１１０から画像データが入力されると（ステップＳ９００）、入力された画像データはラインバッファ１２０に格納される（ステップＳ９０１）。
【００７７】
続いて、ラインバッファ１２０に格納されている画像データ２００を構成する各画素の垂直方向のアドレスを示す変数ｉが０に初期化される（ステップＳ９０２）とともに、水平方向のアドレスを示す変数ｊが０に初期化される（ステップＳ９０３）。
【００７８】
続いて、周辺画素参照部１３０が、位置（ｉ、ｊ）に存在する注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ４００をラインバッファ１２０から読み出す（ステップＳ９０４）。
【００７９】
続いて、物理特性値算出部１５０が、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照し、注目画素２０１の信号量ｘに基づいて、注目画素２０１の物理特性値σ（ｘ）を計算し、計算して求めた物理特性値σ（ｘ）をパラメータ決定部１６０に出力する（ステップＳ９０５）。
【００８０】
続いて、色判別部１４０が、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を参照し、ベイヤー配列の画像データ３００の色を判別し、判別した色に基づいて、補正値ｋを算出し、算出した補正値ｋをパラメータ決定部１６０に出力する（ステップＳ９０６）。
【００８１】
続いて、パラメータ決定部１６０が、色判別部１４０が出力した補正値ｋと、物理特性値算出部１５０が出力した物理特性値σ（ｘ）とを乗算した値である閾値ｋσ（ｘ）を計算し、計算した閾値ｋσ（ｘ）をノイズ除去部１７０に出力する（ステップＳ９０７）。
【００８２】
続いて、ノイズ除去部１７０が、パラメータ決定部１６０が出力した閾値ｋσ（ｘ）に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行する（ステップＳ９０８）。
【００８３】
続いて、水平方向のアドレスｊが１つインクリメントされ（ステップＳ９０９）、注目画素２０１の位置が１画素分進む。そして、アドレスｊが水平画素数Ｗよりも小さいか否かが判断される（ステップＳ９１０）。ｊ＜Ｗの場合には（ステップＳ９１０）、ステップＳ９０４〜ステップＳ９０９までの動作が繰り返される。
【００８４】
一方、ｊ≧Ｗの場合には（ステップＳ９１０）、垂直方向のアドレスｉが１つインクリメントされ（ステップＳ９１１）、注目画素２０１の位置が垂直方向に１画素分進む。そして、アドレスｉが垂直画素数Ｈよりも小さいか否かが判断される（ステップＳ９１２）。ｉ＜Ｈの場合には（ステップＳ９１２）、ステップＳ９０３〜ステップＳ９１１までの動作を繰り返す。
【００８５】
ｉ≧Ｈの場合には（ステップＳ９１２）、ノイズ除去処理が終了する。
【００８６】
なお、上述した実施の形態では、注目画素２０１がＲの場合について説明したが、注目画素２０１がＧ、Ｂの場合も同様であるため、注目画素２０１がＧ、Ｂの場合の説明を省略する。
【００８７】
次に、人間の視覚特性について簡単に説明する。
【００８８】
一般的な色に関する視覚特性として、人は黄色や緑色の光には敏感である場合が多い。このため、黄色や緑色のノイズ除去を強くすると解像感が低下したと感じる。
【００８９】
一方、人は赤色や青色の光には鈍感である場合が多い。このため、赤色や青色のノイズ除去を強くしても解像感は低下しないと考えられている。
【００９０】
また、被写体に応じた色に関する視覚特性として、人は人間の顔色の変化には敏感である。このため、一般的には、肌色のノイズ除去を強くしてきれいな肌色とする場合が多い。
【００９１】
さらに、人は空色の変化には敏感である。このため、一般的には、空色のノイズ除去を強くしてきれいな空色とする場合が多い。
【００９２】
例えば、画像の色のみに基づいてノイズ除去処理のためのパラメータを決定する場合において、緑色の閾値を低くし、赤色の閾値を高くすると設定した場合、設定した色に応じてノイズ除去の強さを変更することができる。しかし、画像信号中に重畳されるノイズの性質は、人間の視覚特性とは独立のものである。このため、暗い赤や明るい緑等の場合には、ノイズの物理特性を考慮しなければ適切なノイズ除去をすることができない。
【００９３】
そこで、本実施の形態では、ノイズの物理特性については輝度に依存する値である物理特性値を算出してノイズの物理特性を考慮するとともに、人間の視覚特性については画像の色に応じて物理特性値を補正することによって人間の視覚特性を考慮する。これによって、本実施の形態によれば、ノイズの物理特性と人間の視覚特性とを考慮して効果的にノイズを除去することができる。
【００９４】
また、本実施の形態では、人間の視覚特性とノイズの物理特性との双方を考慮してノイズ除去処理のパラメータを決定し、ノイズ除去処理をするため、見た目に自然な画像を得ることができる。
【００９５】
さらに、本実施の形態によれば、感度ムラノイズに関連する定数ａ、光学ショットノイズに関連する定数ｂ、フロアノイズに関連する定数ｃは、ＣＣＤ、基板、温度等に応じて決定することができるパラメータであり、これらを考慮してノイズの物理特性値を求めるため、異なるシステム間においても、ノイズ除去の効果を適用することができる。
【００９６】
また、本実施の形態によれば、例えば、ノイズの分布が正規分布だと仮定した場合には、決定した閾値によってノイズをどの程度除去できるのかを予め計算することができる。
【００９７】
なお、本実施の形態では、物理特性値算出部１５０が物理特性値σ（ｘ）を求める際に、注目画素の信号量の値をそのまま使用したが、ＬＰＦ、εフィルタ、メディアンフィルタ等のノイズ除去処理を実行した後の値を信号量ｘとして、物理特性値σ（ｘ）を計算するようにしてもよい。
【００９８】
また、ホワイトバランス係数の影響を考慮して、ホワイトバランス後の画像データに基づいて、物理特性値σ（ｘ）を求めるようにしてもよい。
【００９９】
さらに、画面のＯＢ（Optical Black）領域の標準偏差を測定することによって、撮影時のショットノイズを求め、温度上昇によるノイズの変化にショットノイズを対応させるようにしてもよい。
【０１００】
また、本実施の形態において、色判別部１４０が補正値ｋを求める場合に、近傍のｒ、ｇ、ｂ値に対応した補正値ｋを、ｒ、ｇ、ｂ値の色空間距離に応じて補間した値を用いるようにしてもよい。例えば、ｒ、ｇ、ｂ値の色空間距離における距離の割合に基づいて補正値ｋを求めることができる。
【０１０１】
さらに、色判別部１４０が補正値ｋを求める場合において、Ｒ、Ｇ、Ｂの各色からなる画像データを使用したが、補色のＣ、Ｍ、Ｙの各色からなる画像データを使用するようにしてもよい。
【０１０２】
また、色判別部１４０が補正値ｋを求める場合において、ホワイトバランス値を固定値にして単純化するようにしてもよい。
【０１０３】
さらに、色判別部１４０が補正値ｋを求める場合において、ウィンドウ内の色の平均値を用いたが、メディアン値、ＬＰＦ値、εフィルタ値等を用いるようにしてもよい。
【０１０４】
また、色判別部１４０が補正値ｋを求める場合において、γカーブによって暗部のノイズが強調されることを考慮して、茶色等の暗い色に関する補正値ｋを大きめに設定するようにしてもよい。
【０１０５】
なお、γ補正部１４４はγカーブによる影響を考慮するためのものであるため、γの逆補正をした色空間に基づいて色判別をするようにし、γ補正部１４４を省略するようにしてもよい。
【０１０６】
また、本実施の形態では、補正値ｋと物理特性値σ（ｘ）とを乗算して閾値ｋσ（ｘ）を求めるが、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を決定することができれば、補正値ｋと物理特性値σ（ｘ）とについて加算等の他の演算を施して閾値を求めるようにしてもよい。
【０１０７】
また、ノイズ除去部１７０がεフィルタを用いて平均化処理を実行する場合に、平均化処理の対象となる各画素に重みをつけて実行するようにしてもよい。例えば、注目画素と各画素との距離に応じて重みを変化させるようにすることができる。
【０１０８】
なお、本実施の形態では、εフィルタを用いたノイズ除去方法について説明したが、εフィルタの代わりに、ウェーブレット変換、バイラテラルフィルタ、トリラテラルフィルタ等の所定のパラメータを用いてノイズ除去処理を実行するフィルタ等を使用するようにしてもよい。
【０１０９】
また、ノイズ除去方法としてウェーブレット変換を用いて、コアリングの閾値決定方法として本実施の形態を適用するようにしてもよい。
【０１１０】
さらに、本実施の形態を、帯域分割をした後に行うノイズ除去処理に適用するようにしてもよい。また、帯域毎に異なる閾値を設定してノイズ除去処理を実行するようにしてもよい。
【０１１１】
ここで、εフィルタ以外のフィルタの一例としてバイラテラルフィルタについて説明する。
【０１１２】
バイラテラルフィルタは、レベル差に応じて重み付けをするフィルタである。ここでは、重み関数としてガウス関数を用いた例を説明する。
【０１１３】
ガウス関数は、Ｎ（μ、σ２）と表すことができる（ただし、Ｎ（平均、分散））。
【０１１４】
ここで、
ｎｏｉｓｅ（ｘ）＝ｂ（√ｘ）＋ｃ
ｔｈｒｅｓｈ（ｘ）＝ｋ（ｘ）×ｎｏｉｓｅ（ｘ）
とした場合に、Ｎ（０、（ｔｈｒｅｓｈ（ｘ））２）のガウス関数を使用するフィルタである。
【０１１５】
すなわち、バイラテラルフィルタは、物理特性値（ノイズ量）が大きければ、広がったガウス関数を使用し、色補正値が大きければ、さらに広がったガウス関数を使用することになる。
【０１１６】
なお、本実施の形態では、画素配列としてベイヤー配列とした場合について説明したが、ベイヤー配列以外の画素配列についても本実施の形態を適用することができる。
【０１１７】
また、画像データ３００のウィンドウサイズを５×５とし、画像データ４００のウィンドウサイズを９×９として説明したが、他のウィンドウサイズとするようにしてもよく、対象領域を可変の領域とするようにしてもよい。
【０１１８】
さらに、色判別部１４０が用いる画素配列のウィンドウサイズと、ノイズ除去部１７０が用いるウィンドウサイズとのサイズを同じサイズとするようにしてもよい。
【０１１９】
また、本実施の形態では画像処理装置について説明したが、これらの構成を具備するデジタルカメラ等の撮像装置、パーソナルコンピュータ等の画像処理装置等に本実施の形態を適用することができる。
【０１２０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１２１】
すなわち、請求項１乃至１０において、画像処理装置は、例えば画像処理装置１００に対応する。
【０１２２】
また、請求項１乃至８、１１において、入力手段は、例えば入力端子１１０に対応する。また、物理特性値算出手段は、例えば物理特性値算出部１５０に対応する。また、色判別手段は、例えば色判別部１４０に対応する。また、パラメータ決定手段は、例えばパラメータ決定部１６０に対応する。また、ノイズ除去処理は、例えばノイズ除去部１７０が実行する。
【０１２３】
また、請求項９または１０において、ノイズの物理特性と人間の視覚特性とに基づいて画像データに含まれるノイズを除去するノイズ除去処理を実行する画像処理装置は、例えば、画像処理装置１００に対応する。
【０１２４】
また、請求項１１において、撮像装置は、例えば画像処理装置１００に対応する。
【０１２５】
また、請求項１２または請求項１３において、入力手順は、例えばステップＳ９００に対応する。また、物理特性値算出手順は、例えばステップＳ９０５に対応する。また、色判別手順は、例えばステップＳ９０６に対応する。また、パラメータ決定手順は、例えばステップＳ９０７に対応する。
【０１２６】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図２】入力端子１１０から入力されラインバッファ１２０に格納されている画像データ２００と、画像データ２００から読み出されるベイヤー配列の画像データ３００および４００とを概念的に示す図である。
【図３】色判別部１４０の機能構成例を示すブロック図である。
【図４】人間の視覚特性を考慮して作成されている色と補正値の変換テーブル１４６ａを示す図である。
【図５】画像の輝度（明るさ）と物理特性値（ノイズ量）との関係の一例を示すグラフと、ノイズ量の分布が正規分布だと仮定した場合における正規分布表（ガウス関数）と物理特性値σ（ｘ）との関係を示すグラフとを示す図である。
【図６】注目画素２０１と、注目画素２０１の周辺画素２０２〜２０９との画素レベルの関係を示す図である。
【図７】画像処理装置１００によるノイズ除去処理の処理手順を示すフローチャートである。
【符号の説明】
【０１２８】
１００  画像処理装置
１１０  入力端子
１２０  ラインバッファ
１３０  周辺画素参照部
１４０  色判別部
１４１  入力端子
１４２  同色平均部
１４３  ホワイトバランス補正部
１４４  補正部
１４５  色分離部
１４６  変換テーブル部
１４７  出力端子
１５０  物理特性値算出部
１６０  パラメータ決定部
１７０  ノイズ除去部
１８０  出力端子
２００  画像データ
２０１  注目画素
２０２〜２０９  周辺画素
３００、４００  ベイヤー配列の画像データ
【図１】
2008113222.tif 000003
【図２】
2008113222.tif 000004
【図３】
2008113222.tif 000005
【図４】
2008113222.tif 000006
【図５】
2008113222.tif 000007
【図６】
2008113222.tif 000008
【図７】
2008113222.tif 000009