(57)【要約】【課題】優れたノイズ除去性能を実現する。【解決手段】入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面計算部３１０-３１ｎと、複数の推定平面のうち、ブロックの各画素の輝度値と推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択部３２とを有し、参照画素の輝度値と最適推定平面における輝度値とに基づいて参照画素にフィルタ処理を施す。【選択図】図２
2010161701.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出部と、
上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択部と、
上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出部と、
上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化部と
を備える画像処理装置。
【請求項２】
上記重み係数算出部は、上記参照画素を中心とするブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差を用いて上記参照画素に対する重み係数を算出する請求項１記載の画像処理装置。
【請求項３】
上記重み係数算出部は、上記参照画素の輝度値と上記最適推定平面における輝度値との輝度差の２乗値を上記参照画素に対する重み係数とする請求項１記載の画像処理装置。
【請求項４】
上記推定平面算出部は、最小２乗法により上記推定平面を算出し、
上記最適平面選択部は、上記複数の推定平面のうち、上記最小２乗法における誤差の２乗和が最小である推定平面を上記最適推定平面として選択する請求項１記載の画像処理装置。
【請求項５】
入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出工程と、
上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択工程と、
上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出工程と、
上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化工程と
を有する画像処理方法
【請求項６】
入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出工程と、
上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択工程と、
上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出工程と、
上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化工程と
を情報処理装置に実行させるプログラム。
【請求項７】
撮像部と、
上記撮像部にて得られた画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出部と、
上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択部と、
上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出部と、
上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズを有する画像データに対して、ノイズ除去を行う画像処理に関する。
【背景技術】
【０００２】
近年、ディジタルカメラの普及によって、しばしば不利な条件下で撮影されたディジタル画像を復元するニーズが生じている。特に、夜間などの低照度時においては、カメラに入力される光量が少なくノイズを有する画像となり、例えば夜間監視のカメラでは、ノイズの影響により監視対象である人の顔や車のナンバーなどの判別ができなくなってしまう。そのため、ノイズを有する画像からノイズを除去する手段が必要となる。これは、一般にノイズリダクションと呼ばれる技術である。
【０００３】
ノイズリダクションの目的はノイズを除去することであるが、一方で可能な限り元画像（ノイズを有さない画像）の詳細な部分を保存したいという要望がある。例えば、ノイズリダクションによってナンバープレートのノイズは取れたが、文字が潰れて判読できないという状況は、望まれない。したがって、ノイズリダクションの目標は、劣化画像（ノイズを有する画像）を用いて、できなるだけ元画像のエッジ部分を保存するように、できるだけノイズを除去するということになる。
【０００４】
ノイズリダクションの最も単純な方法は、平滑化フィルタ（ローパスフィルタ）である。これにより、ノイズ成分が多く含まれる高周波帯域の情報がカットされ、ノイズが除去される。しかし、画像の詳細部分（エッジ）もまた高周波帯域に含まれるため、平滑化により先鋭感が失われてしまう。
【０００５】
エッジの保存を考慮したノイズリダクションの手法として、バイラテラルフィルタが挙げられる（C Tomasi and R Manduchi, “Bilateral filtering for gray and color images”, Computer Vision, 1998）。これは、重み付き平滑化フィルタの一種であるが、重み係数を求める際の工夫により、エッジ保存が可能なノイズリダクションとなる。この重み係数は次の２つの指標によって決定される。
【０００６】
１つ目の指標は、参照画素と周辺画素との距離差である。参照画素から離れているほど、参照画素との関係性が低いとして、重み係数を小さくする。逆に参照画素に近いほど、参照画素との関係性が高いとして、重み係数を大きくする。
【０００７】
２つ目の指標は、参照画素と周辺画素との輝度差である。輝度差が大きいほど参照画素との関係性が低いとして、重み係数を小さくする。輝度差が小さいほど参照画素との関係性が高いとして重み係数を大きくする。
【０００８】
このように、バイラテラルフィルタでは、特に輝度差によって重み係数が決められるため、エッジの保存性が良い。バイラテラルフィルタは、輝度が一様な領域では平滑化フィルタとして働き、輝度差が大きい画素については、重み係数を小さくするのでエッジの保存性が良いという長所をもつ。
【０００９】
エッジの保存性を考慮したノイズリダクションの方式は、他にも多数あり、例えば、特表２００７−５３６６６２号公報（以下、特許文献１と呼ぶ。）、特開２００６−２４６０８０号公報（以下、特許文献２と呼ぶ。）に記載されている。
【００１０】
特許文献１の技術は、前記のバイラテラルフィルタにおいて、ブロック単位の輝度差の比較により重み係数を算出する手法である。これにより、ノイズと空間的な相関をもつテクスチャとの区別ができて、バイラテラルフィルタに比べてテクスチャの保存性が高まり、優れたノイズ除去性能が実現できる。
【００１１】
また、特許文献２の技術では、バイラテラルフィルタとアンシャープマスクを併用することで、よりエッジ保存性に優れたノイズリダクションを実現している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特表２００７−５３６６６２号公報
【特許文献２】特開２００６−２４６０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかし、これらの技術には、グラデーション（輝度が平面的に変化する領域）を有する画像に対しては、ノイズ除去性能が悪いという問題点がある。なお、本明細書では、１階微分可能である領域をグラデーション部分と定義する。グラデーション部分の画素の輝度値は、「グラデーションが成す平面によるバイアス」と「ノイズ」の和からなる。
【００１４】
これらの技術では、重み係数を算出する際に「グラデーションが成す平面によるバイアス」を考慮していないため、その分だけ参照画素と周辺画素の輝度差が増大する。その結果としてグラデーション部分では参照画素と（輝度値の意味で）近い周辺画素がほとんど存在しなくなるので、重み係数が小さくなり、ノイズが残っていた。
【００１５】
本発明は、これらの問題点を鑑みてなされたものであり、優れたノイズ除去性能を実現する画像処理装置、画像処理方法、プログラム、及び撮像装置を提供する。
【課題を解決するための手段】
【００１６】
上述した課題を解決するために、本発明に係る画像処理装置は、入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出部と、上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択部と、上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出部と、上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化部とを備える。
【００１７】
また、本発明に係る画像処理方法は、入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出工程と、上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択工程と、上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出工程と、上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化工程とを有する。
【００１８】
また、本発明に係るプログラムは、入力された画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出工程と、上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択工程と、上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出工程と、上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化工程とを情報処理装置に実行させる。
【００１９】
また、本発明に係る撮像装置は、撮像部と、上記撮像部にて得られた画像データに対し、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する推定平面算出部と、上記複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する最適推定平面選択部と、上記参照画素の輝度値と上記最適推定平面における輝度値とに基づいて上記参照画素に対する重み係数を算出する重み係数算出部と、上記ブロックの各画素の輝度値と上記最適推定平面における輝度値との相対輝度差と、上記参照画素に対する重み係数とを積和演算し、当該演算結果に上記最適推定平面における参照画素位置の輝度値を加算する重み付き平滑化部とを備える。
【発明の効果】
【００２０】
本発明によれば、ブロックの各画素の輝度値と推定平面における輝度値との誤差が最小となる最適推定平面を決定し、参照画素の輝度値と最適推定平面における輝度値とに基づいて参照画素に対する重み係数を算出するため、従来技術では不可能であったグラデーション部分のノイズ除去を達成するとともに、画像データの詳細部分（エッジ等）を保存することができる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態におけるカメラの構成を示すブロック図である。
【図２】本発明を適用した画像処理装置の構成を示す機能ブロック図である。
【図３】推定平面の算出方法を説明するための図である。
【図４】エッジ部分の推定平面を説明するための図である。
【図５】エッジ部分の推定平面を説明するための図である。
【図６】情報処理装置の構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の具体的な実施の形態について、図面を参照しながら以下の順番で説明を行う。
１．カメラ構成      図１
２．画像処理例１    図２〜図５
３．画像処理例２    
４．変形例          図６
【００２３】
［１．カメラ構成］
図１は、本発明の一実施の形態に係るカメラの構成例を示している。被写体からの光は、レンズ１１、絞り１２等の光学系により、撮像素子１３上に集光される。
【００２４】
撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャ等で構成され、受光した光を電気信号に変換し、相関２重サンプリング回路１４に出力する。即ち、撮像素子１３は、タイミングジェネレータ１７から供給されるタイミング信号に従い、所定の間隔で、所定の露出時間だけ、レンズ１１及び絞り１２を介して入射する被写体の光を受光する。そして、撮像素子１３は、その撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号を相関２重サンプリング回路１４に供給する。
【００２５】
相関２重サンプリング回路１４は、撮像素子１３から供給される電気信号のノイズ成分を、相関２重サンプリングにより除去し、Ａ／Ｄ(Analog/Digital)コンバータ１５に供給する。Ａ／Ｄコンバータ１５は、相関２重サンプリング回路１４から供給される電気信号をＡ／Ｄ変換（サンプリングして量子化）し、その結果得られる画像データを、信号処理回路１６に供給する。
【００２６】
信号処理回路１６は、例えば、ＤＳＰ（Digital Signal Processor）等で構成され、Ａ／Ｄコンバータ１５から供給される画像データに対して、各種の画像処理（カメラ信号処理）を施し、その画像処理後の画像データを、Ｄ／Ａコンバータ１８またはコーデック２１に供給する。
【００２７】
タイミングジェネレータ１７は、各種の処理のタイミングを指令するタイミング信号を生成し、撮像素子１３、相関２重サンプリング回路１４、Ａ／Ｄコンバータ１５、及び信号処理回路１６に供給する。
【００２８】
Ｄ／Ａ(Digital/Analog)コンバータ１８は、信号処理回路１６から供給された画像データをＤ／Ａ変換し、ビデオエンコーダ１９に供給する。ビデオエンコーダ１９は、Ｄ／Ａコンバータ１８から供給された画像信号（アナログ信号）を、モニタ２０で表示することができる信号に変換し、モニタ２０に供給する。モニタ２０は、ディジタルカメラのファインダ等の役割を果たすもので、ＬＣＤ(Liquid Crystal Display)などで構成され、ビデオエンコーダ１９から供給される信号にしたがって画像を表示する。これにより、モニタ２０では、いわゆるスルー画等が表示される。
【００２９】
コーデック２１は、信号処理回路１６から供給された画像データを、ＪＰＥＧ(Joint Photographic Experts Group)方式、ＭＰＥＧ(Moving Picture Experts Group)方式、ＤＶ（Digital Video）方式などの所定の方式に従って符号化し、メモリ２２に供給する。
【００３０】
メモリ２２は、フラッシュメモリなどの半導体メモリで構成され、コーデック２１から供給される符号化された画像データを記憶（記録）する。なお、メモリ２２の代わりに、磁気ディスク、光（磁気）ディスク、磁気テープ等の記録媒体を用いることができる。メモリ２２又は記録媒体は、ディジタルカメラに対して着脱可能とすることができる。また、ディジタルカメラに内蔵される記録媒体と、ディジタルカメラに着脱可能な記録媒体の両方を設けるようにすることも可能である。
【００３１】
記憶部２３は、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)などの不揮発性のメモリ、又は不揮発性のメモリとＲＡＭ(Read Only Memory)などの揮発性のメモリとで構成される。そして、ＣＰＵ(Central Processing Unit)２４が実行するプログラムを記憶し、また、ＣＰＵ２４が処理を行う上で必要なデータを一時記憶する。
【００３２】
ＣＰＵ２４は、記憶部２３に記憶されたプログラムを実行することにより、各種の処理を行う。即ち、ＣＰＵ２４は、例えば、ユーザの操作に応じて入力デバイス２５から供給される信号などに応じ、バスを介して、信号処理回路１６、タイミングジェネレータ１７、コーデック２１、メモリ２２等の各部に制御信号を供給し、これにより、各部を制御する。
【００３３】
入力デバイス２５は、撮影（撮像）のトリガを与えるレリーズボタン（シャッタボタン）、撮影時の露出を補正するときに操作される露出補正ダイアル、ズームを調整するときに操作されるズームボタン（ズームレバー）などの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス２５からバスを介してＣＰＵ２４に供給され、ＣＰＵ２４は、入力デバイス２５からバスを介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス２５の１以上の操作ボタンは、モニタ２０に表示することが可能である。モニタ２０に表示された操作ボタンに対する操作は、例えば、モニタ２０上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。
【００３４】
Ｉ／Ｆ(Interface)２６は、例えば、ＵＳＢ（Universal Serial Bus）や、ＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４、ＩＥＥＥ８０２の規格等に準拠した通信を行うインタフェースである。ディジタルカメラは、Ｉ／Ｆ２６を介して外部のコンピュータなどと接続することで、記憶部２３に記憶されているプログラムを更新し、あるいは画像データを含む各種のデータのやりとりをすることができる。
【００３５】
以上のように構成されるディジタルカメラでは、被写体からの光が、レンズ１１、絞り１２等の光学系を介して、撮像素子１３に入射する。撮像素子１３は、そこに入射する被写体の光を受光して光電変換する。撮像素子１３における光電変換の結果得られる画像（データ）は、相関２重サンプリング回路１４及びＡ／Ｄコンバータ１５を介して、信号処理回路１６に供給される。
【００３６】
信号処理回路１６では、入力された画像データに対して、後述するノイズ除去及びエッジ保存の画像処理を施す。画像処理後の画像データは、Ｄ／Ａコンバータ１８及びビデオエンコーダ１９を介して、モニタ２０に供給されて表示される。また、画像処理後の画像は、必要に応じて、コーデック２１を介してメモリ２２に供給されて記憶される。
【００３７】
［２．画像処理例１］
次に、信号処理回路１６における画像処理について説明する。具体例として示す画像処理は、グラデーション部分（輝度が平面的に変化する領域）の輝度値が形成する平面を推定し、この平面を用いて平滑化における重み係数を算出することにより、グラデーション部分のノイズを除去するものである。さらに、重み係数を算出する際、誤差が最も小さい最適平面を用いることにより、画像データの詳細部分（エッジ等）を保存するものである。
【００３８】
この画像処理は、上述した撮像装置の信号処理回路１６において、例えば図２に示す画像処理装置の機能を構成して実現される。図２は、本発明を適用した画像処理装置の構成を示す機能ブロック図である。この画像処理装置は、推定平面計算部３１０〜３１ｎ（ｎは正の整数）と、最適推定平面選択部３２と、重み係数算出部３３と、重み付き平滑化部３４とを備える。
【００３９】
推定平面計算部３１０〜３１ｎは、画像データに対して、フィルタ処理を施す参照画素を含む所定の数の画素からなるブロックを単位として輝度値が形成する複数の推定平面を算出する。具体的には、フィルタ処理を施す任意の画素（以下、参照画素と呼ぶ。）を中心とした任意の大きさ（ｎ×ｎ、ｎは３以上の奇数）のブロック（以下、参照ブロック）の全ての画素を用いて推定平面を算出する。例えば、参照画素と、参照画素の８近傍の各画素(以下、周辺画素)について、参照画素、各周辺画素をそれぞれ中心とした任意の大きさ（ｍ×ｍ、ｍは３以上の奇数）のブロック（以下、周辺ブロック）の全ての画素を用いて９つの推定平面を算出する。
【００４０】
ここで、参照ブロックと周辺ブロックとは同一の大きさ（ｎ＝ｍ）であることが望ましい。これにより、各推定平面計算部３１０〜３１ｎにおける計算処理を同一とすることができ、推定平面計算部３１０〜３１ｎの構成を簡略化することができる。また、推定平面の算出方法の一例としては、例えば最小２乗法を用いることができる。最小２乗法では、推定平面が、ブロック内の各画素の輝度値と平面との２乗誤差の総和（誤差の２乗和）が最小になるように算出される。
【００４１】
最適推定平面選択部３２は、複数の推定平面のうち、上記ブロックの各画素の輝度値と上記推定平面における輝度値との誤差の総和が最小となる最適推定平面を選択する。具体的には、推定平面計算部３１０〜３１ｎにおいて最小２乗法を用いて推定平面を算出した場合、推定平面の２乗誤差の総和が最小であるものを選択する。
【００４２】
重み係数算出部３３は、参照画素の輝度値と最適推定平面における輝度値とに基づいて参照画素に対する重み係数を算出する。具体的な算出方法は後述する。
【００４３】
重み付き平滑化部３４は、ブロックの各画素の輝度値と最適推定平面における輝度値との相対輝度差と、参照画素に対する重み係数とを積和演算し、当該演算結果に最適推定平面における参照画素位置の輝度値を加算し、参照画素を平滑化する。
【００４４】
このような画像処理装置によれば、画像データに対して、参照ブロック内及び周辺ブロック内の画素の輝度値が形成する平面が推定され、推定平面を用いた重み付き平滑化フィルタが構成される。そして、誤差が最小の最適推定平面を用いて重み付き平滑化フィルタが構成されることにより、画像中の輝度が平面的に変化するグラデーション部分のノイズ除去と、ある特徴が急激に変化しているエッジ部分の保存とを同時に実現することができる。
【００４５】
次に、上述した画像処理装置の具体的な動作例について説明する。ここでは、上述した参照ブロック及び周辺ブロックの大きさを３画素×３画素として説明する。
【００４６】
先ず、推定平面計算部３１０〜３１ｎに入力された画像データは、フィルタ処理を施す参照画素を含む３画素×３画素からなるブロック単位でそれぞれ処理される。推定平面計算部３１０では、図３（Ａ）に示すように参照画素とその８近傍の周辺画素とからなる参照ブロック内の全ての画素に対して最も誤差が小さい平面が推定される。また、推定平面計算部３１１では、図３（Ｂ）に示すように８近傍の周辺画素のうち参照画素の右上画素を中心とした周辺ブロック内の全ての画素に対して最も誤差が小さい平面が推定される。また、同様に、推定平面計算部３１２〜８では、図３（Ｃ）及び図３（Ｄ）に示すように残りの周辺画素を中心とした参照画素を含む周辺ブロックの画素に対する平面がそれぞれ推定される。これらの推定平面は、最小２乗法により、ブロック内の各輝度値と平面の各輝度値との２乗誤差が最小となるように算出される。これらの演算により、参照ブロックによる推定平面、各周辺ブロックによる推定平面の計９つの推定平面が得られる。
【００４７】
最適推定平面選択部３２は、推定平面計算部３１０〜３１ｎにて算出された９つの推定平面の中から最適推定平面を選択する。ここでの最適の定義は、ブロック内の各輝度値と平面の各輝度値との２乗誤差の総和が最小となることである。例えば、図４及び図５に示す参照ブロックに対する推定平面及び周辺ブロックに対する推定平面の場合、ブロック内の各輝度値と平面における各輝度値との２乗誤差の総和が小さい図４（Ｂ）及び図５（Ｂ）に示す推定平面が選択される。このようにして選ばれた推定平面を最適推定平面と呼ぶ。
【００４８】
続いて、重み係数算出部３３において、最適推定平面を用いて重み付き平滑化フィルタにおける重み係数を求める。重み係数を決定する要因は、バイラテラルフィルタの場合、参照画素と周辺画素との距離差と輝度差であるが、本実施の形態では、輝度差の項について、最適推定平面との相対輝度差である。具体的には次のように相対輝度差を求める。参照画素については、「参照画素の輝度値」と「その位置に対応する最適推定平面の輝度値」の差を相対輝度差として算出する。同様に、周辺画素についても、「周辺画素の輝度値」と「その位置に対応する最適推定平面の輝度値」の差を相対輝度差として算出する。
【００４９】
重み係数は、「参照画素の相対輝度差」と「周辺画素の相対輝度差」の差分を入力とする関数によって決定される。この関数は、コンパクトサポート（ある有界区間の外で０）な関数であれば任意のものを利用することができる。関数の例としては、例えばガウス関数（適当な区間の外を０にする）などが挙げられる。
【００５０】
最後に、重み付き平滑化部３４において、参照画素に対して得られた重み係数と相対輝度差とを積和演算する。この演算結果に対して、参照画素の位置に対応する最適推定面の輝度値を加算する。これにより得られた値が、参照画素にフィルタ処理を施した結果である。
【００５１】
以上の演算を入力画像データの全ての画素について行うことにより、グラデーション部分のノイズが除去され、詳細部分（エッジ等）が保存された画像を得ることができる。これは、本実施の形態における画像処理が「グラデーションが成す平面によるバイアス」を差し引いて、「ノイズ」の部分だけで輝度差を評価しているからである。具体的には、上述のように「グラデーションが成す平面」を例えば最小２乗法により推定し、元の画像データの輝度値から推定平面の輝度値を差し引いて、ノイズ部分だけを取り出した上でフィルタを施すことでグラデーション部分のノイズ除去を行うことができる。
【００５２】
ところで、この処理はブロック内の画素が平面を成すと仮定しているため、平面部分以外（例えば、エッジ部分）に対して適用するとうまく動作しない（エッジが鈍ってしまう）。例えば、図４（Ａ）及び図５（Ａ）のように参照ブロックにエッジ部分が存在すると、参照ブロック内の画素の輝度値と推定平面の輝度値との誤差は大きくなってしまう。したがって、この推定平面を用いて重み係数を算出してフィルタ処理を施すとエッジが鈍ってしまう。
【００５３】
この問題を回避するために、周辺ブロックにおける推定平面を算出して、複数の推定平面から最適推定平面を選択する処理を設けている。これにより、参照画素を含むブロック内の画素が平面を成すという仮定を満たす領域を選択することができる。例えば、図４（Ｂ）及び図５（Ｂ）のようにブロック内の画素の輝度値との誤差が小さい推定平面が最適推定平面として選択されるため、エッジ部分の保存を達成することができる。
【００５４】
以上のように本実施の形態における画像処理によれば、従来技術では不可能であったグラデーション部分のノイズ除去を行うことができる。また、各周辺ブロックに対して推定平面を算出して、最適推定平面を選択することにより、画像データの詳細部分（エッジ等）を保存することができる。つまり、エッジの保存及びグラデーション部分のノイズ除去を同時に達成することができる。
【００５５】
［３．画像処理例２］
次に、画像処理例２について説明する。この画像処理例２は、図２に示す画像処理装置と同様な構成で行われる。そして、重み係数算出部３３において、重み係数を別方式によって算出する。具体的には、「参照画素の輝度値」と「最適推定平面の参照画素の位置における輝度値」との誤差の２乗値を参照画素の重み係数とし、同様に、「周辺画素の輝度値」と「最適推定平面の参照画素の位置における輝度値」との誤差の２乗値を周辺画素の重み係数とする。
【００５６】
このように画像データの輝度値と最適推定平面における輝度値と誤差の２乗値を重み係数とすることにより、画像処理例１と同様に、エッジの保存及びグラデーション部分のノイズ除去を同時に達成することができる。
【００５７】
［４．変形例］
また、上述した実施の形態では、画像処理をハードウェアにより行うこととしたが、ソフトウェアにより行うこともできる。ソフトウェアにより行う場合は、そのソフトウェアを構成するプログラムが汎用コンピュータ等の情報処理装置にインストールされる。このプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、半導体メモリなどの記録媒体に一時的又永続的に格納（記録）され、いわゆるパッケージソフトウエアとして提供される。また、インターネットなどのネットワークからのダウンロードにより提供される。
【００５８】
図６は、情報処理装置の構成例を示す図である。この情報処理装置は、バス５１と、ＣＰＵ(Central Processing Unit)５２と、ＲＯＭ(Read Only Memory)５３と、ＲＡＭ(Random Access Memory)５４と、ハードディスク５５と、出力部５６と、入力部５７と、通信部５８と、ドライブ５９と、入出力インタフェース６０とを備える。ＣＰＵ５２には、バス５１を介して、入出力インタフェース６０が接続されている。ＣＰＵ５２は、入出力インタフェース６０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部５７が操作等されることにより指令が入力されると、それに従ってＲＯＭ５３に格納されているプログラムを実行する。
【００５９】
また、ＣＰＵ５２は、ハードディスク５５にインストールされたプログラムを、ＲＡＭ５４にロードして実行する。そして、ＣＰＵ５２は、上述した画像処理を行い、その処理結果を、例えばＬＣＤ(Liquid Crystal Display)やスピーカ等で構成される出力部５６から出力する。
【００６０】
なお、上述した画像処理を行うためのプログラムは、例えば、それ単独で配布することは勿論、ディジタルカメラの画像の編集や管理をするアプリケーションの一部として配布することも可能である。
【符号の説明】
【００６１】
１１  レンズ、  １２  絞り  １３  撮像素子、  １４  相関２重サンプリング回路、  １５  Ａ／Ｄコンバータ、  １６  信号処理回路、  １７  タイミングジェネレータ、  １８  Ｄ／Ａコンバータ、  １９  ビデオエンコーダ、  ２０  モニタ、  ２１  コーデック、  ２２  メモリ、  ２３  記憶部、  ２５  入力デバイス、  ２６  インタフェース  ３１０-３１ｎ  推定平面計算部、  ３２  最適推定平面選択部、  ３３  重み係数算出部、  ３４  重み付き平滑化部、  ５１  バス、  ５２  ＣＰＵ、  ５３  ＲＯＭ、  ５４  ＲＡＭ、  ５５  ハードディスク、  ５６  出力部、  ５７  入力部、  ５８  通信部、  ５９  ドライブ、  ６０  入出力インタフェース
【図１】
2010161701.tif 000003
【図２】
2010161701.tif 000004
【図３】
2010161701.tif 000005
【図４】
2010161701.tif 000006
【図５】
2010161701.tif 000007
【図６】
2010161701.tif 000008