(57)【要約】【課題】ＲＡＷ画像データにノイズを含んだまま画素補間を行ってカラー画像データを生成すると、ノイズを強調してしまう場合があり画質劣化の要因になる。【解決手段】ＲＡＷ画像データにノイズ低減処理を行い、ノイズ低減処理された画像データに画素補間処理をしてカラー画像データを生成する。また、ノイズ低減処理で生成されたエッジ情報を用いて画素補間処理を行う。【選択図】図３
2014086957.tif 000002
【特許請求の範囲】
【請求項１】
ＲＡＷ画像データにノイズ低減処理をするノイズ低減手段と、
前記ノイズ低減手段によってノイズ低減処理された画像データに画素補間処理をしてカラー画像データを生成する画素補間手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記ノイズ低減手段は、前記ＲＡＷ画像データにおける着目画素の近傍の参照画素の重みを決定し、決定した参照画素の重みを用いて該着目画素を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減手段は、前記着目画素と参照画素との類似度または着目領域と参照領域との類似度に基づいて前記参照画素の重みを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ低減手段は、前記決定した重みに関する情報に基づいて、前記着目画素がエッジか否かを示すエッジ情報を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記エッジ情報は、前記類似度に基づいて生成されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記エッジ情報は、前記着目画素と前記ノイズ低減手段で補正した画素との差に基づいて生成されることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記画素補間手段は、前記ノイズ低減手段によって生成されたエッジ情報を用いて前記画素補間処理を行うことを特徴とする請求項４から６のいずれかに記載の画像処理装置。
【請求項８】
前記画素補間手段は、前記ノイズ低減手段によって生成されたエッジ情報に基づいて、画素補間処理の対象の画素の補間方法を決定することを特徴とする請求項４から６のいずれかに記載の画像処理装置。
【請求項９】
前記ＲＡＷ画像データはベイヤ配列のカラーフィルタを備えた撮像装置で撮影された画像データであることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
ＲＡＷ画像データを入力する入力手段と、
前記入力されたＲＡＷ画像データのノイズを低減した画像データと、前記ＲＡＷ画像データの各画素のエッジ情報とを出力するノイズ低減手段と、
前記ノイズ低減手段によって出力されたノイズを低減した画像データの各画素の画素補間方法を、前記ノイズ低減手段によって出力された各画素のエッジ情報に基づいて決定する決定手段と、
前記決定手段で決定された画素補間方法を用いて前記ノイズを低減した画像データの各画素を補間する画素補間手段と
を備えることを特徴とする画像処理装置。
【請求項１１】
ＲＡＷ画像データを入力する入力手段と、
前記入力されたＲＡＷ画像データからカラー画像データを出力する出力手段と
を備える画像処理装置であって、
前記出力手段で出力されるカラー画像データは、前記入力されたＲＡＷ画像データに対して画素補間処理を行い画素補間処理後のカラー画像データに対してノイズ低減処理を行ったカラー画像データよりも、ノイズが低減され、かつエッジ部分のエッジが強調されたカラー画像データである、
ことを特徴とする画像処理装置。
【請求項１２】
請求項１から１１のいずれかに記載の画像処理装置を含む撮像装置。
【請求項１３】
ＲＡＷ画像データにノイズ低減処理をするノイズ低減ステップと、
前記ノイズ低減ステップによってノイズ低減処理された画像データに画素補間処理をしてカラー画像データを生成する画素補間ステップと
を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１１のいずれかに記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに含まれるノイズを低減する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。ここで、カラー画像を示す画像データを得るためには撮像素子の手前に光の波長によって透過率の異なるカラーフィルタを規則的に配置する。デジタル撮像装置は、カラーフィルタを透過した光量の違いから色信号を生成する。従って、デジタル撮像装置で記録される画像データ（以下、ＲＡＷ画像データという）においてはカラーフィルタの配置に応じたデータが記録される。その後、ホワイトバランス補正や画素補間などの一連の画像処理がＲＡＷ画像データに対して行われて、ＲＧＢ画像などの一般的なカラー画像を示す画像データが生成される。このように、デジタル撮像装置が備えるイメージセンサで記録された画像データから一般的なカラー画像を生成するデジタル画像処理は一般に現像処理と呼ばれる。
【０００３】
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、このようなノイズを低減し、高画質な画像を得るためには、ＲＡＷ画像データに混入したノイズを低減する必要がある。
【０００４】
従来、ノイズ周波数以下の信号成分を通すローパスフィルタを適用してノイズを低減する手法が知られている。しかしながら、ノイズ以外にエッジもぼけてしまうため高画質な画像を得ることが難しい。そこで、ノイズとエッジに関する情報を何らかの方法で判断し、適応的にノイズ低減を行う方法が数多く提案されている。
【０００５】
一般に、適応的なノイズ低減では、着目画素のノイズを低減するために、着目画素近傍の複数の画素を参照画素として選択して、それらの参照画素の適当な加重平均値により着目画素を置き換えることでノイズ低減を行う。
【０００６】
適応的なノイズ低減手法の一つとして、着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素の類似度を求め、この類似度に応じた加重平均値を算出することでノイズ低減を実現する（特許文献１、特許文献２）。
【０００７】
また、画素補間においてもエッジのぼけを低減する適応的な補間処理が提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００７−５３６６６２号公報
【特許文献２】特開２０１１−３９６７５号公報
【特許文献３】特開平８−２９８６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
現像処理における従来の方法では、画素補間処理を行いＲＧＢ画像データを生成した後に、ＲＧＢ画像データに対してノイズ低減処理が行われる。この場合、前段の画素補間処理と後段のノイズ低減処理とで重複して画像中のエッジを検出する処理が適用されていた。また、ＲＡＷ画像データにノイズを含んだまま画素補間を行ってカラー画像データを生成すると、ノイズを強調してしまう場合があり画質劣化の要因になるという問題があった。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、ＲＡＷ画像データにノイズ低減処理をするノイズ低減手段と、前記ノイズ低減手段によってノイズ低減処理された画像データに画素補間処理をしてカラー画像データを生成する画素補間手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明により、ＲＡＷ画像データからカラー画像データを生成する現像処理において、ＲＡＷ画像データのノイズを低減した画像データに対して画素補間処理を適用することにより、画質劣化を低減することができる。また、ノイズ低減処理で得られる画像のエッジ情報を参照して画素補間処理を行うことが可能になる。従って、現像処理において画像のエッジ検出に関わる負荷を低減しつつ画質を向上する効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例に係る画像処理装置のハードウェア構成の例を示すブロック図である。
【図２】本発明の実施例に係る画像処理装置の論理構成の例を示すブロック図である。
【図３】本発明の実施例に係る画像処理の流れの一例を示すフローチャート図である。
【図４】本発明の実施例に係るベイヤ配列を説明する模式図である。
【図５】本発明の実施例に係るノイズ低減処理の流れの一例を示すフローチャート図である。
【図６】本発明の実施例に係る画素補間処理の流れの一例を示すフローチャート図である。
【図７】本発明の実施例に係る画素補間処理を説明する模式図である。
【図８】本発明の実施例に係るノイズ低減方法を説明する模式図である。
【図９】本発明の実施例に係る参照画素の重みを算出する関数を説明する模式図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明を実施する形態について説明する。
【実施例１】
【００１４】
本実施例における画像処理装置の構成について、図１を参照して説明する。
【００１５】
図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。
【００１６】
以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
【００１７】
まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影されたＲＡＷ画像データ、及び入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータに対してＣＰＵ１０１からの指令に基づき各種演算を行う。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されているＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信されたＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。
【００１８】
上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。
【００１９】
（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、ＮｏｎＬｏｃａｌＭｅａｎｓ（ＮＬＭ）と呼ばれる手法を用いる例を説明する。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をＮＳ、参照画素の画素値をＩｊ（ｊ＝１〜ＮＳ）、参照画素の重みをｗｊ（ｊ＝１〜ＮＳ）とすると、ノイズ低減処理後の着目画素の画素値Ｉnewは次式になる。
【００２０】
【数１】
2014086957.tif 000003
【００２１】
次に、参照画素の重みの算出方法について、図８及び図９を参照して説明する。
【００２２】
図８（ａ）において、８０１は画像データの例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、８０２は着目画素であり、その画素値はＩ（４、４）である。８０３は着目領域であり、ノイズ低減対象となる着目画素８０２を中心とした３×３画素の矩形領域である。８０４は参照画素であり、着目画素８０２を含む５×５画素（ＮＳ＝２５）の矩形領域内の画素である。８０５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。
【００２３】
参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域８０３と当該参照画素Ｉ（２、２）の参照領域８０５とを比較して類似度を算出する。尚、類似度は所望の方法で求めてよい。例えば、図８（ｂ）のように、着目領域８０３の画素をｂｓ（ｐ，ｑ）、参照領域の画素をｂｊ（ｐ，ｑ）（ｊ＝１〜ＮＳ）とする。そして、着目領域８０３と参照領域８０５の空間的に対応する画素の差を類似度とすると、類似度Ｃjは次式になる。
【００２４】
【数２】
2014086957.tif 000004
【００２５】
類似度Ｃｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図９に示す関数のように類似度Ｃｊが小さいほど重みが大きく、類似度Ｃｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。
【００２６】
【数３】
2014086957.tif 000005
【００２７】
ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。
【００２８】
以下同様に、着目領域８０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。
【００２９】
尚、本実施例におけるノイズ低減処理は、参照画素の重みを着目領域と参照領域との類似度に基づいて決定する処理を説明したが、着目画素と参照画素との類似度に基づいて決定する処理であってもよい。例えば、ε-フィルタやバイラテラルフィルタ等を用いて参照画素の重みを求めても構わない。
【００３０】
（画像処理装置の論理構成）
以下では、本実施例における画像処理について図２と図３を参照して説明する。
【００３１】
図２は本実施例の画像処理装置の論理構成を示す模式図であり、入力部２０１、記憶部２０２、処理部２０３、及び出力部２０４を備える。処理部２０３は、ホワイトバランス処理部２０５、ノイズ低減処理部２０６、画素補間処理部２０７、及び補正処理部２０８を含む。図２において、入力部２０１は、画像データや画像処理パラメータを画像処理装置に入力する。画像処理パラメータは、後述するホワイトバランス処理において用いられるパラメータである。入力するデータはＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影して得られる画像データや画像処理パラメータをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。
【００３２】
記憶部２０２は、入力部２０１から入力された画像データ、画像処理パラメータ、及び画像処理した結果の画像データなどを保持する。記憶部２０２は、ＣＰＵ１０１からの指示に基づき、ＲＡＭ１０２、ＨＤＤ１０３、または外部メモリ１０７などにデータを記憶する。勿論、ＣＰＵ１０１からの指示に基づいて記憶したデータを読み出すことも可能である。
【００３３】
処理部は２０３、画像データ及び画像処理パラメータを読み込んで画像処理を行う。処理部２０３は、まず、ＣＰＵ１０１からの指示に基づき、入力部２０１或いは記憶部２０２から画像データや画像処理パラメータを読み込む。そして、読みこんだデータに基づいて画像処理を適用し、処理結果を記憶部２０２や出力部２０４に出力する。処理部２０３における画像処理の詳細は後述する。
【００３４】
出力部２０４は、処理部２０３で処理した画像データや記憶部２０２に記憶された画像データなどを出力する。出力部２０４はＣＰＵ１０１からの指示に基づき、モニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や不図示の外部サーバに出力してもよいし、プリンタなどを接続して出力しても構わない。
【００３５】
（メイン処理フロー）
以下では、図２で説明した画像処理装置の論理構成において、撮像装置１０５で撮影したＲＡＷ画像データからカラー画像データを生成する各処理の詳細について、図３のフローチャートを参照して説明する。
【００３６】
ステップＳ３０１において、入力部２０１はＲＡＷ画像データを入力して、記憶部２０２に記憶する。尚、本実施例では入力するＲＡＷ画像データはベイヤ配列のカラーフィルタを持つ撮像装置で撮影された画像データであるものとして説明する。ベイヤ配列は図４に示すように、緑（Ｇ）の画素と赤（Ｒ）の画素とが交互に繰り返される行と、青（Ｂ）の画素と緑（Ｇ）の画素とが交互に繰り返される行とが交互に配列されている。但し、本実施例の適用範囲はベイヤ配列のカラーフィルタを持つ撮像装置で撮影された画像データに限られたものではない。ＲＡＷ画像データからカラー画像データを生成する際に、ノイズ低減処理及び画素補間が可能な画像データであれば、任意のカラーフィルタを持つ撮像装置で撮影された画像データに対して適用可能である。
【００３７】
ステップＳ３０２においては、ホワイトバランス処理部２０５は、ステップＳ３０１で入力したＲＡＷ画像データを記憶部２０２から読み出し、ホワイトバランス処理を適用する。ここで、ホワイトバランス処理に適用される画像処理パラメータはＲＡＷ画像データの付加情報として記憶部２０２から読みだしても良いし、別途ＵＩなどから適切な画像処理パラメータを指定して入力部２０１から入力してもよい。一般に、ホワイトバランス処理の画像処理パラメータは撮影時の光源に対応したＲＧＢそれぞれのゲイン値として与えられ、各色に対応するゲイン値を画像データに乗算することで補正する。
【００３８】
ステップＳ３０３において、ノイズ低減処理部２０６は、ステップＳ３０２でホワイトバランス処理を適用した画像データに対してノイズ低減処理を適用する。ノイズ低減処理の詳細は後述する。
【００３９】
ステップＳ３０４において、画素補間処理部２０７は、ステップＳ３０３でノイズ低減処理を適用した画像データに対して画素補間処理（デモザイク処理）を適用する。画素補間処理の詳細は後述する。
【００４０】
ステップＳ３０５において、補正処理部２０８は、ステップＳ３０４でノイズ低減処理を適用した画像データに対して補正処理を適用する。ここで、補正処理は出力画像が好適に見えるように補正する処理全般を含む。例えば、メリハリを増すためのエッジ強調や、明るさを補正するγ補正、鮮やかさを増すための色補正などである。尚、補正処理の詳細は本実施例の主眼ではないため説明は省略する。処理部２０３は、補正処理を適用した画像データを記憶部２０２に記憶する。
【００４１】
ステップＳ３０６において、出力部２０４は、ステップＳ３０５で補正処理を適用した画像データを記憶部２０２から読み出し、出力する。
【００４２】
尚、ＲＡＷ画像データからカラー画像データを生成する処理はこれに限られるものではない。例えば、レンズやセンサの特性により生じる画質劣化を補正する処理が含まれていても構わない。
【００４３】
（ノイズ低減処理）
以下では、図３で説明したステップＳ３０３におけるノイズ低減処理の詳細について図５のフローチャート図を参照して説明する。
【００４４】
ステップＳ５０１においてノイズ低減処理部２０６は、ステップＳ３０２でホワイトバランス処理を適用した画像データを取得する。
【００４５】
ステップＳ５０２においてノイズ低減処理部２０６は、ノイズ低減処理のパラメータを取得する。ここで、ノイズ低減処理として上述のＮｏｎＬｏｃａｌＭｅａｎｓ法を適用する場合、パラメータは着目領域として用いる画素、参照画素、制御パラメータｈなどである。尚、ノイズ低減パラメータは入力部２０１から入力しても良いし、記憶部２０２に予め記憶されているパラメータを読みだしても構わない。
【００４６】
ステップＳ５０３においてノイズ低減処理部２０６は、ステップＳ５０１で取得した画像データから、ノイズ低減処理を適用する処理画素を選択する。
【００４７】
ステップＳ５０４においてノイズ低減処理部２０６は、ステップＳ５０３で選択した処理画素に対して、ステップＳ５０２で取得したパラメータに基づきノイズ低減処理を実行する。具体的には、式（１）から式（３）を順次適用すればよい。
【００４８】
ステップＳ５０５においてノイズ低減処理部２０６は、エッジ情報生成を行う。エッジ情報Ｅiは式（３）で算出する重みｗｊの総和と二乗和の比を用いて次式で得られる。
【００４９】
【数４】
2014086957.tif 000006
【００５０】
エッジ情報は値が大きいほど対象画素がエッジである可能性が高いことを示す。例えば、ノイズが低減できない、即ち着目画素以外の参照画素の重みが０の場合、Ｅi＝１となる。一方、ノイズがない場合、即ち参照画素の重みが全て等しい場合、Ｅi＝１/Ｎｓになる。その結果、エッジ部のように、重みが０の参照画素が含まれるような領域ではエッジ情報は大きい値になり、平坦部のように同程度の重みの画素が多く含まれる領域ではエッジ情報は小さい値になる。尚、エッジ情報は着目画素がエッジであるか否かを判定可能な値であればよく、これに限られるものではない。例えば、重みが閾値以下になる参照画素の数などもエッジ情報として利用できる。具体的には、平坦部などの画素値の変化が小さいところでは参照画素に相応の重みが生じるが、エッジ部などの画素値の変化が大きい領域では重みが０或いは極めて小さい参照画素数が増加する。従って、重みが０或いは極めて小さい参照画素の数をカウントすることでエッジ情報として利用可能である。さらには、類似度Ｃj、ノイズ低減補正前後の画素値の差、など重み以外の情報もエッジ情報として利用可能である。例えば、類似度Ｃｊは値が小さいほど着目領域と参照領域とが類似していることを示すため、平坦部ほど類似度Ｃｊが小さい参照画素が多くなる。従って、類似度Ｃｊの総和は平坦部ほど小さく、エッジ部ほど大きくなるエッジ情報として利用できる。また、ノイズ補正前後の画素値の差は平坦部ほどノイズ低減により画素値の変化が大きくなるため、平坦部ほど大きく、エッジ部ほど小さくなるエッジ情報として利用できる。
【００５１】
ステップＳ５０６においてノイズ低減処理部２０６は、全画素のノイズ低減処理が終了したかどうか判定する。終了していればステップＳ５０７に移行し、終了していなければステップＳ５０３に移行して処理を継続する。
【００５２】
ステップＳ５０７においてノイズ低減処理部２０６は、ステップＳ５０４でノイズ低減した画像データとステップＳ５０５で算出したエッジ情報とを出力する。
【００５３】
（画素補間処理）
以下では、図３で説明したステップＳ３０４における画素補間処理の詳細について図６のフローチャート図を参照して説明する。
【００５４】
ステップＳ６０１において画素補間処理部２０７は、ステップＳ３０３で求めたノイズ低減後の画像データとエッジ情報とを取得する。
【００５５】
ステップＳ６０２において画素補間処理部２０７は、ステップＳ６０１で取得した画像データから、画素補間処理を適用する処理画素を選択する。
【００５６】
ステップＳ６０３において画素補間処理部２０７は、ステップＳ６０１で取得したエッジ情報から、ステップＳ６０２で選択した処理画素に対応するエッジ情報を取得する。
【００５７】
ステップＳ６０４において画素補間処理部２０７は、処理画素がエッジ部分かどうか判定する。判定はエッジ情報の大きさに基づいて決定すればよい。例えば、閾値Ethを定め、エッジ情報Eiが閾値Ethよりも小さい場合は平坦部であるとしてステップＳ６０５に移行する。また、エッジ情報Eiが閾値Ethよりも大きい場合はエッジ部であるとしてステップＳ６０６に移行する。
【００５８】
ステップＳ６０５において画素補間処理部２０７は、処理画素に線形補間を適用する。ここで、図７はベイヤ配列の画素を示しており、ＲＸＸは赤画素、ＧＸＸは緑画素、ＢＸＸは青画素である（ＸＸには任意の整数が入る）。赤画素Ｒ３３の画素位置に対応する緑画素Ｇ３３及びＢ３３を算出する方法を説明する。処理画素はステップＳ６０４においてエッジではないと判定された画素であるから、近傍のＧ画素或いはＢ画素の平均値として次式で算出される。
【００５９】
【数５】
2014086957.tif 000007
【００６０】
【数６】
2014086957.tif 000008
【００６１】
尚、処理画素が青画素であった場合の赤画素の値は式（６）と同様に算出可能である。
【００６２】
ステップＳ６０６において画素補間処理部２０７は、処理画素に適応補間を適用する。ここも同様に、Ｒ３３の画素位置に対応するＧ３３及びＢ３３を算出する方法を説明する。処理画素はステップＳ６０４においてエッジであると判定された画素であるから、まずはエッジの方向を求めるために縦横それぞれの画素差分値ＤＶ，ＤＨを算出する。
【００６３】
【数７】
2014086957.tif 000009
【００６４】
【数８】
2014086957.tif 000010
【００６５】
次に、ＤＶ，ＤＨの大小関係に基づき、次式でＧ３３の画素値を算出する。
【００６６】
【数９】
2014086957.tif 000011
【００６７】
このようにエッジの方向に応じて平均する画素を変更することで画像のエッジを保存した画素補間が可能になる。また、青画素の補間の場合も同様に次式で画素差分値ＤＮ，ＮＰを算出する。
【００６８】
【数１０】
2014086957.tif 000012
【００６９】
【数１１】
2014086957.tif 000013
【００７０】
次に、ＤＮ、ＤＰの大小関係に基づき、次式でＢ３３の画素値を算出する。
【００７１】
【数１２】
2014086957.tif 000014
【００７２】
尚、本実施例では簡易な線形補間及び適応補間の方法を説明したが、ステップＳ３０３のノイズ低減処理から取得したエッジ情報に基づいて２種類以上の異なる補間方法を適用すれば所望の補間方法を用いて構わない。例えば、特許文献１に記載の方法も用いることが可能である。
【００７３】
ステップＳ６０７において画素補間処理部２０７は、全画素の画素補間処理が終了したかどうか判定する。終了していればステップＳ６０８に移行し、終了していなければステップＳ６０２に移行して処理を継続する。
【００７４】
ステップＳ６０８において画素補間処理部２０７は、画素補間処理後の画像データを出力する。
【００７５】
以上の処理により、ノイズ低減後の画像データに対して画素補間処理を適用することができる。したがって、画質劣化が低減した画像を提供することができる。また、ノイズ低減処理で得られる画像のエッジ情報を参照して画素補間処理を行うことが可能になる。その結果、現像処理における画像のエッジ検出に関わる負荷を低減しつつ、ノイズ低減処理で得られるエッジ情報を画素補間処理に用いることで画質を向上することができる。
【００７６】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014086957.tif 000015
【図２】
2014086957.tif 000016
【図３】
2014086957.tif 000017
【図４】
2014086957.tif 000018
【図５】
2014086957.tif 000019
【図６】
2014086957.tif 000020
【図７】
2014086957.tif 000021
【図８】
2014086957.tif 000022
【図９】
2014086957.tif 000023