(57)【特許請求の範囲】
【請求項１】
イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、
前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、
前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、
前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、
前記色差成分の補正値に応じて前記色差成分を補正する補正手段とを備え、
前記第１の補間手段及び前記第２の補間手段は、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする画像処理装置。
【請求項２】
前記補正値算出手段は、前記輝度成分を平滑化して平滑化輝度成分を算出し、前記平滑化輝度成分と前記輝度成分の差を取って補正値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記平滑化輝度成分は、前記輝度成分の解像度を前記色差成分の解像度に合わせたものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、補正を行った場合に前記色差成分の大きさが小さくなり、かつ、前記色差成分の符号が変わらない場合に補正を行うことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
請求項１〜４の何れか一項に記載の画像処理装置を含むことを特徴とする撮像装置。
【請求項６】
イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置に適用される画像処理プログラムであって、
前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、
前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、
前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、
前記色差成分の補正値に応じて前記色差成分を補正する補正ステップとを含み、
前記第１の補間ステップ及び前記第２の補間ステップは、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルカメラでは単板イメージセンサーでカラー情報を取得するためにイメージセンサーに、例えばベイヤーパターンによるカラーフィルターアレイを配置し複数の色成分を検出している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳＰ３，９７１，０６５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カラーフィルターアレイを使った単板カラーイメージセンサーでは各画素毎には一つの色成分しか検出できないため、各画素でＲＧＢの情報を有するカラー画像を作成するために補間処理が必要になるが、ベイヤーパターンによるカラーフィルターアレイでは、主に輝度成分に寄与する緑画素が主に色成分に寄与する赤、青画素よりも密度が高く配置されていて、補間処理においても輝度は高解像度に補間されるが色差は低解像度に補間される。従って、例えば白色の紙に赤色の文字が表示されているような画像の場合、輝度を高解像度に再現し色差を低解像度に再現すると文字の周りに色が滲んでしまい画質が低下するという問題がある。
【０００５】
本発明の目的は、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる画像処理装置、撮像装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、前記色差成分の補正値に応じて前記色差成分を補正する補正手段とを備え、前記第１の補間手段及び前記第２の補間手段は、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする。
【０００７】
また、本発明の撮像装置は、本発明の画像処理装置を含むことを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置に適用される画像処理プログラムであって、前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、前記色差成分の補正値に応じて前記色差成分を補正する補正ステップとを含み、前記第１の補間ステップ及び前記第２の補間ステップは、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする。
【発明の効果】
【０００９】
本発明の画像処理装置、撮像装置及び画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】第１の実施の形態に係る画像処理部の構成を示すブロック図である。
【図３】第２の実施の形態に係るカラーフィルターアレイの構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の第１の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。図１は、第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、撮影レンズ２を介して入射した被写体光によって、入射面にカラーフィルターアレイ４を有するイメージセンサー６上に被写体像を結像させ、この被写体像をイメージセンサー６で電気信号に変換する。ここでカラーフィルターアレイ４及びイメージセンサー６は、カラーイメージセンサーを構成する。カラーフィルターアレイ４は、例えば４つの画素の中の左上及びその対角である右下の画素に対して緑色（Ｇ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルターをアレイ状に配列したベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）である。
【００１２】
イメージセンサー６から出力された電気信号は、画像処理部８に入力される。画像処理部８においては、図示しないメモリ等から読み込まれた画像処理プログラムが実行されることにより、後述の補間等の画像処理が行われる。画像処理部８において画像処理された画像は記録部１０に記録される。
【００１３】
図２は、第１の実施の形態に係る画像処理部８の構成を示すブロック図である。画像処理部８は、ホワイトバランス処理部１２、第１階調処理部１４、補間処理部１６、色差補正処理部１７、第１色変換処理部１８、第２階調処理部２０、第２色変換処理部２２、エッジ強調処理部２４及び圧縮処理部２６を備えている。
【００１４】
ホワイトバランス処理部１２においては、無彩色の被写体を撮影した時にカラーイメージセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。この処理は、例えば画像中の最も明るい領域が無彩色だとの仮定の元、その領域のＲＧＢの値が同じになるようなゲインとしても良いし、予めユーザーが撮影光源を設定しその光源に応じたゲインを設定しても良い。また撮影シーンの判定を行い人物の顔領域が肌色になるようなゲインを設定しても良い。ホワイトバランス処理部１２では各画素のＲＧＢにホワイトバランス係数を掛ける。
【００１５】
次に、第１階調処理部１４においては、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが
【数１】
0005494249.tif 000002
となるような特性の階調変換を行う。定数γは、γ＝２．２程度が良い。なおγ＝１として実質的に階調処理を行わないようにしても良い。
【００１６】
次に、補間処理部１６においては、ＣＦＡ（Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ）画像を補間し、各画素にＲＧＢの揃ったカラー画像を生成する。補間の方法としてEric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., vol.12, pp.847,2005に記載の方法のようにＣＦＡ画像を周波数帯域で分割して輝度信号Ｌ，色差信号Ｃ１，Ｃ２成分の抽出を行う。ここで、ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、周波数解析を行うと低周波領域にＬ（輝度成分）、高周波領域にＣ１，Ｃ２（色差成分）が現れる。ここで、Ｌ，Ｃ１，Ｃ２はそれぞれ、
Ｌ＝（２Ｇ＋Ｂ＋Ｒ）／４
Ｃ１＝（２Ｇ−Ｂ−Ｒ）／４
Ｃ２＝（Ｂ−Ｒ）／４
で表される。
【００１７】
ここで輝度成分ＬはＢａｙｅｒＣＦＡ画像において低周波成分として現れ、色差成分Ｃ１は（−１／２，−１／２）を中心とする周波数域に変調され、色差成分Ｃ２は（０，−１／２）、（−１／２，０）を中心とする周波数域に変調されて分布する。このＬ，Ｃ１，Ｃ２成分をローパスフィルター、またはバンドパスフィルターを用いて抽出し、ＢａｙｅｒＣＦＡ画像の補間を行うことにより画素毎にＲＧＢの揃ったカラー画像を得ることができる。なお、この実施の形態では、ローパスフィルターを用いてＬ，Ｃ１，Ｃ２成分を抽出するローパスフィルター処理（ＬＰＦ処理）を例に挙げて説明する。
【００１８】
まず、ＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，−１／２）の周波数を中心に分布する色差Ｃ１成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ１（ｘ，ｙ）成分とする。
【００１９】
次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，０）の周波数を中心に分布する色差Ｃ２ａ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）ｘを掛けて（−１／２，０）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ２ａ（ｘ，ｙ）成分とする。
【００２０】
次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（０，−１／２）の周波数を中心に分布する色差Ｃ２ｂ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）ｙを掛けて（０，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ２ｂ（ｘ，ｙ）成分とする。
【００２１】
次にＢａｙｅｒＣＦＡ画像を周波数解析した時の輝度Ｌ成分を抽出する。Ｃ１成分の座標（ｘ，ｙ）の位置の画素値に（−１）ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’１（ｘ，ｙ）成分とする。また、Ｃ２ａ成分の座標（ｘ，ｙ）の位置の画素値に（−１）ｘを掛けて（−１／２，０）の周波数を中心に分布する成分に戻し、Ｃ’２ａ（ｘ，ｙ）成分とする。また、Ｃ２ｂ成分の座標（ｘ，ｙ）の位置の画素値に（−１）ｙを掛けて（０，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’２ｂ（ｘ，ｙ）成分とする。
【００２２】
次に、ＢａｙｅｒＣＦＡ画像からＣ’１，Ｃ’２ａ，Ｃ’２ｂを引いてＬ成分を抽出する（次式参照）。
Ｌ（ｘ，ｙ）＝ＣＦＡ（ｘ，ｙ）−Ｃ’１（ｘ，ｙ）−Ｃ’２ａ（ｘ，ｙ）−Ｃ’２ｂ（ｘ，ｙ）
【００２３】
なお、Ｌ成分はＣＦＡ画像に直接ＬＰＦを掛けて抽出しても良い。この場合、色差と輝度は周波数帯域で分離したそれぞれの領域から抽出されているのではなく、一部分重なっている領域が色差と輝度の両方に抽出されることもある。また、ＬＰＦは線形フィルターでなくてもよく、ε-フィルター、σ-フィルターやbilateralフィルターのような画素値の差に依存する非線形フィルターを用いて抽出してもよい。この場合、帯域の違いだけでなく、振幅の違いでも輝度や色差の抽出を行うことができる。
【００２４】
次に、Ｃ２ａとＣ２ｂよりＣ２を求める。
【数２】
0005494249.tif 000003
【００２５】
これは色差成分や輝度成分の分布に応じて例えば
【数３】
0005494249.tif 000004
としてαとβを定めてＣ２を求めても良い。
【００２６】
なお、ここではＣＦＡ画像を変調し、ＬＰＦ処理によって色差成分を抽出しているが、ＣＦＡ画像にバンドパスフィルター処理、ハイパスフィルター処理を施して色差成分を抽出し、その後抽出した成分を変調して低周波成分にしてもよい。フィルターの通過帯域は、Ｌ，Ｃ１，Ｃ２ａ，Ｃ２ｂの成分ごとに変えてもよい。また、ここではＢａｙｅｒＣＦＡの補間処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。また、ここでの補間はＬＰＦ処理のみを行っているが、ＣＦＡ画像をフーリエ変換やＤＣＴ変換して輝度色差の帯域を抽出しても良いし、ウェーブレット変換して局所的な空間情報も考慮して輝度色差帯域を抽出しても良い。
【００２７】
次に、色差補正処理部１７においては、色滲みが低減するように色差の補正を行う。輝度の帯域よりも色差の帯域が狭いため、色差に高周波成分が含まれる領域（色のついたエッジなど）で色滲みが出てしまうため色差の補正を行う。
【００２８】
先ず、輝度Ｌの帯域と色差Ｃ１，Ｃ２の帯域の差のぶんだけ輝度をぼかした輝度ＬＬＰＦ１，ＬＬＰＦ２を作成する。つまり、ＬＬＰＦ１はＣ１と同程度の帯域幅を有し、ＬＬＰＦ２はＣ２と同程度の帯域幅を有するようにして輝度と色差の解像度を揃える。
【００２９】
次に、
【数４】
0005494249.tif 000005
を用いて色差を仮補正する。
【００３０】
次に、色差を補正するか否かの判定を行う。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているか、仮補正すると色差の符号が反転してしまう場合は色差の補正を行わない。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているという条件は
【数５】
0005494249.tif 000006
であり、仮補正すると色差の符号が反転してしまうという条件は
【数６】
0005494249.tif 000007
である。上記条件式が複数の色差成分Ｃ１，Ｃ２で一つでも成立した場合には補正を行わないとしてもよいし、それぞれの色差成分毎に判断してそれぞれの色差成分毎に補正を行っても良い。そして、補正を行わないという判定がなされなかった場合は補正を行う。ここでは（ＬＬＰＦ１−Ｌ）や（ＬＬＰＦ２−Ｌ）の大きさに応じて補正強度を変える。
【数７】
0005494249.tif 000008
なお、ｆ（ｘ）はｄｆ／ｄｘ≧０となる関数である。また、Ｃ１やＣ２の大きさによって補正強度を変えても良い。例えばＣ１やＣ２の大きさが大きい場合には補正を強くし、小さい場合には補正を弱くする。
【００３１】
次に、第１色変換処理部１８において、各画素のＬ，Ｃ１” ，Ｃ２”の値を用いて、次数に従って各画素のＲＧＢの値を求める。
【数８】
0005494249.tif 000009
【００３２】
ここではＢａｙｅｒＣＦＡの周波数空間補間での色変換処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。
【００３３】
次に、第２階調処理部２０において、第１階調処理部１４において行った階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが
【数９】
0005494249.tif 000010
となるような特性の階調変換を行う。なお、γ=１の場合はこの処理をスキップできる。
【００３４】
次に、第２色変換処理部２２において、次式に従ってカラーイメージセンサーのＲＧＢデータを出力色空間のＲＧＢデータＲ０，Ｇ０，Ｂ０に変換する。
【数１０】
0005494249.tif 000011
【００３５】
なお、ｃｉｊはイメージセンサー６の分光感度、光源、出力色空間より定められる定数である。出力色空間の規格としては例えばIEC 61966-2-1 sRGBが挙げられる。そしてさらに出力色空間の定義に従い階調処理が行われる。例えばIEC 61966-2-1 sRGBでは入力画素値ｘに対して出力画素値ｙが
【数１１】
0005494249.tif 000012
となるような特性で入力ＲＧＢを出力Ｒ'Ｇ'Ｂ'に階調変換を行う。
【００３６】
さらにエッジ強調、圧縮処理のためにＲＧＢからＹＣｂＣｒへ色変換を行っても良い。この色変換は入力がＲ'Ｇ'Ｂ'とすると
【数１２】
0005494249.tif 000013
となる。
【００３７】
次に、エッジ強調処理部２４により輝度成分Ｙにエッジ強調処理を行う。また、圧縮処理部２６によりＪＰＥＧ、ＪＰＥＧ２０００、ＪＰＥＧ  ＸＲ等の圧縮方式で圧縮する。
【００３８】
ここで補間処理部１６において、Ｃ１，Ｃ２ａ，Ｃ２ｂを抽出するのに用いるローパスフィルター（以下、ＬＰＦという。） は撮影被写体や撮影条件、カラーイメージセンサーの特性によって最適化することで高品質な補間画像が得られる。
【００３９】
第１の実施の形態に係るデジタルカメラによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。
【００４０】
次に、図面を参照して本発明の第２の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。第２の実施の形態に係るデジタルカメラの構成及び画像処理は、第１の実施の形態に係るデジタルカメラ１の構成及び画像処理と同一であるため説明を省略する。なお、この実施の形態では、図３に示すようなベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）を備えたカラーイメージセンサーを用いる。
【００４１】
先ず、ホワイトバランス処理部１２により、無彩色の被写体を撮影した時にセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。次に、第１階調処理部１４により、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが
【数１３】
0005494249.tif 000014
となるような特性の階調変換を行う。定数γはγ＝２．２程度が良い。これは直線部を含むようにしても良いし、ＬＵＴ（Look Up Table）でもよい。またγ＝１として実質的に階調処理を行わなくてもよい。
【００４２】
次に、補間処理部１６により、Ｇ空格子補間、即ちＢａｙｅｒＣＦＡでＧがない座標のＧの値を補間する。いま、例えば、図３においてＲ３４のある位置でのＧを計算する。即ち、
ｄｖ＝|Ｇ２４−Ｇ４４|とｄｈ＝|Ｇ３３−Ｇ３５|を計算する。そして、ｄｖとｄｈの大きさに応じてＧ３４を計算する。この場合に、
ｄｖ−ｄｔ＞ｄｈならば、Ｇ３４＝（Ｇ３３＋Ｇ３５）／２
ｄｈ−ｄｔ＞ｄｖならば、Ｇ３４＝（Ｇ２４＋Ｇ４４）／２
上記二つ以外ならば、Ｇ３４＝（Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４
とする。なお、ｄｔは予め定めておく正の定数であり、ノイズが大きい場合にはｄｔを大きくする。
【００４３】
また補間処理部１６により色差生成を行う。即ち、Ｒ,Ｂの画素位置でＣＢ＝Ｂ−Ｇ，ＣＲ＝Ｒ−Ｇとして色差ＣＢ，ＣＲを計算する。そして平滑化処理を行う。ある位置（ｘ，ｙ）でのＣＢ（ｘ，ｙ）やＣＲ（ｘ，ｙ）に
【数１４】
0005494249.tif 000015
として平滑化する。
【００４４】
また補間処理部１６により色差補間を行う。例えばＲ３４の位置では、ＣＲ３４＝Ｒ３４−Ｇ３４は判っていて、ＣＢ３４＝（ＣＢ２３＋ＣＢ２５＋ＣＢ４３＋ＣＢ４５）／４とする。また、例えばＢ４５の位置では、ＣＢ４５＝Ｂ４５−Ｇ４５は判っていて、ＣＲ４５＝（ＣＲ３４＋ＣＲ３６＋ＣＲ５４＋ＣＲ５６）／４とする。また例えばＧ４４の位置では、ＣＢ４４＝（ＣＢ４３＋ＣＢ４５）／２及び、ＣＲ４４＝（ＣＲ３４＋ＣＲ３５）／２とする。
【００４５】
次に、色差補正処理部１７により色差成分を補正する。ある位置（ｘ，ｙ）の色差成分を補正する場合には、先ず、
【数１５】
0005494249.tif 000016
【００４６】
次に、色差を仮補正する。
【数１６】
0005494249.tif 000017
【００４７】
次に、ＣＢの補正を行う。
【数１７】
0005494249.tif 000018
として補正する。また、
【数１８】
0005494249.tif 000019
として補正してもよい。
【数１９】
0005494249.tif 000020
に比べ
【数２０】
0005494249.tif 000021
は平滑化されたＧ成分を基準にして補正を行うので画像のノイズの影響を受けにくい。ＣＲの補正も同様に行う。
【００４８】
次に、第１色変換処理部１８において、ＲＢの計算を行う。即ち、色差Ｃ”Ｂ,Ｃ”Ｒから、Ｂ，Ｒの値を計算する。
【数２１】
0005494249.tif 000022
【００４９】
次に、第２階調処理部２０により、求まった各画素毎の(Ｒ，Ｇ，Ｂ)の値に対し第１階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが
【数２２】
0005494249.tif 000023
となるような特性の階調変換を行う。これは直線部を含むようにしても良いし、ＬＵＴでもよい。なお、γ＝１の場合はこの処理はスキップできる。そして、第１の実施の形態と同様に、第２色変換処理部２２、エッジ強調処理部２４、圧縮処理部２６による処理を行う。
【００５０】
なお、上述の各実施の形態における色差の補正は色差が空間的に急に変化する領域において効果的である。従って、色差成分のエッジ検出を行い、エッジ領域を抽出し、そのエッジ領域近傍にのみ補正処理を行うようにしてもよい。その処理は例えば、エッジ検出をハイパスフィルターで行い、エッジ領域の抽出をハイパスフィルター処理画像を閾値処理して抽出する事により領域マスクを作成する。また、領域マスクにローパスフィルター処理して処理する領域としない領域をなめらかに変化させても良い。
【００５１】
また、上述の各実施の形態においては、画像処理装置としてデジタルカメラを例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる他の画像処理装置においても本発明を適用することができる。
【００５２】
また、上述の各実施の形態においては、図示しないメモリ等からデジタルカメラ１に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の各実施の形態で用いられている画像処理プログラムは、イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルターアレイ４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置としてのデジタルカメラ１に適用される画像処理プログラムであって、カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、カラーフィルター画像データの色差成分を補間する第２の補間ステップと、輝度成分の解像度と色差成分の解像度の差に応じて色差成分の補正値を算出する補正値算出ステップと、色差成分の補正値に応じて色差成分を補正する補正ステップとを実行させている。したがって、上述の各実施の形態で用いられている画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。
【符号の説明】
【００５３】
１…デジタルカメラ、２…撮影レンズ、４…カラーフィルター、６…イメージセンサー、８…画像処理部、１０…記録部、１２…ホワイトバランス処理部、１４…第１階調処理部、１６…補間処理部、１７…色差補正処理部、１８…第１色変換処理部、２０…第２階調処理部、２２…第２色変換処理部、２４…エッジ強調処理部、２６…圧縮処理部
【図１】
0005494249.tif 000024
【図２】
0005494249.tif 000025
【図３】
0005494249.tif 000026