(57)【特許請求の範囲】
【請求項１】
原色フィルタが形成された撮像素子から出力されるＲＧＢ画像データを処理する画像処理装置において、
前記ＲＧＢ画像データに基づいて生成した第１輝度信号から、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間に振幅の最大値がある中高域輝度成分を抽出する中高域輝度成分抽出手段と、
該ＲＧＢ画像データに基づいて生成した低域輝度信号に、該中高域輝度成分を加えて第２輝度信号を生成する第１合成手段とを備え、該中高域輝度成分抽出手段は、少なくとも一つの偶数サイズのフィルタを使用して該第１輝度信号の演算処理を行い、
該低域輝度信号を生成する前に、各画素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補間処理により求める第２補間手段をさらに備え、該第２補間手段は偶数サイズのフィルタを使用して該ＲＧＢ画像データの演算処理を行うことにより欠落している成分を補間処理し、
該第２補間手段からのＲＧＢ画像信号に基づいて生成された色差信号に含まれる、前記撮像デバイスに固有のノイズを除去するメディアンフィルタリング処理手段をさらに備え、  前記メディアンフィルタリング処理手段は、ＣＣＤの質に応じて適切なメディアンフィルタのサイズが選択・決定されている画像処理装置。
【請求項２】
前記偶数サイズのフィルタは２次元フィルタであり、かつ各項の係数はｘ方向およびｙ方向に対して対称である請求項１に記載の画像処理装置。
【請求項３】
前記偶数サイズのフィルタは、微分効果を有する第１ローパスフィルタと、第２ローパスフィルタとから構成され、該第１ローパスフィルタを使用して前記第１輝度信号の演算処理により得られた出力と、該第２ローパスフィルタを使用して該第１輝度信号の演算処理により得られた出力との出力差を前記中高域輝度成分として出力する請求項１または２に記載の画像処理装置。
【請求項４】
前記第１輝度信号を生成する前に、各画素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補間処理により求める第１補間手段をさらに備え、
前記第１補間手段は３画素×３画素のフィルタを使用して該ＲＧＢ画像データの演算処理を行うことにより欠落している成分を補間処理する請求項１〜３の何れかに記載の画像処理装置。
【請求項５】
前記第１補間手段および第２補間手段の少なくとも何れかは、Ｇ成分についてはメディアン方式により、Ｒ成分およびＢ成分についてはバイリニア方式により補間処理を行う請求項１または４に記載の画像処理装置。
【請求項６】
前記第２輝度信号に基づいて中域輝度成分および高域輝度成分の少なくとも何れかを抽出する中域・高域輝度成分抽出手段と、該中域輝度成分および高域輝度成分の少なくとも何れかを第２輝度信号に加えて第３輝度信号を生成する第２合成手段とをさらに備えた請求項１〜５の何れかに記載の画像処理装置。
【請求項７】
前記中域・高域輝度成分抽出手段はその係数を調整できる一つのフィルタを使用して前記第２輝度信号の演算処理を行う請求項６に記載の画像処理装置。
【請求項８】
請求項１〜７のいずれかに記載の画像処理装置を用いてＣＣＤエリアセンサにより撮像された画像データを画像処理するデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ（例えば電子スチルカメラ）などに搭載され、原色フィルタを用いたＣＣＤエリアセンサにより撮像された画像データを画像処理して高画質画像を得る画像処理装置およびこれを用いたデジタルカメラに関する。
【０００２】
【従来の技術】
従来、デジタルカメラなどに用いられる画像処理装置は、原色フィルタが配設されたＣＣＤエリアセンサから得た画像データを用いて、各色成分の補間処理や輪郭強調処理などの一連の各種画像処理を行うことにより高画質画像を得るものである。以下、図１３〜図２１を用いて従来の画像処理装置について説明する。
【０００３】
図１３は従来の画像処理装置の第１の構成例を示すブロック図である。図１３において、画像処理装置１００は、光学的なローパスフィルタ１０１と、原色ＣＣＤエリアセンサ１０２と、ＲＧＢ補間手段１０３と、ホワイトバランス調整手段１０４と、ガンマ補正手段１０５と、シャープ処理手段（輪郭強調手段）１０６とを有している。
【０００４】
ローパスフィルタ１０１は、サンプリング周波数ｆｓの１／２以上の周波数成分をカットするものである。即ち、サンプリング定理よりサンプリング周波数ｆｓの１／２以上の周波数成分は、画像データを生成したときに折り返しノイズとなる。この折り返しノイズを低減するために、ＣＣＤエリアセンサ１０２の前方に光学的なローパスフィルタ１０１を設けている。
【０００５】
原色ＣＣＤエリアセンサ１０２は、複数の受光素子がマトリクス状に配列されて構成されている。原色ＣＣＤエリアセンサ１０２の受光素子面側には３原色（Ｒ，Ｇ，Ｂ）カラーフィルタが画素単位で配設されている。このカラーフィルタは、Ｒ，Ｇ，Ｂ色配列の１種であるＢａｙｅｒ配列（図１４）となっている。
【０００６】
ＲＧＢ補間手段１０３は、詳細に後述するが、カラーフィルタのＲ、Ｇ、Ｂ色のうち各画素毎に１種類の色成分しか得られず、残りの２種類の色成分（欠落している各色成分）については、カラーフィルタで得られた色成分の周りの同色の色成分から求めることにより、各画素毎のＲ，Ｇ，Ｂ色成分を全て得るようになっている。
【０００７】
ホワイトバランス調整手段１０４は、ＲＧＢ補間手段１０３で得た各画素毎のＲ，Ｇ，Ｂ色成分に対して、画像の色合いを正しくするため、照明の色温度に合せて白色を調節する処理を行うものである。
【０００８】
ガンマ補正手段１０５は、ホワイトバランス調整後のＲ，Ｇ，Ｂ成分に対して、画像を出力するディスプレイやプリンタの特性と一致させるための処理を行うものである。
【０００９】
シャープ処理手段１０６は、鮮鋭な画像を得るために輪郭強調処理を行うものである。シャープ処理とは、高域輝度成分強調フィルタリング処理によって、失った高域輝度成分を補償する処理である。即ち、ローパスフィルタ１０１を設けることによって、ＣＣＤ画像データに高域輝度成分が少なくなっている。しかも、補間処理によって、画素毎に欠落している各色成分を、その画素周囲の同色の色成分から平均値を取るなどして求めているため、その補間処理によって得た画像には高域輝度成分が更に少なくなっている。したがって、鮮鋭な画像を得るには、失った高域輝度成分を高域輝度成分強調フィルタリング処理によって補償することが不可欠である。
【００１０】
ここで、ＲＧＢ補間手段１０３による補間処理について、以下、さらに詳細に説明する。
【００１１】
単板式ＣＣＤエリアセンサ１０２の場合には、各画素毎にＲ、Ｇ、Ｂ色それぞれの色成分が揃うように、残りの２種類の色成分について補間処理を行い、この補間処理で得られた色成分を含めたＲ、Ｇ、Ｂ色成分によりカラー画像を作り上げている。
【００１２】
つまり、３板式ＣＣＤカメラの場合には、３枚のＣＣＤエリアセンサそれぞれに対して全面Ｒ色、全面Ｇ色、全面Ｂ色のカラーフィルタがそれぞれ配設されており、１つの画素に対してＲ、Ｇ、Ｂの各色成分が同時に揃うため、補間処理の必要はないが、単板式ＣＣＤカメラの場合には、１枚のＣＣＤエリアセンサ１０２の受光素子面側に、Ｒ、Ｇ、Ｂフィルタを規則的に配列したカラーフィルタ（例えば図１４のＢａｙｅｒ配列）が設けられており、１つの画素に対してＲ、Ｇ、Ｂ色のうち揃っていない各色成分に対する補間処理が必要である。このため、１枚のＣＣＤエリアセンサを搭載した単板式ＣＣＤカメラの場合には、カラーフィルタの色成分以外の色成分を各画素毎に種々の方法で作成している。
【００１３】
従来の技術であるＵＳ Ｐａｔｅｎｔ  ４６０５９５６，４６４２６７８，４６３０３０７およびＪａｍｅｓ Ｅ．Ａｄａｍｓ，Ｊｒ．氏の論文”Ｉｎｔｅｒａｃｔｉｏｎｓ  ｂｅｔｗｅｅｎ  ｃｏｌｏｒ  ｐｌａｎｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ａｎｄ  ｏｔｈｅｒ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｆｕｎｃｔｉｏｎｓ  ｉｎ  ｅｌｅｃｔｒｏｎｉｃ  ｐｈｏｔｏｇｒａｐｈｙ”には、ジャギー（Ｊａｇｇｙ ｏｒ Ｚｉｐ  ｎｏｉｓｅ）の無い画像を作るために、色々な補間方法が提案されている。なお、ジャギーとは各種ノイズのうちの一種類で、輪郭部に現れる階段状のノイズのことである。
【００１４】
ＵＳＰ Ｐａｔｅｎｔ  ４６０５９５６では、例えば図１５の画素配列から得られる各色成分に式（１）〜式（４）を用いて補間している（バイリニア補間法）。図１４および図１５の各画素位置におけるＧ成分とＢ成分の補間処理を以下に示す。
【００１５】
Ｇ５＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４                （１）
Ｂ５＝（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）／４                （２）
Ｂ２＝（Ｂ１＋Ｂ３）／２                            （３）
Ｂ４＝（Ｂ１＋Ｂ７）／２                            （４）
図１５に示すＢａｙｅｒ配列は、Ｒ、Ｇ、Ｂの各色が規則的に配列されているため、図１５の例えば中央画素位置Ｒ５に注目すると、カラーフィルタで欠落している各色成分は、Ｇ５，Ｂ５である。Ｇ５は式（１）により得られ、同様にして、Ｂ５は式（２）により得られる。
【００１６】
また、Ｂ２は式（３）により得られ、Ｂ４は式（４）により得られ、さらに、Ｂ６，Ｂ８の補間処理も、隣接する上下または左右の平均値をとる式（３）および式（４）と同様にして得られる。Ｒ２，Ｒ４，Ｒ６，Ｒ８についても、Ｂ２，Ｂ４，Ｂ６，Ｂ８の場合と同様に補間処理される。
【００１７】
さらに、Ｇ１は、Ｂ１を中心とした周囲のＧ成分の画像データから式（１）と同様にして得られ、Ｇ３，Ｇ７，Ｇ９についても同様である。また、Ｒ１はＢ１を中心とした周囲のＲ成分の画像データから式（２）と同様にして得られ、Ｒ３，Ｒ７，Ｒ９についても同様である。
【００１８】
次に、特開平１０−１６４３７１号公報の画像処理方法について図１６を参照して説明する。
【００１９】
図１６は、従来の画像処理装置の第２の構成例を示すブロック図である。図１６に示すように、画像処理装置２００は、Ｂａｙｅｒ配列のカラーフィルタが配設された原色ＣＣＤエリアセンサ２０１と、ＲＧＢ補間手段２０２と、Ｒ，Ｇ，Ｂ成分毎に設けられた輪郭強調手段２０３とを有している。
【００２０】
ＲＧＢ補間手段２０２は、図１５の画像配列から得られる各色成分に対してメディアン処理を示す以下の（５）式を用いて、まず、Ｇ成分を補間し、それから、補間したＧ成分を利用して、図１４のＲ，Ｂの画素位置にのみ（Ｒ−Ｇ）成分と（Ｂ−Ｇ）成分を生成し、最後に、生成した（Ｒ−Ｇ）、（Ｂ−Ｇ）成分をバイリニア処理で補間してから、これにＧ成分を加えてＲ、Ｂ成分を得るようにしている。
【００２１】
Ｇ５＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８−Ｍｉｎ−Ｍａｘ）／２        （５）
Ｍｉｎ＝Ｍｉｎ（Ｇ２，Ｇ４，Ｇ６，Ｇ８）
Ｍａｘ＝Ｍａｘ（Ｇ２，Ｇ４，Ｇ６，Ｇ８）
図１５を用いて、Ｇ４の画素位置におけるＢ４を求める場合について具体的に説明する。まず、式（５）を用いたメディアン処理によって、Ｇ１，Ｇ３，Ｇ５，Ｇ７，Ｇ９を補間する。その後に、例えばＢ１，Ｂ７の画素位置の（Ｂ−Ｇ）成分であるＢ１−Ｇ１，Ｂ７−Ｇ７を生成する。したがって、Ｇ４の画素位置の（Ｂ−Ｇ）成分であるＢ４−Ｇ４は、
Ｂ４−Ｇ４＝（１／２）｛（Ｂ１−Ｇ１）＋（Ｂ７−Ｇ７）｝
となる。
【００２２】
∴Ｂ４＝（１／２）｛（Ｂ１−Ｇ１）＋（Ｂ７−Ｇ７）｝＋Ｇ４
となって、Ｂ４を得ることができる。
【００２３】
輪郭強調手段２０３は、ＲＧＢの各成分それぞれに対して図１７（ａ）の２次元２次微分フィルタを採用している。図１７（ａ）の２次元２次微分フィルタは、各領域がそれぞれ１画素に対応し、各領域内の数字は「重み」を表しており、トータルで０になるようになっている。
【００２４】
次に、特開平１１−１８０４７の補間処理について図１８を参照して説明する。
【００２５】
図１８は、従来の画像処理装置の第３の構成例を示すブロック図である。図１８において、画像処理装置３００は、Ｂａｙｅｒ配列のカラーフィルタが配設された原色ＣＣＤエリアセンサ３０１と、ＲＧＢ補間手段３０２と、中域成分強調手段３０３と、高域成分強調手段３０４と、ホワイトバランス調整手段３０５と、ガンマ補正手段３０６とを有している。
【００２６】
ＲＧＢ補間手段３０２は、Ｒ，Ｇ，Ｂ成分に対してそれぞれ補間処理を行う。画質のよい補間方法として、Ｇ成分には式（５）のメディアン法を用い、Ｒ，Ｂ成分には式（２）〜式（４）のバイリニア法を用いる。
【００２７】
中域成分強調手段３０３は中域成分抽出手段３０３ａおよび加算手段３０３ｂからなり、補間したＧ成分を利用して中域成分抽出手段３０３ａで抽出した中域成分を、Ｒ，Ｇ，Ｂ成分それぞれに各加算手段３０３ｂにてそれぞれ合成して補償することにより中域成分強調処理を行うようにしている。この中域成分強調処理は、例えばＧ成分とそのローパスフィルタリング処理した結果の差を補償成分としてＧ成分に上乗せしている。つまり、ローパスフィルタ（図示せず）によりＧ成分の高域成分がカットされて、周波数変化の少ないＧバーを求め、Ｇ成分との差である補償成分（Ｇ−Ｇバー）をＧ成分に上乗せすることにより中域成分強調を行うものである。
【００２８】
高域成分強調手段３０４は高域成分抽出手段３０４ａおよび加算手段３０４ｂからなり、補間したＧ成分を利用して高域成分抽出手段３０４ａで抽出した高域成分を、Ｒ，Ｇ，Ｂ成分それぞれに各加算手段３０４ｂにてそれぞれ合成して補償することにより高域成分強調処理を行うようになっている。この高域成分強調処理には、図１７（ｂ）の２次元２次微分フィルタを採用している。図１７（ｂ）の中央領域「４」に対応する画素の画素データを求めるには、フィルタの「重み」に各画素のデータをかけて足し算を行う。したがって、変化しなければゼロ、変化が大きければこの値も大きくなり、高域成分強調となる。
【００２９】
【発明が解決しようとする課題】
図１４のＢａｙｅｒ配列に対して、実際のサンプリング周波数をｆｓ＝１／△ｘ＝１／△ｙとすると、Ｒ，Ｇ，Ｂ成分について個別サンプリングを行った場合のサンプリング周波数分布範囲を、図１９に示している。なお、△ｘは横方向（ｘ方向）の画素幅（画素ピッチ）、△ｙは縦方向（ｙ方向）の画素幅（画素ピッチ）である。
【００３０】
サンプリング定理により、元の画像に含まれる空間周波数のうちで復元可能な最高周波数は、図１９においてＧ成分が実線で示すひし形状内であり、Ｒ，Ｂ成分が２点鎖線で示す正方形状内であることから、画像データのＲ，Ｇ，Ｂ成分に正しく復元できる周波数範囲は、２点鎖線で示される正方形の範囲内である。したがって、その正しく復元できる最高周波数は、図１９からサンプリング周波数ｆｓ（＝１／△ｘ＝１／△ｙ）の半分であることが解る。したがって、復元可能な最高周波数ｆｓ／２よりも高い周波数成分はノイズとして現れることになる。
【００３１】
この問題を避けるために、ＣＣＤエリアセンサに光学的なローパスフィルタ（折返しノイズ防止フィルタ）を付けるようにしている。このローパスフィルタにより、画像データのｆｓ／２以上の周波数成分をカットすると同時にフィルタが理想的でないためｆｓ／２以下の周波数成分も減衰される。図２０に示すように、グラフａは理想的なローパスフィルタ周波数特性（ｆｓ／２できれいにカット）であるが、実際には、グラフｂのローパスフィルタの周波数特性となる。また、グラフｃは、ローパスフィルタによって減衰した高域輝度成分を補償してグラフｂをシステム全体の理想的なグラフａの特性に近づけるための補償用フィルタの理想的な周波数特性である。本発明では、新たに抽出する中高域輝度成分に中域輝度成分と高域輝度成分とを任意の割合で合成し、グラフｃに近い周波数特性を有する補償用フィルタによって補償する。
【００３２】
また、図１４のＢａｙｅｒ配列の各画素に対して欠落した２種類の各色成分を補間して作る際にも、高域輝度成分が少なくなるが、減衰した高域輝度成分を補償することは鮮鋭な画像を作るには不可欠な処理である。通常、この補償は図２１に示すように中域輝度成分補償用フィルタの周波数特性（グラフｄ）と高域輝度成分補償用フィルタの周波数特性（グラフｃ）とに分けて行っている。図２１において、グラフｂはローパスフィルタ（折返しノイズ防止用フィルタ）および補間処理結果後の総合周波数特性であり、グラフａは補償処理を含めた画像処理システム全体の理想周波数特性である。
【００３３】
前述した従来技術では、図２１の中域成分補償用フィルタの周波数特性（グラフｄ）と高域成分補償用フィルタの周波数特性（グラフｃ）とによって中域成分と高域成分の補償を行っている。グラフｄの振幅の最大値は角周波数ωがπ／２（ｆｓ／４に相当）の処にあり、グラフｃの振幅の最大値は角周波数ωがπ（ｆｓ／２に相当）の処にある。よって、グラフｄにより中域成分補償を行い、グラフｃにより高域成分補償を行う。
【００３４】
しかし、鮮鋭な画像を得るための輪郭強調処理において、高域成分補償により画像の高域成分が強調されると、角周波数ωがｆｓ／２より高い成分は全てノイズとなる。この結果、画像の解像度を上げようとするとノイズやジャギー成分が目立ってくる。
【００３５】
例えば、上記従来の第１の構成例に提案された方法では、主として輝度に大きく寄与するＧ成分の上記式（１）による補間処理によって得られた画像データを輪郭強調処理することによって、画像エッジ部分にジャギーを生じる。この問題に対して、色平滑補間法（ＵＳ  Ｐａｔｅｎｔ  ４６４２６７８）やパターン認識補間法（ＵＳＡ  Ｐａｔｅｎｔ  ４６３０３０７）や適応補間法（ＪａｍｅｓＥ.  Ａｄａｍｓ，  Ｊｒ．氏の論文）が提案されている。これらの方法は何れも、補間法としては異なるが、図１３に示すような画像処理装置１００と同様の構成によって行われている。即ち、鮮鋭な画像に不可欠な高域成分は、最終段のシャープ処理手段１０６の輪郭強調処理によって生成されている。これらの方法は、偽色とジャギーの低減にある程度の効果があるものの、高域成分の処理に関しては高域強調フィルタリング処理以外には何ら特別な手法を講じておらず、高域強調フィルタリング処理時にノイズを生じてしまう。
【００３６】
したがって、上記従来の第１〜第３の構成例に提案された方法においては、シャープ処理（輪郭強調処理）で高域成分補償を行う場合に、ノイズを強調してしまうことは避けられないという問題があった。つまり、高域成分補償時に、サンプリング周波数ｆｓの１／２以上の周波数も強調され、これがノイズやジャギーとなって現れてしまうのである。
【００３７】
本発明は、上記従来の問題を解決するもので、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することができる画像処理装置およびこれを用いたデジタルカメラを提供することを目的とする。
【００３８】
【課題を解決するための手段】
本発明の画像処理装置は、原色フィルタが形成された撮像素子から出力されるＲＧＢ画像データを処理する画像処理装置において、前記ＲＧＢ画像データに基づいて生成した第１輝度信号から、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間に振幅の最大値がある中高域輝度成分を抽出する中高域輝度成分抽出手段と、該ＲＧＢ画像データに基づいて生成した低域輝度信号に、該中高域輝度成分を加えて第２輝度信号を生成する第１合成手段とを備え、該中高域輝度成分抽出手段は、少なくとも一つの偶数サイズのフィルタを使用して該第１輝度信号の演算処理を行い、該低域輝度信号を生成する前に、各画素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補間処理により求める第２補間手段をさらに備え、該第２補間手段は偶数サイズのフィルタを使用して該ＲＧＢ画像データの演算処理を行うことにより欠落している成分を補間処理し、該第２補間手段からのＲＧＢ画像信号に基づいて生成された色差信号に含まれる、前記撮像デバイスに固有のノイズを除去するメディアンフィルタリング処理手段をさらに備え、前記メディアンフィルタリング処理手段は、ＣＣＤの質に応じて適切なメディアンフィルタのサイズが選択・決定されているものであり、そのことにより、上記目的が達成される。なお、中高域輝度成分とは、中高域周波数成分を主な成分とする輝度成分である。また、低域輝度信号とは低域周波数成分を主な成分とする輝度信号である。
【００３９】
この構成により、高い解像度の画像が得られると同時に、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することが可能となる。また、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を容易に抽出することが可能となる。さらに、低域輝度信号に対して中高域輝度成分による補償を行う際に、中高域輝度成分の中心が各画素と画素との間にあるため、第２補間手段に偶数サイズのフィルタを使用することによって低域輝度信号の中心も各画素と画素との間にしておかないと再現された画像にゴーストが発生する。さらに、例えばＣＣＤなどの撮像素子の質によって色差信号に含まれるノイズの量が異なるため、ノイズの量に応じてメディアンフィルタを使い分けることにより、ノイズの少ない色差信号を生成することが可能となる。
【００４４】
さらに、好ましくは、本発明の画像処理装置における偶数サイズのフィルタは２次元フィルタであり、かつ各項の係数はｘ方向およびｙ方向に対して対称である。
【００４５】
この構成により、フィルタリング処理の効果を均一にできるので、画像を忠実に再現することが可能となる。
【００４６】
さらに、好ましくは、本発明の画像処理装置における偶数サイズのフィルタは、微分効果を有する第１ローパスフィルタと、第２ローパスフィルタとから構成され、第１ローパスフィルタを使用して第１輝度信号の演算処理により得られた出力と、第２ローパスフィルタを使用して第１輝度信号の演算処理により得られた出力との出力差を中高域輝度成分として出力する。
【００４７】
この構成により、ｘ方向、ｙ方向の演算を分離して行うことができるので、計算規模を抑えることができるため、ハードウエアにより容易に実現することが可能となる。
【００４８】
さらに、好ましくは、本発明の画像処理装置において、第１輝度信号を生成する前に、各画素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補間処理により求める第１補間手段をさらに備え、第１補間手段は３画素×３画素のフィルタを使用してＲＧＢ画像データの演算処理を行うことにより欠落している成分を補間処理する。
【００４９】
この構成により、中高域輝度成分を最も損なわずに抽出することが可能となる。
【００５２】
さらに、好ましくは、本発明の画像処理装置における第１補間手段および第２補間手段の少なくとも何れかは、Ｇ成分についてはメディアン方式により、Ｒ成分およびＢ成分についてはバイリニア方式により補間処理を行う。
【００５３】
この構成により、Ｇ成分についてはメディアン方式で補間処理を行うことによって高域輝度成分の減少を最小限に抑えると共に、Ｒ成分およびＢ成分についてはバイリニア方式で補間処理を行うことによってノイズを少なくすることが可能となる。したがって、輪郭がより強調されると共に、画質のよい画像を得ることが可能となる。
【００５４】
さらに、好ましくは、本発明の画像処理装置において、第２輝度信号に基づいて中域輝度成分および高域輝度成分の少なくとも何れかを抽出する中域・高域輝度成分抽出手段と、中域輝度成分および高域輝度成分の少なくとも何れかを第２輝度信号に加えて第３輝度信号を生成する第２合成手段とをさらに備える。なお、中域輝度成分とは、中域周波数成分を主な成分とする輝度成分である。また、高域輝度成分とは、高域周波数成分を主な成分とする輝度成分である。
【００５５】
この構成により、中域輝度成分と高域輝度成分の割合を任意の割合にすることにより、画像の立体感を好みに応じて調整することが可能となる。
【００５６】
さらに、好ましくは、本発明の画像処理装置における中域・高域輝度成分抽出手段はその係数を調整できる一つのフィルタを使用して第２輝度信号の演算処理を行う。
【００５７】
この構成により、中域、高域輝度成分抽出手段を単一フィルタにより簡単に構成することが可能となる。
【００６０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら説明する。
【００６１】
図１は本発明の一実施形態における画像処理装置の構成を示すブロック図である。図１において、画像処理装置１は、光学ローパスフィルタ２と、原色ＣＣＤエリアセンサ３と、第１ＲＧＢ補間手段（中高域輝度成分抽出用ＲＧＢ補間手段）４と、中高域輝度成分抽出用輝度生成手段５と、中高域輝度成分抽出手段６と、第１合成手段としての乗算器７および加算器８と、中域・高域輝度成分抽出手段９と、第２合成手段としての乗算器１０および加算器１１とを備えている。これらの第１ＲＧＢ補間手段４、中高域輝度成分抽出用輝度生成手段５および中高域輝度成分抽出手段６により中高域輝度成分補償手段が構成されている。
【００６２】
光学ローパスフィルタ２は、サンプリング周波数ｆｓの１／２以上の高域輝度成分をカットするものである。
【００６３】
原色ＣＣＤエリアセンサ３は、複数の受光素子がマトリクス状に配列されており、その受光素子面側にカラーフィルタが配設されている。このカラーフィルタは、Ｂａｙｅｒ配列（図１４）となっている。なお、ＣＣＤエリアセンサ３から読み出されたＲＧＢ画像データは、雑音を低減させるＣＤＳ（Correlated Double Sampling）回路、ゲイン調整処理を行うＡＧＣ（Automatic Gain Control）回路、さらに分解能が例えば１０ビットのＡ／Ｄ変換回路を介して、デジタル画像データとして後段の第１ＲＧＢ補間手段４およ第２ＲＧＢ補間手段（低域輝度信号生成及び色差信号生成用ＲＧＢ補間手段）１２に出力されるようになっている。
【００６４】
第１ＲＧＢ補間手段４は、カラーフィルタのＲ、Ｇ、Ｂのうち揃っていない各色の色成分については、各画素毎にその周りの同色成分データから補間するものである。即ち、Ｂ，Ｒ成分に対しては、式（２）〜式（４）で示されるバイリニア法で行い、また、Ｇ成分に対しては、式（５）で示されるメディアン法で行うようにしている。第１ＲＧＢ補間手段のＲＧＢ補間処理フィルタは、フィルタサイズが３画素×３画素以上の奇数サイズの２次元フィルタを用いる。
【００６５】
このフィルタのサイズが大きくなるほど、中高域輝度成分が少なくなり、その成分を抽出しにくくなる。１画素×１画素のフィルタでは補間処理ができない。また、２画素×２画素の２次元フィルタを用いた場合、バイリニア補間法を用いることができないので、最近接補間法（Nearest  neighbor  interpolation）に依らなければならない。この補間法を用いると、バイリニア補間法を用いたものに比べて中高域輝度線分が損なわれる。したがって、３画素×３画素の２次元フィルタがベストである。
【００６６】
中高域輝度成分抽出用輝度生成手段５は、第１ＲＧＢ補間手段４にて得られた第１ＲＧＢ画像信号を使用して、下記の式（６）にて中高域輝度成分抽出用輝度信号Ｙを生成するようになっている。
【００６７】
Ｙ＝０.３０Ｒ＋０.５９Ｇ＋０.１１Ｂ                （６）
中高域輝度成分抽出手段６は、中高域輝度成分抽出用輝度生成手段５で生成した中高域輝度成分抽出用輝度信号Ｙに、図２（ａ）および図２（ｂ）のＹＨ抽出用フィルタ１，２を使用して演算することにより中高域輝度成分ＹＨを抽出するようになっている。つまり、中高域輝度成分抽出手段６は、図２（ａ）の６画素×６画素のＹＨ抽出用フィルタ１からの出力と、図２（ｂ）の４画素×４画素のＹＨ抽出用フィルタ２からの出力との差出力として中高域輝度成分ＹＨを出力するものである。ＹＨ抽出用フィルタ１，２におけるｘは横方向の演算、ｙは縦方向の演算を示している。
【００６８】
なお、図２（ａ）のＹＨ抽出用フィルタ１の特長は、まず、微分効果を有するローパスフィルタ（負の係数が含まれている）、次に、ｘ方向およびｙ方向に対して対称、ｘ、ｙ共、偶数サイズ（８×８、１０×１０などでもよい）、さらに、正方形（ｘ、ｙの数が同一）が望ましいが、例えばｘ方向を強調したいのであれば、横長（ｘの数がｙの数よりも多い）でもよく、ｙ方向を強調したいのであれば、縦長（ｙの数がｘの数よりも多い）でもよく、さらには、各項の係数はフィルタのｘ方向およびｙ方向に対して対称であることである。また、図２（ｂ）のＹＨ抽出用フィルタ２の特長は、ローパスフィルタ（正の係数のみ）、次に、ｘ、ｙ共、偶数サイズ（ただし、図２（ａ）のＹＨ抽出用フィルタ１のサイズ以下）、さらに、正方形が望ましいが、横長や縦長の矩形でもよく、さらには、各項の係数はフィルタのｘ方向およびｙ方向に対して対称であることである。各項の係数が対称であることにより、フィルタリング処理の効果を均一にすることができるので、画像を忠実に再現することができる。
【００６９】
このように、ＹＨ抽出用フィルタを２枚のフィルタで構成することによって、ｘ方向とｙ方向の演算を分離することができるので、ハード化しやすくなる。図３に図２のＹＨ抽出用フィルタ１，２およびそれらの差出力の周波数特性を示している。図３において、グラフｈはＹＨ抽出用フィルタ１の周波数特性、グラフｉはＹＨ抽出用フィルタ２の周波数特性であり、グラフｊは、グラフｈとグラフｉとの差出力からなる中高域輝度成分ＹＨの周波数特性である。なお、ここでは、ＹＨ抽出用フィルタを２枚のフィルタで構成したが、ＹＨ抽出用フィルタを１枚のフィルタで構成することもできる。そのフィルタの係数は、図２２に示す通りである。この場合には計算規模が増大する。
【００７０】
乗算器７は、中高域輝度成分抽出手段６で抽出した中高域輝度成分ＹＨに対して、調節係数であるゲインαの調整で補助的な補償を行うものである。
【００７１】
加算器８は、後述する低域輝度信号生成手段１５からの低域輝度信号ＹＬに、所定の倍率のゲインαがかけられた中高域輝度成分αＹＨを加算して輝度信号（ＹＬ+αＹＨ）を生成するものである。
【００７２】
中域・高域輝度成分抽出手段９は、加算器８からの輝度信号（ＹＬ+αＹＨ）に対して、図４の複合輪郭強調フィルタをかけて中域・高域輝度成分ＥＮＨを抽出するようになっている。なお、図４に示す変数ｌ，ｍの割合で中域輝度成分と高域輝度成分の割合を調整することもできる。
【００７３】
乗算器１０は、中域・高域輝度成分抽出手段９からの中域・高域輝度成分ＥＮＨに対して、調節係数であるゲインβによる補助的な補償を行うものである。
【００７４】
加算器１１は、加算器８からの輝度信号（ＹＬ+αＹＨ）に、乗算器１０で調節係数のゲインβの調整を行った後の中域、高域輝度成分βＥＮＨを加算して輝度信号（ＹＬ+αＹＨ+βＥＮＨ）を出力するものである。
【００７５】
また、画像処理装置１は、原色ＣＣＤエリアセンサ３に接続された第２ＲＧＢ補間手段１２と、ホワイトバランス調整手段１３と、ガンマ補正手段１４と、低域輝度信号生成手段１５と、色差信号生成手段１６と、メディアンフィルタ１７とを備えている。
【００７６】
第２ＲＧＢ補間手段１２は、その補間処理が、図５（ａ）および図５（ｂ）に示す補間フィルタによる演算処理によって行われるようになっている。第２ＲＧＢ補間手段１２により補間した色成分と、カラーフィルタにより得た色成分とを合わせて、各画素毎にＲＧＢ成分が全て揃った第２ＲＧＢ画像信号が生成されている。また、Ｒ，Ｂ成分に図５（ａ）のＲ，Ｂ補間フィルタを用い、Ｇ成分に図５（ｂ）のＧ補間フィルタを用い、Ｇ補間フィルタはｘ方向の演算が先行することが要求されている。
【００７７】
例えばＲ成分の補間を行う際には、図１４に示すＢａｙｅｒ配列にあるＲ成分のみを、図５（ａ）のＲ，Ｂ補間フィルタに入力すると共に、Ｂ成分とＧ成分の処に０を入力することにより、図５（ａ）のＲ，Ｂ補間フィルタからの出力は、補間された１枚のＲ成分画像となる。図５（ａ）のＲ，Ｂ補間フィルタでは、ｘ方向とｙ方向の重み係数は同じであるので、演算順序には関係ないが、図５（ｂ）のＧ補間フィルタでは、ｘ方向とｙ方向の重み係数が異なるので、ｘ方向の演算は先に、ｙ方向の演算は後にしなければならない。なお、ｙ方向の演算を先にすることが要求されるような場合には、図５（ｂ）のＧ補間フィルタにあるｘ方向とｙ方向の重み係数を置換えればよい。また、図５（ａ）および図５（ｂ）のフィルタの特長としては、まず、ローパスフィルタ（正の係数のみ）、次に、ｘ、ｙ共、偶数サイズ、さらに、各項の係数はフィルタのｘ方向およびｙ方向に対して対称であることである。各項の係数が対称であることにより、フィルタリングの効果を均一にすることができるので、画像を忠実に再現することができる。
【００７８】
また、第２ＲＧＢ補間手段１２において、図５に示す偶数サイズのフィルタを使用するのは、低域輝度信号ＹＬに中高域輝度成分ＹＨを加える加算器８で、画素データの位置を合わせる必要があるからである。即ち、中高域輝度成分抽出手段６のＹＨ抽出用フィルタは既に述べたように偶数サイズでなければならず、第１ＲＧＢ補間手段４で用いる補間フィルタは奇数サイズである。したがって、抽出された中高域輝度成分ＹＨの画素データは各画素の間にある。このため、第２ＲＧＢ補間手段１２で用いる補間フィルタを偶数サイズとすることにより、低域輝度信号ＹＬの画素データも画素間の境界上に新たな画素を作らなければならない。このとき、低域輝度信号ＹＬの画素データの位置は各画素の間にあって、中高域輝度成分ＹＨの画素データの位置と合うことになる。
【００７９】
ホワイトバランス調整手段１３は、画像の色合いを正しくするために、補間されたＲ，Ｇ，Ｂ成分に対して、照明の色温度に合せて白色を調節する処理を実行するものである。
【００８０】
ガンマ補正手段１４は、画像を出力するディスプレイやプリンタの特性と一致させるための処理を実行するものである。
【００８１】
低域輝度信号生成手段１５は、ガンマ補正後に上記式（６）により低域輝度信号ＹＬを生成するようになっている。
【００８２】
色差信号生成手段１６は、ガンマ補正後に下記の式（７）により色差信号Ｃｒ，Ｃｂを生成するようになっている。
【００８３】
Ｃｒ＝０.７０Ｒ−０.５９Ｇ−０.１１Ｂ
Ｃｂ＝−０.３０Ｒ−０.５９Ｇ＋０.８９Ｂ                （７）
メディアンフィルタ１７は、上記式（７）で生成された色差信号に対してノイズを除去して出力するようになっている。メディアンフィルタ１７のサイズについては、ＣＣＤの質によって決められる。即ち、ノイズの多いＣＣＤには５画素×５画素のメディアンフィルタを用い、ノイズの少ないＣＣＤには３画素×３画素のメディアンフィルタを用いるように選択して処理するようにしている。
【００８４】
ここで、本発明の原理について詳細に説明する。
【００８５】
前述したように、図２１において、高域輝度成分を高域輝度成分補償用フィルタの周波数特性（グラフｃ）で強調する際に、サンプリング周波数ｆｓ／２よりも高い周波数成分も一緒に強調することがジャギーを生じた原因であった。このため、本発明では図２１のグラフｅのような中高域輝度成分をメインとして補償し、補助的に画像の中域輝度成分と高域輝度成分とを補償する。中高域輝度成分は、角周波数ωがπ／２〜πの間に振幅の最大値があって、角周波数ωがπのところで振幅がゼロになるような成分である。
【００８６】
ここでは、説明を簡略化するために、２次元フィルタではなく１次元フィルタを使って検証する。上記中高域輝度成分を抽出できるフィルタは図６のフィルタ（Ａ）である。図６に示す偶数サイズのフィルタ（Ａ）の伝達関数は、以下の式（８）に示されている。注意すべき点は、図６のフィルタ（Ａ）のような偶数サイズのフィルタの中心が画素と画素の中間に存在することであり、フィルタ出力の位置も画素と画素の中間に存在することである。偶数サイズのフィルタを使用する理由は、図２１のグラフｅに示された周波数特性を得るためである。なお、図６のフィルタ（Ａ）の各領域内の数字は各画素の「重み」を表している。
【００８７】
0004055927.tif 000002
ただし、ｚ＝ｅjω＝ｃｏｓω＋ｊｓｉｎω
従来技術で使われている中域輝度成分補償フィルタおよび高域輝度成分補償フィルタと比較するため、図１７の２次元２次微分フィルタ（Ｂ）を１次元フィルタに置き換えると、図６のフィルタ（Ｂ）となり、図１７の２次元２次微分フィルタ（ａ）を１次元フィルタに置き換えると、図６のフィルタ（Ｃ）となる。図６のフィルタ（Ｂ）の伝達関数は式（９）に示され、図６のフィルタ（Ｃ）の伝達関数は式（１０）に示される。
【００８８】
0004055927.tif 000003
式（８）、式（９）および式（１０）の伝達関数を正規化して、その周波数特性をそれぞれ図７のグラフ（Ａ），（Ｂ），（Ｃ）に対応させて表示している。グラフ（Ａ）に示す式（８）の周波数特性は角周波数ωが０．６πの処で振幅が最大値（ピーク）に達して、角周波数ωがπの処で振幅がゼロになる。このため、中高域輝度成分による補償が可能となる。
【００８９】
また、角周波数ωがπの処で伝達関数の値（振幅）がゼロになる奇数サイズのフィルタでは、振幅がピークになる角周波数ωがπ／２（ｆs／４に相当）以外にはない。例えば図６のフィルタ（Ａ），（Ｄ），（Ｅ）の周波数特性を図８に示すと、奇数サイズのフィルタ（Ｄ），（Ｅ）の振幅は角周波数ωがπの処でゼロではないことが判る。したがって、奇数サイズのフィルタは、従来のようにノイズやジャギーが生じる原因となる。
【００９０】
このため、ノイズやジャギーを強調せず、より高い周波数を補償するには、図６のフィルタ（Ａ）に示すような偶数サイズのフィルタを選択すべきである。図６のフィルタ（Ｆ）はフィルタ（Ａ）に高次微分項を加えた偶数サイズのフィルタであり、その伝達関数は、以下の式（１１）になる。
【００９１】
0004055927.tif 000004
正規化した伝達関数（８）の周波数特性（フィルタＡ）を図９のグラフ（Ａ）に示し、正規化した伝達関数（１１）の周波数特性（フィルタＦ）を図９のグラフ（Ｆ）に示している。グラフ（Ａ）の振幅のピーク位置は角周波数ωが０．６πにあり、グラフ（Ｆ）の振幅のピーク位置は角周波数ωが０．６８πにある。これらは共に角周波数ωがπの処で振幅がゼロである。したがって、何れのフィルタも中高域輝度成分による補償のために使用することはできるが、振幅の最大値の角周波数ωがより大きいグラフ（Ｆ）に示す周波数特性を有するフィルタが望ましい。つまり、角周波数ωがπのところで振幅がゼロであることによって、ｆｓ／２以上の周波数成分によるノイズを抑え、また、振幅の最大値をπ／２とπの間でよりπに近づけることによって、より高域に近い高域輝度成分の補償をすることが可能となるからである。
【００９２】
また、偶数サイズのフィルタの使用はＣＣＤ画素の元位置でなく、元の画素と画素との間の境界上に新たな画素を作ることを意味している。したがって、２次元に配列されたフィルタでは図１０のようになる。即ち、図１０に示す◎印は元の画素位置であり、図１０に示す○印は偶数サイズのフィルタ使用後の画素データ位置となっている。
【００９３】
ここで、本発明の画像処理装置の動作を検証するため、１次元の場合の輝度信号に関する処理の周波数特性を調べてみる。図１に示すように、原色ＣＣＤエリアセンサ３からの出力から加算器８によって輝度信号（ＹＬ＋αＹＨ）を得るまでの一連の処理に注目して分析する。なお、図１の中高域輝度成分抽出用輝度生成手段５、ホワイトバランス調整手段１３、ガンマ補正手段１４および低域輝度信号生成手段１５による各処理は画像データの周波数分布に影響を与えないので、ここではその説明を省略する。
【００９４】
第１ＲＧＢ補間手段４により、Ｂ，Ｒ成分に対しては、式（２）〜式（４）で示されるバイリニア法で行い、また、Ｇ成分に対しては、式（５）で示されるメディアン法で行われている。このような補間処理によって、中高域輝度成分は減衰するが、完全に失われてはいない。
【００９５】
中高域輝度成分抽出手段６により、図２のＹＨ抽出用フィルタを用いて中高域輝度成分ＹＨを抽出する。その抽出した中高域輝度成分ＹＨはゲインαで自由に調節することができる。なお、説明を簡略化するために、第１ＲＧＢ補間手段４での補間処理では中高域輝度成分ＹＨの損失については考慮しないものとする。
【００９６】
中高域輝度成分ＹＨの抽出処理について、図２の中高域輝度成分抽出用２次元フィルタ（ＹＨ抽出用フィルタ１，２）に対応する１次元フィルタは図６のフィルタ（Ｆ）に示されており、その伝達関数は式（１１）に表されている。
【００９７】
また、第２ＲＧＢ補間手段１２のＲＧＢ補間フィルタについては、図５の２次元フィルタに相当する１次元フィルタとしては、図６のフィルタ（Ｇ）に示されており、その伝達関数は、以下の式（１２）に表されている。
【００９８】
Ｈ（ｊω）＝Ｚ-1.5＋３Ｚ-0.5＋３Ｚ0.5＋Ｚ1.5          （１２）
ＹＨ抽出用フィルタの式（１１）の周波数特性は、図１１にグラフ（Ｊ）で表示し、第２ＲＧＢ補間手段１２によるＲＧＢ補間処理を表す式（１２）の周波数特性は、図１１にグラフ（Ｉ）で表示している（正規化処理後）。輝度信号（ＹＬ＋ＹＨ）の周波数特性は同図のグラフ（Ｈ）で表している。図１１から中高域輝度成分ＹＨは補償されたことがよく判る。
【００９９】
中域輝度成分および高域輝度成分の補償は図１７の２つのフィルタを使って補助的に行う。比較のため、図２のＹＨ抽出用フィルタおよび図１７の２つの２次微分フィルタに対して、その１次元形式の伝達関数（１１），（９），（１０）の周波数特性を図１２に再表示している。図１２において、グラフ（Ｊ）は式（１１）に示されたフィルタＦの周波数特性、グラフＢは図１７の（ｂ）の高域輝度成分抽出フィルタ、グラフＣは図１７の（ａ）の中域輝度成分抽出フィルタの周波数特性を示している。光学ローパスフィルタ２の影響（図２０）を考慮し、図１２のグラフ（ｂ）およびグラフ（ｃ）の周波数特性を利用して図１１のグラフ（Ｈ）に対して中域輝度成分と高域輝度成分を補償することができる。中高域輝度成分ＹＨによる補償だけでは理想状態である図２０のグラフ（ｃ）に完全に一致させることはできないが、図４の複合輪郭強調フィルタのパラメータ１，ｍおよびゲインα、ＥＮＨゲインβを調節することによってグラフ（ｃ）により近づけることができる。
【０１００】
以上により、本実施形態によれば、画像処理システムに、第２ＲＧＢ補間手段１２を有する低域輝度信号ＹＬ生成ルートと並列に、第１ＲＧＢ補間手段４および中高域輝度成分抽出手段６を有する中高域輝度成分ＹＨ生成ルートを設け、加算器８にて中高域輝度成分ＹＨを低域輝度信号ＹＬに加えることにより、中高域輝度成分ＹＨで中高域輝度成分を補償すると共に、従来の補償法を使って中域輝度成分および高域輝度成分についても補助的に補償を行うため、従来よりも高い解像度の画像が得られると同時にノイズやジャギーも防止することができるものである。
【０１０１】
偽色防止のために、色差信号はローパスフィルタ特性を持つ補間処理で作られた第２ＲＧＢ画像信号から生成され、更にメディアンフィルタをかけてから出力される。輝度信号については、低域輝度信号ＹＬに中高域輝度成分ＹＨを加えた後、中域輝度成分と高域輝度成分による補償を補助的に行う。このとき、低域輝度信号ＹＬに中高域輝度成分ＹＨを加える加算器８で画素データの位置を合わせる必要がある。中高域輝度成分抽出手段６の抽出用フィルタは、既に述べたように、中高域輝度成分ＹＨを抽出するために、偶数サイズのフィルタである必要があることから、第１ＲＧＢ補間処理手段４のＲＧＢ補間処理用フィルタは、中高域輝度成分ＹＨを最も損なわない３画素×３画素の奇数サイズのフィルタとすると共に、第２ＲＧＢ補間処理手段１２のＲＧＢ補間処理用フィルタは偶数サイズのフィルタとする必要がある。
【０１０２】
なお、本実施形態では、ＣＣＤエリアセンサに配設されたカラーフィルタのＲ，Ｇ，Ｂの色配列をＢａｙｅｒ配列として説明したが、これに限らず、どのような色配列であってもよい。
【０１０３】
なお、本実施形態の画像処理装置について更に説明すると、画像処理装置は、光学ローパスフィルタ２を介してエリアセンサ３から出力された画像データを画像処理する画像処理装置において、このエリアセンサ３からのＲＧＢ画像データに基づいて生成した、ローパスフィルタによる理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償する中高域輝度成分補償手段を備えたものである。この構成により、ローパスフィルタによる理想的な周波数特性から中高域輝度成分が減衰した実際の低域輝度信号に対して、減衰した中高域輝度成分を補償するので、輪郭強調処理時に、より鮮鋭な画像を得ると共に、この鮮鋭な画像を得る際に生じるノイズやジャギーを防止することができる。
【０１０４】
【発明の効果】
以上により、高い解像度の画像が得られると同時に、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することができる。また、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を容易に抽出することができる。さらに、低域輝度信号に対して中高域輝度成分による補償を行う際に、中高域輝度成分の中心が各画素と画素との間にあり、低域輝度信号の中心も各画素と画素との間にあるため、再現された画像にゴーストの発生を防止することができる。さらに、例えばＣＣＤなどの撮像素子の質によって色差信号に含まれるノイズの量が異なるため、ノイズの量に応じてメディアンフィルタを使い分けることにより、ノイズの少ない色差信号を生成することができる。
【０１０７】
さらに、フィルタリング処理の効果を均一にできるので、画像を忠実に再現することができる。
【０１０８】
さらに、ｘ方向、ｙ方向の演算を分離して行うことができるので、計算規模を抑えることができるため、ハードウエアにより容易に実現することができる。
【０１０９】
さらに、中高域輝度成分を最も損なわずに抽出することができる。
【０１１１】
さらに、Ｇ成分についてはメディアン方式で補間処理を行うことによって高域輝度成分の減少を最小限に抑えると共に、Ｒ成分およびＢ成分についてはバイリニア方式で補間処理を行うことによってノイズを少なくすることができる。したがって、輪郭がより強調されると共に、画質のよい画像を得ることができる。
【０１１２】
さらに、中域輝度成分と高域輝度成分の割合を任意の割合にすることにより、画像の立体感を好みに応じて調整することができる。
【０１１３】
さらに、中域、高域輝度成分抽出手段を単一フィルタにより簡単に構成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像処理装置の構成を示すブロック図である。
【図２】（ａ）（ｂ）は図１の中高域輝度成分抽出手段で用いるＹＨ抽出用フィルタ１，２の具体例を示す図である。
【図３】図２のＹＨ抽出用フィルタ１，２およびそれらの差出力の各周波数特性図である。
【図４】図１の中域、高域輝度成分抽出手段で用いる複合輪郭強調フィルタの具体例を示す図である。
【図５】図１の第２ＲＧＢ補間手段で用いるＲＧＢ補間フィルタであって、（ａ）はＲ，Ｂ補間フィルタの具体例を示す図、（ｂ）はＧ補間フィルタの具体例を示す図である。
【図６】（Ａ）〜（Ｇ）は１次元フィルタの例を示す図である。
【図７】偶数サイズフィルタＡと奇数サイズフィルタＢ，Ｃの各周波数特性図である。
【図８】偶数サイズフィルタＡと奇数サイズフィルタＤ，Ｅの各周波数特性図である。
【図９】異なるサイズの偶数サイズフィルタの各周波数特性図である。
【図１０】偶数サイズのフィルタにより各画素間に画素データを生成する場合の説明図である。
【図１１】低域輝度信号、中高域輝度成分および、低域輝度信号に中高域輝度成分を補償した輝度信号の周波数特性図である。
【図１２】中高域輝度成分抽出、中域輝度成分抽出および高域輝度成分抽出用の各フィルタ周波数特性図である。
【図１３】従来の画像処理装置の第１の構成例を示すブロック図である。
【図１４】Ｂａｙｅｒ配列を示す平面図である。
【図１５】図１４のＢａｙｅｒ配列の一部を示す図である。
【図１６】従来の画像処理装置の第２の構成例を示すブロック図である。
【図１７】（ａ）および（ｂ）は輪郭強調処理における２次元２次微分フィルタを示す図である。
【図１８】従来の画像処理装置の第３の構成例を示すブロック図である。
【図１９】Ｂａｙｅｒ配列における各色成分の復元可能なサンプリング周波数の範囲を示す図である。
【図２０】光学ローパスフィルタと補償用フィルタの周波数特性を示す図である。
【図２１】中域輝度成分、中高域輝度成分、高域輝度成分補償用フィルタの周波数特性を示す図である。
【図２２】図１の中高域輝度成分抽出手段で用いるＹＨ抽出用フィルタが１枚の場合の具体例を示す図である。
【符号の説明】
１    画像処理装置
２    光学ローパスフィルタ
３    原色ＣＣＤエリアセンサ
４    第１ＲＧＢ補間手段（中高域輝度成分抽出用ＲＧＢ補間手段）
５    中高域輝度成分抽出用輝度生成手段
６    中高域輝度成分抽出手段
７，１０    乗算器
８，１１    加算器
９    中域・高域輝度成分抽出手段
１２    第２ＲＧＢ補間手段（低域輝度信号及び色差信号生成用ＲＧＢ補間手段）
１５    低域輝度信号生成手段
１６    色差信号生成手段
１７    メディアンフィルタ
Ｙ    中高域輝度成分抽出用輝度信号
ＹＬ    低域輝度信号
ＹＨ    中高域輝度成分
ＥＮＨ    中域・高域輝度成分
Ｃｒ，Ｃｂ    色差信号
α    中高域輝度成分補償用ゲイン
β    中域・高域輝度成分補償用ゲイン
【図１】
0004055927.tif 000005
【図２】
0004055927.tif 000006
【図３】
0004055927.tif 000007
【図４】
0004055927.tif 000008
【図５】
0004055927.tif 000009
【図６】
0004055927.tif 000010
【図７】
0004055927.tif 000011
【図８】
0004055927.tif 000012
【図９】
0004055927.tif 000013
【図１０】
0004055927.tif 000014
【図１１】
0004055927.tif 000015
【図１２】
0004055927.tif 000016
【図１３】
0004055927.tif 000017
【図１４】
0004055927.tif 000018
【図１５】
0004055927.tif 000019
【図１６】
0004055927.tif 000020
【図１７】
0004055927.tif 000021
【図１８】
0004055927.tif 000022
【図１９】
0004055927.tif 000023
【図２０】
0004055927.tif 000024
【図２１】
0004055927.tif 000025
【図２２】
0004055927.tif 000026