(57)【特許請求の範囲】
【請求項１】
補色フィルタが形成された撮像素子から出力される補色画像データを処理する画像処理装置において、該補色画像データに基づいて生成した、所定周波数以下の理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償する中高域輝度成分補償手段を備え、
該補色画像データに基づいて生成された色差信号に含まれるノイズを除去するメディアンフィルタリング処理手段をさらに備え、
該メディアンフィルタリング処理手段はサイズの異なる複数のメディアンフィルタを有し、色差信号の変化量に応じて該メディアンフィルタのサイズを切り替える画像処理装置。
【請求項２】
補色フィルタが形成された撮像素子から出力される補色画像データを処理する画像処理装置において、
隣接する４画素からの補色画像データに基づいて生成した第１輝度信号から、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を抽出する中高域輝度成分抽出手段と、
該補色画像データに基づいて生成した低域輝度信号に、該中高域輝度成分を加えて第２輝度信号を生成する第１合成手段とを備えた画像処理装置。
【請求項３】
前記中高域輝度成分抽出手段は、少なくとも一つの偶数サイズのフィルタを使用して前記第１輝度信号の演算処理を行う請求項２記載の画像処理装置。
【請求項４】
前記偶数サイズのフィルタは２次元フィルタであり、かつ各項の係数はｘ方向およびｙ方向に対して対称である請求項３記載の画像処理装置。
【請求項５】
前記偶数サイズのフィルタは、微分効果を有する第１ローパスフィルタと、第２ローパスフィルタとから構成され、該第１ローパスフィルタを使用して前記第１輝度信号の演算処理を行うことにより得られた出力と、該第２ローパスフィルタを使用して該第１輝度信号の演算処理を行うことにより得られた出力との出力差を前記中高域輝度成分として出力する請求項３または４記載の画像処理装置。
【請求項６】
前記補色画像データのうち、隣接する４画素からの補色画像データを加えることにより、前記第１輝度信号を生成する第１輝度信号生成手段をさらに備えた請求項２〜５の何れかに記載の画像処理装置。
【請求項７】
前記低域輝度信号を生成する前に、各画素毎にＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分のうち欠落している成分を補間して補色画像信号を求める補間手段をさらに備え、
該補間手段は奇数サイズのフィルタを使用して該補色画像データの演算処理することにより欠落している成分を補間する請求項２〜６の何れかに記載の画像処理装置。
【請求項８】
前記補間手段の後段に配設され、該補間手段からの補色画像信号に基づいてＲＧＢ画像信号を生成するＲＧＢ生成手段を有した請求項７記載の画像処理装置。
【請求項９】
前記ＲＧＢ生成手段は、式（数１）に基づいて前記補色画像信号からＲＧＢ画像信号を求める請求項８記載の画像処理装置。
【数１】
0003745948.tif 000010
【請求項１０】
前記第２輝度信号に基づいて中域輝度成分を抽出する中域輝度成分抽出手段と、前記第２輝度信号に基づいて高域輝度成分を抽出する高域輝度成分抽出手段と、該中域輝度成分および高域輝度成分の少なくとも何れかを第２輝度信号に加えて第３輝度信号を生成する第２合成手段とをさらに備えた請求項２〜９の何れかに記載の画像処理装置。
【請求項１１】
前記補色画像データに基づいて生成された色差信号に含まれるノイズを除去するメディアンフィルタリング処理手段をさらに備え、
前記メディアンフィルタリング処理手段はサイズの異なる複数のメディアンフィルタを有し、色差信号の変化量に応じて該メディアンフィルタのサイズを切り替える請求項２〜１０の何れかに記載の画像処理装置。
【請求項１２】
請求項１〜１１の何れかに記載の画像処理装置を用いて、撮像された画像データを画像処理するデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ（例えば電子スチルカメラ）などに搭載され、補色フィルタを用いたＣＣＤ（電荷結合素子）エリアセンサにより撮像された画像データを画像処理して高画質画像を得る画像処理装置および、これを用いたデジタルカメラに関する。
【０００２】
【従来の技術】
従来より、ＣＣＤエリアセンサに補色フィルタを用いた場合、補色フィルタは、原色フィルタに比べて透過度が高く、輝度成分抽出時にもＧ成分が多いために、高感度な画像データが得られることが知られている。
【０００３】
ＣＣＤエリアセンサに補色フィルタを用いた構成例として、カラービデオカメラの場合を例に挙げて説明する。ＣＣＤエリアセンサの受光素子面側に画素単位で図１５に示すような補色フィルタが配設されている。このＣＣＤエリアセンサは、色差順次方式ＣＣＤの走査線出力、即ち、色信号が色差信号の形で走査線毎に交互に得られるように画像データの読み出しが行われるものである。つまり、ＣＣＤエリアセンサの走査線出力は、図１５の補色フィルタに示すように、まず、奇数フィールドでは垂直方向奇数番目の画素値と次の偶数番目の画素値を加算して読み出し、次の偶数フィールドでは組み合わせかたを変えて、偶数番目の画素値と次の奇数番目の画素値を加算して読み出して行くようになっている。例えば奇数フィールドの場合、走査線▲１▼ではＹｅ＋Ｍｇ，Ｃｙ＋Ｇｒの順に信号が得られ、走査線▲２▼ではＹｅ＋Ｇｒ，Ｃｙ＋Ｍｇの順に信号が得られるようになっている。また、偶数フィールドの場合、走査線▲１▼’ではＭｇ＋Ｙｅ，Ｇｒ＋Ｃｙの順に信号が得られ、走査線▲２▼’ではＧｒ＋Ｙｅ，Ｍｇ＋Ｃｙの順に信号が得られるようになっている。
【０００４】
図１５の補色フィルタに示すＹｅ（イエロ），Ｃｙ（シアン），Ｍｇ（マゼンダ），Ｇｒ（グリーン）と、３原色のＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）との関係は、理想的には、以下の式（６）で示される。
【０００５】
Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋Ｂ，Ｍｇ＝Ｒ＋Ｂ，
Ｇｒ＝Ｇ                       （６）
このようにして読み出された画像データは、雑音を低減させるＣＤＳ（Correlated Double Sampling）回路、ゲイン調整処理を行うＡＧＣ（Automatic Gain Control）回路、さらに分解能が例えば１０ビットのＡ／Ｄ変換回路を介してデジタル画像データとして画像処理装置に入力され、画像処理装置にて各種画像処理が施された後、表示用の映像信号として出力されるようになっている。ＣＤＳ回路、ＡＧＣ回路およびＡ／Ｄ変換回路は図１６の色差順次方式ＣＣＤの走査線入力に含まれる。その従来の画像処理装置として、以下、「業務用単板式カラーカメラのデジタル信号処理システム」（東芝レビュー１９９４  Ｖｏｌ．４９  Ｎｏ．１）について説明する。
【０００６】
図１６は、従来のカラービデオカメラにおける画像処理装置の構成例を示すブロック図である。図１６において、カラービデオカメラの信号処理システム４００は、色差順次方式ＣＣＤの走査線入力を受ける水平垂直輪郭強調手段４０１と、走査線入力を受けるローパスフィルタ（ＬＰＦ）４０２と、ローパスフィルタ（ＬＰＦ）４０２の出力を入力するガンマ補正手段４０３と、走査線入力を受ける色分離手段４０４と、色分離手段４０４の出力を入力とするホワイトバランス調整手段（ＷＢ）４０５と、ホワイトバランス調整手段４０５の出力を入力するガンマ補正手段４０６と、ガンマ補正手段４０６の出力を入力として色差信号Ｃｒ，Ｃｂを出力する色差マトリックス手段４０７と、ガンマ補正手段４０３および色差マトリックス手段４０７の各出力を入力する定輝度処理手段４０８と、水平垂直輪郭強調手段４０１および定輝度処理手段４０８の各出力を入力として輝度信号Ｙを出力する加算手段４０９とを備えている。
【０００７】
水平垂直輪郭強調手段４０１は、色差順次方式ＣＣＤの走査線入力を受けて水平垂直輪郭強調処理を行うものである。水平輪郭強調処理は同一走査線上の隣接画像データで行われ、例えば走査線▲１▼では（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇｒ）である。また、垂直輪郭強調処理はフィード内隣接の走査線間の画像データで行われ、例えば走査線▲１▼と▲２▼では（Ｙｅ＋Ｍｇ）−（Ｙｅ＋Ｇｒ）である。
【０００８】
ローパスフィルタ（ＬＰＦ）４０２は、走査線入力を受けてその高域輝度成分をカットして広域輝度成分Ｙ１を出力するものである。この広域輝度成分Ｙ１は、各走査線について４画素毎に下記の式（７）で生成されている。なお、広域輝度成分Ｙ１の中心は各走査線内の４画素の中心である。ここで、式（７）の計算は、図１５の走査線▲１▼の４画素毎に行われる。
【０００９】
Ｙ１＝Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇｒ        （７）
ガンマ補正手段４０３は、ローパスフィルタ４０２からの広域輝度成分Ｙ１の出力をガンマ補正処理するものである。ガンマ補正処理とは、画像を出力するディスプレイやプリンタ特性と一致させる処理である。
【００１０】
色分離手段４０４は、例えば走査線▲１▼のＹｅ，Ｃｙ，Ｍｇ，Ｇｒ成分と、走査線▲１▼に隣接する走査線▲２▼のＹｅ，Ｃｙ，Ｇｒ，Ｍｇ成分とから、位置の異なるＹｅ成分とＹｅ成分，・・を同じと考えて、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒ成分の色分離を行うと共に、色分離で求めたＹｅ，Ｃｙ，Ｍｇ，Ｇｒ成分に基づいて、上記式（６）より８画素毎の３原色のＲ，Ｇ，Ｂ成分に変換するものである。
【００１１】
ホワイトバランス調整手段（ＷＢ）４０５は、色分離手段４０４によって変換されたＲＧＢ成分に対して、画像の色合いを正しくするために、照明の色温度に合わせて白色を調節するようになっている。
【００１２】
ガンマ補正手段４０６は、ホワイトバランス調整手段（ＷＢ）４０５からの画像データ出力をガンマ補正処理するものである。
【００１３】
色差マトリックス手段４０７は、変換したＲ，Ｇ，Ｂ成分から、以下の式（８）にて低域輝度信号Ｙ２（定輝度信号Ｙ２ともいう）を求めると共に、色差信号Ｃｒ，Ｃｂを下記の式（９）にて求めるようになっている。
【００１４】
Ｙ２＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ      （８）
Ｃｒ＝Ｒ−Ｙ２
Ｃｂ＝Ｂ−Ｙ２                              （９）
定輝度処理手段４０８は、ガンマ補正手段４０３にてガンマ補正処理が施された広域輝度成分Ｙ１の低域部を、低域輝度信号Ｙ２に置き換える定輝度処理をするものである。
【００１５】
加算手段４０９は、水平垂直輪郭強調手段４０１からの水平垂直輪郭強調処理信号に、定輝度処理手段４０８から出力される輝度信号を加算して輝度信号Ｙとして出力するようになっている。
【００１６】
【発明が解決しようとする課題】
上記カラービデオカメラの信号処理システム４００では、図１５に示すように、２走査線上の画素のデータを加算して読み出すため、解像度が悪くなるが、ディスプレイの解像度も同程度のため、あまり問題とはならなかった。しかし、高解像度が必要なデジタルスチルカメラの信号処理システムでは１走査線毎に画素データを読み出す必要がある。
【００１７】
図１５または図２に示す補色フィルタ配列に対して、実際のサンプリング周波数をｆｓ＝１／△ｘ＝１／△ｙとする。なお、△ｘは横方向（ｘ方向）の画素幅（画素ピッチ）、△ｙは縦方向（ｙ方向）の画素幅（画素ピッチ）である。
【００１８】
サンプリング定理により、元の画像に含まれる空間周波数のうちで復元可能な最高周波数は、サンプリング周波数ｆｓ（＝１／△ｘ＝１／△ｙ）の半分であることが解る。したがって、復元可能な最高周波数ｆｓ／２よりも高い周波数成分はノイズとして現れることになる。
【００１９】
この問題を避けるために、ＣＣＤエリアセンサに光学ローパスフィルタ（折返しノイズ防止フィルタ）を付けるようにしている。この光学ローパスフィルタにより、画像データのｆｓ／２以上の周波数成分をカットすると同時にフィルタが理想的でないためｆｓ／２以下の周波数成分も減衰してしまう。図８に示すように、グラフａは理想的なローパスフィルタの周波数特性（ｆｓ／２以上の周波数成分をカット）であるが、実際には、グラフｂに示すローパスフィルタの周波数特性となる。また、ローパスフィルタによって減衰した高域輝度成分を回復して理想的なグラフａの特性に近づけるために要求される補償用フィルタの周波数特性としては、グラフｃが望ましいが、本発明では、新たに抽出する中高域輝度成分に中域輝度成分と高域輝度成分とを任意の割合で合成し、グラフＤ１に近い周波数特性を有する補償用フィルタによって補償する。
【００２０】
また、図２に示す補色フィルタ配列の各画素に対して欠落した３つの各色成分を補間する際にも、高域輝度成分が少なくなるので、減衰した高域輝度成分を補償することは鮮鋭な画像を作るには不可欠な処理である。通常、この補償は図９に示すように中域輝度成分補償用フィルタの周波数特性（グラフｄ）による補償と高域輝度成分補償用フィルタの周波数特性（グラフｃ）による補償とに分けて行っている。図９において、グラフｂはローパスフィルタ（折返しノイズ防止用フィルタ）および補間処理後の総合周波数特性であり、グラフａは補償処理を含めた画像処理システム全体の理想周波数特性である。
【００２１】
前述した従来技術では、図９の中域輝度成分補償用フィルタの周波数特性曲線（グラフｄ）と高域輝度成分補償用フィルタの周波数特性曲線（グラフｃ）とによって中域輝度成分と高域輝度成分の補償を行っている。グラフｄの振幅の最大値は角周波数ωがπ／２（ｆｓ／４に相当）の処にあり、グラフｃの振幅の最大値は角周波数ωがπ（ｆｓ／２に相当）の処にある。よって、角周波数ωがπ／２の処に振幅の最大値がある曲線ｄにより中域輝度成分補償を行い、角周波数ωがπの処に振幅の最大値がある曲線ｃにより高域輝度成分補償を行う。
【００２２】
しかし、鮮鋭な画像を得るための輪郭強調処理において、高域輝度成分補償により画像の高域輝度成分が強調されると、ノイズ成分も強調されることになる。このため、角周波数ωがｆｓ／２より高い成分は全てノイズとなる。この結果、画像の解像度を上げようとするとノイズやジャギー成分が目立ってくる。なお、ジャギーとは各種ノイズのうちの一種類で最も目につきやすいノイズのことである。なお、ジャギー（Ｊａｇｇｙ ｏｒ Ｚｉｐ  ｎｏｉｓｅ）とは各種ノイズのうちの一種類で、輪郭部に現れる階段状のノイズのことである。
【００２３】
本発明は、上記従来の事情に鑑みて為されたもので、補色フィルタを用いることにより高感度な画像を得ると共に、鮮鋭な画像を得る際に生じるノイズやジャギーを低減することができる画像処理装置および、これを用いたデジタルカメラを提供することを目的とする。
【００２４】
【課題を解決するための手段】
本発明の画像処理装置は、補色フィルタが形成された撮像素子から出力される補色画像データを処理する画像処理装置において、補色画像データに基づいて生成した、所定周波数以下の理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償する中高域輝度成分補償手段を備え、該補色画像データに基づいて生成された色差信号に含まれるノイズを除去するメディアンフィルタリング処理手段をさらに備え、該メディアンフィルタリング処理手段はサイズの異なる複数のメディアンフィルタを有し、色差信号の変化量に応じて該メディアンフィルタのサイズを切り替えるものであり、そのことにより上記目的が達成される。なお、中高域輝度成分とは、中高域周波数成分を主な成分とする輝度成分である。また、低域輝度信号とは低域周波数成分を主な成分とする輝度信号である。
【００２５】
この構成により、所定周波数（サンプリング周波数ｆｓ／２）以下の理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償するので、補色フィルタを用いることにより高感度な画像を得ると共に、鮮鋭な画像を得る際に生じるノイズやジャギーを低減することが可能となる。
【００２６】
また、本発明の画像処理装置は、補色フィルタが形成された撮像素子から出力される補色画像データを処理する画像処理装置において、隣接する４画素からの補色画像データに基づいて生成した第１輝度信号から、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を抽出する中高域輝度成分抽出手段と、この補色画像データに基づいて生成した低域輝度信号に、前記中高域輝度成分を加えて第２輝度信号を生成する第１合成手段とを備えたものであり、そのことにより上記目的が達成される。
【００２７】
この構成により、中高域輝度成分の補償を行うので、高い解像度の画像が得られると同時に、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することが可能となる。
【００２８】
また、好ましくは、本発明の画像処理装置における中高域輝度成分抽出手段は、少なくとも一つの偶数サイズのフィルタを使用して第１輝度信号の演算処理を行う。
【００２９】
この構成により、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を容易に抽出することが可能となる。
【００３０】
さらに、好ましくは、本発明の画像処理装置における偶数サイズのフィルタは２次元フィルタであり、かつ各項の係数はｘ方向およびｙ方向に対して対称である。
【００３１】
この構成により、フィルタリング処理の効果を均一にできるので、画像を忠実に再現することが可能となる。
【００３２】
さらに、好ましくは、本発明の画像処理装置における偶数サイズのフィルタは、微分効果を有する第１ローパスフィルタと、第２ローパスフィルタとから構成され、第１ローパスフィルタを使用して第１輝度信号の演算処理を行うことにより得られた出力と、第２ローパスフィルタを使用して第１輝度信号の演算処理を行うことにより得られた出力との出力差を中高域輝度成分として出力する。
【００３３】
この構成により、ｘ方向、ｙ方向の演算を分離して行うことができるので、計算規模を抑えることができるため、ハードウエアにより容易に実現することが可能となる。
【００３４】
さらに、好ましくは、本発明の画像処理装置において、補色画像データのうち、隣接する４画素からの補色画像データを加えることにより、第１輝度信号を生成する第１輝度信号生成手段をさらに備えている。
【００３５】
この構成により、補色フィルタでは、隣接する４画素毎に補色画像データを加えることにより、中高域輝度成分抽出手段入力信号Ｙｉｎが得られる。したがって、補間処理をすることによって失われる高域輝度成分が失われないので、鮮鋭な画像を得ることが可能となる。
【００３６】
さらに、好ましくは、本発明の画像処理装置において、低域輝度信号を生成する前に、各画素毎にＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分のうち欠落している成分を補間して補色画像信号を求める補間手段をさらに備え、この補間手段は奇数サイズのフィルタを使用して該補色画像データの演算処理をすることにより欠落している成分を補間する。
【００３７】
この構成により、低域輝度信号に対して中高域輝度成分による補償を行う際に、中高域輝度成分の中心が各画素の中心にあるため、低域輝度信号の中心も各画素の中心にしておかないと、再現された画像にゴーストが発生する。
【００３８】
さらに、好ましくは、本発明の画像処理装置において、補間手段の後段に配設され、補間手段からの補色画像信号に基づいてＲＧＢ画像信号を生成するＲＧＢ生成手段を有する。
【００３９】
この構成により、低域輝度信号を生成するためのＲＧＢ画像信号が補色画像信号から容易に得られる。
【００４０】
さらに、好ましくは、本発明の画像処理装置におけるＲＧＢ生成手段は、式（数２）に基づいて前記補色画像信号からＲＧＢ画像信号を求める。
【００４１】
【数２】
0003745948.tif 000002
この構成により、上記の式（数２）のパラメータＣｉｊの値を調節することによって、製造メーカなどの違いなどに基づく撮像素子特性の差が調節可能である。
【００４２】
さらに、好ましくは、本発明の画像処理装置において、第２輝度信号に基づいて中域輝度成分を抽出する中域輝度成分抽出手段と、第２輝度信号に基づいて高域輝度成分を抽出する高域輝度成分抽出手段と、中域輝度成分および高域輝度成分の少なくとも何れかを第２輝度信号に加えて第３輝度信号を生成する第２合成手段とをさらに備える。なお、中域輝度成分とは、中域周波数成分を主な成分とする輝度成分である。また、高域輝度成分とは、高域周波数成分を主な成分とする輝度成分である。
【００４３】
この構成により、中域輝度成分と高域輝度成分の割合を任意の割合にすることにより、画像の立体感を好みに応じて調整することが可能となる。
【００４４】
さらに、好ましくは、本発明の画像処理装置において、補色画像データに基づいて生成された色差信号に含まれるノイズを除去するメディアンフィルタリング処理手段をさらに備え、メディアンフィルタリング処理手段はサイズの異なる複数のメディアンフィルタを有し、色差信号の変化量に応じて該メディアンフィルタのサイズを切り替える。
【００４５】
この構成により、色差信号の変化量に応じて、サイズの異なるメディアンフィルタを使い分けることにより、偽色の発生を防止することが可能となる。以上の本発明の画像処理装置を用いて、撮像された画像データを画像処理するデジタルカメラを構成できる。
【００４６】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら説明する。
【００４７】
図１は、本発明の一実施形態における画像処理装置の構成を示すブロック図である。図１において、画像処理装置１は、光学ローパスフィルタ２と、補色ＣＣＤエリアセンサ３と、成分を補間するための低域輝度信号生成用Ｙｅ，Ｃｙ，Ｇｒ，Ｍｇ補間処理手段４（以下低域輝度信号生成用補間処理手段４という）と、ＲＧＢ生成手段５と、ホワイトバランス調整・ガンマ補正手段６と、低域輝度信号生成手段（定輝度信号生成手段ともいう）７と、色差信号Ｃｒ，Ｃｂを生成する色差信号生成手段８と、適応型メディアンフィルタリング処理手段９とを備えている。
【００４８】
光学ローパスフィルタ２は、実際のサンプリング周波数ｆｓの１／２以上の高域輝度成分をカットするものである。サンプリング周波数ｆｓは、図２に示すように、ｆｓ＝１／△ｘ＝１／△ｙである。△ｘ，△ｙは画素ピッチである。
【００４９】
補色ＣＣＤエリアセンサ３は、複数の受光素子がマトリクス状に配列されており、その受光素子面側に補色カラーフィルタが配設されている。この補色カラーフィルタは、例えば図２に示すような色配列となっている。なお、補色ＣＣＤエリアセンサ３から読み出された画像データは、例えば、雑音を低減させるＣＤＳ回路、ゲイン調整処理を行うＡＧＣ回路、さらに分解能が例えば１０ビットのＡ／Ｄ変換回路を介して画像データとして出力されるようになっている。
【００５０】
低域輝度信号生成用補間処理手段４は、補色ＣＣＤエリアセンサ３からの画像データの各画素毎の成分を用いて各画素毎の欠落成分を補間処理する。図３に示す補色配列に示すように、例えば欠落成分がＧｒ成分の場合、下記の式（１１）〜式（１３）を用いて補間処理を行う。また、Ｙｅ、Ｃｙ、Ｍｇ成分はＧｒ成分と同じパターン配置をとっているので、補間方法はＧｒ成分の場合と同様である。
【００５１】
Ｇｒ５＝（Ｇｒ４＋Ｇｒ６）/２                          （１１）
Ｇｒ７＝（Ｇｒ４＋Ｇｒ１０）/２                        （１２）
Ｇｒ８＝（Ｇｒ４＋Ｇｒ６＋Ｇｒ１０＋Ｇｒ１２）/４      （１３）
以上の補間処理は、低域輝度信号生成用補間処理手段４を構成する図４に示すＹｅＣｙＧｒＭｇ補間フィルタを用いている。ＹｅＣｙＧｒＭｇ補間フィルタは、画素データが画素の中心に来るように奇数サイズ３画素×３画素のフィルタとしている。
【００５２】
ＹｅＣｙＧｒＭｇ補間フィルタの使い方について説明する。例えば図３に示す補色フィルタ配列の場合、Ｙｅ５、Ｃｙ５、Ｍｇ５を以下の各式により順次求める。
【００５３】
Ｙｅ５＝（１／４）×Ｙｅ１＋（１／４）×Ｙｅ３＋（１／４）×Ｙｅ７＋（１／４）×Ｙｅ９
このとき、Ｙｅ２＝Ｙｅ４＝Ｙｅ６＝Ｙｅ８＝０
Ｃｙ５＝（１／２）×Ｃｙ２＋（１／２）×Ｃｙ８
このとき、Ｃｙ１＝Ｃｙ３＝Ｃｙ４＝Ｃｙ６＝Ｃｙ７＝Ｃｙ９＝０
Ｍｇ５＝１×Ｍｇ５
このとき、Ｍｇ１＝Ｍｇ２＝Ｍｇ３＝Ｍｇ４＝Ｍｇ６＝Ｍｇ７＝Ｍｇ８＝Ｍｇ９＝０
また、ＹｅＣｙＧｒＭｇ補間フィルタを３画素×３画素のフィルタとしたのは、３画素×３画素よりも大きいフィルタを用いて補間処理すると、解像度および色再現性が低下し、またサイズ１画素×１画素では補間処理ができないため、サイズ３画素×３画素のフィルタがベストであるからである。なお、ここで、奇数サイズのフィルタを使用しなければならない理由は後述する。
【００５４】
ＲＧＢ生成手段５は、低域輝度信号生成用補間処理手段４にて補間された成分を含む補色画像信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分に基づいて、下記の式（１４）より８画素毎の３原色のＲ，Ｇ，Ｂ成分からなるＲＧＢ画像信号を生成するものである。
【００５５】
0003745948.tif 000003
ホワイトバランス調整・ガンマ補正手段６は、変換されたＲＧＢ画像信号に対して、画像の色合いを正しくするために、照明の色温度に合わせて白色を調節することでホワイトバランス調整をし、ホワイトバランス調整後の出力に対してガンマ補正処理をするものである。
【００５６】
低域輝度信号生成手段７は、ＲＧＢ生成手段５で得られたＲＧＢ画像信号を所定の割合で加えることによって低域輝度信号ＹＬを生成するものである。ＲＧＢ画像信号から、以下の式（１５）にて低域輝度信号ＹＬを求めるようになっている。本発明では、従来技術の欄で説明したカラービデオカメラの信号処理システムの場合と異なり、画素毎に補間処理を行うため、生成した低域輝度信号ＹＬの解像度がよくなる。
【００５７】
ＹＬ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ      （１５）
色差信号生成手段８は、変換されたＲ，Ｇ，Ｂ成分から、以下の式（１６）にて色差信号Ｃｒ，Ｃｂを求めるようになっている。画素毎に補間処理を行うため、生成した色差信号Ｃｒ，Ｃｂには色ノイズが少ない。
【００５８】
Ｃｒ＝Ｒ−ＹＬ
Ｃｂ＝Ｂ−ＹＬ                              （１６）
適応型メディアンフィルタリング処理手段９は、色差信号Ｃｒ，Ｃｂから色ノイズを防ぐために、色差信号の変化が小さい場合には５画素×５画素の画素領域を選択し、色差信号の変化が大きい場合には３画素×３画素の画素領域を選択するように、下記の適応型メディアンフィルタリング処理手段９は下記の式（１７）で色差信号を処理するようになっている。ただし、Ｍａｘは５画素×５画素領域での色差信号Ｃｒ，Ｃｂの最大値である。Ｍｉｎは５画素×５画素の画素領域での色差信号Ｃｒ，Ｃｂの最小値である。Ｔｈは閾値である。
【００５９】
色差信号の変化が小さい場合は、色差信号を求める画素を中心とした５画素×５画素の画素（計２５画素）について求め、下記式（１７）により中央値を求める。その求めた中央値を、求める画素の色差信号におきかえる。また、色差信号の変化が大きい場合は、色差信号を求める画素を中心とした３画素×３画素の画素（計９画素）について求め、下記式（１７）により中央値を求める。その求めた中央値を、求める画素の色差信号におきかえる。水平または垂直方向に１画素ずらし、同様にして、この処理を全画素について順次行う。
【００６０】
Ｃｒ＝Ｍｅｄｉａｎ５×５｛Ｃｒｉｊ｝
Ｃｂ＝Ｍｅｄｉａｎ５×５｛Ｃｂｉｊ｝
（Ｍａｘ-Ｍｉｎ）≦Ｔｈ        1≦ｉ,   ｊ≦５
Ｃｒ＝Ｍｅｄｉａｎ３×３｛Ｃｒｉｊ｝
Ｃｂ＝Ｍｅｄｉａｎ３×３｛Ｃｂｉｊ｝
（Ｍａｘ-Ｍｉｎ）>Ｔｈ          1≦ｉ,   ｊ≦５            （１７）
また、画像処理装置１は、中高域輝度成分補償用輝度生成手段１０と、中高域輝度成分抽出手段１１と、第１合成手段としての乗算手段１２および加算手段１３と、中域輝度成分抽出手段１４と、高域輝度成分抽出手段１５と、第２合成手段としての乗算手段１６，１７および加算手段１８とを備えている。これら中高域輝度成分補償用輝度生成手段１０および中高域輝度成分抽出手段１１により中高域輝度成分補償手段２０が構成されている。
【００６１】
中高域輝度成分補償用輝度生成手段１０は、４画素毎に補色画像データであるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分を加えて中高域輝度成分抽出手段入力輝度信号（以下、入力輝度信号という）Ｙｉｎを生成するものである。つまり、中高域輝度成分ＹＨを抽出する前に、隣接する４画素毎に補色画像データであるＹｅ、Ｃｙ、Ｍｇ、Ｇｒの各成分から生成された入力輝度信号Ｙｉｎを下記の式（１８）を用いて生成する。
【００６２】
Ｙｉｎ＝（Ｙｅ＋Ｃｙ＋Ｇｒ＋Ｍｇ）/４            （１８）
ここで、上記の式（１８）は２画素×２画素の偶数サイズのフィルタを使用して処理することを表しているので、各画素データの位置は画素と画素の間にある。
【００６３】
中高域輝度成分抽出手段１１は、中高域輝度成分補償用輝度生成手段１０で生成した入力輝度信号Ｙｉｎに、図５（ａ）および図５（ｂ）のＹＨ抽出用フィルタ１，２を使用して中高域輝度成分ＹＨを抽出するようになっている。つまり、中高域輝度成分抽出手段１１は、図５（ａ）の６画素×６画素のＹＨ抽出用フィルタ１からの出力と、図５（ｂ）の４画素×４画素のＹＨ抽出用フィルタ２からの出力との差出力として中高域輝度成分ＹＨを出力するものである。このように、各フィルタへの入力信号が同じであるので、ＹＨ抽出用フィルタ１の出力からＹＨ抽出用フィルタ２の出力を引くと中高域輝度成分ＹＨの高周波数成分にノイズが少ない中高域輝度成分ＹＨが得られる。ＹＨ抽出用フィルタ１，２におけるｘは横方向の演算、ｙは縦方向の演算を指している。
【００６４】
図５（ａ）のＹＨ抽出用フィルタ１の特長は、まず、微分効果を有するローパスフィルタ（負の係数が含まれている）、次に、ｘ、ｙ共、偶数サイズ（８画素×８画素、１０画素×１０画素などでもよい）、さらに、正方形（ｘ、ｙの数が同一）が望ましいが、例えばｘ方向を強調したいのであれば、横長（ｘの数がｙの数よりも多い）でもよく、ｙ方向を強調したいのであれば、縦長（ｙの数がｘの数よりも多い）でもよく、さらには、各項の係数はフィルタのｘ方向およびｙ方向に対して対称であることである。また、図５（ｂ）のＹＨ抽出用フィルタ２の特長は、ローパスフィルタ（正の係数のみ）、次に、ｘ、ｙ共、偶数サイズ（ただし、図５（ａ）のＹＨ抽出用フィルタ１のサイズ以下）、さらに、正方形が望ましいが、横長や縦長の矩形でもよい。また、各項の係数はフィルタのｘ方向およびｙ方向に対して対称であるため、フィルタリング処理の効果を均一にすることができるので、画像を忠実に再現することができる。
【００６５】
このように、ＹＨ抽出用フィルタを２枚のフィルタで構成することによって、ｘ方向とｙ方向の演算を分離することができて、ハード化しやすくなる。図６に図５のＹＨ抽出用フィルタ１，２およびそれらの差出力の周波数特性を示している。図６において、グラフｈはＹＨ抽出用フィルタ１の周波数特性、グラフｉはＹＨ抽出用フィルタ２の周波数特性であり、グラフｊは、グラフｈとグラフｉとの差信号からなる中高域輝度成分ＹＨの周波数特性である。なお、ここでは、ＹＨ抽出用フィルタを２枚のフィルタで構成したが、ＹＨ抽出用フィルタを１枚のフィルタで構成することもできる。そのフィルタの係数は、図１７に示す通りである。この場合には計算規模が増大する。
【００６６】
乗算器１２は、中高域輝度成分抽出手段１１で抽出した中高域輝度成分ＹＨに対して、調節係数であるゲインαの調整で輝度信号に補助的な補償を行うものである。
【００６７】
加算器１３は、所定の倍率のゲインαがかけられた中高域輝度成分αＹＨを、低域輝度信号生成手段７からの低域輝度信号ＹＬに加算することにより輝度信号（ＹＬ＋αＹＨ）を得るものである。
【００６８】
中域輝度成分抽出手段１４は、輝度信号（ＹＬ＋αＹＨ）から中域輝度成分ＥＮＨ１を抽出するものである。中域輝度成分抽出用フィルタは例えば図７（ａ）に示している。
【００６９】
高域輝度成分抽出手段１５は、輝度信号（ＹＬ＋αＹＨ）から高域輝度成分ＥＮＨ２を抽出するものである。高域輝度成分抽出用フィルタは例えば図７（ｂ）に示している。なお、高域輝度成分抽出用フィルタと中域輝度成分抽出用フィルタとは、１枚のフィルタの使用領域を使い分けることによって兼用してもよいし、２枚のフィルタを高域輝度成分抽出用と中域輝度成分抽出用として別々に使ってもよい。
【００７０】
乗算手段１６は、中域輝度成分ＥＮＨ１に対して、調節係数であるゲインβ１により補助的な補償を行うものである。
【００７１】
乗算手段１７は、高域輝度成分ＥＮＨ２に対して、調節係数であるゲインβ２により補助的な補償を行うものである。
【００７２】
加算器１８は、加算器１３からの輝度信号（ＹＬ＋αＹＨ）、乗算器１６からの中域輝度成分（β１ＥＮＨ）および、乗算器１７からの高域輝度成分（β２ＥＮＨ）を合成することにより、輪郭強調処理を行って更に画像の解像度を向上させるものである。
【００７３】
ここで、本発明の原理について詳細に説明する。
【００７４】
解像度の向上に関しては、以下、１次元のモデルを使って簡単に分析する。折り返しノイズの防止のため、補色ＣＣＤエリアセンサ３の受光素子面側に光学ローパスフィルタ２が被せてある。この光学ローパスフィルタ２の画像データの周波数特性への影響を図８に示している。図８において、グラフａは光学ローパスフィルタ２の理想的な周波数特性であり、グラフｂは光学ローパスフィルタ２の実際の周波数特性である。光学ローパスフィルタ２の影響を無くすため、理論的にはグラフｂの中域輝度成分から高域輝度成分の低下を打ち消すための補償用フィルタの周波数特性はグラフｃになることが望ましい。しかし、本発明では、新たに抽出する中高域輝度成分に中域輝度成分と高域輝度成分とを任意の割合で合成し、グラフＤ１に近い周波数特性を有する補償用フィルタによって補償する。
【００７５】
図９には中域輝度成分、中高域輝度成分、高域輝度成分補償用フィルタの周波数特性を示している。図９において、グラフＤ２は図８のグラフＤ１に相当する目標周波数特性である。グラフｂは、光学ローパスフィルタ２および補間処理などの影響を受けて、中域輝度成分から高域輝度成分にかけて減衰した画像信号の周波数特性である。グラフｃは高域輝度成分補償用フィルタ（図７（ｂ））、グラフｄは中域輝度成分補償用フィルタ（図７（ａ））、グラフｅは中高域輝度成分補償用フィルタ（図５）を使用した周波数特性である。中高域輝度成分補償用フィルタ（図５）を主な強調手段として使用し、高域輝度成分補償用フィルタ（図７（ｂ））と中域輝度成分補償用フィルタ（図７（ａ））を補助的な補償手段として使用している。
【００７６】
画像処理装置の伝達特性を定量的に分析するため、上記各２次元フィルタを図１０の１次元の各等価フィルタ（Ａ）〜（Ｅ）に換算して説明する。
【００７７】
図５の２次元のＹＨ抽出用フィルタ１，２は、図１０の１次元フィルタ（Ａ）に直すことができる。この１次元フィルタの伝達関数は下記の式（１９）に示している。
【００７８】
0003745948.tif 000004
図７（ｂ）の２次元高域輝度成分抽出用フィルタは図１０の１次元フィルタ（Ｂ）に直すことができる。その１次元フィルタの伝達関数は下記の式（２０）になる。
【００７９】
0003745948.tif 000005
図７（ａ）に２次元中域輝度成分抽出用フィルタは図１０の１次元フィルタ（Ｃ）に直すことができる。その１次元フィルタの伝達関数は下記の式（２１）である。
【００８０】
0003745948.tif 000006
図４のＹｅＣｙＧｒＭｇ補間用の２次元フィルタは、図１０の１次元フィルタ（Ｄ）に直すことができる。その１次元フィルタの伝達関数は下記の式（２２）である。
【００８１】
0003745948.tif 000007
上記式（１８）によって入力輝度信号Ｙｉｎを得るための２次元フィルタは、図１０のグラフの１次元フィルタ（Ｅ）に直すことができる。その１次元フィルタの伝達関数は下記の式（２３）である。
【００８２】
0003745948.tif 000008
図１０の１次元フィルタに示す中高域輝度成分抽出用フィルタ（Ａ）の式（１９）、高域輝度成分抽出用フィルタ（Ｂ）の式（２０）および、中域輝度成分抽出用フィルタ（Ｃ）の式（２１）の各周波数特性を図１１に表示している。図１１において、グラフＡは中高域輝度成分抽出用フィルタの周波数特性であり、グラフＢは高域輝度成分抽出用フィルタの周波数特性であり、グラフＣは中域輝度成分抽出用フィルタの周波数特性である。ここでは、比較しやすいように、各グラフＡ〜Ｃを正規化処理している。
【００８３】
また、図１２のグラフＤは図１０の１次元フィルタに示す低域輝度信号生成用補間処理フィルタの式（２２）の周波数特性を示している。また、グラフＥはＹＨ抽出用フィルタの入力輝度信号Ｙｉｎ生成用処理フィルタの式（２３）の周波数特性を示している。
【００８４】
図１３のグラフＦは、低域輝度信号ＹＬに中高域輝度成分ＹＨを補償した輝度信号（ＹＬ＋ＹＨ）の周波数特性を示している。比較のため、低域輝度信号ＹＬの周波数特性をグラフＤに再表示している。
【００８５】
図１４は輝度信号（ＹＬ＋ＹＨ）の周波数特性をグラフＦに表示し、高域輝度成分補償用フィルタの周波数特性をグラフＢに表示し、中域輝度成分補償用フィルタの周波数特性をグラフＣに表示している。図１に示すように調節係数（ゲインα，β１，β２）の調節により、図９の目標周波数であるグラフＤ２の周波数特性により近づくことができる。ここで、中域輝度成分と高域輝度成分補償は中高域輝度成分ＹＨに適用するのではなく、輝度信号（ＹＬ＋ＹＨ）に適用する理由は輝度信号（ＹＬ＋ＹＨ）のＳ／Ｎ比が中高域輝度成分ＹＨより高いためである。
【００８６】
図９のグラフｅに示す中高域輝度成分補償用フィルタの周波数特性をメインとし、中域輝度成分補償用フィルタの周波数特性（グラフｄ）と高域輝度成分補償用フィルタの周波数特性（グラフｃ）とによって補助的に補償する。中高域輝度成分を補償できるフィルタの周波数特性は、角周波数ωがπ／２〜πの間に振幅の最大値があって、角周波数ωがπのところで振幅がゼロになることである。この条件を満たすフィルタは、図１１のグラフＡに示された周波数特性を持つ偶数サイズのフィルタとする必要がある。
【００８７】
ここで、低域輝度信号生成用補間処理手段４のＹｅＣｙＧｒＭｇ補間フィルタとして奇数サイズのフィルタを使用するのは、低域輝度信号ＹＬに中高域輝度成分ＴＨを加える加算器１３で、画素データの位置を合わせる必要があるからである。即ち、中高域輝度成分抽出手段１１のＹＨ抽出用フィルタは既に述べたように偶数サイズでなければならず、また中高域輝度成分補償用輝度生成手段１０で用いるフィルタも既に述べたように偶数サイズ（２画素×２画素）である。したがって、抽出された中高域輝度成分ＹＨの画素データは各画素の中心にある。このため、低域輝度信号生成用補間処理手段４で用いるＹｅＣｙＧｒＭｇ補間フィルタを奇数サイズとすることにより、低域輝度信号ＹＬの画素データも各画素の中心に作ることができるので、低域輝度信号ＹＬの画素データの位置を中高域輝度成分ＹＨの画素データの位置と合わせることができる。
【００８８】
上記構成により、入射光が、光学ローパスフィルタ２で実際のサンプリング周波数ｆｓの１／２以上の成分がカットされた状態で、補色フィルタを介して補色ＣＣＤエリアセンサ３に入射する。補色ＣＣＤエリアセンサ３から画像データが読み出され、低域輝度信号生成用補間処理手段４により欠落成分を補間する。ＲＧＢ生成手段５によって補色画像信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分に基づいてＲ，Ｇ，Ｂ成分からなるＲＧＢ画像信号を生成する。さらに、ＲＧＢ画像信号はホワイトバランス調整さらにガンマ補正が為された後に、低域輝度信号生成手段７にて低域輝度信号ＹＬが生成される。
【００８９】
また、ガンマ補正されたＲＧＢ画像信号から色差信号生成手段８にて色差信号Ｃｒ，Ｃｂを求めた後に、適応型メディアンフィルタリング処理手段９において、色差信号の変化が小さい場合には５画素×５画素の画素領域を選択し、色差信号の変化が大きい場合には３画素×３画素の画素領域を選択する式（１７）によって表される適応型メディアンフィルタリング処理によって、色差信号Ｃｒ，Ｃｂからノイズを消して偽色を防ぐことができる。
【００９０】
一方、中高域輝度成分補償用輝度生成手段１０において、４画素毎に補色画像データであるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分を加えて入力輝度信号Ｙｉｎを生成し、この入力輝度信号Ｙｉｎから中高域輝度成分抽出手段１１にて偶数マスクサイズのバンドパスフィルタである中高域輝度成分抽出用フィルタを使用して中高域輝度成分ＹＨを抽出する。さらに、中高域輝度成分抽出手段１１で抽出した中高域輝度成分ＹＨに対してゲインαで調整した中高域輝度成分αＹＨを、低域輝度信号生成手段７からの低域輝度信号ＹＬに加算して輝度信号（ＹＬ＋αＹＨ）を得る。
【００９１】
さらに、中域輝度成分抽出手段１４で輝度信号（ＹＬ＋αＹＨ）から中域輝度成分ＥＮＨ１を抽出し、高域輝度成分抽出手段１５で輝度信号（ＹＬ＋αＹＨ）から高域輝度成分ＥＮＨ２を抽出する。この中域輝度成分ＥＮＨ１に対してゲインβ１で調整し、中域輝度成分ＥＮＨ２に対してゲインβ２で調整した後に、加算器１８で輝度信号（ＹＬ＋αＹＨ）に高域輝度成分（β１ＥＮＨ）および中域輝度成分（β２ＥＮＨ）を合成することで、ＳＮ比の高い輝度信号（ＹＬ＋αＹＨ）に中域輝度成分補償と高域輝度成分補償を行って、より鮮鋭な最終の輝度信号を出力する。
【００９２】
以上により、本実施形態によれば、補色画像信号からＲＧＢ生成手段５にて変換したＲＧＢ画像信号に基づいて、低域輝度信号生成手段７にて各画素毎に生成された低域輝度信号ＹＬに、中高域輝度成分抽出手段１１にて入力輝度信号Ｙｉｎから抽出した中高域輝度成分ＹＨを加えるようにしたため、補色フィルタを用いたカラービデオカメラよりも色再現性がよい画像データを得ると共に、光学ローパスフィルタ２および補間処理にて減衰した中高域輝度成分を補償すると共に、中域輝度成分抽出手段１４および高域輝度成分抽出手段１５による輪郭強調処理によって、従来の補償法を使った補助的な補償をも行うことができて、鮮鋭な画像を得る際に生じるノイズやジャギーを効率的に防止することができる。したがって、本発明の原理で得られたデジタルスチル画像はノイズやジャギーや偽色が少なく、解像度が高く色再現性のよい鮮鋭な画像とすることができる。
【００９３】
なお、本実施形態では、ＲＧＢ生成手段５は、補色画像信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分に基づいて、Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋Ｂ，Ｍｇ＝Ｒ＋Ｂ，Ｇｒ＝Ｇにより８画素毎の３原色のＲ，Ｇ，Ｂ成分に変換するようにしたが、これに限らず、補色画像信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分から，下記の式（数３）によって、ＲＧＢ成分を生成するようにしてもよい。下記の式（数３）のパラメータＣｉｊの値を調節することによって、製造メーカなどの違いなどに基づく撮像素子特性としてのＣＣＤ特性の差を調節可能としている。
【００９４】
【数３】
0003745948.tif 000009
なお、本実施形態の画像処理装置について更に説明する。画像処理装置は、光学ローパスフィルタ２を介して補色ＣＣＤエリアセンサ３から出力される補色画像データを処理する画像処理装置において、補色画像データに基づいて生成した、ローパスフィルタによる理想的な周波数特性から中高域周波数成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償する中高域輝度成分補償手段を備えたものである。この構成により、ローパスフィルタによる理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償するので、補色フィルタを用いる従来のカラービデオカメラよりも色再現性のよい画像データを得ると共に、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することも可能となる。
【００９５】
【発明の効果】
以上により、請求項１によれば、所定周波数（サンプリング周波数ｆｓ／２）以下の理想的な周波数特性から中高域輝度成分が減衰した低域輝度信号に対して、減衰した中高域輝度成分を補償するため、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することができる。
【００９６】
また、請求項２によれば、中高域輝度成分の補償を行うため、高い解像度の画像が得られると同時に、鮮鋭な画像を得る際に生じるノイズやジャギーを防止することができる。
【００９７】
さらに、請求項３によれば、角周波数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が最大となる中高域輝度成分を容易に抽出することができる。
【００９８】
さらに、請求項４によれば、フィルタリング処理の効果を均一にできるので、画像を忠実に再現することができる。
【００９９】
さらに、請求項５によれば、ｘ方向、ｙ方向の演算を分離して行うことができるので、計算規模を抑えることができるため、ハードウエアにより容易に実現することができる。
【０１００】
さらに、請求項６によれば、補色フィルタでは隣接する４画素毎に補色データであるＹｅ，Ｃｙ，Ｍｇ，Ｇｒ成分を加えることにより、中高域輝度成分抽出用輝度信号Ｙｉｎを得ることができる。したがって、高域輝度成分の損失を最小限に抑えることができるので、鮮鋭な画像を得ることができる。
【０１０１】
さらに、請求項７によれば、低域輝度信号に対して中高域輝度成分による補償を行う際に、中高域輝度成分の中心が各画素の中心にあり、かつ低域輝度成分の中心も各画素の中心にあるため、再現された画像にゴーストの発生を防止することができる。
【０１０２】
さらに、請求項８によれば、低域輝度信号を生成するためのＲＧＢ画像信号が補色画像信号から容易に得ることができる。
【０１０３】
さらに、請求項９によれば、上記の式（数２）のパラメータＣｉｊの値を調節することによって、製造メーカなどの違いなどに基づく撮像素子特性の差を調節することができる。
【０１０４】
さらに、請求項１０によれば、中域輝度成分と高域輝度成分の割合を任意の割合にすることにより、画像の立体感を好みに応じて調整することができる。
【０１０５】
さらに、請求項１１によれば、色差信号の変化量に応じて、サイズの異なるメディアンフィルタを使い分けることにより、偽色の発生を防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像処理装置の構成を示すブロック図である。
【図２】補色フィルタの色配列を示す図である。
【図３】図２の補色フィルタの色配列の一部を示す図である。
【図４】ＹｅＣｙＧｒＭｇ補間フィルタの具体例を示す図である。
【図５】（ａ）および（ｂ）は図１の中高域輝度成分抽出手段で用いるＹＨ抽出用フィルタ１，２の具体例を示す図である。
【図６】図５のＹＨ抽出用フィルタ１，２およびそれらの差出力の各周波数特性図である。
【図７】（ａ）は中域輝度成分抽出用フィルタの具体例を示す図、（ｂ）は高域輝度成分抽出用フィルタの具体例を示す図である。
【図８】光学ローパスフィルタと補償用フィルタの周波数特性を示す図である。
【図９】中域輝度成分、中高域輝度成分、高域輝度成分補償用フィルタの周波数特性を示す図である。
【図１０】（Ａ）〜（Ｅ）は本発明で用いる各フィルタを１次元フィルタに置換えた場合のフィルタの具体例を示す図である。
【図１１】本発明の中高域輝度成分補償用フィルタ、中域輝度成分補償用フィルタおよび高域輝度成分補償用フィルタの周波数特性図である。
【図１２】本発明の低域輝度信号ＹＬおよび入力輝度信号Ｙｉｎの周波数特性図である。
【図１３】本発明の低域輝度信号ＹＬ、中高域輝度成分補償後の輝度信号（ＹＬ＋ＹＨ）の周波数特性図である。
【図１４】本発明の輝度信号（ＹＬ＋ＹＨ）、高域輝度成分補償用フィルタおよび中域輝度成分補償用フィルタの周波数特性図である。
【図１５】ビデオカメラ用補色フィルタの配列を示す平面図である。
【図１６】従来のカラービデオカメラにおける信号処理システムの構成例を示すブロック図である。
【図１７】図１の中高域輝度成分抽出手段で用いるＹＨ抽出用フィルタが１枚の場合の具体例を示す図である。
【符号の説明】
１    画像処理装置
２    光学ローパスフィルタ
３    補色ＣＣＤエリアセンサ
４    低域輝度信号生成用補間処理手段
５    ＲＧＢ生成手段
７    低域輝度信号生成手段
８    色差信号生成手段
９    適応型メディアンフィルタリング処理手段
１０    中高域輝度成分補償用輝度生成手段
１１    中高域輝度成分抽出手段
１２，１６，１７    乗算手段
１３，１８    加算手段
１４    中域輝度成分抽出手段
１５    高域輝度成分抽出手段
α    中高域輝度成分補償用ゲイン
β１    中域輝度成分補償用ゲイン
β２    高域輝度成分補償用ゲイン
【図１】
0003745948.tif 000011
【図２】
0003745948.tif 000012
【図３】
0003745948.tif 000013
【図４】
0003745948.tif 000014
【図５】
0003745948.tif 000015
【図６】
0003745948.tif 000016
【図７】
0003745948.tif 000017
【図８】
0003745948.tif 000018
【図９】
0003745948.tif 000019
【図１０】
0003745948.tif 000020
【図１１】
0003745948.tif 000021
【図１２】
0003745948.tif 000022
【図１３】
0003745948.tif 000023
【図１４】
0003745948.tif 000024
【図１５】
0003745948.tif 000025
【図１６】
0003745948.tif 000026
【図１７】
0003745948.tif 000027