(57)【要約】【課題】  色補間処理に伴うエッジ部に発生する偽色を容易、かつ効果的に排除することができる新規な画像処理方法及び装置、プログラム並びに半導体装置の提供。【解決手段】カラー撮像センサ20で取り込まれた画像データに対して色補間処理を施した後の色差信号に対して偽色低減処理を実行するようにした画像処理方法であって、前記偽色低減処理は、注目画素を含む行方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタｆを用い、その一次元フィルタｆで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する。これによって、色補間処理に伴うエッジ部に発生する偽色を効果的に低減または排除できる。【選択図】        図１
2005167974.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して色補間処理を施した後、前記色補間処理の施された画像データを輝度信号と色差信号とに変換し、色差信号に対して偽色低減処理を実行するようにした画像処理方法であって、
前記偽色低減処理は、注目画素を含む第一方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定するようにしたことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記注目画素の画素値は、前記一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値の平均値とすることを特徴とする画像処理方法。
【請求項３】
画像データに対して色補間処理を施した後、前記色補間処理の施された画像データを輝度信号と色差信号とに変換し、色差信号に対して偽色低減処理を実行するようにした画像処理方法であって、
前記偽色低減処理は、注目画素を含む複数の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値から前記注目画素の画素値を決定するようになっており、かつ、
前記二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値から決定することを特徴とする画像処理方法。
【請求項５】
請求項３に記載の画像処理方法において、
前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値の平均値から決定することを特徴とする画像処理方法。
【請求項６】
請求項４に記載の画像処理方法において、
前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値の中央値とすることを特徴とする画像処理方法。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理方法において、
前記注目画素は、前記一次元フィルタの中心に位置する画素とすることを特徴とする画像処理方法。    
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理方法において、
前記偽色低減処理は、前記画像データのエッジ部分を中心に実施することを特徴とする画像処理方法。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理方法において、
前記画像データは、単板式のカラー撮像センサで得られたものであることを特徴とする画像処理方法。
【請求項１０】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理装置であって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、
前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、
前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、
前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備えたことを特徴とする画像処理装置。
【請求項１１】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理装置であって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、
前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、
前記ＹＣ変換部で変換された色差信号に対して注目画素を含む複数の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、
前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備え、
かつ、前記二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とする画像処理装置。
【請求項１２】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理プログラムであって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理ステップと、
前記色補間処理ステップにおける色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換ステップと、
前記ＹＣ変換ステップで変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理ステップと、
前記偽色低減処理ステップで処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換ステップと、をコンピュータに機能させることを特徴とする画像処理プログラム。
【請求項１３】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理プログラムであって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理ステップと、
前記色補間処理ステップにおける色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換ステップと、
前記ＹＣ変換ステップで変換された色差信号に対して注目画素を含む複数の画素を二次元フィルタ（但し、当該二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものである）で選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理ステップと、
前記偽色低減処理ステップで処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換ステップと、をコンピュータに機能させることを特徴とする画像処理プログラム。
【請求項１４】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理用の半導体装置であって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、
前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、
前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、
前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備えたことを特徴とする半導体装置。
【請求項１５】
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした半導体装置であって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、
前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、
前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、
前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備え、
かつ、前記二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とする半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳ等のカラー撮像センサを備えたデジタルカメラ等に用いられる画像処理装置等に係り、特に色補間処理によって発生する偽色の低減または排除処理を目的とした画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置に関するものである。
【背景技術】
【０００２】
一般に、カラー画像を入力するためのカラーカメラには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサを３個使用した３板式と１個だけしか使用しない単板式、また、２個用いる２板式とがある。
この３板式のカラーカメラは、入射光をダイクロイックミラー等で赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に色分解し、色分解した光情報を３個の撮像センサによってそれぞれ赤、緑、青のデジタル画像に変換するようにしたものであり、光学系の構造は複雑になるものの高画質の画像を得ることができることから、主に業務用のカラービデオカメラや高級デジタルスチルカメラ等に利用されている。
【０００３】
これに対し、単板式のカラーカメラは、１個の撮像センサ上に赤、緑、青の各色をブロック状に並べた色フィルタを装着し、各画素について対応する色フィルタを透過してきた光情報をそれぞれデジタル化するようにしたものであり、３板式に比べると画質はやや劣るものの、小型・軽量、低消費電力、低価格であるため、主に民生用のカラービデオカメラやデジタルスチルカメラとして極めて多く利用されている。
【０００４】
ちなみに、最近では民生用カラービデオカメラでも３板式のものを採用したものが製品化されてきている。なお、２板式は前記２つの方式の中間的な特徴を持つ方式であるが、現在ではあまり用いられていない。
そして、このような単板式のカラーカメラにあっては、その構造上、欠落している色成分を予測補間するといった色補間処理が必要となってくるが、この色補間処理は、後に詳述するように注目画素周囲の画素値から推測によりその画素にない色のデータを生成することから、エッジ部等の画素値に急激な変化がある部分では、正確な値を算出できないことが多い。このため、このように正確な値が算出できていないエッジ部には本来と異なる色のバランスを持つ画素が発生してこれが偽色となって出現し、画質を低下させる要因の１つとなっている。
【０００５】
このような偽色を軽減する方法として、例えば、撮像センサの前に光学的なローパスフィルタ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ：低域通過フィルタ、以下、適宜「ＬＰＦ」と略す）等を入れて偽色を減らすといった方法も考えられるが、このローパスフィルタ効果によって高い空間周波数成分（以下、高周波数成分と略す）がカットされて画像の鮮鋭度あるいはＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：解像度）が低下してしまうといったデメリットが生ずる。また、この方法では後段の画像処理によって発生する偽色をなくすことは難しく、目的を達成するためにはかなり低い周波数成分まで帯域をカットする必要がある。
【０００６】
そのため、従来では、例えば、以下の特許文献１や２等に示すように、偽色の発生し易いエッジ部分の彩度を低下させて偽色を目立たなくさせたり（１）、特許文献３等に示すように、色情報をより正確に判断し、偽色が発生しないような色信号の生成を行うことで偽色の発生を抑制するようにしている（２）。また、特許文献４等に示すように、周辺情報を算出して彩度が最も低くなる組み合わせの色を選択して偽色を目立たなくさせたり（
３）、特許文献５等に示すように、周辺を含めた色信号にメディアンを施し、偽色と思われる色を排除することで偽色を軽減する（４）、等といった方法が提案されている。
【特許文献１】特開２００３−１０２０２５号公報
【特許文献２】特開平１１−３０８６２５号公報
【特許文献３】特開２００１−２１１４５９号公報
【特許文献４】特開２００２−７７９３０号公報
【特許文献５】特許公報２６１２８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、前記従来技術のうち、（１）と（３）の手法は、彩度を低下させる処理であるが、エッジを判断する必要があり、かつ彩度を落とす方向の処理であることから、処理が複雑になり、かつ正しい情報が得られない可能性が多い。すなわち、エッジ周辺にて色つきのないデータが発生する可能性があり、場合によっては、本来の色が再生されないことで、それが偽色（偽輪郭）のように見える場合もある。
【０００８】
一方、（２）の手法は、非常に優れた偽色回避効果を発揮することができるが、各画素毎に除算が必要になる等、処理が非常に重いといった不都合がある。
他方、（４）の手法は、着目する領域において色保管されたデータの差の値に中間値フィルタを施すもので考え方はシンプルであるが、処理対象領域を２次元などにして処理対象画素が増えると処理が重くなる可能性が高い。
【０００９】
なお、その他の簡易な偽色回避方法として、後述するように偽色が発生する色成分に対してＬＰＦを施すことによって発生しているエッジ部の偽色を周辺に散らすことによって偽色の絶対的な大きさを小さくし、目立たなくする方法が挙げられるが、この方法は偽色成分を周辺に散らばらせるだけであり、根本的に偽色をなくすことはできない。
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、色補間処理に伴うエッジ部に発生する偽色を容易、かつ効果的に低減または排除することができる新規な画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置を提供するものである。
【課題を解決するための手段】
【００１０】
〔発明１〕  前記課題を解決するために本発明１の画像処理方法は、
画像データに対して色補間処理を施した後、前記色補間処理の施された画像データを輝度信号と色差信号とに変換し、色差信号に対して偽色低減処理を実行するようにした画像処理方法であって、前記偽色低減処理は、注目画素を含む第一方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定するようにしたことを特徴とするものである。
【００１１】
すなわち、本発明の画像処理方法は、偽色を発生する画素の画素値は、周辺画素の画素値と比較して色つきの程度が大きいと仮定し、その色つきの割合が大きい画素を排除するために、注目画素を含む一次元方向（以下、必要に応じ「走査方向」、または「行方向」、「ライン方向」ともいう）に連続したＮ個の画素群のうち、最大値と最小値の画素値を排除するようにしたものである。
【００１２】
また、この色つきの割合は、基本的に色差（Ｃ）信号の値の絶対値に比例して大きくなると判断して良いことから、その画素値は色補間処理後の画像データを輝度と色差信号とにＹＣ変換した色差（Ｃ）信号の値から判断するようにしたものである。
これによって、色補間処理に伴って特にエッジ部（隣接する画素間で画素値が急激に変動している部分）に発生する偽色を容易、かつ効果的に低減、または排除することができる。
【００１３】
なお、本発明でいう「画像データ」とは、色補間処理前にあっては、単板式のカラー撮像センサなどで直接得られた画像データのように、各画素毎に色情報の一部が不足しているカラー画像データをいい、色補間処理後は、色補間処理によって不足していた色情報が揃った状態のカラー画像データをいう。例えば、色補間処理前にあっては、１つの画素に対してＲＧＢまたはＣＭＹＫのうち、いずれか一色のみ、または２色のみ（ＣＭＹＫの場合は３色以下）の色情報しか持たない状態のカラー画像データをいい、色補間処理後は、その色補間処理によって各画素毎にＲＧＢまたはＣＭＹＫの全てが揃った状態のカラー画像データをいう（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置において同じである）。
【００１４】
また、「偽色低減処理」とは、画像を構成している画素に発生する偽色の程度を画素毎に低減することの他、偽色を発生する画素の数を減らすことも含むものとする（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置において同じである）。
また、「画素値」とは、前記色補間処理の施された画像データ（輝度値または濃度値で表現されたもの）を輝度信号と色差信号とに変換した後の色差信号の値のことであり、例えば、８ビットで表現する場合は、「０〜２５５」または「−１２８〜１２７」の範囲で表現される数値のことである（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置において同じである）。
【００１５】
また、本発明方法に係る色補間処理は、主に単板式のカラー撮像センサで得られた画像データのように各画素毎に１つの色情報しか存在していない画像データに対して必要となるが、３板式のカラー撮像センサや２板式のカラー撮像センサで得られた画像データの場合でも色情報が不足している画像データの場合には必要となる場合がある（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置において同じである）。
【００１６】
〔発明２〕  発明２の画像処理方法は、
発明１に記載の画像処理方法において、前記注目画素の画素値は、前記一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値の平均値とすることを特徴とするものである。
すなわち、本発明は前記発明１でいう、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定するための具体的な方法としてその平均値を採用するようにしたものである。
【００１７】
このように最大値と最小値の画素値を除いた残りの画素値の平均値を注目画素の画素値を決定すれば、広範囲で小さな値で発生している偽色に対して最大値と最小値を除くという操作で取り除かれなかった偽色を低減することができる。これによって、本来の画素値により近い画素値が得られるため、効果的に偽色を低減、または排除することが可能となる。
【００１８】
〔発明３〕  発明３の画像処理方法は、
画像データに対して色補間処理を施した後、前記色補間処理の施された画像データを輝度信号と色差信号とに変換し、色差信号に対して偽色低減処理を実行するようにした画像処理方法であって、前記偽色低減処理は、注目画素を含む複数の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定するようになっており、かつ、
前記二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とするものである。
【００１９】
すなわち、前記発明１の画像処理方法は、その偽色低減処理に際して、一般的な走査方向などに沿った１つの一次元フィルタを用いて行うようにしたものであるが、本発明のようにさらにこの一次元フィルタを複数上下に重ねたＭ段の二次元フィルタ（Ｎ×Ｍ）を用いれば、行方向のみならず列方向の偽色も効果的に低減することが可能となる。
【００２０】
〔発明４〕  発明４の画像処理方法は、
発明３に記載の画像処理方法において、前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値から決定することを特徴とするものである。
【００２１】
本発明は、前記発明３のように二次元フィルタを用いた場合の注目画素の画素値を決定する方法を具体的に限定したものであり、偽色の発生に大きな影響を与える最大と最小の平均値を除いた残りの平均値から注目画素の画素値を決定することで、より効果的に偽色の発生を低減することが可能となる。
【００２２】
〔発明５〕  発明５の画像処理方法は、
発明３に記載の画像処理方法において、前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値の平均値から決定することを特徴とするものである。
【００２３】
本発明は、前記発明４のように二次元フィルタを用いた場合の注目画素の画素値を決定する方法をさらに具体的に限定したものであり、偽色の発生に大きな影響を与える最大と最小の平均値を除くと共に、残りの平均値のさらにその平均値を前記二次元フィルタの注目画素の画素値とすることで行方向と列方向いずれに対しても広範囲で小さな値で発生している偽色に対して、最大値と最小値を除くという操作だけでは取り除かれなかった偽色を低減または排除することが可能となる。
特に、本発明方法を用いれば、縦と横のいずれのラインに対しても連続して発生するような目立ちやすい偽色を効果的に低減、または排除することが可能となる。
【００２４】
〔発明６〕  発明６の画像処理方法は、
発明４に記載の画像処理方法において、前記注目画素の画素値は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値の中央値とすることを特徴とするものである。
【００２５】
本発明は、前記発明４のように二次元フィルタを用いた場合の注目画素の画素値を決定する方法をさらに具体的に限定したものであり、二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値の中央値を前記二次元フィルタの注目画素の画素値とすることでより効果的に偽色を低減または排除することが可能となる。
特に、本発明方法を用いれば、縦と横ラインのいずれにも連続して発生するような偽色を効果的に低減または排除することが可能となる。
【００２６】
〔発明７〕  発明７の画像処理方法は、
請求項１〜６のいずれかに記載の画像処理方法において、前記注目画素は、前記一次元フィルタの中心に位置する画素とすることを特徴とするものである。
このように一次元フィルタで選択された画素のうち、その一次元フィルタの中心に位置する画素を注目画素として選択すれば、周辺画素の画素値との関係において均一的な偽色低減処理を行うことができる。
【００２７】
〔発明８〕  発明８の画像処理方法は、
発明１〜７のいずれかに記載の画像処理方法において、前記偽色低減処理は、前記画像データのエッジ部分を中心に実施することを特徴とするものである。
前述したように、この偽色は、色変化の乏しい平坦部分よりも色の濃淡の変化が激しいエッジ部分に集中的に発生することから、本発明のように、画像中から偽色の発生し易いエッジ部分を抽出し、そのエッジ部分を中心に実施すれば、画像の種類にもよるところが大きいが、画像全体（全画素）に対して実施する方法に比べてその偽色低減処理に要する時間や短縮できる場合がある。特に、前記発明をハードウェアではなく、ソフトウェアによって実施する場合は、一般にハードウェアで実施するよりも画像処理時間などに多くの時間がかかるため、本発明方法を採用すればより顕著な効果が得られる。
【００２８】
〔発明９〕  発明９の画像処理方法は、
発明１〜８のいずれかに記載の画像処理方法において、前記カラー撮像センサとして、単板式のカラー撮像センサを用いることを特徴とするものである。
すなわち、発明１で述べたように、本発明方法に係る色補間処理は、３板式のカラー撮像センサや２板式のカラー撮像センサの場合でも必要となる場合があるが、実際にはその殆どが単板式のカラー撮像センサを採用した際に必要となるため、単板式カラー撮像センサを採用した際に、前記発明１〜８に示すような発明方法を用いれば、より顕著な偽色低減効果を発揮することが可能となる。
【００２９】
〔発明１０〕  発明１０の画像処理装置は、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理装置であって、少なくとも、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備えたことを特徴とするものである。
【００３０】
これによって、カラー撮像センサで画像を取り込むとほぼ同時に、色補間処理とＹＣ変換が成された後、色差信号に対して発明１と同様な偽色低減処理が自動的に行われるため、色補間部における色補間処理に伴うエッジ部に発生する偽色が効果的に低減されて偽色のない美しい画像を生成、出力することができる。
【００３１】
〔発明１１〕  発明１１の画像処理装置は、
発明１０に記載の画像処理装置方法において、前記注目画素の画素値は、前記一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値の平均値とすることを特徴とするものである。
これによって、発明２と同様に、本来の画素値により近い画素値が得られるため、効果的に偽色を低減、または排除することが可能となる。
【００３２】
〔発明１２〕  発明１２の画像処理装置は、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理装置であって、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、前記ＹＣ変換部で変換された色差信号に対して注目画素を含む複数の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備え、かつ、前記二次元フィルタは、前記注目画素を含む第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とするものである。
これによって、発明３と同様に、行方向のみならず列方向の偽色も効果的に低減または排除することが可能となる。
【００３３】
〔発明１３〕  発明１３の画像処理装置は、
発明１２に記載の画像処理装置において、前記偽色低減処理部は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値から前記注目画素の画素値を決定するようになっていることを特徴とするものである。
これによって、発明４と同様に、より効果的に偽色の発生を低減することが可能となる。
【００３４】
〔発明１４〕  発明１４の画像処理装置は、
発明１２に記載の画像処理装置において、前記偽色低減処理部は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値のうち、最大と最小の平均値を除いた残りの平均値の平均値から前記注目画素の画素値を決定するようになっていることを特徴とするものである。
【００３５】
これによって、発明５と同様に、行方向と列方向のいずれに対しても広範囲で小さな値で発生している偽色に対して、最大値と最小値を除くという操作だけでは取り除かれなかった偽色を低減または排除することが可能となる。また、行方向と列方向のいずれに対しても連続して発生するような目立ちやすい偽色を効果的に低減、または排除することが可能となる。
【００３６】
〔発明１５〕  発明１５の画像処理装置は、
発明１３に記載の画像処理装置において、前記偽色低減処理部は、前記二次元フィルタを構成する各一次元フィルタ毎の画素値の平均値の中央値を前記注目画素の画素値とするようになっていることを特徴とするものである。
これによって、発明６と同様に、より効果的に偽色を低減または排除することが可能となる。
【００３７】
〔発明１６〕  発明１６の画像処理装置は、
請求項１０〜１５のいずれかに記載の画像処理装置において、前記偽色低減処理部は、前記一次元フィルタの中心に位置する画素を前記注目画素として決定するようになっていることを特徴とするものである。
これによって、発明７と同様に、注目画素と周辺画素の画素値との関係において均一的な偽色低減処理を行うことができる。
【００３８】
〔発明１７〕  発明１７の画像処理装置は、
発明１０〜１６のいずれかに記載の画像処理装置において、前記偽色低減処理部は、前記画像データのエッジ部分を中心に処理を実施するようになっていることを特徴とするものである。
これによって、発明８と同様に画像全体（全画素）に対して実施する場合に比べてその偽色低減処理に要する時間や短縮できる場合がある。
【００３９】
〔発明１８〕  発明１８の画像処理装置は、
発明１６に記載の画像処理装置において、前記カラー撮像センサは、単板式のカラー撮像センサであることを特徴とするものである。
これによって、発明９と同様に単板式カラー撮像センサを採用した際に、特に顕著に優れた偽色低減効果を発揮することができる。
【００４０】
〔発明１９〕  発明１９の画像処理プログラムは、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理プログラムであって、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理ステップと、前記色補間処理ステップにおける色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換ステップと、前記ＹＣ変換ステップで変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理ステップと、前記偽色低減処理ステップで処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換ステップと、をコンピュータに機能させることを特徴とするものである。
【００４１】
これによって、発明１及び１０等と同様な効果が得られるばかりでなく、専用のコンピュータシステムのみならず、パソコン（ＰＣ）等の汎用のコンピュータシステムを用いてソフトウェア上で実現することができるため、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。
【００４２】
〔発明２０〕  発明２０の画像処理プログラムは、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理プログラムであって、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理ステップと、前記色補間処理ステップにおける色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換ステップと、前記ＹＣ変換ステップで変換された色差信号に対して注目画素を含む複数の画素を二次元フィルタ（但し、当該二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものである）で選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理ステップと、前記偽色低減処理ステップで処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換ステップと、をコンピュータに機能させることを特徴とする画像処理プログラムである。
【００４３】
これによって、発明３及び１２等と同様な効果が得られるばかりでなく、発明１９と同様に、専用のコンピュータシステムのみならず、パソコン（ＰＣ）等の汎用のコンピュータシステムを用いてソフトウェア上で実現することができるため、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。
【００４４】
〔発明２１〕  発明２１の半導体装置は、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした画像処理用の半導体装置であって、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、当該一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備えたことを特徴とするものである。
【００４５】
これによって、発明１及び１０などと同様な効果が得られるばかりでなく、前記発明１及び１０などと同様な画像処理機能を、ＩＣやＬＳＩなどの小型の集積回路として提供することができるため、デジタルカメラやデジタルビデオカメラなどの携帯用の小型カメラにも容易に搭載してその画像処理の一部として活用することができる。
【００４６】
〔発明２２〕  発明２２の半導体装置は、
カラー撮像センサで取り込んだ画像に対して所定の画像処理を施して出力するようにした半導体装置であって、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理部における色補間処理後の画像データを輝度信号と色差信号とに変換するＹＣ変換部と、前記ＹＣ変換部で変換された色差信号に対して注目画素を含む一次元方向に連続したＮ個（但し、Ｎ≧４）の画素を二次元フィルタで選択し、当該二次元フィルタで選択された各画素の画素値のうち、当該二次元フィルタを構成する各一次元フィルタごとに最大値と最小値の画素値を除いた残りの画素値からその注目画素の画素値を決定する偽色低減処理部と、前記偽色低減処理部で処理された色差信号と前記輝度信号とを合成してＲＧＢ変換して画像出力部に送るＲＧＢ変換部と、を備え、かつ、前記二次元フィルタは、第一方向に連続したＮ個（但し、Ｎ≧４）の画素を選択する一次元フィルタを前記第一方向と直交する方向にＭ個（但し、Ｍ≧３）並べてなるものであることを特徴とするものである。
【００４７】
これによって、発明３及び１２等と同様な効果が得られるばかりでなく、前記発明１及び１０などと同様な画像処理機能を、ＩＣやＬＳＩなどの小型の集積回路として提供することができるため、デジタルカメラやデジタルビデオカメラなどの携帯用の小型カメラにも容易に搭載してその画像処理の一部として活用することができる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、本発明に係る画像処理装置１００の実施の一形態を示したものである。
図示するように、この画像処理装置１００は、任意の被写体を捉えるためのカメラレンズ（以下、単に「レンズ」と称す）１０と、このレンズ１０を介して通過してきた画像を取り込むための単板式のカラー撮像センサ２０と、このカラー撮像センサ２０で取り込まれた画像に対して色補間処理を実施する色補間処理部３０と、この色補間処理部３０で色補間処理された後のＲＧＢデータを輝度成分（Ｙ）と色差成分（Ｃｂ、Ｃｒ）との分離するＹＣ変換部４０と、同じく前記色補間処理部３０で失われる画像のエッジ部分などの輪郭情報を補償あるいは強調する画像の鮮明化を図るための輪郭強調部５０と、色差成分Ｃに対して色補間処理に伴って生じた偽色を排除する偽色低減処理部６０と、輝度成分（Ｙ）と色差成分（ＣｂＣｒ）との分離処理されたＹＣ信号をＲＧＢ信号に変換処理するＲＧＢ変換部７０と、ＲＧＢ信号に戻された後の画像データを視覚的に出力する画像出力部８０とから主に構成されている。
【００４９】
ここで、レンズ１０、カラー撮像センサ２０、色補間処理部３０、ＹＣ変換部４０、輪郭強調部５０、ＲＧＢ変換部７０、画像出力部８０は、いずれも基本的には従来と同様のものをそのまま適用可能となっており、偽色低減処理部６０の部分が特に本発明の特徴部分を構成するようになっている。
すなわち、この偽色低減処理部６０は、後に詳述するが、処理対象となる注目画素を含む一連の画素群のなかから最大値と最小値の画素値を排除した残りの画素値から注目画素の画素値を決定する専用のフィルタ（オペレータ）によって、色補間処理に伴う画像のエッジ部に発生する偽色を低減または排除する機能を提供するようになっている。
【００５０】
ここで、本発明に係る偽色低減処理の要因となる色補間処理部３０における一般的な色補間処理について図４〜図６を用いてやや詳しく説明する。
この色補間処理部３０における色補間処理とは、前述したように単板式のＣＣＤ等のカラー撮像センサ２０等によって撮像された画像データの場合に、各画素毎に欠落して色情報を近傍の同色画素から予測補間し、１画素にＲＧＢ各原色信号（カラーフィルタがＣＭＹＫの場合はＣＭＹＫ各原色信号）を復元する処理のことである。
【００５１】
例えば、単板式のＣＣＤ上に装着される赤、緑、青の各色をブロック状に並べたカラーフィルタの配列が、図４に示すようにＢ（青：Ｂｌｕｅ）及びＲ（赤：Ｒｅｄ）がそれぞれ１つずつで、Ｇ（緑：Ｇｒｅｅｎ）が２つのフィルムからなる基本パターンが縦横に配置されている場合であって、色補間処理の対象となる注目画素が図中中央に位置している「Ｒ１」と仮定すると、この注目画素「Ｒ１」に相当する画素には「赤」に関する色情報しか存在しない。
【００５２】
そのため、図５（ａ）に示すように、注目画素「Ｒ１」についての「赤」に関する色情報はそのまま採用することになるが、「緑」に関する色情報（Ｇｉｐ）については同図（ｂ）に示すように、その注目画素「Ｒ１」を囲む周囲近傍の「緑」に関する画素の色情報の平均値、すなわち、注目画素「Ｒ１」の上下左右に位置する４つの「緑」に関する画素「Ｇ１」、「Ｇ４」、「Ｇ２」、「Ｇ３」の画素値を求め、その画素値の平均値（（Ｇ１＋Ｇ４＋Ｇ２＋Ｇ３）×０．２５）がその注目画素「Ｒ１」の「緑」に関する色情報（Ｇｉｐ）として予測補間されることになる。
【００５３】
また、同じくその注目画素「Ｒ１」についての「青」に関する色情報（Ｂｉｐ）は同図（ｃ）に示すように、注目画素「Ｒ１」を囲む周囲近傍の「青」に関する画素の色情報の平均値、すなわち、注目画素「Ｒ１」の斜め上下左右に位置する４つの「青」に関する画素「Ｂ１」、「Ｂ４」、「Ｂ２」、「Ｂ３」の画素値を求め、その画素値の平均値（（Ｂ１＋Ｂ４＋Ｂ２＋Ｂ３）×０．２５）が同じくその注目画素「Ｒ１」の「青」に関する色情報（Ｂｉｐ）として予測補間されることになる。
【００５４】
そして、このような色補間処理を全ての画素に対してシーケンシャル的に、あるいは複数の領域に分割して同時並行的に行うことで、各画素毎に欠落している色成分を予測補間して画像本来の色を再現するようにしている。
従って、このように色補間処理は、推測によりその画素にない色のデータを生成することから、エッジ部等の画素値に急激な変化がある部分では、正確な値を算出することができずに本来と異なる色のバランスを持つ画素が発生し易くなり、これがそのエッジ部等に偽色となって出現することになる。
【００５５】
さらに、図６は、単板式撮像センサに装着される典型的なカラーフィルタの色配列パターンを示したものであり、特に、図中中央に位置する基本パターンを構成する４つの各画素「Ｂ１」、「Ｇ４」、「Ｇ５」、「Ｒ４」毎の色補間処理の場合は、以下の１〜４に示すような方法で実行されることになる。
【００５６】
１．（Ｖ１，Ｈ１）のＢ１画素のＧｉｐ、Ｒｉｐ
Ｒｉｐ＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）×０．２５
Ｇｉｐ＝（Ｇ１＋Ｇ３＋Ｇ４＋Ｇ５）×０．２５
Ｂｉｐ＝Ｂ１
２．（Ｖ２，Ｈ１）のＧ４画素のＢｉｐ、Ｒｉｐ
Ｒｉｐ＝（Ｒ２＋Ｒ４）×０．５
Ｇｉｐ＝Ｇ４
（または、Ｇｉｐ＝Ｇ４×０．５＋（Ｇ１＋Ｇ２＋Ｇ５＋Ｇ６）×０．１２５）
Ｂｉｐ＝（Ｂ１＋Ｂ２）×０．５
３．（Ｖ１，Ｈ２）のＧ５画素のＢｉｐ、Ｒｉｐ
Ｒｉｐ＝（Ｒ３＋Ｒ４）×０．５
Ｇｉｐ＝Ｇ５
（または、Ｇｉｐ＝Ｇ５×０．５＋（Ｇ３＋Ｇ４＋Ｇ７＋Ｇ８）×０．１２５）
Ｂｉｐ＝（Ｂ１＋Ｂ３）×０．５
４．（Ｖ２，Ｈ２）のＲ４画素のＧｉｐ、Ｂｉｐ
Ｒｉｐ＝Ｒ４
Ｇｉｐ＝（Ｇ４＋Ｇ５＋Ｇ６＋Ｇ８）×０．２５
Ｂｉｐ＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）×０．２５
【００５７】
そして、この画像処理装置１００を構成する色補間処理部３０、ＹＣ変換部４０、輪郭強調部５０と、偽色低減処理部６０、ＲＧＢ変換部７０等における各処理機能は、具体的には中央演算処理装置や主記憶装置等からなるハードウェアと、画像処理用に製作された各種専用のソフトウェア（処理プログラム）とからなるコンピュータシステムよって実現されるようになっている。
【００５８】
すなわち、この画像処理装置１００を実現するためのコンピュータシステムは、例えば図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０と、主記憶装置（Ｍａｉｎ  Ｓｔｒａｇｅ）に用いられるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９２と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリ等の補助記憶装置（Ｓｅｃｏｎｄａｒｙ  Ｓｔｏｒａｇｅ）９３、及びモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））等からなる出力装置９４や入力装置９５（すなわち、本発明にあってはカラー撮像センサ２０）と、これらの入出力インターフェース（Ｉ／Ｆ）９６等との間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ；アイサ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス９７によってバス接続したものである。そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フロッピー（登録商標）ディスク等の記憶媒体、あるいは通信ネットワーク（ＬＡＮ、ＷＡＮ、インターネット等）Ｎを介して供給される各種制御用プログラムやデータを補助記憶装置９３等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置９１にロードし、その主記憶装置９１にロードされたプログラムに従ってＣＰＵ９０が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス９７を介して出力装置９４に出力して表示すると共に、そのデータを必要に応じて補助記憶装置９３によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。
【００５９】
また、このカラー撮像センサ２０は、従来通り、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサをそのまま適用したものであり、また、単板式のものについて特に顕著な効果が得られるというものであって、単板式のみならず３板式及び２板式でも適用可能である。
【００６０】
また、画像出力部８０は、直接的には処理前後の画像を視覚的に表示するものであり、ＣＲＴやＬＣＤ等のソフトコピー装置の他、レーザープリンタやインクジェットプリンタ等のハードコピー装置に加え、いわゆるグラフィックアクセラレータやビデオカード等と称される画像出力専用の回路（基板）等も含まれる。
なお、このカラー撮像センサ２０を用いた画像処理装置では、他にカラー撮像センサ２０等をコントロールするためのブロック（例えば露出制御等）や、色を処理するためのブロック（例えば、オートホワイトバランス）等が必要になることがあるが、本発明にはそれらのブロックは関与するところが少なく、従来の技術等を用いれば構成することができるので、本実施の形態では割愛する。
【００６１】
また、これら各部１０，２０，３０，４０，５０，６０，７０，８０は、携帯用デジタルカメラやハンディビデオカメラ等のように１つのケーシング内に一体的に収容されていても良く、また、各部のうち一部、例えば液晶モニタ等からなる画像出力部８０だけが物理的に独立した形態であっても良い。  
以下、本発明に係る画像処理方法について説明する。
【００６２】
先ず、単板式のカラー撮像センサ２０で取り込まれた画像データは、センサ固有のノイズ除去処理や明るさを調整するゲイン調整処理等を経てＡ／Ｄ変換された後、図３に示すように、色補間処理部３０に送られ、この色補間処理部３０によって全ての画素に対して前記のような色補間処理が施されて（ステップＳ１０１）からＹＣ変換部４０に送られ、ここで輝度信号（Ｙ）と色差信号（Ｃ）とに変換処理される（ステップＳ１０３）。
【００６３】
次に、このＹＣ変換部４０で分離された輝度信号（Ｙ）と色差信号（Ｃ）のうち、輝度信号（Ｙ）は、輪郭強調部５０に送られ、この輪郭強調部５０によって、例えば、ハイパスフィルタ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ：高域強調フィルタ、以下、適宜「ＨＰＦ」と略す）がかけられて、色補間処理に伴ってなまった輝度画像のエッジ部が鮮鋭化（シャープにする）されて輪郭が補償・強調される。
【００６４】
すなわち、前記のような色補間処理には、欠落して色情報の予測補間効果と共に低い空間周波数成分が強調されるＬＰＦ効果が生じるため、画像のエッジ部がなまり、高い空間周波数成分が減少する。そのため、この輪郭強調部５０によってなまった画像の高い空間周波数成分をここでは、ＨＰＦで強調することによって輝度画像の鮮鋭化を図るようにしている。
【００６５】
一方、色差信号（Ｃ）は、偽色低減処理部６０へ送られ、ここで色補間処理に伴って発生した偽色を低減または排除するための処理が実施される（ステップＳ１０７）。
この偽色低減処理は、図７に示すように処理対象となる注目画素「Ｐ」（ｐ１２）を含む行（ライン）方向に連続したＮ個の画素（本実施の形態では５個の画素「ｐ１０」〜「ｐ１４」）を選択する行フィルタ（一次元フィルタ）ｆを用い、その行フィルタｆで選択された各画素「ｐ１０」〜「ｐ１４」の画素値のうち、色差（Ｃ）信号の絶対値の大きい最大値と最小値の画素値を除いた残りの画素値からその注目画素Ｐの画素値を決定するようにしたものである。
【００６６】
すなわち、この画像処理方法は、偽色を発生する画素の画素値は、周辺画素の画素値と比較して色つきの程度が大きいと仮定し、その色つきの割合が大きい画素を排除するために注目画素Ｐを含む行方向に連続したＮ個の画素群のうち、最大値と最小値の画素値を排除するようにしたものである。
また、この色つきの割合は、基本的に色差（Ｃ）信号の値の絶対値に比例して大きくなると判断して良いことから、その画素値は色補間処理後の画像データを輝度と色差信号とにＹＣ変換した色差（Ｃ）信号の値から判断するようにしたものである。
【００６７】
従って、図７のように行方向に延びる行フィルタｆによって、処理対象となる注目画素Ｐを含む５個の画素「ｐ１０」〜「ｐ１４」を選択し、その中で例えば最大画素値が画素「ｐ１０」で、最小画素値が画素ｐ１４である場合には、図８に示すように、これら各画素「ｐ１０」及び「ｐ１４」を除いた残りの画素「ｐ１１」，「ｐ１２」，「ｐ１３」の各画素値から注目画素Ｐの画素値を決定する。
【００６８】
この時の注目画素Ｐの画素値の決定方法としては、同図に示すように各画素「ｐ１１」，「ｐ１２」，「ｐ１３」の画素値の平均値を採用する方法が適当であるが、その他にそれらの中間値を採用するようにしても良い。なお、この色差信号は、さらに２つの信号ＣｂとＣｒとからなるため、ＣｂとＣｒはそれぞれ全く独立に処理を行うことになる。
そして、このようにして１つの注目画素Ｐに対して処理が終了したならば、図９に示すように、次の処理対象画素となる隣の注目画素Ｐを中心に選択すべくその行フィルタｆを１画素分だけ右側に移動させてその注目画素Ｐに対して同様な処理を実施することになる。すなわち、図９に示すように、処理対象画素となる注目画素Ｐが隣に移ったならば、注目画素Ｐは画素「ｐ１３」となり、これを中心とした両隣りの２画素ずつ（「ｐ１１」，「ｐ１２」，「ｐ１３」，「ｐ１４」）を含んだ５個の画素が選択され、その５個の画素のうち、例えば最大・最小画素値が図１０に示すように、それぞれ画素「ｐ１１」、「ｐ１５」である場合には、これら各画素「ｐ１１」及び「ｐ１５」を除いた残りの画素「ｐ１２」，「ｐ１３」，「ｐ１４」の各画素値から次の注目画素Ｐの画素値を決定することになる。
【００６９】
そして、このような処理を全ての画素に対してシーケンシャル的に、あるいは複数の領域に分割して同時並行的に実施することによって色補間処理に伴う輝度画像のエッジ部に発生した全ての偽色を容易、かつ効果的に排除することが可能となる。
なお、この行フィルタｆで選択される注目画素Ｐは、その行フィルタｆで選択されていれば必ずしもその行フィルタｆの中心に位置している必要はないが、この行フィルタｆの中心に位置する画素を注目画素として選択すれば、周辺画素の画素値との関係において均一的な偽色低減処理を行うことができる。
【００７０】
また、この行フィルタｆで同時に選択される画素数Ｎは、少なくとも４個以上であれば、その数は特に限定されるものでない。すなわち、画素数Ｎが３個であると最小値と最大値を除いた残りの画素値が必然的に１つとなってしまい、メディアンフィルタのようなスパイク状のノイズを消す効果は得られても、本発明の目的である偽色を排除する効果が適切に得られない場合があるからである。なお、処理に要するコンピュータシステムの負荷や効果等を鑑みると最良の数は５個である。
【００７１】
次に、図１１〜図１５は、このような本発明の偽色低減処理方法に関する他の実施の形態を示したものである。
先ず、図１１〜図１４は、前述した行フィルタｆに代えて、その行フィルタｆを含むＭ行（Ｎ×Ｍ）の行列フィルタ（二次元フィルタ）Ｆを用いるようにしたものであり、これによって特に縦方向に連続して発生している偽色も効果的に排除することが可能となる。
【００７２】
すなわち、前記発明１及び２の画像処理方法は、その偽色低減処理に際して、一般的な走査方向に沿った１つの行フィルタｆを用いて行うようにしたものであるが、本実施の形態では図１１に示すように、さらにこの行フィルタｆを複数上下に重ねたＭ行（本実施の形態では３行）の行列フィルタ（５×３）Ｆを用いて各注目画素Ｐに対して偽色低減処理を実行するようにしたものである。
【００７３】
例えば、図１１及び図１２に示すように、処理対象となる注目画素Ｐが「ｐ１２」である場合には、この画素「ｐ１２」を中心としてその周囲の画素「ｐ００」、「ｐ０１」、「ｐ０２」、「ｐ０３」、「ｐ０４」、「ｐ１０」、「ｐ１１」、「ｐ１３」、「ｐ１４」、「ｐ２０」、「ｐ２１」、「ｐ２２」、「ｐ２３」、「ｐ２４」が纏めて選択された後、各行毎に最大と最小の画素値が排除された各行（例えば、第１行目の「ｐ０１」、「ｐ０２」、「ｐ０３」と、第２行目の「ｐ１１」、「ｐ１２」、「ｐ１３」と、第３行目の「ｐ２１」、「ｐ２２」、「ｐ２３」）毎の平均値を求め、その得られた各行毎の平均値のなかから最大平均値と最小平均値を除いた平均値のさらに平均値が当該注目画素Ｐの画素値として採用されることになる。なお、図１１及び図１２に示すように本実施の形態では、行数「Ｍ」が「３」であることから、最大平均値と最小平均値を除くと平均値が１つしか残らないので、その値がそのまま注目画素Ｐの画素値として採用されることになる。
【００７４】
そして、このようにしてその注目画素Ｐについての偽色低減処理が終了したならば、図１３及び図１４に示すように、この行列フィルタＦを１画素だけ右側にずらして隣の注目画素Ｐに対して同様な偽色低減処理を実施する。
すなわち、図示するように処理対象となる注目画素Ｐが画素「ｐ１３」に移ったならば、この画素「ｐ１３」を中心としてその周囲の画素「ｐ０１」、「ｐ０２」、「ｐ０３」、「ｐ０４」、「ｐ０５」、「ｐ１１」、「ｐ１２」、「ｐ１４」、「ｐ２１」、「ｐ２２」、「ｐ２３」、「ｐ２４」、「ｐ２５」が纏めて選択された後、各行毎に最大と最小の画素値が排除された各行（例えば、第１行目の「ｐ０２」、「ｐ０３」、「ｐ０４」と、第２行目の「ｐ１２」、「ｐ１３」、「ｐ１４」と、第３行目の「ｐ２２」、「ｐ２３」、「ｐ２４」）毎の平均値を求め、その得られた各行毎の平均値のなかから最大平均値と最小平均値を除いた平均値のさらに平均値が当該注目画素Ｐの画素値として採用されることになる。
【００７５】
そして、このような処理を全ての画素に対してシーケンシャル的に、あるいは複数の領域に分割して同時並行的に実施することによって、色補間処理に伴うエッジ部に発生した、特に縦方向の偽色を効果的に排除することが可能となる。
なお、この行列フィルタＦの行数は「３」以上であれば、その数は特に限定されるものではないが、処理に要するコンピュータシステムの負荷や効果等を鑑みると適当な行数は「３」であり、さらにそのコンピュータシステムの処理負荷に余裕があれば「５」が望ましい。また、注目画素Ｐは行フィルタｆを用いた場合と同様に、その中心に選択することが望ましい。
【００７６】
次に、図１５は、前記行列フィルタＦで選択した各行の画素値から最大値と最小値を排除した残りの画素値から求められる各行毎の平均値のなかで、中央の平均値（メディアン）をその注目画素の画素値として採用するようにした実施の形態である。
すなわち、図示するように、処理対象となる注目画素Ｐが「ｐ１２」である場合には、この画素「ｐ１２」を中心としてその周囲の画素「ｐ００」、「ｐ０１」、「ｐ０２」、「ｐ０３」、「ｐ０４」、「ｐ１０」、「ｐ１１」、「ｐ１３」、「ｐ１４」、「ｐ２０」、「ｐ２１」、「ｐ２２」、「ｐ２３」、「ｐ２４」が纏めて選択された後、各行毎に最大値と最小値が排除された残りの９つの画素（例えば、第１行目の「ｐ０１」、「ｐ０２」、「ｐ０３」と、第２行目の「ｐ１１」、「ｐ１２」、「ｐ１３」と、第３行目の「ｐ２１」、「ｐ２２」、「ｐ２３」）の各行の平均値「Ｍ０」、「Ｍ１」、「Ｍ２」を求め、その平均値の大小関係が、「Ｍ０」＞「Ｍ２」＞「Ｍ１」であったとすると、それらの中央値（メディアン）である画素値「Ｍ２」が当該注目画素Ｐの画素値として採用されることになる。
【００７７】
つまり、前記実施の形態では各ライン毎に発生する偽色を排除することで縦方向に連続した偽色を排除することは可能であるが、横方向に連続して発生している偽色についてはこれを効果的に排除することは困難である。
そして、一般に、この偽色は、縦方向に発生している場合の方が横方向に発生している場合よりも目立つケースが多いことから、主に縦方向に発生している偽色を排除することで効率的に画質の向上を図ることができる。
【００７８】
しかしながら、横方向に発生している偽色をそのままにしておくとそれ以上の画像の向上が図れないことから、横方向に発生している偽色をも排除する必要があり、本実施の形態の処理方法を採用すれば、この横方向に連続して発生するような偽色を効果的に排除することが可能となる。
従って、このように前記実施の形態で説明した縦方向に連続した偽色の排除処理に加え、本実施の形態のような横方向に連続した偽色の排除処理を実施すれば、縦横に発生する偽色の殆どを排除またはその発生を劇的に低減して大幅な画質の向上を達成することができる。
【００７９】
そして、このように色差（Ｃ）信号に対する偽色低減処理が終了したならば、その処理データは、図３に示すように、処理済みの輝度（Ｙ）信号と共にＲＧＢ変換部７０に送られ、このＲＧＢ変換部７０によってＲＧＢ信号に戻された後、画像出力部８０に送られてその画像がユーザ等に対して視覚的に表示されることになる。
このように本発明は、色補間処理に伴って偽色が発生した画像データを輝度信号と色差信号とに変換し、その色差信号に対して前記のような行フィルタｆまたは行列フィルタＦを用いて偽色低減処理を実行するようにしたことから、画像の劣化を招くエッジ部に発生する偽色を効果的に低減または排除することができ、その結果、偽色のない高画質の画像を容易かつ確実に得ることが可能となる。
【００８０】
なお、前記のような行フィルタｆまたは行列フィルタＦを用いて偽色低減処理を実施するに際して、注目画素Ｐが画像端部に位置することでその周囲の画素が不足するようなケースでは、従来のフィルタ処理と同様に、その注目画素の周囲にダミーの画素を配置したり、マージンを利用したりする等によってその位置の画素に対して同様な偽色低減処理を実行することが可能となっている。
【００８１】
また、前記のような偽色低減処理は、全ての画素に対して一様に実施しても良いが、前述したように色補間処理に伴う偽色は濃淡が急激に変化しているエッジ部を中心に発生することから、例えば「Ｓｏｂｅｌ」、「Ｐｅｒｅｗｉｔｔ」、「Ｒｏｂｅｒｔｓ」等の差分型エッジ検出オペレータやテンプレート型エッジ検出オペレータ等を用いて予め処理対象画像のエッジ部を検出し、そのエッジ部を中心に本発明の偽色低減処理を施せば、全画素に対して実施するよりもその処理に要する時間を短縮できる場合もある。
【００８２】
また、本処理の流れにおいて、輝度Ｙの輪郭強調にＨＰＦを施している場合は、エッジは輝度信号から判断しても良く、かつ、ＨＰＦの構成はエッジ検出フィルタと殆ど同等であることから、ＨＰＦからの信号によってエッジ検出フィルタと同等の動作を実現させることができる。あるいはＨＰＦの代わりにエッジ検出フィルタを用い注目画素の値を加算することによってＨＰＦ出力を生成するようにしても良い。
【００８３】
そして、これらのエッジの検出を行って偽色低減処理を行うことにより、特に空間周波数が低い（濃淡の変化が少ない）画像の場合は、大きな効果が期待できる。
また、前述したような偽色を回避する効果を発揮するフィルタとして、３×３（Ｐｉｘｅｌ）のメディアンフィルタが知られている。
このメディアンフィルタは、画像中に発生したスパイク状のノイズに対しては優れたノイズ消去効果を発揮することができるため、スパイクのように点在状に発生する偽色に対してはある程度の効果を期待することができる。
【００８４】
しかしながら、前記のように色補間処理に伴って発生する偽色は主にエッジ部に発生し、しかも発生する領域は、画素１行または１列とは限らず、エッジがだらだらと立ち上がっているような領域では広範囲に偽色が広がって発生する。
そして、このような偽色に対しては従来のメディアンフィルタでは十分な効果を発揮できないが、本発明のような列フィルタｆを複数並べた行列フィルタＦを用いて前記のような処理を施せば、このように広範囲に偽色が広がって発生する偽色でも効果的に排除することが可能となる。
【００８５】
また、本発明は、パソコンなどのハードウェアを用いてソフトウェア上で実現することも可能であり、また、希望するユーザなどに対しては、そのソフトウェアを、図１６に示すように、その画像処理プログラムを記録したＣＤ等の記録媒体Ｒやインターネットなどのネットワークを介して容易に提供することができる。
また、前記画像処理装置１００の色補間処理部３０やＹＣ変換部４０、輪郭強調部５０、偽色低減処理部６０、ＲＧＢ変換部７０、画像出力部８０などの主要部分をＩＣやＬＳＩなどの小型の集積回路などの半導体装置として実現すれば、デジタルカメラやデジタルビデオカメラなどの携帯用の小型カメラにも容易に搭載してその画像処理の一部として活用することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る画像処理装置の実施の一形態を示すブロック図である。
【図２】画像処理装置を実現するハードウェア構成を示すブロック図である。
【図３】色補間処理から画像出力までの流れを示すブロック図である。
【図４】カラーフィルタの配列パターンの一例を示す図である。
【図５】色補間処理の一例を示す説明図である。
【図６】カラーフィルタの配列パターンの一例を示す図である。
【図７】行フィルタによって注目画素を含む画素群を選択した状態を示す概念図である。
【図８】選択画素の画素値から注目画素の画素値を決定する具体例を示す図である。
【図９】行フィルタによって次の注目画素を含む画素群を選択した状態を示す概念図である。
【図１０】選択画素の画素値から注目画素の画素値を決定する具体例を示す図である。
【図１１】行列フィルタによって注目画素を含む画素群を選択した状態を示す概念図である。
【図１２】選択画素の画素値から注目画素の画素値を決定する具体例を示す図である。
【図１３】行列フィルタによって注目画素を含む画素群を選択した状態を示す概念図である。
【図１４】選択画素の画素値から注目画素の画素値を決定する具体例を示す図である。
【図１５】選択画素の画素値から注目画素の画素値を決定する具体例を示す図である。
【図１６】本発明の画像処理プログラムを記録した記録媒体Ｒの一例を示す図である。
【符号の説明】
【００８７】
１０…カメラレンズ、２０…カラー撮像センサ、３０…色補間処理部、４０…周波数成分補償部、５０…画像出力部、９０…ＣＰＵ、９１…ＲＡＭ、９２…ＲＯＭ、９３…補助記憶装置、９４…出力装置、９５…入力装置（カラー撮像センサ）、９６…入出力インターフェース、９７…バス、１００…画像処理装置、ｆ…行フィルタ（一次元フィルタ）、Ｆ…行列フィルタ（二次元フィルタ）、Ｐ…注目画素、ｐ…画素、Ｒ…記録媒体。
【図１】
2005167974.tif 000003
【図２】
2005167974.tif 000004
【図３】
2005167974.tif 000005
【図４】
2005167974.tif 000006
【図５】
2005167974.tif 000007
【図６】
2005167974.tif 000008
【図７】
2005167974.tif 000009
【図８】
2005167974.tif 000010
【図９】
2005167974.tif 000011
【図１０】
2005167974.tif 000012
【図１１】
2005167974.tif 000013
【図１２】
2005167974.tif 000014
【図１３】
2005167974.tif 000015
【図１４】
2005167974.tif 000016
【図１５】
2005167974.tif 000017
【図１６】
2005167974.tif 000018