(57)【特許請求の範囲】
【請求項１】
複数の色のカラーフィルタを持つ単板の固体撮像素子を有する撮像部によって被写体を撮影することによって得られた色信号に色補間処理を行うことにより生成された色信号を用いて偽色抑圧処理を行う画像処理方法であって、
注目画素における輝度信号の高周波成分を抽出し、
前記注目画素における色信号の色相を検出し、
前記注目画素の周辺画素における色信号の色相を検出し、
前記注目画素における色信号の色相が所定色相領域であり、かつ前記注目画素における輝度信号の高周波成分が閾値以上である場合は、前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差、および前記輝度信号の高周波成分に応じて偽色抑圧処理を制御することを特徴とする画像処理方法。
【請求項２】
前記カラーフィルタの色は、赤、緑、および青であり、
前記所定色相領域は、イエローおよびシアン領域であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記偽色抑圧処理は、
前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差によって求められる抑圧直線の傾きに応じて、前記注目画素における前記輝度信号の高周波成分に基づきゲイン量を求め、
前記ゲイン量を用いて、前記注目画素における色差信号を補正することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記周辺画素における色信号の色相は、前記注目画素の水平方向および垂直方向に位置する周辺画素を除く、前記注目画素の周辺画素における色信号から求めることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
【請求項５】
前記周辺画素における色差信号の平均値を求めることにより、前記周辺画素における色信号の色相を求めることを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記偽色抑圧処理が行われた前記注目画素の色差信号に対して孤立点除去処理を行うことを特徴とする請求項３記載の画像処理方法。
【請求項７】
前記孤立点除去処理は、中間値フィルタを用いることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記所定色相領域は、ホワイトバランスの値によって変化することを特徴とする請求項１記載の画像処理方法。
【請求項９】
複数の色のカラーフィルタを持つ単板の固体撮像素子を有する撮像部によって被写体を撮影することによって得られた色信号に色補間処理を行うことにより生成された色信号を用いて偽色抑圧処理を行う画像処理装置であって、
注目画素における輝度信号の高周波成分を抽出する抽出手段と、前記注目画素における色信号の色相を検出する第１の色相検出手段と、
前記注目画素の周辺画素における色信号の色相を検出する第２の色相検出手段と、前記注目画素における色信号の色相が所定色相領域であり、かつ前記注目画素における輝度信号の高周波成分が閾値以上である場合は、前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差、および前記輝度信号の高周波成分に応じて偽色抑圧処理を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
複数の色のカラーフィルタを持つ単板の固体撮像素子を有する撮像部によって被写体を撮影することによって得られた色信号に色補間処理を行うことにより生成された色信号を用いて偽色抑圧処理を行う画像処理方法をコンピュータに実現させるためのプログラムであって、
注目画素における輝度信号の高周波成分を抽出し、
前記注目画素における色信号の色相を検出し、
前記注目画素の周辺画素における色信号の色相を検出し、
前記注目画素における色信号の色相が所定色相領域であり、かつ前記注目画素における輝度信号の高周波成分が閾値以上である場合は、前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差、および前記輝度信号の高周波成分に応じて偽色抑圧処理を制御することをコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、偽色を抑圧するものに関する。
【０００２】
【従来の技術】
従来の単板のデジタルカメラは、図１０に代表されるような構成になっている。被写体からくる光１は撮影レンズ２を通り、絞り３で光量を調整され、シャッタ（不図示）が開いている時間だけＣＣＤ５に露光されることになる。また、光１はＣＣＤ５に露光される前に、モアレや偽色を減少させるために光学ローパスフィルタ２０によって、空間周波数を制限され、ＣＣＤが赤外領域の光を検出しない様に、ＩＲフィルタ４によって長波長側の領域をカットされる。そして、ＣＣＤ５で露光された光は、電荷量として蓄積され、ＣＤＳ・ＡＧＣ６で所定のゲインに増幅され、Ａ／Ｄ変換器７でデジタルデータに変換される。デジタルデータに変換された画像データは、ホワイトバランス８でＲＧＢのゲインの調整を行われ、図２に示すように色補間９で例えば３つののカラープレーンに生成される。また、ＲＧＢ  ３プレーンできた画像データはマスキング処理１０でＲＧＢの色の色相に関する調整を行われ、ガンマ変換１１でディスプレイ等に表示するのに必要な処理が施される。
【０００３】
次に、画像データは、３プレーンのままだとデータ数が多いので、ＪＰＥＧ等の圧縮処理が行われる。まず、ＲＧＢ／ＹＵＶ変換１２で色空間をＲＧＢからＹ色差に変換し、色差のＵ、Ｖに関して帯域を制限するためのローパスフィルタ１４ａ，ｂをかける。そして、ＹＵＶ４４４からＹＵＶ４２２やＹＵＶ４１１といった信号に変換するための間引き処理１５を行い、最終的にＪＰＥＧ１６で圧縮される。そして、圧縮された画像データは、カメラ本体内の不揮発メモリ等（不図示）に格納される。
【０００４】
【発明が解決しようとする課題】
従来の単板のデジタルカメラは、レンズを交換できるシステムはほとんどなく、レンズ一体型のシステムとなっている。そのため、予め光学ローパスフィルタやＩＲカットフィルタ等はＣＣＤの前に埋め込まれていて、モアレや偽色に対して効果を表している。しかし、レンズ交換できるシステムに対しては、ＩＲカットフィルタはＣＣＤのガラス面上に薄膜で形成することは可能だが、光学ローパスフィルタを配置するスペースを取ると実質的にボディーが大きくなってしまう。また、光学ローパスフィルタを挿入することによって、モアレや偽色に関しては軽減できるが、画像の空間周波数が落ちてしまうことになる。その結果、銀塩写真の様なピントの鋭さがなくなってしまう。そこで、光学ローパスフィルタのない光学系の重要性が高まっている。
【０００５】
また、光学ローパスフィルタをつけたからといって、単板ＣＣＤのデジタルカメラの場合、ベイヤー配列に代表されるように、Ｇに対してＲとＢの画素が少なく、間隔が広い。つまり、色補間するにあったって偽色が出る。
【０００６】
従来の色補間の方法として、デジタルフィルタ等によって３つののカラープレーンを作る方法が有るが、ハードウエア的にフィルタのタップ数が制限されてしまい、本来持っている画像データの解像力を十分に引き出すことはできない。
【０００７】
また、ＵＳＰ５３７３３２２やＵＳＰ５６２９７３４で提案されている色補間処理を行えば、解像力の高い画像データが得られ、偽色を減少させる効果が有るとされている。しかし、以下のパターンにおいては偽色が出てしまう。
【０００８】
図１１に示す様に、画素ピッチの間隔で縦縞の白い線がＣＣＤのＧとＲのライン上で露光されると、上記の色補間処理を施すことによって、Ｒｅｄ、Ｙｅｌｌｏｗの縦縞の画像になってしまう。（斜線部は黒でデータは０とする）
同様に、図１２に画素ピッチの間隔で縦縞の白い線がＣＣＤのＧとＢのライン上で露光されると、上記色補間処理を施すことによって、ＢｌｕｅとＣｙａｎの縦縞の画像になってしまう。図１０と１１において、縦縞でなく、横縞でも同様の結果が得られ、ＲｅｄとＹｅｌｌｏｗ、ＢｌｕｅとＣｙａｎの横縞の画像が出来上がってしまう。
【０００９】
さらに、違うパターンとして、図１３に示す、チェッカーフラッグパターンの様な白い画像をＣＣＤのＲとＢで露光されると、上記色補間を施すことによって、まったくのＭａｇｅｎｔａの画像になってしまう。
【００１０】
同様に、図１４に示すように、チェッカーフラッグパターンの白い画像がＣＣＤのＧで露光されると、上記色補間を施すことによって、白であるにもかかわらず、まったくのＧｒｅｅｎになってしまう。
【００１１】
また、偽色を除去するために、パーソナルコンピュータ上のアプリケーションソフトで、色空間を例えばＲＧＢからＬ＊ａ＊ｂ＊に変換し、そこで、ａ＊、ｂ＊にそれぞれフィルタをかける等の処理を施すことが提案されている。
【００１２】
しかしながら、図１３，１４に示されるチェッカーフラッグパターンの場合、緑もしくはＭａｇｅｎｔａの低周波の画像と区別することはできず、偽色として判別できず良好に抑圧することができない。
【００１３】
本発明は上述の点に鑑みてなされたものであり、偽色を良好に抑圧するとともに、偽色以外を抑圧しないようにすることを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本願の画像処理方法は、複数の色のカラーフィルタを持つ単板の固体撮像素子を有する撮像部によって被写体を撮影することによって得られた色信号に色補間処理を行うことにより生成された色信号を用いて偽色抑圧処理を行う画像処理方法であって、注目画素における輝度信号の高周波成分を抽出し、前記注目画素における色信号の色相を検出し、前記注目画素の周辺画素における色信号の色相を検出し、前記注目画素における色信号の色相が所定色相領域であり、かつ前記注目画素における輝度信号の高周波成分が閾値以上である場合は、前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差、および前記輝度信号の高周波成分に応じて偽色抑圧処理を制御することを特徴とする。
【００１５】
また、本願の画像処理装置は、複数の色のカラーフィルタを持つ単板の固体撮像素子を有する撮像部によって被写体を撮影することによって得られた色信号に色補間処理を行うことにより生成された色信号を用いて偽色抑圧処理を行う画像処理装置であって、注目画素における輝度信号の高周波成分を抽出する抽出手段と、前記注目画素における色信号の色相を検出する第１の色相検出手段と、前記注目画素の周辺画素における色信号の色相を検出する第２の色相検出手段と、前記注目画素における色信号の色相が所定色相領域であり、かつ前記注目画素における輝度信号の高周波成分が閾値以上である場合は、前記注目画素における色信号の色相と前記周辺画素における色信号の色相の差、および前記輝度信号の高周波成分に応じて偽色抑圧処理を制御する制御手段と、を有することを特徴とする。
【００１６】
【発明の実施の形態】
以下に説明する処理は、デジタルカメラの内部に搭載される画像処理ＩＣにハードウエアとして組み込むことにより実現すること可能であり、また、コンピュータ上のアプリケーションプログラムで実現することも可能である。
【００１７】
［第１の実施形態］
図１に本発明の実施形態の全体を示すブロック図を示す。
【００１８】
カメラに入射される光１はレンズ２を通過し、絞り３で光量調節を行われ、シャッタ（不図示）が開いている時間だけＣＣＤ５に露光されることになる。また、光１はＣＣＤ５に露光される前に、ＣＣＤ５が赤外領域の光を検出しない様に、ＩＲフィルタ４によって長波長側の領域をカットされる。そして、ＣＣＤ５で露光された光は、電荷量として蓄積され、ＣＤＳ・ＡＧＣ６で所定のゲインに増幅され、Ａ／Ｄ変換器７でデジタルデータに変換される。デジタルデータに変換された画像データは、ホワイトバランス８でＲＧＢのゲインの調整を行われ、図２の様に色補間９で例えば３つのカラープレーンに生成される。そして、ＲＧＢ３プレーンできた画像データはマスキング処理１０でＲＧＢの色の色相に関する調整を行われ、ガンマ変換１１でディスプレイ等に表示するのに必要な処理が施される。
【００１９】
次に、画像データは、ＲＧＢ３プレーンのままだとデータ数が多いので、ＪＰＥＧ等の圧縮処理が行われる。まず、ＲＧＢ／ＹＵＶ変換１２で、例えば以下の式を用いて、色空間をＲＧＢからＹ色差に変換する。
【００２０】
Ｙ＝  ０．２９９００＊Ｒ＋０．５８７００＊Ｇ＋０．１１４００＊Ｂ（１）
Ｕ＝−０．１６８７４＊Ｒ−０．３３１２６＊Ｇ＋０．５００００＊Ｂ（２）
Ｖ＝  ０．５００００＊Ｒ−０．４１８６９＊Ｇ−０．０８１３１＊Ｂ（３）
また、高周波成分と色相を検出するために、色補間９で得られたＲＧＢ３プレーンの画像から、ＲＧＢ／Ｙ変換１７で（１）式を用いて輝度信号Ｙが求められる。空間ハイパスフィルタ１８では、図３に示されるような空間ハイパスフィルタ演算を用いて、輝度信号Ｙの高周波成分を検出する。
【００２１】
また、色相検出１９では、ＲＧＢ／Ｙ変換１７で求められた輝度信号Ｙを用いてＲ−Ｙ信号およびＢ−Ｙ信号を算出し、Ｒ−Ｙ信号とＢ−Ｙ信号から色相を検出する。
【００２２】
また、平均色相検出２１で注目画素の周辺画素の色相を検出する。平均色相検出２１では、図６に示されるように、注目画素の周辺画素から、注目画素と同様に偽色が発生する可能性が高い水平、垂直方向に位置する画素を除いた画素を用いて周辺画素の色相を検出する。本実施形態では計算対象の周辺画素の色差信号Ｕ、Ｖそれぞれの平均を求め、周辺の色相情報としている。
【００２３】
そして、偽色抑圧１３では、空間ハイパスフィルタ１８で得たれた輝度信号の高周波成分と、色相検出１９で得られた色相情報と、周辺の色相情報とから、入力されたＵとＶの値を周辺の色相に近づけることによって、偽色を抑圧する。
【００２４】
偽色の特徴の一つとしてＲｅｄおよびＢｌｕｅからの偽色は、ＹｅｌｌｏｗおよびＣｙａｎの色相であることがあげられる。そしてＲｅｄおよびＢｌｕｅからの偽色は、輝度成分が変化する。そこで、本実施形態では、輝度成分が高周波領域でかつＹｅｌｌｏｗおよびＣｙａｎ領域の画素に対してはＵＶのゲインを落として偽色を抑圧する。さらには、偽色ではない、ＹｅｌｌｏｗおよびＣｙａｎ画像に対して偽色抑圧がかかることを防ぐために抑圧直線をダイナミックに求める。
【００２５】
図４および図５を用いて詳細に説明する。まず、注目画素の色がＹ、Ｒ−Ｙ、Ｂ−Ｙ色空間においてＹｅｌｌｗおよびＣｙａｎ領域（図５の斜線領域）に有るかどうか判断する。
【００２６】
そして図４に示すように、高周波領域（輝度成分の高周波成分が閾値ｏｆ１以上の領域）でかつ注目画素がＹｅｌｌｏｗおよびＣｙａｎ領域の色である場合は、注目画素の色差信号と周辺の色相情報である色差信号の差分値に基づき求められた傾きを有する抑圧直線を用いて、空間ハイパスフィルタ１８で得られる輝度信号の高周波成分の値に応じたゲイン量を求める。そして、注目画素の色差信号ＵおよびＶのそれぞれに対して、求められたゲイン量を用いて補正することにより偽色抑圧処理を行う。
【００２７】
このように本実施形態では、抑圧直線を注目画素と周辺画素との色差の差分値に基づき求めているので、高周波成分が閾値ｏｆ１以上ならば、注目画素の色差信号ＵとＶの値を周辺の色相に近づけ、偽色を抑圧する。即ち、偽色における色差信号Ｕ、Ｖを周辺の色相Ｕ、Ｖに近づける。
【００２８】
本実施形態によれば、注目画素と周辺画素との色差の差分値を用いて抑圧量をダイナミックに制御しているので、つまり周辺画素との色相差に基づき制御しているので、偽色でないＹｅｌｌｏｗ画像およびＣｙａｎ画像の高周波成分まで偽色抑圧処理を強くかけることを防ぐことができる。
【００２９】
文字の周りの偽色は孤立的であり、周りの画素の輝度に対して変化しているとは限らない。そこで、本実施形態では文字周りの偽色を抑圧するために、メディアンフィルタ２０ａ、２０ｂを用いて色差ＵとＶに関して孤立点除去を行う。
【００３０】
これを説明した図が図６である。注目画素を含む３×３の領域の要素を小さい順にならべて、その注目画素の値をならべた中間値で置き換える。これにより、周りの色相と極端に離れた色がなくなることになる。特に、ローパスフィルタをかけることを行わないので、解像力を極端に落とすことにはならず、周りの画素に影響してしまうこともない。
【００３１】
そして、ＬＰＦ１４ａ、ｂで水平あるいは垂直方向にローパスフィルタをかけ、間引き１５でＹＵＶ４４４から、ＹＵＶ４２２ないしはＹＵＶ４１１といった所定のＪＰＥＧフォーマットに従った色差信号の間引きを行い、ＪＰＥＧ１６でＪＰＥＧ圧縮を行う。
【００３２】
なお、本実施形態では、輝度信号Ｙを計算するのにあたり、式（１）を用いているが、簡易的な輝度信号Ｙｅを用いても可能である。
【００３３】
Ｙｅ＝Ｒ＋２＊Ｇ＋Ｂ              （４）
また、輝度信号を計算させずに、Ｇを用いて輝度信号とすることも可能である。
【００３４】
［第２の実施形態］
上記実施形態において、偽色を検出する手段を色補間９の後でＲＧＢ  ３プレーンになったところの信号を用いて行った。これは、色補間９の後に、マスキング処理、γ変換といった色相が変わる要因が有るため、検出される偽色の色相範囲が変わる可能性が有るからである。そのためＲＧＢ／Ｙ変換１７で輝度信号Ｙを計算し、色相検出１９で色差信号Ｒ−Ｙ、Ｂ−Ｙを求めている。
【００３５】
しかし、そこで必ずしも行う必要はない。例えば、ＪＰＥＧ圧縮するために、ＲＧＢから輝度、色差の色空間に変換する必要が有るので、この信号から偽色を検出することもできる。ただし、上記で説明したように、偽色の色相範囲が画像によって変わる可能性がある。
【００３６】
ハードウエアで図１の構成を行った場合、偽色抑圧後のメディアンフィルタのところで、輝度信号と色差信号で遅延が発生し、輝度信号を遅らせなければ成らない。
【００３７】
本実施形態では、この遅れを利用して効率的に偽色処理を行う実施形態を図８を用いて説明する。図８において図１と同様の構成については、同一の符号を付け、説明を割愛する。
【００３８】
ＲＧＢ／ＹＵＶ変換１２から出力された輝度信号Ｙに対して空間ハイパスフィルタ１８を用いての高周波成分を検出する。この間、ＲＧＢ／ＹＵＶ変換１２から出力された色差信号ＵとＶは上メディアンフィルタが施される。これにより、輝度信号の高周波成分を検出する時間に、輝度信号にメディアンフィルタを施し、片方だけの遅延によるメモリーの無駄を削減することができる。
【００３９】
次に、色相検出１９でメディアンフィルタ後の色差信号ＵとＶから注目画素が偽色の色相内にあるかどうか判断する。ここでは、図５の色空間Ｒ−Ｙ、Ｂ−Ｙでなく図８のように、ＵとＶを用いている。
【００４０】
そこで、第１の実施形態同様に、注目画素の色が偽色の色相の範囲内でかつ輝度成分が高周波領域であるに入っている場合は、偽色抑圧１３で空間ＨＰＦ１８の出力に応じて、注目画素の周辺の平均色相にＵとＶ値を近づける。
【００４１】
なお、偽色処理を行う色相範囲は、例えば、ホワイトバランスによって変えても構わない。例えば、赤のゲインをあげた場合、色相範囲を赤側に寄せることを行ったり、色相角を広げたりしても構わない。
【００４２】
次に、ＬＰＦ１４ａ、ｂで水平あるいは垂直方向にローパスフィルタをかけ、間引き１５でＹＵＶ４４４から、ＹＵＶ４２２ないしはＹＵＶ４１１といった所定のＪＰＥＧフォーマットに従った色差信号の間引きを行い、ＪＰＥＧ１６でＪＰＥＧ圧縮を行う。
【００４３】
本実施形態によれば、輝度信号の高周波成分を検出する時間に、輝度信号にメディアンフィルタを施し、片方だけの遅延によるメモリーの無駄を削減することができる。
【００４４】
［他の実施形態］
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４５】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４６】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４７】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４８】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００４９】
【発明の効果】
本発明によれば、偽色を良好に抑圧するとともに、偽色以外を抑圧しないようにすることができる。
【図面の簡単な説明】
【図１】第１の実施形態の構成を示すブロック図である。
【図２】色補間を示す概念図である。
【図３】空間ハイパスフィルタを示すブロック図である。
【図４】偽色抑圧を説明するグラフである。
【図５】偽色の色相範囲を示す図である。
【図６】周辺画素の色相情報の求め方を説明する図である。
【図７】孤立点除去方法を示す概念図である。
【図８】第２の実施形態の構成を示すブロック図である。
【図９】偽色の色相範囲を示す図である。
【図１０】従来例の構成を示すブロック図である。
【図１１】偽色の発生プロセスを示す概念図である。
【図１２】偽色の発生プロセスを示す概念図である。
【図１３】偽色の発生プロセスを示す概念図である。
【図１４】偽色の発生プロセスを示す概念図である。
【図１】
0004717294.tif 000002
【図２】
0004717294.tif 000003
【図３】
0004717294.tif 000004
【図４】
0004717294.tif 000005
【図５】
0004717294.tif 000006
【図６】
0004717294.tif 000007
【図７】
0004717294.tif 000008
【図８】
0004717294.tif 000009
【図９】
0004717294.tif 000010
【図１０】
0004717294.tif 000011
【図１１】
0004717294.tif 000012
【図１２】
0004717294.tif 000013
【図１３】
0004717294.tif 000014
【図１４】
0004717294.tif 000015