(57)【特許請求の範囲】
【請求項１】
画像信号を処理する信号処理装置であって、
隣接する画素間の色相差を検出する色相差検出手段と、
前記色相差検出手段により検出された色相差に基づいて決定したゲインにより輝度信号を増幅して、画像のエッジを強調する輝度エッジ強調手段と
を有することを特徴とする信号処理装置。
【請求項２】
前記輝度エッジ強調手段は、前記色相差が大きくなるに従って、前記ゲインを小さくすることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
画像信号を処理する信号処理装置であって、
隣接する画素間の色相差を検出する色相差検出手段と、
撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成手段と、
前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成手段と、
前記色相差検出手段により検出された色相差に基づいて、前記第１及び第２の輝度信号のいずれかを選択して出力する選択手段と、
前記選択手段により選択された輝度信号に対して、所定の信号処理を施す処理手段と
を有することを特徴とする信号処理装置。
【請求項４】
前記選択手段は、前記色相差検出手段により検出された色相差が所定値以下の場合に前記第１の輝度信号を出力し、所定値を越える場合に前記第２の輝度信号を出力することを特徴とする請求項３に記載の信号処理装置。
【請求項５】
画像信号を処理する信号処理装置であって、
隣接する画素間の色相差を検出する色相差検出手段と、
撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成手段と、
前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成手段と、
前記色相差検出手段により検出された色相差に基づいて得た値を用いて、前記第１及び第２の輝度信号を演算し、演算結果を出力する演算手段と、
前記演算手段から出力された演算結果に対して、所定の信号処理を施す処理手段と
を有することを特徴とする信号処理装置。
【請求項６】
前記演算手段は、前記色相差に基づいて第１及び第２の係数を取得し、前記第１の輝度信号と前記第１の係数とを乗し、前記第２の輝度信号と前記第２の係数とを乗し、それぞれの積を加算することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記第１及び第２の係数の和は、一定であることを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記第２の輝度信号生成手段は、
適応補間手段と、
前記適応補間手段からの出力信号の高周波成分を抽出するハイパスフィルタ手段と、
前記第１の輝度信号生成手段からの出力信号の低域成分を検出するローパスフィルタ手段と、
前記ハイパスフィルタ手段からの出力信号と、前記ローパスフィルタ手段からの出力信号とを加算する加算手段と
を有することを特徴とする請求項３乃至７のいずれかに記載の信号処理装置。
【請求項９】
前記色相差検出手段は、
各画素の色相角を取得する色相角取得手段と、
隣接する画素間の色相角度差を求める差分手段と、
前記色相角度差を拡散する拡散手段と
を有することを特徴とする請求項１乃至８のいずれかに記載の信号処理装置。
【請求項１０】
前記差分手段は、注目画素と水平方向に隣接する画素との色相角度差と、前記注目画素と垂直方向に隣接する画素との色相角度差と求め、前記水平方向の色相角度差と前記垂直方向の色相角度差とを加算して各画素の色相角度を得ることを特徴とする請求項９に記載の信号処理装置。
【請求項１１】
前記差分手段は、注目画素と斜め方向に隣接する画素との色相角度差を求めることを特徴とする請求項９に記載の信号処理装置。
【請求項１２】
前記拡散手段は、注目画素の色相角度差の絶対値と、拡散しようとする先の画素の色相角度差の絶対値とを比較し、注目画素の色相角度差の絶対値が大きい場合に、拡散を実行することを特徴とする請求項９乃至１１のいずれかに記載の信号処理装置。
【請求項１３】
前記色相角取得手段は、色差信号を用いて色相角を算出することを特徴とする請求項９乃至１２のいずれかに記載の信号処理装置。
【請求項１４】
画像信号を処理する信号処理方法であって、
隣接する画素間の色相差を検出する色相差検出工程と、
前記色相差検出工程により検出された色相差に基づいて決定したゲインにより輝度信号を増幅して、画像のエッジを強調する輝度エッジ強調工程と
を有することを特徴とする信号処理方法。
【請求項１５】
前記輝度エッジ強調工程では、前記色相差が大きくなるに従って、前記ゲインを小さくすることを特徴とする請求項１４に記載の信号処理方法。
【請求項１６】
画像信号を処理する信号処理方法であって、
隣接する画素間の色相差を検出する色相差検出工程と、
撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成工程と、
前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成工程と、
前記色相差検出工程において検出された色相差に基づいて、前記第１及び第２の輝度信号のいずれかを選択して出力する選択工程と、
前記選択工程において選択された輝度信号に対して、所定の信号処理を施す処理工程と
を有することを特徴とする信号処理方法。
【請求項１７】
前記選択工程では、前記色相差検出工程により検出された色相差が所定値以下の場合に前記第１の輝度信号を出力し、所定値を越える場合に前記第２の輝度信号を出力することを特徴とする請求項１６に記載の信号処理方法。
【請求項１８】
画像信号を処理する信号処理方法であって、
隣接する画素間の色相差を検出する色相差検出工程と、
撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成工程と、
前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成工程と、
前記色相差検出工程において検出された色相差に基づいて得た値を用いて、前記第１及び第２の輝度信号を演算し、演算結果を出力する演算工程と、
前記演算工程において出力された演算結果に対して、所定の信号処理を施す処理工程と  を有することを特徴とする信号処理方法。
【請求項１９】
前記演算工程は、
前記色相差に基づいて第１及び第２の係数を取得する工程と、
前記第１の輝度信号と前記第１の係数とを乗す工程と、
前記第２の輝度信号と前記第２の係数とを乗す工程と、
それぞれの積を加算する工程と
を有することを特徴とする請求項１８に記載の信号処理方法。
【請求項２０】
前記第１及び第２の係数の和は、一定であることを特徴とする請求項１９に記載の信号処理方法。
【請求項２１】
前記第２の輝度信号生成工程は、
適応補間工程と、
前記適応補間工程における出力信号の高周波成分を抽出するハイパスフィルタ工程と、
前記第１の輝度信号生成工程からの出力信号の低域成分を検出するローパスフィルタ工程と、
前記ハイパスフィルタ工程で得られる高周波成分と、前記ローパスフィルタ工程で得られる低域成分とを加算する加算工程と
を有することを特徴とする請求項１６乃至２０のいずれかに記載の信号処理方法。
【請求項２２】
前記色相差検出工程は、
各画素の色相角を取得する色相角取得工程と、
隣接する画素間の色相角度差を求める差分工程と、
前記色相角度差を拡散する拡散工程と
を有することを特徴とする請求項１４乃至２１のいずれかに記載の信号処理方法。
【請求項２３】
前記差分工程では、
注目画素と水平方向に隣接する画素との色相角度差を求める工程と、
前記注目画素と垂直方向に隣接する画素との色相角度差と求める工程と、
前記水平方向の色相角度差と前記垂直方向の色相角度差とを加算する工程と
を有することを特徴とする請求項２２に記載の信号処理方法。
【請求項２４】
前記差分工程では、注目画素と斜め方向に隣接する画素との色相角度差を求めることを特徴とする請求項２２に記載の信号処理方法。
【請求項２５】
前記拡散工程では、注目画素の色相角度差の絶対値と、拡散しようとする先の画素の色相角度差の絶対値とを比較し、注目画素の色相角度差の絶対値が大きい場合に、拡散を行うことを特徴とする請求項２２乃至２４のいずれかに記載の信号処理方法。
【請求項２６】
前記色相角取得工程では、色差信号を用いて色相角を算出することを特徴とする請求項２２乃至２５のいずれかに記載の信号処理方法。
【請求項２７】
請求項１乃至１３のいずれかに記載の信号処理装置を有する撮像装置。
【請求項２８】
コンピュータ装置が実行可能なプログラムを格納した記憶媒体であって、前記プログラムを実行したコンピュータ装置を、請求項１乃至１３のいずれかに記載の信号処理装置として機能させることを特徴とする記憶媒体。
【請求項２９】
請求項１４乃至２６のいずれかに記載の信号処理方法を実現するためのプログラムコードを保持する記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理方法、信号処理装置、及び撮像装置に関し、更に詳しくは画像信号処理における、色エッジにおけるジャギを軽減する信号処理方法、信号処理装置、及び撮像装置に関する。
【０００２】
【従来の技術】
図１０は従来の単板方式のデジタルカメラの信号処理ユニットの構成を示すブロック図である。ＣＣＤ撮像素子５０１からの信号は、ホワイトバランス回路５０２で白のゲインが調整され、輝度ノッチ回路５１０に送られる。輝度ノッチ回路５１０にて、垂直ローパスフィルタ（ＶＬＰＦ）を用いて、垂直方向に色のナイキスト付近の周波数の信号ゲインを低減する処理が施される。水平方向も同様に水平ローパスフィルタ（ＨＬＰＦ）によるゲインの低減処理が施される。以下、このフィルタを輝度ノッチフィルタと呼ぶ。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路５１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路５１４を介して、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数帯域の信号レベルを上げる。
【０００３】
その後、水平、垂直ともにＰＰ（Ａｐｅｒｔｕｒｅ  Ｐｅａｋ）Ｇａｉｎ回路５１２及び５１５で振幅が調整され、ベースクリップ（ＢＣ）回路５１３及び５１６で小振幅がカットされノイズ除去される。その後、加算器５１７で水平成分と垂直成分が加算され、ＡＰＣ（Ａｐｅｒｔｕｒｅ  Ｃｏｎｔｒｏｌ）ＭａｉｎＧａｉｎ回路５１８  でメインゲインがかかり、加算器５１９でベースバンド信号と加算される。その後、ガンマ変換回路５２０でガンマ変換が施され、輝度修正（ＹＣＯＭＰ）回路５２１で、色による輝度信号レベル補正が実施される。
【０００４】
また、色信号処理として、色補間回路５０３により全ての画素について全ての色画素値が存在するように補間され、色変換マトリクス（ＭＴＸ）回路５０４にて補色信号が輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）に変換される。その後クロマ抑圧（ＣＳＵＰ：Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）回路５０５によって低輝度及び高輝度領域の色差ゲインが抑圧され、クロマローパスフィルタ（ＣＬＰＦ）回路５０６にて帯域が制限される。帯域制限されたクロマ信号はガンマ変換回路５０７において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再びＹ、Ｃｒ、Ｃｂ信号に変換され、ＣＧａｉｎＫｎｅｅ（Ｃｈｒｏｍａ  Ｇａｉｎ  Ｋｎｅｅ）回路５０８にて彩度ゲインが調整され、ＬＣＭＴＸ（Ｌｉｎｅａｒ  Ｃｌｉｐ  Ｍａｔｒｉｘ）回路５０９にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれを修正する。
【０００５】
【発明が解決しようとする課題】
ここで、図１１に示すような市松模様のベイヤー配列のフィルターを備えた撮像素子からの出力を処理した場合を考える。特に純色フィルターの場合、色の分離がよいために、例えば図１２（ａ）のように、左半分が赤、右半分が青といった相反する色相を有する画像のエッジ部では、ノッチフィルタ方式であると、ＬＰＦだけでは異なる色フィルタ間のゲイン差を吸収することができず、ギザギザ（ジャギ）となって再生画像の画質を劣化させてしまう。以下に、図１２（ｂ）を参照して更に説明する。
【０００６】
図１２（ｂ）は、撮像素子の各画素からの出力レベルを示す説明図である。同図においては、説明の簡略化のため、比較的大きい値を出力する画素を白で、出力がほぼ０である画素を黒で示している。このように、相反する色相のエッジであると異なる色フィルタでの信号レベル差が大きくなり、結果としてジャギとなって現れる。更に、ＬＰＦによって落ちた解像感（ＭＴＦ）をあげるためにエッジ強調を行なうため、さらにジャギを強調させてしまうという欠点があった。
【０００７】
本発明は上記問題点に鑑みてなされたものであり、色エッジジャギがエッジ強調により強調されてしまうことを大幅に低減し、高品位な輝度信号を作成することを第１の目的とする。
【０００８】
更に、輝度信号の色成分比を変えることなく、適切な色再現を実現することを第２の目的とする。
【０００９】
【課題を解決するための手段】
上記第１の目的を達成するために、画像信号を処理する本発明の信号処理装置は、隣接する画素間の色相差を検出する色相差検出手段と、前記色相差検出手段により検出された色相差に基づいて決定したゲインにより輝度信号を増幅して、画像のエッジを強調する輝度エッジ強調手段とを有する。
【００１０】
また、画像信号を処理する本発明の信号処理方法は、隣接する画素間の色相差を検出する色相差検出工程と、前記色相差検出工程により検出された色相差に基づいて決定したゲインにより輝度信号を増幅して、画像のエッジを強調する輝度エッジ強調工程とを有する。
【００１１】
本発明の好適な一様態によれば、前記輝度エッジ強調手段は、前記色相差が大きくなるに従って、前記ゲインを小さくし、前記輝度エッジ強調工程では、前記色相差が大きくなるに従って、前記ゲインを小さくする。
【００１２】
また、上記第１及び第２の目的を達成するために画像信号を処理する本発明の信号処理装置は、隣接する画素間の色相差を検出する色相差検出手段と、撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成手段と、前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成手段と、前記色相差検出手段により検出された色相差に基づいて、前記第１及び第２の輝度信号のいずれかを選択して出力する選択手段と、前記選択手段により選択された輝度信号に対して、所定の信号処理を施す処理手段とを有する。
【００１３】
また、画像信号を処理する本発明の信号処理方法は、隣接する画素間の色相差を検出する色相差検出工程と、撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成工程と、前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成工程と、前記色相差検出工程において検出された色相差に基づいて、前記第１及び第２の輝度信号のいずれかを選択して出力する選択工程と、前記選択工程において選択された輝度信号に対して、所定の信号処理を施す処理工程とを有する。
【００１４】
本発明の好適な一様態によれば、前記選択手段は、前記色相差検出手段により検出された色相差が所定値以下の場合に前記第１の輝度信号を出力し、所定値を越える場合に前記第２の輝度信号を出力し、前記選択工程では、前記色相差検出工程により検出された色相差が所定値以下の場合に前記第１の輝度信号を出力し、所定値を越える場合に前記第２の輝度信号を出力する。
【００１５】
更に、上記第１及び第２の目的を達成するために、画像信号を処理する本発明の信号処理装置は、隣接する画素間の色相差を検出する色相差検出手段と、撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成手段と、前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成手段と、前記色相差検出手段により検出された色相差に基づいて得た値を用いて、前記第１及び第２の輝度信号を演算し、演算結果を出力する演算手段と、前記演算手段から出力された演算結果に対して、所定の信号処理を施す処理手段とを有する。
【００１６】
また、画像信号を処理する本発明の信号処理方法は、隣接する画素間の色相差を検出する色相差検出工程と、撮像素子からの出力信号に、水平および垂直方向にローパスフィルタをかけて第１の輝度信号を生成する第１の輝度信号生成工程と、前記撮像素子からの出力信号の内、グリーン信号に適応的補間を施し、補間された輝度信号の低域成分を前記第１の輝度信号の低域成分と置換することにより、第２の輝度信号を生成する第２の輝度信号生成工程と、前記色相差検出工程において検出された色相差に基づいて得た値を用いて、前記第１及び第２の輝度信号を演算し、演算結果を出力する演算工程と、前記演算工程において出力された演算結果に対して、所定の信号処理を施す処理工程とを有する。
【００１７】
本発明の好適な一様態によれば、前記演算手段は、前記色相差に基づいて第１及び第２の係数を取得し、前記第１の輝度信号と前記第１の係数とを乗し、前記第２の輝度信号と前記第２の係数とを乗し、それぞれの積を加算し、前記演算工程は、前記色相差に基づいて第１及び第２の係数を取得する工程と、前記第１の輝度信号と前記第１の係数とを乗す工程と、前記第２の輝度信号と前記第２の係数とを乗す工程と、それぞれの積を加算する工程とを有する。
【００１８】
好ましくは、前記第１及び第２の係数の和は、一定である。
【００２１】
好ましくは、前記第２の輝度信号生成手段は、適応補間手段と、前記適応補間手段からの出力信号の高周波成分を抽出するハイパスフィルタ手段と、前記第１の輝度信号生成手段からの出力信号の低域成分を検出するローパスフィルタ手段と、前記ハイパスフィルタ手段からの出力信号と、前記ローパスフィルタ手段からの出力信号とを加算する加算手段とを有し、前記第２の輝度信号生成工程は、適応補間工程と、前記適応補間工程における出力信号の高周波成分を抽出するハイパスフィルタ工程と、前記第１の輝度信号生成工程からの出力信号の低域成分を検出するローパスフィルタ工程と、前記ハイパスフィルタ工程で得られる高周波成分と、前記ローパスフィルタ工程で得られる低域成分とを加算する加算工程とを有する。
【００２２】
また、本発明の好適な一様態によれば、前記色相差検出手段は、各画素の色相角を取得する色相角取得手段と、隣接する画素間の色相角度差を求める差分手段と、前記色相角度差を拡散する拡散手段とを有し、前記色相差検出工程は、各画素の色相角を取得する色相角取得工程と、隣接する画素間の色相角度差を求める差分工程と、前記色相角度差を拡散する拡散工程とを有する。
【００２３】
また、本発明の好適な一様態によれば、前記差分手段は、注目画素と水平方向に隣接する画素との色相角度差と、前記注目画素と垂直方向に隣接する画素との色相角度差と求め、前記水平方向の色相角度差と前記垂直方向の色相角度差とを加算して各画素の色相角度を得、前記差分工程では、注目画素と水平方向に隣接する画素との色相角度差を求める工程と、前記注目画素と垂直方向に隣接する画素との色相角度差と求める工程と、前記水平方向の色相角度差と前記垂直方向の色相角度差とを加算する工程とを有する。
【００２４】
また、本発明の好適な別の一様態によれば、前記差分手段は、注目画素と斜め方向に隣接する画素との色相角度差を求め、前記差分工程では、注目画素と斜め方向に隣接する画素との色相角度差を求める。
【００２５】
また、本発明の好適な一様態によれば、前記拡散手段は、注目画素の色相角度差の絶対値と、拡散しようとする先の画素の色相角度差の絶対値とを比較し、注目画素の色相角度差の絶対値が大きい場合に、拡散を実行し、前記拡散工程では、注目画素の色相角度差の絶対値と、拡散しようとする先の画素の色相角度差の絶対値とを比較し、注目画素の色相角度差の絶対値が大きい場合に、拡散を行う。
【００２６】
好ましくは、前記色相角取得手段は、色差信号を用いて色相角を算出し、前記色相角取得工程では、色差信号を用いて色相角を算出する。
【００２７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態におけるデジタルカメラ等の撮像装置の信号処理ユニットの構成を示すブロック図である。撮像素子１００からの信号は、ホワイトバランス回路１０１で白のゲインが調整され、遅延回路１３０により遅延される。
【００２８】
その後、輝度信号は輝度ノッチ回路１１０に送られる。輝度ノッチ回路１１０にて、垂直ローパスフィルタ（ＶＬＰＦ）を用いて、垂直方向に色のナイキスト付近の周波数の信号ゲインを低減する処理が施される。水平方向も同様に水平ローパスフィルタ（ＨＬＰＦ）によるゲインの低減処理が施される。以下、このフィルタを輝度ノッチフィルタと呼ぶ。さらに輝度ノッチ回路１１０ではアパチャー回路を用いて輝度信号にエッジ強調をかける。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路１１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路１１４を介して、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数帯域の信号レベルを上げる。
【００２９】
その後、水平、垂直ともにＰＰ（Ａｐｅｒｔｕｒｅ  Ｐｅａｋ）Ｇａｉｎ回路１１２及び１１５で振幅が調整され、ベースクリップ（ＢＣ）回路１１３及び１１６で小振幅がカットされノイズ除去される。その後、加算器１１７で水平成分と垂直成分が加算され、ＡＰＣ（Ａｐｅｒｔｕｒｅ  Ｃｏｎｔｒｏｌ）ＭａｉｎＧａｉｎ回路１１８に入力される。
【００３０】
一方、色信号（ＲＧＢ信号）は色補間回路１０２により補間される。その後、色変換マトリクス（ＭＴＸ）回路１０３により色補正が施され、更に輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）に変換される。こうして得られた輝度信号及び色差信号は、色エッジ検出回路１０９に送られる。
【００３１】
色エッジ検出回路１０９では異なる色相の色エッジの検出を行う。色エッジ検出回路１０９で行われる色エッジの検出方法の一例を、図２のフローチャート及び図３を参照して説明する。
【００３２】
まず、ステップＳ１において各画素の色相角を求める。求める色相角をＨｕｅ、Ｒを赤信号値、Ｂを青信号値、Ｙを輝度値とすると、ここでは、
Ｈｕｅ＝（Ｒ−Ｙ）／（Ｂ−Ｙ）
【００３３】
により色相角を求める。図３（ａ）は、左半分が青、右半分が赤の色エッジにおいて、上記式により色相角を求めた場合の一例を示す図である。
次に、ステップＳ２において、水平及び垂直方向（斜め方向でも良い）の隣接画素間の色相角の差分をそれぞれ計算する。色エッジ付近の各画素が図３（ａ）に示す色相角を有する場合、左から右へ水平方向に差分を求めると、図３（ｂ）に示すような差分値が得られる。
【００３４】
そしてステップＳ３において、ステップＳ２で求めた色相角の差分値算出の両方向に、予め設定した画素分広げる。例えば、水平方向に求めた差分値を広げる場合は左右に広げ、垂直方向に求めた差分値を広げる場合は上下に広げる。図３（ｃ）は、図３（ｂ）に示すように水平方向に差分を求めた場合に、それぞれの画素の値を左右に１画素分広げた結果を示す。なおこの際に、差分値を広げようとする先の画素がすでに差分値を有する場合、これら２つの値の絶対値を比較して、絶対値が大きい方の値をその画素の差分値として残すようにする。これは、輝度ジャギが、通常、色エッジの周辺１、２画素程度広がって発生することが多いために行うものである。
【００３５】
最後にステップＳ４において、水平及び垂直方向（斜め方向で求めた場合は、斜め方向も含む）の色相角度差分値をそれぞれの画素毎に合成（加算）する。以下、合成して得られた値を「色相角度差検出値」と呼ぶ。
【００３６】
色相角度差検出値は、色エッジ検出回路１０９からＡＰＣＭａｉｎＧａｉｎ回路１１８に入力され、色相角度差検出値に応じてＡＰＣＭａｉｎＧａｉｎ回路１１８のメインゲインがコントロールされる。具体的には、色エッジ部分では色相角度差検出値が大きくなるので、色エッジ検出回路１０９からの出力が大きいほどメインゲインが弱められる。これにより、異位相の色エッジのジャギがアパチャー補正によって強調されてしまうことを防ぐ。
【００３７】
加算器１１９でＡＰＣＭａｉｎＧａｉｎ回路１１８からの出力信号と、輝度ノッチ回路１１０からの輝度信号のベースバンド信号とが加算され、ガンマ変換回路１２０に送られる。その後、ガンマ変換回路１２０でガンマ変換が施され、輝度修正（ＹＣＯＭＰ）回路１２１で、色による輝度信号レベル補正が実施される。
【００３８】
一方、色変換ＭＴＸ回路１０３からは、輝度及び色差信号が色エッジ検出回路１０９へ出力されると共にＣＳＵＰ回路１０４によって高輝度及び低輝度の色ゲインが抑圧され、その後ＣＬＰＦ回路１０５により帯域が圧縮される。帯域制限されたクロマ信号は、ガンマ変換回路１０６において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再び輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂに変換され、ＣＧａｉｎＫｎｅｅ（Ｃｈｒｏｍａ  Ｇａｉｎ  Ｋｎｅｅ）回路１０７にて彩度ゲインが調整され、ＬＣＭＴＸ（Ｌｉｎｅａｒ  Ｃｌｉｐ  Ｍａｔｒｉｘ）回路１０８にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれが修正され、出力される。
【００３９】
上記説明の通り本第１の実施形態によれば、ジャギの要因となる位相が異なる色間の色エッジを判別して、輝度信号のアパチャーゲインをコントロールすることにより、色エッジにおけるジャギがアパチャー強調により強調されてしまうことを大幅に低減でき、高品位な輝度信号を作成することが可能となる。
【００４０】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
【００４１】
本第２の実施形態では、ビデオなどの輝度信号作成に用いられるＯｕｔＯｆＧｒｅｅｎ方式（ビデオ信号に用いられている、緑信号のみから輝度信号を作成する方式）により得られる輝度信号Ｙｇの低域成分をノッチ方式の輝度信号Ｙｈの低域成分と置き換え、Ｙｇ’信号を作成する。そして、第１の実施形態で説明した色エッジ検出回路１０９で得られる色相角度差検出値が小さく、通常領域であると判断された場合はノッチ方式で得たＹｈ信号を用い、色相角度差検出値が大きく、逆位相色エッジであると判別された領域ではＹｈ信号の代わりにＹｇ’を用いる。
【００４２】
まず、ＯｕｔＯｆＧｒｅｅｎ方式について説明する。ＯｕｔＯｆＧｒｅｅｎ方式とは、グリーン（Ｇ）信号を適応補間によって作成し、これを輝度信号とする方式である。これは、補間対象画素の上下左右の信号相関を検出し、縦方向の相関が高い場合は上下の信号から補間を行い、横方向の相関が高い場合は左右の信号から補間することで輝度信号のジャギを防ぐものである。
【００４３】
具体的に説明すると、図１１に示すフィルタ配列において、図４に示すようにブルーの補間対象画素Ｐ５に対して補間を行う場合（括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）、画素Ｐ５におけるグリーン信号（Ｐ５（Ｇ））の補間方法は次のようになる。
【００４４】
１．式（１）により補間対象の上下、左右の画素の差の絶対値（ＨＤｉｆｆ，ＶＤｉｆｆ）を求める。
ＨＤｉｆｆ＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜  …（１）
【００４５】
２．求めた絶対値に基づいて、補間の仕方を変更する。
【００４６】
ＶＤｉｆｆ＜ＨＤｉｆｆならば、垂直の画素を用い、式（２）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ２（Ｇ）＋Ｐ８（Ｇ））／２  …（２）
【００４７】
また、ＶＤｉｆｆ＞ＨＤｉｆｆなら、水平の画素を用い、式（３）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ４（Ｇ）＋Ｐ６（Ｇ））／２  …（３）
【００４８】
このように適応的に補間したＧ信号を輝度信号として用いる。
【００４９】
ＯｕｔＯｆＧｒｅｅｎ方式ではＧ信号のみを用いて適応補間により輝度信号を作成するため、逆位相色エッジでＹｇ’信号を用いればジャギが発生しない。また、逆位相色エッジではない通常領域にはノッチ方式のＹｈ信号を用いるため、従来のような縦横判別で誤判別をおこす白黒縞においても、切り替え縞が発生することが無くなる。
【００５０】
次に、本第２の実施形態における輝度信号の処理について、図５及び図７を参照して説明する。
【００５１】
図５は、本発明の第２の実施形態におけるデジタルカメラ等の撮像装置のための信号処理部の構成を示すブロック図であり、図６は本第２の実施形態における輝度信号の処理手順を示すフローチャートである。なお、図５において、図１と同様の構成には同じ参照番号を付し、説明を省略する。
【００５２】
図６において、ステップＳ２１で輝度ノッチ回路１１０によりＹｈを生成し、ステップＳ２２でＧｒｅｅｎ補間回路３１４により上記説明したＯｕｔＯｆＧｒｅｅｎ方式で生成されるＧ信号を輝度信号Ｙｇとして出力する。
【００５３】
ステップＳ２４では、Ｙｇ信号をＬＰＦ回路３１５に通し、低域成分の輝度信号ＹｇＬｏｗを抽出し、減算回路３１６にてＹｇ信号から低周波成分ＹｇＬｏｗ信号を除去し高域成分の輝度信号ＹｇＨｉｇｈを得る。更に、輝度信号の色成分比をノッチ方式の輝度信号と同じにするために、ノッチ方式の輝度信号の低域成分を低周波成分ＹｇＬｏｗ信号の代わりに用いる。そのために、ステップＳ２３において、輝度ノッチ回路１１０からの輝度信号Ｙｈは切替え器３１８へ入力されると共に、ＬＰＦ回路３１３にも入力され、ＬＰＦ回路３１３から輝度信号の低域成分の信号Ｙｈｌｏｗが出力される。このＹｈｌｏｗ信号と、減算回路３１６から出力されるＹｇＨｉｇｈ信号とが加算器３１７により加算されて（ステップＳ２５）、輝度信号Ｙｇ’が生成される。このＹｇ’信号は切り替え器３１８に入力される。
【００５４】
このように、切り替え器３１８にはＹｈ信号とＹｇ’信号とが入力することになり、色エッジ検出回路１０９から出力される色相角度差検出値に基づいて、いずれか一方の輝度信号が出力される（ステップＳ２６〜Ｓ２８）。なお、色エッジ検出回路１０９における色相角度差検出値の演算方法については上記第１の実施形態で説明したものと同様であるので、説明を省略する。そして、この色相角度差検出値が予め設定された閾値Ｔｈ以下の場合には（ステップＳ２６でＮＯ）、ノッチ回路３１２からの輝度信号Ｙｈを出力し（ステップＳ２８）、この色相角度差検出値が予め設定された閾値Ｔｈよりも大きい場合には逆位相色エッジであるため（ステップＳ２６でＹＥＳ）、その場合、ノッチ回路３１２からの輝度信号Ｙｈを輝度信号Ｙｇ’に置き換えて出力する（ステップＳ２７）。
【００５５】
ステップＳ２９では、切り替え器３１８から出力される輝度信号ＹｈまたはＹｇ’は、水平バンドパスフィルタ（ＨＢＰＦ）回路１１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路１１４を介して、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数帯域の信号レベルを上げる。その後、水平、垂直ともにＰＰ（Ａｐｅｒｔｕｒｅ  Ｐｅａｋ）Ｇａｉｎ回路１１２及び１１５で振幅が調整され、ベースクリップ（ＢＣ）回路１１３及び１１６で小振幅がカットされノイズ除去される。その後、加算器１１７で水平成分と垂直成分が加算され、ＡＰＣ（Ａｐｅｒｔｕｒｅ  Ｃｏｎｔｒｏｌ）ＭａｉｎＧａｉｎ回路３２６でメインゲインがかかり、加算器１１９でベースバンド信号と加算される。その後、ガンマ変換回路１２０でガンマ変換が施され、輝度修正（ＹＣＯＭＰ）回路１２１で、色による輝度信号レベル補正が実施される。
【００５６】
なお、ＣＳＵＰ回路１０４より後段の処理は、図１を参照して第１の実施形態で説明した処理と同様であるので、ここでは説明を省略する。
【００５７】
本第２の実施形態によれば、通常領域はノッチ処理の輝度信号を用い、逆位相の色エッジのみＯｕｔＯｆＧｒｅｅｎ方式の輝度信号と置換する。これにより、ＯｕｔＯｆＧｒｅｅｎ信号により、逆位相色エッジのジャギを低減させ、通常領域ではノッチ方式の輝度信号を使用することによりＯｕｔＯｆＧｒｅｅｎ方式で問題となるＧｒｅｅｎ以外の色エッジの解像感を失うことがない。
【００５８】
また、ＯｕｔＯｆＧｒｅｅｎ方式で得た輝度信号の低周波成分はノッチ方式の輝度と置換するため、輝度信号の色成分比がノッチ方式の輝度信号とＯｕｔＯｆＧｒｅｅｎ方式の輝度信号で変わることがなく、適切な色再現を実現することが可能となる。
【００５９】
［変形例］
上記第２の実施形態では、色エッジ検出回路１０９から出力される色相角度差検出値が予め設定された色位置よりも大きく、逆位相色エッジである場合に、ノッチ回路３１２からの輝度信号Ｙｈを輝度信号Ｙｇ’に置き換えていた。しかし、切り替わりによるデジタル的な影響を避けるため、線形演算によって振り分けを行う用にしても良い。この構成を図７に示し、処理手順を図９に示す。図７と図５とは、切り替え器３１８の代わりに、演算部４１９が挿入されている点が異なる。また、図９において、図６と同様の処理には同じ参照番号を付し、説明を省略する。
【００６０】
上記第１及び第２の実施形態と同様に、色エッジ検出回路３３２からはその画素での色相角度差検出値が出力されるため、図８に示すようなグラフや同様のデータを有するルックアップテーブル、或いは関数等を用いてこの絶対値に対して予め決められた係数αを取得し（ステップＳ３６）、係数αを用いて以下の式により輝度信号を求め、出力する（ステップＳ３７）。
Ｙ＝α×Ｙｇ’＋（１−α）×Ｙｈ  （但し、０≦α≦１）
【００６１】
このようにすることにより、第２の実施形態と同様の効果が得られ、更に、切り替えによるデジタル的な影響を避けることが可能となる。
【００６２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラなど）に適用してもよい。
【００６３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
【発明の効果】
以上説明したように、本発明によれば、色エッジジャギがエッジ強調により強調されてしまうことを大幅に低減でき、高品位な輝度信号を作成することが可能となる。
【００６６】
更に、輝度信号の色成分比を変えることなく、適切な色再現を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置のための信号処理部の構成を示すブロック図である。
【図２】本発明の実施の形態にかかる色エッジ検出回路の動作を説明するフローチャートである。
【図３】色エッジ検出を説明するための図である。
【図４】ＯｕｔＯｆＧｒｅｅｎ方式による輝度信号の生成を説明するための図である。
【図５】本発明の第２の実施形態における撮像装置のための信号処理部の構成を示すブロック図である。
【図６】本発明の第２の実施形態における輝度信号処理を説明するフローチャートである。
【図７】本発明の第２の実施形態の変形例における撮像装置のための信号処理部の構成を示すブロック図である。
【図８】本発明の第２の実施形態の変形例における色相角度差検出値と、係数αとの関係を示す図である。
【図９】本発明の第２の実施形態の変形例における輝度信号処理を説明するフローチャートである。
【図１０】従来の撮像装置のための信号処理部の構成を示すブロック図である。
【図１１】フィルタ配列を示す図である。
【図１２】ジャギの発生を説明するための図である。
【符号の説明】
１００，５０１  撮像素子
１０１，５０２  ホワイトバランス回路
１０２，５０３  色補間回路
１０３，５０４  色変換マトリクス回路
１０４，５０５  クロマ抑圧回路
１０５，５０６  クロマローパスフィルタ回路
１０６，１２０，５０７，５２０  ガンマ変換回路
１０７，５０８  ＣＧａｉｎＫｎｅｅ回路
１０８，５０９  ＬＣＭＴＸ回路
１０９  色差エッジ検出回路
１１０，５１０  輝度ノッチ回路
１１１，５１１  水平バンドパスフィルタ回路
１１２，１１５，５１２，５１５  ＰＰＧａｉｎ回路
１１３，１１６，５１３，５１６  ベースクリップ回路
１１４，５１４  垂直バンドパスフィルタ回路
１１７，１１９，５１７，５１９  加算器
１１８，３２６，５１８  ＡＰＣＭａｉｎＧａｉｎ回路
１２１，５２１  輝度修正回路
１３０  遅延回路
３１３，３１５  ローパスフィルタ回路
３１４  グリーン補間回路
３１６  減算器
３１７  加算器
３１８  切り替え器
４１８  演算部
【図１】
0003548504.tif 000002
【図２】
0003548504.tif 000003
【図３】
0003548504.tif 000004
【図４】
0003548504.tif 000005
【図５】
0003548504.tif 000006
【図６】
0003548504.tif 000007
【図７】
0003548504.tif 000008
【図８】
0003548504.tif 000009
【図９】
0003548504.tif 000010
【図１０】
0003548504.tif 000011
【図１１】
0003548504.tif 000012
【図１２】
0003548504.tif 000013