(57)【要約】【課題】画像全体の色味を損なわずに色ノイズを低減させる信号処理方法、信号処理回路及び撮像装置を提供する。【解決手段】低彩度圧縮部５３２は、輝度信号Ｙに応じて非圧縮率ｒを設定し、一定のレベルｔｈ＿ｃｍｐ以下の色差信号を圧縮した被圧縮色差信号と、圧縮していない色差信号とを非圧縮率ｒに応じて合成する。【選択図】図１
2008099196.tif 000002
【特許請求の範囲】
【請求項１】
画像データから分離された輝度信号の輝度値に応じて、０以上１以下の所定の比率を設定する第１の工程と、
前記画像データの色に関する色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成する第２の工程と、
圧縮されていない前記色信号と、前記第２の工程において生成された前記被圧縮色信号とを、前記第１の工程において設定された前記所定の比率に応じて合成した合成色信号を生成する第３の工程と、
を有する信号処理方法。
【請求項２】
前記第３の工程において、圧縮されていない前記色信号に前記第１の工程において設定された前記所定の比率を乗じ、前記第２の工程において生成された前記被圧縮色信号に（１−前記所定の比率）の係数を乗じ、前記所定の比率を乗じた圧縮されていない前記色信号と（１−前記所定の比率）の係数を乗じた前記被圧縮色信号とを加算することにより前記合成色信号を生成する
請求項１に記載の信号処理方法。
【請求項３】
画像データから分離された輝度信号の輝度値に応じて０以上１以下の所定の比率を設定し、前記画像データの色に関する色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成し、圧縮されていない前記色信号と、生成された前記被圧縮色信号とを、設定された前記所定の比率に応じて合成した合成色信号を生成する
信号処理回路。
【請求項４】
画像データを生成する撮像部と、
前記撮像部が生成した前記画像データに対して信号処理を実行する信号処理部と
を有し、
前記信号処理部は、
前記撮像部が生成した前記画像データを輝度信号と色に関する色信号とに分離する信号分離部と、
前記信号分離部が分離した前記輝度信号の輝度値に応じて０以上１以下の所定の比率を設定し、前記色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成し、圧縮されていない前記色信号と、生成された前記被圧縮色信号とを、設定された前記所定の比率に応じて合成した合成色信号を生成する色信号処理部と、
を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色ノイズを抑える信号処理方法、信号処理回路及び撮像装置に関する。
【背景技術】
【０００２】
入射した光を電気信号に変換し画像データを生成する撮像素子を用いたデジタルカメラ等の撮像装置において、特に撮影感度を高くした場合には、生成した画像データにノイズが顕著に発生してしまう。
ノイズは、輝度信号に発生する点状の輝度ノイズと、色信号に発生する斑状の色ノイズとに大別できる。このうち、色ノイズは低周波のランダムなノイズであり、生成した画像データに大幅な画質劣化をもたらす。
【０００３】
このような色ノイズを線形フィルタで除去しようとすると、非常に多タップのフィルタが必要になってしまうため、コストがかかり、好ましくない。このため、コストをあまりかけずに色ノイズを除去する手法が考えられてきた。
【０００４】
例えば、低彩度圧縮という手法がある。
これは、画像データ内の彩度が低い部位を圧縮してしまい、色味をなくすことにより色ノイズを低減する手法である。
また、画像データ内の各部位の輝度に応じて彩度を落とすという、特許文献１及び２に開示された手法がある。
【特許文献１】特開２００１−１８９９４５号公報
【特許文献２】特開２００３−２３５０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した低彩度圧縮という手法は、画像データ全体に適用した場合に、画像全体のニュアンスが変わってしまう恐れがある、という不利益があり、色ノイズ低減のために積極的に適用することはできなかった。
また、上述した特許文献１及び２に開示された手法では、画像データの各部位の輝度値に応じて画像データ全体の彩度を下げているため、輝度が低く彩度が高い部位では、色が淡くなってしまう、という不利益があった。
【０００６】
本発明は、上述した不利益を解消するために、画像全体の色味を損なわずに色ノイズを低減させる信号処理方法、信号処理回路及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、第１の発明の信号処理方法は、画像データから分離された輝度信号の輝度値に応じて、０以上１以下の所定の比率を設定する第１の工程と、前記画像データの色に関する色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成する第２の工程と、圧縮されていない前記色信号と、前記第２の工程において生成された前記被圧縮色信号とを、前記第１の工程において設定された前記所定の比率に応じて合成した合成色信号を生成する第３の工程と、を有する。
【０００８】
第２の発明の信号処理回路は、画像データから分離された輝度信号の輝度値に応じて０以上１以下の所定の比率を設定し、前記画像データの色に関する色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成し、圧縮されていない前記色信号と、生成された前記被圧縮色信号とを、設定された前記所定の比率に応じて合成した合成色信号を生成する。
【０００９】
第３の発明の撮像装置は、画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対して信号処理を実行する信号処理部とを有し、前記信号処理部は、前記撮像部が生成した前記画像データを輝度信号と色に関する色信号とに分離する信号分離部と、前記信号分離部が分離した前記輝度信号の輝度値に応じて０以上１以下の所定の比率を設定し、前記色信号を当該色信号の入力レベルの絶対値が第１のしきい値以下の領域に関して圧縮を行い、当該色信号の入力レベルの絶対値が第１のしきい値より大きい領域に関しては圧縮を行わない被圧縮色信号を生成し、圧縮されていない前記色信号と、生成された前記被圧縮色信号とを、設定された前記所定の比率に応じて合成した合成色信号を生成する色信号処理部と、を有する。
【発明の効果】
【００１０】
本発明によれば、画像全体の色味を損なわずに色ノイズを低減させる信号処理方法、信号処理回路及び撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の動きベクトル検出方法を適用したカメラシステム１００（本発明の撮像装置に対応）の構成を示す。
図１のカメラシステム１００は、例えば、レンズ１、撮像素子２、ＣＤＳ（相関二重サンプリング）やプリアンプなどを有する前処理部３、ＡＤ（アナログ・デジタル）変換器４と、歪欠陥処理部５１、輝度信号処理部５２、色信号処理部５３を有する信号処理部５などで構成される。
【００１２】
レンズ１は、被写体（図示せず）の画像を撮像素子２の撮像面上に投写する。撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などからなり、レンズ１を透過した画像を電気信号に変換し、画像信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを有する前処理部３に供給する。
【００１３】
前処理部３は、撮像素子２からの画素信号をサンプルホールドして必要なデータを取り出すと共に、適正なレベルに合わせるためにゲインコントロール（ＡＧＣ：Automatic Gain Control）を行い、また黒レベル調整も行われる。この前処理部３の出力信号は、後段のＡＤ変換器４に出力される。
【００１４】
ＡＤ変換器４は、画素（画像）信号を取り扱うため、１０〜１２Ｂｉｔｓ精度のものが採用される。ＡＤ変換器４は、前処理部３から供給された出力信号をアナログ信号からデジタル信号に変換し、デジタル信号を後段に接続された信号処理部５に出力する。
【００１５】
信号処理部５は、歪欠陥処理部５１、輝度信号処理部５２と色信号処理部５３などで構成され、デジタル信号処理が行われる。
歪欠陥処理部５１では、黒検出、デジタルゲイン調整（Digital Gain Control）、レンズ１で生じるシェーディングの補正や、遅延線を用いて輝度信号と色信号を分離し、また遅延線を用いて画素欠陥の補正を行う。
【００１６】
輝度信号処理部５２は、Ｙ（輝度）信号の垂直・水平（方向）輪郭補正、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリゼーション処理、また画像を反転するネガ処理などの種々の画像処理を行う。
色信号処理部５３は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理，Ｈｕｅ／Ｇａｉｎ調整などを行う。
【００１７】
また、色信号処理部５３は、色差信号生成部５３１、低彩度圧縮部５３２をさらに有する。
色差信号生成部５３１は、入力された赤色信号Ｒ、緑色信号Ｇ、青色信号Ｂを基に、色差信号Ｃｒ及びＣｂを生成する。
低彩度圧縮部５３２は、色差信号生成部５３１が生成した色差信号Ｃｒ／Ｃｂと、輝度信号処理部から入力された輝度信号Ｙとを基に、後述する低彩度圧縮処理を行う。
【００１８】
次に、低彩度圧縮部５３２が行う低彩度圧縮処理について説明する。
従来の低彩度圧縮処理では、上記背景技術及び課題において説明したように、画像データ内の彩度が低い部位を圧縮してしまい、色味をなくすことにより色ノイズを低減する。このため、色ノイズの色合いに近い淡い色合いをも圧縮してしまい、画像データ全体のニュアンスが異なってしまう、という不利益を生じる。
より具体的に説明すると、入力された色差信号Ｃｒ或いはＣｂが、ある一定のレベル（例えば、しきい値ｔｈ＿ｃｍｐ）以下である場合に、出力値を図２に示すように圧縮する。すなわち、彩度が高い部分は（大きい色差信号は）そのまま出力されるが、彩度が低い部分は（ｔｈ＿ｃｍｐ以下の色差信号は）圧縮されて無彩色に近づくために、色ノイズが低減されるとともに画像全体としてのニュアンスが異なってしまう。
なお、しきい値ｔｈ＿ｃｍｐは、例えば経験的に設定された値であり、その設定方法は本発明では限定しない。
【００１９】
そこで、本実施形態の低彩度圧縮部５３２では、上述した従来の低彩度圧縮処理を行った後、元の圧縮されていない色差信号と、圧縮された色差信号（以下被圧縮色差信号Ｃｒ＿ｃｍｐ及びＣｂ＿ｃｍｐと表す）とを適当な比率で合成することにより、色ノイズ部分を圧縮しつつ画像全体の色味にかかわる部分に関しては圧縮を抑えることが可能になる。
【００２０】
圧縮されていない色差信号Ｃｒ及びＣｂと、被圧縮色差信号Ｃｒ＿ｃｍｐ及びＣｂ＿ｃｍｐとを合成する際には、以下の式（１）に従って合成し、合成色差信号Ｃｒ＿ｃｏｍ及びＣｂ＿ｃｏｍを生成する。
【００２１】
【数１】
2008099196.tif 000003
【００２２】
非圧縮率ｒ（所定の比率）は、圧縮されていない色差信号と、被圧縮色差信号とを合成する際の比率を示す係数であり、輝度信号Ｙを基に算出される。非圧縮率ｒの算出方法については後述する。
なお、実際には式（１）を変形して以下の式（２）に示す式とすれば、式（１）に比較して回路規模を抑えることが可能になる。
【００２３】
【数２】
2008099196.tif 000004
【００２４】
なお、上記式（１）及び（２）においては色差信号Ｃｒについて示しているが、色差信号Ｃｂの場合も同様の式で合成を行う。
【００２５】
上記式（１）及び（２）では、係数ｒは０から１までの値をとる。
非圧縮率ｒが０であるときは、出力はＣｒ＿ｃｍｐとなり、これはすなわち、出力信号が完全に圧縮された信号のみであることを意味する。
また逆に、非圧縮率ｒが１であるときは、出力はＣｒとなり、これはすなわち、出力信号は全く圧縮されていない信号のみであることを意味する。
【００２６】
次に、非圧縮率ｒの値の設定方法について説明する。
図３は、非圧縮率ｒの設定方法について説明するための図である。
図３の縦軸は非圧縮率ｒ、横軸は輝度信号の輝度値Ｙｉｎである。
図３に示すように、輝度値Ｙｉｎがあるしきい値ｔｈ＿ｓｔａｒｔ未満である場合は、非圧縮率ｒを０とする。
輝度値Ｙｉｎがしきい値ｔｈ＿ｓｔａｒｔ以上、かつｒが１未満である場合は、非圧縮率ｒは以下の式（３）で与えられる。
【００２７】
【数３】
2008099196.tif 000005
【００２８】
ここで、ｇａｉｎは非圧縮率ｒの傾きを表す値であり、自由に設定が可能である。傾きｇａｉｎを小さく設定すれば、非圧縮率ｒは輝度値Ｙｉｎに応じて緩やかに変化するようになる。
式（３）に従って非圧縮率ｒが１に達したら、それ以上の輝度値Ｙｉｎにおいては非圧縮率ｒは１に保たれる。
【００２９】
上述したしきい値ｔｈ＿ｓｔａｒｔ及び傾きｇａｉｎは、出力された色差信号Ｃｒ及びＣｂが最適な色差値を有するように適切に調整される必要がある。すなわち、しきい値ｔｈ＿ｓｔａｒｔ及び傾きｇａｉｎの値は、入力される画像データによって変わってくるために、例えばユーザが入力画像データと出力画像データとを見比べながら上記しきい値ｔｈ＿ｓｔａｒｔ及び傾きｇａｉｎを変化させ、所望の出力画像が出力されるようにしきい値ｔｈ＿ｓｔａｒｔ及び傾きｇａｉｎを調整することによって決定される。
【００３０】
以下、しきい値ｔｈ＿ｓｔａｒｔと傾きｇａｉｎの調整の具体例について説明する。
図４は、しきい値ｔｈ＿ｓｔａｒｔと傾きｇａｉｎの設定の一例を説明するための図である。
図４（ａ）は撮像素子２への入力信号量と入力信号にかかるゲイン値との関係を示す図であり、図４（ｂ）〜（ｄ）は、図４（ａ）におけるゲイン値に応じてしきい値ｔｈ＿ｓｔａｒｔと傾きｇａｉｎとを設定する具体例を示す図である。
撮像素子２にかかるゲイン値が大きいほどＳ／Ｎ比は低くなる（ノイズが多くなる）ので、図４（ａ）に示すゲイン値に応じて、彩度圧縮を実行する輝度の範囲を設定することにより、適切に彩度圧縮された画像を得ることができる。
【００３１】
すなわち、図４（ａ）に示す、ゲイン値が小さい場合（ゲイン値１〜９の場合）には、Ｓ／Ｎ比がそれほど悪くないと判断して図４（ｂ）に示すように、非圧縮率ｒを１に固定し（すなわち彩度圧縮を無しにし）、入力された信号をそのまま出力する。
また、例えばゲイン値が大きい場合（ゲイン値１８〜３６の場合）には、Ｓ／Ｎ比が悪いと判断し、図４（ｄ）に示すように、例えばｔｈ＿ｓｔａｒｔを５％、傾きｇａｉｎを３と設定することによって、彩度圧縮される範囲を大きくすることができる。
また、ゲイン値が大きい場合と小さい場合の中間の場合（ゲイン値９〜１８の場合）には、図４（ｃ）に示すように、非圧縮率ｒも上記２つの場合の中間となるように、例えばしきい値ｔｈ＿ｓｔａｒｔを０％、傾きｇａｉｎを８と設定する。
【００３２】
このように設定することによって、Ｓ／Ｎ比が大きいと判断できる、ゲイン値が大きい部位では彩度圧縮の比率を上げ、Ｓ／Ｎ比が小さいと判断できる、ゲイン値が小さい部位では彩度圧縮の比率を下げることによって、入力画像に対して適切に彩度圧縮を行うことができ、画像全体の色味を損なわずに色ノイズを軽減することができる。
なお、上述したしきい値ｔｈ＿ｓｔａｒｔ及び傾きｇａｉｎの設定方法は一例であり、本発明の非圧縮率ｒは上述した設定方法に限定されない。例えば、カメラシステム１００の設計時に予め決定しておき、出荷時に記憶させておく等でも良いし、ユーザが入力画像と出力画像とを見比べながらリアルタイムに設定しても良い。
【００３３】
次に、本実施形態のカメラシステム１００の動作例について説明する。
図５は、カメラシステム１００の動作例について説明するためのフローチャートである。
ステップＳＴ１：
レンズ１に入射した光を基に、撮像素子２が画像データを生成する。
ステップＳＴ２：
ステップＳＴ１において生成された画像データが信号処理部５に入力され、歪み欠陥処理部５１が輝度信号Ｙと色信号Ｒ，Ｇ，Ｂとに分離する。
【００３４】
ステップＳＴ３：
色差信号生成部５３１は、色信号Ｒ，Ｇ，Ｂを基に色差信号Ｃｒ，Ｃｂを生成する。
ステップＳＴ４：
図１に図示しない操作部等を介したユーザの操作等によって、非圧縮率ｒが設定される。
なお、非圧縮率ｒはユーザの操作によって設定されてもよいし、予めゲイン値等に応じて設定され記憶されていても良い。また、図５に示した動作例では本ステップＳＴ４において非圧縮率ｒの設定を行っているが、本発明はこれには限定されず、非圧縮率ｒの設定は後述するステップＳＴ６において低彩度圧縮部５３２が行う処理より前に行われればよい。
【００３５】
ステップＳＴ５：
低彩度圧縮部５３２は、ステップＳＴ３において生成された色差信号Ｃｒ，Ｃｂを基に、色差信号がｔｈ＿ｃｍｐ以下のＣｒ及びＣｂを圧縮した、被圧縮色差信号Ｃｒ＿ｃｍｐ及びＣｂ＿ｃｍｐを生成する。
ステップＳＴ６：
低彩度圧縮部５３２は、ステップＳＴ５において生成された被圧縮色差信号Ｃｒ＿ｃｍｐ及びＣｂ＿ｃｍｐと、圧縮されていない色差信号Ｃｒ及びＣｂとを、ステップＳＴ４において設定された非圧縮率ｒの値を使用し式（１）または（２）に従って合成し、合成色差信号Ｃｒ＿ｃｏｍ及びＣｂ＿ｃｏｍを生成する。
ステップＳＴ７：
信号処理部５は、合成色差信号Ｃｒ＿ｃｏｍ及びＣｂ＿ｃｏｍ、輝度信号Ｙとをアナログに変換して出力する。
【００３６】
以上説明したように、本実施形態のカメラシステム１００によれば、輝度信号Ｙに応じて非圧縮率ｒを設定し、一定のレベルｔｈ＿ｃｍｐ以下の色差信号を圧縮した被圧縮色差信号と、圧縮していない色差信号とを非圧縮率ｒに応じて合成することによって、色ノイズが目立つ低輝度部においては被圧縮色差信号の割合を高めて色ノイズを強力に除去するとともに、非圧縮率を適切に設定することによって、画像全体の色味が異なってしまう自体を回避することができる。
【００３７】
また、従来の低彩度圧縮処理を実行できる回路では、多タップのフィルタが必要であったが、本実施形態のカメラシステム１００によれば、式（２）を使用した回路構成とすることにより、回路を構成するのが容易になる。
また、非圧縮率ｒは自由に設定が可能であるため、入力される画像データに応じて適切な色ノイズ除去を行うことができる。
【００３８】
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【００３９】
上述した実施形態においては、画像データを輝度信号と色信号（ＲＧＢ）信号とに分離し、ＲＧＢ信号を基に色差信号Ｃｒ及びＣｂを生成し、色差信号を利用して低彩度圧縮及び合成処理を行うカメラシステム１００について説明したが、本発明はこれには限定されない。すなわち、本発明では、例えば、ＲＧＢ信号からＲ−Ｇ／Ｂ−Ｇ／Ｇ信号等を生成し、これを基に上述した処理を行うようにしても良い。また、色信号を他の色空間に分離して上述した処理を行っても良い。
【００４０】
また、上述した実施形態においては、被圧縮色差信号と圧縮されていない色差信号との２つの信号を合成する例について説明したが、本発明はこれには限定されない。すなわち、本発明では、被圧縮信号において圧縮される領域（入力レベルｔｈ＿ｃｍｐ以下の部分）とその圧縮率とを入力レベルに応じて２つ以上に分け、それぞれ異なる圧縮率によって圧縮された２つ以上の色差信号と、圧縮されていない色差信号とを、予め設定された非圧縮率ｒ´に応じた比率で合成するようにしてもよい。
【図面の簡単な説明】
【００４１】
【図１】図１は、カメラシステム１００の構成を示すブロック図である。
【図２】図２は、低彩度圧縮について説明するための図である。
【図３】図３は、非圧縮率ｒの設定方法について説明するための図である。
【図４】図４は、しきい値ｔｈ＿ｓｔａｒｔと傾きｇａｉｎの設定の一例を説明するための図である。
【図５】図５は、カメラシステム１００の動作例について説明するためのフローチャートである。
【符号の説明】
【００４２】
１００…カメラシステム、１…レンズ、２…撮像素子、３…前処理部、４…ＡＤ変換器、５…信号処理部、５１…歪欠陥処理部、５２…輝度信号処理部、５３…色信号処理部、５３１…色差信号生成部、５３２…低彩度圧縮部
【図１】
2008099196.tif 000006
【図２】
2008099196.tif 000007
【図３】
2008099196.tif 000008
【図４】
2008099196.tif 000009
【図５】
2008099196.tif 000010