(57)【特許請求の範囲】
【請求項１】
複数の色成分のそれぞれが画素毎に対応付けられて繰り返し配列される画像信号から輝度信号を生成する画像信号処理装置において、
前記画像信号を取り込み、各色成分毎に分離して複数の色画像信号を生成する色分離回路と、
前記複数の色画像信号のそれぞれに対応して設けられ、前記画像信号における画素の配列周期に応じた周波数を中心とするトラップ帯域幅で前記色画像信号を減衰する複数のトラップフィルタと、
前記各トラップフィルタから出力された各色画像信号を所定の割合で合成して前記輝度信号を生成する合成回路と、
を有し、
前記トラップ帯域幅が、前記画像信号における前記色成分信号の前記色成分毎の出現頻度に応じて設定されること、
を特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、
出現頻度の高い色成分信号に対応する前記トラップフィルタの前記トラップ帯域幅が、出現頻度の低い色成分信号に対応する前記トラップフィルタの前記トラップ帯域幅より狭く設定されることを特徴とする画像信号処理装置。
【請求項３】
請求項１又は請求項２に記載の画像信号処理装置において、
前記画像信号は、偶数行で赤色及び緑色が交互に配列されると共に、奇数行で緑色及び青色が交互に配列され、
前記複数のトラップフィルタは、前記画像信号における画素の配列周期に応じた水平サンプリング周波数の１／２を中心とした前記トラップ帯域幅にて減衰特性を有し、
前記緑色に対応する前記トラップフィルタは、前記赤色及び前記青色それぞれに対応する前記トラップフィルタよりも狭いトラップ帯域幅にて減衰特性を有すること、
を特徴とする画像信号処理装置。
【請求項４】
請求項３記載の画像信号処理装置において、
前記色分離回路は、前記画像信号の偶数行を読み出すとき、前記青色及び緑色の色成分に対応する色画像信号を列方向に補間し、奇数行を読み出すとき、前記赤色及び緑色の色成分に対応する色画像信号を列方向に補間して複数の色画像信号を生成し、
前記各トラップフィルタは、前記色分離回路から出力される前記複数の色画像信号を行方向に補間すること、
を特徴とする画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各色の画素がモザイク配列された撮像装置により得られた各色信号から画像信号を生成する画像信号処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサ等の固体撮像素子の受光画素に複数の色のカラーフィルタをモザイク配置して、１つの撮像素子でカラー画像を得ることができる。カラーフィルタのモザイク配列としては、図５に示すベイヤー配列が存在する。この配列は、例えば、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の３原色のフィルタから構成され、その繰り返しの単位となる４画素のブロックが行方向及び列方向それぞれに繰り返して配置される。奇数行でＧ及びＢが交互に配列されると共に、偶数行でＲ及びＧが交互に配列され、１ブロック当たりＧが２画素、Ｒ及びＢがそれぞれ１画素ずつである。
【０００３】
撮像素子からは、各色それぞれに対応した画像信号である色信号が得られる。画像表示には、これらをホワイトバランス補正の後に所定比率で合成した画像信号である輝度信号が必要となる。
【０００４】
また、ＣＣＤイメージセンサを用いた単板式ＣＣＤカメラでは、サンプリングに伴う折り返しひずみを避けるために、ＣＣＤイメージセンサと撮像レンズとの間に光学ＬＰＦ（Low Pass Filter）が設けられる。これによりＣＣＤイメージセンサに入射される光学像の高周波のうち、水平サンプリング周波数ｆHの１／２以上の成分が除去されている。
【０００５】
このように異なる色のフィルタが交互に配列された撮像素子から得られる色信号に基づいて生成された輝度信号には、フィルタの配列周期に応じたモアレノイズが発生する。これを除去するために、水平サンプリング周波数ｆHの１／２の位置でレスポンスが極小となるトラップフィルタを用いて、輝度信号をフィルタリングする必要がある。
【０００６】
【発明が解決しようとする課題】
例えば、各色間のレベルバランスが十分に調整された状態で単色の被写体を撮影したときに得られる輝度信号では、従来の技術によりモアレを抑制することができる。しかし、例えば、白い背景内に赤い物体がある場合のように、ある境界線の両側で色が大きく異なる場合などには、その境界にてジャギーと呼ばれる一種のモアレノイズが生じやすい。このジャギーはトラップフィルタのｆH／２近傍での減衰特性が急峻であるほど顕著となる。逆に言えば、トラップフィルタの特性を急峻でなくする、つまり、減衰される帯域幅を拡大してｆH／２近傍でのレスポンスを低下させれば、ジャギーを含めモアレノイズを軽減することができる。しかし、この方法では、フィルタリング後の輝度信号の解像度が犠牲となるという問題が生じる。
【０００７】
本発明は上記問題点を解消するためになされたもので、色の境界でもモアレノイズが発生しにくく、かつ高解像度の画像信号が得られる画像信号処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、画像信号を取り込み、各色成分毎に分離して複数の色画像信号を生成する色分離回路と、前記複数の色画像信号のそれぞれに対応して設けられ、前記画像信号における画素の配列周期に応じた周波数を中心とするトラップ帯域幅で前記色画像信号を減衰する複数のトラップフィルタと、前記各トラップフィルタから出力された各色画像信号を所定の割合で合成して前記輝度信号を生成する合成回路とを有し、前記トラップ帯域幅が、前記画像信号における前記色成分信号の前記色成分毎の出現頻度に応じて設定される。
【０００９】
本発明の好適な態様は、出現頻度の高い色成分信号に対応する前記トラップフィルタの前記トラップ帯域幅が、出現頻度の低い色成分信号に対応する前記トラップフィルタの前記トラップ帯域幅より狭く設定されることを特徴とする画像信号処理装置である。
【００１０】
本発明の他の好適な態様は、前記画像信号が、偶数行で赤色及び緑色が交互に配列されると共に、奇数行で緑色及び青色が交互に配列され、前記複数のトラップフィルタが、前記画像信号における画素の配列周期に応じた水平サンプリング周波数の１／２を中心とした前記トラップ帯域幅にて減衰特性を有し、前記緑色に対応する前記トラップフィルタが、前記赤色及び前記青色それぞれに対応する前記トラップフィルタよりも狭いトラップ帯域幅にて減衰特性を有することを特徴とする画像信号処理装置である。
【００１１】
本発明の別の好適な態様は、前記色分離回路が、前記画像信号の偶数行を読み出すとき、前記青色及び緑色の色成分に対応する色画像信号を列方向に補間し、奇数行を読み出すとき、前記赤色及び緑色の色成分に対応する色画像信号を列方向に補間して複数の色画像信号を生成し、前記各トラップフィルタが、前記色分離回路から出力される前記複数の色画像信号を行方向に補間することを特徴とする画像信号処理装置である。
【００１２】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００１３】
図１は、本発明の実施形態である画像信号処理装置の概略のブロック構成図である。この画像信号処理装置２は、ベイヤー配列のＣＣＤイメージセンサを用いた単板式ＣＣＤカメラからの映像信号Ｄを入力され、輝度信号及びＲＧＢ各色信号を生成して出力する。
【００１４】
画像信号処理装置２は、色分離回路４、ＲＧＢ各色毎に設けられたトラップフィルタであるＲ用フィルタ回路６、Ｇ用フィルタ回路８及びＢ用フィルタ回路１０、白バランス回路１２、ＲＧＢ各色信号を合成する合成回路１４を含んで構成される。
【００１５】
入力された映像信号Ｄは、ＣＣＤイメージセンサから１水平ラインずつ読み出され、各水平ラインには、Ｒ及びＧ画素、又はＧ及びＢ画素にて得られる画素信号が交互に現れる。
【００１６】
色分離回路４は、入力された映像信号からＲＧＢ各色の色信号Ｄ［Ｒ］，Ｄ［Ｇ］，Ｄ［Ｂ］を分離して出力する。色分離回路４には、少なくとも１ライン分の映像信号Ｄを保持するラインメモリと列方向の補間を行うフィルタ回路が内蔵される。入力される映像信号Ｄは、図２に示すように、偶数ラインの読み出し動作において、Ｒが素及びＧ画素で得られる画像信号が連続し、奇数ラインの読み出し動作において、Ｂ画素及びＧ画素で得られる画像信号が連続する。このため、色分離回路４では、少なくとも１ライン分の映像信号を保持し、垂直方向の補間を行うことで、各ラインの読み出しの際に全ての色信号Ｄ［Ｒ］，Ｄ［Ｇ］，Ｄ［Ｂ］を出力するようにしている。すなわち、偶数ラインの読み出しが行われているときは、色信号Ｄ［Ｒ1］，Ｄ［Ｒ3］，Ｄ［Ｒ5］，Ｄ［Ｒ7］及び色信号Ｄ［Ｇ2］，Ｄ［Ｇ4］，Ｄ［Ｇ6］，Ｄ［Ｇ8］を振り分けて出力し、同時に、少なくとも１ライン前の映像信号に含まれる色信号Ｄ［Ｇ］及びＤ［Ｂ］に基づいて補間を行って色信号Ｄ［Ｂ2］，Ｄ［Ｂ4］，Ｄ［Ｂ6］，Ｄ［Ｂ8］及びＤ［Ｇ1］，Ｄ［Ｇ3］，Ｄ［Ｇ5］，Ｄ［Ｇ7］を生成し、出力するようにしている。また、奇数ラインの読み出しが行われているときも同様に、色信号Ｄ［Ｇ9］，Ｄ［Ｇ11］，Ｄ［Ｇ13］，Ｄ［Ｇ15］及び色信号Ｄ［Ｂ10］，Ｄ［Ｂ12］，Ｄ［Ｂ14］，Ｄ［Ｂ16］を出力するのと同時に、色信号Ｄ［Ｒ9］，Ｄ［Ｒ11］，Ｄ［Ｒ13］，Ｄ［Ｒ15］及びＤ［Ｇ10］，Ｄ［Ｇ12］，Ｄ［Ｇ14］，Ｄ［Ｇ16］を生成して出力するようにしている。そして、色分離回路４からは、間欠的な色信号Ｄ［Ｒ］，Ｄ［Ｂ］及び連続的な色信号Ｄ［Ｇ］が出力される。
【００１７】
色分離回路４から出力されたＲ信号、Ｇ信号及びＢ信号はそれぞれＲ用フィルタ回路６、Ｇ用フィルタ回路８、Ｂ用フィルタ回路１０に入力される。そして、各色成分用フィルタ回路６，８，１０において、フィルタリングが施されて行方向の補間がなされ、図３に示すような連続的な色信号Ｄ［ｒ1］〜Ｄ［ｒ16］，Ｄ［ｇ1］〜Ｄ［ｇ16］，Ｄ［ｂ1］〜Ｄ［ｂ16］が出力される。図４は、これらフィルタ回路の透過特性を示す模式的な周波数特性図であり、横軸は周波数、縦軸は透過率を表す。いずれのフィルタも周波数ｆH／２に極小点を有し、その近傍で出力信号を減衰させる。ここで、Ｇ用フィルタ回路８の特性２０は、Ｒ用フィルタ回路６及びＢ用フィルタ回路１０の特性２２に比べて急峻な減衰特性を有するように設定される。つまり、特性２０は周波数ｆH／２を中心とする狭い帯域幅にて信号を減衰させ、一方、特性２２は周波数ｆH／２を中心とする比較的広い帯域幅にて信号を減衰させる。例えば、この帯域幅を透過率が１／２以下になる半値幅で表すこととすると、Ｇに対する特性２０の半値幅ΔGとＲ及びＢに対する特性２２の半値幅ΔRBとの間には、ΔG＜ΔRBなる関係が与えられる。
【００１８】
すなわち、画像信号中で出現頻度の高い色成分Ｇの信号を減衰するＧ用フィルタ回路８では、トラップする帯域幅ΔGが小さく設定され、一方、色成分Ｇに比べて出現頻度の低い色成分Ｒ及びＢの信号を減衰するＲ用フィルタ回路６及びＢ用フィルタ回路１０では、トラップする帯域幅ΔRBがΔGに比べて大きく設定される。これにより、色信号Ｄ［ｇ］では、再生画像の解像度が高くなるように設定され、一方、色信号Ｄ［ｒ］及びＤ［ｂ］では、色境界でのモアレが好適に抑制されるように設定される。
【００１９】
Ｒ用フィルタ回路６、Ｇ用フィルタ回路８及びＢ用フィルタ回路１０からそれぞれ出力されたＲ信号、Ｇ信号及びＢ信号は白バランス回路１２に入力される。
【００２０】
白バランス回路１２は、Ｒ信号Ｄ［ｒ］、Ｇ信号Ｄ［ｇ］、Ｂ信号Ｄ［ｂ］に対してそれぞれ固有のゲイン係数を乗算して互いのバランスを調整し、再生画像上での色再現性を向上させている。すなわち、被写体の照明状態やカラーフィルタの色成分毎の分光透過特性の相違の影響で被写体の色が再生画面上で正しく再現されなくなるのを防止している。通常、白バランス制御においては、１画面乃至数画面単位で各色信号Ｄ［ｒ］，Ｄ［ｇ］，Ｄ［ｂ］の積分値が所定の値に収束するようなフィードバック制御が行われる。
【００２１】
合成回路１４は白バランス回路１２から出力される各色信号Ｄ［ｒ］，Ｄ［ｇ］，Ｄ［ｂ］に基づいて輝度信号Ｙ及び色差信号Ｕ，Ｖを生成する。すなわち、再生画面上で人間の目が視覚的に明るさを認識する割合が、３原色Ｒ，Ｇ，Ｂに対して３：６：１であるため、この割合で合成して輝度信号Ｙを生成する。そして、この輝度信号ＹをＢ信号Ｄ［ｂ］から差し引くことにより、色差信号Ｕを生成し、Ｒ信号Ｄ［ｒ］から差し引くことによって色差信号Ｖを生成する。なお、白バランス回路１２から出力される各色信号Ｄ［ｒ］，Ｄ［ｇ］，Ｄ［ｂ］は合成回路１４に供給されずに、個別に出力されても良い。
【００２２】
画像信号処理装置２から出力されたＹ信号及びＲＧＢ各信号は画像表示に用いられる。上記ΔGは表示される画像の解像度が高くなるように、小さく設定され、一方、ΔRBは色境界でのモアレが好適に抑制される程度に大きく設定される。
【００２３】
【発明の効果】
本発明の画像信号処理装置によれば、色の境界でもモアレノイズが発生しにくく、かつ高解像度の画像信号が得られる。
【図面の簡単な説明】
【図１】  本発明の実施形態である画像信号処理装置の概略のブロック構成図である。
【図２】  垂直方向の補間後における各ラインの各色の色信号の時系列を示す模式図である。
【図３】  各色成分用フィルタ回路により行方向の補間がなされた各色の色信号の時系列を示す模式図である。
【図４】  各色毎のフィルタの透過特性を示す模式的な周波数特性図である。
【図５】  カラーフィルタのベイヤー配列を示す模式図である。
【符号の説明】
４  色分離回路、６  Ｒ用フィルタ回路、８  Ｇ用フィルタ回路、１０  Ｂ用フィルタ回路、１２  白バランス回路、１４  合成回路。
【図１】
0004641675.tif 000002
【図２】
0004641675.tif 000003
【図３】
0004641675.tif 000004
【図４】
0004641675.tif 000005
【図５】
0004641675.tif 000006