(57)【特許請求の範囲】
【請求項１】
複数色のフィルタ要素が配置された補色フィルタ、
前記補色フィルタが受光面に装着されるかつ各画素が前記複数色のいずれか１つの色成分を持つ第１画素信号を出力するイメージセンサ、
複数の前記第１画素信号に基づいて各画素が前記複数色の色成分を持つ第２画素信号を生成する第１生成手段、
前記第２画素信号に所定の演算処理を施して各画素が色差成分を含む第３画素信号を生成する第２生成手段、
互いに隣接する２画素間における前記色差成分の差分を検出する検出手段、および
前記第３画素信号に含まれる前記色差成分のレベルを前記差分に応じて低減させる低減手段を備える、ディジタルカメラ。
【請求項２】
ある画素の前記第２画素信号の生成に用いられる前記複数の第１画素信号は、前記ある画素に隣接する画素の前記第２画素信号の生成に用いる前記複数の第１画素信号と部分的に共通する、請求項１記載のディジタルカメラ。
【請求項３】
前記複数色の一部は第１列に属し、
前記複数色の他の一部は前記第１列に隣接する第２列の属し、
前記第２生成手段は前記第１列に属する色成分を持つ前記第１画素信号の和から前記第２列に属する色成分を持つ前記第１画素信号の和を引き算して前記色差成分を求め、
前記検出手段は前記第１列および前記第２列に直交する方向に隣接する２画素間における前記色差成分の差分を検出する、請求項１または２記載のディジタルカメラ。
【請求項４】
前記複数色はＧ，Ｍｇ，ＹｅおよびＣｙであり、前記Ｇおよび前記Ｙｅが前記第１列に属し、前記Ｍｇおよび前記Ｃｙが前記第２列に属し、そして前記色差成分はＣｂ成分である、請求項３記載のディジタルカメラ。
【請求項５】
前記低減手段は、前記差分に応じて“０”から“１”の間で変化するゲインを発生するゲイン発生手段、および前記ゲイン発生手段によって発生された前記ゲインを前記第２画素信号に含まれる前記色差成分に乗じる乗算手段を含む、請求項１ないし４のいずれかに記載のディジタルカメラ。
【請求項６】
前記ゲイン発生手段は、前記差分が第１所定値未満のときにゲイン“１”を発生し、前記差分が前記第１所定値よりも大きい第２所定値以上のときにゲイン“０”を発生し、そして前記差分が前記第１所定値以上で前記第２所定値未満のときに“０”以上“１”未満のゲインを発生する、請求項５記載のディジタルカメラ。
【請求項７】
前記検出手段は、現画素の前記色差成分と前画素の前記色差成分との間の第１差分を検出する第１差分検出手段、前記現画素の色差成分と次画素の前記色差成分との間の第２差分を検出する第２差分検出手段、および前記第１差分および前記第２差分のうち絶対値が大きい方を出力する出力手段を含む、請求項１ないし６のいずれかに記載のディジタルカメラ。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、ディジタルカメラに関し、特にたとえば、補色フィルタが装着されたイメージセンサを用いて被写体を撮影する、ディジタルカメラに関する。
【０００２】
【背景技術】
図２に示すような補色フィルタがイメージセンサの受光面に装着された場合、イメージセンサからは、各々がＹｅ（イエロー）、Ｃｙ（シアン），Ｇ（グリーン）およびＭｇ（マゼンダ）のいずれか１つの色成分に対応する画素信号が出力される。この画素信号は、補間処理を経て輝度信号Ｙおよび色差信号ＣｒおよびＣｂに変換され、輝度信号Ｙおよび色差信号ＣｒおよびＣｂは、さらにＲ信号，Ｇ信号およびＢ信号に変換される。
【０００３】
【発明が解決しようとする課題】
ここで、図２に示す２画素×２ラインの色ブロックＢCに注目した場合、この色ブロックから生成される各々の画素信号は、Ｇ，Ｍｇ，ＹｅおよびＣｙのいずれか１つの色成分にしか対応していない。このような画素信号に補間処理を施することで、４つの色成分の全てに対応する画素信号が色ブロックＢCの中央（黒丸の位置）で生成される。さらに、補間処理が施された画素信号から色差信号ＣｒおよびＣｂを生成するときに、数１に従う演算が行なわれる。
【０００４】
【数１】
Ｃｒ＝Ｍｇ＋Ｙｅ−Ｃｙ−Ｇ
Ｃｂ＝Ｍｇ＋Ｃｙ−Ｙｅ−Ｇ
数１によれば、色差信号Ｃｒは、色ブロックＢCの一方の対角線上に位置する２画素の加算結果と他方の対角線上に位置する２画素の加算結果との間で減算処理を施すことで生成される。これに対して、色差信号Ｃｂは、色ブロックＢCの右側に位置する２画素の加算結果と左側に位置する２画素の加算結果との間で減算処理を施すことで生成される。
【０００５】
すると、被写体の明るさが水平方向において急激に変化するようなとき、色差信号Ｃｒは図７（Ｄ）に示すように常にゼロレベルをとるフラットな特性を示すが、色差信号Ｃｂは、図６（Ｃ）に示すように極性が交互に変化する特性を示す。このように、色差信号Ｃｂがゼロレベルとは異なるレベルをとることが原因で、被写体像の水平方向のエッジにモワレが発生してしまう。なお、垂直方向では、図８（Ｄ）に示すように、色差信号ＣｒおよびＣｂのいずれもフラットな特性を示し、結局、色差信号Ｃｂの水平方向における特性にのみレベルの変動が現われる。
【０００６】
ただし、これは図２に示す配列の補色フィルタを用いたときの特性であり、Ｙｅ，Ｃｙ，ＭｇおよびＧのフィルタ要素からなる補色フィルタを用いる限り、色差信号ＣｒまたはＣｂの水平方向または垂直方向における特性にレベルの変化が現われ、この結果、いずれかのエッジでモワレが発生してしまう。
【０００７】
それゆえに、この発明の主たる目的は、モワレを低減することができる、ディジタルカメラを提供することである。
【０００８】
【課題を解決するための手段】
この発明は、複数色のフィルタ要素が配置された補色フィルタ、補色フィルタが受光面に装着されるかつ各画素が複数色のいずれか１つの色成分を持つ第１画素信号を出力するイメージセンサ、複数の第１画素信号に基づいて各画素が複数色の色成分を持つ第２画素信号を生成する第１生成手段、第２画素信号に所定の演算処理を施して各画素が色差成分を含む第３画素信号を生成する第２生成手段、互いに隣接する２画素間における色差成分の差分を検出する検出手段、および第３画素信号に含まれる色差成分のレベルを差分に応じて低減させる低減手段を備える、ディジタルカメラである。
【０００９】
【作用】
イメージセンサの受光面には、複数色のフィルタ要素が配置された補色フィルタが装着され、イメージセンサから出力される各画素の第１画素信号は、複数色のいずれか１つの色成分を持つ。第１生成手段は、イメージセンサから出力された複数の前記第１画素信号に基づいて、各画素が複数色の色成分を持つ第２画素信号を生成する。この第２画素信号は、第２生成手段によって所定の演算処理を施され、これによって各画素が色差成分を含む第３画素信号が生成される。検出手段は、互いに隣接する２画素間における色差成分の差分を検出し、低減手段は、第３画素信号に含まれる色差成分のレベルを検出された差分に応じて低減させる。
【００１０】
好ましくは、ある画素の第２画素信号の生成に用いられる複数の第１画素信号は、この画素に隣接する画素の第２画素信号の生成に用いる複数の第１画素信号と部分的に共通する。
【００１１】
さらに好ましくは、複数色の一部は第１列に属し、複数色の他の一部は第１列に隣接する第２列の属する。このとき、第２生成手段は、第１列に属する色成分を持つ第１画素信号の和から第２列に属する色成分を持つ第１画素信号の和を引き算して色差成分を求める。また、検出手段は、第１列および第２列に直交する方向に隣接する２画素間における色差成分の差分を検出する。
【００１２】
なお、複数色は、好ましくはＧ，Ｍｇ，ＹｅおよびＣｙである。このうち、ＧおよびＹｅが第１列に属し、ＭｇおよびＣｙが第２列に属する。また、色差成分は、好ましくはＣｂ成分である。
【００１３】
低減手段においては、好ましくは、ゲイン発生手段が、差分に応じて“０”から“１”の間で変化するゲインを発生する。発生されたゲインは、乗算手段によって第２画素信号に含まれる色差成分に乗じられる。ここで、ゲイン発生手段は、好ましくは、差分が第１所定値未満のときにゲイン“１”を発生し、差分が第１所定値よりも大きい第２所定値以上のときにゲイン“０”を発生し、そして差分が第１所定値以上で第２所定値未満のときに“０”以上“１”未満のゲインを発生する。
【００１４】
検出手段においては、好ましくは、現画素の色差成分と前画素の色差成分との間の第１差分が第１差分検出手段によって検出され、現画素の色差成分と次画素の色差成分との間の第２差分が第２差分検出手段によって検出される。出力手段は、第１差分および第２差分のうち絶対値が大きい方を出力する。
【００１５】
【発明の効果】
この発明によれば、互いに隣接する２画素間における色差成分の差分に応じて色差成分のレベルを低減させるようにしたため、隣接する２画素間で色差成分のレベルが変動することに起因して発生するモワレを低減させることができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１７】
【実施例】
図１を参照して、この実施例のディジタルカメラ１０はレンズ１２を含み、このレンズ１２から入射された光像が、補色フィルタ１４を介してＣＣＤイメージャ１６に照射される。補色フィルタ１４は、図２に示すようにＹｅ，Ｃｙ，ＧまたはＭｇのフィルタ要素を持つ。奇数ラインにはＧおよびＭｇのフィルタ要素が１画素毎に交互に配置され、偶数ラインにはＹｅおよびＣｙのフィルタ要素が１画素毎に交互に配置される。Ｇのフィルタ要素はＹｅのフィルタ要素の上下に配置され、Ｍｇのフィルタ要素はＣｙのフィルタ要素の上下に配置される。このため、２画素×２ラインの色ブロックＢCに注目すると、左側の垂直列にはＧおよびＹｅのフィルタ要素が存在し、右側の垂直列にはＭｇおよびＣｙのフィルタ要素が存在する。このようなフィルタ要素の各々が、ＣＣＤイメージャ１６の１つの受光素子（画素）に対応する。
【００１８】
ＣＣＤイメージャ１６は、各々の受光素子で光電変換によって生成された画素信号を、タイミングジェネレータ２０からのタイミング信号に応答してプログレッシブスキャン方式で出力する。このため、奇数ラインでは、ＧまたはＭｇの色成分に対応する画素信号が１画素毎に交互に出力され、偶数ラインでは、ＹｅまたはＣｙの色成分に対応する画素信号が１画素毎に交互に出力される。Ａ／Ｄ変換器１８は、ＣＣＤイメージャ１６から出力された各々の画素信号をディジタル信号に変換してＲＡＭ２２に与える。Ａ／Ｄ変換された画素信号は、タイミングジェネレータ２０からのタイミング信号に応じて動作するメモリコントロール回路２４によって、メモリエリア２２ａに書き込まれる。
【００１９】
それぞれの画素はＹｅ，Ｃｙ，ＧｒおよびＭｇのいずれか１つの色成分しか持たないため、メモリコントロール回路２４は、メモリエリア２２ａからの画素信号の読み出し時に図３に示すフロー図を処理し、それぞれの画素が不足する３つの色成分を補間する。図３を参照して、メモリコントロール回路２４は、まずステップＳ１で、ロウ方向（水平方向）のアドレスを示すカウンタ２４ａのカウント値ｘおよびカラム方向（垂直方向）のアドレスを示すカウンタ２４ｂのカウント値ｙを“１”にセットし、次にステップＳ３〜Ｓ９のそれぞれで（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ＋１）および（ｘ＋１，ｙ＋１）のアドレスから画素信号を順次読み出す。ステップＳ１１では、カウント値ｘが所定値つまり水平画素数−１であるかどうか判断する。ここで“ＮＯ”であれば、ロウ方向における次の４画素を処理すべくステップＳ１３でカウント値ｘをインクリメントし、ステップＳ３に戻る。一方、ステップＳ１１で“ＹＥＳ”と判断されると、ステップＳ１５でカウント値ｙが所定値つまり垂直画素数−１であるかどうか判断する。そして“ＮＯ”であれば、次のラインの左端に位置する４画素を処理すべく、ステップＳ１７でカウント値ｘを“１”に戻すとともにカウント値ｙをインクリメントし、ステップＳ３に戻る。ステップＳ１５で“ＹＥＳ”であれば処理を終了する。
【００２０】
このようにして２画素×２ラインの色ブロックＢC毎に補間処理が施され、各画素がＧ，Ｍｇ，ＹｅおよびＣｙの全ての色成分を持つ画素信号が生成される。この４つの色成分を持つ画素信号は、各色ブロックＢCの中央（黒丸の位置）で生成されたものと考えることができる。
【００２１】
ＲＡＭ２２からは、同じ画素位置で生成されたＧ，Ｍｇ，ＹｅおよびＣｙの色成分がシリアル方式で出力される。このため、シリアル／パラレル変換回路２６は、４つの色成分が入力される毎に、この４つの色成分にシリアル／パラレル変換を施す。この結果、同じ画素信号に含まれるＧ，Ｍｇ，ＹｅおよびＣｙの色成分が、シリアル／パラレル変換回路２６から同時に出力される。
【００２２】
演算回路２８は、シリアル／パラレル変換回路２６から同時に出力されたＹｅ，Ｃｙ，ＭｇおよびＧの色成分に対して数２に従う演算を施し、輝度成分Ｙならびに色差成分ＣｒおよびＣｂを生成する。各々の画素信号を形成する成分は、Ｇ成分，Ｍｇ成分，Ｙｅ成分およびＣｙ成分からＹ成分，Ｃｒ成分およびＣｂ成分に変換される。
【００２３】
【数２】
Ｙ＝Ｍｇ＋Ｙｅ＋Ｃｙ＋Ｇ
Ｃｒ＝Ｍｇ＋Ｙｅ−Ｃｙ−Ｇ
Ｃｂ＝Ｍｇ＋Ｃｙ−Ｙｅ−Ｇ
このうち、輝度成分Ｙおよび色差成分ＣｒはそのままＲＧＢ変換回路３２に与えられるが、色差成分Ｃｂはモワレ低減回路３０を介してＲＧＢ変換回路３２に与えられる。ＲＧＢ変換回路３２では、輝度成分Ｙならびに色差成分ＣｒおよびＣｂに所定の演算が施され、これによって各画素信号の成分が原色系のＲ成分，Ｇ成分およびＢ成分に変換される。
【００２４】
モワレ低減回路３０は、具体的には図４に示すように構成される。演算回路２８から入力されたＣｂ成分は、レジスタ３０ａおよび３０ｂによる２画素期間の遅延処理を経て、乗算器３０ｎに与えられる。一方、減算器３０ｃは、演算回路２８から入力されたＣｂ成分およびレジスタ３０ａから出力されたＣｂ成分に減算処理を施し、減算結果の絶対値を絶対値比較回路３０ｅに与える。また、減算器３０ｄは、レジスタ３０ａおよび３０ｂから出力された各々のＣｂ成分に減算処理を施し、減算結果の絶対値を絶対値比較回路３０ｅに与える。つまり、減算器３０ｄは、前画素Ｃｂ成分および現画素Ｃｂ成分の差分の絶対値を絶対値比較回路３０ｅに与え、減算器３０ｃは、現画素Ｃｂ成分および次画素Ｃｂ成分の差分の絶対値を絶対値比較回路３０ｅに与える。
【００２５】
絶対値比較回路３０ｅは、減算器３０ｃおよび３０ｄからから与えられた２つの絶対値を互いに比較し、値が大きい方の絶対値（差分絶対値ＣｂS）を出力する。出力された差分絶対値ＣｂSは減算器３０ｆに与えられ、減算器３０ｆは、差分絶対値ＣｂSから所定閾値“ＣｂTH”を減算する。乗算器３０ｇは、減算器３０ｆから出力された減算値に所定値“−ＣｂINC”を乗算し、乗算値を加算器３０ｈに与える。加算器３０ｈでは、乗算値が所定値“１”と加算される。このため、加算器３０ｈから出力される加算値ＣｂAは、数３を満たす。
【００２６】
【数３】
ＣｂA＝１−ＣｂINC（ＣｂS−ＣｂTH）
加算値ＣｂAはクリップ回路３０ｊによってローレベルクリップを施される。つまり、加算値ＣｂAが“０”以上の数値を示していれば、この加算値ＣｂAがクリップ回路３０ｊからそのまま出力されるが、加算値ＣｂAが“０”を下回れば、“０”がクリップ回路３０ｊから出力される。
【００２７】
絶対値比較回路３０ｅから出力された差分絶対値ＣｂSはまた、比較器３０ｉに与えられる。比較器３０ｉは、入力された差分絶対値ＣｂSを所定閾値ＣｂTHと比較し、ＣｂS＞ＣｂTHであればハイレベル信号を、ＣｂS≦ＣｂTHであればローレベル信号をセレクタ３０ｋに出力する。セレクタ３０ｋは、比較器３０ｉの出力がハイレベルのときクリップ回路３０ｊの出力を選択し、比較器３０ｉの出力がローレベルのとき所定値“１”を出力する。セレクタ３０ｋの出力つまりゲインＣｂGは、レジスタ３０ｍで１画素期間遅延されてから乗算器３０ｎに与えられ、乗算器３０ｎによってレジスタ３０ｂからのＣｂ成分に乗じられる。そして、乗算器３０ｎの乗算結果が、図１に示すＲＧＢ変換回路３２に出力される。
【００２８】
絶対値比較回路３０ｅから出力される差分絶対値ＣｂSと乗算器３０ｎに与えられるＣｂGとの関係を図５に示す。差分絶対値ＣｂSが閾値ＣｂTH以下であれば比較器３０ｉからローレベル信号が出力されるため、セレクタ３０ｋはゲインＣｂGとして“１”を選択する。一方、差分絶対値ＣｂSが閾値ＣｂTHを超えると、セレクタ３０ｋはゲインＣｂGとしてクリップ回路３０ｉの出力を選択する。クリップ回路３０ｉは加算値ＣｂA（＝１−ＣｂINC（ＣｂS−ＣｂTH））が“０”以上のときこの加算値ＣｂAを出力し、加算値ＣｂAが“０”を下回るとき“０”を出力する。このため、セレクタ３０ｋによってクリップ回路３０ｉの出力が選択される場合、ゲインＣｂGは、差分絶対値ＣｂSが大きくなるにつれて“１”から徐々に低下する。そして、差分絶対値ＣｂSが所定値（＝ＣｂTH＋１／ＣｂINC）を超えると、ゲインＣｂGは“０”となる。
【００２９】
図２に示す黒丸の配置および図３に示す処理から分かるように、ある黒丸の位置における画素信号の生成処理（補間処理）に用いられる４つの色成分は、この黒丸に隣接する黒丸の位置における画素信号の生成処理（補間処理）に用いられる４つの色成分と部分的に重複する。たとえば、図２に示す色ブロックＢCを形成するＧ成分およびＹｅ成分は、この色ブロックＢCの中央に位置する黒丸ならびにこの黒丸の１つ左側に位置する黒丸の位置における画素信号の生成処理に用いられ、色ブロックＢCを形成するＭｇ成分およびＣｙ成分は、この色ブロックＢCの中央に位置する黒丸ならびにこの黒丸の１つ右側に位置する黒丸の位置における画素信号の生成処理に用いられる。
【００３０】
すると、各色成分に対応するフィルタ要素への入射光の輝度が水平方向において変化する場合に、Ｃｂ＝Ｍｇ＋Ｃｙ−Ｙｅ−Ｇによって生成されるＣｂ成分のレベルが、水平方向に位置する各々の黒丸の位置で変動してしまう。つまり、入射光の輝度が水平方向において図６（Ｂ）に示すように変化し、Ａ／Ｄ変換器１８から出力される画素信号のレベルが図６（Ｃ）に示すように変化すると、演算回路２８によって求められるＣｂ成分のレベルは、図６（Ｄ）に示すように正極および負極の間で交互に変化してしまう。これが、画像のエッジ部分で生じるモワレの原因となる。
【００３１】
このため、この実施例では、図４に示すモワレ低減回路３０を設け、図５に示すような特性を示すゲインＣｂGを演算回路２８から出力されたＣｂ成分に付与するようにしている。図６（Ｄ）に示すＣｂ成分に対しては図６（Ｅ）に示す差分絶対値ＣｂSが得られ、ゲインＣｂGは、差分絶対値ＣｂSが閾値ＣｂTH以下のとき“１”をとり、差分絶対値ＣｂSが閾値ＣｂTHを超えるとき“０”以上“１”未満の値をとる。この結果、乗算器３０ｎからは、図６（Ｆ）に示すようにレベルが低減されたＣｂ成分が出力される。これによって、画像のエッジ部分で生じるモワレを低減させることができる。
【００３２】
なお、図６（Ｇ）は減算器３０ｃから出力された差分絶対値を示す波形図である。図６（Ｅ）と比較すれば分かるように、差分絶対値が最大となるタイミングが互いにずれている。これは、図６（Ｇ）が前画素Ｃｂ成分および現画素Ｃｂ成分の差分の絶対値を示すのに対して、図６（Ｅ）は、前画素Ｃｂ成分および現画素Ｃｂ成分の差分絶対値ならびに現画素Ｃｂ成分および前画素Ｃｂ成分の差分絶対値のうち大きい方の値を示すからである。一方、Ｃｂ成分は図６（Ｄ）に示すタイミングで変化するため、図６（Ｅ）に示す差分絶対値を用いた方が、より効果的にＣｂ成分のレベルを低減させることができる。
【００３３】
なお、この実施例のディジタルカメラとしては、静止画像のみを記録するいわゆるディジタルスチルカメラならびに動画像を記録するビデオムービが含まれる。また、静止画像および動画像の両者を記録するディジタルカメラも考えられる。
【００３４】
また、この実施例では、イメージセンサとしてＣＣＤ型のイメージセンサを用いているが、これに代えてＣＭＯＳ型のイメージセンサを用いてもよいことは言うまでもない。
【００３５】
さらに、この実施例では、図２に示すように各フィルタ要素が配置された補色フィルタを用いて説明したが、フィルタ要素の配列はこれに限られない。
【図面の簡単な説明】
【図１】この発明の一実施例を示すブロック図である。
【図２】図１実施例に適用される補色フィルタを示す図解図である。
【図３】図１実施例の動作の一部を示すフロー図である。
【図４】モワレ低減回路を示すブロック図である。
【図５】モワレ低減回路の特性を示すグラフである。
【図６】（Ａ）は補色フィルタの配列の一部を示す図解図であり、（Ｂ）は入射光の輝度変化を示す波形図であり、（Ｃ）はＡ／Ｄ変換器の出力を示す波形図であり、（Ｄ）はモワレ低減処理を施す前の色差信号Ｃｂを示す波形図であり、（Ｅ）はＣｂ差分信号の一例を示す波形図であり、（Ｆ）はモワレ低減処理を施した後の色差信号Ｃｂを示す波形図であり、そして（Ｇ）はＣｂ差分信号の他の一例を示す波形図である。
【図７】（Ａ）は補色フィルタの配列の一部を示す図解図であり、（Ｂ）は入射光の輝度変化を示す波形図であり、（Ｃ）はＡ／Ｄ変換器の出力を示す波形図であり、（Ｄ）は色差信号Ｃｒを示す波形図である。
【図８】（Ａ）は補色フィルタの配列の一部を示す図解図であり、（Ｂ）は入射光の輝度変化を示す波形図であり、（Ｃ）はＡ／Ｄ変換器の出力を示す波形図であり、（Ｄ）は色差信号Ｃｒを示す波形図である。
【符号の説明】
１０…ディジタルカメラ
１４…補色フィルタ
１６…ＣＣＤイメージャ
２８…演算回路
３０…モワレ低減回路
３２…ＲＧＢ変換回路
【図１】
0003663105.tif 000002
【図２】
0003663105.tif 000003
【図３】
0003663105.tif 000004
【図４】
0003663105.tif 000005
【図５】
0003663105.tif 000006
【図６】
0003663105.tif 000007
【図７】
0003663105.tif 000008
【図８】
0003663105.tif 000009