(57)【要約】【課題】  広帯域信号の高域を色信号に加算することにより、高解像度の画像を得ることができる画像処理装置を得る。【解決手段】  全画素読み出しＣＣＤ２からの信号からラインメモリ１１〜１４で抽出された６ライン分の信号は、ＣＣＤ２の色フィルタ配列に対応して原色系と補色系の各色分離部から成る色分離回路１６に入力され、色フィルタ配列に応じて選択された色分離部により、Ｇ信号又はＹ信号の広帯域信号と色信号Ｒ、Ｇ、Ｂとが分離される。それぞれの信号はローパスフィルタ２０、２１、２２、２３により適切な帯域に制限される。帯域制限された各信号はホワイトバランス回路３２によりＲＢ信号の利得を変化させて白部分のレベルが一致される。ハイパスフィルタ３４により広帯域信号の高域を取り出し、これを加算器３５、３６によりＲ、Ｂ信号に加算する。【選択図】  図１
2005348437.tif 000002
【特許請求の範囲】
【請求項１】
撮像面における各画素に対応して色フィルタが配列されると共に、所定期間に全画素の信号を順次読み出しするように成された撮像手段から得られる信号から上記色フィルタの配列に応じて広帯域信号と色信号とをそれぞれ分離する色分離手段と、
上記色分離手段によって分離された上記広帯域信号を処理する広帯域信号処理手段と、
上記色分離手段によって分離された上記色信号を処理する色信号処理手段と、
上記色分離手段によって分離された上記広帯域信号の高域を抽出する高域抽出手段と、
上記高域抽出手段によって抽出された上記広帯域信号の高域を上記色分離手段によって分離された色信号に加算する加算手段と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ用半導体集積回路等に用いて好適な画像処理装置に関する。
【背景技術】
【０００２】
近年半導体技術の進歩に伴い、順次走査で信号を読み出すことのできる固体撮像素子（全画素読み出し固体撮像素子、以下全画素撮像素子）が開発されている。このような全画素撮像素子は、従来のインターレース走査（飛び越し走査）方式の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。つまり、インターレース撮像素子で撮像した場合、１フレームの画像は１／６０秒の時間差を持った２枚のフィールドで構成されるため、動きのある被写体を撮像するとフィールド間の時間差によりギザギザが生ずる。また、１フィールドの画像を取り出すとギザギザは無くなるものの、垂直の解像度が１／２になってしまう。これに対して全画素撮像素子では、同一時刻での状態を１フレーム分撮像することができるため上述のような問題は生じない。このような特長を生かして全画素撮像素子は、静止画取り込みカメラやコンピュータの入力装置等に応用されている。
【０００３】
一般に固体撮像素子では、素子前面の撮像面にモザイク状の色フィルタアレイを配すことにより、単板でのカラー撮像が可能であり、低コストで小型のカラーカメラが実現できる。全画素撮像素子においても同様に単板でのカラー撮像が可能であるが、インターレース走査の撮像素子のように信号を読み出す時に垂直に隣接した２画素の加算をしないため、色フィルタの配列はインターレース撮像素子の色フィルタ配列とは異なる。全画素撮像素子に適用される色フィルタの例を図８に示す。
【０００４】
一方、ビデオカメラの小型化、高性能化の要求に応えるため、信号処理を集積回路化したものが例えば１９９４年テレビジョン学会年次大会予稿集の１２５〜１２６頁に開示されている。この例はインターレース撮像素子の信号処理集積回路であるが、全画素撮像素子への適用は容易に可能である。
【０００５】
単板の全画素撮像素子の信号処理用集積回路としては、例えば図９に示すような構成が考えられる。以下図９を従来例として説明する。
図において、被写体からの入射光は、結像光学系１０１により全画素撮像素子であるＣＣＤ１０２上に結像されて電気信号に変換される。ＣＣＤ１０２上にはカラー撮像のための色フィルタアレイが貼り付けてある。色フィルタアレイはここでは、図８（ａ）に示すような原色系色フィルタ配列とする。ＣＣＤ１０２により変換された電気信号は、ＣＣＤ１０２の２つの出力端子から走査線２本分の信号が並列に出力される。すなわち、一方からは奇数番目の走査線の信号が出力され、他方からは偶数番目の走査線の信号が出力される。この様な出力方法を取ることで、インターレース走査のＣＣＤと同じ読み出し速度で、全画素の信号を出力することができる。
【０００６】
それぞれの信号は、雑音低減回路１０３、１０４及びＡＧＣ増幅回路１０５、１０６により処理された後、ＡＤ変換回路１０７、１０８でディジタル信号に変換され、入力端子１３６、１３７から集積回路１００に入力される。これらの信号は１Ｈメモリ１０９、１１０により、ライン順次の信号に時間軸変換される。この動作におけるタイミングを図１０に示す。その後さらに１Ｈメモリ１１１、１１２、により連続する３ライン分の信号が同時化され、それぞれが色分離回路１１３及び輪郭強調回路１１７に入力される。
【０００７】
色分離回路１１３で復調されたＲＧＢ三原色は、ローパスフィルタ１１４、１１５、１１６により必要な帯域に制限されモアレ等の妨害成分を除去される。帯域制限されたＲＧＢ各信号はホワイトバランス回路１１８により各信号のレベルが調節された後、輪郭強調回路１１７により抽出された輪郭信号と加算器１１９により加算される。さらに、ハイパスフィルタ１２０により輪郭補正されたＧ信号の高域成分が取り出されて加算器１２１、１２２によりＲＢ信号と加算される。その後、補正回路１２３、１２４、１２５によりγ補正された後、マトリクス回路１２６にて輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙとに変換される。変換されたＲ−Ｙ、Ｂ−Ｙ信号はローパスフィルタ１２７、１２８により帯域制限された後、点順次化回路１２９により１／２に間引かれて点順次信号にされる。すなわち、輝度のサンプリング周波数と同じ周波数でＲ−Ｙ、Ｂ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙ、…という並びの信号である。
【０００８】
その後、走査変換回路１３０、１３１において、ＣＣＤ出力と同様の２走査線並列の信号に変換される。さらに多重化回路１３２、１３３において、輝度信号と色差信号とが多重化される。この時の信号の並びは、例えばＹ、Ｒ−Ｙ、Ｙ、Ｂ−Ｙ、…である。多重化された信号は、出力端子１３４、１３５から出力される。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来例では以下に述べる様な欠点があった。
全画素読み出しのＣＣＤでは、インターレース走査のＣＣＤのように読み出し時に画素間の電荷の加算を行なわないので、インターレースＣＣＤに比べて本質的に感度が悪い。それに加えて図８（ａ）に示すような原色系の色フィルタが使用される場合、原色系色フィルタの光の透過率は図８（ｂ）の補色系色フィルタの透過率に比べて低いことからさらに感度が悪くなる。感度の点から考えると、上記補色系のフィルタを使用する方が望ましい。一方、色再現性や色のＳ／Ｎの観点からは補色系のフィルタより原色系のフィルタの方が優れている。つまり、システムの仕様に合わせて原色フィルタと補色フィルタとを使い分ける必要がある。従って、信号処理集積回路としては、原色／補色の両方に対応できると望ましいが、上記従来例では原色フィルタにしか対応できないという欠点があった。
【００１０】
また従来、例えば、図８（ａ）のような色フィルタ配列になっている場合、ＲＢのサンプリング周波数はＧのサンプリング周波数に対して水平、垂直で１／２になるためＲＢのモアレが発生する。これを抑圧するためにＲＢ信号に適用されるローパスフィルタの帯域は、Ｇ信号のローパスフィルタに対して約１／２に設定される。このため赤や青の彩度の高い被写体を撮像した場合に解像度が劣化する。
【００１１】
本発明は、このような問題に鑑みてなされたものであり、広帯域信号の高域を色信号に加算することにより、高解像度の画像を得ることができる画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００１２】
請求項１の発明においては、撮像面における各画素に対応して色フィルタが配列されると共に、所定期間に全画素の信号を順次読み出しするように成された撮像手段から得られる信号から上記色フィルタの配列に応じて広帯域信号と色信号とをそれぞれ分離する色分離手段と、上記色分離手段によって分離された上記広帯域信号を処理する広帯域信号処理手段と、上記色分離手段によって分離された上記色信号を処理する色信号処理手段と、上記色分離手段によって分離された上記広帯域信号の高域を抽出する高域抽出手段と、上記高域抽出手段によって抽出された上記広帯域信号の高域を上記色分離手段によって分離された色信号に加算する加算手段とを設けている。
【発明の効果】
【００１３】
請求項１の発明によれば、色分離手段から広帯域信号と色信号とを得て、さらに、広帯域信号の高域を抽出し、抽出した高域を色信号に加算することにより、より高解像度の画像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
以下に図１を用いて本発明によるビデオカメラの実施の形態について説明する。
図において、１は被写体像を撮像素子上に結像させる結像光学系、２は順次走査で信号を読み出す固体撮像素子としてのＣＣＤ、３、４はＣＣＤ２の出力信号の雑音を低減する雑音低減回路、５、６はＣＣＤの信号を適正なレベルに増幅する増幅回路、７、８はＣＣＤの信号をディジタル信号に変換するＡＤ変換回路、９、１０は半導体集積回路４７の入力端子、１１、１２、１３、１４はＣＣＤ信号を１走査線時間遅延させるラインメモリ、１５はラインメモリ１１〜１４で同時化された６走査線分の信号から、垂直輪郭信号を抽出する垂直輪郭抽出回路、１６はラインメモリで同時化された信号から輝度信号とＧＢＲ原色信号とを生成する色分離回路である。
【００１５】
１７は垂直輪郭信号の小振幅部分をスライスするベースクリップ回路、１８は垂直輪郭信号の帯域を制限するローパスフィルタ、１９は広帯域信号から水平輪郭信号を抽出する水平輪郭抽出回路、２０、２１、２２、２３は信号の帯域を制限するローパスフィルタ、２４は水平輪郭信号の小振幅部分をスライスするベースクリップ回路、２５、２６、２７、２８はローパスフィルタ処理の有無を選択する選択器、２９は水平輪郭信号の利得を調整する利得調整回路、３０は水平輪郭信号と垂直輪郭信号を加算する加算器、３１は輪郭信号の利得を調整する利得調整回路、３２はホワイトバランスを調整するホワイトバランス回路、３３は広帯域信号に輪郭信号を加算する加算器である。
【００１６】
３４は広帯域信号の高域を取り出すハイパスフィルタ、３５、３６はハイパスフィルタ３４にて取り出した広帯域信号の高域をＲ、Ｂ信号に加算するための加算器、３７、３８、３９、４０はγ補正回路、４１は広帯域信号と原色信号から輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙを生成するマトリクス回路、４２、４３は色差信号の帯域を制限するローパスフィルタ、４４は走査変換回路、４５、４６は半導体集積回路４７の出力端子、４７はＣＣＤ信号を信号処理する半導体集積回路。４８は３５、３６に加算する信号を選択する選択器である。
【００１７】
次に、上記構成による動作について説明する。
被写体からの入射光は、結像光学系１により全画素撮像素子であるＣＣＤ２上に結像されて電気信号に変換される。ＣＣＤ２上にはカラー撮像のための色フィルタアレイが貼り付けてある。色フィルタアレイは、例えば図８（ａ）（ｂ）に示すような配列である。ＣＣＤ２により変換された電気信号は、ＣＣＤ２の２つの出力端子から走査線２本分が並列に出力される。すなわち、一方からは奇数番目の走査線の信号が出力され、他方からは偶数番目の走査線の信号が出力される。このＣＣＤ２からの出力信号は雑音低減回路３、４及び増幅回路５、６により処理された後、ＡＤ変換回路７、８でディジタル信号に変換される。ディジタル信号に変換された２走査線分の信号は、入力端子９、１０より半導体集積回路４７に入力されラインメモリ１１、１２、１３、１４により、６走査線分の信号が同時化される。
【００１８】
この６走査線分の信号は垂直輪郭抽出回路１５に入力されて垂直輪郭信号が抽出される。垂直輪郭抽出回路１５は、垂直方向のハイパスフィルタで構成されており、ＣＣＤ２の画素数を６４０×４８０とした場合、例えば図２に示すような伝達特性を持つ。また垂直輪郭抽出回路１５により抽出された走査線２本分の垂直輪郭信号は後段の回路規模を縮小するために、ＣＣＤ２からの読み出しの２倍の周波数の点順次信号に変換される。つまり、図３に示すように奇数走査線と偶数走査線の信号が時分割多重された点順次信号に変換される。垂直輪郭抽出回路１５で抽出された垂直輪郭信号はペースクリップ回路１７で雑音低減のために小振幅部をスライスした後、ローパスフィルタ１８により水平方向の不要な帯域が取り除かれる。
【００１９】
一方、ラインメモリにより同時化された信号は色分離回路１６において不図示のタイミング発生器からのタイミング信号に応じて広帯域信号とＧＢＲ原色信号とに分離される。これらの信号も２走査線分の信号が時分割多重された形態である。また、ここでいう広帯域信号とは、図８（ａ）のような色フィルタ配列の場合はＧ信号に相当し、同図（ｂ）のような色フィルタ配列の場合は輝度信号に相当する。それぞれの信号はローパスフィルタ２０、２１、２２、２３により適切な帯域に制限される。例えば、図８（ａ）のような色フィルタ配列の場合は、Ｇのサンプリング点は各列に存在するので、水平方向の帯域はＣＣＤ２の水平サンプリング周波数に対して１／２になる。従って、ローパスフィルタ２０の通過帯域はＣＣＤ２のサンプリング周波数の約１／２に設定される。一方、ＲおよびＢのサンプリング点は２列に１つしかないので帯域はＧ信号の１／２になり、ローパスフィルタ２２、２３の通過帯域はＣＣＤ２のサンプリング周波数に対して約１／４に設定される。また、ローパスフィルタ２１の帯域はＲＢと帯域を揃える目的でローパスフィルタ２２、２３と同じ通過帯域に設定される。
【００２０】
これらのローパスフィルタ２０〜２３の出力は選択器２５、２６、２７、２８の一方に入力される。選択器２５〜２８のもう一方の入力は各ローパスフィルタ２０〜２３の入力端子に接続され、ローパスフィルタ処理をバイパスさせることができる。このような構成にすることで、位相をずらして撮像した複数の画像を合成して高精細な画像を得る場合などに、ローパスフィルタをバイパスして、高域成分を保存することが可能になる。
【００２１】
同時に、分離された輝度信号は水平輪郭抽出回路１９に入力され、水平の輪郭信号が抽出される。抽出された水平輪郭信号は、ベースクリップ回路２４、利得調整回路２９で処理を受けた後、加算器３０で上述の垂直輪郭信号と加算される。加算された輪郭信号は利得調整回路３１により、適正なレベルに調整された後、加算器３３で輝度信号に加算される。
【００２２】
帯域制限された各信号はホワイトバランス回路３２によりＲＢ信号の利得を変化させて白部分のレベルを一致させる。次に、ハイパスフィルタ３４により広帯域信号の高域を取り出し、これを加算器３５、３６によりＲ、Ｂ信号に加算する。このハイパスフィルタ３４の特性はローパスフィルタ２２、２３と相補的な特性であり、広帯域信号と原色信号の帯域を揃えることを目的とする。画素ずらし撮像時などこの処理が不必要な場合は、選択器４８により加算を無効にすることができる。
【００２３】
その後、γ補正回路３１、３２、３３によりγ補正された後、マトリクス回路４１により輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙとに変換され、Ｒ−Ｙ、Ｂ−Ｙはローパスフィルタ４２、４３でＹの帯域の約１／２に帯域制限される。最後に、Ｙ、Ｒ−Ｙ、Ｂ−Ｙ信号は走査変換回路４４に入力される。走査変換回路４４では、入力されたＹ、Ｒ−Ｙ、Ｂ−Ｙを上記タイミング発生器により発生される切り換えパルスにより切り換え、走査線別の２系統のビデオ信号を生成する。この信号は例えばＹの２画素につきＲ−Ｙ、Ｂ−Ｙをそれぞれ１画素ずつ選択してＹ、Ｒ−Ｙ、Ｙ、Ｂ−Ｙという順番に時分割された状態である。この時のＹ、Ｒ−Ｙ、Ｂ−Ｙは全て同一走査線上の信号である。以上のタイミング説明図を図４に示す。この時、出力信号の１クロック分はＹ信号のサンプリングレートの２倍になる。２系統のうち片方を取り出すと、インターレース走査の信号であり、両方を使用すると順次走査の信号になる。生成された２系統のビデオ信号は出力端子４５、４６より出力される。
【００２４】
上述したように、信号処理内部を２走査線の点順次処理にすることで、従来例に比べて信号処理全体で使用する記憶素子の数が少なくて済み、回路規模が小さく、消費電力の少ない構成を実現することができる。また、走査変換に係る回路規模も小さくなるという利点がある。
【００２５】
図５は色分離回路１６の構成を詳細に示したものである。この色分離回路１６は原色系色分離部１６Ａと補色系色分離部１６Ｂとに大きく分けられる。
まず原色系色分離部１６Ａの動作と構成について説明する。
原色系色分離部１６Ａは、ＣＣＤ２の色フィルタ配列が図８（ａ）のような時に動作し、３走査線分の信号を元に走査線１本分の信号を色分離する。Ｇ信号は走査線毎にサンプリング位相がπずれた形で得られるので、中心の走査線の信号と上下の走査線を加算した信号とを交互にサンプリングすることで、ＣＣＤ信号のサンプリング周波数と等しい周期のＧ信号が得られる。図６（ａ）は中心走査線の信号、（ｂ）は上下の走査線を加算した信号を示す。これらの信号をスイッチ６３により図６（ｃ）に示すタイミングで選択することで、図６（ｄ）に示されるＧ信号が得られる。以上は図５における３Ｈ信号について説明したが、４Ｈ信号についても同様な処理によりＧ信号の分離を行う。
【００２６】
またＲＢ信号は、１走査線おきにＣＣＤ信号のサンプリング周波数の１／２の周波数でサンプリングされた形で得られるので、中心の走査線の信号と上下の走査線とを加算した信号それぞれをＣＣＤ信号のサンプリングの２倍の周期でサンプルホールドし、水平走査周波数の２倍の周期で交互に選択することで得られる。すなわち図６（ａ）（ｂ）の信号をＤフリップフロップ、６２、６４、スイッチ６５、６６によりサンプルホールドすることで図６（ｅ）（ｆ）に示す信号が得られる。この信号には水平走査期間毎にＲＢが入れ替わって現れるので、水平周波数の２倍の周期の切り替えパルスでスイッチ６７、６８により選択することにより、ＲＢ信号が得られる。中心走査線が４Ｈで表される信号の場合も、同様にＲＢ信号の分離を行う。その後、上記のように得られた走査線２本分の信号をＣＣＤ信号のスイッチ６９、７０、７１によりサンプリングの２倍の周波数で時分割多重して１系統の信号にまとめる。
【００２７】
一方、補色系色分離部１６ＢはＣＣＤ２の色フィルタ配列が図８（ｂ）のような場合に動作する。
最初に広帯域輝度信号の分離について説明する。垂直に隣接する２ラインの信号を加算器８０により加算するとＷｒとＧｂの点順次信号が得られる。ここで、  Ｗｒ＝Ｙｅ＋Ｍｇ＝２Ｒ＋Ｇ＋Ｂ
Ｇｂ＝Ｃｙ＋Ｇ＝２Ｇ＋Ｂ
である。この信号をサンプリング周波数の１／２にＮｕｌｌ点を持つようなローパスフィルタにより平滑化すると輝度信号が得られる。すなわちＷｒとＧｂの平均は、
（２Ｒ＋Ｇ＋Ｂ＋２Ｇ＋Ｂ）／２＝Ｒ＋１．５Ｇ＋Ｂ
となり、輝度信号の組成比にほぼ等しい信号になるからである。
【００２８】
次に、ＲＧＢ信号の分離について説明する。２ラインの信号に対して各画素位置にそれぞれＹｅＣｙとＭｇＧが存在するよう、Ｄフリップフロップ８４、８５、８８、８９、加算器８６、９０により前後の画素から線形に補間する。図７（ｅ）（ｇ）にＣＣＤ２から読み出された信号をＤフリップフロップで遅延させた信号、（ｆ）（ｈ）に前後の画素から補間した信号を示す。さらに、加算器８７、９１により（ｅ）＋（ｈ）と（ｆ）＋（ｇ）の加算を行うことにより、（ｉ）（ｊ）に示すようなＷｂとＧｒの点順次信号が得られる。ここで、
Ｗｂ＝Ｃｙ＋Ｍｇ＝Ｒ＋Ｇ＋２Ｂ
Ｇｒ＝Ｙｅ＋Ｇ＝Ｒ＋２Ｇ
である。この２つの信号をスイッチ９４、９５によりクロック毎に並べ換えることで、ＷｂとＧｒがそれぞれ得られる。また、先に得られたＷｒＧｂの点順次信号を同様にＤフリップフロップ８１、８２、加算器８３により前後の画素から線形に補間することでＷｒとＧｂの同時化を行い、スイッチ９２、９３によりクロック毎に並べ換えることで、ＷｒとＧｂがそれぞれ得られる。
【００２９】
４Ｈ信号についても同様な処理により信号の分離を行なった後、スイッチ１０９、１１０、１１１、１１２、１２３により走査線２本分の信号をＣＣＤの読み出し周波数の２倍の周波数で点順次化する。このようにして得られたＷｒ、Ｇｂ、Ｗｂ、Ｇｒの４信号から、色分離回路１１４により原色信号を分離する。原色信号への分離方法としては、従来の色差線順次方式と同様の方法でも良いし、ＷｒＧｂＷｂＧｒからマトリクス演算によって生成する方法でも良い。最後にセレクタ１１５、１１６、１１７、１１８により、原色系色分離部および補色系色分離部からの出力のいずれかを選択して出力する。
【００３０】
以上説明したように色分離部１６に原色系色分離部１６Ｂとを設け、信号処理を広帯域信号処理部と原色信号処理部とで構成することによって、ＣＣＤの色フィルタの種類によらず同一の信号処理半導体を使用できるという利点がある。
【図面の簡単な説明】
【００３１】
【図１】本発明によるビデオカメラの実施の形態を示すブロック図である。
【図２】垂直輪郭強調回路の伝達特性を示す特性図である。
【図３】時分割多重の動作を示すタイミングチャートである。
【図４】図１における半導体集積回路からの出力信号形式を示すタイミングチャートである。
【図５】色分離回路の構成を示す構成図である。
【図６】原色系色分離部の動作を示すタイミングチャートである。
【図７】補色系色分離部の動作を示すタイミングチャートである。
【図８】色フィルタアレイの構成図である。
【図９】従来の画像処理装置を示すブロック図である。
【図１０】従来例におけるラインメモリの動作を示すタイミングチャートである。
【符号の説明】
【００３２】
２  ＣＣＤ
１６  色分離回路
１６Ａ  原色系色分離部
１６Ｂ  補色系色分離部
１９  水平輪郭抽出回路
２０〜２３  ローパスフィルタ
２５〜２８  スイッチ
３２  ホワイトバランス回路
３７〜４０  ガンマ補正回路
４１  マトリクス回路
【図１】
2005348437.tif 000003
【図２】
2005348437.tif 000004
【図３】
2005348437.tif 000005
【図４】
2005348437.tif 000006
【図５】
2005348437.tif 000007
【図６】
2005348437.tif 000008
【図７】
2005348437.tif 000009
【図８】
2005348437.tif 000010
【図９】
2005348437.tif 000011
【図１０】
2005348437.tif 000012