(57)【特許請求の範囲】
【請求項１】
ＲフィルタとＧフィルタが交互に配置されたライン、及び、ＧフィルタとＢフィルタが交互に配置されたラインが垂直方向に交互に配置された原色ＲＧＢフィルタ配列を有し、各画素の信号を非加算で順次読み出し、奇数ライン，偶数ラインの走査線信号をそれぞれ第１および第２の信号出力手段から出力する撮像素子と、
前記第１および第２の信号出力手段から出力される信号をそれぞれ増幅する第１および第２の増幅回路と、
この第１および第２の増幅回路の増幅率を制御する制御手段と、
前記第１および第２の増幅回路で増幅された信号にもとづいて、垂直方向の補間により前記原色ＲＧＢの各信号に分離する色分離回路と、
この色分離回路の出力から、画素周期の１／２の周波数成分を検波する検波回路と、
を備え、
前記制御手段は、前記検波回路の出力レベルが最少となるように、前記第１および第２の増幅回路の増幅率を制御するものであることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、順次走査撮像素子を備えた撮像装置に関するものである。
【０００２】
【従来の技術】
近年、半導体技術の進歩に伴い、順次走査で信号を読み出すことのできる固体撮像素子（全画素読み出し固体撮像素子、以下全画素撮像素子という）が開発されている。この全画素撮像素子は、従来のインターレース走査（飛び越し走査）の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。
【０００３】
つまり、インターレース走査の撮像素子では、１フレームの画像は１フィールド期間の時間差を持った２枚のフィールドで構成されるため、動きのある被写体を撮像した場合、フィールド間の時間差によりギザギザが生ずる。また、ギザギザの無いように、１フィールドの画像を取り出すと、垂直の解像度が１／２になってしまう。これに対し、全画素撮像素子では、１フィールド期間で１フレーム分の全走査線を走査することができるため、前述のような問題は生じない。
【０００４】
このような特徴を利用して、全画素撮像素子は静止画像取込みカメラやコンピュータ入力用カメラなどへの応用が期待されている。
【０００５】
単板の全画素撮像素子の信号処理回路は、例えば図９に示すような構成が考えられる。以下図９に従って従来例を説明する。
【０００６】
被写体からの入射光は、結像光学系１０１により全画素撮像素子であるＣＣＤ１０２上に結像され、ＣＣＤ１０２にて電気信号に変換される。ＣＣＤ１０２上にはカラー撮像のための色フィルタアレイが貼り付けてある。色フィルタアレイは、図２に示すようなフィルタ配列である。
【０００７】
変換された電気信号は、不図示のタイミング発生回路からのタイミング信号に従って垂直レジスタ転送および水平レジスタ転送され、ＣＣＤ１０２の二つの出力端子から走査線２本分の信号が並列に出力される。すなわち、ＣＣＤ１０２の二つの出力端子の一方からは奇数番目の走査線の信号が出力され、他方からは偶数番目の走査線の信号が同時に出力される。このような出力方法を取ることで、インターレース走査のＣＣＤと同じ読出し速度で、順次走査の信号を出力することができる。
【０００８】
それぞれの信号は、雑音低減回路１０３，１０４および増幅回路１０５，１０６により処理された後、ＡＤ変換回路１０７，１０８にてディジタル信号に変換され、入力端子１２８，１２９からカメラプロセス回路１３０に入力される。入力されたディジタル信号は１Ｈメモリ１０９，１１０により、ライン順次の信号に時間軸変換される。１Ｈメモリ１０９，１１０の読出しクロックは書込みクロックの２倍のスピードである。この動作におけるタイミングを図１０に示す。その後さらに、１Ｈメモリ１１１，１１２により３ライン分の信号が同時化され、それぞれが色分離回路１１３、および輪郭強調回路１１７に入力される。
【０００９】
色分離回路１１３で復調されたＲＧＢ三原色は、ローパスフィルタ１１４，１１５，１１６により必要な帯域に制限されモアレ等の妨害成分を除去される。帯域制限されたＧＢＲ各信号は、ホワイトバランス回路１１８にて各信号のレベルが調節された後、輪郭強調回路１１７にて抽出された輪郭信号が加算器１１９によりＧ信号に加算される。さらに、ハイパスフィルタ１２０により輪郭補正されたＧ信号の高域成分が取り出され、加算器１２１，１２２によりＲ，Ｂ信号に加算される。その後γ補正回路１２３，１２４，１２５によりγ補正された後、マトリクス回路１２６にて輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙに変換される。
【００１０】
さらに、モニタ出力用等で標準ビデオ出力が必要な場合には、輝度信号と色差信号は、走査変換回路１２７に入力される。走査変換回路１２７は、例えば図１１のような構成になっており、順次走査信号からインターレース走査信号への変換を行うものである。タイミングを図１２に示す。
【００１１】
また、露出検出回路１３１で検出された露出情報はＭＰＵ１３２に取り込まれ、露出が適正な値になるように、結像光学系１０１の絞り値、および増幅回路１０５，１０６の増幅率がＭＰＵ１３１から制御される。
【００１２】
次に、色分離回路１１３の構成を図１３に、動作を図１４に示す。色分離回路１１３に入力された走査線三本分の信号のうち遅延されていない信号を図１４（ａ）に、１水平走査期間（以降１Ｈ）遅延された信号を同図（ｂ）に、２Ｈ遅延された信号を同図（ｃ）にそれぞれ示す。
【００１３】
これら３系統信号のうち図１４（ａ）に示す信号と、同図（ｃ）に示す信号を図１３の加算器１４０で加算し、垂直方向に補間された信号を生成する。この信号を図１４（ｄ）に示す。垂直方向に補間された信号と１Ｈ遅延信号をセレクタ１４１により１ドット毎に交互に選択すると、Ｇ信号が得られる。セレクタの選択信号を図１４（ｅ）に、セレクタの出力信号を図１４（ｆ）に示す。
【００１４】
【発明が解決しようとする課題】
しかしながら、前述の従来例では以下のａ，ｂ，ｃに述べるような問題がある。
【００１５】
ａ．増幅回路１０５，１０６での信号の増幅率は、ＭＰＵ１３２から制御されるのだが、増幅回路は個々に動作のばらつきを持つために、同じ増幅率の設定をした場合でも増幅回路１０５と１０６の間で増幅率が異なった値になり、奇数番目の走査線と偶数番目の走査線とで映像信号のレベルに差が生じることがある。
【００１６】
ｂ．色分離を図１３に示す方法で行う場合、奇数番目の走査線と偶数番目の走査線の信号レベルに差が生じていると、２ドット周期の縦縞がＧ信号に混入し、これは画像を著しく劣化させるものである。
【００１７】
ｃ．また、この縦縞を除去するために、縦縞の周波数を抑圧するようなローパスフィルタでＧ信号の帯域を制限すると、必要な情報までもが抑圧されてしまい、結果として、Ｇ信号の解像度が劣化してしまう。
【００１８】
本発明は、このような状況のもとでなされたもので、全画素読出しの撮像素子を用いた、縦縞による画像劣化のない撮像装置を提供することを目的とするものである。
【００１９】
【課題を解決するための手段】
前記目的を達成するため、本発明では、撮像装置を次の（１）のとおりに構成する。
【００２０】
（１）ＲフィルタとＧフィルタが交互に配置されたライン、及び、ＧフィルタとＢフィルタが交互に配置されたラインが垂直方向に交互に配置された原色ＲＧＢフィルタ配列を有し、各画素の信号を非加算で順次読み出し、奇数ライン，偶数ラインの走査線信号をそれぞれ第１および第２の信号出力手段から出力する撮像素子と、
前記第１および第２の信号出力手段から出力される信号をそれぞれ増幅する第１および第２の増幅回路と、
この第１および第２の増幅回路の増幅率を制御する制御手段と、
前記第１および第２の増幅回路で増幅された信号にもとづいて、垂直方向の補間により前記原色ＲＧＢの各信号に分離する色分離回路と、
この色分離回路の出力から、画素周期の１／２の周波数成分を検波する検波回路と、
を備え、
前記制御手段は、前記検波回路の出力レベルが最少となるように、前記第１および第２の増幅回路の増幅率を制御するものである撮像装置。
【００２２】
【発明の実施の形態】
以下本発明の実施の形態を“撮像装置”の実施例により詳しく説明する。
【００２３】
【実施例】
図１は、実施例である“撮像装置”の構成を示すブロック図である。
【００２４】
同図において、１は被写体像を撮像素子上に結像させる結像光学系、２は順次走査で信号を読み出す固体撮像素子としてのＣＣＤ、３，４はＣＣＤ２の出力信号の雑音を低減する雑音低減回路、５，６はＣＣＤ２の信号を適正なレベルに増幅する増幅回路、７，８はＣＣＤ２の信号をディジタル信号に変換するＡＤ変換回路、９，１０はプロセス回路４２の入力端子である。
【００２５】
１１，１２，１３，１４はＣＣＤ２の信号を１走査線時間遅延させるラインメモリ、１５はラインメモリ１１〜１４で同時化された６走査線分の信号から、垂直輪郭信号を抽出する垂直輪郭抽出回路である。１６はラインメモリ１１，１２，１３で同時化された信号から、ＧＢＲ原色信号を生成する色分離回路、１７は垂直輪郭信号の小振幅部分をスライスするベースクリップ回路、１８は垂直輪郭信号の帯域を制限するローパスフィルタ、１９はＧ信号から水平輪郭信号を抽出する水平輪郭抽出回路、２０は水平輪郭信号の小振幅部分をスライスするベースクリップ回路、２１は水平輪郭信号の利得を調整する利得調整回路、２２は水平輪郭信号と垂直輪郭信号を加算する加算器、２３は輪郭信号の利得を調整する利得調整回路である。
【００２６】
２４はＧ信号から画素サンプリング周波数の１／２倍の周波数成分を検波する検波回路である。
【００２７】
２５，２６，２７は信号の帯域を制限するローパスフィルタ、２８はホワイトバランスを調整するホワイトバランス回路、２９はＧ信号に輪郭信号を加算する加算器、３０はＧ信号の高域を取り出すハイパスフィルタ、３１，３２はハイパスフィルタ３０にて取り出したＧ信号の高域をＲ，Ｂ信号に加算するための加算器、３３，３４，３５はγ補正回路である。
【００２８】
３６は原色信号から輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙを生成するマトリクス回路、３７，３８は色差信号の帯域を制限するローパスフィルタ、３９は走査変換回路、４０，４１はプロセス回路４２の出力端子、４２はＣＣＤ信号を信号処理するプロセス回路である。
【００２９】
４３は増幅回路５，６の増幅率を制御するＭＰＵ、４４はＹ，Ｒ−Ｙ，Ｂ−Ｙ信号から露出情報を取り出す露出検出回路である。
【００３０】
次に、前述の構成における動作について説明する。
【００３１】
被写体からの入射光は、結像光学系１により全画素撮像素子であるＣＣＤ２上に結像され、ＣＣＤ２にて電気信号に変換される。ＣＣＤ２上には、カラー撮像のための色フィルタアレイが貼り付けてある。色フィルタアレイは、例えば図２に示すような配列である。
【００３２】
変換された電気信号は、ＣＣＤ２の２つの出力端子から走査線２本分が並列に出力される。すなわち、一方からは奇数番目の走査線の信号が出力され、他方からは偶数番目の走査線の信号が出力される。
【００３３】
ＣＣＤ２からの出力信号は、雑音低減回路３，４、および増幅回路５，６により処理された後、ＡＤ変換回路７，８にてディジタル信号に変換される。ディジタルに変換された２走査線分の信号は、入力端子９，１０よりプロセス回路４２に入力され、ラインメモリ１１，１２，１３，１４により、６走査線分の信号が同時化される。
【００３４】
６走査線分の信号は垂直輪郭抽出回路１５に入力され、垂直輪郭信号が抽出される。垂直輪郭信号抽出回路１５は、垂直方向のハイパスフィルタで構成されており、ＣＣＤ２の画素数を６４０×４８０としたとき、例えば図３に示すような伝達特性を持つ。また垂直輪郭信号抽出回路１５において抽出された走査線２本分の垂直輪郭信号は、後段の回路規模を縮小するために、ＣＣＤ２からの読出しの２倍の周波数の点順次信号に変換される。つまり、図４に示すように奇数走査線と偶数走査線の信号が時分割多重された点順次信号に変換される。垂直輪郭信号抽出回路１５で抽出された垂直輪郭信号は、ベースクリップ回路１７にて雑音低減のために小振幅部をスライスした後、ローパスフィルタ１８にて、水平方向の不要な帯域が取り除かれる。
【００３５】
また一方で、ラインメモリ１１，１２，１３により同時化された信号は、色分離回路１６にて不図示のタイミング発生手段からのタイミング信号に応じてＧＢＲ原色信号に分離される。これらの信号も２走査線分の信号が時分割多重された形態である。それぞれの信号はローパスフィルタ２５，２６，２７により適切な帯域に制限される。例えば、図２のような色フィルタ配列の場合Ｇのサンプリング点は各列に存在するため、水平方向の帯域はＣＣＤ２の水平サンプリング周波数に対し１／２になる。したがって、ローパスフィルタ２５の通過帯域は、ＣＣＤ２のサンプリング周波数の約１／２に設定される。一方、ＲおよびＢのサンプリング点は２列に１つしかないため、帯域はＧ信号の１／２になり、ローパスフィルタ２６，２７の通過帯域は、ＣＣＤ２のサンプリング周波数に対し約１／４に設定される。ローパスフィルタ２５の伝達特性の例を図５（ａ）に、２６，２７の伝達特性の例を同図（ｂ）にそれぞれ示す。
【００３６】
同時に、分離されたＧ信号は水平輪郭抽出回路１９に入力され水平の輪郭信号が抽出される。抽出された水平輪郭信号は、ベースクリップ回路２０，利得調整回路２１にて処理を受けた後、加算器２２にて前述の垂直輪郭信号と加算される。加算された輪郭信号は利得調整回路２３にて、適正なレベルに調整された後加算器２９にてＧ信号に加算される。
【００３７】
また一方、検波回路２４で検波されたＧ信号のサンプリング周波数の１／２倍の周波数成分のレベルは、増幅回路５，６の間の増幅率の誤差を検出するためにＭＰＵ４３に入力される。
【００３８】
ＬＰＦ２５，２６，２７で帯域制限された各信号は、ホワイトバランス回路２８にて、ＲＢ信号の利得を変化させて白部分のレベルを一致させる。次に、ハイパスフィルタ３０により広帯域Ｇ信号の高域を取り出し、これを加算器３１，３２によりＲ，Ｂ信号に加算する。このハイパスフィルタ３０の特性はローパスフィルタ２６，２７と相補的な特性であり、Ｇ信号とＲＢ信号の帯域を揃えることを目的とする。
【００３９】
その後、γ補正回路３３，３４，３５によりγ補正された後、マトリクス回路３６にて輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙに変換され、色差信号Ｒ−Ｙ，Ｂ−Ｙはローパスフィルタ３７，３８にてＹの帯域の約１／２に帯域制限される。Ｙ，Ｒ−Ｙ，Ｂ−Ｙの三信号は、露出検出回路４４に入力され露出情報が検出される。検出された露出情報は、ＭＰＵ４３に取り込まれ、被写体の輝度に応じて露出が適当な値になるよう結像光学系１の絞り値および増幅回路５，６の増幅率がＭＰＵ４３から制御される。
【００４０】
最後に、Ｙ，Ｒ−Ｙ，Ｂ−Ｙ信号は走査変換回路３９に入力される。走査変換回路３９では、入力されたＹ，Ｒ−Ｙ，Ｂ−Ｙ信号を不図示のタイミング発生手段により発生される切り換えパルスにより切り換え、走査線別の２系統のビデオ信号を生成する。この信号は例えば、Ｙの２画素につきＲ−Ｙ，Ｂ−Ｙをそれぞれ１画素ずつ選択してＹ，Ｒ−Ｙ，Ｙ，Ｂ−Ｙという順番に時分割された形態である。このときのＹ，Ｒ−Ｙ，Ｂ−Ｙは全て同一走査線上の信号である。
【００４１】
タイミング説明図を図６に示す。このとき、出力信号の１クロック分はＹ信号のサンプリングレートの２倍になる。２系統のうち片方を取り出すと、インターレース走査の信号であり、両方を使用すると、順次走査の信号になる。生成された２系統のビデオ信号は出力端子４０，４１より出力される。
【００４２】
図７は、色分離回路１６の構成を詳細に示したものである。また、図８は色分離回路１６の動作を示したものである。
【００４３】
色分離部では、３走査線分の信号を元に走査線１本分の信号を色分離する。Ｇ信号は走査線毎にサンプリング位相がπずれた形で得られるので、中心の走査線の信号と上下の走査線を加算した信号とを交互にサンプリングすることでＣＣＤ信号のサンプリング周波数と等しい周期のＧ信号が得られる。図８は（ａ）は中心走査線の信号、（ｂ）は上下の走査線を加算した信号を示す。これらの信号をスイッチ７３により図８（ｃ）に示すタイミングで選択することで、図８（ｄ）に示されるＧ信号が得られる。以上図７における３Ｈ信号について説明を行ったが、４Ｈ信号についても同様な処理によりＧ信号の分離を行う。
【００４４】
またＲＢ信号は、１走査線おきにＣＣＤ信号のサンプリング周波数の１／２の周波数でサンプリングされた形で得られるので、中心の走査線の信号と上下の走査線を加算した信号それぞれをＣＣＤ信号のサンプリングの２倍の周期でサンプルホールドし、水平走査周波数の２倍の周期で交互に選択することで得られる。すなわち図８（ａ），（ｂ）の信号をＤフリップフロップ７２，７４、スイッチ７５，７６によりサンプルホールドすることで、図８（ｅ），（ｆ）に示す信号が得られる。中心走査線が４Ｈで表される信号の場合も、同様にＲＢ信号の分離を行う。
【００４５】
その後、前述のように得られた走査線２本分の信号をＣＣＤ信号のスイッチ７９，８０，８１によりサンプリングの２倍の周波数で時分割多重して、１系統の信号にまとめる。
【００４６】
増幅回路５，６ではＭＰＵ４３により増幅率が制御されて、映像信号のレベルが適正になるように増幅を行っているが、増幅回路５，６の増幅率に誤差がある場合、奇数番目の走査線と偶数番目の走査線とで信号のレベルに差が生じる。この状態で前述の手法により色分離を行うと、図８（ｄ）より明らかなように、２ドット周期の縦縞状ノイズがＧ信号に混入し画像が著しく劣化する。逆に言えば、２ドット周期の信号のレベルが最少になるように増幅回路５，６に補正をかければ、増幅率の誤差は自動的に補正される。
【００４７】
つまり、検波回路２４にて２ドット周期の周波数成分を検波し、それをもとにＭＰＵ４３により増幅回路５，６に与える増幅率の値に補正をかけることで、特別な被写体を用いて増幅率の補正を行うことなく、通常撮影時に二つの増幅回路間の増幅率の誤差を自動較正することが可能になる。
【００４８】
以上説明したように、本実施例によれば、全画素読出しの撮像素子を用いながら、縦縞による画像劣化のない、高解像度の画像を得ることができる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、ＲフィルタとＧフィルタが交互に配置されたライン、及び、ＧフィルタとＢフィルタが交互に配置されたラインが垂直方向に交互に配置された原色ＲＧＢフィルタ配列を有する全画素読出しの撮像素子を用いながら、縦縞による画像劣化のない、高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】  実施例の構成を示すブロック図
【図２】  色フィルタアレイの例を示す図
【図３】  垂直輪郭強調回路の伝達特性を示す図
【図４】  点順次信号形成の説明図
【図５】  ＬＰＦ２５，２６，２７の伝達特性を示す図
【図６】  プロセス回路の出力信号形成の説明図
【図７】  色分離回路の構成を示す図
【図８】  図７の回路のタイミングチャート
【図９】  従来例のブロック図
【図１０】  従来例における１Ｈメモリ１０９，１１０周辺の動作説明図
【図１１】  従来の走査変換回路を示す図
【図１２】  図１１の回路のタイミングチャート
【図１３】  従来の色分離回路の構成を示す図
【図１４】  図１３の回路のタイミングチャート
【符号の説明】
２      固体撮像素子
５，６  増幅回路
１６    色分離回路
２４    検波回路
４３    ＭＰＵ
【図１】
0003733182.tif 000002
【図２】
0003733182.tif 000003
【図３】
0003733182.tif 000004
【図４】
0003733182.tif 000005
【図５】
0003733182.tif 000006
【図６】
0003733182.tif 000007
【図７】
0003733182.tif 000008
【図８】
0003733182.tif 000009
【図９】
0003733182.tif 000010
【図１０】
0003733182.tif 000011
【図１１】
0003733182.tif 000012
【図１２】
0003733182.tif 000013
【図１３】
0003733182.tif 000014
【図１４】
0003733182.tif 000015