(57)【特許請求の範囲】
【請求項１】
赤色、青色、緑色の少なくとも１チャンネルをその他の2チャンネルの固体撮像素子に対して空間的に1／２画素ずらして配置した固体撮像素子と、
上記固体撮像素子から出力される赤色、青色、緑色の各色成分の信号をアナログディジタル変換するＡ／Ｄ変換器と、
上記Ａ／Ｄ変換器から出力される信号について各色の低域成分と赤色、青色、緑色の中の少なくとも2色の高域成分を出力する第１の高域低域分割回路と、
上記第１の高域低域分割回路から出力される少なくとも2色の高域成分の加算を行う第１の高域置換成分生成回路と、
上記第１の高域低域分割回路から出力される各色の低域成分と上記第１の高域置換成分生成回路の出力を加算する第１の加算器と、
上記第１の加算器の出力信号に対して非線型処理を施す非線型処理回路と、
上記非線型処理回路から出力される信号について各色の低域成分と赤色、青色、緑色の中の少なくとも2色の高域成分に分割する第２の高域低域分割回路と、
上記第２の高域低域分割回路から出力される少なくとも2色の高域成分の加算を行う第２の高域置換成分生成回路と、
上記第２の高域成分分割回路から出力される各色の低域成分と上記第２の高域置換成分生成回路の出力を加算する第２の加算器と
から構成され、非線型処理回路の前段および後段において、高域置換を行うことを特徴とする固体撮像装置。
【請求項２】
上記請求項1記載の第１の高域低域分割回路、および第２の高域低域分割回路はローパスフィルタおよびハイパスフィルタから構成されることを特徴とする請求項１記載の固体撮像装置。
【請求項３】
上記請求項1記載の第１の高域置換成分生成回路は、第１の除算器と第２の除算器と加算器から構成され、上記加算器に上記第1の除算器と上記第２の除算器の出力が入力され、加算平均を行うことを特徴とする請求項１記載の固体撮像装置。
【請求項４】
上記請求項1記載の第２の高域置換成分生成回路は、第１の除算器と第２の除算器と加算器から構成され、上記加算器に上記第1の除算器と上記第２の除算器の出力が入力され、加算平均を行うことを特徴とする請求項１記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のCCDイメージセンサ（Charge Coupled Device）を備え、少なくとも一つのCCDを空間的にずらして配置し、ずらして配置されたCCDと、その他のCCDの出力信号から高域置換成分を生成し、各チャンネルの高域成分を、生成した高域置換成分に置換することで高解像度を得る、空間画素ずらし法を採用する固体撮像装置に関するものである。
【０００２】
【従来の技術】
従来、撮像素子としてCCDを備えるビデオカメラにおいて、CCDのサンプリングによる折り返し信号を除去し、より高解像度の映像を実現するために、空間画素ずらし法が用いられている。
【０００３】
図１７に、従来の空間画素ずらし法を実現する一構成図を示す。本例は、３板式のビデオカメラにおける空間画素ずらし法の一例であり、１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、５G、５B、５Rはローパスフィルタ、６G、６Rはハイパスフィルタ、７G、７Rは除算器、８、９G、９B、９Rは加算器、１０は非線型処理回路である。
【０００４】
被写体からの入射光を、ここには示していない光学ローパスフィルタ、RGB色分解プリズムによりR、G、Bに分割し、分割されたそれぞれの色の光を、各チャンネル用のCCDにて光電変換する。
【０００５】
その後、CCDの読み出しクロックと同じクロックレートでA/D変換し、ガンマ補正処理等のディジタル信号処理を行うのが一般的である。例えば、52万画素CCDを備えるディジタル信号処理カメラでは約18MHzの周波数を、200万画素CCDを備えるHDTV用ディジタル信号処理カメラでは、約74MHzの周波数を持つクロックを使用する。この場合、得られる信号の限界解像度は、クロック周波数fsの1/2であるナイキスト周波数fs/2以下に制限される。
【０００６】
光学ローパスフィルタは、上述したナイキスト周波数fs/2以上の成分を除去するような特性を持っているが、一般に光学フィルタの特性は、遮断周波数fs/2で急峻に落ちる特性を得ることは困難であり、図１８に示すように、ある程度傾斜を持った特性にならざる追えない。
【０００７】
ここで、光学フィルタにより除去できなかったナイキスト周波数fs/2以上の成分は、CCDによる空間的なサンプリングにより、図１９の斜線で示すように折り返し成分となり、偽信号が発生してしまう。
【０００８】
各チャンネルのCCDは、図２０に示すように、緑色画像用のCCDである１Gを、青色画像用CCDである１B、および赤色画像用CCDである１Rよりも半画素空間的にずらして配置し、3板共に同じクロックパルスを用いてCCDを駆動し、映像信号を読み出す。よって、CCDからの出力は、緑色信号のみ空間的に画素ピッチSの半分のみずれた信号が得られることとなる。CCDから出力された信号は、それぞれのCDS回路２G、２B、２Rによりサンプルホールドされ、その後、空間的な半画素分のずれを補正するため、ディレイライン３Ｇにより、緑色信号のみ半画素に相当する時間1/(2×fs)分遅延を行なう。
【０００９】
緑色信号と赤色信号は空間的に半画素ずれてサンプリングを行っているため、ナイキスト周波数fs/2付近の折り返し成分は互いに逆相となる。つまり、赤色成分と緑色成分の加算平均を取ることで、折り返し成分を打ち消すことが可能である。
【００１０】
以上が、空間画素ずらし法により偽信号の少ない、高解像度の画像を実現できる原理である。
【００１１】
高域置換処理は一般に次のように行われる。ローパスフィルタ５G、５B、５R、ハイパスフィルタ６G、６Rから構成される高域低域分割回路１１により、低域成分GL、BL、RLと高域成分GH、RHに分割する。
【００１２】
次に、高域置換成分生成回路１２において、高域置換成分が生成される。緑色、赤色の高域成分GH、RHは、除算器で各々1/2倍となり、加算器８により加算され高域置換成分Hを得る。
【００１３】
H=(GH+RH)/2      （数式１）
次に、加算器９G、９B、９Rにおいて、高域置換成分Hが、各チャンネルの低域成分GL、CL、RLに加算され、信号GP、BP、RPとなる。その後、非線型回路１０においてガンマ処理、ニー処理に代表される非線型処理が施され、信号Go、Bo、Roが出力される。
【００１４】
次に、図２１に示す信号波形を用いて、高域置換処理の動作説明を行なう。例えば、図２１（ａ）に示すように、CCDから出力される信号として、各チャンネルの低域成分Rdc、Bdc、Gdcが同値であり、また、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。
【００１５】
また、ローパスフィルタ５G、５B、５R、ハイパスフィルタ６G、６Rは、図２２のような周波数特性を有するものとし、縞模様の周波数成分は、フィルタの遮断周波数ftより高く、ナイキスト周波数fs/2よりも低いものとする。
【００１６】
また、非線型処理回路１０に入力される信号は、12bit入力信号とし、ガンマ回路、ニー回路で10bitに変換されることとする。つまり、入力は0から4095の4096段階、出力は0から1023の1024段階の範囲を取るものとする。
【００１７】
図２１（ａ）に示すように緑色の高域成分は無く、赤色の高域成分（振幅ｗ）のみが存在するため、高域置換成分Hは振幅w/2の信号となる。その後、それぞれの低域成分、Rdc、Gdc、Bdcに加算されるため、（ｂ）に示すように同じ高域成分を持つ信号GP、BP、RPを得る。
【００１８】
その後、非線型処理回路において、ガンマ処理、ニー処理が施され、（ｃ）に示すような信号Ro、Go、Boが得られる。
【００１９】
ここで、高域成分に着目すると、緑色、青色、赤色の成分は全く同じ信号から構成されるため、無彩色となり白黒の縞模様が発生することとなる。しかし、一般に、人間の視力においては、明暗に対しては高解像であるが、色彩に関しては低解像であるため、高域成分を無色彩にすることで、例えば使用帯域が限られた場合などに、帯域を有効利用することができる。
【００２０】
【発明が解決しようとする課題】
ところが、被写体からの入射光が、高域及び低域において、ある特定の色成分が他の色成分よりも突出して多い場合、次のような問題が発生する。
【００２１】
例えば図２３に示すように、CCDから出力される信号として、赤色低域成分Rdcが緑色低域成分Gdc、青色低域成分Bdcと比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。
【００２２】
ここで、同図（ａ）に示すように、緑色の高域成分は無く、赤色の高域成分（振幅ｗ）のみが存在するため、高域置換成分Hは振幅w/2の信号となる。その後、それぞれの低域成分、Gdc、Bdc、Rdcに加算されるため、（ｂ）に示すような同じ高域成分を持つ信号GP、BP、RPを得る。
【００２３】
その後、非線型処理回路において、ガンマ処理、ニー処理が施されるが、これらは、各色の低域成分Gdc、Bdc、Rdcに依存した処理となる。つまり、（ｃ）に示すように、低域成分の多い赤色成分はニー処理によって圧縮され、赤色の高域成分は減少することとなる。
【００２４】
つまり、被写体からの入射光は、本来、画面左から無彩色、赤、無彩色、赤の縞模様であったはずが、上記高域置換処理、および非線型処理を施すことによって、赤、無彩色、赤、無彩色の縞模様に化けてしまう。高域置換処理により、赤色の縞模様を無彩色の縞模様に置換するはずが、本来の画像とは異なる色成分を発生することになり、色の再現性が著しく低下し、画質の劣化を招くことになる。
【００２５】
また、上記課題解決手段として、図２４に示すような構成が考えられる。本回路は、図１７の高域低域分割回路１１と高域置換成分生成回路１２および、加算器９G、９B、９Rを、非線型処理回路１０の後段に設置した構成であり、A/D変換されたディジタル信号に、先ず非線型処理を施し、その後、高域置換処理を行うことを意図した回路である。
【００２６】
ここで同様に、図２５（ａ）に示すように、CCDから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ信号とすると、同図（ｂ）に示すように、赤色の高域成分がニー処理により圧縮された信号GQ、BQ、RQが得られる。また、ここでは、青色成分、緑色成分は高域を持たない。その後、高域低域分割回路１１と高域置換成分生成回路１２および加算器９Ｇ、９Ｂ、９Ｒにより高域置換が行われるが、既に、赤色の高域成分が減少しているため、高域置換を行っても出力信号Ro、Go、Boは（ｃ）に示すように、ほとんど高域成分を持たない信号となる。つまり、上述した高域成分の色が化ける問題は解決されるが、高域成分そのものが小さいため、解像感の無い画像となってしまう。
【００２７】
【課題を解決するための手段】
赤色、青色、緑色の少なくとも１チャンネルをその他の2チャンネルの固体撮像素子に対して空間的に1／２画素ずらして配置した固体撮像素子と、上記固体撮像素子から出力される赤色、青色、緑色の各色成分の信号をアナログディジタル変換するＡ／Ｄ変換器と、上記Ａ／Ｄ変換器から出力される信号について各色の低域成分と赤色、青色、緑色の中の少なくとも2色の高域成分を出力する第１の高域低域分割回路と、上記第１の高域低域分割回路から出力される少なくとも２色の高域成分の加算を行う第１の高域置換成分生成回路と、上記第１の高域低域分割回路から出力される各色の低域成分と上記第１の高域置換成分生成回路の出力を加算する第１の加算器と、上記第１の加算器の出力信号に対して非線型処理を施す非線型処理回路と、上記非線型処理回路から出力される信号について各色の低域成分と赤色、青色、緑色の中の少なくとも2色の高域成分に分割する第２の高域低域分割回路と、上記第２の高域低域分割回路から出力される少なくとも2色の高域成分の加算を行う第２の高域置換成分生成回路と、上記第２の高域成分分割回路から出力される各色の低域成分と上記第２の高域置換成分生成回路の出力を加算する第２の加算器とから構成され、非線型処理回路の前段および後段において、高域置換を行うことを特徴とする固体撮像装置である。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００２９】
（実施の形態１）
図１は、本発明を適用した固体撮像装置の一構成を表す図である。図１において、１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、１１は、ローパスフィルタ５G、５B、５R、ハイパスフィルタ６G、６Rからなる第１の高域低域分割回路、１２は除算器７G、７R、加算器８からなる第１の高域置換成分生成回路、９G、９B、９Rは加算器、１０は非線型処理回路、１８は、ローパスフィルタ１３G、１３B、１３R、ハイパスフィルタ１４G、１４Rからなる第２の高域低域分割回路、１９は、除算器１５G、１５R、加算器１６からなる第２の高域置換成分生成回路、１７G、１７B、１７Rは加算器である。
【００３０】
従来例と同じく、図２に示すように、CCDから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。
【００３１】
先ず、第１の高域低域分割回路１１、第１の高域置換成分生成回路１２により、高域置換成分H１を得る。
【００３２】
H1=(GH1+RH1)/2      （数式２）
その後、上記成分が、加算器９G、９B、９Rによりにより各チャンネル共通に加算され、その結果、信号GP、BP、RP は、同図（ｂ）に示すように振幅w/2の高域成分を持つことになる。その後、非線型処理回路において、ガンマ処理、ニー処理が施されるが、これらは、各色の低域成分Gdc、Bdc、Rdcに依存した処理となる。つまり、同図（ｃ）に示すように、低域成分の多い赤色成分はニー処理によって圧縮され、その結果、赤色の高域成分は減少する。
【００３３】
その後、第２の高域低域分割回路１８、第２の高域成分生成回路１９、加算器１７G、１７B、１７Rにより、再び高域置換が行われる。つまり、ニー処理により圧縮された赤色の高域成分と、緑色の高域成分から高域置換成分H2を生成し、各チャンネルに再び加算する。
【００３４】
H2=(GH2+RH2)/2      （数式３）
すると、同図（ｄ）に示すように、非線型処理において圧縮されなかった緑色の高域成分が、再度赤色の高域成分に戻ることなり、赤色の高域成分が再現されることとなる。従来例の図２３（ｃ）との比較から明らかなように、各チャンネルに同じ高域成分が存在するため、高域成分に着目すると無彩色の縞模様が再現される。また、図２５（ｃ）との比較から明らかなように、高域成分が多く存在するため、従来例に比べ高解像度の画質を得ることが出来る。
【００３５】
以上より、ＣＣＤから出力される信号において、ある特定の色成分が突出して多い場合に、非線型処理の前段にて置換された高域成分が圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域置換を行った場合に発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００３６】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００３７】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００３８】
また、本実施の形態では、緑色CCDを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法を行っても良い。
（実施の形態２）。
【００３９】
図３は、本発明を適用した固体撮像装置の一構成を表す図である。図３において、１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、１１は、ローパスフィルタ５G、５B、５R、ハイパスフィルタ６G、６Rからなる第１の高域低域分割回路、１２は除算器７G、７R、加算器８からなる第１の高域置換成分生成回路、９G、９B、９Rは加算器、１０は非線型処理回路、１８は、ローパスフィルタ１３G、１３B、１３R、ハイパスフィルタ１４G、１４B、１４Rからなる第２の高域低域分割回路、１９は、セレクタ２０からなる第２の高域置換成分生成回路、１７G、１７B、１７Rは加算器である。
【００４０】
以下、本発明について、総括的、概念的に説明するが、実施の形態１と重複する個所は説明を省略する。
【００４１】
図４に示すように、CCDから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。
【００４２】
ここで、非線型処理の前段で行われる処理は、実施の形態１と同等であり、非線型処理回路に入力される信号GP、BP、RPは（ｂ）に示すように、振幅w/2の高域成分を持つことになる。その後、非線型処理回路において、ガンマ処理、ニー処理が施され，（ｃ）に示す信号GQ、BQ、RQを得る。
【００４３】
その後、第２の高域低域分割回路、第２の高域成分生成回路、加算器により、再び高域置換が行われる。ここで、第２の高域低域分割回路では、各チャンネル毎にハイパスフィルタが備えられており、ハイパスフィルタによってフィルタリングされた高域成分GH2、BH2 、RH2は、セレクタ２０に入力される。セレクタには、他方ローパスフィルタ１３G、１３B、１３Rによりフィルタリングされた低域成分GL2、BL2 、RL2が入力されている。セレクタ２０は、低域成分GL2、BL2 、RL2の比較を行い、最も低値である信号を選択し、選択されたチャンネルと同チャンネルの高域成分を高域置換成分H2として出力する。
【００４４】
例えば、図４の場合は、Rdcが最も大きく、Bdc、Gdcが同値で最も低い。つまり、この場合は、青色高域成分BH2、緑色高域成分GH2のどちらか一方を高域置換成分H2として出力し、高域置換を行なう。
【００４５】
つまり、ニー処理による圧縮を最も受けにくい信号である最も低い低域成分を持つチャンネルを選択し、高域置換を行うため、常に、高域成分の多い信号を置換することとなり、実施の形態１と比較し、より高解像度の画質を得ることが出来る。
【００４６】
以上より、ＣＣＤから出力される信号において、ある特定の色成分が突出して多い場合に、非線型処理の前段にて置換された高域成分が圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域置換を行った場合に発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００４７】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００４８】
また、本実施の形態では、ローパスフィルタ１３G、１３B、１３Rの出力GL2、BL2 、RL2によりセレクタ２０の切り替えを行ったが、周波数特性の異なるフィルタを別途設け、それらの出力信号により切替えを行っても良い。
【００４９】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００５０】
また、本実施の形態では、緑色CCDを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
（実施の形態３）
図５は、本発明を適用した固体撮像装置の一構成を表す図である。図５において、１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、１１は、５G、５B、５Rはローパスフィルタ、６G、６Rはハイパスフィルタからなる第１の高域低域分割回路、１２は除算器７G、７R、加算器８からなる第１の高域置換成分生成回路、９G、９B、９Rは加算器、１０は非線型処理回路、１６は、ローパスフィルタ１３G、１３B、１３R、ハイパスフィルタ１４からなる第２の高域低域分割回路、２０はセレクタ、１７G、１７B、１７Rは加算器、２１G、２１B、２１R、２２G、２２B、２２Rはディレイラインであり、第２の高域置換成分生成回路１９は、セレクタ２０とハイパスフィルタ１４から構成される。
【００５１】
以下、本発明について、総括的、概念的に説明するが、実施の形態２と重複する個所は説明を省略する。
【００５２】
本実施の形態は、実施の形態２における第２の高域低域分割回路、および第２の高域置換成分生成回路の構成が異なるが、実施の形態２と同様の効果を得るものである。
【００５３】
実施の形態２と同じく、第１の高域低域分割回路、第１の高域置換成分生成回路、および加算器により高域置換が行われた信号は、非線形処理回路１０により、非線形処理が施される。その後、信号GQ、BQ、RQはローパスフィルタ１３G、１３B、１３Rを通り、低域成分GL2、BL2、RL2が生成される。また、信号GQ、BQ、RQはディレイライン２１G、２１B、２１Rでタイミング調整が行われた後、セレクタ２０に入力される。セレクタ２０には、他方ローパスフィルタ１３G、１３B、１３Rによりフィルタリングされた低域成分GL2、BL2 、RL2が入力されている。セレクタ２０は、低域成分GL2、BL2 、RL2の比較を行い、最も低値である信号を選択し、選択されたチャンネルと同チャンネルの信号を出力する。その後、ハイパスフィルタ１４によりフィルタリングが行われ、高域置換成分H2が生成される。
【００５４】
ディレイライン２２G、２２B、２２Rで低域成分GL2、BL2、RL2のタイミング調整が行われた後、加算器１７G、１７B、１７Rにおいて低域成分GL2、BL2、RL2と高域置換成分H2の加算が行われ信号Go、Bo、Roを得る。
【００５５】
本実施の形態では、セレクタ２０により、先に、高域置換成分の元になるチャンネルを選択し、その後、ハイパスフィルタにより高域置換成分を生成する。実施の形態２と比較し、ハイパスフィルタを削減することができ、回路規模の減少に繋がり、電力を削減することが可能となる。
【００５６】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００５７】
また、本実施の形態では、ローパスフィルタ１３G、１３B、１３Rの出力GL2、BL2 、RL2によりセレクタ２０の切替えを行ったが、周波数特性の異なるフィルタを別途設け、それらの出力信号により切替えを行っても良い。
【００５８】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００５９】
また、本実施の形態では、緑色CCDを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
（実施の形態４）
図６は、本発明を適用した固体撮像装置の一構成を表す図である。１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、１１は、ローパスフィルタ５G、５B、５R、ハイパスフィルタ６G、６Rからなる高域低域分割回路、１２は、除算器７G、７R、加算器８からなる高域置換成分生成回路、９G、９B、９Rは加算器、１０は非線型処理回路、２３、２５は乗算器、２４はゲイン決定回路、１７G、１７B、１７Rは加算器である。
以下、本発明について、総括的、概念的に説明するが、実施の形態１，２，３と重複する個所は説明を省略する。
A／D変換器によって、A／D変換された信号は１１の高域低域分割回路により、低域成分GL、BL、RLと、高域成分GH、RHに分割され、高域置換成分生成回路１２では、分割した高域成分GH、RHから（数式１）に示す高域成分を生成する。その後、乗算器２３において、ゲイン決定回路によって決定される係数mが乗じられ、高域置換成分H1は次式となる
H1=m*H=m(GH+RH)/2      （数式４）
その後、加算器９G、９B、９Rにおいて、低域成分GL、BL、RLとの加算が行われ、信号GP、BP、RPが得らる。その後、非線形回路１０により非線形処理が施され信号GQ、BQ、RQが得られる。
高域置換成分生成回路１２により生成された高域成分Hは、乗算器２５にも入力され、同じく、ゲイン決定回路により決定される係数nが乗じられ、高域置換成分H2が生成される。
【００６０】
H2=n*H=n(GH+RH)/2      （数式５）
その後、非線形処理を通った信号GQ、BQ、RQとの加算が加算器１７G、１７B、１７Rによって行われる。
つまり、非線形処理回路の前段で加算される高域置換成分H1は係数mに依存し、非線形処理回路の後段で加算される高域置換成分H2は係数nに依存することとなる。
ここで、図７は、ゲイン決定回路の一構成図であり、比較回路３１、減算器３２、除算器３３、減算器３４から構成される。比較回路３１には、高域低域分割回路で生成された各チャンネルの低域成分GL、BL、RLが入力され、比較回路により低域成分GL、BL 、RLの中で、最も高値であるチャンネルと最も低値であるチャンネルが選択され、それぞれa、bとして出力される。
その後、減算回路３２で、aとbの差であるtが求めらる。
【００６１】
t=a-b      （数式６）
除算器において除算が行われた後、係数nが出力される。
【００６２】
n=t/4095      （数式７）
また、除算器の出力は、減算器３４において1との減算が行われ、係数ｍとして出力される。
【００６３】
m= 1- t/4095      （数式８）
次に、図８に示す信号波形を用いて説明する。CCDから出力される信号として、緑色、青色、赤色の低域成分Gdc、Bdc、Rdcが同値であり、各チャンネルに縞模様（振幅w）の高域成分を持つ場合を考える。この場合、ゲイン決定回路に入力される低域成分GL、BL、RLは同値となるため、演算の結果、m=1、 n=0 、（t=0）となる。つまり、高域置換成分は、それぞれH1=H、H2=0となり、これは非線形処理の前段で高域成分Hが加算され、非線形処理の後では加算が行われないことを意味する。よって、信号GP、BP、RPは同図（ｂ）のように振幅wの高域成分を持つ信号となり、その後、非線型処理回路により非線型処理が施され、（ｃ）に示す信号GQ、BQ、RQを得る。
【００６４】
乗算器２５ではH2=0のため、加算が行われず信号GQ、BQ、RQがそのまま信号Go、Bo、Roとして出力される。この場合は、非線型処理の前段で高域置換を行う図１７の従来例と同じ動作をすることになる。
また、図９に示すように、CCDから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。例えば、RdcとGdc、Bdcの差ｄをd=4095×0.8とすると、ゲイン決定回路では、m=0.2 、n=0.8 （t=0.8）が出力される。すると、非線型処理の前段においてH1=0.2Hの高域成分が加算されるため、信号GP、BP、RPは同図（ｂ）のように振幅0.2wの高域を持つ信号となる。その後、非線形処理が施され、低域成分Rdcが高い赤色のみガンマによる圧縮が行われ、同図（ｃ）に示す信号GQ、BQ、RQを得る。その後、乗算器２５において高域置換成分Hと係数nとの乗算が行われ 高域置換成分H2=0.8Hが求められ、加算器１５G、１５B、１５Rにおいて信号GQ、BQ、RQとの加算が行われる。その結果、（ｄ）のような信号Go、Bo、Roを得る。
【００６５】
つまり、各チャンネルの低域成分の差が小さい場合には、非線型処理の前段で加算する高域置換成分を多くし、逆に、差が小さい場合には非線型処理の後段で加算する高域置換成分を多くする。この様に、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合を変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
なお、従来例の問題解決法として、本実施の形態において、m=0、n=1に固定し、常時、非線型処理の後段に置いて高域を置換する解決法が考えられるが、図８（ａ）に示すような、黒レベル付近で無彩色の高域成分がある場合、高域成分が非線型処理回路を通らないため、同図（ｂ）→（ｃ）に示すガンマ処理による伸張が行われないため、黒レベル付近での解像度が得られない。つまり、本発明では、上述したように、各チャンネル間の低域成分の差が無い場合には、非線型処理の前段で高域が加算され、その後、ガンマ処理を施すため、黒レベル付近での信号の伸張が行われ、黒レベル付近の解像度が得られる。
また、ゲイン決定回路は上述した回路による構成に限らず、また、係数m、nは（数式７）、（数式８）が表す関係式によって求められなくとも良い。例えば、図１０は異なるゲイン決定回路の一構成図であり、比較回路３１、減算器３２、メモリ部３５から構成される。
比較回路３１には、高域低域分割回路で生成された低域成分GL、BL、RLが入力され、低域成分GL、BL 、RLの中で、最も高値であるチャンネルと、最も低値であるチャンネルが選択され、それぞれa、bとして出力される。その後、減算回路３２で、（数式６）に示すa、b の差tが求められ、メモリ部３５にアドレスとして入力される。メモリの各アドレスには、あらかじめ任意のデータを入力しておき、指定されたアドレスに保存されたデータを出力する。これにより、予め入力するデータによって、任意の変換式を実現することが可能となる。
【００６６】
以上、本発明では、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合を変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００６７】
なお、本発明において、高域低域分割回路、高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００６８】
また、本実施の形態では、ゲイン決定回路の入力信号としてローパスフィルタ５G、５B、５Rの出力GL、BL 、RLを用いたが、周波数特性の異なるフィルタを別途設け、それらの信号を入力信号としても良い。
【００６９】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００７０】
また、本実施の形態では、緑色CCDを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法を行っても良い。
（実施の形態５）
図１１は、本発明を適用した固体撮像装置の一構成を表す図である。１Gは緑色画像用CCD、１Bは青色画像用CCD、１Rは赤色画像用CCD、２G、２B、２Rは相関二重サンプリング回路（CDS回路）、３Gはディレイライン、４G、４B、４RはA／D変換器、１１は、５G、５B、５Rはローパスフィルタ、６G、６Rはハイパスフィルタからなる高域低域分割回路、１２は、除算器７G、７R、加算器８からなる高域置換成分生成回路、９G、９B、９Rは加算器、１０は非線型処理回路、４１、４３はコアリング回路、４２はコアリング値決定回路、１７G、１７B、１７Rは加算器である。
【００７１】
以下、本発明について、総括的、概念的に説明するが、実施の形態４と重複する個所は説明を省略する。
【００７２】
本実施の形態は、実施の形態４におけるゲイン決定回路および乗算器を、コアリング値決定回路４２、およびコアリング回路４１，４３に置き換え、高域成分に係数を乗じる替わりに、コアリング動作により同様の効果を得るものである。
【００７３】
図１２に示すように、CCDから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅w）の高域成分を持つ場合を考える。
【００７４】
実施の形態５と同様に、高域低域分割回路により低域成分GL、BL、RLが分割され、加算器９G、９B、９Rに入力される。また、高域置換成分生成回路により分割された高域成分GH、RHより高域成分H（数式１）が生成される。この場合、高域成分Hは、図１３（ａ）に示すように振幅w/2の信号となり、その後、コアリング回路４１に入力される。また、コアリング回路４１の他方には、コアリング値決定回路により決定された定数uが入力される。
【００７５】
コアリング回路は、図１５に示すような特性を保有してる。
【００７６】
y=0(-u<x<+u)、y=x-u(x>+u)、y=x+u(x<-u)      （数式９）
コアリング回路４１に入力された高域成分Hは、図１３（ａ）に示すように、斜線で示す幅2u部分を中抜されることなり、高域置換成分H1は同図（ｂ）に示すような信号となる。その後、H1は加算器９G、９B、９Rにより低域成分GL、BL、RLに加算され、信号GP、BP、RPが得られる。
【００７７】
その後、非線型処理回路１０により、非線型処理が施され、図１２（ｃ）に示す信号GQ、BQ、RQが得られる。また、高域成分Hは、コアリング回路４３にも入力されており、図１４に示すように、同様にコアリング決定回路により決定された定数vによりコアリングが行われ、高域置換成分H2を得る。その後、加算器１７G、１７B、１７Rにより、信号GP、BP、RPに加算され、信号Go、Bo、Roが得られる。
ここで、図１６は、コアリング値決定回路の一構成図であり、比較回路３１と、減算器３２と、減算器３４から構成される。比較回路３１には、高域低域分割回路で生成された低域成分GL、BL、RLが入力され、低域成分GL、BL 、RLの中で、最も高値であるチャンネルと、最も低値をとるチャンネルが選択され、それぞれa、bとして出力される。その後、減算回路３２で、（数式６）に示すaとbの差tが求められ、それを定数uとして出力する。
【００７８】
u=t      （数式１０）
となる。また、tは減算器３４にも入力され、4095との減算が行われ、定数vとして出力される。
【００７９】
v=4095-t      （数式１１）
つまり、各チャンネルの低域成分の差tが小さい程、コアリング量uが減少、vが増大し、非線型処理前段で加算する高域置換成分が支配的になる。
以上より、各チャンネルの低域成分の差が小さい場合には、非線型処理の前段で加算する高域置換成分を多くし、逆に、差が小さい場合には非線型処理の後段で加算する高域成分を多くする。この様に、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合をコアリング動作により変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下の両方を防ぐことができ、より高画質の映像を再現することが可能となる。
【００８０】
なお、本発明において、高域低域分割回路、高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００８１】
また、本実施の形態では、コアリン値決定回路の入力信号としてローパスフィルタ５G、５B、５Rの出力GL、BL 、RLを用いたが、周波数特性の異なるフィルタを別途設け、それらの信号を入力信号としても良い。
【００８２】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００８３】
また、本実施の形態では、緑色CCDを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
【００８４】
また、本発明におけるコアリング値決定回路は、実施の形態４にて示した図１０示すように、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００８５】
【発明の効果】
以上の説明より明らかなように、空間画素ずらし法を採用した固体撮像装置において、ある特定の色成分が他の色成分に比べ多い場合に、非線型処理の前段で置換を行なった高域成分が、ニー処理により圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域を加算することで発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における固体撮像装置の回路図
【図２】本発明の実施の形態１における信号を示す図
【図３】本発明の実施の形態２における固体撮像装置の回路図
【図４】本発明の実施の形態２における信号を示す図
【図５】本発明の実施の形態３における固体撮像装置の回路図
【図６】本発明の実施の形態４における固体撮像装置の回路図
【図７】本発明の実施の形態４におけるゲイン決定回路の回路図
【図８】本発明の実施の形態４における信号を示す図
【図９】本発明の実施の形態４における信号を示す図
【図１０】本発明の実施の形態４におけるゲイン決定回路の回路図
【図１１】本発明の実施の形態５における固体撮像装置の回路図
【図１２】本発明の実施の形態５における信号を示す図
【図１３】本発明の実施の形態５における信号を示す図
【図１４】本発明の実施の形態５における信号を示す図
【図１５】本発明の実施の形態５におけるコアリング特性を示す図
【図１６】本発明の実施の形態５におけるコアリング値決定回路の回路図
【図１７】従来例における固体撮像装置の回路図
【図１８】光学ローパスフィルタの特性を示す図
【図１９】光学ローパスフィルタの折り返し特性を示す図
【図２０】空間画素ずらし法におけるＣＣＤの配置図
【図２１】従来例における信号を示す図
【図２２】ローパスフィルタ、ハイパスフィルタの特性を示す図
【図２３】従来例における信号を示す図
【図２４】従来例における固体撮像装置の回路図
【図２５】従来例における信号を示す図
【符号の説明】
１G  緑色画像用CCD
１B  青色画像用CCD
１R  赤色画像用CCD
２G、２B、２R  相関二重サンプリング回路（CDS回路）
３G  ディレイライン
４G、４B、４R  A／D変換器
１１  第１の高域低域分割回路
５G、５B、５R  ローパスフィルタ
６G、６R  ハイパスフィルタ
１２  第１の高域置換成分生成回路
７G、７R  除算器
８  加算器
９G、９B、９R  加算器
１０非線型処理回路
１８  第２の高域低域分割回路
１３G、１３B、１３R  ローパスフィルタ
１４G、１４R  ハイパスフィルタ
１９  第２の高域置換成分生成回路
１５G、１５R  除算器
１６  加算器
１７G、１７B、１７R  加算器
【図１】
0004029687.tif 000002
【図２】
0004029687.tif 000003
【図３】
0004029687.tif 000004
【図４】
0004029687.tif 000005
【図５】
0004029687.tif 000006
【図６】
0004029687.tif 000007
【図７】
0004029687.tif 000008
【図８】
0004029687.tif 000009
【図９】
0004029687.tif 000010
【図１０】
0004029687.tif 000011
【図１１】
0004029687.tif 000012
【図１２】
0004029687.tif 000013
【図１３】
0004029687.tif 000014
【図１４】
0004029687.tif 000015
【図１５】
0004029687.tif 000016
【図１６】
0004029687.tif 000017
【図１７】
0004029687.tif 000018
【図１８】
0004029687.tif 000019
【図１９】
0004029687.tif 000020
【図２０】
0004029687.tif 000021
【図２１】
0004029687.tif 000022
【図２２】
0004029687.tif 000023
【図２３】
0004029687.tif 000024
【図２４】
0004029687.tif 000025
【図２５】
0004029687.tif 000026