(57)【要約】【課題】空間画素ずらし法を採用した固体撮像装置において、ある特定の色成分が他の色成分に比べ多い場合に、非線型処理の前段で置換を行なった高域成分が、ニー処理により圧縮されることにより、高域の色再現性が低下する。また、非線型処理の後段で高域置換を行なった場合には、ニー処理により圧縮された信号により高域置換成分を生成するため解像度が低下する。【解決手段】非線型処理回路の前段に、第１の高域低域分割回路と第１の高域成分生成回路を、後段に、第２の高域低域分割回路と第２の高域成分生成回路を備え、非線型処理の前後で高域置換を行なうことで、色再現性の低下、解像度低下を防ぐことができ、より高画質の映像を実現することが可能となる。【選択図】　図１
2004072298.tif 000002
【特許請求の範囲】
【請求項１】
色分解光学系に空間画素ずらし法を採用した固体撮像素子と、上記固体撮像素子からの各信号をアナログディジタル変換するＡ／Ｄ変換器と、上記Ａ／Ｄ変換器から出力されるディジタル信号に高域置換処理を施す第１の高域低域分割回路、第１の高域置換成分生成回路、加算器と、非線型処理を施す非線型処理回路と、上記非線型処理回路からの信号に高域置換処理を施す第２の高域低域分割回路、第２の高域置換成分生成回路、加算器から構成され、
非線型処理回路の前段および後段において、高域置換を行うことを特徴とする固体撮像装置。
【請求項２】
第１の高域低域分割回路、および第２の高域低域分割回路はローパスフィルタおよびハイパスフィルタから構成されることを特徴とする請求項１記載の固体撮像装置。
【請求項３】
第１の高域置換成分生成回路は、除算器と加算器から構成されることを特徴とする請求項１記載の固体撮像装置。
【請求項４】
第２の高域置換成分生成回路は、除算器と加算器から構成されることを特徴とする請求項１記載の固体撮像装置。
【請求項５】
第２の高域置換成分生成回路は、セレクタから構成され、上記セレクタには、第２の高域低域分割回路により分割された各低域成分、高域成分が入力され、上記低域成分の中で、最も低値であるチャンネルの高域成分を選択し出力することを特徴とする請求項１記載の固体撮像装置。
【請求項６】
第２の高域置換成分生成回路は、セレクタから構成され、上記セレクタには、第２の高域低域分割回路により分割された各低域成分と非線型処理回路の出力信号が入力され、上記低域成分の中で、最も低値であるチャンネルの非線型処理回路からの信号を選択し出力することを特徴とする請求項１記載の固体撮像装置。
【請求項７】
色分解光学系に空間画素ずらし法を採用した固体撮像素子と、上記固体撮像素子からの各信号をアナログディジタル変換するＡ／Ｄ変換器と、上記Ａ／Ｄ変換器から出力されるディジタル信号から高域成分を生成する高域低域分割回路、高域置換成分生成回路と、上記生成された高域成分に係数ｍを乗じ第１の高域置換成分を生成する乗算器と、上記第１の高域置換成分を加算する加算器と、非線型処理を行なう非線型処理回路と、上記生成された高域成分に係数ｎを乗じ第２の高域置換成分を生成する乗算器と、上記第２の高域置換成分を加算する加算器と、上記係数ｍ、ｎを決定するゲイン決定回路から構成され、
第１の高域置換成分を非線型処理回路の前段で、第２の高域置換成分を非線型処理回路の後段で加算することを特徴とする固体撮像装置。
【請求項８】
ゲイン決定回路は、入力される各信号の中で、最も高値であるチャンネルと最も低値であるチャンネルの信号差に対して、単調減少特性を持つ係数ｍと、単調増加特性を持つ係数ｎを出力することを特徴とする請求項７記載の固体撮像装置。
【請求項９】
ゲイン決定回路は、比較回路と、減算器と除算器から構成されることを特徴とする請求項７記載の固体撮像装置。
【請求項１０】
ゲイン決定回路は、比較回路と、減算器とメモリ回路から構成されることを特徴とする請求項７記載の固体撮像装置。
【請求項１１】
色分解光学系に空間画素ずらし法を採用した固体撮像素子と、上記固体撮像素子からの各信号をアナログディジタル変換するＡ／Ｄ変換器と、上記Ａ／Ｄ変換器から出力されるディジタル信号から高域成分を生成する高域低域分割回路、高域置換成分生成回路と、上記生成された高域成分に対し、入力される定数ｕに従ってコアリングを行い第１の高域置換成分を生成するコアリング回路と、上記第１の高域置換成分を加算する加算器と、非線型処理を行なう非線型処理回路と、上記生成された高域成分に対し、入力される定数ｖに従ってコアリングを行い第２の高域置換成分を生成するコアリング回路と、上記第２の高域置換成分を加算する加算器と、上記定数ｕ、ｖを決定するコアリング値決定回路から構成され、
第１の高域置換成分を非線型処理回路の前段で、第２の高域置換成分を非線型処理回路の後段で加算することを特徴とする固体撮像装置。
【請求項１２】
コアリング値決定回路は、入力される各信号の中で、最も高値のチャンネルと、最も低値チャンネルの信号差に対して、単調増加特性を持つ定数ｕと、単調減少特性を持つ定数ｖを出力することを特徴とする請求項１１記載の固体撮像装置。
【請求項１３】
コアリング値決定回路は、比較回路と、減算器から構成されることを特徴とする請求項１１記載の固体撮像装置。
【請求項１４】
コアリング値決定回路は、比較回路と、減算器とメモリ回路から構成されることを特徴とする請求項１１記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のＣＣＤイメージセンサ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）を備え、少なくとも一つのＣＣＤを空間的にずらして配置し、ずらして配置されたＣＣＤと、その他のＣＣＤの出力信号から高域置換成分を生成し、各チャンネルの高域成分を、生成した高域置換成分に置換することで高解像度を得る、空間画素ずらし法を採用する固体撮像装置に関するものである。
【０００２】
【従来の技術】
従来、撮像素子としてＣＣＤを備えるビデオカメラにおいて、ＣＣＤのサンプリングによる折り返し信号を除去し、より高解像度の映像を実現するために、空間画素ずらし法が用いられている。
【０００３】
図１７に、従来の空間画素ずらし法を実現する一構成図を示す。本例は、３板式のビデオカメラにおける空間画素ずらし法の一例であり、１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、５Ｇ、５Ｂ、５Ｒはローパスフィルタ、６Ｇ、６Ｒはハイパスフィルタ、７Ｇ、７Ｒは除算器、８、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路である。
【０００４】
被写体からの入射光を、ここには示していない光学ローパスフィルタ、ＲＧＢ色分解プリズムによりＲ、Ｇ、Ｂに分割し、分割されたそれぞれの色の光を、各チャンネル用のＣＣＤにて光電変換する。
【０００５】
その後、ＣＣＤの読み出しクロックと同じクロックレートでＡ／Ｄ変換し、ガンマ補正処理等のディジタル信号処理を行うのが一般的である。例えば、５２万画素ＣＣＤを備えるディジタル信号処理カメラでは約１８ＭＨｚの周波数を、２００万画素ＣＣＤを備えるＨＤＴＶ用ディジタル信号処理カメラでは、約７４ＭＨｚの周波数を持つクロックを使用する。この場合、得られる信号の限界解像度は、クロック周波数ｆｓの１／２であるナイキスト周波数ｆｓ／２以下に制限される。
【０００６】
光学ローパスフィルタは、上述したナイキスト周波数ｆｓ／２以上の成分を除去するような特性を持っているが、一般に光学フィルタの特性は、遮断周波数ｆｓ／２で急峻に落ちる特性を得ることは困難であり、図１８に示すように、ある程度傾斜を持った特性にならざる追えない。
【０００７】
ここで、光学フィルタにより除去できなかったナイキスト周波数ｆｓ／２以上の成分は、ＣＣＤによる空間的なサンプリングにより、図１９の斜線で示すように折り返し成分となり、偽信号が発生してしまう。
【０００８】
各チャンネルのＣＣＤは、図２０に示すように、緑色画像用のＣＣＤである１Ｇを、青色画像用ＣＣＤである１Ｂ、および赤色画像用ＣＣＤである１Ｒよりも半画素空間的にずらして配置し、３板共に同じクロックパルスを用いてＣＣＤを駆動し、映像信号を読み出す。よって、ＣＣＤからの出力は、緑色信号のみ空間的に画素ピッチＳの半分のみずれた信号が得られることとなる。ＣＣＤから出力された信号は、それぞれのＣＤＳ回路２Ｇ、２Ｂ、２Ｒによりサンプルホールドされ、その後、空間的な半画素分のずれを補正するため、ディレイライン３Ｇにより、緑色信号のみ半画素に相当する時間１／（２×ｆｓ）分遅延を行なう。
【０００９】
緑色信号と赤色信号は空間的に半画素ずれてサンプリングを行っているため、ナイキスト周波数ｆｓ／２付近の折り返し成分は互いに逆相となる。つまり、赤色成分と緑色成分の加算平均を取ることで、折り返し成分を打ち消すことが可能である。
【００１０】
以上が、空間画素ずらし法により偽信号の少ない、高解像度の画像を実現できる原理である。
【００１１】
高域置換処理は一般に次のように行われる。ローパスフィルタ５Ｇ、５Ｂ、５Ｒ、ハイパスフィルタ６Ｇ、６Ｒから構成される高域低域分割回路１１により、低域成分ＧＬ、ＢＬ、ＲＬと高域成分ＧＨ、ＲＨに分割する。
【００１２】
次に、高域置換成分生成回路１２において、高域置換成分が生成される。緑色、赤色の高域成分ＧＨ、ＲＨは、除算器で各々１／２倍となり、加算器８により加算され高域置換成分Ｈを得る。
【００１３】
Ｈ＝（ＧＨ＋ＲＨ）／２　　　　　　（数式１）
次に、加算器９Ｇ、９Ｂ、９Ｒにおいて、高域置換成分Ｈが、各チャンネルの低域成分ＧＬ、ＣＬ、ＲＬに加算され、信号ＧＰ、ＢＰ、ＲＰとなる。その後、非線型回路１０においてガンマ処理、ニー処理に代表される非線型処理が施され、信号Ｇｏ、Ｂｏ、Ｒｏが出力される。
【００１４】
次に、図２１に示す信号波形を用いて、高域置換処理の動作説明を行なう。例えば、図２１（ａ）に示すように、ＣＣＤから出力される信号として、各チャンネルの低域成分Ｒｄｃ、Ｂｄｃ、Ｇｄｃが同値であり、また、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。
【００１５】
また、ローパスフィルタ５Ｇ、５Ｂ、５Ｒ、ハイパスフィルタ６Ｇ、６Ｒは、図２２のような周波数特性を有するものとし、縞模様の周波数成分は、フィルタの遮断周波数ｆｔより高く、ナイキスト周波数ｆｓ／２よりも低いものとする。
【００１６】
また、非線型処理回路１０に入力される信号は、１２ｂｉｔ入力信号とし、ガンマ回路、ニー回路で１０ｂｉｔに変換されることとする。つまり、入力は０から４０９５の４０９６段階、出力は０から１０２３の１０２４段階の範囲を取るものとする。
【００１７】
図２１（ａ）に示すように緑色の高域成分は無く、赤色の高域成分（振幅ｗ）のみが存在するため、高域置換成分Ｈは振幅ｗ／２の信号となる。その後、それぞれの低域成分、Ｒｄｃ、Ｇｄｃ、Ｂｄｃに加算されるため、（ｂ）に示すように同じ高域成分を持つ信号ＧＰ、ＢＰ、ＲＰを得る。
【００１８】
その後、非線型処理回路において、ガンマ処理、ニー処理が施され、（ｃ）に示すような信号Ｒｏ、Ｇｏ、Ｂｏが得られる。
【００１９】
ここで、高域成分に着目すると、緑色、青色、赤色の成分は全く同じ信号から構成されるため、無彩色となり白黒の縞模様が発生することとなる。しかし、一般に、人間の視力においては、明暗に対しては高解像であるが、色彩に関しては低解像であるため、高域成分を無色彩にすることで、例えば使用帯域が限られた場合などに、帯域を有効利用することができる。
【００２０】
【発明が解決しようとする課題】
ところが、被写体からの入射光が、高域及び低域において、ある特定の色成分が他の色成分よりも突出して多い場合、次のような問題が発生する。
【００２１】
例えば図２３に示すように、ＣＣＤから出力される信号として、赤色低域成分Ｒｄｃが緑色低域成分Ｇｄｃ、青色低域成分Ｂｄｃと比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。
【００２２】
ここで、同図（ａ）に示すように、緑色の高域成分は無く、赤色の高域成分（振幅ｗ）のみが存在するため、高域置換成分Ｈは振幅ｗ／２の信号となる。その後、それぞれの低域成分、Ｇｄｃ、Ｂｄｃ、Ｒｄｃに加算されるため、（ｂ）に示すような同じ高域成分を持つ信号ＧＰ、ＢＰ、ＲＰを得る。
【００２３】
その後、非線型処理回路において、ガンマ処理、ニー処理が施されるが、これらは、各色の低域成分Ｇｄｃ、Ｂｄｃ、Ｒｄｃに依存した処理となる。つまり、（ｃ）に示すように、低域成分の多い赤色成分はニー処理によって圧縮され、赤色の高域成分は減少することとなる。
【００２４】
つまり、被写体からの入射光は、本来、画面左から無彩色、赤、無彩色、赤の縞模様であったはずが、上記高域置換処理、および非線型処理を施すことによって、赤、無彩色、赤、無彩色の縞模様に化けてしまう。高域置換処理により、赤色の縞模様を無彩色の縞模様に置換するはずが、本来の画像とは異なる色成分を発生することになり、色の再現性が著しく低下し、画質の劣化を招くことになる。
【００２５】
また、上記課題解決手段として、図２４に示すような構成が考えられる。本回路は、図１７の高域低域分割回路１１と高域置換成分生成回路１２および、加算器９Ｇ、９Ｂ、９Ｒを、非線型処理回路１０の後段に設置した構成であり、Ａ／Ｄ変換されたディジタル信号に、先ず非線型処理を施し、その後、高域置換処理を行うことを意図した回路である。
【００２６】
ここで同様に、図２５（ａ）に示すように、ＣＣＤから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ信号とすると、同図（ｂ）に示すように、赤色の高域成分がニー処理により圧縮された信号ＧＱ、ＢＱ、ＲＱが得られる。また、ここでは、青色成分、緑色成分は高域を持たない。その後、高域低域分割回路１１と高域置換成分生成回路１２および加算器９Ｇ、９Ｂ、９Ｒにより高域置換が行われるが、既に、赤色の高域成分が減少しているため、高域置換を行っても出力信号Ｒｏ、Ｇｏ、Ｂｏは（ｃ）に示すように、ほとんど高域成分を持たない信号となる。つまり、上述した高域成分の色が化ける問題は解決されるが、高域成分そのものが小さいため、解像感の無い画像となってしまう。
【００２７】
【課題を解決するための手段】
色分解光学系に空間画素ずらし法を採用した固体撮像素子と、固体撮像素子からの信号をアナログディジタル変換するＡ／Ｄ変換器と、上記Ａ／Ｄ変換器から出力されるディジタル信号に高域置換処理を施す第１の高域低域分割回路、第１の高域置換生成回路、加算器と、非線型処理を施す非線型処理回路と、非線型処理回路からの信号に高域置換処理を施す第２の高域低域分割回路、第２の高域置換生成回路、加算器から構成され、非線型処理回路の前段および後段において、高域置換を行うことを特徴とする固体撮像装置である。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００２９】
（実施の形態１）
図１は、本発明を適用した固体撮像装置の一構成を表す図である。図１において、１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、１１は、ローパスフィルタ５Ｇ、５Ｂ、５Ｒ、ハイパスフィルタ６Ｇ、６Ｒからなる第１の高域低域分割回路、１２は除算器７Ｇ、７Ｒ、加算器８からなる第１の高域置換成分生成回路、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路、１８は、ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒ、ハイパスフィルタ１４Ｇ、１４Ｒからなる第２の高域低域分割回路、１９は、除算器１５Ｇ、１５Ｒ、加算器１６からなる第２の高域置換成分生成回路、１７Ｇ、１７Ｂ、１７Ｒは加算器である。
【００３０】
従来例と同じく、図２に示すように、ＣＣＤから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。
【００３１】
先ず、第１の高域低域分割回路１１、第１の高域置換成分生成回路１２により、高域置換成分Ｈ１を得る。
【００３２】
Ｈ１＝（ＧＨ１＋ＲＨ１）／２　　　（数式２）
その後、上記成分が、加算器９Ｇ、９Ｂ、９Ｒによりにより各チャンネル共通に加算され、その結果、信号ＧＰ、ＢＰ、ＲＰ　は、同図（ｂ）に示すように振幅ｗ／２の高域成分を持つことになる。その後、非線型処理回路において、ガンマ処理、ニー処理が施されるが、これらは、各色の低域成分Ｇｄｃ、Ｂｄｃ、Ｒｄｃに依存した処理となる。つまり、同図（ｃ）に示すように、低域成分の多い赤色成分はニー処理によって圧縮され、その結果、赤色の高域成分は減少する。
【００３３】
その後、第２の高域低域分割回路１８、第２の高域成分生成回路１９、加算器１７Ｇ、１７Ｂ、１７Ｒにより、再び高域置換が行われる。つまり、ニー処理により圧縮された赤色の高域成分と、緑色の高域成分から高域置換成分Ｈ２を生成し、各チャンネルに再び加算する。
【００３４】
Ｈ２＝（ＧＨ２＋ＲＨ２）／２　　　（数式３）
すると、同図（ｄ）に示すように、非線型処理において圧縮されなかった緑色の高域成分が、再度赤色の高域成分に戻ることなり、赤色の高域成分が再現されることとなる。従来例の図２３（ｃ）との比較から明らかなように、各チャンネルに同じ高域成分が存在するため、高域成分に着目すると無彩色の縞模様が再現される。また、図２５（ｃ）との比較から明らかなように、高域成分が多く存在するため、従来例に比べ高解像度の画質を得ることが出来る。
【００３５】
以上より、ＣＣＤから出力される信号において、ある特定の色成分が突出して多い場合に、非線型処理の前段にて置換された高域成分が圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域置換を行った場合に発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００３６】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００３７】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００３８】
また、本実施の形態では、緑色ＣＣＤを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法を行っても良い。
（実施の形態２）。
【００３９】
図３は、本発明を適用した固体撮像装置の一構成を表す図である。図３において、１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、１１は、ローパスフィルタ５Ｇ、５Ｂ、５Ｒ、ハイパスフィルタ６Ｇ、６Ｒからなる第１の高域低域分割回路、１２は除算器７Ｇ、７Ｒ、加算器８からなる第１の高域置換成分生成回路、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路、１８は、ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒ、ハイパスフィルタ１４Ｇ、１４Ｂ、１４Ｒからなる第２の高域低域分割回路、１９は、セレクタ２０からなる第２の高域置換成分生成回路、１７Ｇ、１７Ｂ、１７Ｒは加算器である。
【００４０】
以下、本発明について、総括的、概念的に説明するが、実施の形態１と重複する個所は説明を省略する。
【００４１】
図４に示すように、ＣＣＤから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。
【００４２】
ここで、非線型処理の前段で行われる処理は、実施の形態１と同等であり、非線型処理回路に入力される信号ＧＰ、ＢＰ、ＲＰは（ｂ）に示すように、振幅ｗ／２の高域成分を持つことになる。その後、非線型処理回路において、ガンマ処理、ニー処理が施され，（ｃ）に示す信号ＧＱ、ＢＱ、ＲＱを得る。
【００４３】
その後、第２の高域低域分割回路、第２の高域成分生成回路、加算器により、再び高域置換が行われる。ここで、第２の高域低域分割回路では、各チャンネル毎にハイパスフィルタが備えられており、ハイパスフィルタによってフィルタリングされた高域成分ＧＨ２、ＢＨ２　、ＲＨ２は、セレクタ２０に入力される。セレクタには、他方ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒによりフィルタリングされた低域成分ＧＬ２、ＢＬ２　、ＲＬ２が入力されている。セレクタ２０は、低域成分ＧＬ２、ＢＬ２　、ＲＬ２の比較を行い、最も低値である信号を選択し、選択されたチャンネルと同チャンネルの高域成分を高域置換成分Ｈ２として出力する。
【００４４】
例えば、図４の場合は、Ｒｄｃが最も大きく、Ｂｄｃ、Ｇｄｃが同値で最も低い。つまり、この場合は、青色高域成分ＢＨ２、緑色高域成分ＧＨ２のどちらか一方を高域置換成分Ｈ２として出力し、高域置換を行なう。
【００４５】
つまり、ニー処理による圧縮を最も受けにくい信号である最も低い低域成分を持つチャンネルを選択し、高域置換を行うため、常に、高域成分の多い信号を置換することとなり、実施の形態１と比較し、より高解像度の画質を得ることが出来る。
【００４６】
以上より、ＣＣＤから出力される信号において、ある特定の色成分が突出して多い場合に、非線型処理の前段にて置換された高域成分が圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域置換を行った場合に発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００４７】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００４８】
また、本実施の形態では、ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒの出力ＧＬ２、ＢＬ２　、ＲＬ２によりセレクタ２０の切り替えを行ったが、周波数特性の異なるフィルタを別途設け、それらの出力信号により切替えを行っても良い。
【００４９】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００５０】
また、本実施の形態では、緑色ＣＣＤを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
（実施の形態３）
図５は、本発明を適用した固体撮像装置の一構成を表す図である。図５において、１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、１１は、５Ｇ、５Ｂ、５Ｒはローパスフィルタ、６Ｇ、６Ｒはハイパスフィルタからなる第１の高域低域分割回路、１２は除算器７Ｇ、７Ｒ、加算器８からなる第１の高域置換成分生成回路、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路、１６は、ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒ、ハイパスフィルタ１４からなる第２の高域低域分割回路、２０はセレクタ、１７Ｇ、１７Ｂ、１７Ｒは加算器、２１Ｇ、２１Ｂ、２１Ｒ、２２Ｇ、２２Ｂ、２２Ｒはディレイラインであり、第２の高域置換成分生成回路１９は、セレクタ２０とハイパスフィルタ１４から構成される。
【００５１】
以下、本発明について、総括的、概念的に説明するが、実施の形態２と重複する個所は説明を省略する。
【００５２】
本実施の形態は、実施の形態２における第２の高域低域分割回路、および第２の高域置換成分生成回路の構成が異なるが、実施の形態２と同様の効果を得るものである。
【００５３】
実施の形態２と同じく、第１の高域低域分割回路、第１の高域置換成分生成回路、および加算器により高域置換が行われた信号は、非線形処理回路１０により、非線形処理が施される。その後、信号ＧＱ、ＢＱ、ＲＱはローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒを通り、低域成分ＧＬ２、ＢＬ２、ＲＬ２が生成される。また、信号ＧＱ、ＢＱ、ＲＱはディレイライン２１Ｇ、２１Ｂ、２１Ｒでタイミング調整が行われた後、セレクタ２０に入力される。セレクタ２０には、他方ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒによりフィルタリングされた低域成分ＧＬ２、ＢＬ２　、ＲＬ２が入力されている。セレクタ２０は、低域成分ＧＬ２、ＢＬ２　、ＲＬ２の比較を行い、最も低値である信号を選択し、選択されたチャンネルと同チャンネルの信号を出力する。その後、ハイパスフィルタ１４によりフィルタリングが行われ、高域置換成分Ｈ２が生成される。
【００５４】
ディレイライン２２Ｇ、２２Ｂ、２２Ｒで低域成分ＧＬ２、ＢＬ２、ＲＬ２のタイミング調整が行われた後、加算器１７Ｇ、１７Ｂ、１７Ｒにおいて低域成分ＧＬ２、ＢＬ２、ＲＬ２と高域置換成分Ｈ２の加算が行われ信号Ｇｏ、Ｂｏ、Ｒｏを得る。
【００５５】
本実施の形態では、セレクタ２０により、先に、高域置換成分の元になるチャンネルを選択し、その後、ハイパスフィルタにより高域置換成分を生成する。実施の形態２と比較し、ハイパスフィルタを削減することができ、回路規模の減少に繋がり、電力を削減することが可能となる。
【００５６】
なお、本発明において、第１の高域低域分割回路、第２の高域低域分割回路、第１の高域置換成分生成回路、第２の高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００５７】
また、本実施の形態では、ローパスフィルタ１３Ｇ、１３Ｂ、１３Ｒの出力ＧＬ２、ＢＬ２　、ＲＬ２によりセレクタ２０の切替えを行ったが、周波数特性の異なるフィルタを別途設け、それらの出力信号により切替えを行っても良い。
【００５８】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００５９】
また、本実施の形態では、緑色ＣＣＤを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
（実施の形態４）
図６は、本発明を適用した固体撮像装置の一構成を表す図である。１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、１１は、ローパスフィルタ５Ｇ、５Ｂ、５Ｒ、ハイパスフィルタ６Ｇ、６Ｒからなる高域低域分割回路、１２は、除算器７Ｇ、７Ｒ、加算器８からなる高域置換成分生成回路、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路、２３、２５は乗算器、２４はゲイン決定回路、１７Ｇ、１７Ｂ、１７Ｒは加算器である。
以下、本発明について、総括的、概念的に説明するが、実施の形態１，２，３と重複する個所は説明を省略する。
Ａ／Ｄ変換器によって、Ａ／Ｄ変換された信号は１１の高域低域分割回路により、低域成分ＧＬ、ＢＬ、ＲＬと、高域成分ＧＨ、ＲＨに分割され、高域置換成分生成回路１２では、分割した高域成分ＧＨ、ＲＨから（数式１）に示す高域成分を生成する。その後、乗算器２３において、ゲイン決定回路によって決定される係数ｍが乗じられ、高域置換成分Ｈ１は次式となる
Ｈ１＝ｍ＊Ｈ＝ｍ（ＧＨ＋ＲＨ）／２　　　　　　（数式４）
その後、加算器９Ｇ、９Ｂ、９Ｒにおいて、低域成分ＧＬ、ＢＬ、ＲＬとの加算が行われ、信号ＧＰ、ＢＰ、ＲＰが得らる。その後、非線形回路１０により非線形処理が施され信号ＧＱ、ＢＱ、ＲＱが得られる。
高域置換成分生成回路１２により生成された高域成分Ｈは、乗算器２５にも入力され、同じく、ゲイン決定回路により決定される係数ｎが乗じられ、高域置換成分Ｈ２が生成される。
【００６０】
Ｈ２＝ｎ＊Ｈ＝ｎ（ＧＨ＋ＲＨ）／２　　　　　　（数式５）
その後、非線形処理を通った信号ＧＱ、ＢＱ、ＲＱとの加算が加算器１７Ｇ、１７Ｂ、１７Ｒによって行われる。
つまり、非線形処理回路の前段で加算される高域置換成分Ｈ１は係数ｍに依存し、非線形処理回路の後段で加算される高域置換成分Ｈ２は係数ｎに依存することとなる。
ここで、図７は、ゲイン決定回路の一構成図であり、比較回路３１、減算器３２、除算器３３、減算器３４から構成される。比較回路３１には、高域低域分割回路で生成された各チャンネルの低域成分ＧＬ、ＢＬ、ＲＬが入力され、比較回路により低域成分ＧＬ、ＢＬ　、ＲＬの中で、最も高値であるチャンネルと最も低値であるチャンネルが選択され、それぞれａ、ｂとして出力される。
その後、減算回路３２で、ａとｂの差であるｔが求めらる。
【００６１】
ｔ＝ａ−ｂ　　　　　　（数式６）
除算器において除算が行われた後、係数ｎが出力される。
【００６２】
ｎ＝ｔ／４０９５　　　（数式７）
また、除算器の出力は、減算器３４において１との減算が行われ、係数ｍとして出力される。
【００６３】
ｍ＝　１−　ｔ／４０９５　　　（数式８）
次に、図８に示す信号波形を用いて説明する。ＣＣＤから出力される信号として、緑色、青色、赤色の低域成分Ｇｄｃ、Ｂｄｃ、Ｒｄｃが同値であり、各チャンネルに縞模様（振幅ｗ）の高域成分を持つ場合を考える。この場合、ゲイン決定回路に入力される低域成分ＧＬ、ＢＬ、ＲＬは同値となるため、演算の結果、ｍ＝１、　ｎ＝０　、（ｔ＝０）となる。つまり、高域置換成分は、それぞれＨ１＝Ｈ、Ｈ２＝０となり、これは非線形処理の前段で高域成分Ｈが加算され、非線形処理の後では加算が行われないことを意味する。よって、信号ＧＰ、ＢＰ、ＲＰは同図（ｂ）のように振幅ｗの高域成分を持つ信号となり、その後、非線型処理回路により非線型処理が施され、（ｃ）に示す信号ＧＱ、ＢＱ、ＲＱを得る。
【００６４】
乗算器２５ではＨ２＝０のため、加算が行われず信号ＧＱ、ＢＱ、ＲＱがそのまま信号Ｇｏ、Ｂｏ、Ｒｏとして出力される。この場合は、非線型処理の前段で高域置換を行う図１７の従来例と同じ動作をすることになる。
また、図９に示すように、ＣＣＤから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。例えば、ＲｄｃとＧｄｃ、Ｂｄｃの差ｄをｄ＝４０９５×０．８とすると、ゲイン決定回路では、ｍ＝０．２　、ｎ＝０．８　（ｔ＝０．８）が出力される。すると、非線型処理の前段においてＨ１＝０．２Ｈの高域成分が加算されるため、信号ＧＰ、ＢＰ、ＲＰは同図（ｂ）のように振幅０．２ｗの高域を持つ信号となる。その後、非線形処理が施され、低域成分Ｒｄｃが高い赤色のみガンマによる圧縮が行われ、同図（ｃ）に示す信号ＧＱ、ＢＱ、ＲＱを得る。その後、乗算器２５において高域置換成分Ｈと係数ｎとの乗算が行われ　高域置換成分Ｈ２＝０．８Ｈが求められ、加算器１５Ｇ、１５Ｂ、１５Ｒにおいて信号ＧＱ、ＢＱ、ＲＱとの加算が行われる。その結果、（ｄ）のような信号Ｇｏ、Ｂｏ、Ｒｏを得る。
【００６５】
つまり、各チャンネルの低域成分の差が小さい場合には、非線型処理の前段で加算する高域置換成分を多くし、逆に、差が小さい場合には非線型処理の後段で加算する高域置換成分を多くする。この様に、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合を変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
なお、従来例の問題解決法として、本実施の形態において、ｍ＝０、ｎ＝１に固定し、常時、非線型処理の後段に置いて高域を置換する解決法が考えられるが、図８（ａ）に示すような、黒レベル付近で無彩色の高域成分がある場合、高域成分が非線型処理回路を通らないため、同図（ｂ）→（ｃ）に示すガンマ処理による伸張が行われないため、黒レベル付近での解像度が得られない。つまり、本発明では、上述したように、各チャンネル間の低域成分の差が無い場合には、非線型処理の前段で高域が加算され、その後、ガンマ処理を施すため、黒レベル付近での信号の伸張が行われ、黒レベル付近の解像度が得られる。
また、ゲイン決定回路は上述した回路による構成に限らず、また、係数ｍ、ｎは（数式７）、（数式８）が表す関係式によって求められなくとも良い。例えば、図１０は異なるゲイン決定回路の一構成図であり、比較回路３１、減算器３２、メモリ部３５から構成される。
比較回路３１には、高域低域分割回路で生成された低域成分ＧＬ、ＢＬ、ＲＬが入力され、低域成分ＧＬ、ＢＬ　、ＲＬの中で、最も高値であるチャンネルと、最も低値であるチャンネルが選択され、それぞれａ、ｂとして出力される。その後、減算回路３２で、（数式６）に示すａ、ｂ　の差ｔが求められ、メモリ部３５にアドレスとして入力される。メモリの各アドレスには、あらかじめ任意のデータを入力しておき、指定されたアドレスに保存されたデータを出力する。これにより、予め入力するデータによって、任意の変換式を実現することが可能となる。
【００６６】
以上、本発明では、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合を変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【００６７】
なお、本発明において、高域低域分割回路、高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００６８】
また、本実施の形態では、ゲイン決定回路の入力信号としてローパスフィルタ５Ｇ、５Ｂ、５Ｒの出力ＧＬ、ＢＬ　、ＲＬを用いたが、周波数特性の異なるフィルタを別途設け、それらの信号を入力信号としても良い。
【００６９】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００７０】
また、本実施の形態では、緑色ＣＣＤを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法を行っても良い。
（実施の形態５）
図１１は、本発明を適用した固体撮像装置の一構成を表す図である。１Ｇは緑色画像用ＣＣＤ、１Ｂは青色画像用ＣＣＤ、１Ｒは赤色画像用ＣＣＤ、２Ｇ、２Ｂ、２Ｒは相関二重サンプリング回路（ＣＤＳ回路）、３Ｇはディレイライン、４Ｇ、４Ｂ、４ＲはＡ／Ｄ変換器、１１は、５Ｇ、５Ｂ、５Ｒはローパスフィルタ、６Ｇ、６Ｒはハイパスフィルタからなる高域低域分割回路、１２は、除算器７Ｇ、７Ｒ、加算器８からなる高域置換成分生成回路、９Ｇ、９Ｂ、９Ｒは加算器、１０は非線型処理回路、４１、４３はコアリング回路、４２はコアリング値決定回路、１７Ｇ、１７Ｂ、１７Ｒは加算器である。
【００７１】
以下、本発明について、総括的、概念的に説明するが、実施の形態４と重複する個所は説明を省略する。
【００７２】
本実施の形態は、実施の形態４におけるゲイン決定回路および乗算器を、コアリング値決定回路４２、およびコアリング回路４１，４３に置き換え、高域成分に係数を乗じる替わりに、コアリング動作により同様の効果を得るものである。
【００７３】
図１２に示すように、ＣＣＤから出力される信号として、赤色低域成分が緑色、青色成分に比べ多く、その上、赤色のみ縞模様（振幅ｗ）の高域成分を持つ場合を考える。
【００７４】
実施の形態５と同様に、高域低域分割回路により低域成分ＧＬ、ＢＬ、ＲＬが分割され、加算器９Ｇ、９Ｂ、９Ｒに入力される。また、高域置換成分生成回路により分割された高域成分ＧＨ、ＲＨより高域成分Ｈ（数式１）が生成される。この場合、高域成分Ｈは、図１３（ａ）に示すように振幅ｗ／２の信号となり、その後、コアリング回路４１に入力される。また、コアリング回路４１の他方には、コアリング値決定回路により決定された定数ｕが入力される。
【００７５】
コアリング回路は、図１５に示すような特性を保有してる。
【００７６】
ｙ＝０（−ｕ＜ｘ＜＋ｕ）、ｙ＝ｘ−ｕ（ｘ＞＋ｕ）、ｙ＝ｘ＋ｕ（ｘ＜−ｕ）　　　　　　（数式９）
コアリング回路４１に入力された高域成分Ｈは、図１３（ａ）に示すように、斜線で示す幅２ｕ部分を中抜されることなり、高域置換成分Ｈ１は同図（ｂ）に示すような信号となる。その後、Ｈ１は加算器９Ｇ、９Ｂ、９Ｒにより低域成分ＧＬ、ＢＬ、ＲＬに加算され、信号ＧＰ、ＢＰ、ＲＰが得られる。
【００７７】
その後、非線型処理回路１０により、非線型処理が施され、図１２（ｃ）に示す信号ＧＱ、ＢＱ、ＲＱが得られる。また、高域成分Ｈは、コアリング回路４３にも入力されており、図１４に示すように、同様にコアリング決定回路により決定された定数ｖによりコアリングが行われ、高域置換成分Ｈ２を得る。その後、加算器１７Ｇ、１７Ｂ、１７Ｒにより、信号ＧＰ、ＢＰ、ＲＰに加算され、信号Ｇｏ、Ｂｏ、Ｒｏが得られる。
ここで、図１６は、コアリング値決定回路の一構成図であり、比較回路３１と、減算器３２と、減算器３４から構成される。比較回路３１には、高域低域分割回路で生成された低域成分ＧＬ、ＢＬ、ＲＬが入力され、低域成分ＧＬ、ＢＬ　、ＲＬの中で、最も高値であるチャンネルと、最も低値をとるチャンネルが選択され、それぞれａ、ｂとして出力される。その後、減算回路３２で、（数式６）に示すａとｂの差ｔが求められ、それを定数ｕとして出力する。
【００７８】
ｕ＝ｔ　　　　　　（数式１０）
となる。また、ｔは減算器３４にも入力され、４０９５との減算が行われ、定数ｖとして出力される。
【００７９】
ｖ＝４０９５−ｔ　　　（数式１１）
つまり、各チャンネルの低域成分の差ｔが小さい程、コアリング量ｕが減少、ｖが増大し、非線型処理前段で加算する高域置換成分が支配的になる。
以上より、各チャンネルの低域成分の差が小さい場合には、非線型処理の前段で加算する高域置換成分を多くし、逆に、差が小さい場合には非線型処理の後段で加算する高域成分を多くする。この様に、チャンネル間の低域成分の差に対して、非線型処理の前段、後段での高域加算の割合をコアリング動作により変化させることで、無彩色に近い高域成分を実現し、高域における色の再現性低下、および、解像度低下の両方を防ぐことができ、より高画質の映像を再現することが可能となる。
【００８０】
なお、本発明において、高域低域分割回路、高域置換成分生成回路は、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００８１】
また、本実施の形態では、コアリン値決定回路の入力信号としてローパスフィルタ５Ｇ、５Ｂ、５Ｒの出力ＧＬ、ＢＬ　、ＲＬを用いたが、周波数特性の異なるフィルタを別途設け、それらの信号を入力信号としても良い。
【００８２】
また、本発明においては、水平空間画素ずらし法に適用したが、ライン間の処理を行うことで、垂直空間画素ずらし法においても実現できる。
【００８３】
また、本実施の形態では、緑色ＣＣＤを半画素空間的にずらして配置し、赤色成分、緑色成分から高域置換成分を生成したが、任意のチャンネルの組み合わせから、同様の画素ずらし法をを行っても良い。
【００８４】
また、本発明におけるコアリング値決定回路は、実施の形態４にて示した図１０示すように、本実施の形態に示す構成でなくとも、同じ演算を行う異なる回路構成でも実現できる。
【００８５】
【発明の効果】
以上の説明より明らかなように、空間画素ずらし法を採用した固体撮像装置において、ある特定の色成分が他の色成分に比べ多い場合に、非線型処理の前段で置換を行なった高域成分が、ニー処理により圧縮されることで発生する高域における色の再現性低下、および、非線型処理の後段で高域を加算することで発生する解像度低下を防ぐことができ、より高画質の映像を再現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における固体撮像装置の回路図
【図２】本発明の実施の形態１における信号を示す図
【図３】本発明の実施の形態２における固体撮像装置の回路図
【図４】本発明の実施の形態２における信号を示す図
【図５】本発明の実施の形態３における固体撮像装置の回路図
【図６】本発明の実施の形態４における固体撮像装置の回路図
【図７】本発明の実施の形態４におけるゲイン決定回路の回路図
【図８】本発明の実施の形態４における信号を示す図
【図９】本発明の実施の形態４における信号を示す図
【図１０】本発明の実施の形態４におけるゲイン決定回路の回路図
【図１１】本発明の実施の形態５における固体撮像装置の回路図
【図１２】本発明の実施の形態５における信号を示す図
【図１３】本発明の実施の形態５における信号を示す図
【図１４】本発明の実施の形態５における信号を示す図
【図１５】本発明の実施の形態５におけるコアリング特性を示す図
【図１６】本発明の実施の形態５におけるコアリング値決定回路の回路図
【図１７】従来例における固体撮像装置の回路図
【図１８】光学ローパスフィルタの特性を示す図
【図１９】光学ローパスフィルタの折り返し特性を示す図
【図２０】空間画素ずらし法におけるＣＣＤの配置図
【図２１】従来例における信号を示す図
【図２２】ローパスフィルタ、ハイパスフィルタの特性を示す図
【図２３】従来例における信号を示す図
【図２４】従来例における固体撮像装置の回路図
【図２５】従来例における信号を示す図
【符号の説明】
１Ｇ　　緑色画像用ＣＣＤ
１Ｂ　　青色画像用ＣＣＤ
１Ｒ　　赤色画像用ＣＣＤ
２Ｇ、２Ｂ、２Ｒ　　相関二重サンプリング回路（ＣＤＳ回路）
３Ｇ　　ディレイライン
４Ｇ、４Ｂ、４Ｒ　　Ａ／Ｄ変換器
１１　第１の高域低域分割回路
５Ｇ、５Ｂ、５Ｒ　　ローパスフィルタ
６Ｇ、６Ｒ　　ハイパスフィルタ
１２　第１の高域置換成分生成回路
７Ｇ、７Ｒ　　除算器
８　加算器
９Ｇ、９Ｂ、９Ｒ　　加算器
１０非線型処理回路
１８　第２の高域低域分割回路
１３Ｇ、１３Ｂ、１３Ｒ　　ローパスフィルタ
１４Ｇ、１４Ｒ　　ハイパスフィルタ
１９　第２の高域置換成分生成回路
１５Ｇ、１５Ｒ　　除算器
１６　加算器
１７Ｇ、１７Ｂ、１７Ｒ　　加算器
【図１】
2004072298.tif 000003
【図２】
2004072298.tif 000004
【図３】
2004072298.tif 000005
【図４】
2004072298.tif 000006
【図５】
2004072298.tif 000007
【図６】
2004072298.tif 000008
【図７】
2004072298.tif 000009
【図８】
2004072298.tif 000010
【図９】
2004072298.tif 000011
【図１０】
2004072298.tif 000012
【図１１】
2004072298.tif 000013
【図１２】
2004072298.tif 000014
【図１３】
2004072298.tif 000015
【図１４】
2004072298.tif 000016
【図１５】
2004072298.tif 000017
【図１６】
2004072298.tif 000018
【図１７】
2004072298.tif 000019
【図１８】
2004072298.tif 000020
【図１９】
2004072298.tif 000021
【図２０】
2004072298.tif 000022
【図２１】
2004072298.tif 000023
【図２２】
2004072298.tif 000024
【図２３】
2004072298.tif 000025
【図２４】
2004072298.tif 000026
【図２５】
2004072298.tif 000027