(57)【特許請求の範囲】
【請求項１】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素を共有画素として画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記固体撮像素子からの画素のそれぞれについて、当該画素への入射光の周辺画素への漏れ出しおよび／または前記周辺画素への入射光の当該画素への漏れ込みを、補正パラメータに応じて補正する画素混色補正手段と、
前記１組を構成する前記所定の複数個の共有画素のそれぞれに対応した複数個の前記補正パラメータを発生する補正パラメータ発生手段と、
前記補正パラメータ発生手段からの前記複数個の補正パラメータの中から、前記画素混色補正手段における補正対象の画素が、前記１組を構成する前記所定の複数個の共有画素のうちのいずれであるかに応じて、対応する前記補正パラメータを選択して、前記画素混色補正手段に供給する補正パラメータ選択手段と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画素混色補正手段は、前記補正対象の画素の周辺の複数個の画素の値と、前記周辺の複数個の画素に対応して別々に生成された前記補正パラメータとから、前記補正対象の画素についての補正を実行する
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記画素混色補正手段は、前記補正対象の画素の周辺の複数個の画素の値と、前記周辺の複数個の画素に共通の前記補正パラメータとから、前記補正対象の画素についての補正を実行する
ことを特徴とする撮像装置。
【請求項４】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素を共有画素として画素構成に必要な回路を共有する構成とされた固体撮像素子を備える撮像装置の撮像データ補正方法であって、
前記固体撮像素子からの画素のそれぞれについて、当該画素への入射光の周辺画素への漏れ出しおよび／または前記周辺画素への入射光の当該画素への漏れ込みを補正するための補正パラメータであって、前記１組を構成する前記所定の複数個の共有画素のそれぞれに対応した複数個の前記補正パラメータの中から、補正対象の画素が、前記１組を構成する前記所定の複数個の共有画素のうちのいずれであるかに応じて、対応する前記補正パラメータを選択する補正パラメータ選択工程と、
前記補正パラメータ選択工程で選択された前記補正パラメータを受けて、当該補正パラメータに応じて、前記補正対象の画素についての補正処理を行う画素混色補正工程と、
備えることを特徴とする撮像データ補正方法。
【請求項５】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素を共有画素として画素構成に必要な回路を共有する構成とされた固体撮像素子を備える撮像装置に、
前記固体撮像素子からの画素のそれぞれについて、当該画素への入射光の周辺画素への漏れ出しおよび／または前記周辺画素への入射光の当該画素への漏れ込みを補正するための補正パラメータであって、前記１組を構成する前記所定の複数個の共有画素のそれぞれに対応した複数個の前記補正パラメータの中から、補正対象の画素が、前記１組を構成する前記所定の複数個の共有画素のうちのいずれであるかに応じて、対応する前記補正パラメータを選択する補正パラメータ選択工程と、
前記補正パラメータ選択工程で選択された前記補正パラメータを受けて、当該補正パラメータに応じて、前記補正対象の画素についての補正処理を行う画素混色補正工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばＣＭＯＳイメージセンサなどの固体撮像素子を備える撮像装置、および、当該撮像装置からの撮像データの補正方法並びに当該補正方法を実行するプログラムに関する。
【背景技術】
【０００２】
例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子は、光電変換素子を含む画素セルの上方に色フィルタ、さらにその上に集光用のマイクロレンズが積層された構造となっている。
【０００３】
近年の高画素化にともなう画素部の微細化とともに、このような撮像素子においては「画素混色」と呼ばれる問題が無視できなくなりつつある。これは画素間のピッチが狭まり、撮像素子上のマイクロレンズによって集光され、色フィルタを通過した光が、本来集光させるべき画素のみならず、隣接する画素に漏れやすくなっていることに起因する。
【０００４】
画像混色が生じる状態を図１８に示す。この図１８は、撮像素子がＣＭＯＳイメージセンサ１の場合であって、画素セル２の上方に色フィルタ３が積層され、さらにその上にマイクロレンズからなる集光レンズ４が積層形成されている。そして、イメージセンサ１の上方には、絞り５が配置されている。
【０００５】
絞り５の開口を通じて入射した光は、それが十分に絞られていない状態では、図１８（Ａ）に示すように、目的とする１つの画素セル２のみではなく、隣接する画素セル２にも入射するので、各画素セル２では、自分の画素セル２用の色フィルタ以外の色フィルタを通過した光が入射することになる。１つの画素から見ると、当該画素にすべて入射するべき光の一部が周辺に漏れ出すと共に、当該画素の周辺の画素のそれぞれに、本来、入射すべき光の一部が当該画素に漏れ込むことになる。これが画素混色である。
【０００６】
なお、図１８（Ｂ）に示すように、絞り５が十分に絞られて、入射光が１つの画素セルのみにしか入射しない状態であるならば、画素混色は生じない。
【０００７】
画素混色が起きると隣接する画素間の分離が悪くなることから、出力画像で見たときに解像度の劣化が起きる。また、固体撮像素子が１個の単板式撮像装置（カメラシステム）においては、異なる色の色フィルタを通った光が漏れ込むことにより、白っぽくなって色が薄くなったり、画像の平坦部（画像内容に変化が無いあるいは少ない部分）では混色量に起因した幾何学的模様の発生といった弊害も生じる。これらの問題は、一般に、画素間隔が狭間隔になるほど、急激に出力画質に対して悪影響を及ぼす。
【０００８】
なお、この明細書では、自分の画素セル用の色フィルタの色と、周辺の画素セル用の色フィルタの色とが異なる場合に限らず、周辺の画素セル用の色フィルタの色が、自分の画素セル用の色フィルタと同じ色の場合であっても、上記のような光の漏れ出しや漏れ込みが生じる場合にも、画素混色と呼んでいる。
【０００９】
したがって、単板式のカラー撮像装置のように、異なる色の色フィルタが画素セルに対して積層配置される場合だけではなく、固体撮像素子が各色の色フィルタに対して１枚づつの３板式のカラー撮像装置の撮像素子のように、各撮像素子に対する色フィルタの色は、同一の場合であっても、入射光が１つの画素セルにのみにかぎらず、隣接画素セルにも入射する状態をも、画素混色と呼ぶものである。
【００１０】
この場合には、画素混色により、解像度の劣化が生じると共に、本来は同じ色で、同じ明るさであるべき画素であっても、色の明暗が生じてしまうという問題が生じる。
【００１１】
上記の画素混色の問題を解決した補正技術については、例えば特許文献１（特開２００７−１４２６９７号公報）などが提案されている。特許文献１に開示されている補正技術は、撮像装置において、固体撮像素子からの補正対象の注目画素の値に対して、当該注目画素とその隣接画素との間の差分に、適当な補正係数（補正パラメータ）をかけた値を足し戻すというものが基本的な処理であり、そこでは、補正係数に方向性（注目画素に対する隣接画素の方向位置に応じた違い）を持たせたり、Ｆ値で制御させるという点について記載されている。
【００１２】
ところで、近年、ビデオカメラやデジタルスチルカメラ用に用いられるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子には、一層の高画素数化と小型化が同時に要求されている。小型化を保ちつつ高画素数化を進めると、当然のことながら１画素あたりの面積が小さくなるために画素感度の減少が懸念される。
【００１３】
この問題を解決するために、従来は、回路・配線レイアウトの工夫あるいは製造プロセスの進化等によって、固体撮像素子の画素構成（フォトダイオードと、増幅トランジスタやリセットトランジスタなどを含む周辺回路からなる）におけるフォトダイオード部の占める割合をできるだけ大きくすることで、高画素数化と小型化の両立を図ってきた。
【００１４】
しかしながら、固体撮像素子に対する近年の高画素数化と小型化の要求はますます強まり、同時に低照度における高画質化も注目されてきており、もはや上記対応だけでは、画質として満足できる画素感度を得る固体撮像素子を提供することが事実上不可能になってきている。
【００１５】
そこで、固体撮像素子におけるこの問題を回避するための技術として、画素を構成するために必要な回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向および／または垂直方向に隣接または近接する複数の画素の間で共有させることにより、１画素当たりの回路（配線を含む）を減らし、その減らした分だけ受光用フォトダイオードに割り当てる面積を大きくして、画素の感度を稼ぐ技術が注目されている（以降、この技術を画素共有技術と呼ぶ）。
【００１６】
例えば特許文献２（特許第３８３８６６５号公報）では、画素からの画素データの読出しに必要な増幅用トランジスタおよびリセット用トランジスタを、隣接する２個の画素で共有化し、当該増幅用トランジスタおよびリセット用トランジスタに接続されている２個の画素を時間をずらして順に選択することで、それぞれの画素から画素データを読み出すことで、１画素あたりのトランジスタ数を削減し、その分をフォトダイオードの面積に回すことで、画素の感度向上を実現する画素共有技術が開示されている。
【００１７】
ところで、画素共有技術を用いない一般的な固体撮像素子は、全ての画素が画一的に構成されるのが通常である。すなわち、一般的な固体撮像素子の画素構成は、画面のどの位置の画素をみても常に同じである。このため、一般的な固体撮像素子では、画素毎のフォトダイオードの、半導体構造上の周辺環境も、全ての画素で同じとなり、製造上のバラツキの要因を除けば、基本的には、光学的特性は全画素で共通といえる。
【００１８】
しかしながら、上記特許文献２を始めとする「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、回路を共有する複数の画素を一つの単位として考えた場合には、当該単位は全て同じ構成となるが、当該単位内の各画素においては、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。
【００１９】
すなわち、回路を共有する複数の画素を単位としたとき、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個、繰り返し配列されるものであるが、それら複数個の単位において、単位内の複数の画素の配列パターン上で同じ位置になる画素は、そのフォトダイオードの、半導体構造上の周辺環境配置は同一のものとなるため、光学的特性も揃うことになる。
【００２０】
しかし、回路を共有する複数の画素単位内の、当該画素の配列パターン上で異なる位置になる画素間、すなわち、前記単位内の隣接画素または近接画素間では、回路・レイアウトが異なるため、画素のフォトダイオードの半導体構造上の周辺環境配置も異なり、それら画素の画素特性がそれぞれ異なったものになることは避けられない。
【００２１】
このため、「画素共有技術」を適用した固体撮像素子で、全画面均一の被写体を撮像したとしても、前記単位内の隣接画素間で画素データ出力値が異なることになり、最終出力画像の品質が著しく低下してしまうという問題が発生する。
【００２２】
以上のような画素共有技術にまつわる上記の問題を、回避するために、従来は、
Ａ．画素レイアウトの工夫により、できるだけ光学的不均一性を軽減する
Ｂ．光学的不均一性が発生しても、出力画像に影響を与えないような組み合わせで画素共有させる
といった、固体撮像装置側の画素構造を工夫した技術が、特許文献３（特開２００４−１７２９５０号公報）、特許文献４（特開２０５−１１０１０４号公報）、特許文献５（特開２００６−７３７３３号公報）、特許文献６（特開２００６−１５７９５３号公報）など、多数開示されている。
【００２３】
上記の特許文献は、次の通りである。
【特許文献１】特開２００７−１４２６９７号公報
【特許文献２】特許第３８３８６６５号公報
【特許文献３】特開２００４−１７２９５０号公報
【特許文献４】特開２０５−１１０１０４号公報
【特許文献５】特開２００６−７３７３３号公報
【特許文献６】特開２００６−１５７９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
前述した特許文献１に開示されている「画素混色」の補正技術は、全画面に渡って、各画素における画素混色の特性が共通（同一）という大前提の元で成り立つものである。
【００２５】
このため、上述した画素共有技術を適用した固体撮像装置においても、上記の特許文献２〜６に開示されている技術を用いて、共有画素のそれぞれについての画素特性のばらつきをなくすようにする必要がある。
【００２６】
しかしながら、前述したように、上記特許文献３〜６などに開示されている技術は、いずれも、固体撮像素子側の画素構造を工夫したものである。このため、例えば、上記Ａによる画素構造の工夫では、回路を共有する複数の画素（以下、回路を共有する複数の画素を共有画素と称する）の光学的不均一性を軽減させることはできても、完全になくすことはできない。
【００２７】
したがって、画素共有技術を適用した固体撮像装置においては、従来は、共有画素を構成する複数の画素のそれぞれの画素特性のばらつきのために、上述したような従来の「画素混色」の補正技術を用いたとしても完全に補正することができず、あるいは、逆補正となる画素も存在するために、これらに起因した出力画質への影響が問題となっている。
【００２８】
また、共有画素のそれぞれについての画素特性のばらつきをなくすようにする、上記Ａの方法または上記Ｂの方法のいずれの場合も、画素構成、レイアウト、あるいは、画素データの読出し構成にまで、固体撮像素子に対して、大きな制約を課すことになり、延いては、当該ＡまたはＢの方法を適用した固体撮像素子の出力を処理する撮像装置全体に対しても大きな制約を課すことになってしまうという問題もある。
【００２９】
この発明は、上記の問題点を回避して、画素共有画素技術を適用した固体撮像素子についても、画素混色による出力画質への影響を、より軽減することができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３０】
上記の課題を解決するために、この発明は、
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素を共有画素として画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記固体撮像素子からの画素のそれぞれについて、当該画素への入射光の周辺画素への漏れ出しおよび／または前記周辺画素への入射光の当該画素への漏れ込みを、補正パラメータに応じて補正する画素混色補正手段と、
前記１組を構成する前記所定の複数個の共有画素のそれぞれに対応した複数個の前記補正パラメータを発生する補正パラメータ発生手段と、
前記補正パラメータ発生手段からの前記複数個の補正パラメータの中から、前記画素混色補正手段における補正対象の画素が、前記１組を構成する前記所定の複数個の共有画素のうちのいずれであるかに応じて、対応する前記補正パラメータを選択して、前記画素混色補正手段に供給する補正パラメータ選択手段と、
を備える撮像装置を提供する。
【００３１】
上記の構成のこの発明においては、補正パラメータ発生手段は、前記１組を構成する前記所定の複数個の画素、つまり、共有画素のそれぞれに対応した複数の補正パラメータを発生する。そして、補正パラメータ選択手段は、画素混色補正手段で補正を行う対象画素が、共有画素のいずれであるかに応じて、補正パラメータ発生手段からの複数の補正パラメータの中から、当該対象画素に対応する補正パラメータを選択して、画素混色補正手段に供給するようにする。
【００３２】
したがって、画素混色補正手段では、共有画素毎に設定された補正パラメータが用いられて画素混色の補正が実行され、これにより、画素共有技術が適用された固体撮像素子においても、画素混色による出力画質への影響を、より軽減することができる。
【発明の効果】
【００３３】
この発明によれば、画素共有技術が適用された固体撮像素子においても、固体撮像素子側の画素構造を工夫することなく、画素混色による出力画質への影響を、より軽減することができる。
【発明を実施するための最良の形態】
【００３４】
以下、この発明による撮像装置の実施形態を、図を参照しながら説明する。
【００３５】
［第１の実施形態］
図１は、この実施形態の撮像装置１０の要部の構成例を示すブロック図であり、撮像レンズを備える光学系１と、固体撮像素子の例としてのＣＭＯＳイメージセンサ２と、アナログ信号処理部３と、デジタル信号処理部４と、カメラ制御マイクロコンピュータ（マイクロコンピュータはマイコンと略称する）５と、手ぶれセンサ６と、レンズ駆動用ドライバ部７と、ヒューマンインターフェースマイコン８と、ユーザーインターフェース９とを備えている。
【００３６】
光学系１は、手ぶれを補正するために撮像レンズを位置調整するためのアクチュエータを備える。このアクチュエータは、レンズ駆動用ドライバ部７からのレンズ駆動信号により駆動制御される。
【００３７】
ＣＭＯＳイメージセンサ２は、水平方向および垂直方向に多数個の画素が配列されたものであると共に、画素共有技術が適用されたものであり、また、カラー画像を得るために、色フィルタが、光入射側に配置されているものである。
【００３８】
図２は、このＣＭＯＳイメージセンサ２における画素配列と色フィルタとの例を示すものである。図２（Ａ）は、いわゆるベイヤー配列を示すもので、矩形の画素Ｐｓが、水平方向および垂直方向に多数個配列されると共に、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが、交互に画素セルに対向するように配され、残りの１つ置きの水平方向の画素の行では、青Ｂと緑Ｇの色フィルタが、交互に画素セルに対向するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。
【００３９】
図２（Ｂ）および（Ｃ）は、ひし形形状の画素Ｐｄを、水平方向および垂直方向に多数個、配列したものである。これは、見かけ上の画素ピッチを、水平方向および垂直方向において、図２（Ａ）のベイヤー配列の場合よりも短くすることができる画素配置例である。ただし、図示のように、色フィルタの配置が、図２（Ｂ）と図２（Ｃ）とで異なるものである。
【００４０】
すなわち、図２（Ｂ）の画素配列例では、１つ置きの水平方向の画素の行では、赤Ｒと青Ｂの色フィルタが交互に画素セルに対向し、かつ、赤Ｒと青Ｂの色フィルタが、垂直方向にも交互に画素セルに対向するように配されると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素セルに対向するように配されたものである。
【００４１】
そして、図２（Ｃ）の画素配列例は、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが交互に画素セルに対向するように配された行と、青Ｂと緑Ｇの色フィルタが交互に画素セルに対向するように配された行とが１行置きになるようにされると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素セルに対向するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。
【００４２】
以上は、いわゆる単板の固体撮像素子の構成の場合の例であるが、図２（Ｄ）および図２（Ｅ）に示すように、赤Ｒ、緑Ｇ、青Ｂのそれぞれ毎に、１個の固体撮像素子Ｉｒ，Ｉｇ，Ｉｂが設けられる３板の構成とするようにすることもできる。図２（Ｄ）は、図２（Ａ）の場合と同様に、矩形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合であり、また、図２（Ｅ）は、図２（Ｂ），（Ｃ）の場合と同様に、ひし形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合である。
【００４３】
この例のＣＭＯＳイメージセンサ２としては、図２（Ａ）〜（Ｅ）のいずれの構成とすることも可能であるが、この実施形態では、説明の簡単のため、図２（Ａ）のベイヤー配列の場合とする。
【００４４】
そして、この実施形態では、ＣＭＯＳイメージセンサ２からの出力は、例えば１チャンネルとされる。このＣＭＯＳイメージセンサからの１チャンネル読み出しの方法は、図３に示すような形で行われるものとする。つまり、図３に示すように、ＣＭＯＳイメージセンサの多数の画素Ｐｓについて、その１行ずつ、左から順に一つのチャンネルで画素データを並列に読み出し、１画面に渡って横方向に走査していき、１水平ライン分の全てを読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全部を読み出していく。
【００４５】
すなわち、この場合、ＣＭＯＳイメージセンサ２からの出力画素シーケンスは、画素配列を横方向に走査した順番そのものとなる。
【００４６】
一般に、ＣＭＯＳイメージセンサは、上述した１チャンネル読み出しだけでなく、多チャンネルの並列読み出しにも適しているが、この発明は、こういった読出し方式に本質的に左右されるものではない。そして、この実施形態においては、説明の都合上、読み出しについては図３に示したような読み出しシーケンスの場合の例について説明するが、もちろん、この発明の適用は、この読み出し形式に限ったものではなく、以下に説明する実施形態を、適宜、他の読み出し形式に適用することができる。
【００４７】
この実施形態のＣＭＯＳイメージセンサ２は、前述した画素共有技術が適用された画素構造となっている。図４（Ａ）、図４（Ｂ）および図４（Ｃ）として、共有画素の配列パターンの３つの例を示す。
【００４８】
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、上段は、ＣＭＯＳイメージセンサ２における共有画素の配列パターンを示しており、図上、太線で結んだ複数個の画素が共有画素である。
【００４９】
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、中段は、共有画素の画素配列パターン内における各画素位置毎の識別子（共有画素ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と称することとする）を示している。
【００５０】
また、図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、下段は、ＣＭＯＳイメージセンサ２からの出力画素シーケンスを共有画素ＩＤで表したものである。この下段の共有画素ＩＤの出力シーケンスは、共有画素の配列パターンにのみ着目した場合であり、各画素に対応する色フィルタの違いについては、ここでは考慮していない。なお、当該下段の記載において、１Ｈ，２Ｈ，３Ｈ、・・・におけるＨは、水平方向の行、つまり水平ラインを表している。
【００５１】
図４（Ａ）の例は、垂直方向の２個の画素が共有画素とされる場合である。すなわち、この例においては、互いに隣接する２水平ラインの上下の２画素が共有画素となる。したがって、共有画素ＩＤは、中段に示すように、各水平ライン毎に、「０」と「１」とが交互に出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスは、下段に示すように、ある水平ラインで、全ての画素出力に対して「０」が出力されるものとなり、次に、水平ラインで、全ての画素出力に対して「１」が出力されるものとなる。
【００５２】
図４（Ｂ）の例も、垂直方向の２個の画素が共有画素とされる場合であるが、この例の場合には、水平方向の１画素毎に、共有画素が、垂直方向に１画素分ずれた画素位置のものとされている。したがって、共有画素ＩＤは、中段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。
【００５３】
図４（Ｃ）の例は、垂直方向の４個のジグザグの配置位置の画素が、共有画素とされる場合である。したがって、共有画素ＩＤは、中段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。
【００５４】
この実施形態のＣＭＯＳイメージセンサ２における共有画素配列パターンとしては、図４（Ａ），（Ｂ），（Ｃ）のいずれであってもよく、この実施形態では、ＣＭＯＳイメージセンサ２は、例えば図４（Ａ）の共有画素配列パターンの共有画素を備える構成とされる。
【００５５】
そして、光学系１に入射した光は、上述したような構成のＣＭＯＳイメージセンサ２において、光電変換された後に、電気信号として、すなわち、撮像画像データとして出力される。ＣＭＯＳイメージセンサ２は、カメラ制御マイコン５からの制御信号により、読み出し開始／停止制御および読み出し位置制御などを行う。
【００５６】
このＣＭＯＳイメージセンサ２からの、この例においては、１チャンネルの出力画像データは、アナログ信号処理部３に供給されて、サンプルホールド、自動利得制御などの処理がなされた後、Ａ／Ｄ（アナログ−デジタル）変換されて、デジタル信号処理部４に入力される。
【００５７】
なお、この例では、ＣＭＯＳイメージセンサ２からのアナログ出力信号を、アナログ信号処理部３にて、サンプルホールド、自動利得制御、Ａ／Ｄ変換する構成として説明したが、ＣＭＯＳイメージセンサ２の内部にアナログ信号処理部３の構成を取り込んだ構成とするようにしてもよい。
【００５８】
デジタル信号処理部４は、アナログ信号処理部３から供給されてきた撮像画像信号ＲＡＷ（生データ）をデジタル撮像画素データに変換すると共に、その変換後のデジタル撮像画素データに対して、カメラ制御マイコン５の指示に従って、様々な信号処理を行う。このデジタル信号処理部４で行われる各種信号処理には、ホワイトバランス処理やガンマ処理、色差信号処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の撮像画像情報を示すデータ、例えば明るさやコントラスト、色合い等）の計算処理を含む。
【００５９】
デジタル信号処理部４は、後述するように、基準タイミング信号発生器を備え、この基準タイミング信号発生器から各種タイミング信号を発生する。このタイミング信号には、撮像画像データについての水平同期信号ＨＤおよび垂直同期信号ＶＤを含み、デジタル信号処理部４は、これら水平同期信号ＨＤ、垂直同期信号ＶＤおよびその他の必要なタイミング信号をＣＭＯＳイメージセンサ２に供給する。なお、図示は省略したが、デジタル信号処理部４の基準タイミング信号発生器からのタイミング信号は、カメラ制御マイコン５にも供給されている。
【００６０】
ＣＭＯＳイメージセンサ２は、前述した図３の読み出し形式により各画素から画素データを読み出すようにするが、そのための読み出し部および読み出しタイミング信号発生器を備えている。そして、ＣＭＯＳイメージセンサ２の読み出しタイミング発生器は、デジタル信号処理部４から受けた前記水平同期信号ＨＤおよび垂直同期信号ＶＤに同期する読み出しタイミング信号を生成して、ＣＭＯＳイメージセンサ２からの画素データの読み出しを、カメラ制御マイコン５からの制御信号に基づいて行う。
【００６１】
そして、この実施形態では、デジタル信号処理部４は、さらに、共有画素の不均一性をも考慮して、画素混色を補正するための構成としての、共有画素別画素混色補正処理部を備えるが、この共有画素別画素混色補正処理部の詳細については、後で詳述する。
【００６２】
カメラ制御マイコン５は、デジタル信号処理部４から送られてきた検波データや手ぶれセンサ６から送られてくる撮像装置１０の手ぶれ情報により、現在の撮像画像の状態を把握し、ヒューマンインターフェースマイコン８を経由して送られてくる各種設定モードに応じた制御を行う。すなわち、カメラ制御マイコン５は、読み出し領域指定データをＣＭＯＳイメージセンサ２に、撮像画像制御用データをデジタル信号処理部４に、レンズ制御データをレンズ駆動用ドライバ部７に、自動利得制御用のゲイン制御データをアナログ信号処理部３に、それぞれ供給する。
【００６３】
ＣＭＯＳイメージセンサ２は、ＣＭＯＳイメージセンサ２の撮像領域のうちの、読み出し領域指定データにより指定される任意の領域の信号を、読み出しタイミング信号によって順次読み出し、アナログ信号処理部３に出力する。
【００６４】
また、デジタル信号処理部４、レンズ駆動用ドライバ部７、アナログ信号処理部３は、カメラ制御マイコン５から送られてきた制御値に応じた処理を行い、所望の信号処理・タイミング発生・レンズ駆動・ゲイン処理が実現される。
【００６５】
ユーザーインターフェース９は、ユーザーの操作入力を受け付けるためのキー操作部と、撮像装置１０のモードや、カメラ情報を報知するためのディスプレイを備える。ユーザーが行うメニュー操作等についてはユーザーインターフェース９を介してヒューマンインターフェースマイコン８で制御される。
【００６６】
ヒューマンインターフェースマイコン８は、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を、ユーザーインターフェース９を通じたユーザー操作指示入力に基づいて検知し、カメラ制御マイコン５に対して、検知出力をユーザー指示情報として送る。
【００６７】
同時に、カメラ制御マイコン５は、得られたカメラ制御情報（被写体距離やＦ値、シャッタースピード、倍率等）をヒューマンインターフェースマイコン８に送信し、ユーザーインターフェース９のディスプレイを介して、現在のカメラの情報を、ユーザーに知らせるようにしている。これらのブロックの詳細については、この発明と直接関係無いためここでは省略する。
【００６８】
［デジタル信号処理部４の詳細構成例の説明］
図５は、デジタル信号処理部４の詳細構成例を示すものである。この例においては、デジタル信号処理部４は、カメラ信号前処理部４１と、共有画素別画素混色補正処理部４２と、カメラ信号主処理部４３と、基準タイミング信号発生器４４と、通信インターフェース４５とを備える。
【００６９】
基準タイミング信号発生器４４は、前述した水平同期信号ＨＤおよび垂直同期信号ＶＤを発生して、ＣＭＯＳイメージセンサ２に供給すると共に、画素タイミングの基準となる基準タイミング信号ＴＧをカメラ信号前処理部４１および共有画素別画素混色補正処理部４２に供給する。基準タイミング信号発生器４４は、また、各種タイミング信号を、カメラ信号主処理部４３に供給する。さらに、図示は省略したが、基準タイミング信号発生器４４は、各種タイミング信号を、カメラ制御マイコン５にも供給する。
【００７０】
通信インターフェース４５は、カメラ信号主処理部４３から得られる各種検波値ＤＥＴを、カメラ制御マイコン５に供給する。カメラ制御マイコン５は、前述したように、受け取った各種検波値に基づいて、例えば自動利得制御信号などの制御信号を生成して、それぞれ対応する処理部に供給するようにする。
【００７１】
また、通信インターフェース４５は、カメラ制御マイコン５からのカメラ信号処理制御用パラメータＰｍを受け取り、必要な制御信号をカメラ信号前処理部４１、共有画素別画素混色補正処理部４２およびカメラ信号主処理部４３に供給する。これにより、カメラ信号前処理部４１、共有画素別画素混色補正処理部４２およびカメラ信号主処理部４３は、カメラ制御マイコン５によって処理動作が制御できる構成とされている。
【００７２】
カメラ信号前処理部４１は、アナログ信号処理部３からの撮像画像信号ＲＡＷを受け、画素混色補正処理の前段として行っておくべき処理群を実行するもので、例えばデジタルクランプ処理などが含まれる。このカメラ信号前処理部４１で行う処理群は、この発明とは直接には関係が無いので、ここでは、その詳細な説明は省略する。
【００７３】
カメラ信号前処理部４１の出力は、共有画素別画素混色補正処理部４２に供給される。共有画素別画素混色補正処理部４２では、共有画素を構成する画素のそれぞれ毎（共有画素ＩＤが同じ画素毎）に、画素混色の補正処理を実行する。
【００７４】
共有画素別画素混色補正処理部４２には、カメラ制御マイコン５から通信インターフェース４５を通じて、前述の図４を用いて説明した共有画素ＩＤに関する情報、すなわち、共有画素ＩＤ設定情報Ｓｉｄが供給される。さらに、後述するように、カメラ制御マイコン５からは、画素混色補正処理のための補正パラメータ群（補正係数セット群）Ｓφが通信インターフェース４５を通じて、共有画素別画素混色補正処理部４２に供給される。
【００７５】
この場合、カメラ制御マイコン５は、共有画素を構成する複数個の画素のそれぞれ毎（共有画素ＩＤが同じ画素毎）に対して、画素混色補正処理のための補正パラメータ（補正係数セット）を生成して、例えばメモリに保持しておく。したがって、補正パラメータ郡（補正係数セット群）Ｓφは、共有画素を構成する複数個の画素に対応した複数個の補正パラメータ（複数個の補正係数セット）を含むものである。
【００７６】
共有画素別画素混色補正処理部４２は、カメラ信号前処理部４１から送られてくる撮像画像データＲＡＷに対して、通信インターフェース４５を通じて取得した補正パラメータ群Ｓφの中から選択された補正パラメータを用いて画素混色補正処理を行う。すなわち、共有画素別画素混色補正処理部４２では、共有画素ＩＤ設定情報Ｓｉｄに基づいて、カメラ信号前処理部４１から送られてくる画素が、共有画素のいずれであるかを認識（共有画素ＩＤを認識）し、その認識結果に基づいて、補正パラメータ群Ｓφのうちの、当該共有画素についての補正パラメータ（補正係数セット）を選択し、その選択した補正パラメータ（補正係数セット）を用いて画素混色補正処理を行う。そして、共有画素別画素混色補正処理部４２は、画素混色補正をした画素データを、カメラ信号主処理部４３に供給する。
【００７７】
カメラ信号主処理部４３では、カメラ制御マイコン５からの通信インターフェース４５を通じた制御指示に応じて、ノイズリダクション／欠陥補正／デモザイク／ホワイトバランス／解像度変換といった公知の技術で構成される、各種カメラ信号処理を行い、出力データとしての輝度データＹおよび色データＣを、後段のビデオ系処理ブロック（図示は省略）へと供給する。このカメラ信号主処理部４３の詳細内容については、この発明とは直接関係無いため、ここでは省略する。
【００７８】
＜共有画素別画素混色補正処理部４２の説明＞
この実施形態における共有画素別画素混色補正処理部４２の構成例を説明する前に、この実施形態における共有画素別画素混色補正処理例の概要を、図６を参照しながら説明する。なお、ここで説明する画素混色補正処理方法の例は一例であり、これに限定されるものでないことは言うまでもない。
【００７９】
前述したように、画素混色は、注目画素に入射すべき光の、当該注目画素の周辺の隣接画素への漏れ出しおよび前記周辺の隣接画素に入射すべき光の当該注目画素への漏れ込みにより生じる。そこで、例えば図２（Ａ）に示したベイヤー配列の色フィルタの場合を例に取ると、図６（Ａ）に示すように、注目画素（補正対象の画素；図６（Ａ）で丸印で囲んである）Ｐｘ＿Ｃの周囲８画素の範囲を混色範囲ＡＲと想定する。なお、図６の説明では、図２（Ａ）に示したベイヤー配列の色フィルタの場合を例に取っている。
【００８０】
そして、この混色範囲ＡＲの８画素の内、斜め方向に位置する画素は、注目画素Ｐｘ＿Ｃからの距離が、注目画素Ｐｘ＿Ｃの上下左右の画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒ（図６（Ｂ）参照）よりも√２倍遠いため、混色の影響度は残りの上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒの方が支配的であるといえる（図６（Ｂ）参照）。そこで、この例の補正処理においては、注目画素Ｐｘ＿Ｃに対する斜め方向の画素との間の混色は、十分無視できるものとして除外している。
【００８１】
したがって、この例では、注目画素Ｐｘ＿Ｃの上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒの画素混色のみに着目し、
・補正対象画素から、混色率分だけ周囲画素に漏れ出す→その分だけ足し戻す、
・補正対象画素に、混色率分だけ周囲画素から漏れ込んでくる→その分だけ差し引く、
という補正モデルで混色現象を軽減させる回路を構成している。
【００８２】
別の見方をすると、周囲画素とのレベル差が大きいほど混色量が大きくなるので、差分量に応じた補正を行っていると見ることもできる。この補正処理方法自身は、先に示した特許文献１に記載の技術であるが、補正回路に与える「補正パラメータ」を共有画素のそれぞれに応じて切り替えるという点が、この発明のポイントである。
【００８３】
以上の補正処理を、補正式として説明すると次のようになる。すなわち、図６（Ｂ）に示すように、補正対象画素Ｐｘ＿Ｃの画素信号の値をＳｉｇ＿ｃ、上の隣接画素Ｐｘ＿Ｔの画素信号の値をＳｉｇ＿ｔ、下の隣接画素Ｐｘ＿Ｂの画素信号の値をＳｉｇ＿ｂ、左の隣接画素Ｐｘ＿Ｌの画素信号の値をＳｉｇ＿ｌ、右の隣接画素Ｐｘ＿Ｒの画素信号の値をＳｉｇ＿ｒとし、また、注目画素Ｐｘ＿Ｃと上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒとの間の混色率を、図６（Ｃ）に示すように、それぞれＫ＿ｔ、Ｋ＿ｂ、Ｋ＿ｌ、Ｋ＿ｒとすると、画素混色補正後の注目画素Ｐｘ＿Ｃの画素信号の値をＳｉｇ＿ｃ´は、次の補正式（１）により表わすことができる。
【００８４】
すなわち、
Ｓｉｇ＿ｃ´＝Ｓｉｇ＿ｃ
＋Ｋ＿ｔ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｔ）
＋Ｋ＿ｒ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｒ）
＋Ｋ＿ｌ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｌ）
＋Ｋ＿ｂ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｂ）  ・・・・  （１）
ここで、混色率Ｋ＿ｔ、Ｋ＿ｂ、Ｋ＿ｌ、Ｋ＿ｒは、上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒに対する補正パラメータ（補正係数）に相当し、この例では、上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒに対する４個の補正パラメータ（補正係数）Ｋ＿ｔ、Ｋ＿ｂ、Ｋ＿ｌ、Ｋ＿ｒの１組を、１セットとしている。
【００８５】
なお、色フィルタがベイヤー配列の場合、注目画素は、赤の色フィルタが割り当てられる画素と、青の色フィルタが割り当てられる画素と、緑の色フィルタが割り当てられる画素とがある。そして、図２に示されるように、赤および青の色フィルタが割り当てられる画素の周辺隣接画素は全て緑とされる。
【００８６】
これに対して、緑の色フィルタが割り当てられる画素の場合、左右が赤の色フィルタが割り当てられ、かつ、上下が青の色フィルタが割り当てられる画素と、左右が青の色フィルタが割り当てられ、かつ、上下が赤の色フィルタが割り当てられる画素との２種類がある。
【００８７】
そこで、赤の色フィルタが割り当てられる画素をＲ、青の色フィルタが割り当てられる画素をＢ、緑の色フィルタが割り当てられ、かつ、左右の画素が赤の色フィルタが割り当てられる画素をＧｒ、緑の色フィルタが割り当てられ、かつ、左右の画素が青の色フィルタが割り当てられる画素をＧｂとしたとき、図７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すような、４種の注目画素を考えることができる。
【００８８】
この４種の注目画素のそれぞれに応じて、上述した混色率Ｋ＿ｔ、Ｋ＿ｂ、Ｋ＿ｌ、Ｋ＿ｒをそれぞれ設定することもできるが、この例では、簡単のため、これら４種の注目画素において、混色率Ｋｉ＿ｔ、Ｋｉ＿ｂ、Ｋｉ＿ｌ、Ｋｉ＿ｒのそれぞれは、混色が同一に生じるもの（混色特性が同一）として、注目画素の種類に限らず、同一のものを使用している。
【００８９】
以上の説明から明らかなように、また、図７に示すように、この例の画素混色補正処理においては、３水平ライン分に属する画素を用いる必要がある。そこで、以下に説明する共有画素別画素混色補正処理部４２における画素混色補正処理においては、注目画素が属する水平ラインは、カメラ信号前処理部３からの信号に対して、１水平ライン分遅延した注目ライン信号Ｓｉｇ＿ＨＣ（図７参照）としている。
【００９０】
そして、注目画素の上画素を含む水平ラインは、カメラ信号前処理部３からの信号に対して、２水平ライン分遅延した上ライン信号Ｓｉｇ＿ＨＴ（図７参照）としている。また、注目画素の下画素を含む水平ラインは、カメラ信号前処理部３からのライン信号そのもの、すなわち、下ライン信号Ｓｉｇ＿ＨＢ（図７参照）としている。
【００９１】
そして、１画素クロック分の遅延量をＤとしたとき、図７に示すように、注目画素については、注目ライン信号Ｓｉｇ＿ＨＣの画素信号に対して、１画素クロック分（１Ｄ）遅延した画素信号としている。また、注目画素の左画素については、注目ライン信号Ｓｉｇ＿ＨＣの画素信号に対して、２画素クロック分（２Ｄ）遅延した画素信号としている。また、注目画素の右画素については、注目ライン信号Ｓｉｇ＿ＨＣの画素信号そのもの、つまり、遅延がゼロ（０Ｄ）の画素信号としている。
【００９２】
また、注目画素の上画素については、上ライン信号Ｓｉｇ＿ＨＴの画素信号に対して、１画素クロック分（１Ｄ）遅延した画素信号としている。さらに、注目画素の下画素については、下ライン信号Ｓｉｇ＿ＨＢの画素信号に対して、１画素クロック分（１Ｄ）遅延した画素信号としている。
【００９３】
図８は、以上説明した画素混色補正処理を実行する共有画素別画素混色補正処理部４２の詳細構成例を示すブロック図である。この例の共有画素別画素混色補正処理部４２は、本線信号としての撮像画像データＲＡＷに対して設けられる遅延調整部４２１と、上下ライン同時化部４２２と、タイミング生成部４２３と、共有画素別補正パラメータ選択部４２４と、通信インターフェース４２５と、画素混色補正部４２６とを備える。
【００９４】
遅延調整部４２１は、タイミング生成部４２３と、補正パラメータ選択部４２４における処理遅延分を、カメラ信号前処理部４１からの本線信号としての入力撮像画像データＲＡＷに対して与えて、画素混色補正部４２６における、後述する共有画素別の画素混色補正処理のタイミングを調整するためのものである。
【００９５】
上下ライン同時化部４２２は、遅延調整部４２１からの信号から、混色補正処理のために必要な３水平ライン分のライン信号を同時化出力するものである。この上下ライン同時化部４２２は、図示のように、２個の１水平ライン分の遅延ライン４２２１，４２２２を備える。遅延ライン４２２１，４２２２は、この例では、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））で構成される。
【００９６】
そして、遅延調整部４２１の出力ライン信号（図９（Ａ）参照）は、上下ライン同時化部４２２では、遅延されずに、下ライン信号Ｓｉｇ＿ＨＢ（図９（Ｂ）参照）として、画素混色補正部４２６に供給されると共に、遅延ライン４２２１により１水平ライン分遅延されて注目ライン信号Ｓｉｇ＿ＨＣ（図９（Ｂ）参照）として、画素混色補正部４２６に供給される。さらに、遅延ライン４２２１からの注目ライン信号Ｓｉｇ＿ＨＣが、さらに、遅延ライン４２２２により、さらに１水平ライン分遅延されて上ライン信号Ｓｉｇ＿ＨＴ（図９（Ｂ）参照）として、画素混色補正部４２６に供給される。なお、図９（Ｂ）において、０Ｈ遅延，１Ｈ遅延、２Ｈ遅延における「Ｈ」は、１水平ライン（１水平区間）分のデータ量（あるいは時間長）を示している
そして、画素混色補正部４２６で、後述するような共有画素別混色補正処理がなされて、この画素混色補正部４２６からは、遅延調整部４２１の出力から見ると１水平ライン分遅延された補正後注目ライン信号Ｓｉｇ＿ＨＣ´（図９（Ｃ）参照）が出力される。
【００９７】
タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、通信インターフェース４２５を通じてカメラ制御マイコン５から送られてくる共有画素ＩＤ設定情報Ｓｉｄとに基づいて、前述した共有ＩＤシーケンスに基づいた共有画素別補正パラメータの選択制御信号（パラメータ選択信号という）ＳＥＬを生成し、共有画素別補正パラメータ選択部４２４に供給する。
【００９８】
タイミング生成部４２３は、また、上下ライン同時化部４２２のＳＲＡＭに対して、書き込み／読み出し制御信号Ｒ／Ｗを供給する。なお、タイミング生成部４２３は、図示は省略したが、遅延調整部４２１、上下ライン同時化部４２２、共有画素別補正パラメータ選択部４２４、通信インターフェース４２５および画素混色補正部４２６の各部に、画素クロックＣＬＫを供給するものである。
【００９９】
共有画素別補正パラメータ選択部４２４には、カメラ制御マイコン５から、通信インターフェース４２５を通じて、共有画素を構成する複数個の画素の数に応じた複数セットの補正パラメータ群Ｓφが供給される。この補正パラメータ群Ｓφには、前述したように、注目画素Ｐｘ＿Ｃと上下左右の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒとの間の混色率Ｋ＿ｔ、Ｋ＿ｂ、Ｋ＿ｌ、Ｋ＿ｒに対応する補正パラメータ（上下左右の画素との間での混色特性に応じた補正係数）を１セットとして、それを共有画素を構成する複数個の画素の数に応じた複数セット、含まれるものである。
【０１００】
そして、共有画素別補正パラメータ選択部４２４では、タイミング生成部４２３からのパラメータ選択信号ＳＥＬにより、補正パラメータ群Ｓφの中から、画素混色補正部４２６での補正対象画素が、共有画素のいずれの画素であるかに応じた補正パラメータ（補正係数セット）が選択されて、画素混色補正部４２６に供給される。
【０１０１】
図１０は、共有画素別補正パラメータ選択部４２４の構成例を示すもので、共有画素別補正パラメータ選択部４２４は、上下左右の画素と注目画素との間での混色特性に応じた補正パラメータセット（補正係数セット）を選択するための４個のセレクタ４２４１，４２４２，４２４３，４２４４を備える。
【０１０２】
セレクタ４２４１，４２４２，４２４３，４２４４のそれぞれには、上画素、下画素、左画素、右画素のそれぞれ用の、共有画素を構成する複数個の画素数（ｎ＋１）に応じた（ｎ＋１）個（ｎは１以上の整数）の補正パラメータ群Ｋ０＿ｔ，Ｋ２＿ｔ・・・Ｋｎ＿ｔ、Ｋ０＿ｂ，Ｋ２＿ｂ・・・Ｋｎ＿ｂ、Ｋ０＿ｌ，Ｋ２＿ｌ・・・Ｋｎ＿ｌ、Ｋ０＿ｒ，Ｋ２＿ｒ・・・Ｋｎ＿ｒ、がそれぞれ供給される。
【０１０３】
また、セレクタ４２４１，４２４２，４２４３，４２４４のそれぞれには、タイミング生成部４２３からのパラメータ選択信号ＳＥＬが供給される。
【０１０４】
この構成により、セレクタ４２４１，４２４２，４２４３，４２４４のそれぞれからは、画素混色補正部４２６での補正対象画素が、共有画素のいずれの画素であるかに応じた補正パラメータがそれぞれが選択されて取り出される。すなわち、補正対象画素の共有画素ＩＤに応じた補正パラメータが、セレクタ４２４１，４２４２，４２４３，４２４４のそれぞれから得られる。
【０１０５】
ここでは、セレクタ４２４１，４２４２，４２４３，４２４４のそれぞれから得られる補正パラメータは、Ｋｉ＿ｔ、Ｋｉ＿ｂ、Ｋｉ＿ｌ、Ｋｉ＿ｒとして示すが、この補正パラメータにおけるｉは、補正対象の画素が、例えば１フレームの先頭からｉ番目のものであることを意味している。ｉの意味は、以下同様である。
【０１０６】
こうして、補正パラメータ選択部４２４から得られた補正対象画素用の補正パラメータセットφｉ、すなわち、補正パラメータＫｉ＿ｔ、Ｋｉ＿ｂ、Ｋｉ＿ｌ、Ｋｉ＿ｒは、画素混色補正部４２６に供給される。
【０１０７】
画素混色補正部４２６では、受け取った補正パラメータセットφｉを用いて、上述した画素混色補正を実行する。すなわち、画素混色補正部４２６では、上下ライン同時化部４２２で同時化された３ライン信号から、注目画素、当該注目画素の上下左右の隣接画素を抽出し、それらの画素信号に対して、補正パラメータＫｉ＿ｔ、Ｋｉ＿ｂ、Ｋｉ＿ｌ、Ｋｉ＿ｒを用いた補正演算処理を実行する。
【０１０８】
なお、この実施形態では、画素混色補正部４２６には、カメラ制御マイコン５から、通信インターフェース４２５を通じて、補正オン・オフ制御信号ＳＷが供給され、画素混色補正処理を行う場合と、行わない場合とを切り替えることができるように構成されている。
【０１０９】
図１１は、画素混色補正部４２６の構成例を示すブロック図である。この図１１に示すように、画素混色補正部４２６は、４個の１画素クロック分の遅延回路４２６１，４２６２，４２６３，４２６５と、１個の２画素クロック分の遅延回路４２６４と、画素混色補正演算処理部４２６６とからなる。
【０１１０】
上下ライン同時化部４２２からの注目ライン信号Ｓｉｇ＿ＨＣが遅延回路４２６１に供給されて１画素クロック分遅延され、これにより、遅延回路４２６１から注目画素（補正対象画素）信号Ｓｉｇ＿ｃが得られ、画素混色補正演算処理部４２６６に供給される。
【０１１１】
また、上下ライン同時化部４２２からの上ライン信号Ｓｉｇ＿ＨＴが遅延回路４２６２に供給されて、１画素クロック分遅延され、これにより、遅延回路４２６２から上画素信号Ｓｉｇ＿ｔが得られ、画素混色補正演算処理部４２６６に供給される。
【０１１２】
また、上下ライン同時化部４２２からの下ライン信号Ｓｉｇ＿ＨＢが遅延回路４２６３に供給されて、１画素クロック分遅延され、これにより、遅延回路４２６３から下画素信号Ｓｉｇ＿ｂが得られ、画素混色補正演算処理部４２６６に供給される。
【０１１３】
また、上下ライン同時化部４２２からの注目ライン信号Ｓｉｇ＿ＨＣが遅延回路４２６４に供給されて、２画素クロック分遅延され、これにより、遅延回路４２６４から左画素信号Ｓｉｇ＿ｌが得られ、画素混色補正演算処理部４２６６に供給される。
【０１１４】
さらに、上下ライン同時化部４２２からの注目ライン信号Ｓｉｇ＿ＨＣが、遅延されずにそのままの状態で、右画素信号Ｓｉｇ＿ｒとして画素混色補正演算処理部４２６６に供給される。
【０１１５】
また、補正パラメータセットφｉは、遅延回路４２６５に供給されて、１画素クロック分遅延され、これにより注目画素（補正対象画素）と、補正パラメータセットφｉとの同期化がなされた後、画素混色補正演算処理部４２６６に供給される。この場合、遅延回路４２６６は、１個で示したが、補正パラメータセットφｉは、４個の補正パラメータＫｉ＿ｔ、Ｋｉ＿ｂ、Ｋｉ＿ｌ、Ｋｉ＿ｒからなるので、実際的には、４個の遅延回路からなるものである。
【０１１６】
図１２に、画素混色補正演算処理部４２６６の構成例を示す。この例の画素混色補正演算処理部４２６６は、減算回路５０１，５０２，５０３，５０４と、乗算回路５１１，５１２，５１３，５１４と、加算回路５２１と、セレクタ５２２とからなる。
【０１１７】
減算回路５０１は、補正対象画素信号Ｓｉｇ＿ｃと、上画素信号Ｓｉｇ＿ｔとの差分を計算し、その差分出力を乗算回路５１１に供給する。乗算回路５１１には、上画素用の補正パラメータＫｉ＿ｔが供給されており、補正対象画素信号Ｓｉｇ＿ｃと、上画素信号Ｓｉｇ＿ｔとの差分に、上画素用の補正パラメータＫｉ＿ｔが乗算され、その乗算結果が加算回路５２１に供給される。
【０１１８】
また、減算回路５０２は、補正対象画素信号Ｓｉｇ＿ｃと、右画素信号Ｓｉｇ＿ｒとの差分を計算し、その差分出力を乗算回路５１２に供給する。乗算回路５１２には、右画素用の補正パラメータＫｉ＿ｒが供給されており、補正対象画素信号Ｓｉｇ＿ｃと、右画素信号Ｓｉｇ＿ｒとの差分に、右画素用の補正パラメータＫｉ＿ｒが乗算され、その乗算結果が加算回路５２１に供給される。
【０１１９】
また、減算回路５０３は、補正対象画素信号Ｓｉｇ＿ｃと、左画素信号Ｓｉｇ＿ｌとの差分を計算し、その差分出力を乗算回路５１３に供給する。乗算回路５１３には、左画素用の補正パラメータＫｉ＿ｌが供給されており、補正対象画素信号Ｓｉｇ＿ｃと、左画素信号Ｓｉｇ＿ｌとの差分に、左画素用の補正パラメータＫｉ＿ｌが乗算され、その乗算結果が加算回路５２１に供給される。
【０１２０】
また、減算回路５０４は、補正対象画素信号Ｓｉｇ＿ｃと、下画素信号Ｓｉｇ＿ｂとの差分を計算し、その差分出力を乗算回路５１４に供給する。乗算回路５１４には、下画素用の補正パラメータＫｉ＿ｂが供給されており、補正対象画素信号Ｓｉｇ＿ｃと、下画素信号Ｓｉｇ＿ｂとの差分に、下画素用の補正パラメータＫｉ＿ｂが乗算され、その乗算結果が加算回路５２１に供給される。
【０１２１】
加算回路５２１には、さらに、補正対象画素信号Ｓｉｇ＿ｃがそのまま供給される。そして、加算回路５２１では、これに供給される信号を全て加算することで、前述した補正式（１）で示した演算結果の出力信号Ｓｉｇ＿ｃ´が生成され、セレクタ５２２に供給される。
【０１２２】
セレクタ５２２には、通信インターフェース４２５を通じて、補正オン・オフ制御信号ＳＷがカメラ制御マイコン５から供給されており、補正オンのときには、加算回路５２１からの前記の混色補正演算結果の出力信号Ｓｉｇ＿ｃ´が、このセレクタ５２２から出力され、補正オフのときには、補正対象画素信号Ｓｉｇ＿ｃが、補正されずに、そのままこのセレクタ５２２から出力されるように、このセレクタ５２２が制御される。
【０１２３】
この補正オン・オフ制御ができるようにしたことにより、画素混色が生じないような撮像素子の場合には、画素混色補正をオフとすることで、例えば逆補正が生じてしまわないようにすることが容易にできる。また、図１８でも説明したように、絞りを絞った状態では、画素混色を生じない状態にすることができる可能性があるので、そのような場合に、画素混色補正をオフとするように制御することもできる。
【０１２４】
なお、補正オン・オフ制御は、この例のように、セレクタ５２２を設けて切り替えるのではなく、補正パラメータの値を、補正オフの場合には、全てゼロとすることでも可能である。
【０１２５】
以上説明したようにして、上述の実施形態によれば、特許文献１における
・混色補正の補正量を通信インターフェースを介して、外部のカメラ制御マイコン５からリアルタイムにコントロールできる、
・補正パラメータＫｉ＿ｔ，Ｋｉ＿ｂ，Ｋｉ＿ｌ，Ｋｉ＿ｒを変えることで、注目画素（補正対象画素）に対する隣接画素の方向性を持たせた画素混色補正処理が実現できる、
というメリットはそのままに、共有画素別に独立の補正パラメータを使った補正処理が行えるために、画素共有技術を用いた撮像素子に対しても適切な画素混色補正処理を実現することが可能となるという顕著な効果を得ることができる。
【０１２６】
［第２の実施形態］
上述した第１の実施形態では、注目画素（補正対象画素）に対する隣接画素の方向性を持たせた画素混色補正処理をするために、上下左右の４種の補正パラメータＫｉ＿ｔ，Ｋｉ＿ｂ，Ｋｉ＿ｌ，Ｋｉ＿ｒを用いるようにしている。そして、図１２に示した例においては、画素混色補正演算処理部４２６６では、１画素クロック毎に同時に、上下左右４個の画素についての処理を並列演算する必要があるため、基本的に１チャンネル（例えば複数画素をまとめて複数チャンネルで並列処理する場合をも想定）当たり、４個の乗算回路を設ける必要がある。また、共有画素別補正パラメータ選択部４２４においても、セレクタを４個設ける必要がある。
【０１２７】
ところで、図１３に示すように、注目画素Ｐｘ＿Ｃと、その上下左右４個の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒとの間の画素混色特性に方向性が殆ど見られず、補正パラメータＫｉ＿ｔ＝Ｋｉ＿ｂ＝Ｋｉ＿ｌ＝Ｋｉ＿ｒ＝Ｋｉ＿ｃｍとしてよい場合がある。ここで、Ｋｉ＿ｃｍは、方向性を有しない共通補正パラメータである。
【０１２８】
このような場合には、補正パラメータは、上下左右４個の隣接画素Ｐｘ＿Ｔ、Ｐｘ＿Ｂ、Ｐｘ＿Ｌ、Ｐｘ＿Ｒとの間の画素混色補正に、１個の共通補正パラメータＫｉ＿ｃｍを用いることができるので、乗算回路などは１個でよく、画素混色補正演算処理部４２６の回路規模を削減することができる。
【０１２９】
この第２の実施形態は、この回路規模を削減する場合の例である。この第２の実施形態の場合における共有画素別補正パラメータ選択部４２４の構成例を図１４に示す。
【０１３０】
この図１４に示すように、この第２の実施形態においては、補正パラメータ群としては、画素共有ＩＤに応じた複数個の上下左右共通補正パラメータＫ０＿ｃｍ、Ｋ１＿ｃｍ、・・・、Ｋｎ＿ｃｍを、カメラ制御マイコン５で生成すればよい。
【０１３１】
そして、共有画素別補正パラメータ選択部４２４としては、１個のセレクタ４２４５で構成し、この１個のセレクタ４２４５に、カメラ制御マイコン５からの複数個の上下左右共通補正パラメータＫ０＿ｃｍ、Ｋ１＿ｃｍ、・・・、Ｋｎ＿ｃｍを、通信インターフェース４２５を通じて供給するように構成する。
【０１３２】
そして、セレクタ４２４５を、第１の実施形態と同様に、タイミング生成部４２３からのパラメータ選択信号ＳＥＬで選択制御することで、このセレクタ４２４５からは、共有画素ＩＤに応じた補正対象画素毎に適切な共通補正パラメータＫｉ＿ｃｍを得ることができる。
【０１３３】
また、この第２の実施形態の場合における画素混色補正演算処理部４２６６の構成例のブロック図、図１５に示す。この図１５に示すように、第２の実施形態における画素混色補正演算処理部４２６６においては、減算回路５０１，５０２，５０３，５０４の差分出力は、加算回路５２３で加算された後、共通乗算回路５１５に供給される。
【０１３４】
そして、この第２の実施形態では、共有画素別補正パラメータ選択部４２４からの共通補正パラメータＫｉ＿ｃｍが、この共通乗算回路５１５に供給されて、加算回路５２３からの加算結果に乗算される。そして、この共通乗算回路５１５の乗算結果が加算回路５２１に供給され、補正対象画素信号Ｓｉｇ＿ｃと加算されることにより、この加算回路５２１では、次の補正式（２）で示す演算結果の出力信号Ｓｉｇ＿ｃ´が生成され、セレクタ５２２に供給される。
【０１３５】
すなわち、
Ｓｉｇ＿ｃ´＝Ｓｉｇ＿ｃ
＋Ｋｉ＿ｃｍ×［（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｔ）
＋Ｋ＿ｒ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｒ）
＋Ｋ＿ｌ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｌ）
＋Ｋ＿ｂ（Ｓｉｇ＿ｃ−Ｓｉｇ＿ｂ）］  ・・・・  （２）
となる。
【０１３６】
その他は、上述した第１の実施形態と全く同様に構成される。
【０１３７】
この第２の実施形態においては、注目画素（補正対象画素）に対する画素混色補正処理用とする隣接画素についての方向性に関する自由度をなくした代わりに、画素混色補正演算処理部４２６６の乗算器を１個として、画素混色補正を実現している。したがって、この第２の実施形態の回路構成は、例えばイメージセンサの混色が、要求される画質に対して方向性の問題が十分無視できるような場合には非常に効果的な回路構成といえる。
【０１３８】
［実施形態の効果］
以上説明したように、上述の実施形態によれば、画素感度向上を目的として隣接または近接画素間でトランジスタ等画素構成に必要な回路を共有している固体撮像素子（共有パターン・フィルタコーディング・読出しチャンネル形態は問わず）に対して、非常に簡易な構成で、上記固体撮像素子の持つ共有パターンに起因する隣接画素の回路レイアウト不均一性を起因とする「画素混色特性の不均一性」を補正することができる。
【０１３９】
［他の実施形態または変形例］
上述した実施形態では、画素混色補正処理は、ハードウエアを用いた処理としたが、マイコンによるソフトウエア処理とすることもできる。例えば、図１６は、そのソフトウエア処理とした場合における処理の流れを概要を示すフローチャートである。
【０１４０】
すなわち、マイコンは、先ず、補正対象画素およびその上下左右の隣接画素の画素データを取得する（ステップＳ１０１）。
【０１４１】
次に、補正対象画素についての共有画素ＩＤを参照し、予め生成されている補正パラメータ群の中から、当該共有画素ＩＤに応じた補正パラメータのセットあるいは共通補正パラメータを選択取得する（ステップＳ１０２）。
【０１４２】
そして、ステップＳ１０１で取得した補正対象画素およびその上下左右の隣接画素の画素データと、ステップＳ１０２で選択手段得した補正パラメータのセットあるいは共通補正パラメータを用いて、上述したような画素混色補正演算処理を実行する（ステップＳ１０３）。以上で、終了である。
【０１４３】
なお、以上の実施形態の説明においては、固体撮像素子に対して配される色フィルタ、読み出しチャンネル、画素の共有方法については、例を限定して説明してきたが、もちろん、この発明は、これらの限定に限られるものではなく、この発明の主旨を外れない範囲で広く適用することが可能である。
【０１４４】
例えば、図４の例では、共有画素ＩＤで表わした出力画素シーケンスは、色フィルタの色を考慮しなかったが、固体撮像素子に対して配される色フィルタの各色を考慮した場合には、図４（Ａ），（Ｂ），（Ｃ）に示した共有画素の配列パターンの３つの例における共有画素ＩＤ、および、共有画素ＩＤで表した出力画素シーケンスは、図１７に示すようなものとなる。
【０１４５】
すなわち、図１７（Ａ），（Ｂ），（Ｃ）のそれぞれ上段に示した共有画素の配列パターンの３つの例における共有画素ＩＤは、それぞれ中段に示すようなものとなり、また、共有画素ＩＤで表した出力画素シーケンスは、それぞれ下段に示すようなものとなる。
【０１４６】
そして、この場合には、図１７の中段に示した共有画素ＩＤに応じた、補正パラメータセットまたは共通補正パラメータが選択され、図１７の下段に示した共有画素ＩＤシーケンスに同期して、補正処理が実行される。
【０１４７】
なお、上述の第１及び第２の実施形態における画素混色補正演算処理部４２６６における補正パラメータの乗算は、上述の実施形態のように乗算器を用いてもよいが、ビットシフト構成で乗算を実現するようにしても良い。補正精度と、回路規模とのバランスからどちらを採用するかを決めるようにすれば良い。
【０１４８】
また、上述の実施形態では、イメージセンサの全画面で同一の補正パラメータ群を用いて共有画素別画素混色補正を行うようにしたが、１画面全ての領域で共有画素単位で同じ特性となっておらず、例えば、画面の中央と、画面の周辺とで、特性が違う場合がある。
【０１４９】
そのような場合には、補正パラメータ群として、画面の中央領域用と、画面の周辺領域用とを、メモリに記憶するなどして設けておき、補正対象画素位置が画面の画面の中央領域であるか、画面の周辺領域であるかを検出することで、いずれの補正パラメータ群を用いるかを切り替えるようにする。
【０１５０】
なお、以上の説明では、カメラ制御マイコンは、補正パラメータ群を予め生成して、メモリに保持しておき、補正パラメータ選択部４２４に供給するようにしたが、予め保持するのではなく、カメラ制御マイコンで生成しながら、補正パラメータ選択部４２４に供給するように構成してもよい。
【０１５１】
なお、上述した第１〜第３の実施形態の構成は、説明の都合上、図４（Ａ）に示した共有画素パターンならびに読み出し方法に特化して説明してきたが、別の共有画素パターンや読み出し方法にも柔軟に対応できるように、タイミング生成部４２３等をプログラマブルに構成しておくのが望ましい。
【０１５２】
また、上述の実施形態の説明では、固体撮像素子は、ＣＭＯＳイメージセンサとしたが、ＣＣＤイメージセンサでもよい。
【図面の簡単な説明】
【０１５３】
【図１】この発明による撮像装置の実施形態のハードウエア構成例を示す図である。
【図２】この発明による撮像装置の実施形態で用いる固体撮像素子の画素配列および色フィルタ配置の例を説明するための図である。
【図３】この発明による撮像装置の実施形態で用いる固体撮像素子からの撮像画像データの読み出し方法の例を説明するための図である。
【図４】この発明による撮像装置の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤを説明するための図である。
【図５】この発明による撮像装置の第１の実施形態の要部のハードウエア構成例を示す図である。
【図６】この発明による撮像装置の第１の実施形態を説明するために用いる図である。
【図７】この発明による撮像装置の第１の実施形態を説明するために用いる図である。
【図８】図５のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図９】図８のハードウエア構成例における各処理部の出力を説明するための図である。
【図１０】図８のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図１１】図８のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図１２】図１１のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図１３】この発明による撮像装置の第２の実施形態を説明するために用いる図である。
【図１４】この発明による撮像装置の第２の実施形態の要部の構成例を示すブロック図である。
【図１５】この発明による撮像装置の第２の実施形態の要部の構成例を示すブロック図である。
【図１６】この発明による撮像装置の他の実施形態の要部を説明するためのフローチャートを示す図である。
【図１７】この発明による撮像装置における共有画素パターンの他の例を説明するための図である。
【図１８】固体撮像素子における画素混色を説明するために用いる図である。
【符号の説明】
【０１５４】
２…ＣＭＯＳイメージャ、４…デジタル信号処理部、５…カメラ制御マイコン、４２…共有画素別画素混色補正処理部、４４…基準タイミング信号発生器、４２２…上下ライン同時化部、４２３…タイミング生成部、４２４…共有画素別補正パラメータ選択部、４２６…画素混色補正部、４２６６…画素混色補正演算処理部
【図１】
0005045380.tif 000002
【図２】
0005045380.tif 000003
【図３】
0005045380.tif 000004
【図４】
0005045380.tif 000005
【図５】
0005045380.tif 000006
【図６】
0005045380.tif 000007
【図７】
0005045380.tif 000008
【図８】
0005045380.tif 000009
【図９】
0005045380.tif 000010
【図１０】
0005045380.tif 000011
【図１１】
0005045380.tif 000012
【図１２】
0005045380.tif 000013
【図１３】
0005045380.tif 000014
【図１４】
0005045380.tif 000015
【図１５】
0005045380.tif 000016
【図１６】
0005045380.tif 000017
【図１７】
0005045380.tif 000018
【図１８】
0005045380.tif 000019