(57)【要約】【課題】  本発明は、非有効画素領域の出力を利用できない場合であっても、画像に発生したスミアを正確に補正することのできる固体撮像装置およびスミア補正方法を提供することを目的とする。【解決手段】  本発明の固体撮像装置（１０１〜１１２）は、積算手段（１１１）と、スミア補正手段（１１１）とを備える。積算手段は、カラーフィルタを有する固体撮像素子における有効画素領域の画素が出力する信号値を、有効画素領域の縦方向に並んだ所定の画素列毎に、かつカラーフィルタの配列方法により定められた画素の種類毎に積算する。スミア補正手段は、積算手段により積算された積算値に基づいてスミア補正値を算出すると共に、その算出したスミア補正値を、所定の画素列に含まれる画素が出力する信号値から減算する。【選択図】  図１
2010193297.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタを有する固体撮像素子における有効画素領域の画素が出力する信号値を、前記有効画素領域の縦方向に並んだ所定の画素列毎に、かつ前記カラーフィルタの配列方法により定められた画素の種類毎に積算する積算手段と、
前記積算手段により前記積算された積算値に基づいてスミア補正値を算出すると共に、その算出したスミア補正値を、前記所定の画素列に含まれる画素が出力する信号値から減算するスミア補正手段と
を備えることを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、
前記スミア補正手段は、撮影条件を加味して前記スミア補正値を算出する
ことを特徴とする固体撮像装置。
【請求項３】
請求項１または請求項２に記載の固体撮像装置において、
前記所定の画素列は、第１の色パターンの列、即ちＡ列と、第２の色パターンの列、即ちＢ列とからなるペア列であって、
前記スミア補正手段は、前記スミア補正値の算出を、前記積算の対象となる前記所定の画素列、即ち積算対象ペア列について前記積算された積算値と、前記積算対象ペア列のＡ列に属する画素の電荷を転送する垂直転送路を挟んで隣接する前記所定の画素列、即ち隣接ペア列について前記積算された積算値のうち、当該隣接ペア列のＢ列を構成する前記画素の種類に対応した積算値とに基づいて行う
ことを特徴とする固体撮像装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の固体撮像装置において、
前記スミア補正手段は、前記スミア補正値の算出を、前記積算手段により前記積算された積算値と、さらに、固体撮像素子における非有効画素領域の画素が出力する信号とに基づいて行う
ことを特徴とする固体撮像装置。
【請求項５】
カラーフィルタを有する固体撮像素子における有効画素領域の画素が出力する信号値を、前記有効画素領域の縦方向に並んだ所定の画素列毎に、かつ前記カラーフィルタの配列方法により定められた画素の種類毎に積算する積算手順と、
前記積算手順により前記積算された積算値に基づいてスミア補正値を算出すると共に、その算出したスミア補正値を、前記所定の画素列に含まれる画素が出力する信号値から減算するスミア補正手順と
を備えることを特徴とするスミア補正方法。
【請求項６】
請求項５に記載のスミア補正方法において、
前記スミア補正手順では、撮影条件を加味して前記スミア補正値を算出する
ことを特徴とするスミア補正方法。
【請求項７】
請求項５または請求項６に記載のスミア補正方法において、
前記所定の画素列は、第１の色パターンの列、即ちＡ列と、第２の色パターンの列、即ちＢ列とからなるペア列であって、
前記スミア補正手順では、前記スミア補正値の算出を、前記積算の対象となる前記所定の画素列、即ち積算対象ペア列について前記積算された積算値と、前記積算対象ペア列のＡ列に属する画素の電荷を転送する垂直転送路を挟んで隣接する前記所定の画素列、即ち隣接ペア列について前記積算された積算値のうち、当該隣接ペア列のＢ列を構成する前記画素の種類に対応した積算値とに基づいて行う
ことを特徴とするスミア補正方法。
【請求項８】
請求項５〜請求項７の何れか一項に記載のスミア補正方法において、
前記スミア補正手順では、前記スミア補正値の算出を、前記積算手順により前記積算された積算値と、さらに、固体撮像素子における非有効画素領域の画素が出力する信号とに基づいて行う
ことを特徴とするスミア補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタを有した固体撮像装置およびそのスミア補正方法に関する。
【背景技術】
【０００２】
一般的に、ＣＣＤ型の固体撮像素子を用いた固体撮像装置においては、固体撮像素子の構造に起因して、その受光面へ高輝度の光が入射すると、受光面の各画素によって生成された電荷を垂直転送路で転送する際に、高輝度の光により発生した電荷が混入してしまい、その結果、画像の上下方向に帯状のスミアが発生する。
【０００３】
従来、このスミアを補正するために、固体撮像素子の受光面における有効画素領域（レンズからの光が入射する部分）と非有効画素領域（レンズからの光が入射しないように遮光された部分）とのうちの、非有効画素領域から出力される信号を利用した補正方法が知られている。
【０００４】
この従来技術の一例として、例えば、特許文献１には、非有効画素領域に配置された、カメラの黒レベル設定に利用するためのＯＢ（Optical Black：光学的黒画素）の出力を利用してスミアの補正を行う手法が開示されている。また、特許文献２には、非有効画素領域の水平方向に隣接する複数のＯＢの出力を平均し、その平均値を用いてスミアの補正を行う手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３５７１３５号公報
【特許文献２】特開２００４−２８９５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術で開示されるように、ＯＢ（光学的黒画素）には、光の入射による電荷は生じないが、スミアによる電荷は存在するので、ＯＢの出力を利用して、有効画素領域の画素が出力する信号からＯＢが出力する信号を減算すればスミアを補正することができる。
【０００７】
しかしながら、近年の固体撮像素子の高画素化（特にＣＣＤのサイズを変えずに高画素化する場合）や機器における固体撮像素子の搭載スペースの狭小化により、固体撮像素子に、スミア補正のためのＯＢなどを配置した非有効画素領域を確保することができない場合が発生している。また、固体撮像素子の駆動方法によっても、同様に、それらを確保することができない場合がある。このため、ＯＢなどの非有効画素領域の出力を利用する従来技術では、スミアの補正を行うことができない場合があった。
【０００８】
また、それらを確保することができた場合であっても、非有効画素領域のＯＢなどが受光面の水平方向に僅か１ライン（行）程度しか存在しない場合には、スミア補正のためにＯＢから得られる情報量が絶対的に少なくなるので、従来技術では、スミア補正が正しく行なえず、結果として画像に縦縞が生じていた。
【０００９】
本発明は、上記の課題を解決するためになされたものである。本発明は、非有効画素領域の出力を利用できない場合であっても、画像に発生したスミアを正確に補正することのできる固体撮像装置およびスミア補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明の固体撮像装置は、積算手段と、スミア補正手段とを備える。積算手段は、カラーフィルタを有する固体撮像素子における有効画素領域の画素が出力する信号値を、有効画素領域の縦方向に並んだ所定の画素列毎に、かつカラーフィルタの配列方法により定められた画素の種類毎に積算する。スミア補正手段は、積算手段により積算された積算値に基づいてスミア補正値を算出すると共に、その算出したスミア補正値を、所定の画素列に含まれる画素が出力する信号値から減算する。
【００１１】
第２の発明は、第１の発明において、スミア補正手段は、撮影条件を加味してスミア補正値を算出する。
【００１２】
第３の発明は、第１または第２の発明において、前記所定の画素列は、第１の色パターンの列、即ちＡ列と、第２の色パターンの列、即ちＢ列とからなるペア列であって、スミア補正手段は、スミア補正値の算出を、積算の対象となる所定の画素列、即ち積算対象ペア列について積算された積算値と、積算対象ペア列のＡ列に属する画素の電荷を転送する垂直転送路を挟んで隣接する所定の画素列、即ち隣接ペア列について積算された積算値のうち、当該隣接ペア列のＢ列を構成する前記画素の種類に対応した積算値とに基づいて行う。
【００１３】
第４の発明は、第１〜第３の発明の何れか一の発明において、スミア補正手段は、スミア補正値の算出を、積算手段により積算された積算値と、さらに、固体撮像素子における非有効画素領域の画素が出力する信号とに基づいて行う。
【００１４】
第５の発明のスミア補正方法は、積算手順と、スミア補正手順とを備える。積算手順は、カラーフィルタを有する固体撮像素子における有効画素領域の画素が出力する信号値を、有効画素領域の縦方向に並んだ所定の画素列毎に、かつカラーフィルタの配列方法により定められた画素の種類毎に積算する。スミア補正手順は、積算手順により積算された積算値に基づいてスミア補正値を算出すると共に、その算出したスミア補正値を、所定の画素列に含まれる画素が出力する信号値から減算する。
【００１５】
第６の発明は、第５の発明において、スミア補正手順では、撮影条件を加味してスミア補正値を算出する。
【００１６】
第７の発明は、第５または第６の発明において、前記所定の画素列は、第１の色パターンの列、即ちＡ列と、第２の色パターンの列、即ちＢ列とからなるペア列であって、スミア補正手順では、スミア補正値の算出を、積算の対象となる所定の画素列、即ち積算対象ペア列について積算された積算値と、積算対象ペア列のＡ列に属する画素の電荷を転送する垂直転送路を挟んで隣接する所定の画素列、即ち隣接ペア列について積算された積算値のうち、当該隣接ペア列のＢ列を構成する前記画素の種類に対応した積算値とに基づいて行う。
【００１７】
第８の発明は、第５〜第７の発明の何れか一の発明において、スミア補正手段では、スミア補正値の算出を、積算手順により積算された積算値と、さらに、固体撮像素子における非有効画素領域の画素が出力する信号とに基づいて行う。
【発明の効果】
【００１８】
本発明では、固体撮像素子における有効画素領域の画素が出力する信号値が、有効画素領域の縦方向に並んだ画素列毎に積算され、その積算によって得られた積算値に基づいてスミア補正値が算出される。そして、そのスミア補正値が各画素列の画素が出力する信号値から減算される。これにより、画像に発生したスミアが補正される。
【００１９】
したがって、本発明を利用すれば、非有効画素領域の出力を利用できない場合であっても、画像に発生したスミアを正確に補正することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の固体撮像装置を適用したデジタルカメラのブロック図である。
【図２】固体撮像素子１０３の構造を説明する図である。
【図３】固体撮像素子１０３のカラーフィルタ配置を説明する図である。
【図４】スミアの説明図である。
【図５】固体撮像素子１０３の画素配置を説明する図である。
【図６】第１実施形態のスミア補正手順を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について説明する。本実施形態は、デジタルカメラの実施形態である。
【００２２】
図１は、本発明の固体撮像装置を適用したデジタルカメラのブロック図である。図１に示すとおり、デジタルカメラは、固体撮像装置１０１と、撮像レンズ１０２と、レンズ駆動部１０２ａと、画像処理部１０５と、モニタ１０６と、デジタルカメラを統括制御するＣＰＵ１０７とから構成される。ここで、固体撮像装置１０１は、固体撮像素子１０３と、アナログフロントエンド（ＡＦＥ）１０４と、スミア補正部１１１とを有している。また、ＡＦＥ１０４は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路１０８と、アナログゲイン回路１０９と、Ａ／Ｄ変換回路１１０と、タイミング発生回路１１２とを有している。
【００２３】
撮像レンズ１０２は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１０２を１枚のレンズとして図示している。
【００２４】
レンズ駆動部１０２ａは、ＣＰＵ１０７の指示に応じてレンズ駆動信号を発生し、撮像レンズ１０２を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１０２を通過した光束による被写体像を固体撮像素子１０３の受光面に形成する。
【００２５】
固体撮像素子１０３は、ＣＣＤエリアイメージセンサであり、撮像レンズ１０２の像空間側に配置されている。固体撮像素子１０３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。
【００２６】
なお、固体撮像素子１０３の受光面には、被写体像をカラー検出するために、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類のカラーフィルタが、例えばベイヤー（Bayer）配列で配置されている。これによって、固体撮像素子１０３の受光面にはＲ、Ｇ、Ｂの３種類のカラーの画素が配置されるので、生成されるアナログ画像信号には、Ｒ、Ｇ、Ｂの３種類の信号が含まれることになる。さらに、アナログ画像信号には、デジタルカメラの黒レベル設定等に利用するための信号も含まれている。
【００２７】
また、固体撮像素子１０３の受光面の全体には、光学ローパスフィルタや赤外光カットフィルタなどが設けられている。
【００２８】
ＣＤＳ回路１０８は、固体撮像素子１０３が生成するアナログ画像信号のリセット時（露光前）の信号と、データ転送時（露光後）の信号との両方をサンプリングし、データ転送時の信号値からリセット時の信号値を減算することによって、アナログ画像信号から暗電流によるノイズを除去する。
【００２９】
アナログゲイン回路１０９は、ＣＰＵ１０７の指示に基づき、アナログ画像信号のゲイン調整量を設定する。これにより、ＣＤＳ回路１０８が出力するノイズ除去後のアナログ画像信号に対してＩＳＯ感度に相当する撮影感度の調整を行う。
【００３０】
Ａ／Ｄ変換回路１１０は、アナログゲイン回路１０９が出力するアナログ画像信号をデジタルデータ（画像データ）に変換して、スミア補正部１１１に出力する。
【００３１】
タイミング発生回路１１２は、ＣＰＵ１０７の指示に基づき固体撮像装置１０１内の各部にタイミングパルスを供給する。固体撮像素子１０３、ＣＤＳ回路１０８、アナログゲイン回路１０９およびＡ／Ｄ変換回路１１０の駆動タイミングは、そのタイミングパルスによって制御される。例えば、固体撮像素子１０３では、受光面のフォトダイオード等から電荷を読み出すタイミングなどが制御され、またＣＤＳ回路１０７では、固体撮像素子１０３が生成するアナログ画像信号をサンプリングするタイミングなどが制御される。
【００３２】
スミア補正部１１１は、画像に対してスミア補正処理を行うと共に、その補正後の画像を出力する。なお、スミア補正処理については、後で詳しく説明する。
【００３３】
画像処理部１０５は、ＣＰＵ１０７の指示に応じて、固体撮像装置１０１が出力するデジタル画像に対し、ホワイトバランス調整、色分離（補間）、輪郭強調、ガンマ補正などの画像処理を施す。なお、画像処理部１０５は、ＡＳＩＣなどとして構成される。
【００３４】
モニタ１０６は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、ＣＰＵ１０７の指示に応じて各種の画像を表示する。
【００３５】
次に、固体撮像素子１０３の構造について、図２を参照して説明する。図２は、固体撮像素子１０３の受光面を上方から見た場合の図である。
【００３６】
図２に示すとおり、固体撮像素子１０３の受光面は、撮像レンズ１０２を通過した光束の光が入射しないように遮光された非有効画素領域２０１（図２のハッチングで示した部分）と、撮像レンズ１０２を通過した光束の光が入射する有効画素領域２０２に分けられる。非有効画素領域２０１には、黒レベル設定に利用されるＯＢ（Optical Black：光学的黒画素）が配置されている。また、有効画素領域２０２には、入射光の光電変換を行うＰＤ（Photo Diode：フォトダイオード）が縦横に格子状に配置されている。なお、ＰＤの１つは１画素に対応している。さらに、各ＰＤおよび各ＯＢの横側には、垂直転送路が配置され、垂直転送路の下端には、水平転送路が配置されている。
【００３７】
ここで、固体撮像素子１０３がアナログ画像信号を生成する手順を説明する。例えば、ＰＤ２０３において光電変換により発生した電荷は、ＰＤ２０３と同じ行位置に配置された他のＰＤの電荷と共に、タイミング発生回路１１２から供給されるタイミングパルスに応じて、垂直転送路２０４および他の各列の垂直転送路に読み出される。さらに、垂直転送路２０４および他の各列の垂直転送路に読み出された電荷は、タイミング発生回路１１２から供給されるタイミングパルスに応じて、１行分が水平転送路に読み出され、そして、１行分のアナログ画像信号として外部に出力される。なお、非有効画素領域２０１の下方に配置されたＯＢ２０５や上方に配置されたＯＢ２０６の電荷についても、ＰＤ２０３の電荷を読み出したのと同様の手順により、垂直転送路２０４および他の各列の垂直転送路、さらに水平転送路を介して、読み出しが行われる。
【００３８】
このようにして、非有効画素領域２０１の下方に配置された各ＯＢの電荷から、有効画素領域２０２の各ＰＤの電荷、非有効画素領域２０１の上方に配置された各ＯＢの電荷までが、１行毎に順番に読み出されて、最終的に１フレーム分のアナログ画像信号が生成される。なお、生成されたアナログ画像信号のフレームに含まれる、ＯＢにより生成された信号は、デジタルカメラの黒レベル設定等のための信号として利用される。
【００３９】
次に、固体撮像素子１０３の受光面に配置されるカラーフィルタについて、図３を参照して説明する。なお、図３のうち、図２と同一の部分には、同じ符号を付している。
【００４０】
固体撮像素子１０３の有効画素領域２０２のＰＤ（フォトダイオード）には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類のカラーフィルタがベイヤー配列で配置されている。例えば、ＰＤ２１１には赤色（Ｒ）、ＰＤ２１２には緑色（Ｇr）、ＰＤ２１３には緑色（Ｇb）、そしてＰＤ２１４には青色（Ｂ）とのように、「Ｒ、Ｇr、Ｇb、Ｂ」のパターンを繰り返す並びで各色のフィルタが配置されている。このように、カラーフィルタの配列方法によって各ＰＤ（フォトダイオード）の画素の種類が定められることとなる。例えば、上記ベイヤー配列の場合、Ｒ画素、Ｇr画素、Ｇb画素、Ｂ画素との４つの種類が定められる。
【００４１】
また、ここでＰＤの縦方向の並びに着目すると、カラーフィルタは、ＰＤに対して、「Ｒ（赤色）、Ｇb（緑色）」のパターンを繰り返す列（ＲＧb列）と「Ｇr（緑色）、Ｂ（青色）」のパターンを繰り返す列（ＧrＢ列）とを成す並びで配置されている。これにより、固体撮像素子１０３の受光面には、ＲＧb列の画素とＧrＢ列の画素とが横方向に交互に並ぶこととなる。
【００４２】
なお、以下では、ＲＧb列の画素とＧrＢ列の画素との１つの組をペア列と呼ぶことにする。
【００４３】
次に、スミアの発生について、図４を参照して説明する。図４において、固体撮像素子１０３の有効画素領域２０２へ撮像レンズ１０２を通過した光束の光が入射する際に、高輝度の光４０１が入射すると、既に光電変換が終わって垂直転送路で転送中の電荷に高輝度の光４０１によって発生した電荷が混入してしまい、その結果、画像の上下方向に帯状のスミア４０２が発生する。
【００４４】
従来技術では、画像のスミアを補正するために、画像に含まれる固体撮像素子１０３の非有効画素領域２０１の信号、例えば、その領域に配置された光学的黒画素（ＯＢ）などにより生成された信号を利用してスミア補正処理を行っている。しかし、本実施形態の固体撮像装置１０１のスミア補正部１１１では、画像に含まれる、有効画素領域２０２のフォトダイオード（ＰＤ）の画素により生成された信号のみを利用してスミア補正処理を行う。
【００４５】
以下、本実施形態の固体撮像装置１０１のスミア補正部１１１が行うスミア補正処理について詳しく説明する。
【００４６】
先ず、図５を参照して、固体撮像素子１０３の受光面における画素の並びについて説明する。
【００４７】
図５に示した固体撮像素子１０３の受光面の有効画素領域には、その横方向に、ＲＧb列の画素とＧrＢ列の画素とを１組とするペア列がｍ＋１列並べて配置されている。尚、図５では、各ペア列の番号を、その並びの左から右の順に０〜ｍとして示している。また、受光面の有効画素領域には、その縦方向に、ＲＧb列のＲ画素及びＧb画素と、ＧrＢ列のＧr画素及びＢ画素との組がｎ＋１組並べて配置されている。尚、図５では、Ｒ画素及びＧb画素と、Ｇr画素及びＢ画素との組（ベイヤーセット）の番号を、その並びの下から上の順に０〜ｎとして示している。
【００４８】
さらに、固体撮像素子１０３の受光面の上下部分に設けられた非有効画素領域には、光学的黒画素（ＯＢ）が、横方向には、横と縦に２画素ずつ並んだ計４画素を１組としてｍ＋１組、また縦方向には、非有効画素領域の上下部分にそれぞれ１組ずつ配置されている。但し、これらの光学的黒画素（ＯＢ）により生成された信号は、本実施形態のスミア補正処理には利用されない。
【００４９】
以下では、スミア補正処理を行うべき画像が、図５に示した画素配置形式を有するものとしてスミア補正処理の説明を行う。
【００５０】
スミア補正部１１１は、先ず、有効画素領域のペア列毎に、その縦方向に並んだベイヤーセットの構成画素（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）により生成された信号値の全ベイヤーセット分の積算値を、下記の（式１）によって取得する。なお、積算値の取得は、ベイヤーセットの構成画素毎、即ち、Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素毎に行われる。
【００５１】
【数１】
2010193297.tif 000003
【００５２】
ただし、（式１）において、変数ｉは、有効画素領域の横方向に並んだペア列の番号を指定し、また変数ｊは、変数ｉのペア列において縦方向に並んだベイヤーセットの番号を指定する変数である。また、変数Ｒ＿ｓｕｍ［ｉ］、変数Ｇr＿ｓｕｍ［ｉ］、変数Ｇb＿ｓｕｍ［ｉ］、変数Ｂ＿ｓｕｍ［ｉ］は、変数ｉで指定されたペア列について積算されたＲ画素の積算値、Ｇr画素の積算値、Ｇb画素の積算値、Ｂ画素の積算値を、それぞれ格納する変数である。
【００５３】
次に、スミア補正部１１１は、（式１）により取得された積算値と撮影時等に決定された撮影条件とを基に、画像のスミアを補正するためのスミア補正値を下記の（式２）および（式３）によって算出する。なお、（式２）は、固体撮像素子１０３において、垂直転送路がフォトダイオード（ＰＤ）の左側に配置された場合の演算方法を表している。
【００５４】
【数２】
2010193297.tif 000004
【００５５】
ただし、（式２）において、変数ｉは、有効画素領域の横方向に並んだペア列の番号を指定する変数である。また、変数Ｓr［ｉ］は、有効画素領域のＲＧb列の画素により生成された信号値に対するスミア補正値を、Ｓb［ｉ］は、ＧrＢ列の画素により生成された信号値に対するスミア補正値を格納する変数である。
【００５６】
また、ｋ'rr、ｋ'rg、ｋ'rb、ｋ'br、ｋ'bg、ｋ'bbは、撮影条件を加味したスミア補正係数を示している。これらのスミア補正係数は、下記の（式３）によってペア列毎に算出される。
【００５７】
なお、（式２）で表されるように、有効画素領域のＲＧb列の画素により生成される信号値に対するスミア補正値（変数Ｓr［ｉ］）の算出には、ｉ番目のペア列におけるＲＧb列のＲ画素およびＧb画素の積算値と、そのＲＧb列の画素の電荷を転送する垂直転送路を挟んで隣接するペア列（ｉ−１番目のペア列）におけるＧrＢ列のＧr画素およびＢ画素の積算値とが使用される。
【００５８】
【数３】
2010193297.tif 000005
【００５９】
ただし、（式３）において、変数ｉは、有効画素領域の横方向に並んだペア列の番号を指定する変数である。また、Ｇａｉｎは撮影感度（ＩＳＯ感度）に対応した増幅率を示し、ｔは露光時間、ｔ0はデジタルカメラにおける最長の露光時間を示している。
【００６０】
また、ｋｘ［ｉ］（ｘ＝rr，rg，rb，br，bg，bb）は、ペア列毎に予め決定されたスミア補正係数を示している。尚、このスミア補正係数は、Ｇａｉｎ＝１で、かつｔ0／ｔの演算結果が最大となる場合（最も長い露光時間となる場合）を前提条件として決定される。さらに、その際には、レンズや固体撮像素子、ＡＦＥ（アナログフロントエンド）等の電子回路など、デジタルカメラを構成する部品の個々の特性を考慮して、最適な係数値が決定される。
【００６１】
そして、変数ｋ'ｘ［ｉ］（ｘ＝rr，rg，rb，br，bg，bb）は、撮影時等に決定された撮影条件（ＩＳＯ感度、絞り値、シャッター速度など）から求まるＧａｉｎおよびｔ0／ｔの演算結果と、スミア補正係数のｋｘ［ｉ］とを基に算出される、撮影条件を加味したスミア補正係数を格納する変数である。なお、この撮影条件を加味したスミア補正係数は、ペア列毎に算出される。
【００６２】
次に、スミア補正部１１１は、（式２）および（式３）によって算出されたスミア補正値、つまり有効画素領域のＲＧb列の画素により生成された信号値に対するスミア補正値（ＲＧb列用スミア補正値）と、ＧrＢ列の画素により生成された信号値に対するスミア補正値（ＧrＢ列用スミア補正値）とを用いて、画像に発生したスミアの補正を行う。具体的には、有効画素領域の横方向に並んだペア列毎に、その縦方向に並ぶ各ベイヤーセットの構成画素（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）により生成された信号値から上記のスミア補正値を減算する。ここで、各ベイヤーセットのＲ画素およびＧb画素の信号値からはＲＧb列用スミア補正値が減算され、また、Ｇr画素およびＢ画素の信号値からはＧrＢ列用スミア補正値が減算される。これにより画像に発生したスミアが補正される。尚、このような補正は、下記の（式４）によって行われる。
【００６３】
【数４】
2010193297.tif 000006
【００６４】
ただし、（式４）において、変数ｉは、有効画素領域の横方向に並んだペア列の番号を指定し、また変数ｊは、変数ｉのペア列において縦方向に並んだベイヤーセットの番号を指定する変数である。また、変数Ｒ＿ｏｕｔ［ｉ，ｊ］、変数Ｇr＿ｏｕｔ［ｉ，ｊ］、変数Ｇb＿ｏｕｔ［ｉ，ｊ］、変数Ｂ＿ｏｕｔ［ｉ，ｊ］は、変数ｉで指定されたペア列における変数ｊで指定されたベイヤーセットを構成するＲ画素、Ｇr画素、Ｇb画素、Ｂ画素の各スミア補正後の信号を、それぞれ画像データとして出力するためのポインタ変数である。これらのポインタ変数は、画素の配置形式が有効画素領域と同一である画像出力用メモリをインデックスしており、ポインタ変数によってインデックスされた部分のメモリに信号値を格納することで、そのメモリ部分に対応した画素の画像データが出力されることとなる。
【００６５】
次に、本実施形態のデジタルカメラが行う一連のスミア補正の手順を、図６のフローチャートおよび上記で参照した図５を用いて説明する。なお、図６のフローチャートは、ユーザーがデジタルカメラの電源をＯＮにして撮影を開始した場合に実行されるものである。
【００６６】
ステップ１０１：ＣＰＵ１０７は、電子シャッターを開いて露光を開始する。
【００６７】
ステップ１０２：ＣＰＵ１０７は、決定した撮影条件に基づき露光を行う。
【００６８】
ステップ１０３：ＣＰＵ１０７は、決定した露光時間に達すると、電子シャッターを閉じて露光を終了する。
【００６９】
ステップ１０４：スミア補正部１１１は、非有効画素領域の部分（図５の変数ｊが示すベイヤーセット番号の’−１’の部分）をスキップする。
【００７０】
ステップ１０５：スミア補正部１１１は、有効画素領域における、図５の変数ｊが示すベイヤーセット番号の’０’の行の各ペア列（図５の変数ｉが示す０〜ｍの各列）について、各ペア列を構成する画素の種類、即ちベイヤーセットの画素の種類（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）毎に、各画素が生成した信号値をそれぞれ不図示のメモリ（変数Ｒ＿ｓｕｍ［ｉ］、Ｇr＿ｓｕｍ［ｉ］、Ｇb＿ｓｕｍ［ｉ］、Ｂ＿ｓｕｍ［ｉ］）に積算する。なお、この積算は、上記（式１）によって行われる。また、このとき、変数ｊが示すベイヤーセット番号’０’の行の１行分の画像信号が、不図示のバッファメモリへ記録される。
【００７１】
ステップ１０６：スミア補正部１１１は、図５の変数ｊが示すベイヤーセット番号の’１’〜’ｎ’までの各行について、上記ステップ１０５と同じ処理を繰り返し実行する。
【００７２】
ステップ１０７：スミア補正部１１１は、上記のステップ１０５およびステップ１０６によるメモリ（不図示）への積算によって得られた積算値と決定された撮影条件とを基に、不図示のバッファメモリに記録された１フレーム（図５の変数ｊが示すベイヤーセット番号’０’〜’ｎ’までの全行）分の画像信号におけるスミアを補正するためのスミア補正値を、上記の（式２）および（式３）によって算出する（式２の変数Ｓr［ｉ］およびＳb［ｉ］）。
【００７３】
ステップ１０８：スミア補正部１１１は、上記ステップ１０７で算出された各ＲＧb列用スミア補正値（変数Ｓr［ｉ］）と、各ＧrＢ列用スミア補正値（変数Ｓb［ｉ］）とを用いて、上記の（式４）により、バッファメモリ（不図示）の１フレーム分の画像信号中のスミアを補正する。
【００７４】
ステップ１０９：ＣＰＵ１０７は、画像処理部１０５を駆動して、スミア補正部１１１によるスミア補正処理後の画像に対し各種の画像処理を施す。
【００７５】
ステップ１１０：ＣＰＵ１０７は、モニタ１０６を駆動して、上記画像処理後の画像をＬＣＤモニタ等に表示する。
【００７６】
ステップ１１１：また、ＣＰＵ１０７は、ユーザーの指示等に応じて、上記画像処理後の画像に対してＪＰＥＧ（Joint Photographic Experts Group）形式などによる圧縮処理を施し、その圧縮処理後の画像を不図示の記録媒体等へ記録する。
【００７７】
なお、上記では、有効画素領域における、図５の変数ｊが示すベイヤーセット番号の行の１行毎に信号値の積算を行い、全ての行について信号値の積算が終わった時点で、その積算により得られた積算値に基づきスミア補正値を算出し、そのスミア補正値を用いて、不図示のバッファメモリに格納された１フレーム分の画像信号中のスミアを補正した。しかし、バッファメモリ（不図示）に格納された１フレーム分の画像信号に対して、上記の信号値の積算をはじめとするスミア補正処理を一度に行うようにしてもよい。
【００７８】
また、上記の手順は、１フレーム分の画像信号に対してスミア補正を行うものであり、画像信号の１ライン毎には補正を行うことができない。従って、上記の手順は、静止画に対しては向いているが、スルー画像を含む動画に対しては、処理が遅延してしまい、リアルタイム性が損なわれるか、或いはスミア補正が機能しない可能性があるので、動画に対しては、例えば、上記ステップ１０５〜１０８の処理を以下のように変更した手順でスミア補正を行うとよい。
【００７９】
ステップ１０５：スミア補正部１１１は、有効画素領域における、図５の変数ｊが示すベイヤーセット番号の’０’の行の各ペア列（図５の変数ｉが示す０〜ｍの各列）について、上記（式１）により、各ペア列を構成する画素の種類、即ちベイヤーセットの画素の種類（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）毎に、各画素が生成した信号値をそれぞれ不図示のメモリ（変数Ｒ＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｇr＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｇb＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｂ＿ｓｕｍ＿ｎｅｘｔ［ｉ］）に積算する。なお、これらの積算値は、次回のフレームの画像信号に対するスミア補正処理において使用される。
【００８０】
ステップ１０６：スミア補正部１１１は、前回のフレームの画像信号について積算された積算値を不図示のメモリ（変数Ｒ＿ｓｕｍ［ｉ］、Ｇr＿ｓｕｍ［ｉ］、Ｇb＿ｓｕｍ［ｉ］、Ｂ＿ｓｕｍ［ｉ］）から取得する。また、前回の撮影条件を不図示のメモリ（Ｐａｒａｍ）から取得する。なお、これらの積算値および前回の撮影条件は、前回のフレームの画像信号に対するスミア補正処理において不図示のメモリに保存されたものである。
【００８１】
ステップ１０７：スミア補正部１１１は、取得した前回のフレームの積算値と前回の撮影条件と、更に現在の撮影条件とを基に、スミア補正値を、上記の（式２）および（式３）によって算出する（式２の変数Ｓr［ｉ］およびＳb［ｉ］）。このとき、（式３）によりスミア補正係数を算出する際においては、前回の撮影条件と現在の撮影条件との差分Δを反映するようにしてスミア補正係数を算出する。
【００８２】
ステップ１０８−１：スミア補正部１１１は、算出したスミア補正値（各ＲＧb列用スミア補正値：変数Ｓr［ｉ］および各ＧrＢ列用スミア補正値：変数Ｓb［ｉ］）を用いて、上記の（式４）により、図５の変数ｊが示すベイヤーセット番号の’０’の行の各ペア列に対してスミア補正処理を行う。具体的には、ペア列毎に、ペア列のベイヤーセットの構成画素（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）により生成された信号値から上記のスミア補正値を減算する。その際、ベイヤーセットのＲ画素およびＧb画素の信号値からはＲＧb列用スミア補正値が減算され、また、Ｇr画素およびＢ画素の信号値からはＧrＢ列用スミア補正値が減算される。
【００８３】
なお、この１行分のスミア補正処理が終わると、変数ｊが示すベイヤーセット番号’０’の行の１行分の画像信号（スミア補正処理後の画像信号）が、不図示のバッファメモリへ記録される。
【００８４】
ステップ１０８−２：スミア補正部１１１は、図５の変数ｊが示すベイヤーセット番号の’１’〜’ｎ’までの各行について、ステップ１０５およびステップ１０８−１と同じ処理を繰り返し実行する。
【００８５】
そして、スミア補正部１１１は、ベイヤーセット番号の’０’〜’ｎ’までの全ての行についてスミア補正処理を終えると、次回のフレームの画像信号に対するスミア補正処理のため、積算値を、不図示のメモリ（変数Ｒ＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｇr＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｇb＿ｓｕｍ＿ｎｅｘｔ［ｉ］、Ｂ＿ｓｕｍ＿ｎｅｘｔ［ｉ］）から（変数Ｒ＿ｓｕｍ［ｉ］、Ｇr＿ｓｕｍ［ｉ］、Ｇb＿ｓｕｍ［ｉ］、Ｂ＿ｓｕｍ［ｉ］）へ移し替える。また、次回のそのスミア補正処理のため、スミア補正部１１１は、現在の撮影条件を不図示のメモリ（Ｐａｒａｍ）へ記録して保存する。
【００８６】
なお、上述したとおり、本実施形態の固体撮像装置１０１のスミア補正部１１１は、固体撮像素子１０３の有効画素領域２０２のフォトダイオード（ＰＤ）の画素により生成された信号のみを利用してスミア補正処理を行う。しかし、固体撮像素子１０３の非有効画素領域２０１の信号、例えば、その領域に配置された光学的黒画素（ＯＢ）などにより生成された信号を利用することができる場合には、非有効画素領域２０１の信号を補佐的に利用してスミア補正処理を行ってもよい。その場合、スミア補正部１１１では、スミア補正値の算出を、上述した信号値の積算値と撮影条件と、さらに、非有効画素領域２０１の信号とに基づいて行い、そして、その非有効画素領域２０１の信号を考慮して算出したスミア補正値を使用してスミア補正処理を行うようにする。
【００８７】
以下、本実施形態の作用効果を説明する。
【００８８】
本実施形態のデジタルカメラでは、有効画素領域の出力のみを利用して、スミア補正用のスミア補正値が算出される。従って、非有効画素領域の出力を利用できない場合であっても、画像に発生したスミアを補正することができる。
【００８９】
また、本実施形態のデジタルカメラでは、有効画素領域の、ペア列毎、かつペア列のベイヤーセットを構成する画素（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）毎に信号値の積算が行われる。そして、その積算値を基に、ペア列のＲＧb列用のスミア補正値とペア列のＧrＢ列用のスミア補正値とが算出され、それらのスミア補正値を使用して有効画素領域のペア列毎にＲ／Ｇb画素の信号とＧr／Ｂ画素の信号とのスミアが補正される。従って、ベイヤー配列では、通常、受光面に垂直に並ぶ各ペア列のＲＧb列とＧrＢ列とでは発生するスミアの値が異なるが、このように、ペア列毎に、Ｒ／Ｇb画素の信号にはＲＧb列用のスミア補正値を用いて、またＧr／Ｂ画素の信号にはＧrＢ列用のスミア補正値を用いて補正を行うことで、画像に発生したスミアを正確に補正することができる。
【００９０】
また、本実施形態のデジタルカメラでは、ベイヤーセットを構成する画素（Ｒ画素、Ｇb画素、Ｇr画素、Ｂ画素）の信号値の積算およびスミア補正値（ＲＧb列用およびＧrＢ列用）の算出は、有効画素領域の縦方向に配置されたペア列毎に行われる。そして、有効画素領域のペア列毎に、算出されたスミア補正値を使用して、Ｒ／Ｇb画素の信号とＧr／Ｂ画素の信号とのスミアが補正される。従って、デジタルカメラの撮影感度（ＩＳＯ感度）が高く設定された場合などでは、通常、画像中のノイズが大きくなるが、このように、有効画素領域の縦方向（垂直）に配置されたペア列毎に、信号値の積算およびスミア補正値の算出が行われるので、有効画素領域の横方向（水平）に並んだ画素の信号値の平均をとることなく、画像に発生したノイズを抑えながらスミアを正確に補正することができる。
【００９１】
また、本実施形態のデジタルカメラでは、有効画素領域の信号値の積算値と撮影条件とに基づき、スミア補正用のスミア補正値が算出される。従って、スミア補正値の算出において撮影条件が加味されるので、有効画素領域の出力のみを利用するだけで画像に発生したスミアを正確に補正することができる。
【００９２】
また、本実施形態のデジタルカメラでは、非有効画素領域の出力を利用することができる場合には、有効画素領域の信号値の積算値と撮影条件とに加え、さらに、非有効画素領域の出力も補佐的に利用して、スミア補正用のスミア補正値が算出される。従って、非有効画素領域の出力が利用できる場合において、非有効画素領域のＯＢなどが受光面の水平方向に僅か１ライン（行）程度しか存在しないような、スミア補正値の算出のための情報量が絶対的に少ないときにも、その算出に有効画素領域の信号値の積算値と撮影条件とが考慮される。このため、スミア補正を正確に行うことができ、従来技術のように画像に縦縞が生じることはない。
【００９３】
したがって、本実施形態のデジタルカメラによれば、非有効画素領域の出力を利用できない場合であっても、画像に発生したスミアを正確に補正することができる。
【００９４】
（その他）
なお、上記の（式３）における、スミア補正係数のｋｘ［ｉ］（ｘ＝rr，rg，rb，br，bg，bb）は、ルックアップテーブルなどのメモリ（不図示）に予め格納されて用意されるものである。
【００９５】
また、スミア補正係数のｋｘ［ｉ］は、デジタルカメラの絞り値（Ｆ値）に対応した値（係数値）を予め用意しておき、撮影時等に決定された絞り値（Ｆ値）に応じて、それに対応した係数値を選択してスミア補正処理を行うようにすれば、スミア補正の精度が向上する。
【００９６】
また、スミア補正係数のｋｘ［ｉ］は、固体撮像素子１０３の受光面に配置された全てのペア列（図５ではｍ＋１列）分の値を用意してもよいが、その値を格納するルックアップテーブルなどのメモリ（不図示）の使用量を節約するために、例えば以下のようにするとよい。例えば、固体撮像素子１０３の受光面の水平方向に１０２４個の画素、即ち２５６列のペア列が配置（変数ｉ＝０〜２５５）された場合において、スミア補正係数ｋｘ［ｉ］として３２ペア列分（変数ｉ＝０〜３１）の値を用意する。そして、ペア列を指定する変数ｉの下位３ｂｉｔを右シフトして削除した値を変数ｉ’などにとり、その変数ｉ’（ｉ’＝０〜３１）を用いてスミア補正係数（ｋｘ［ｉ’］）の値を取得すればよい。
【００９７】
また、上記の（式３）における、スミア補正係数のｋｘ［ｉ］（ｘ＝rr，rg，rb，br，bg，bb）は、３次または４次の関数として表現することが可能である。このため、例えば３次の関数であれば、下記の（式５）となるので、（式５）における「ａ，ｂ，ｃ，ｄ」の各定数のみをルックアップテーブルなどのメモリ（不図示）に格納するようにすれば、メモリの使用量を節約することができる。
【００９８】
【数５】
2010193297.tif 000007
【符号の説明】
【００９９】
１０１…固体撮像装置，１０２…撮像レンズ，１０２ａ…レンズ駆動部，１０３…固体撮像素子，１０４…アナログフロントエンド（ＡＦＥ），１０５…画像処理部，１０６…モニタ，１０７…ＣＰＵ，１０８…ＣＤＳ回路，１０９…アナログゲイン回路，１１０…Ａ／Ｄ変換回路，１１１…スミア補正部，１１２…タイミング発生回路
【図１】
2010193297.tif 000008
【図２】
2010193297.tif 000009
【図３】
2010193297.tif 000010
【図４】
2010193297.tif 000011
【図５】
2010193297.tif 000012
【図６】
2010193297.tif 000013