(57)【特許請求の範囲】
【請求項１】
入射光量に応じた電荷を発生して蓄積する受光部を含む複数の画素回路を備えた撮像手段と、
前記受光部をリセットするリセット手段と、
前記撮像手段から電荷信号を１ライン毎に読み出す読出手段と、
前記リセット手段により前記受光部がリセットされてから前記読出手段により１ラインの前記電荷信号を読み出すまでの１ラインの蓄積時間が同じフレーム内のライン間で異なる場合に、補正値を算出し該補正値を用いて該ライン間の蓄積時間のずれを補償する補正手段と、
を有し、
所定の閾値を越える前記補正値が算出された場合に、前記補正手段は、前記閾値を前記補正値として設定することを特徴とする撮像装置。
【請求項２】
前記補正手段は、基準蓄積時間を補償の対象となるラインの蓄積時間で除算して得られる商に基づいて前記補正値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、複数色の電荷信号を出力し、前記補正手段は、前記補正値を色毎に算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
入射光量に応じた電荷を発生して蓄積する受光部を含む複数の画素回路を備えた撮像部において、画像データを生成する撮像装置の制御方法であって、
前記受光部をリセットするリセット工程と、
前記撮像部から電荷信号を１ライン毎に読み出す読出工程と、
前記リセット工程において前記受光部がリセットされてから前記読出工程により１ラインの前記電荷信号を読み出すまでの１ラインの蓄積時間が同じフレーム内のライン間で異なる場合に、補正値を算出し該補正値を用いて該ライン間の蓄積時間のずれを補償する補正工程と、
を有し、
所定の閾値を越える前記補正値が算出された場合に、前記補正工程では、前記閾値を前記補正値として設定することを特徴とする撮像装置の制御方法。
【請求項５】
前記補正工程では、基準蓄積時間を補償の対象となるラインの蓄積時間で除算して得られる商に基づいて前記補正値が算出されることを特徴とする請求項４に記載の撮像装置の制御方法。
【請求項６】
前記撮像部は、複数色の電荷信号を出力し、前記補正工程では、前記補正値が色毎に算出されることを特徴とする請求項５に記載の撮像装置の制御方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを格納したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電変換素子を有する固体撮像装置に関し、特にＣＭＯＳセンサを用いた時の電子ズーム高画質化に関する。
【背景技術】
【０００２】
ＣＣＤカメラにおける電子式ズーム処理のための構成は、例えば図１に示すようになる。図１において、１００はレンズ、１０１は電荷結合素子（ＣＣＤ）、１０２は相関二重サンプリング回路（ＣＤＳ）、１０３はクランプ回路（ＣＬＰ）である。また、１０４はアナログディジタルコンバータ（Ａ／Ｄ）、１０５はフレームメモリ、１０６はズームコントローラ、１０８は画素補完部、１０７は画像出力である。
【０００３】
このような構成において、光学画像はレンズ１００を通って撮像素子であるＣＣＤ１０１の受光面に結像する。ＣＣＤ１０１の受光面で結像した光学像は２次元的に配置された光電変換部で光電荷に変換され順次、出力に転送される。相関二重サンプリング回路１０２により、ＣＣＤ１０１の出力信号からＣＣＤ特有のリセットノイズが除去され、リセットノイズが除去されサンプルホールドされたビデオ信号が形成される。
【０００４】
また、クランプ回路１０３はダークレベルのクランプを行い、ＡＤコンバータ１０４は入力されたアナログ信号をデジタル信号に変換する。フレームメモリ１０５は、１フレームの全画素データを記録する為のメモリである。ズームコントローラ１０６は、例えば２倍ズームの画像データが欲しい時、ＣＣＤの中心からの一部の領域のみ読み出す。
【０００５】
近年では、安価で複雑なタイミング発生回路を必要とせず且つ単一電源で動作して消費電力も少ない等の理由により、ＣＭＯＳ撮像センサを用いるケースが増えてきている。さらに、ＣＭＯＳ撮像センサは、ＣＭＯＳ撮像センサの任意の領域のみを画像として取り込むことができるという、ＣＣＤ撮像素子にはない特徴を有する。
【０００６】
次に任意の領域を読む出すことができるＣＭＯＳ撮像センサの高画質電子ズーム方式の説明をする（特許文献１を参照。）。図２はＣＭＯＳの電子ズーム動作の概念図である。図２（ａ）は通常モード時の読出しを示しており、図２（ｂ）はズームモード時の読出しを示している。通常モード時には、例えば固体撮像素子の４画素を加算した値を１画素分の画素値として読出しを行う。図２（ａ）の太枠の範囲内については、塗り潰しで示す画素の信号として、該画素とその右、右斜め下、下の４画素値を加算した値が読み出される。つまり、縦横８×８画素の範囲から４×４画素文の信号が読み出されることになる。
【０００７】
これに対し、ズームモード時には、８×８画素の太枠範囲内の中央の連続した４×４画素の領域（塗り潰し部分）が、非加算でそのままを読み出される。この場合には、太枠範囲内の中央部分を拡大して表示させることができる。しかも、読み出す画素数は通常モード時と同じであり、信号処理による画素数の水増しを行わなくても良い結果、電子ズーム時の画質を高画質化することができる。
【特許文献１】特開２００１−７８０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ブロック読み出し可能なＣＭＯＳセンサにおいて光電荷を蓄積する場合、蓄積開始タイミングがライン毎に制御されるので、ライン毎に光電荷を蓄積する時間がずれてしまう。このラインごとの時間的ずれは１ライン読み出すのに必要な時間だけずれる。この１ライン読み出すのに必要な時間は以下の式で算出することができる。
１ライン読出し時間=HBLK×α+Skip×β+水平画素数×基準クロック時間     式(１)
(α、βは垂直方向加算方法により決定する値)
例として垂直２画素加算平均を行う駆動について図３に示す。この場合、αは２、βは１である。即ち、１ラインの読み出し時間は、以下の時間の合計によって求められる。即ち、１ライン目を転送するのに必要な時間ＨＢＬＫ、２ライン目をスキップするのに必要な時間Ｓｋｉｐ、３ライン目を転送するのに必要な時間ＨＢＬＫ、１ライン目と３ライン目を加算平均した画素を水平画素分転送するのに必要な時間である。
【０００９】
また、水平画素分を転送するのに必要な時間は、基準クロック時間（駆動周波数）にも依存する。つまり１ライン読出し時間は垂直方向加算方法、駆動周波数により変化する。この結果、画面上下の蓄積開始時間のずれはこれらの撮像駆動の変更により異なる。
【００１０】
図４は、１ライン読出時間に基づく蓄積時間のずれを説明するための図である。図４（ａ）と図４（ｂ）とでは、図４（ｂ）の方が１ライン読出時間が長くなっている。ここで、１ライン読出時間がより短くなる図４（ａ）のような駆動方法を「撮像駆動Ａ」とよび、１ライン読出時間がより長くなる図４（ｂ）のような駆動方法を「撮像駆動Ｂ」とよぶことにする。なお、撮像駆動Ａでは、画面上下の蓄積時間のずれが撮像駆動Ｂに比べて小さくなっている。
【００１１】
次にＥＶＦ、動画等において駆動が変化する場合につき、図５を参照して説明する。図５において、５０１は撮像駆動Ａで駆動されているフレームの画素の蓄積時間と読出時間の合計を示している。図５では、前フレームの読出が行われたラインについては、次フレームについての光電荷の蓄積が開始されており、前のフレームの読出期間と次のフレームの蓄積開始タイミングが重なっている。５０２は、時刻ｔ１において撮像駆動Ａから撮像駆動Ｂに切り替わった場合の、蓄積時間及び読出期間の合計を示している。なお、この駆動の切換タイミングは、フレーム２の画素の読み出しが終了した後の、ＶＢＬＫ（垂直ブランキング）期間中に行われる。即ち、駆動切換前のラインは、撮像駆動Ａに対応する蓄積開始タイミングが設定され、切換後のラインは撮像駆動Ｂに対応する蓄積開始タイミングが設定されることとなる。
【００１２】
図５に示す例では、時刻ｔ１以前は撮像駆動Ａで駆動していたのに対し、時刻ｔ１において撮像駆動Ｂに切り換えられる。するとフレーム３のリセット開始時刻は時刻ｔ１より前であるため時刻ｔ１以前の期間では蓄積開始タイミングのずれに基づく傾きは、撮像駆動Ａに対応している。しかし時刻ｔ１以降は撮像駆動Ｂに切り換えられるため、読出時間が撮像駆動Ａとは異なり、長くなる。この結果、時刻ｔ１以降にリセットが開始されるラインについては、リセット開始タイミングのずれが撮像駆動Ｂに対応したものとなり、該ずれに基づく傾きは異なるものとなってしまう。この場合にフレームレートを維持しようとすれば、フレーム３の画面上下において蓄積時間の差が生じてしまう。
【００１３】
このように、上記のような例を一例として、前フレームの読出期間と次フレームの蓄積期間とがオーバーラップする場合に、駆動方法を切り換えた場合には、次フレーム内で蓄積時間に差が生じてしまい、出力画像の品位が低下してしまう。
【００１４】
そこで、本発明は、駆動方法を切り換えた場合であっても、次フレーム内で蓄積時間の差が生ずることを防ぎ、出力画像の品位を維持することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するための本発明は、撮像装置であって、入射光量に応じた電荷を発生して蓄積する受光部を含む複数の画素回路を備えた撮像手段と、前記受光部をリセットするリセット手段と、前記撮像手段から電荷信号を１ライン毎に読み出す読出手段と、前記リセット手段により前記受光部がリセットされてから前記読出手段により１ラインの前記電荷信号を読み出すまでの１ラインの蓄積時間が同じフレーム内のライン間で異なる場合に、補正値を算出し該補正値を用いて該ライン間の蓄積時間のずれを補償する補正手段と、を有し、所定の閾値を越える補正値が算出された場合に、前記補正手段は、前記閾値を前記補正値として設定することを特徴とする。
また、入射光量に応じた電荷を発生して蓄積する受光部を含む複数の画素回路を備えた撮像部において、画像データを生成する撮像装置の制御方法であって、前記受光部をリセットするリセット工程と、前記撮像部から電荷信号を１ライン毎に読み出す読出工程と、前記リセット工程において前記受光部がリセットされてから前記読出工程により１ラインの前記電荷信号を読み出すまでの１ラインの蓄積時間が同じフレーム内のライン間で異なる場合に、補正値を算出し該補正値を用いて該ライン間の蓄積時間のずれを補償する補正工程と、を有し、所定の閾値を越える前記補正値が算出された場合に、前記補正工程では、前記閾値を前記補正値として設定することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、フレーム内のライン間での蓄積時間の差によるレベル差が生じることを防ぎ、出力画像の品位を維持することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の実施形態について、図面を参照しつつ詳細に説明する。
【００１８】
［第１の実施形態］
図６における撮像装置において、被写体からの光が絞り羽根１を通り、レンズ２により撮像素子４へ結像されることにより、光電変換が行われる。フィルター群３は、モアレ等を防ぐ為に光の高域をカットする光学ローパス・フィルター、色補正フィルター、および赤外線カットする為のフィルター等が組み合わされて構成されている。
【００１９】
撮像素子４で変換された光信号は、アドレス指定部８からの信号によりＸアドレス選択部６及びＹアドレス選択部５で、２次元で画素位置選択が行われ、タイミング調整部７に読み出される。このタイミング調整部７では、撮像素子４からの出力（１〜複数本）のタイミング調整が行われる。
【００２０】
そして、タイミング調整部７から出力された信号は、ＡＧＣ（オートゲインコントロール）１０により電圧を制御され、Ａ／Ｄ変換器１１でデジタル信号に変換される。カメラＤＳＰ１２は、動画または静止画の画像処理を行う。またＭＰＵ１４は、この画像処理の際に使われるパラメータをカメラＤＳＰ１２に設定したり、ＡＥ、ＡＦ処理を行ったりする。
【００２１】
なお、ＡＦ制御は、フォーカス・モーター５１によりフォーカス・レンズ（図示せず）を前後に動かして行う。画像処理する際の一時的な記憶領域としてＤＲＡＭ１３が用いられ、不揮発性の記憶領域として画像記録媒体１８が用いられる。画像記録媒体１８は、例えば、スマート・メディア、磁気テープ、または光ディスク等である。この画像処理後の表示を行う為にビデオエンコーダ１５、および、ＣＲＴ１６等が設けられている。
【００２２】
また、ビューファインダー１７は、例えばＬＣＤの様なもので画像記録媒体１８に記憶する前に被写体を確認したりする為に用いられる。これらの出力部は、ＣＲＴ１６、および、ビューファインダー１７に限らずプリンタ等を用いてもよい。
【００２３】
次に、本実施形態に対応する撮像素子４は、１画素回路と読出回路とから構成されるものであり、まず１画素回路の構成及び動作について図７を参照して説明する。
【００２４】
図７において、１５８はフォトダイオード（以下ＰＤという。）１５０で蓄積された電荷を増幅ＭＯＳトランジスタ１６０のゲートを浮遊構造としたフローティング・デフュージョン（以下、ＦＤという。）に転送する為の電位障壁操作用転送ゲートのＭＯＳトランジスタである。
【００２５】
また、１５７は該ＰＤ１５０の電荷をリセットする為のリセットＭＯＳトランジスタである。そして、ライン選択用のＭＯＳトランジスタとして１５９が設けられている。なお、これらのＭＯＳトランジスタのゲートは、各々、ＰＤ１５０の電荷を転送する転送信号線１５３、ＦＤをリセットするリセット信号線１５６、および選択信号線１５２に接続されている。
【００２６】
ここで、ＰＤ１５０に蓄積された電荷は、まず、リセット信号線１５６によりリセットトランジスタ１５７がオンしリセットされたＦＤへ、転送信号線１５３により選択されたＭＯＳトランジスタ１５８を通して転送される。次に、選択信号線１５２により選択された選択ＭＯＳトランジスタ１５９を介してソースフォロワＭＯＳトランジスタ１６０で増幅され、読み出し線１５４へ読み出される。
【００２７】
本実施形態では、このような１画素回路の集合からなる撮像領域を利用した電子ズーム動作を行う場合、ズームモード（テレ）時には、画素値の加算を行わずに、撮像領域の一部の領域に含まれる画素を１画素ずつ読み出す。或いは、後述する通常モード（ワイド）よりも加算数を少なくして画素値を加算する。例えば、図１２に示すような撮像領域１３０１が、撮像素子４により撮像可能な領域全体を示すとした場合、ズームモード時は領域１３０１内の領域１３０２に含まれる画素について読み出しが行われることになる。このような撮像動作を本実施形態では「撮像動作Ａ」と呼ぶ。一方、通常モード（ワイド）時は、撮像領域の全体１３０１について、所定数の画素（例えば、２×２＝４画素）を加算して読み出しを行う。このような撮像動作を本実施形態では「撮像動作Ｂ」と呼ぶ。
【００２８】
なお、撮像動作Ｂにおける加算画素数は２ライン（４画素）に限られるものではなく、４ライン（１６画素）加算であってもよいし、その場合に撮像動作Ａにおいては非加算とせず、２ライン（４画素）加算としてもよい。
【００２９】
撮像駆動Ａにおいて非加算読み出しを行う場合、領域１３０２に含まれる１ライン分の画素値を読出回路内の保持容量に保存し、その後加算を行わずに水平出力線から読み出すまでの期間が、１水平期間（水平期間Ａ）となる。一方、撮像駆動Ｂでは、２ライン分の画素値を順次、読出回路内の保持容量に保持し、その後加算して水平出力線から読み出すこととなる。従って、加算後の画素値を読み出すまでの期間が１水平期間（水平期間Ｂ）となる。即ち、水平期間Ａは水平期間Ｂよりも短くなる。
【００３０】
次に、図８を参照して、図７の１画素回路が複数配列された画素部８０１と読出回路８０２とを含む回路構成について説明する。図８では簡易化のために２×２画素のみが示されている。
【００３１】
まず、撮像駆動Ａにおいて画素値の加算を行わない場合（非加算制御）は、ＰＤ１５０−１の電荷は、図８に示されるＭＯＳトランジスタ１６１−１が信号線１６９により導通されることで容量１６２−１へ該電荷は蓄積される。同様に、ＰＤ１５０−２の電荷は、信号線１５６−１，１５３−１，１５２−１、および、１６９のＰＤ１５０−１の読み出し制御の際に容量１６４−１へ読み出される。続いて、信号線１６７−１と信号線１６７−２が交互にオンされることで、ＰＤ１５０−１，ＰＤ１５０−２の撮像信号は順次に増幅器１７１を通して読み出される。垂直方向への動作は１５６−２，１５３−２，１５２−２の制御から上記と同様の動作により行われる。
【００３２】
次に、撮像駆動Ｂにおいて画素値の加算を行う場合（加算制御）は、図８に示される信号線１５６−１，１５３−１，１５２−１及び１６９の制御で、ＰＤ１５０−１，ＰＤ１５０−２の電荷が、容量１６２−１、１６４−１にそれぞれ蓄積される。続いて、信号線１５６−２，１５３−２，１５２−２、および１７０の制御で、ＰＤ１５０−３，ＰＤ１５０−４の電荷が、各々、容量１６２−２，１６４−２へ蓄積される。この後、信号線１６７−１と信号線１６７−２を同時にオンすれば、ＰＤ１５０−１乃至ＰＤ１５０−４の電荷を加算した撮像信号が増幅器１７１を通して読み出される。
【００３３】
以上の構成により、撮像駆動Ａ及び撮像駆動Ｂでの動作を行わせることができる。
【００３４】
撮像駆動Ａにおいて、撮像領域１３０１のうちの一部の領域１３０２を選択して画素値の読出を行うこととなる。このような一部の領域を選択するための構成について、図１３を参照して説明する。
【００３５】
図１３は本実施形態に対応する、撮像素子４、Ｙアドレス選択部５及びＸアドレス選択部６の構成をより詳細に示す図である。
【００３６】
図１３では、撮像素子４は８×８画素で構成される撮像領域１４０１と、水平方向の８画素に対応した読出回路１４０３で構成される。また、撮像領域１４０２は、撮像領域１４０１内の４×４画素の領域であり、撮像駆動Ａでは撮像領域１４０２の画素値が非加算で読み出される。一方、撮像駆動Ｂの場合には、撮像領域１４０１の画素値が加算されて読み出される。なお、ここでの加算は２×２画素加算とする。
【００３７】
Ｙアドレス選択部５は、垂直デコーダ部１４０４と垂直シフトレジスタ１４０５で構成され、Ｘアドレス選択部６は水平デコーダ部１４０６と水平シフトレジスタ１４０７で構成される。垂直デコーダ１４０４の入力は、ＶＤ０〜ＶＤ１が入力され、垂直シフトレジスタ部１４０５はクロックパルス（ＣＬＫ）と垂直リセットパルス（ＶＲＥＳ）が入力できるようになっている。垂直シフトレジスタ部１４０５からは、選択信号１５２、転送信号１５３、リセット信号１５６が出力される。また、水平デコーダ１４０６の入力も、ＨＤ０〜ＨＤ１が入力され、水平シフトレジスタ部１４０７にはクロックパルス（ＣＬＫ）と水平リセットパルス（ＨＲＥＳ）とが入力される。
【００３８】
垂直デコーダ１４０４及び水平デコーダ１４０６は、全体の撮像領域である１４０１を選択するか、或いは、一部の撮像領域である１４０２を選択するかを決定するために利用される。撮像領域の選択については、水平部と垂直部とはほぼ同様に機能するので、以下、水平方向について説明する。
【００３９】
図１４に水平デコーダ部１４０６と水平シフトレジスタ部１４０７の構成の一例を示す。
【００４０】
まず、水平デコーダ部１４０６の入力ＨＤ０〜ＨＤ１は、２本（ｂｉｔ）である。これに対し、撮像領域１４０１は、水平方向には２画素、４画素、２画素の３つに分割されるので、撮像領域１４０２を選択する場合には、中央の４画素が選択されるようにすればよい。そこで、（ＨＤ０、ＨＤ１）の組合せとして、例えば、最初の２画素を選択する場合を（０，０）とし、次の４画素を選択する場合を（０，１）とし、最後の２画素を選択する場合を（１，０）とすることができる。
【００４１】
水平シフトレジスタ部１４０７は、水平デコーダ部１４０６と撮像領域１４０１との間に位置し、水平デコーダ部１４０６から得られる信号をクロックパルスＣＬＫによりシフトする。同時に、撮像領域１４０１内の画素回路に、画素値の水平出力線への読出を信号１６７を出力する。走査を止めるときは水平リセットパルスＨＲＥＳにより、水平シフトレジスタ部１４０７の内容を消去することができる。
【００４２】
図１４において、水平デコーダ部１４０６は、入力としてＨＤ０を下位桁、ＨＤ１を上位桁とし、インバータ１５０１及び１５０２とＡＮＤ回路１５０３及び１５０４とで構成される。水平シフトレジスタ部１４０７は、Ｄ型フリップフロップ１５０１−１から１５０５−５と、ＯＲ回路１５０６−１及び１５０６−２で構成される。尚、図１４では、水平方向８画素のうち撮像領域１４０２に対応する４画素が選択される場合を説明するために簡略化して記載したものである。従って、水平シフトレジスタ部１４０７内のフリップフロップは一部のみを記載しており、本来であれば８画素分が配列される構成となる。
【００４３】
なお、図１４に示す構成以外に、水平デコーダ部１４０６の回路として、ＡＮＤやインバータ以外の素子を用いたり、水平シフトレジスタ部１４０７の構成を従来例のようにクロックドインバータで構成してもよい。
【００４４】
水平デコーダ部１４０６の入力に（ＨＤ０，ＨＤ１）に（０，１）が入力されると、撮像領域１４０２の４画素の内、左端の画素のための読出回路へ信号１６７が出力される。また、それと同時にフリップフロップ１５０５−１（ＦＦ１）が選択される。その後クロックパルスＣＬＫによりＦＦ２（１５０５−２）、ＦＦ３（１５０５−３）及びＦＦ４（１５０５−４）と順次１クロック毎にシフトされる。ＦＦ４（１５０５−４）の出力はＯＲ回路１５０６−２を介してＦＦ５（１５０５−５）に入力される。従って、撮像領域１４０２に対応する４画素のみを選択する場合には、ＡＮＤ回路１５０４に対し（ＨＤ０、ＨＤ１）として（１，０）を入力せず、リセットパルスＨＲＥＳを入力すればよい。また、該４画素に続く２画素を更に選択する場合には、（ＨＤ０、ＨＤ１）として（１，０）を入力し、ＡＮＤ回路１５０４の出力が１となるようにすればよい。
【００４５】
なお、垂直シフトレジスタ部１４０５を同様に走査することにより、撮像領域１４０１のうち４×４画素領域の１４０２を選択することができる。
【００４６】
以上のようにすれば、全体の撮像領域のうち、一部の撮像領域のみを選択することが可能となる。
【００４７】
図１５に、図１３に対応する制御信号のタイミングチャートを示す。ここで、１６０１は、撮像駆動Ｂにおける読出期間を示し、１６０２は撮像駆動Ａにおける読出期間を示している。
【００４８】
１６０３は、撮像駆動Ｂにおける１水平期間を表し、２組の選択信号、例えば１５２−１及び１５２−２により画素値を読み出した後、これらを加算して水平出力線から読み出すのに要する時間である。一方、１６０４は、撮像駆動Ａにおける１水平期間を表し、単一の選択信号線、例えば１５２−３により画素値を読み出した後、水平出力線から読み出すのに要する時間である。ここで、１水平期間１６０３は１水平期間１６０４よりも長い。また、読出期間１６０１及び読出期間１６０２は、このような１水平期間１６０３及び１水平期間１６０４の集合として構成される。従って、図１５に示すように水平出力線から読み出される画素数が同じ場合には、読出期間１６０１は読出期間１６０２よりも長くなってしまう。
【００４９】
次に、本実施形態における処理を説明する。まず、電子ズーム倍率の変更を受け付けると、それに伴って撮像駆動方式が変更される。その際に生ずるフレーム内蓄積時間ずれを補償するために補正が行われる。本実施形態では明暗差が生じるラインに対して、ゲイン補正値によりゲイン補正を行う。なお、本実施形態では、電子ズーム倍率の変更を受け付けたことに伴い駆動方式の変更する場合、読出が終了した直後のＶＢＬＫ期間中に該駆動方式の変更が行われるものとする。
【００５０】
本実施形態において、ゲイン補正値は変更前後の駆動方式に対応する蓄積時間と読出時間とに基づいて算出することができる。図９にゲイン補正値の算出方法を説明するための図を示す。
【００５１】
図９（ａ）では、蓄積時間として３通りの場合を記載している。蓄積時間１では、各画素回路のリセット開始タイミングが太線９０１のように設定される。この場合、時刻ｔ１以前におけるリセット開始タイミングは、撮像駆動Ａに対応しており、時刻ｔ１以降のリセット開始タイミングは撮像駆動Ｂに対応することとなる。蓄積時間１は、リセット開始タイミング９０１と読み出しタイミング９０４との差分として与えられることとなる。なお、時刻ｔ１は駆動Ａで読み出しが行われたフレーム９１０内の全ての画素値の読み出しが終了した時点とする。
【００５２】
次に、蓄積時間２では、蓄積時間１よりも遅いタイミングでリセットが開始され、細線９０２のようにリセット開始タイミングが設定される。ここでも、時刻ｔ１前後でリセット開始タイミングが変更される。蓄積時間１は、リセット開始タイミング９０２と読み出しタイミング９０４との差分として与えられることとなる。
【００５３】
更に、蓄積時間３では、時刻ｔ１以降にリセットが開始され、リセット開始タイミングは一点鎖線９０３のように設定される。ここでのリセット開始タイミングは全体として撮像駆動Ｂに対応している。蓄積時間３は、リセット開始タイミング９０３と読み出しタイミング９０４との差分として与えられることとなる。
【００５４】
このような３通りの蓄積時間において、１フレーム内の画素値のバラツキを補正するために、本実施形態では蓄積時間の差に応じたゲイン調整を行う。
【００５５】
時刻ｔ１以前において、リセット開始タイミング９０１及び９０２の傾きは、撮像駆動Ａに対応する傾きであって既知である。従って、時刻ｔ１経過までにリセットが開始入れるライン数をカウントすることができる。また、カウントされた各ラインにおける蓄積時間１及び蓄積時間２は、それぞれリセット開始タイミング９０１及び９０２と、読み出しタイミング９０４との差分で算出される。そこで、時刻ｔ１以前における画素値を補正するためのゲイン補正値（ｇａ）は、１フレームにおける基準蓄積時間９０５を、蓄積時間１又は蓄積時間２で割った値として求めることができる。蓄積時間１の場合のゲイン補正値をｇａ１とし、蓄積時間２の場合のゲイン補正値をｇａ２とすると、以下のように算出することができる。
【００５６】
ｇａ１＝（基準蓄積時間１）／蓄積時間１
ｇａ２＝（基準蓄積時間２）／蓄積時間２
一方、図９の所定値９０６より蓄積時間が短い場合には、ゲイン補正を行わない。これは、前のフレームの読出が終了した後にリセット動作が開始されるために、既に駆動方式が切り替わっているためである。従って、蓄積時間３の場合についてはゲイン補正は行われない。これにより、Ｓ／Ｎの劣化を最小限にとどめることが可能である。
【００５７】
このようにして求められたゲイン補正値（ｇａ）と、１フレームの垂直ラインのライン番号（Ｉ）との対応関係は、図９（ｂ）に示すようになる。図９（ｂ）において、蓄積時間１の場合、ゲイン補正値は、画面最上部（Ｉ＝１）からライン番号Ｉ１までは、９０７に示す直線上のいずれかの値が適用される。ライン番号Ｉ１以降のゲイン補正値は“１”が適用される。蓄積時間２の場合、ゲイン補正値は、画面最上部（Ｉ＝１）からライン番号Ｉ２までは、９０８に示す直線上のいずれかの値が適用される。ライン番号Ｉ２以降のゲイン補正値は“１”が適用される。蓄積時間３の場合には、ゲイン補正値は常に”１”である（９０９）。
【００５８】
本実施形態ではまた、このゲイン補正値を色毎に設定可能である。これはライン毎の蓄積時間のずれにより、例えば黒レベルが変化する懸念があるためである。この結果、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色で構成される色バランスがライン毎でずれるため、輝度補正と同時に色バランスの補正を行う。
【００５９】
この色毎のゲイン補正値算出方法について図１０のフローチャートを参照して説明する。なお、図１０のフローチャートに対応する処理は、カメラＤＳＰ１２において実行される。
【００６０】
まず、ステップＳ１００１では、ゲイン補正値を算出するラインの番号（Ｉ）がリセットされる。続くステップＳ１００２では、ライン番号Ｉが、補正を行うライン数であるＮに一致するか否かが判定される。このライン数Ｎは、図９における、時刻ｔ１以前にリセット動作が開始されたライン数に対応する値である。もし、ライン番号ＩがＮに一致する場合には（ステップＳ１００２において「ＹＥＳ」）、ゲイン補正値の算出が必要なラインについて、算出処理が終了したこととなるので、本処理を終了する。一方、Ｎに一致しない場合には（ステップＳ１００２において「ＮＯ」）、ステップＳ１００３に移行する。
【００６１】
ステップＳ１００３では、ゲイン補正値の算出対象であるライン(Ｉ)におけるＯＢ（Optical Black）値が算出される。ＯＢ値は、画素値の黒レベルを補正するための値であって、ライン（Ｉ）の黒レベル検出画素の画素値に基づいて算出することができる。次に、ステップＳ１００４において、現在のＷＢ（ホワイトバランス）係数の逆数が算出され、画素値に変換される。更に、ステップＳ１００５では、信号処理に用いるＯＢ値（「基準ＯＢ値」という。）を加算することでＯＢ減算前の画素値を算出する。この基準ＯＢ値とは、１フレーム内の画素に対して共通に用いられるＯＢ値である。本実施形態の場合、時刻ｔ１以前にリセット動作が開始された画素は蓄積時間が異なるので、基準ＯＢ値をそのまま適用することができない。そこで、ステップＳ１００５では、該ＯＢ値で減算される以前の値に戻している。
【００６２】
ステップＳ１００６では、ステップＳ１００３で算出されたラインＯＢ値が減算される。更に、ステップＳ１００７では、新たに算出された画素値の逆数を求めることによりＷＢ係数が再算出される。続いて、ステップＳ１００８では、ステップＳ１００７で算出されたＷＢ係数と、１フレーム内の画素に対して共通に用いられるＷＢ係数との比が算出され、蓄積時間から算出したゲイン補正値に乗算される。これにより、色毎のゲイン補正値が算出される。ステップＳ１００９では、Ｉをインクリメントして、ステップＳ１００２に戻る。
【００６３】
以上の処理はゲイン補正を行うライン全てについて行われる。このような処理により、ライン毎のゲイン補正値を算出することができる。
【００６４】
以上のように、本実施形態では、撮影中に撮像駆動が切り替わった場合でも、蓄積時間の異なるラインにゲイン補正をかけることで、画面上下の明暗差を補償できる。また、色毎のゲイン補正値を算出して、黒レベルが変化を抑制して色バランスを維持することができる。
【００６５】
［第２の実施形態］
上記の第１の実施形態では、算出されたゲイン補正値を用いて画面上下の明暗差を完全に補正する場合を説明した。しかし、このような補正方式では、ゲイン補正を行ったラインのＳ／Ｎ比が悪くなる弊害がある。
【００６６】
そこで本実施形態では、ＥＶＦ表示など、記録メディアに保存されない時のみ完全補正を行い、動画撮影時などの場合は補正ゲインにリミッタ値を設けて、画面上下の明暗とＳ／Ｎ比のトレードオフを考慮した補正を行うことを特徴とする。
【００６７】
図１１に、本実施形態に対応するゲイン補正値とライン番号との関係を示す。図１１において、１１０１は、ラインｎまでの画素について適用されるゲイン補正値のうち、リミッタをかける以前のものの推移を示している。１１０２は、ラインｎまでの画素について適用されるゲイン補正値のうち、リミッタをかけたものの推移を示している。このように、本実施形態では、ゲイン補正値が所定の閾値に相当するリミッタ値１１０３を超える場合には、ゲイン補正値がリミッタ値１１０３に設定される。即ち、図１１の場合では、画面最上部からラインnまでは、ゲイン補正値がリミッタ値１１０３に設定されることとなる。これにより、当該領域におけるＳ／Ｎ比の悪化を抑制することができる。
【００６８】
また、ゲイン補正値が所定の閾値であるリミッタ値１１０３を下回る、図１１のラインｎからラインｍまでについては、算出されたゲイン補正値をそのまま適用することができる。また、ラインm以降、画面最下部までは、基準蓄積時間が確保されているため、ゲイン補正値は１、即ちゲイン補正は行われない。
【００６９】
このように、本実施形態では、動画撮影時などにおいて、画面上下の明暗とＳ／Ｎ比のトレードオフを考慮した補正を行うことができる。
【００７０】
なお、Ｓ／Ｎ比の弊害を完全に除くために、撮影駆動が切り替わったために画面上下に蓄積時間差が生じてしまうフレームを、撮像駆動が切り替わる前のフレームで置き換えてもよい。
【００７１】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７２】
また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００７３】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００７４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７５】
【図１】ＣＣＤを用いた電子式ズーム処理の構成例を示すブロック図である。
【図２】部分読出を利用した高画質電子ズームの概念を説明するための図である。
【図３】垂直２画素加算平均におけるライン蓄積時間差の概念を説明するための図である。
【図４】撮像駆動が切り換えられた場合の、１ライン読出時間の変化を説明するための図である。
【図５】撮像駆動を切り換えた場合に、１画面内で上下で蓄積時間がずれる場合を説明するための図である。
【図６】本発明の実施形態に対応する撮像装置の構成の一例を示す図である。
【図７】本発明の実施形態に対応する１画素回路の構成の一例を示す図である。
【図８】本発明の実施形態に対応する画素回路と読出回路の構成の一例を示す図である。
【図９】本発明の第１の実施形態に対応する、ゲイン補正値の算出方法を説明するための図である。
【図１０】本発明の実施形態に対応する色毎のゲイン補正値算出方法の処理の一例を示すフローチャートである。
【図１１】本発明の第２の実施形態に対応する、ゲイン補正値の算出方法を説明するための図である。
【図１２】本発明の実施形態において、撮像駆動Ａと撮像駆動Ｂとで画素値が読み出される撮像領域の違いを説明するための図である。
【図１３】本発明の実施形態に対応する、撮像領域の一部の領域の画素値を読み出すための構成の一例を示す図である。
【図１４】本発明の実施形態に対応する、水平デコーダ部１４０６及び水平シフトレジスタ部１４０７の構成の一例を示す図である。
【図１５】本発明の実施形態に対応する、制御信号のタイミングチャートの一例である。
【図１】
0004757013.tif 000002
【図２】
0004757013.tif 000003
【図３】
0004757013.tif 000004
【図４】
0004757013.tif 000005
【図５】
0004757013.tif 000006
【図６】
0004757013.tif 000007
【図７】
0004757013.tif 000008
【図８】
0004757013.tif 000009
【図９】
0004757013.tif 000010
【図１０】
0004757013.tif 000011
【図１１】
0004757013.tif 000012
【図１２】
0004757013.tif 000013
【図１３】
0004757013.tif 000014
【図１４】
0004757013.tif 000015
【図１５】
0004757013.tif 000016