(57)【要約】【課題】複雑な駆動制御を行うことなく、かつ、１Ｖ前での電荷読み出しのタイミングに影響を受けることなく、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消する撮像装置を提供する。【解決手段】ＸＹアドレス型のＣＭＯＳイメージセンサ１０２と、リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なるようＣＭＯＳイメージセンサ１０２を駆動する同期信号生成回路１０４及びＣＰＵ１０５とを備える。また、ＣＭＯＳイメージセンサ１０２において、リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なることに起因して発生する信号レベルの差を補正するゲイン補正部１０７を備える。【選択図】図１
2010130492.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に複数の画素が配列された撮像素子と、
リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なる少なくとも２つの動作モードにより前記撮像素子を駆動する駆動手段と、
前記撮像素子において、前記リセットが行われるラインの順序と前記信号読み出しが行われるラインの順序が異なることに起因して発生する信号レベルの差を補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記補正手段は、各ラインの信号に対して、ライン毎の蓄積時間に基づいて算出されたゲインを乗じ、前記リセットが行われるラインの順序と前記信号読み出しが行われるラインの順序が異なることに起因して発生する信号レベルの差を補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像素子は、ＸＹアドレス型の撮像素子であり、
前記駆動手段は、前記撮像素子において、Ｙアドレスで指定されたラインの順序で信号をリセットした後、Ｙアドレスで指定されたラインの順序とは異なる順序で信号を読み出すことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記撮像素子は、ＸＹアドレス型の撮像素子であり、
前記駆動手段は、前記撮像素子において、Ｙアドレスで指定されたラインの順序とは異なる順序で信号をリセットした後、Ｙアドレスで指定されたラインの順序で信号を読み出すことを特徴とする請求項１または２記載の撮像装置。
【請求項５】
前記撮像素子は、ＸＹアドレス型の撮像素子であり、
前記駆動手段は、前記撮像素子において、Ｙアドレスで指定されたラインの順序で信号をリセットした後、Ｙアドレスで指定されたラインの順序とは異なる順序で連続する複数のラインの信号を加算して読み出すことを特徴とする請求項１または２記載の撮像装置。
【請求項６】
前記撮像素子は、ＸＹアドレス型の撮像素子であり、
前記駆動手段は、前記撮像素子において、Ｙアドレスで指定されたラインの順序とは異なる順序で連続する複数のラインの信号を同時にリセットした後、Ｙアドレスで指定されたラインの順序で信号を読み出すことを特徴とする請求項１または２記載の撮像装置。
【請求項７】
前記補正手段は、ライン毎の蓄積時間に基づいて算出されたゲインを、シャッタスピードに応じて制御することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置に関するものである。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサに代表される、ＸＹアドレス方式の固体撮像素子を用い、原色ベイヤー配列の色フィルタを備える撮像装置において、動画撮影と、静止画撮影をシームレスに切り替えて行うものがある。
【０００３】
このような撮像装置では、動画撮影時に高いフレームレートでの連続動作が必要となるため、センサ上で同色の色フィルタが配置された複数の画素の信号を加算して読み出し、システムの処理負荷を低減させている。一方、静止画撮影時には、高解像度な画像を得るために、センサの各画素から非加算で信号を読み出している。
【０００４】
また、上記のようなＸＹアドレス方式の固体撮像素子を用いた撮像装置では、多くの場合、固体撮像素子上の電荷変換素子からの電荷読み出し、及び、リセット動作をライン毎に異なるタイミングで行う、ローリングシャッタ機構を有している。
【０００５】
ローリングシャッタ機構を有する撮像装置では、リセット動作のタイミングから、電荷読み出しのタイミングまでの時間が電荷蓄積時間となり、各ラインでの電荷蓄積時間が等しくなるよう、リセット動作、及び、電荷読み出しのタイミングが制御されている。
【０００６】
ここで、原色ベイヤー配列の色フィルタでは、Ｇ、Ｒの行とＢ、Ｇの行が１行毎に繰り返し配置されている。
【０００７】
従って、動画撮影時に、同色の色フィルタが配置された画素同士を加算して読み出す場合には、４ｎ−３、４ｎ−１、４ｎ−２、４ｎというラインの順番で、ライン毎の電荷のリセット動作、及び、電荷変換素子からの電荷読み出しを行う（ｎは自然数とする）。
【０００８】
一方、静止画撮影時に、非加算で信号を読み出す場合には、４ｎ−３、４ｎ−２、４ｎ−１、４ｎというラインの順番で、ライン毎の電荷のリセット動作、及び、電荷変換素子からの電荷読み出しを行う（ｎは自然数とする）。
【０００９】
このような駆動制御を行うことにより、同色画素での加算読み出しを行う動画撮影時、及び、非加算読み出しを行う静止画撮影時のそれぞれで、ライン毎の蓄積時間が等しくなる。
【００１０】
しかし、電荷読み出し、リセットの動作を制御する制御信号は、１Ｖ単位での更新となるため、加算読み出しモードから非加算読み出しモードに切り替わる時には、加算読み出し用のリセット動作の直後に、非加算読み出し用の電荷読み出し動作が行われる。
【００１１】
同様に、非加算読み出しモードから加算読み出しモードに切り替わる時には、非加算読み出し用のリセット動作の直後に、加算読み出し用の電荷読み出し動作が行われる。
【００１２】
即ち、加算読み出しモードと非加算読み出しモードが切り替わる際に、リセット動作の行われるラインの順序と、電荷読み出しの行われるラインの順序が異なってしまうため、ライン毎の蓄積時間が一定にならないという問題がある。
【００１３】
そこで、従来、ＸＹアドレス方式の固体撮像素子を用い、動画撮影と静止画撮影をシームレスに切り替える撮像装置において、非特許文献１には以下の技術が提案されている。
【００１４】
即ち、非特許文献１には、静止画撮影時のリセット動作のタイミングを、静止画用の電荷読み出しのタイミングに合わせて制御し、ライン毎の蓄積時間が等しくなるようにする技術が提案されている。
【非特許文献１】平成１８年度公開定例会  次世代画像入力ビジョン・システム部会  第１１１回定例会講演資料  「動画機能とイメージセンサ」ソニー（株）広田功  （主催：社団法人  日本工業技術振興協会、平成１９年１月２２日）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記従来技術では、動画撮影用に電荷読み出し、リセット動作が行われた後、静止画撮影用のリセット動作を追加する必要があり、撮像素子の駆動制御が複雑になる。また、静止画撮影が指示される１Ｖ前での電荷読み出しのタイミングによって、当該静止画の蓄積時間が制約を受けるという課題がある。
【００１６】
本発明の目的は、複雑な駆動制御を行うことなく、かつ、１Ｖ前での電荷読み出しのタイミングに影響を受けることなく、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消する撮像装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、請求項１記載の撮像装置は、二次元状に複数の画素が配列された撮像素子と、リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なるよう前記撮像素子を駆動する駆動手段と、前記撮像素子において、前記リセットが行われるラインの順序と前記信号読み出しが行われるラインの順序が異なることに起因して発生する信号レベルの差を補正する補正手段とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明の撮像装置によれば、複雑な駆動制御を行うことなく、かつ、１Ｖ前での電荷読み出しのタイミングに影響を受けることなく、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を図面を参照しながら詳細に説明する。
【００２０】
図１は、本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック図である。
【００２１】
図１において、本ビデオカメラは、結像レンズ１０１、ＣＭＯＳイメージセンサ１０２、ＣＭＯＳイメージセンサ１０２から読み出されたアナログ映像信号をデジタルデータに変換するＡＤコンバータ（以下、ＡＤＣと略記）１０３を備える。ここで、ＣＭＯＳイメージセンサ１０２は、二次元状に複数の画素が配列されたＸＹアドレス型の撮像素子である。
【００２２】
また、本ビデオカメラは、同期信号生成回路（以下、ＳＳＧと略記）１０４、ビデオカメラ全体の動作を制御するＣＰＵ１０５、ユーザーが動画撮影または静止画撮影の開始、終了を指示するための操作部１０６、ゲイン補正部１０７を備える。
【００２３】
ここで、ＳＳＧ１０４、ＣＰＵ１０５は、リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なるよう撮像素子を駆動する駆動手段として機能する。そして、駆動手段は、撮像素子において、Ｙアドレスで指定されたラインの順序で信号をリセットした後、Ｙアドレスで指定されたラインの順序とは異なる順序で信号を読み出す。
【００２４】
また、駆動手段は、撮像素子において、Ｙアドレスで指定されたラインの順序とは異なる順序で連続する複数のラインの信号を同時にリセットした後、Ｙアドレスで指定されたラインの順序で信号を読み出す。
【００２５】
また、ゲイン補正部１０７は、撮像素子において、リセットが行われるラインの順序と信号読み出しが行われるラインの順序が異なることに起因して発生する信号レベルの差を補正する補正手段として機能する。
【００２６】
また、本ビデオカメラは、カメラ信号処理部１０８、記録用信号処理部１０９、液晶パネル等の表示装置１１０、ＤＶＤディスク等の記録メディア１１１を備える。
【００２７】
次に、本ビデオカメラの動作の概要を説明する。
【００２８】
結像レンズ１０１を通じ、ＣＭＯＳイメージセンサ１０２の受光面上に光学像が結像されると、ＣＭＯＳイメージセンサ１０２の各画素に配置されたフォトダイオードで、入射光量に応じた光電荷が発生する。
【００２９】
ユーザーが操作部１０６を操作して動画撮影または静止画撮影を指示すると、ＳＳＧ１０４では、ＣＭＯＳイメージセンサ１０２を動画撮影用、または静止画撮影用に駆動するための同期信号を生成する。
【００３０】
上記同期信号とＣＰＵ１０５からの制御信号に基づいて、ＣＭＯＳイメージセンサ１０２の内部駆動回路が駆動され、所定の順番でＣＭＯＳイメージセンサ１０２の出力端子から映像信号が出力される。
【００３１】
上記映像信号は、ＡＤＣ１０３においてデジタルデータに変換され、ゲイン補正部１０７に入力される（ゲイン補正部１０７の動作については、別途詳細に説明する）。
【００３２】
ゲイン補正部１０７の出力は、カメラ信号処理部１０８に入力され、輝度信号、色差信号の生成、輪郭補償等の信号処理が行われる。カメラ信号処理部１０８の出力は、表示装置１１０に表示されるとともに、記録用信号処理部１０９を経て、記録メディア１１１に記録される。
【００３３】
図２は、図１におけるＣＭＯＳイメージセンサの構成図である。
【００３４】
図２において、ＣＭＯＳイメージセンサ１０２の画素（ｘ行ｙ列目の分を２０１−ｙｘと表記）２０１は、原色ベイヤー配列となるよう、画素毎に所定の色フィルタが配置されている。
【００３５】
ＣＭＯＳイメージセンサ１０２は、フローティングディフュージョンアンプ（以下、ＦＤアンプと略記し、ｘ行ｙ列目の分を２０２−ｙｘと表記）２０２、行読み出し制御線（ｘ行目の分を２０３−ｘと表記）２０３を備える。
【００３６】
また、ＣＭＯＳイメージセンサ１０２は、行リセット制御線（ｘ行目の分線を２０５−ｘと表記）２０５、行選択線（ｘ行目の分を２０４−ｘと表記）２０４、列信号線（ｙ列目の分を２０６−ｙと表記）２０６を備える。
【００３７】
また、ＣＭＯＳイメージセンサ１０２は、列アンプ（ｙ列目の分を２０７−ｙと表記）２０７、列アンプ２０７の出力をチャージする列容量バッファ（ｙ列目の分を２０８−ｙ、２０９−ｙと表記）２０８、２０９を備える。
【００３８】
また、ＣＭＯＳイメージセンサ１０２は、列容量バッファ２０８、２０９へのチャージをＯＮ／ＯＦＦするための列容量バッファ選択スイッチ（ｙ列目の分を２１０−ｙ、２１１−ｙと表記）２１０、２１１を備える。
【００３９】
また、ＣＭＯＳイメージセンサ１０２は、水平信号線２１３、列容量バッファ２０８、２０９にチャージされた信号を、水平信号線２１３に順次出力するための列選択スイッチ（ｙ列目の分を２１２−ｙと表記）２１２を備える。
【００４０】
また、ＣＭＯＳイメージセンサ１０２は、水平走査回路２１４、垂直走査回路２１５、垂直同期信号入力端子２１６、読み出し開始行設定入力端子２１７、水平同期信号入力端子２１８、出力バッファアンプ２１９、映像出力端子２２０を備える。
【００４１】
次に、ＣＭＯＳイメージセンサ（以下、単にセンサと称することもある）１０２での撮像（撮影）動作について、図２を参照しながら説明する。
【００４２】
本実施の形態では、動画撮影時には、ＣＭＯＳイメージセンサ１０２において、同色の色フィルタ配置となるラインの信号を加算して読み出し、静止画撮影時には、ＣＭＯＳイメージセンサ１０２からの映像信号を非加算で１ラインずつ読み出すものとする。
【００４３】
まず、ＣＭＯＳイメージセンサ１０２において、同色の色フィルタが配置された行の映像信号を、センサ上で加算して読み出す場合（加算読み出しモード）の動作について説明する。
【００４４】
１行目の画素２０１−１１、２０１−１２、２０１−１３、２０１−１４の電荷は、行読み出し制御線２０３−１の制御に基づいて、それぞれ、ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４に読み出される。
【００４５】
ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４の出力は、行選択線２０５−１の制御に基づいて選択される。そしてその後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。
【００４６】
同時に、列容量バッファ選択スイッチ２１０−１、２１０−２、２１０−３、２１０−４がＯＮになり、列アンプ２０７−１、２０７−２、２０７−３、２０７−４の出力が、列容量バッファ２０８−１、２０８−２、２０８−３、２０８−４にチャージされる。
【００４７】
列容量バッファ２０８−１、２０８−２、２０８−３、２０８−４のチャージ後、列容量バッファ選択スイッチ２１０−１、２１０−２、２１０−３、２１０−４はＯＦＦになる。
【００４８】
次に、行読み出し制御線２０３−３の制御に基づいて、３行目の画素２０１−３１、２０１−３２、２０１−３３、２０１−３４の電荷がＦＤアンプ２０２−３１、２０２−３２、２０２−３３、２０２−３４に読み出される。
【００４９】
ＦＤアンプ２０２−３１、２０２−３２、２０２−３３、２０２−３４の出力は、行選択線２０５−３の制御に基づいて選択される。そしてその後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。
【００５０】
同時に、列容量バッファ選択スイッチ２１１−１、２１１−２、２１１−３、２１１−４がＯＮになり、列アンプ２０７−１、２０７−２、２０７−３、２０７−４の出力が、列容量バッファ２０９−１、２０９−２、２０９−３、２０９−４にチャージされる。
【００５１】
列容量バッファ２０９−１、２０９−２、２０９−３、２０９−４のチャージ後、列容量バッファ選択スイッチ２１０−１、２１０−２、２１０−３、２１０−４が再びＯＮになる。
【００５２】
そして、１行目の電荷をチャージした列容量バッファ２０８−１、２０８−２、２０８−３、２０８−４と、３行目の電荷をチャージした列容量バッファ２０９−１、２０９−２、２０９−３、２０９−４の信号レベルが平均化される。
【００５３】
水平走査回路２１４の制御に基づき、列選択スイッチ２１２−１、２１２−２、２１２−３、２１２−４を順次開閉する。このことにより、平均化された１行目と３行目の信号レベルは、水平信号線２１３と出力バッファアンプ２１９を通じて映像出力端子２２０から出力される。
【００５４】
以上のようにして、Ｒ、Ｇの色フィルタが配置された１行目と３行目の信号がＣＭＯＳイメージセンサ１０２上で加算されて読み出される。次に、Ｂ、Ｇの色フィルタが配置された２行目の信号と４行目の信号が、同様に、センサ上で加算されて読み出される。
【００５５】
図２では、１行目から４行目までを示したが、５行目以降についても同様であり、４ｎ−３行目と４ｎ−１行目をセンサ上で加算して読み出した後、４ｎ−２行目と４ｎ行目をセンサ上で加算して読み出す（但し、ｎは自然数とする）。
【００５６】
また、各行の画素２０１−ｘｙの電荷は、それぞれ、行リセット制御線２０５−ｘの制御に基づいてリセットされる。リセット後、行読み出し制御線２０３−ｘの制御に基づいて、次の電荷読み出しが行われるまでが、次のフレームでの各行の電荷蓄積時間となる。
【００５７】
ここで、本実施の形態のＣＭＯＳイメージセンサ１０２は、ローリングシャッタ機構の撮像素子である。従って、行毎の蓄積時間（リセット動作後から電荷読み出しまでの時間）を等しくするために、電荷読み出しの行われる行の順番と行リセットの行われる行の順番を揃える。
【００５８】
即ち、上記のように、４ｎ−３行目と４ｎ−１行目をセンサ上で加算して読み出した後、４ｎ−２行目と４ｎ行目をセンサ上で加算して読み出す場合には、以下のように制御する。即ち、行リセットが行われる行の順番が、４ｎ−３行目、４ｎ−１行目、ｎ−２行目、４ｎ行目となるよう、行リセット制御線２０５−ｘが制御されている。
【００５９】
次に、ＣＭＯＳイメージセンサ１０２からの映像信号を非加算で１ラインずつ読み出す場合（非加算読み出しモード）の動作について説明する。
【００６０】
１行目の画素２０１−１１、２０１−１２、２０１−１３、２０１−１４の電荷は、行読み出し制御線２０３−１の制御に基づいて、それぞれ、ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４に読み出される。
【００６１】
ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４の出力は、行選択線２０５−１の制御に基づいて選択される。そしてその後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。
【００６２】
非加算読み出しモードの時には、列容量バッファ選択スイッチ２１０−１、２１０−２、２１０−３、２１０−４は常にＯＮ、列容量バッファ選択スイッチ２１１−１、２１１−２、２１１−３、２１１−４は常にＯＦＦとなる。
【００６３】
従って、列アンプ２０７−１、２０７−２、２０７−３、２０７−４の出力は、列容量バッファ２０８−１、２０８−２、２０８−３、２０８−４にチャージされる。
【００６４】
水平走査回路２１４の制御に基づき、列選択スイッチ２１２−１、２１２−２、２１２−３、２１２−４を順次開閉する。このことにより、列容量バッファ２０８−１、２０８−２、２０８−３、２０８−４にチャージされた１行目の信号は、水平信号線２１３と出力バッファアンプ２１９を通じて映像出力端子２２０から出力される。
【００６５】
以上のように、１行目の信号が非加算で読み出された後、２行目、３行目、４行目の順に、同様にして、非加算で各行の信号が読み出される。図２では、１行目から４行目までを示したが、５行目以降についても同様であり、４ｎ−３行目、４ｎ−２行目、４ｎ−１行目、４ｎ行目の順に順次非加算で読み出される（但し、ｎは自然数とする）。
【００６６】
また、各行の画素２０１−ｘｙの電荷は、それぞれ、行リセット制御線２０５−ｘの制御に基づいてリセットされる。リセット後、行読み出し制御線２０３−ｘの制御に基づいて、次の電荷読み出しが行われるまでが、次のフレームでの各行の蓄積時間となる。
【００６７】
ここで、本実施の形態のＣＭＯＳイメージセンサ１０２は、ローリングシャッタ機構の撮像素子である。従って、行毎の蓄積時間（リセット動作後から電荷読み出しまでの時間）を等しくするために、電荷読み出しの行われる行の順番と行リセットの行われる行の順番を揃える。
【００６８】
即ち、上記のように、４ｎ−３行目、４ｎ−２行目、４ｎ−１行目、４ｎ行目の順に順次非加算で信号を読み出す場合には、行リセットが行われる行の順番も、４ｎ−３行目、４ｎ−１行目、ｎ−２行目、４ｎ行目の順となるよう、行リセット制御線２０５−ｘが制御されている。
【００６９】
（第１の実施の形態）
次に、ユーザーが動画撮影中（加算読み出しモード）に操作部１０６を操作し、静止画撮影（非加算読み出しモード）が指示された場合の、ＣＭＯＳイメージセンサ１０２の撮像動作について、図３のタイミングチャートを参照しながら説明する。
【００７０】
図３において、ＶＤは垂直同期信号であり、垂直同期信号ＶＤの立ち上がりをもって、当該フレームでの信号読み出しが開始される。ＨＤは水平同期信号であり、水平同期信号ＨＤの立ち上がりから始まる期間Ｔｂで、１行分の信号が読み出される。
【００７１】
符号３０３−ｘ、３０４−ｘ、３０５−ｘは、それぞれ、ｘ行目の行読み出し制御線２０３−ｘ、行選択線２０４−ｘ、行リセット制御線２０５−ｘの制御タイミングを示す（ｘ＝１、２、３、４、・・・）。
【００７２】
符号３０６、３０７は、それぞれ、列容量バッファ選択スイッチ２１０−ｙ、２１１−ｙをＯＮ／ＯＦＦするための制御タイミングを示す。
【００７３】
ｍｏｄｅは、ＣＭＯＳイメージセンサ１０２の動作モードを示し、加算読み出しモードのときはＬレベル、非加算読み出しモードのときはＨレベルとなる。符号３３０は、映像出力端子２２０からの出力データを示す。
【００７４】
図３（ａ）は、加算読み出しモードから非加算読み出しモードに切り替わる際の、ＣＭＯＳイメージセンサ１０２の動作を示している。図３（ａ）において、時刻ｔ１から時刻ｔ１５までの垂直同期期間（１）は、加算読み出しモードであり、時刻ｔ１５で非加算読み出しモードに切り替わる。
【００７５】
加算読み出しモードで動作する垂直同期期間（１）では、行読み出し制御線２０３、行選択線２０５、行リセット制御線２０５について、それぞれ、１行目、３行目、２行目、４行目の順にパルスが発生する。従って、１行目と３行目、２行目と４行目の信号が、それぞれセンサ上で加算読み出しされた後、１行目、３行目、２行目、４行目の順で、行リセットが行われる。
【００７６】
一方、非加算読み出しモードで動作する垂直同期期間（２）では、行読み出し制御線２０３、行選択線２０５、行リセット制御線２０５について、それぞれ、１行目、２行目、３行目、４行目の順にパルスが発生する。従って、１行目、２行目、３行目、４行目の順で、それぞれの行の信号がセンサから非加算で読み出される。
【００７７】
ここで、垂直同期期間（２）で読み出される各行の信号の蓄積時間は、垂直同期期間（１）での行リセットから、垂直同期期間（２）での行読み出しまでの期間であり、式１〜式４のように示すことができる。
【００７８】
尚、式１〜式４では、それぞれ、１垂直同期期間をＴａ、１水平同期期間をＴｂ、行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間をＴｃとする。また、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間をＴｄとし、ｎ行目の蓄積時間Ｔ（ｎ）で示す。
［数１］
Ｔ（ｎ）  ＝  Ｔａ    ＋  Ｔｂ  ＊  （ｎ−１）  ／  ２  -  Ｔｃ  
（ｎ  ＝  １、５、９、１３、・・・  ）    式１
［数２］
Ｔ（ｎ）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ−２）  ／２  -Ｔｃ  
（ｎ  ＝  ２、６、１０、１４・・・）    式２
［数３］
Ｔ（ｎ）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ＋１）  ／２  -Ｔｃ  -Ｔｄ  
（ｎ  ＝  ３、７、１１、１５、・・・）    式３
［数４］
Ｔ（ｎ）  ＝  Ｔａ  ＋  Ｔｂ  ＊  ｎ  ／２  -Ｔｃ  -  Ｔｄ  
（ｎ  ＝  ４、８、１２、１６、・・・）    式４
式１において、ｎをｎ＝ｎ１（ｎ１は自然数）とおくと、式２〜４のときのｎは、それぞれ、ｎ＝ｎ１＋１、ｎ＝ｎ１＋２、ｎ＝ｎ１＋３となり、式１〜式４での蓄積時間Ｔ（ｎ）は、ｎ１を用いて、式５〜式８のように表現できる。
［数５］
Ｔ（ｎ１）  ＝  Ｔａ    ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ    式５
［数６］
Ｔ（ｎ１＋１）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ    式６
［数７］
Ｔ（ｎ１＋２）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１＋３）  ／  ２  −  Ｔｃ  −  Ｔｄ  
＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋２＊Ｔｂ−  Ｔｄ
式７
［数８］
Ｔ（ｎ１＋３）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１＋３）  ／  ２  −  Ｔｃ  −  Ｔｄ  
＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋２＊Ｔｂ−  Ｔｄ
式８
式７、８において、２＊Ｔｂ  −Ｔｄ  ＞  ０  であるので、ｎ１行目からｎ１＋３行目までの各行の蓄積時間の大小関係は、Ｔ（ｎ１）  ＝  Ｔ（ｎ１＋１）  ＜  Ｔ（ｎ１＋２）  ＝  Ｔ（ｎ１＋３）  となる。
【００７９】
即ち、本実施の形態では、加算読み出しモードから非加算読み出しモードに切り替わった場合に、２ライン単位で蓄積時間が変動し、読み出される画像において、垂直方向の周期的なレベル差が発生してしまう。
【００８０】
そこで、本実施の形態では、ゲイン補正部１０７を備え、加算読み出しモードと非加算読み出しモードとの遷移時に、行リセットと行読み出しが行われる行の順序が異なることによって発生する、ライン毎の蓄積時間の差を補正する。ゲイン補正部１０７の動作については、別途詳細に説明する。
【００８１】
図３（ｂ）では、非加算読み出しモードから加算読み出しモードに切り替わる際の、ＣＭＯＳイメージセンサ１０２の動作を示している。
【００８２】
ＣＭＯＳイメージセンサ１０２は、時刻ｔ１５から時刻ｔ３７までの垂直同期期間（２）において、非加算読み出しモードで動作し、時刻ｔ３７以降の垂直同期期間（３）では、加算読み出しモードで動作する。
【００８３】
垂直同期期間（２）では、行読み出し制御線２０３、行選択線２０４、行リセット制御線２０５について、それぞれ、１行目、２行目、３行目、４行目の順にパルスが発生する。従って、１行目、２行目、３行目、４行目の順で、センサから非加算で読み出された後、１行目、２行目、３行目、４行目の順に行リセットが行われる。
【００８４】
一方、垂直同期期間（３）では、行読み出し制御線２０３、行選択線２０４、行リセット制御線２０５について、それぞれ、１行目、３行目、２行目、４行目の順にパルスが発生する。従って、１行目と３行目、２行目と４行目の信号が、それぞれセンサ上で加算読み出しされた後、１行目、３行目、２行目、４行目の順で、行リセットが行われる。
【００８５】
（３）で読み出される信号の蓄積時間は、加算される２つの行の蓄積時間の平均値である。加算される前の各行の蓄積時間は、式５〜式８で示されている。（３）で、１行目と３行目を加算して読み出した時の蓄積時間は、式５と式７の平均、２行目と４行目を加算して読み出した時の蓄積時間は、式６と式８の平均となり、共に、式９のように示される。
【００８６】
尚、式９では、それぞれ、１垂直同期期間をＴａ、１水平同期期間をＴｂ、行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間をＴｃとする。また、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間をＴｄとする。
【００８７】
Ｔ＿ａｖｅ（ｎ１、ｎ１＋２）は、ｎ１行目とｎ１＋２行目を加算読み出ししたときの蓄積時間を示し、Ｔ＿ａｖｅ（ｎ１＋１、ｎ１＋３）は、ｎ１＋１行目とｎ１＋３行目を加算読み出ししたときの蓄積時間を示す。
［数９］
Ｔ＿ａｖｅ（ｎ１、ｎ１＋２）  ＝  Ｔ＿ａｖｅ（ｎ１＋１、ｎ１＋３）  
＝      Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋  Ｔｂ  −  Ｔｄ  ／  ２  
（ｎ１は自然数）    式９
式９に示すように、本実施の形態では、非加算読み出しモードから加算読み出しモードに切り替わった場合は、ライン毎の蓄積時間が等しくなる。従って、垂直方向にレベル差は発生しないので、ゲイン補正部１０７での信号レベルの補正処理は適用されない。
【００８８】
次に、ゲイン補正部１０７での動作について、図４のフローチャートを用いて説明する。
【００８９】
図４は、図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（１）。
【００９０】
本処理は、ＣＰＵ１０５の制御の下、ゲイン補正部１０７によって実行される。
【００９１】
ユーザーが操作部１０６を操作することにより、ゲイン補正部１０７での処理が開始される。操作部１０６を介してユーザーが動画撮影を指示すると、読み出しモードがＬレベル（加算読み出しモード）に設定される。
【００９２】
操作部１０６を介して、ユーザーが静止画撮影を指示すると、読み出しモードがＨレベル（非加算読み出しモード）に設定される。読み出しモードの設定値はＣＰＵ１０５を介して、図示しないＳＲＡＭに保持される。
【００９３】
ステップＳ４０１では、ゲイン補正部１０７は、ＳＳＧ１０４から出力される垂直同期信号ＶＤを参照し、ＶＤの立ち上がりを検出して、１フレームでの処理を開始する。
【００９４】
ステップＳ４０２では、ゲイン補正部１０７は、ＶＤの直後の読み出しモードと、ＳＲＡＭに保持された１Ｖ前の読み出しモードの設定値を参照する。そして、ゲイン補正部１０７は、読み出しモードがＬレベルからＨレベルに、即ち、加算読み出しモードから非加算読み出しモードに切り替わったかどうかを判定する。
【００９５】
加算読み出しモードから非加算読み出しモードに切り替わった場合には、ステップＳ４０３に進み、それ以外の場合には、ステップＳ４０９に進む。
【００９６】
ステップＳ４０３では、ゲイン補正部１０７は、加算読み出しモードから非加算読み出しモードに遷移した際に、読み出される信号の蓄積時間を４行単位で平均し、Ｔ＿ａｖｅを求める。
［数１０］
Ｔ＿ａｖｅ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋  Ｔｂ  −  Ｔｄ  ／  ２    式１０
ステップＳ４０４では、ゲイン補正部１０７は、加算読み出しモードから非加算読み出しモードに遷移した際の、行毎の蓄積時間の差を補正するための補正ゲイン（式１１、式１２）を生成する。
【００９７】
補正ゲインは、式１０に示した４行分の蓄積時間の平均値Ｔ＿ａｖｅと、式５〜式８に示した各行の蓄積時間との比をとって生成される。
［数１１］
ｎ  ＝  ｎ１、ｎ１＋１行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ  ／  （  Ｔａ    ＋  Ｔｂ  ＊  （ｎ−１）  ／  ２  −  Ｔｃ  ）    式１１
［数１２］
ｎ  ＝  ｎ１＋２、ｎ１＋３行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ／  （Ｔａ  ＋Ｔｂ  ＊  （ｎ−１）  ／  ２  −  Ｔｃ  ＋  ２  ＊  Ｔｂ  −  Ｔｄ  ）    式１２
式１０〜式１２において、ｎ１は、ｎ１＝  ０、４、８、１２・・・となる行の行番号であり、Ｔａは、１垂直同期期間、Ｔｂは、１水平同期期間である。また、Ｔｃは、行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間、Ｔｄは、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間である。
【００９８】
ステップＳ４０５では、ゲイン補正部１０７は、ステップＳ４０４で生成した補正ゲインを、ＡＤＣ１０３から出力された信号に乗じて、蓄積時間の差に起因した垂直方向の信号レベルの差を補正する。
【００９９】
ステップＳ４０６では、ＣＰＵ１０５において、ゲイン補正部１０７で処理される行数をカウントしており、処理される行数が１フレーム分の行数に達したかどうかを判定する。
【０１００】
処理される行数が１フレーム分の行数に達した場合には、ステップＳ４０１に戻り、ゲイン補正部１０７は、次のフレームの処理を開始する。
【０１０１】
処理される行数が１フレーム分の行数未満の場合には、ステップ４０７に進み、ゲイン補正部１０７は、行数のカウンタを１インクリメントする。
【０１０２】
ステップＳ４０８では、ゲイン補正部１０７は、処理される行数が、１、５、９、１３、・・・であるかを判定する。処理される行数が１、５、９、１３、・・・である場合には、ステップ４０３に戻り、ゲイン補正部１０７は、補正ゲイン算出に用いる蓄積時間の平均値を算出し直す。
【０１０３】
処理される行数が、１、５、９、１３・・・以外の場合には、ゲイン補正部１０７は、ステップＳ４０４でその行に応じた補正ゲインを生成し、ステップＳ４０５で当該行の信号レベルを補正する。
【０１０４】
非加算読み出しモードから加算読み出しモードに遷移した場合、加算読み出しモードから加算読み出しモードに遷移した場合、非加算読み出しモードから非加算読み出しモードに遷移した場合については、行毎の蓄積時間の差が発生しない。そのため、ステップＳ４０９において、ゲイン補正部１０７は、ゲイン補正を行わない。
【０１０５】
ゲイン補正部１０７は、ステップＳ４１０において、処理行数が１フレーム分に達するまで、ステップＳ４１１において、行数のカウンタをインクリメントしながら、ＡＤＣ１０３から入力される１行分の信号をそのまま出力する。１フレーム分の処理が終了した後、ステップＳ４０１に戻り、ゲイン補正部１０７は、次のフレームでの処理を開始する。
【０１０６】
上記一連のゲイン補正部１０７での処理は、ユーザーが操作部１０６を操作して、撮像動作の終了を指示するまで継続して行われる。
【０１０７】
以上のように、本実施の形態では、加算読み出しモードから非加算読み出しモードに切り替わる際、行リセットと行読み出しが行われるタイミングの違いによって生じる、行毎の蓄積時間の差を、ゲイン補正によって解消することができる。
【０１０８】
これにより、撮像素子（ＣＭＯＳイメージセンサ１０２）の制御を複雑にすることなく、加算読み出しモードと非加算読み出しモードをシームレスに切り替えることができる。
【０１０９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。第２の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【０１１０】
第２の実施の形態と第１の実施の形態との差異は、以下の通りである。即ち、静止画撮影時に、動画撮影時（加算読み出しモード）の２倍の速度で、非加算読み出しを行うこと（倍速非加算読み出しモード）と、加算読み出しから非加算読み出しに切り替わる際にも、ゲイン補正部１０７においてゲイン補正処理を行うことである。
【０１１１】
以下では、上記２点の差異についてのみ説明し、その他の説明は割愛する。
【０１１２】
まず、図５のタイミングチャートを参照しながら、第２の実施の形態において、加算読み出しモードと倍速非加算読み出しモードが切り替わる際の、ＣＭＯＳイメージセンサ１０２の動作を説明する。
【０１１３】
図５（ａ）は、第２の実施の形態において、加算読み出しモードから倍速非加算読み出しモードに切り替わるときのＣＭＯＳイメージセンサ１０２の駆動タイミングを示している。
【０１１４】
図５（ａ）において、垂直同期期間（４）は加算読み出しモードで動作しており、垂直同期期間（５）は、倍速非加算読み出しモードで動作している。垂直同期期間（５）で読み出される各行の信号の蓄積時間は式１３〜式１６のようになる。
［数１３］
Ｔ（ｎ）  ＝  Ｔａ    −  Ｔｃ  （ｎ  ＝  １、５、９、１３、・・・  ）    式１３
［数１４］
Ｔ（ｎ）  ＝  Ｔａ  −  Ｔｂ  ／２  −Ｔｃ  （ｎ  ＝  ２、６、１０、１４、・・・）    式１４
［数１５］
Ｔ（ｎ）  ＝  Ｔａ  ＋  Ｔｂ    −Ｔｃ  −Ｔｄ    （ｎ  ＝  ３、７、１１、１５、・・・）    式１５
［数１６］
Ｔ（ｎ）  ＝  Ｔａ  ＋  Ｔｂ  ／２  −Ｔｃ  −  Ｔｄ  （ｎ  ＝  ４、８、１２、１６、・・・）    式１６
また、図５（ｂ）は、第２の実施の形態において、倍速非加算読み出しモードから加算読み出しモードに切り替わるときのＣＭＯＳイメージセンサ１０２の駆動タイミングを示している。
【０１１５】
図５（ｂ）において、垂直同期期間（５）は倍速非加算読み出しモードで動作しており、垂直同期期間（６）は、加算読み出しモードで動作している。ここで、ｎ１が１、５、９、１３、・・・行目の信号であるとすると、垂直同期期間（６）では、ｎ１行目とｎ１＋２行目、及び、ｎ１＋１行目とｎ１＋３行目の信号がそれぞれ加算して読み出される。加算して読み出された信号の蓄積時間は、それぞれ、式１７、式１８のようになる。
【０１１６】
ここで、式１７は、式１３と式１５の蓄積時間を平均したものであり、式１８は、式１４と式１６の蓄積時間を平均したものである。
［数１７］
Ｔ_ａｖｅ（ｎ１、ｎ１＋２）  ＝  Ｔａ  −  Ｔｃ  −Ｔｄ／２  ＋  Ｔｂ／２（ｎ１  ＝  １、５、９、１３、・・・  ）    式１７
［数１８］
Ｔ＿ａｖｅ（ｎ１＋１、ｎ１＋３）  ＝  Ｔａ  −  Ｔｃ  −Ｔｄ／２  （ｎ１  ＝  １、５、９、１３、・・・）    式１８
尚、式１３〜式１８では、それぞれ、１垂直同期期間をＴａ、加算読み出しモードでの１水平同期期間をＴｂ、行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間をＴｃとする。また、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間をＴｄとする。また、倍速非加算読み出しモードでの１水平同期期間はＴｂ／２となる。
【０１１７】
以上のように、加算読み出しモードから倍速非加算読み出しモードに遷移する際に、行リセットが行われる行の順番と、行読み出しの行われる行の順番が異なることに起因して電荷蓄積時間の変動が発生する。即ち、式１３〜式１６に示すような、４行周期での電荷蓄積時間の変動が発生する。
【０１１８】
また、倍速非加算読み出しモードから加算読み出しモードに遷移する際にも、行リセットが行われる行の順番と、行読み出しの行われる行の順番が異なることに起因して、式１７、式１８に示すような、２行周期で蓄積時間の変動が発生する。
【０１１９】
そこで、第２の実施の形態では、ゲイン補正部１０７を備え、加算読み出しモードと倍速非加算読み出しモードとの遷移時に、行リセットと行読み出しが行われる行の順序が異なることによって発生する、ライン毎の蓄積時間の差を補正する。
【０１２０】
次に、図６のフローチャートを参照しながら、第２の実施の形態における、ゲイン補正部１０７の動作について説明する。
【０１２１】
図６は、図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（２）。
【０１２２】
本処理は、ＣＰＵ１０５の制御の下、ゲイン補正部１０７によって実行される。
【０１２３】
図６において、ユーザーが操作部１０６を操作することにより、ゲイン補正部１０７での処理が開始される。操作部１０６を介してユーザーが動画撮影を指示すると、読み出しモードがＬレベル（加算読み出しモード）に設定される。
【０１２４】
操作部１０６を介して、ユーザーが静止画撮影を指示すると、読み出しモードがＨレベル（倍速非加算読み出しモード）に設定される。読み出しモードの設定値はＣＰＵ１０５を介して、図示しないＳＲＡＭに保持される。
【０１２５】
ステップＳ６０１では、ゲイン補正部１０７は、ＳＳＧ１０４から出力される垂直同期信号ＶＤを参照し、ＶＤの立ち上がりを検出して、１フレームでの処理を開始する。
【０１２６】
ステップＳ６０２では、ゲイン補正部１０７は、ＶＤの直後の読み出しモードと、ＳＲＡＭに保持された１Ｖ前の読み出しモードの設定値を参照する。そして、ゲイン補正部１０７は、読み出しモードがＬレベルからＨレベルに、即ち、加算読み出しモードから倍速非加算読み出しモードに切り替わったかどうかを判定する。
【０１２７】
加算読み出しモードから倍速非加算読み出しモードに切り替わった場合には、ステップＳ６０３に進み、それ以外の場合には、ステップＳ６０９に進む。
【０１２８】
ステップＳ６０３では、ゲイン補正部１０７は、加算読み出しモードから非加算読み出しモードに遷移した際に、読み出される信号の蓄積時間を４行単位で平均し、Ｔ＿ａｖｅ４を求める。
［数１９］
Ｔ＿ａｖｅ４＝  Ｔａ  ＋  Ｔｂ  ／  ４  −  Ｔｃ  −  Ｔｄ  ／  ２    式１９
ステップＳ６０４では、ゲイン補正部１０７は、加算読み出しモードから非加算読み出しモードに遷移した際の、行毎の蓄積時間の差を補正するための４行周期の補正ゲイン（式２０〜式２３）を生成する。
【０１２９】
補正ゲインは、それぞれ、式１９に示した４行分の蓄積時間の平均値Ｔ＿ａｖｅ４と、式１３〜式１６に示した各行の蓄積時間との比をとって生成される。
［数２０］
ｎ  ＝  １、５、９、１３、・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ４  ／  （  Ｔａ  −  Ｔｃ  ）    式２０
［数２１］
ｎ  ＝  ２、６、１０、１４、・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ４／  （Ｔａ  −  Ｔｂ  ／  ２  −  Ｔｃ）    式２１
［数２２］
ｎ  ＝  ３、７、１１、１５、・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ４  ／  （  Ｔａ  ＋  Ｔｂ  −  Ｔｃ  −  Ｔｄ  ）
［数２３］
ｎ  ＝  ４、８、１２、１６、・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ４／  （Ｔａ  ＋  Ｔｂ／２  −  Ｔｃ  −  Ｔｄ）    式２３
式２０〜式２３において、Ｔａは１垂直同期期間、Ｔｂは加算読み出しモードでの１水平同期期間、Ｔｃは行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間である。また、Ｔｄは行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間である。
【０１３０】
ステップＳ６０５では、ゲイン補正部１０７は、ステップＳ６０４で生成した補正ゲインを、ＡＤＣ１０３から出力された信号に乗じて、蓄積時間の差に起因した垂直方向の信号レベルの差を補正する。
【０１３１】
ステップＳ６０６では、ＣＰＵ１０５において、ゲイン補正部１０７で処理される行数をカウントしており、処理される行数が１フレーム分の行数に達したかどうかを判定する。
【０１３２】
処理される行数が１フレーム分の行数に達した場合には、ステップＳ６０１に戻り、ゲイン補正部１０７は、次のフレームの処理を開始する。処理される行数が１フレーム分の行数未満の場合には、ステップＳ６０７に進み、ゲイン補正部１０７は、行数のカウンタを１インクリメントする。
【０１３３】
ステップＳ６０８では、ゲイン補正部１０７は、処理される行数が、１、５、９、１３、・・・であるかを判定する。処理される行数が１、５、９、１３、・・・である場合には、ステップＳ６０３に戻り、ゲイン補正部１０７は、補正ゲイン算出に用いる蓄積時間の平均値を算出し直す。
【０１３４】
処理される行数が、１、５、９、１３、・・・以外の場合には、ステップＳ６０４で、ゲイン補正部１０７は、その行に応じた補正ゲインを生成し、ステップＳ６０５で当該行の信号レベルを補正する。
【０１３５】
ステップＳ６０９では、ゲイン補正部１０７は、ＶＤの直後の読み出しモードと、ＳＲＡＭに保持された１Ｖ前の読み出しモードの設定値を参照する。そして、ゲイン補正部１０７は、読み出しモードがＨレベルからＬレベルに、即ち、倍速非加算読み出しモードから加算読み出しモードに切り替わったかどうかを判定する。
【０１３６】
倍速非加算読み出しモードから加算読み出しモードに切り替わった場合には、ステップＳ６１０に進み、それ以外の場合には、ステップＳ６１６に進む。
【０１３７】
ステップＳ６１０では、ゲイン補正部１０７は、倍速非加算読み出しモードから加算読み出しモードに遷移した際に、読み出される信号の蓄積時間を２行単位で平均し、Ｔ＿ａｖｅ２を求める。
［数２４］
Ｔ＿ａｖｅ２＝  Ｔａ  −  Ｔｃ  −Ｔｄ／２  ＋  Ｔｂ／４    式２４
ステップＳ６１１では、ゲイン補正部１０７は、非加算倍速読み出しモードから加算読み出しモードに遷移した際の、行毎の蓄積時間の差を補正するために、２行周期の補正ゲイン（式２５、式２６）を生成する。
【０１３８】
補正ゲインは、それぞれ、式２４に示した２行分の蓄積時間の平均値Ｔ＿ａｖｅ２と、式１７〜式１８に示した各行の蓄積時間との比をとって生成される。尚、式２４、式２５において、ｎ１＝１、５、９、１３、・・・とする。
［数２５］
ｎ  ＝  ｎ１、ｎ１＋２行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ２  ／  （Ｔａ  −  Ｔｃ  −Ｔｄ／２  ＋  Ｔｂ／２  ）    式２５
［数２６］
ｎ  ＝  ｎ１＋１、ｎ１＋３行目のとき、
Ｇ（ｎ）  ＝  Ｔ＿ａｖｅ２／  （Ｔａ  −  Ｔｃ  −Ｔｄ／２）    式２６
式２４〜式２６において、Ｔａは１垂直同期期間、Ｔｂは１水平同期期間、Ｔｃは行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間である。また、Ｔｄは行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間である。
【０１３９】
ステップＳ６１２では、ゲイン補正部１０７は、ステップＳ６１１で生成した補正ゲインを、ＡＤＣ１０３から出力された信号に乗じて、蓄積時間の差に起因した垂直方向の信号レベルの差を補正する。
【０１４０】
ステップＳ６１３では、ＣＰＵ１０５において、ゲイン補正部１０７で処理される行数をカウントしており、処理される行数が１フレーム分の行数に達したかどうかを判定する。
【０１４１】
処理される行数が１フレーム分の行数に達した場合には、ステップＳ６０１に戻り、ゲイン補正部１０７は、次のフレームの処理を開始する。処理される行数が１フレーム分の行数未満の場合には、ステップＳ６１４に進み、ゲイン補正部１０７は、行数のカウンタを１インクリメントする。
【０１４２】
ステップＳ６１５では、ゲイン補正部１０７は、処理される行数が、１、５、９、１３、・・であるかを判定する。
【０１４３】
処理される行数が１、５、９、１３、・・・である場合には、ステップＳ６１０に戻り、ゲイン補正部１０７は、補正ゲイン算出に用いる蓄積時間の平均値を算出し直す。処理される行数が、１、５、９、１３、・・・以外の場合には、ゲイン補正部１０７は、ステップＳ６１１でその行に応じた補正ゲインを生成し、ステップＳ６１２で当該行の信号レベルを補正する。
【０１４４】
加算読み出しモードから加算読み出しモードに遷移した場合、または、非加算読み出しモードから非加算読み出しモードに遷移した場合は、行毎の蓄積時間の差が発生しないため、ステップＳ６１６に進み、ゲイン補正部１０７は、ゲイン補正を行わない。
【０１４５】
ステップＳ６１７において、ゲイン補正部１０７は、処理行数が１フレーム分に達するまで、ステップＳ６１８で行数のカウンタをインクリメントしながら、ＡＤＣ１０３から入力される１行分の信号をそのまま出力する。１フレーム分の処理が終了した後、ステップＳ６０１に戻り、次のフレームでの処理を開始する。
【０１４６】
上記一連のゲイン補正部１０７での処理は、ユーザーが操作部１０６を操作して、撮像動作の終了を指示するまで継続して行われる。
【０１４７】
以上のように、第２の実施の形態においても、加算読み出しモードから倍速非加算読み出しモードに切り替わる際、行リセットと行読み出しが行われるタイミングの違いによって生じる、行毎の蓄積時間の差を、ゲイン補正によって解消することができる。
【０１４８】
これにより、撮像素子の制御を複雑にすることなく、加算読み出しモードと非加算読み出しモードをシームレスに切り替えることができる。
【０１４９】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。第３の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【０１５０】
第３の実施の形態と第１の実施の形態との差異は、操作部１０６を介して、ユーザーがシャッタスピードを変えられることと、ゲイン補正部１０７での補正処理が、シャッタスピードに連動して制御されることである。
【０１５１】
以下では、上記２点の差異についてのみ説明し、その他の説明は割愛する。
【０１５２】
まず、図７のタイミングチャートを参照しながら、第３の実施の形態において、加算読み出しモードと非加算読み出しモードが切り替わる際の、ＣＭＯＳイメージセンサ１０２の動作を説明する。
【０１５３】
第３の実施の形態では、加算読み出しモード、非加算読み出しモードのときのシャッタスピードを、それぞれ、１／Ｔｓ１秒、１／Ｔｓ２秒とすると、１／Ｔｓ１  ＞  １／Ｔｓ２  という関係になっている。図７において、垂直同期期間（７）は、加算読み出しモードであり、垂直同期期間（８）は非加算読み出しモードを示し、
非加算モードで読み出される信号の蓄積時間が、加算読み出しモードのときの蓄積時間よりも短く設定されている。そのため、垂直同期期間（７）でのＶＤの立ち上がりから、垂直同期期間（８）で行読み出しが行われるまでに、各行について２回ずつ行リセット動作が行われる。
【０１５４】
２回目の行リセット動作から垂直同期期間（８）での行読み出しまでの時間Ｔ（ｎ）が、非加算読み出しモードで読み出される画像の各行の蓄積時間となる。（ｎ＝１、２、３、４、５、６、７、８、・・・）
また、２回目の行リセットは、垂直同期期間（７）内で行われるものと、垂直同期期間（８）内で行われるものがある。
【０１５５】
行リセット制御線２０５の制御信号３０５−ｘのパターンは、ＶＤに同期して更新されるため、垂直同期期間（７）内で行われる行リセットは、加算読み出しモードの行リセットと同じ行順で行われる。また、垂直同期期間（８）内で行われる行リセットは、非加算読み出しモードの行リセットと同じ行順で行われる。
【０１５６】
従って、図７の１、２、３、４行目については、垂直同期期間（７）内で、１、３、２、４という行順で２回目の行リセットが行われ、５、６、７、８行目については、垂直同期期間（８）内で、５、６、７、８という行順で２回目の行リセットが行われる。
【０１５７】
以上のように、非加算読み出しモードのときのシャッタスピードが、加算読み出しモードのときのシャッタスピードよりも短く設定された場合に、以下の不具合が発生する。
【０１５８】
即ち、加算読み出しモードと非加算読み出しモードの切り替わりの時点で、行リセットと行読み出しの行われる行の順番が異なる。そして、行毎に蓄積時間が変動する行（図７の１、２、３、４行目）と、行リセットと行読み出しの行われる行の順番が等しく、行毎に蓄積時間が変動しない行（図７の５、６、７、８行目）が存在する。これにより、画面の一部分で、垂直方向の信号レベルが周期的に変動するという不具合が発生する。
【０１５９】
そこで、第３の実施の形態では、ゲイン補正部１０７を備え、ライン毎の蓄積時間の差を以下のように補正する。
【０１６０】
即ち、加算読み出しモードと倍速非加算読み出しモードとの遷移時に、行リセットと行読み出しが行われる行の順序が異なることによって発生する、ライン毎の蓄積時間の差を、シャッタスピードに連動して補正する。
【０１６１】
次に、図８のフローチャートを参照しながら、第３の実施の形態における、ゲイン補正部１０７の動作について説明する。
【０１６２】
図８は、図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（３）。
【０１６３】
本処理は、ＣＰＵ１０５の制御の下、ゲイン補正部１０７によって実行される。
【０１６４】
図８において、ユーザーが操作部１０６を操作することにより、ゲイン補正部１０７での処理が開始される。操作部１０６を介してユーザーが動画撮影を指示すると、読み出しモードがＬレベル（加算読み出しモード）に設定される。
【０１６５】
操作部１０６を介して、ユーザーが静止画撮影を指示すると、読み出しモードがＨレベル（非加算読み出しモード）に設定される。読み出しモードの設定値はＣＰＵ１０５を介して、図示しないＳＲＡＭに保持される。また、静止画撮影のときのシャッタスピードも操作部１０６を介して設定される。
【０１６６】
ステップＳ８０１では、ゲイン補正部１０７は、ＳＳＧ１０４から出力される垂直同期信号ＶＤを参照し、ＶＤの立ち上がりを検出して、１フレームでの処理を開始する。
【０１６７】
ステップＳ８０２では、ゲイン補正部１０７は、ＶＤの直後の読み出しモードと、ＳＲＡＭに保持された１Ｖ前の読み出しモードの設定値を参照する。そして、ゲイン補正部１０７は、読み出しモードがＬレベルからＨレベルに、即ち、加算読み出しモードから非加算読み出しモードに切り替わったか否かを判定する。
【０１６８】
加算読み出しモードから非加算読み出しモードに切り替わった場合には、ステップＳ８０３に進み、それ以外の場合には、ステップＳ８０９に進む。
【０１６９】
ステップＳ８０３では、ゲイン補正部１０７は、操作部１０６で設定されたシャッタスピードを参照し、シャッタスピードに基づいて、ゲイン補正の対象となる行領域を設定する。
【０１７０】
ここで、Ｔｂを１水平同期期間とすると、非加算読み出しモードで読み出される垂直同期期間（８）において、ＶＤからｎ行目の行読み出しまでの時間は、Ｔｂ＊ｎとなる。非加算読み出しモードのときのシャッタスピードを１／Ｔｓ２とすると、Ｔｓ２がＴｂ＊ｎよりも大きい場合、すなわち、式２７を満たす行ｎの場合に、垂直同期期間（７）から垂直同期期間（８）に渡って、電荷蓄積が行われる。
［数２７］
ｎ  ＜  Ｔｓ２／Ｔｂ    式２７
式２７を満たす行領域では、行リセットと行読み出しの行われる行順が異なり、行毎に蓄積時間の変動が発生するので、ゲイン補正部１０７での補正対象領域と設定する。
【０１７１】
ステップＳ８０４では、ゲイン補正部１０７は、ＣＰＵ１０５内部の行カウンタの値を参照し、当該行が、ステップＳ８０３で設定した補正対象領域であるかどうかを判定する。当該行が補正対象領域である場合には、ステップＳ８０５に進み、そうでない場合には、ステップＳ８０９に進む。
【０１７２】
ステップＳ８０５では、ゲイン補正部１０７は、加算読み出しモードから非加算読み出しモードに遷移した際の、行毎の蓄積時間の差を補正するための補正ゲインＧ（ｎ）（式３２、式３３）を生成する。
【０１７３】
補正ゲインは、シャッタスピードによって設定された蓄積時間Ｔｓ２と、式２８〜式３１に示した各行の蓄積時間との比をとって生成される。
［数２８］
Ｔ（ｎ１）  ＝  Ｔａ    ＋  Ｔｂ  ＊  （ｎ１―１）  ／  ２  −  Ｔｃ  −Ｔｅ    式２８
［数２９］
Ｔ（ｎ１＋１）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１―１）  ／  ２  −  Ｔｃ  −Ｔｅ    式２９
［数３０］
Ｔ（ｎ１＋２）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋  ２  ＊  Ｔｂ  −  Ｔｄ  −Ｔｅ    式３０
［数３１］
Ｔ（ｎ１＋３）  ＝  Ｔａ  ＋  Ｔｂ  ＊  （ｎ１―１）  ／  ２  −  Ｔｃ  ＋  ２  ＊  Ｔｂ  −  Ｔｄ  −Ｔｅ    式３１
［数３２］
ｎ  ＝  ｎ１、ｎ１＋１・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔｓ２  ／  （  Ｔａ    ＋  Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  −  Ｔｅ）    式３２
［数３３］
ｎ  ＝  ｎ１＋２、ｎ１＋３・・・行目のとき、
Ｇ（ｎ）  ＝  Ｔｓ２／  （Ｔａ  ＋Ｔｂ  ＊  （ｎ１−１）  ／  ２  −  Ｔｃ  ＋  ２  ＊  Ｔｂ  −  Ｔｄ  −Ｔｅ）    式３３
式２８〜式３３において、ｎ１は、ｎ１＝  １、５、９、１３・・・となる行の行番号であり、Ｔａは、１垂直同期期間、Ｔｂは、１水平同期期間である。また、Ｔｃは、行読み出し制御線２０３の制御信号３０３−ｘの立ち上がりから、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりまでの期間である。
【０１７４】
また、Ｔｄは、行リセット制御線２０５の制御信号３０５−ｘの立ち上がりから立ち下がりまでの期間、Ｔｅは、垂直同期期間（７）において、１回目の行リセットから２回目の行リセットが行われるまでの期間である。
【０１７５】
ステップＳ８０６では、ゲイン補正部１０７は、ステップＳ８０５で生成した補正ゲインを、ＡＤＣ１０３から出力された信号に乗じて、蓄積時間の差に起因した垂直方向の信号レベルの差を補正する。
【０１７６】
ステップＳ８０７では、ＣＰＵ１０５において、ゲイン補正部１０７で処理される行数をカウントしており、処理される行数が１フレーム分の行数に達したかどうかを判定する。
【０１７７】
処理される行数が１フレーム分の行数に達した場合には、ステップＳ８０１に戻り、ゲイン補正部１０７は、次のフレームの処理を開始する。処理される行数が１フレーム分の行数未満の場合には、ステップＳ８０８に進み、ゲイン補正部１０７は、行数のカウンタを１インクリメントした後、ステップＳ８０４に戻り、次の行が補正対象領域かどうかを判定する。
【０１７８】
非加算読み出しモードから加算読み出しモードに遷移した場合、加算読み出しモードから加算読み出しモードに遷移した場合、非加算読み出しモードから非加算読み出しモードに遷移した場合は、行毎の蓄積時間の差が発生しない。また、ステップＳ８０４において、補正対象外の行であると判定された場合については、行毎の蓄積時間の差が発生しない。上記の場合は、ステップＳ８０９において、ゲイン補正部１０７は、ゲイン補正を行わない。
【０１７９】
ステップＳ８１０において、ゲイン補正部１０７は、処理行数が１フレーム分に達するまで、ステップＳ８１１で、行数のカウンタをインクリメントしながら、ＡＤＣ１０３から入力される１行分の信号をそのまま出力する。１フレーム分の処理が終了した後、ステップＳ８０１に戻り、ゲイン補正部１０７は、次のフレームでの処理を開始する。
【０１８０】
上記一連のゲイン補正部１０７での処理は、ユーザーが操作部１０６を操作して、撮像動作の終了を指示するまで継続して行われる。
【０１８１】
以上のように、本実施の形態では、シャッタスピードの設定と連動させたゲイン補正を行う。このことにより、加算読み出しモードから非加算読み出しモードに切り替わる際、行リセットと行読み出しが行われるタイミングの違いによって生じる、行毎の蓄積時間の差を解消することができる。
【０１８２】
これにより、撮像素子の制御を複雑にすることなく、加算読み出しモードと非加算読み出しモードをシームレスに切り替えることができる。
【図面の簡単な説明】
【０１８３】
【図１】本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック図である。
【図２】図１におけるＣＭＯＳイメージセンサの構成図である。
【図３】加算読み出しモードと非加算読み出しモードが切り替わる際の図２のＣＭＯＳイメージセンサの駆動タイミングチャートである（１）。
【図４】図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（１）。
【図５】加算読み出しモードと非加算読み出しモードが切り替わる際の図２のＣＭＯＳイメージセンサの駆動タイミングチャートである（２）。
【図６】図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（２）。
【図７】加算読み出しモードと非加算読み出しモードが切り替わる際の図２のＣＭＯＳイメージセンサの駆動タイミングチャートである（３）。
【図８】図１の撮像装置によって実行されるゲイン補正処理の手順を示すフローチャートである（３）。
【符号の説明】
【０１８４】
１０１  結像レンズ
１０２  ＣＭＯＳイメージセンサ
１０３  ＡＤコンバータ
１０４  同期信号生成回路
１０５  ＣＰＵ
１０６  操作部
１０７  ゲイン補正部
１０８  カメラ信号処理部
１０９  記録用信号処理部
１１０  表示装置
１１１  記録メディア
【図１】
2010130492.tif 000003
【図２】
2010130492.tif 000004
【図３】
2010130492.tif 000005
【図４】
2010130492.tif 000006
【図５】
2010130492.tif 000007
【図６】
2010130492.tif 000008
【図７】
2010130492.tif 000009
【図８】
2010130492.tif 000010