(57)【要約】【課題】    動画撮影時のダイナミックレンジを拡大すること。【解決手段】  画素が２次元に配置されたＣＭＯＳセンサ（６９）と、動画撮影時に、前記ＣＭＯＳセンサを、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記ＣＭＯＳセンサから１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記ＣＭＯＳセンサを駆動制御する制御手段（７１、７４）と、前記各走査毎に読み出された画素信号を記憶する画像メモリ（７２）と、前記画像メモリに記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大手段（７３、７４）とを有する。【選択図】  図１
2006033381.tif 000002
【特許請求の範囲】
【請求項１】
画素が２次元に配置された撮像手段と、
動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御手段と、
前記各走査毎に読み出された画素信号を記憶する記憶手段と、
前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像手段はＣＭＯＳセンサであって、前記制御手段は、スリットローリングシャッター方式により前記ＣＭＯＳセンサを駆動制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ダイナミックレンジ拡大手段は、
前記記憶手段に記憶された１画面分の画素信号のうち、所定回目の走査により得られた画素信号と所定の閾値とを比較し、前記閾値を超える画素信号を有する画素を検出する検出手段と、
前記閾値を超える画素信号が検出された場合に、検出された画素に隣接し、且つ、異なる走査で得られた画素信号を用いて、前記閾値を超えた画像信号の代わりに用いる代替画素信号を演算する演算手段と、
前記閾値を超える画素信号を、前記演算手段により得られた代替画素信号に置き換える置き換え手段とを有し、
前記閾値は、画素が飽和した状態で得られる画素信号値より所定値分小さい値であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記置き換え手段による画素信号の置き換え後、前記所定回目の走査により得られた画素信号を前記複数回ずつ出力する出力手段を更に有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は１行おきに２回走査を行い、前記所定回目の走査は電荷蓄積時間が長い方の走査であって、前記演算手段は、検出された画素に隣接し、且つ、異なる走査で得られた画素信号を電荷蓄積時間に応じて増幅することにより、画素信号値を算出することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記制御手段は２行おきに３回走査を行い、前記所定回目の走査は電荷蓄積時間が中間の走査であって、前記検出手段は更に、所定の第２の閾値と前記所定回目の走査により得られた画素信号とを比較して、前記第２の閾値を下回る画素信号値を有する画素を検出し、
前記演算手段は、前記閾値を超える画素信号値が検出された場合に、検出された画素に隣接し、且つ、電荷蓄積時間が短い走査により得られた画素信号を電荷蓄積時間に応じて増幅することにより代替画素信号値を算出し、また、前記第２の閾値を下回る画素信号値が検出された場合に、検出された画素に隣接し、且つ、電荷蓄積時間が長い走査により得られた画素信号を電荷蓄積時間に応じて削減することにより代替画素信号値を算出することを特徴とする請求項３に記載の撮像装置。
【請求項７】
ダイナミックレンジの拡大を行って動画を撮影する第１のモードと、ダイナミックレンジの拡大を行わずに動画を撮影する第２のモードとを設定する設定手段を更に有し、
前記第１のモードが設定された場合に、前記制御手段、記憶手段、ダイナミックレンジ制御手段の動作を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
スリットローリングシャッター方式での画素リセットを全フレームで行うことを特徴とする請求項２に記載の撮像装置。
【請求項９】
画素が２次元に配置された撮像手段を有する撮像装置の制御方法であって、
動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御工程と、
前記各走査毎に読み出された画素信号を記憶する記憶工程と、
前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と
を有することを特徴とする制御方法。
【請求項１０】
請求項９に記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等で固体撮像素子としてＣＭＯＳセンサの動画撮影時の信号読出しに関し、特に、動画撮影時のダイナミックレンジの拡大に関するものである。
【背景技術】
【０００２】
従来、撮像装置において、ＣＭＯＳセンサを固体撮像素子として用いたものがある（例えば、特許文献１及び２参照）。撮像装置が機械的な遮光部材であるメカニカルシャッタを有する場合、静止画撮影時にはメカニカルシャッタによりＣＭＯＳセンサを遮光し、遮光した状態で全画素のリセットを行ってから適切な露光量となるようにシャッタを開いてＣＭＯＳセンサを露光し、所定時間後にシャッタを閉じてから信号読み出しを行うことにより、静止画を撮影することができる。しかしながら、メカニカルシャッタの駆動速度には限界があるため、より短秒時の露光を行う場合は、メカニカルシャッタを用いずに電子シャッタ機能を用いて実現する。なお、その際にはメカニカルシャッタを開き、ＣＭＯＳセンサが常に露光されている状態にしておく。
【０００３】
まず、画素又はライン毎に、画素に蓄積された不要電荷を除去する走査すなわちリセット走査を実行し、その後、画素又はライン毎に、それぞれ所定の時間を経過してから信号電荷を読み出す走査を行うことで電子シャッタ動作を実現することができる。このような電子シャッタを、以下、「ローリング電子シャッタ」と呼ぶ。
【０００４】
図７は従来のＸＹアドレス型の走査方法を採るＣＭＯＳセンサの概略構成例を示す回路図、図８は従来の電子シャッタを実現するためのＣＭＯＳセンサの駆動方法を示すタイミングチャートである。
【０００５】
図７はＸＹアドレス型の走査方法を採る撮像素子の構成を示したものである。図７において、１０１は単位画素である。なお、図７では図の簡略化のために、画素１０１を４行×４列のみ示しているが、実際には非常に多数（例えば、数百万）の画素１０１が２次元に配置されている。また、１０２は光を電荷に変換するフォトダイオード（ＰＤ）、１０３は転送パルスφＴＸによってＰＤ１０２で発生した電荷を後述する蓄積領域（フローティングデフュージョン：ＦＤ）に転送する転送スイッチ、１０４は電荷を一時的に蓄積しておく蓄積領域（ＦＤ）であり、１０５はソースフォロアとして機能する増幅ＭＯＳアンプである。１０６は選択パルスφＳＥＬによって画素を選択する選択スイッチであり、１０７はリセットパルスφＲＥＳによってＦＤ１０４に蓄積された電荷を除去するリセットスイッチである。ＦＤ１０４、増幅ＭＯＳアンプ１０５、及び後述する定電流源１０９でフローティングディフュージョンアンプが構成され、選択スイッチ１０６で選択された画素の信号電荷が電圧に変換され、信号出力線１０８を経て読み出し回路１１３に出力される。１０９は増幅ＭＯＳアンプ１０５の負荷となる定電流源である。１１０は読み出し回路１１３から出力信号を選択する選択スイッチであり、水平走査回路１１４によって駆動される。１１１は信号を撮像素子外部に出力するための出力アンプである。また、１１２はスイッチ１０３、１０６、１０７を選択するための垂直走査回路（シフトレジスタ）である。
【０００６】
なお、パルス信号φＴＸ、φＲＥＳ、φＳＥＬそれぞれについて、垂直走査回路１１２によって走査選択された、例えばｎ番目の走査ラインに印加するパルス信号をφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。
【０００７】
図８はローリング電子シャッタ動作における駆動パルスと動作シーケンスを示したものである。なお図８では説明を簡略にするために垂直走査回路１１２によって走査選択されたｎラインからｎ＋３ラインの４行分の駆動制御に関して記述する。
【０００８】
ｎラインにおいて、まず時刻ｔ３１からｔ３２の期間、φＲＥＳｎとφＴＸｎを印加して、転送スイッチ１０３及びリセットスイッチ１０７をオンにし、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻ｔ３２で転送スイッチ１０３がオフになり、ＰＤ１０２で発生した光電荷が蓄積される蓄積動作が開始される。次に時刻ｔ３４においてφＴＸｎを印加して、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、この転送動作に先んじてオフする必要があり、図８に示す駆動制御では、時刻ｔ３２で転送スイッチ１０３と同時にオフにしている。上述したように、リセット動作終了の時刻ｔ３２から、転送終了の時刻ｔ３５までが蓄積時間となる。
ｎライン目の転送動作終了後、φＳＥＬｎを印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ３６より順次出力される。時刻ｔ３４の転送開始から時刻ｔ３７の読み出し終了までの時間をＴ３ｒｅａｄとし、時刻ｔ３１から時刻ｔ３３までの時間をＴ３ｗａｉｔとする。他のラインにおいても同様に、転送開始から読み出し終了までの時間がＴ３ｒｅａｄとなり、あるラインのリセット開始から次のラインのリセット開始までの間の時間がＴ３ｗａｉｔとなる。
【０００９】
上記記載の駆動方法によるローリング電子シャッタでは静止画を撮影可能であるが、図９に示すように、リセットに続く２回目のφＴＸｎ＋３及びφＳＥＬｎ＋３印加後、リセットを行わずにφＴＸｎ〜φＴＸｎ＋３、φＳＥＬｎ〜φＳＥＬｎ＋３の信号を繰り返し印加することで、信号読み出しの間隔を蓄積時間Ｔｉｎｔとする動画像用の信号を得ることができる。
【００１０】
また、ＣＭＯＳセンサの構成／駆動方法の別の文献としては特許文献１、２等がある。
【００１１】
一方、撮像装置が高解像モードと通常モードとを有し、高解像度モード時にはプログレッシブスキャンを行って全画素を読出し、通常モードではインターレーススキャンを行って画素加算または画素間引きによりリアルタイムなビデオ信号を出力することを可能にした撮像装置が提案されている（例えば、特許文献３参照）。
【００１２】
またこのような比較的高速なフレームレートで読み出しても偽信号が発生しないようにする提案も行われている（例えば、特許文献４参照）。
【００１３】
【特許文献１】特開２０００−２０１３００号公報
【特許文献２】特開２００２−２０９１４４号公報
【特許文献３】特開平７−２９８１１１号公報
【特許文献４】特開２０００−１３４５５０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、ローリング電子シャッタでは動画像撮影時の１フレームの蓄積時間Ｔｉｎｔは上述したように信号読み出しの間隔となり、被写体の輝度に関わらず固定であるので、適正露出範囲が狭くなってしまう。そこで信号読出し前に一旦画素をリセットすることで蓄積時間を制御することのできるスリットローリングシャッターという信号読出し方法がある。このタイミングチャートを図１０に示す。図１０に示すように、蓄積した信号を読み出した後、所定時間後に一旦信号をリセットすることで、蓄積時間Ｔｉｎｔを読み出し間隔よりも短くすることができる。これは１フレームの蓄積時間を１水平ライン走査時間単位で制御できるので、被写体輝度が高い場合は有効な露出制御である。
【００１５】
しかしながら、スリットローリングシャッターでは全画面一様で且つ被写体輝度の明るい場合には露出の対応ができるが、１画面内に暗い部分と明るい部分が混在する場合には、例えば、主被写体を適正露出に制御できたとしても、その他は飽和したり、暗くなってしまうという問題がある。
【００１６】
本発明は上記問題点を鑑みてなされたものであり、動画撮影時のダイナミックレンジを拡大することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、画素が２次元に配置された撮像手段と、動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御手段と、前記各走査毎に読み出された画素信号を記憶する記憶手段と、前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大手段とを有する。
【００１８】
また、画素が２次元に配置された撮像手段を有する撮像装置の本発明の制御方法は、動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御工程と、前記各走査毎に読み出された画素信号を記憶する記憶工程と、前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程とを有する。
【発明の効果】
【００１９】
本発明によれば、動画撮影時のダイナミックレンジを拡大することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２１】
＜第１の実施形態＞
（撮像装置の構成）
本発明の第１の実施形態における撮像装置の概略構成を図１に示す。
【００２２】
図１において、７３は主たる計算モジュールである信号処理回路、７２は複数フレームの撮像信号を格納可能な容量を有する画像メモリ、７４はＣＰＵで、信号処理回路７３の制御、タイミング生成回路７１の制御および撮像シーケンスの制御を行う。
【００２３】
６８は撮影光学系、６９はイメージセンサであるＣＭＯＳセンサである。本第１の実施形態では、図７に示すものと同様の構成のＣＭＯＳセンサをＣＭＯＳセンサ６９として用いるものとし、ここでは説明を省略する。但し、図７でも説明したように、説明を分かりやすくするために４行×４列のみ示しているが、実際には実際には非常に多数（例えば、数百万）の画素１０１が２次元に配置されている。７０は前処理回路でＣＭＯＳセンサ６９の出力をＡ／Ｄ変換し、ＣＭＯＳセンサ６９が有する固定パターンノイズ等の補正処理を行う。ＣＭＯＳセンサ６９の駆動タイミングはタイミング生成回路７１で生成される。
【００２４】
また、７５は動画撮影モードと静止画撮影モードとを切り換えるための動画／静止画切替スイッチ（ＳＷ）、７６は撮影開始を指示する撮影開始スイッチ（ＳＷ）で、動画撮影モード時には撮影終了を指示する機能も兼ねており、撮影開始後、再度撮影開始ＳＷ７６が操作されると、撮影を終了する。７７と７８はダイナミックレンジ切替選択ＳＷで、日中や夜景及び室内等の撮影に応じて選択するＳＷであり、例えば室内での撮影が選択された場合に、後述するように電荷蓄積時間の組み合わせを変更することによりダイナミックレンジが広がるように設定する。なお、このダイナミックレンジの切り換えは、ホワイトバランスの切替と連動させてもよい。
【００２５】
（ＣＭＯＳセンサの読み出し制御）
次に、本第１の実施形態における上記構成を有する撮像装置による露光及び読み出し制御のための全体処理について、図２を参照して説明する。
【００２６】
まず、ステップＳ１１において、ＣＰＵ７４は動画／静止画切り換えスイッチＳＷ７５の状態を確認し、静止画の場合にはステップＳ１９に進む。
【００２７】
動画の場合にはステップＳ１２に進み、ＣＰＵ７４はダイナミックレンジ切り換えスイッチ７７及び／または７８の操作によりダイナミックレンジ拡大が選択されているかどうかを判断する。ダイナミックレンジ拡大が選択されていなければ、ステップＳ１６に進み、ダイナミックレンジ拡大が選択されている場合にはステップＳ１３に進む。
【００２８】
ステップＳ１３、Ｓ１６、Ｓ１９それぞれにおいて、撮影開始ＳＷ７６がＯＮされたかどうかを判断し、ＯＮされると、それぞれステップＳ１５、Ｓ１８、Ｓ２１に進む。ステップＳ１５では、本発明の第１の実施形態の特徴である、フレーム毎に蓄積時間を変更して撮影を行うことにより、ダイナミックレンジを拡大した動画を撮影する。また、ステップＳ１８では、通常のスロットローリングシャッター方式による動画の撮影を行い、ステップＳ２１では公知の露光・読み出し制御により静止画の撮影を行う。
【００２９】
一方、Ｓ１３、Ｓ１６、Ｓ１９において撮影開始ＳＷ７６がＯＮされていない場合にはそれぞれステップＳ１４、Ｓ１７、Ｓ２０に進み、その他のスイッチ７５、７７、７８が操作されたかどうかを判断し、操作されていなければ、ステップＳ１３、Ｓ１６、Ｓ１９に戻る処理を繰り返し、撮影開始ＳＷ７６がＯＮされるのを待つ。また、スイッチ７５、７７、７８が操作されると処理を終了し、改めてステップＳ１１からの処理が開始される。
【００３０】
次に、ステップＳ１５で行われる、本発明の第１の実施形態におけるダイナミックレンジ拡大した動画を撮影するための露光及び読み出し制御について説明する。本第１の実施形態では、スロットローリングシャッター方式で読み出しを行い、フレーム毎に偶数行と奇数行とを交互に読み出し、かつ、偶数行と奇数行とで電荷を蓄積する時間を異ならせることにより、ダイナミックレンジの拡大を実現する。以下、そのためのＣＭＯＳセンサの駆動方法について、図３及び図７を参照して詳しく説明する。
【００３１】
まず、ｎラインにおいて、時刻ｔ１１からｔ１２の期間、φＲＥＳｎとφＴＸｎを印加して、転送スイッチ１０３及びリセットスイッチ１０７をオンにし、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻ｔ１２で転送スイッチ１０３がオフになると、ＰＤ１０２で発生した光電荷が蓄積される蓄積動作が開始される。次に所定時間Ｔｉｎｔ１経過後の時刻ｔ１４においてφＴＸｎを印加して、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、この転送動作に先んじてオフする必要があり、図３に示す駆動制御では、時刻ｔ１２で転送スイッチ１０３と同時にオフにしている。上述したように、リセット動作終了の時刻ｔ１２から、転送終了の時刻ｔ１５までが蓄積時間となる。
【００３２】
ｎライン目の転送動作終了後、φＳＥＬｎを印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ１６より順次出力される。
【００３３】
一方、φＴＸｎを印加後、所定時間後ｔ１３に次の行であるｎ＋１ライン目に対して、φＲＥＳｎ＋１とφＴＸｎ＋１を印加し、ｎ＋１ライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。φＴＸｎ＋１がローになり、転送スイッチ１０３がオフになると、ｎ＋１ライン目のＰＤ１０２における蓄積動作が開始されることになる。
【００３４】
ｎライン目では、所定時間Ｔｉｎｔ１経過後に転送スイッチ１０３をオンにして蓄積された光電荷をＦＤ１０４に転送したが、ｎ＋１ライン目の信号は１フレーム目では読み出さないため、φＴＸｎ＋１及びφＳＥＬｎ＋１はローに保ち、ＦＤ１０４への転送も、読み出し回路１１３への転送も行わない。
【００３５】
同様に、φＴＸｎ＋２を印加後、所定時間後にφＴＸｎ＋２を、更に所定時間後にφＴＸｎ＋３を印可するが、ｎ＋２ライン目は読み出すので所定時間Ｔｉｎｔ１後に更にφＴＸｎ＋２及びφＳＥＬｎ＋２の印加して、水平転送を行うが、ｎ＋３ライン目は読み出さないので、φＴＸｎ＋３及びφＳＥＬｎ＋３の印加を行わない。
【００３６】
上記制御により、奇数ラインの信号を所定の蓄積時間（正確にはφＳＥＬのパルス幅分の時間が異なるが、便宜上Ｔｉｎｔ１と記す。）で読み出すことができる。
【００３７】
次に、偶数ラインの信号の読み出しを行う。先のフレームでφＲＥＳｎ＋３の印加後、所定時間毎に再びφＲＥＳｎ〜ｎ＋３とφＴＸｎ〜ｎ＋３を順次出力し、各行のリセット動作を行う。このフレームでは、ｎ行目の読み出しを行わないので、φＲＥＳｎ＋１及びφＴＸｎ＋１の印加後、Ｔｉｎｔ１よりも短い所定時間Ｔｉｎｔ２の経過後に再びφＴＸｎ＋１を印加して転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。
【００３８】
ｎ＋１ライン目の転送動作終了後、φＳＥＬｎ＋１を印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ１６より順次出力される。
【００３９】
以下、ｎ＋２ライン目の電荷は読み出さず、ｎ＋３ライン目の電荷を読み出すようにする。
【００４０】
上記制御により、偶数ラインの信号を、蓄積時間Ｔｉｎｔ１よりも短い蓄積時間（正確にはφＳＥＬのパルス幅分の時間が異なるが、便宜上Ｔｉｎｔ２と記す。）で読み出すことができる。
【００４１】
（ダイナミックレンジ拡大処理）
上記のようにして取得した奇数ラインの信号及び偶数ラインの信号は、前処理回路７０による処理を経て画像メモリ７２に一旦記憶され、信号処理回路７３はこれらの信号を用いてダイナミックレンジ拡大処理を行う。図４はダイナミックレンジ拡大処理の概念を示す図である。
【００４２】
まず、蓄積時間Ｔｉｎｔ１で露光した奇数ラインの信号の内、所定値Ｔｈｓを超える信号を検出する。所定値Ｔｈｓは、電荷蓄積時に飽和状態になった場合の電荷に対応する信号値であるが、若干低めに設定してもよい。所定値Ｔｈｓを超える信号が無い場合には、奇数ラインの信号を２回ずつ読み出す（つまり、奇数ラインの信号を２行分の信号として用いる）。所定値Ｔｈｓを超える信号があった場合には（図４（ａ）では、Ｓ12とＳ34）、偶数ラインの信号の内、その画素に対応する画素の信号値Ｓを読み出し（図４（ａ）では、Ｓ22とＳ44）、以下の式により信号値Ｓを増幅する。なお、Ｓampは、増幅後の信号値である。
Ｓamp＝Ｓ×（Ｔｉｎｔ１／Ｔｉｎｔ２）
【００４３】
例えば、Ｔｉｎｔ２がＴｉｎｔ１の半分の蓄積時間であった場合には、信号値Ｓが２倍にされることになる。
【００４４】
このようにして増幅された信号値Ｓampを、所定値Ｔｈｓを超えた信号値Ｓと置き換え（図４（ｂ））、置き換えた後の奇数ラインの信号を２回ずつ読み出して、２行分の信号とする（図４（ｃ））。
【００４５】
このようにすることにより、垂直方向の解像度は低下するが、スリットローリングシャッター方式で読み出しを行う場合であっても、ダイナミックレンジを拡大することが可能になる。近年ではセンサの画素数が大きく増加する傾向にあるので、垂直方向の解像度が半減したとしても、十分な解像度を得ることができる。
【００４６】
なお、上記例では、同じ行の信号を２回ずつ読み出して２行分の信号とする場合について説明したが、出力先の解像度によっては、１回読み出すようにしても良い。
【００４７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００４８】
本第２の実施形態は、上記第１の実施形態とは、ダイナミックレンジ拡大処理時の動画撮影方法が異なる。以下、本第２の実施形態におけるダイナミックレンジ拡大処理時の動画撮影方法について、説明する。なお、本第２の実施形態における撮像装置は、図１に示す構成と同様であり、また、ＣＭＯＳセンサ６９も図７に示すものと同様であるため、ここでは説明を省略する。
【００４９】
本第２の実施形態におけるＣＭＯＳのスリットローリングシャッター読出しの仕組みを図５を使って説明する。
【００５０】
先ず読出し行の説明をする。上部の３本の波形はそれぞれ選択信号ＳＥＬとリセット信号ＲＳと転送信号ＴＸを表す。それぞれの信号は４，５，２の各ｎＭＯＳトランジスタのゲート信号と考えてもよい。
【００５１】
その下の図形は画素１０１の行ごとの動作を時間軸で表したものである。５９は画面上部の行を表し、６０は画面下部の行を表す。６１のタイミングでＴＸとＲＳをパルス状に同時にオンすることでＰＤとＦＤの一括リセットが行われ、撮影動作が開始される。６２の斜線は画面上部から下部までの読出し動作を表す。６５は１水平ラインの読出しにおいて、読出し前に予め先行して行われるＰＤとＦＤをリセットする画素リセット動作を表している。このタイミングは選択された行の読出し動作時に、第二の選択行に対して行われるものである。このリセット動作から読出し動作の横方向の長さが蓄積時間Ｔｉｎｔと言うことになる。
【００５２】
次に間引き行の説明をする。間引き行は前述のようにＰＤとＦＤをリセットするだけなので、５５のようにＴＸとＲＳを同時にオンするだけである。同時に第二の選択行のＲＳとＴＸをオンすることでＰＤとＦＤの画素部をリセットする。その行の走査読み出しは行わない。
【００５３】
このようにして全行分繰り返し走査することで１フレームの読出しとなる。
【００５４】
スリットローリングシャッターは上述のような読出しのため、ローリングシャッターのように蓄積期間を読出しの間に入れることはできない。フレーム毎にリセットタイミングを変更することで前述のローリングシャッターのように同じ間引き行のフレームを組にしてそれらを組合せて読み出すことと同じになる。
【００５５】
フレーム毎に間引き行を変更することで、図６のように第二のＰＤとＦＤリセットを読出しと同じフレームにせずに前の同じ間引き行のフレームの間に設定することも可能になり、フレームを超えた蓄積時間の設定も可能になる。
【００５６】
本発明はスリットローリングシャッターにおいてフレーム毎に垂直シフトレジスタで選択する間引き行を変更する。
【００５７】
これだけだと前述のように第二のＰＤとＦＤリセットと読出しによって蓄積時間は決まる。蓄積時間は最大でも読出し時間となるが、間引き行のＰＤとＦＤリセットは垂直シフトレジスタで順次選択した選択行で行わないようにすれば、前フレームの第二のＰＤとＦＤリセットから現フレームの読出しまでが蓄積時間になりフレームレートを超えた蓄積時間の設定が可能になる。この場合は前フレームの読出し前に次フレームの蓄積は始まっているのでフレーム間の画像のつながりがよくなるという効果もある。
【００５８】
なお、上記第１及び第２の実施形態によれば、ＣＭＯＳセンサ６９として図７に示す構成を有する場合について説明したが、これに限るものではないことは言うまでもない。例えば、各垂直読み出しライン毎にリセットレベル（ノイズ成分）を保持する為のキャパシタＣＴＮと、各画素から読み出した信号を予示するためのキャパシタＣＴＳを設けてもよい。その場合、各画素の信号読み出しに先立ってリセットレベルをキャパシタＣＴＮに保持しておき、読み出された信号を一旦キャパシタＣＴＳに保持し、信号成分とリセットレベルとの差を取ることにより、ノイズ成分をキャンセルした、各画素毎の特性に基づくばらつきを軽減した各画素信号を得ることが可能となる。
【００５９】
また、上記第１及び第２の実施形態では、１フレーム毎に、信号を読み出す行を奇数行と偶数行というように交互に変更したが、これに限るものではなく、たとえば、１、４、７…行目を１フレーム目に、２、５、８…行目を２フレーム目に、３、６、９…行目を３フレーム目に読み出すといったように２行おきの行を１フレームで読み出すなど、複数行おきの行を１フレームで読み出すようにしても良いことは言うまでもない。その場合には、上記第１及び第２の実施形態で説明した制御と同様にして、それぞれのフレーム毎に３種類の異なる時間となるように制御することが可能である。ただし１フレームの読出しは読み出し行と間引き行が、少なくとも色再現のための情報を得られる画素セットを最小単位として行う必要がある。
【００６０】
上記の通り、本第１及び第２の実施形態によれば、動画撮影時のダイナミックレンジを拡大することができる。
【００６１】
また、複数の間引き行パターンで全画面を読み出すようにすれば画面内の情報の欠落を無くすことができる。
【００６２】
更に、フレームレートを変更することなく、スリットローリングシャッター方式でダイナミックレンジを広げることができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態における撮像装置の全体処理を示すフローチャートである。
【図３】本発明の第１の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理を説明するためのタイミングチャートである。
【図４】本発明の第１の実施形態におけるダイナミックレンジ拡大処理の概念を示す図である。
【図５】本発明の第２の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理の概念を説明するためのタイミングチャートである。
【図６】本発明の第２の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理の概念を説明するためのタイミングチャートである
【図７】ＸＹアドレス型の走査方法を採るＣＭＯＳセンサの概略構成例を示す回路図である。
【図８】従来のローリング電子シャッタ動作における静止画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。
【図９】従来のローリング電子シャッタ動作における動画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。
【図１０】従来のスリットローリング電子シャッタ動作における動画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。
【符号の説明】
【００６４】
６８  撮影光学系
６９  ＣＭＯＳセンサ
７０  前処理回路
７１  タイミング生成回路
７２  画像メモリ
７３  信号処理回路
７４  ＣＰＵ
７５  動画／静止画切替スイッチ
７６  撮影開始スイッチ
７７、７８  ダイナミックレンジ切替選択ＳＷ
【図１】
2006033381.tif 000003
【図２】
2006033381.tif 000004
【図３】
2006033381.tif 000005
【図４】
2006033381.tif 000006
【図５】
2006033381.tif 000007
【図６】
2006033381.tif 000008
【図７】
2006033381.tif 000009
【図８】
2006033381.tif 000010
【図９】
2006033381.tif 000011
【図１０】
2006033381.tif 000012