(57)【要約】【課題】ノイズを増加させることなくフレームレートを増加させることが可能な撮像装置を提供する。【解決手段】撮像装置は、所定の色成分の光を光電変換し他の色成分の光を透過する画素が二次元状に配列された第１光電変換層と、第１光電変換層と同一光路上に積層されて配置され、第１光電変換層を透過した光を光電変換する画素が二次元状に配列された第２光電変換層とを有する撮像素子と、第１光電変換層の画素に蓄積される電荷を所定周期ごとに繰り返し読み出す第１駆動部と、第２光電変換層の画素に蓄積された電荷を所定周期ごとに第１駆動部とは異なるタイミングで繰り返し読み出す第２駆動部と、を備える。【選択図】図１
2018160936.tif 000002
【特許請求の範囲】
【請求項１】
光を光電変換して電荷を生成する第１光電変換部、および前記第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部、を有する撮像素子と、
前記第１光電変換部で生成された電荷に基づく信号から生成される第１画像、および前記第２光電変換部で生成された電荷に基づく信号から生成される第２画像を配列して動画像を生成する生成部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記生成部は、前記第１画像と前記第２画像とから１つの動画像データを生成する撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記生成部は、前記第１画像と前記第２画像とを交互に配列して動画像データを生成する撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記生成部は、前記第１画像と前記第２画像とから動画像を生成する第１モードと、前記第１画像または前記第２画像から動画像を生成する第２モードとを切り替え可能な撮像装置。
【請求項５】
請求項１〜４のいずれか一項に記載の撮像装置において、
前記撮像素子は、前記第１光電変換部で生成された電荷に基づく信号と、前記第２光電変換部で生成された電荷に基づく信号とを異なるタイミングで読み出す読出部を有する撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記読出部は、前記第１光電変換部で生成された電荷に基づく信号を所定周期で読み出し、前記第２光電変換部で生成された電荷に基づく信号を前記所定周期の半周期ずれたタイミングで読み出す撮像装置。
【請求項７】
請求項５または６に記載の撮像装置において、
前記読出部は、ローリングシャッタ方式により前記第１光電変換部で生成された電荷に基づく信号および前記第２光電変換部で生成された電荷に基づく信号を読み出す撮像装置。
【請求項８】
請求項１〜７のいずれか１項に記載の撮像装置において、
前記撮像素子は、前記第１光電変換部での電荷の蓄積タイミングと前記第２光電変換部での電荷の蓄積タイミングとを異ならせる制御部を有する撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記制御部は、前記第１光電変換部での電荷の蓄積開始のタイミングと前記第２光電変換部での電荷の蓄積開始のタイミングとを異ならせる撮像装置。
【請求項１０】
請求項８または９に記載の撮像装置において、
前記制御部は、前記第１光電変換部での電荷の蓄積終了のタイミングと前記第２光電変換部での電荷の蓄積終了のタイミングとを異ならせる撮像装置。
【請求項１１】
請求項８〜１０のいずれか一項に記載の撮像装置において、
前記制御部は、前記第１光電変換部での電荷の蓄積を所定周期で行い、前記第２光電変換部での電荷の蓄積を前記所定周期の半周期ずれたタイミングで行う撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、動画撮影を行う撮像装置を用いて暗所で動画撮影を行う場合、露光時間を長くする必要があり、フレームレートが低下することが知られている。例えば特許文献１には、露光時間の積算が目標の露光時間になるように過去のフレームをフレーム合成し、フレームレートの低下を少なくする画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２６９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、複数のフレームの画像を重ね合わせてフレームレートを見かけ上増加させるため、ノイズの影響が大きくなるという問題があった。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による撮像装置は、光を光電変換して電荷を生成する第１光電変換部、および前記第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部、を有する撮像素子と、前記第１光電変換部で生成された電荷に基づく信号から生成される第１画像、および前記第２光電変換部で生成された電荷に基づく信号から生成される第２画像を配列して動画像を生成する生成部と、を備える。
【発明の効果】
【０００６】
本発明によれば、ノイズを増加させることなくフレームレートを増加させることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態によるデジタルカメラ１の構成を例示する図である。
【図２】本実施形態に係る撮像素子２１の概要を示す図である。
【図３】上部光電変換層３１および下部光電変換層３２の画素配置を示す図である。
【図４】撮像素子２１の断面の一部を例示する図である。
【図５】撮像素子２１における１つの画素Ｐ（ｘ，ｙ）の回路構成を例示する図である。
【図６】上部光電変換層３１と下部光電変換層３２の構成を模式的に示すブロック図である。
【図７】上部光電変換層３１の駆動制御方式を模式的に示すタイムチャートである。
【図８】単層撮影モードおよび複層撮影モードのタイムチャートである。
【図９】変形例に係るデジタルカメラの構成を示す図である。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、制御部１１、撮像部１２、操作部１３、画像処理部１４、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。
【０００９】
制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。撮像部１２は、撮像素子２１、増幅回路２２、およびＡＤ変換回路２３を有する。
【００１０】
撮像素子２１は、複数の画素から構成され、不図示の撮影光学系を介して被写体からの光束を受光し、光電変換を行ってアナログ画像信号を出力する。増幅回路２２は、撮像素子２１から出力されるアナログ画像信号を所定の増幅率（ゲイン）で増幅してＡＤ変換回路２３に出力する。ＡＤ変換回路２３は、アナログ画像信号をＡＤ変換してデジタル画像信号を出力する。制御部１１は、撮像部１２から出力されるデジタル画像信号をバッファメモリ１６に格納する。
【００１１】
バッファメモリ１６に格納されたデジタル画像信号は、画像処理部１４において各種の画像処理が行われ、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。
【００１２】
操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、撮像部１２によって撮像された画像データに対して、補間、圧縮、ホワイトバランスなどの各種の画像処理を行う。
【００１３】
（撮像素子２１の説明）
図２は、本実施形態に係る撮像素子２１の概要を示す図である。なお、図２では、撮像素子２１の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子２１の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像素子２１は、上部光電変換層３１と下部光電変換層３２とを有する。上部光電変換層３１と下部光電変換層３２とは、同一光路上に積層配置されている。上部光電変換層３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１で吸収（光電変換）されなかった色成分の光は、上部光電変換層３１を透過して下部光電変換層３２に入射し、下部光電変換層３２で光電変換される。下部光電変換層３２は、フォトダイオードにより光電変換を行う。なお、上部光電変換層３１で光電変換される色成分と、下部光電変換層３２で光電変換される色成分とは、補色関係である。上部光電変換層３１と下部光電変換層３２とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば上部光電変換層３１の１行１列目の画素は、下部光電変換層３２の１行１列目の画素に対応する。
【００１４】
図３（ａ）は、上部光電変換層３１の画素配置を示す図である。図３（ａ）において、水平方向をｘ軸、垂直方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。図３（ａ）に示す上部光電変換層３１の例では、奇数行の各画素にＭｇ（マジェンタ）とＹｅ（イエロー）の光を光電変換する有機光電膜を交互に配置し、偶数行の各画素にＣｙ（シアン）とＭｇ（マジェンタ）の光を光電変換する有機光電膜を交互に配置している。そして、各画素で受光されない光は透過される。たとえば画素Ｐ（１，１）はＭｇの光を光電変換してＭｇの補色であるＧ（グリーン）の光を透過する。同様に、画素Ｐ（２，１）はＹｅの光を光電変換してＹｅの補色であるＢ（ブルー）の光を透過し、画素Ｐ（１，２）はＣｙの光を光電変換してＣｙの補色であるＲ（レッド）の光を透過する。
【００１５】
図３（ｂ）は、下部光電変換層３２の画素配置を示す図である。なお、図３（ｂ）に示す各画素位置は、図３（ａ）と同じである。たとえば下部光電変換層３２の画素（１，１）は、上部光電変換層３１の画素（１，１）に対応する。図３（ｂ）において、下部光電変換層３２には、カラーフィルターなどは設けられておらず、上部光電変換層３１を透過する色成分（すなわち有機光電膜で吸収されて光電変換される色成分の補色）の光を光電変換する。従って、図３（ｃ）に示すように、下部光電変換層３２において、奇数行の画素ではＧとＢの色成分の画像信号、偶数行の各画素ではＲとＧの色成分の画像信号が得られる。たとえば画素Ｐ（１，１）ではＭｇの補色のＧ成分の画像信号が得られる。同様に、画素Ｐ（２，１）ではＹｅの補色のＢ成分の画像信号、画素Ｐ（１，２）ではＣｙの補色のＲ成分の画像信号がそれぞれ得られる。
【００１６】
このように、本実施形態に係る撮像素子２１では、有機光電膜で構成される上部光電変換層３１が下部光電変換層３２に対してカラーフィルターの役割を果たし、下部光電変換層３２から上部光電変換層３１の補色画像（図３の例ではベイヤー配列の画像）が得られる。したがって、本実施形態に係る撮像素子２１では、上部光電変換層３１からはＣｙ、Ｍｇ、Ｙｅの３色からなるＣＭＹ画像を取得することができ、下部光電変換層３２からはＲ、Ｇ、Ｂの３色からなるＲＧＢ画像を取得することができる。
【００１７】
図４は、撮像素子２１の断面の一部を例示する図である。図４に示すように、撮像素子２１では、シリコン基板上に形成された下部光電変換層３２と、有機光電膜を用いた上部光電変換層３１とが配線層４０を介して積層されている。上部光電変換層３１の上方には、１つの画素に対して１つのマイクロレンズＭＬが形成されている。たとえば、上部光電変換層３１において、画素Ｐ（１，１）の光電変換部を構成する有機光電膜による受光部ＰＣ（１，１）は、マイクロレンズＭＬ（１，１）から入射された被写体光におけるＭｇの光を光電変換して補色であるＧの光を透過する。下部光電変換層３２において、画素Ｐ（１，１）を構成するフォトダイオードＰＤ（１，１）は、上部光電変換層３１の受光部ＰＣ（１，１）を透過したＧの光を受光して光電変換する。
【００１８】
図５は、撮像素子２１における１つの画素Ｐ（ｘ，ｙ）の回路構成を例示する図である。画素Ｐ（ｘ，ｙ）は、下部光電変換層３２を構成するための回路として、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲ２と、出力トランジスタＳＦ２と、選択トランジスタＳＥＬ２とを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ２側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦ２は選択トランジスタＳＥＬ２を介して電流源ＰＷ２とソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴ２として垂直信号線ＶＬＩＮＥ２に出力する。なお、リセットトランジスタＲ２は、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。
【００１９】
また、画素Ｐ（ｘ，ｙ）は、上部光電変換層３１を構成するための回路として、有機光電膜による受光部ＰＣと、リセットトランジスタＲ１と、出力トランジスタＳＦ１と、選択トランジスタＳＥＬ１とを有する。有機光電膜による受光部ＰＣは、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ１を介して電流源ＰＷ１とソースホロワを構成する出力トランジスタＳＦ１を介して出力信号ＯＵＴ１として垂直信号線ＶＬＩＮＥ１に出力する。なお、リセットトランジスタＲ１は、受光部ＰＣの出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳＦＥＴで構成される。
【００２０】
ここで、下部光電変換層３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ２が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ２がオンする。次に、リセット信号φＲ２が“Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴ２もリセットレベルになる。そして、リセット信号φＲ２が“Ｌｏｗ”になった後、転送信号φＴｘが“Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、出力信号ＯＵＴ２が電荷量に応じて変化し始め、安定する。そして、転送信号φＴｘが“Ｌｏｗ”になり、画素から垂直信号線ＶＬＩＮＥ２に読み出される出力信号ＯＵＴ２の信号レベルが確定する。そして、垂直信号線ＶＬＩＮＥ２に読み出された各画素の出力信号ＯＵＴ２は、不図示の水平出力回路に行毎に一時的に保持された後、撮像素子２１から出力される。このようにして、撮像素子２１の下部光電変換層３２の各画素から信号が読み出される。
【００２１】
また、上部光電変換層３１に係る回路の動作について説明する。まず、選択信号φＳＥＬ１が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ１がオンする。次にリセット信号φＲ１が“Ｈｉｇｈ”になり、出力信号ＯＵＴ１もリセットレベルになる。そして、リセット信号φＲ１が“Ｌｏｗ”になった直後から有機光電膜による受光部ＰＣの電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ１が変化する。そして、出力信号ＯＵＴ１が不図示の水平出力回路に行毎に一時的に保持された後、撮像素子２１から出力される。このようにして、撮像素子２１の上部光電変換層３１の各画素から信号が読み出される。
【００２２】
図６は、上部光電変換層３１と下部光電変換層３２の構成を模式的に示すブロック図である。撮像素子２１の上部光電変換層３１と下部光電変換層３２は、それぞれ個別に駆動することができるよう構成されている。例えば、上部光電変換層３１を用いた撮像と下部光電変換層３２を用いた撮像とを同時に行うこともできるし、上部光電変換層３１を用いた撮像と下部光電変換層３２を用いた撮像とを異なるタイミングで行うこともできる。ただし、本実施形態の撮像素子２１は、水平出力回路３３を１つしか有していない。上部光電変換層３１、下部光電変換層３２、および水平出力回路３３の間にはスイッチ３４が設けられ、上部光電変換層３１と下部光電変換層３２との一方からの信号が択一的に水平出力回路３３に出力されるように構成されている。従って、例えば上部光電変換層３１の各画素から信号を読み出している間、下部光電変換層３２の各画素から信号を読み出すことはできない。制御部１１は、上部光電変換層３１と下部光電変換層３２の読み出しタイミングが重複しないよう、撮像素子２１の駆動制御を行う。
【００２３】
図７（ａ）は、上部光電変換層３１の駆動制御方式を模式的に示すタイムチャートである。上部光電変換層３１は、いわゆるローリングシャッタ方式による駆動制御が行われる。以下、ローリングシャッタ方式による駆動制御について簡単に説明する。
【００２４】
上部光電変換層３１により被写体像を撮像する際、制御部１１は、まず時刻ｔ１に１ライン目（１行目）の各画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（３，１）、…をリセットする。そして、時刻ｔ１からＴｘ時間後の時刻ｔ２に、２ライン目の各画素Ｐ（２，１）、Ｐ（２，２）、Ｐ（２，３）、…をリセットする。同様に、Ｔｘ時間ごとに次のラインの各画素を順次リセットしていく。最終的に、時刻ｔ４において、最後のラインであるＮライン目の各画素がリセットされる。
【００２５】
その後、制御部１１は、１ライン目の各画素をリセットした時刻ｔ１から露光時間Ｔｉ後の時刻ｔ５に、１ライン目の各画素に蓄積された電荷を読み出す。そして、２ライン目の各画素をリセットした時刻ｔ２から露光時間Ｔｉ後の時刻ｔ６に、２ライン目の各画素に蓄積された電荷を読み出す。同様に、３ライン目、…、Ｎライン目の各画素について、当該画素をリセットした時刻ｔ３、…、ｔ４から露光時間Ｔｉ後の時刻ｔ７、…、ｔ８に当該ラインの各画素から電荷を読み出す。なお、図７（ａ）において時刻ｔ５は、Ｎライン目の各画素をリセットした時刻ｔ４よりも後の時刻としているが、時刻ｔ５は時刻ｔ４よりも前の時刻であってもよい。
【００２６】
このように、ライン毎にリセットのタイミングおよび信号読み出しのタイミングをずらす駆動制御方式が、いわゆるローリングシャッタ方式である。以下の説明では、図７（ａ）に示した各ラインのリセットおよび読み出しを、図７（ｂ）のように、縦軸をリセットや読み出しの対象となるラインの位置、横軸を時間としたチャートで表現する。
【００２７】
なお、下部光電変換層３２についても、以上で説明した上部光電変換層３１と同様の、ローリングシャッタ方式による駆動制御が為される。
【００２８】
（動画撮影機能の説明）
本実施形態のデジタルカメラ１は、動画撮影機能を有している。例えばユーザがレリーズボタンを押下すると、制御部１１は動画像の撮影を開始する。ユーザが再度レリーズボタンを押下すると、制御部１１は動画像データを作成してメモリカード１７に格納する。
【００２９】
デジタルカメラ１は、単層撮影モード、複層撮影モード、の２種類の動画撮影モードを有する。ユーザは例えばモード切り替えボタンを操作することにより、これら２種類の動画撮影モードをデジタルカメラ１に択一的に設定することができる。以下、これら２種類の動画撮影モードについて順に説明する。
【００３０】
１．単層撮影モード
図８（ａ）に、単層撮影モードのタイムチャートを示す。図８（ａ）は、図７（ｂ）と同様に、縦軸をリセットや読み出しの対象となるラインの位置、横軸を時間としたチャートである。単層撮影モードが設定されているときにユーザがレリーズボタンを押下すると、制御部１１は動画撮影を開始する。動画撮影中、制御部１１は、上部光電変換層３１により所定周期Ｔｆ（例えば３０分の１秒）ごとに繰り返し撮像を行い、撮像により得られたデジタル画像信号をバッファメモリ１６に格納する。
【００３１】
撮像素子２１およびその周辺回路は、上部光電変換層３１から１秒あたり最大で３０回の読み出しが行えるように構成されているので、撮影される動画像は、最大で３０フレーム毎秒のフレームレートを有することになる。なお、制御部１１は、動画撮影中に繰り返し周知の露出演算を行い、最適な露光時間Ｔｉを適宜設定する。従って、各フレームの露光時間Ｔｉは一定であるとは限らない。
【００３２】
例えば図８（ａ）では、時刻ｔ１０〜ｔ１６までの期間のうち、時刻ｔ１０〜ｔ１４が１フレーム目の撮像期間であり、時刻ｔ１４〜ｔ１５が２フレーム目の撮像期間、時刻ｔ１５〜ｔ１６が３フレーム目の撮像期間である。各撮像期間は長さがＴｆ（３０分の１秒）である。制御部１１は、各フレームの撮像期間において、上部光電変換層３１による撮像を行い、当該フレームの画像を作成する。
【００３３】
１フレーム目の撮像に注目すると、制御部１１は、まず時刻ｔ１１に１ライン目から順次各画素のリセットを実行する。そして、時刻ｔ１２に最終ラインの各画素のリセットが完了する。次に、時刻ｔ１１から露光時間Ｔｉ１だけ経過した時刻ｔ１３に、１ライン目の各画素から電荷を読み出す。その後、順次電荷を読み出し、時刻ｔ１４に最終ラインの各画素からの電荷の読み出しが完了する。制御部１１は、時刻ｔ１３から時刻ｔ１４にかけて読み出された電荷に基づくデジタル画像信号を、１フレーム目の画像としてバッファメモリ１６に格納する。
【００３４】
制御部１１は同様の処理を所定周期Ｔｆ（３０分の１秒）ごとに繰り返し、各フレームの画像をバッファメモリ１６に格納する。ユーザがレリーズボタンを再び押下すると、制御部１１は上部光電変換層３１による撮像を終了する。そして、バッファメモリ１６に格納されている各フレームの画像を時系列順に配列した動画像データを作成し、メモリカード１７に格納する。
【００３５】
２．複層撮影モード
図８（ｂ）に、複層撮影モードのタイムチャートを示す。複層撮影モードが設定されているとき、制御部１１は、上部光電変換層３１により所定周期（例えば３０分の１秒）ごとに繰り返し撮像を行い、これと並行して、下部光電変換層３２でも同一周期ごとに繰り返し撮像を行う。下部光電変換層３２による撮像は、上部光電変換層３１から半フレーム分（例えば６０分の１秒）だけ遅れたタイミングで行われる。
【００３６】
例えば図８（ｂ）では、時刻ｔ２０〜ｔ２６までの期間のうち、時刻ｔ２０〜ｔ２２が上部光電変換層３１による１フレーム目の撮像期間であり、時刻ｔ２２〜ｔ２４が上部光電変換層３１による３フレーム目の撮像期間、時刻ｔ２４〜ｔ２６が上部光電変換層３１による５フレーム目の撮像期間である。また、１フレーム目の撮像期間と３フレーム目の撮像期間とに跨がる時刻ｔ２１〜ｔ２３が下部光電変換層３２による２フレーム目の撮像期間であり、３フレーム目の撮像期間と５フレーム目の撮像期間とに跨がる時刻ｔ２３〜ｔ２５が下部光電変換層３２による４フレーム目の撮像期間である。つまり、上部光電変換層３１は、動画像の奇数フレームを撮像し、下部光電変換層３２は、動画像の偶数フレームを撮像する。制御部１１は、上部光電変換層３１の各撮像により得られた複数の撮影画像（デジタル画像信号）と、下部光電変換層３２の各撮像により得られた複数の撮影画像とを、時系列順に配列することにより、各光電変換層における撮像レート（例えば３０フレーム毎秒）の倍のフレームレート（例えば６０フレーム毎秒）の動画像データを作成する。
【００３７】
以上のように、制御部１１は、上部光電変換層３１による撮像と、下部光電変換層３２による撮像とを、タイミングを異ならせて行うことにより、撮像素子２１の撮像レートの倍のフレームレートで動画撮影を行うことができる。また、暗所での撮影など、光量が不足する場合に、単層撮影モードでは例えば３０フレーム毎秒から１５フレーム毎秒に動画のフレームレートを落とし、露光時間を確保する必要があるが、複層撮影モードであれば、上部光電変換層３１および下部光電変換層３２を１５フレーム毎秒で駆動させることにより、動画像データのフレームレートは３０フレーム毎秒を維持することができる。
【００３８】
上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）撮像素子２１は、上部光電変換層３１と下部光電変換層３２とを有する。制御部１１は、上部光電変換層３１の画素に蓄積される電荷を所定周期ごとに繰り返し読み出すと共に、下部光電変換層３２の画素に蓄積された電荷を所定周期ごとに上部光電変換層３１とは異なるタイミングで繰り返し読み出す。このようにしたので、ノイズを増加させることなくフレームレートを増加させることができる。
【００３９】
（２）制御部１１は、同一のラインに配列される画素に蓄積される電荷をライン毎に順次読み出すローリングシャッタにより上部光電変換層３１および下部光電変換層３２を駆動制御する。このようにしたので、ノイズを増加させることなくフレームレートを増加させることができる。
【００４０】
（３）制御部１１は、上部光電変換層３１の電荷を読み出すタイミングから、半フレーム分だけずれたタイミングで電荷を読み出す。このようにしたので、撮像素子２１の駆動レートの２倍のフレームレートの動画を撮影することができる。
【００４１】
（４）制御部１１は、上部光電変換層３１の画素から読み出された電荷に基づき作成された画像データと、下部光電変換層３２の画素から読み出された電荷に基づき作成された画像データとを交互に配列した動画像を作成する。このようにしたので、撮像素子２１の駆動レートの２倍のフレームレートの動画を撮影することができる。
【００４２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００４３】
（変形例１）
上述した実施の形態では、下部光電変換層３２の撮像タイミングを半フレーム分だけ遅らせていたが、これを３分の１フレーム分だけ遅らせるようにし、撮像レートの３倍のフレームレートの動画を得るようにしてもよい。この場合、１フレーム目、４フレーム目、７フレーム目、…は上部光電変換層３１による撮像により作成し、２フレーム目、５フレーム目、８フレーム目、…は下部光電変換層３２による撮像により作成する。残る３フレーム目、６フレーム目、９フレーム目、…は、上部光電変換層３１の撮像結果や下部光電変換層３２の撮像結果から補間により作成すればよい。例えば、３フレーム目の画像を、２フレーム目の画像および４フレーム目の画像から作成すればよい。つまり、連続する３フレームについて、いずれかを上部光電変換層３１による撮像結果から作成し、いずれかを下部光電変換層３２による撮像結果から作成し、残りを補間により作成する。なお、連続する３フレームのうち、１フレーム目以外のフレームを上部光電変換層３１により作成したり、２フレーム目以外のフレームを下部光電変換層３２により作成してもよい。
【００４４】
（変形例２）
上述した実施の形態では、奇数番目のフレームを上部光電変換層３１の撮像結果から作成し、偶数番目のフレームを下部光電変換層３２の撮像結果から作成していた。これを逆にし、奇数番目のフレームを下部光電変換層３２の撮像結果から作成し、偶数番目のフレームを上部光電変換層３１の撮像結果から作成するようにしてもよい。
【００４５】
（変形例３）
図９（ａ）に模式的に示すように、撮像素子２１が２つの水平出力回路３３ａ，３３ｂを持つようにし、上部光電変換層３１の各画素の読み出しと下部光電変換層３２の各画素の読み出しとを同時に行えるようにしてもよい。このとき、一方の水平出力回路３３ａは上部光電変換層３１に対応し、他方の水平出力回路３３ｂは下部光電変換層３２に対応する。このようにすることで、例えばライン数が多い等の理由により読み出しに時間が掛かり、図９（ｂ）に示すように、上部光電変換層３１の読み出し期間Ｔａと下部光電変換層３２の読み出し期間Ｔｂとが重複してしまう場合にも、本発明を適用することが可能である。
【００４６】
（変形例４）
上述した実施形態では、２層の光電変換層（上部光電変換層３１および下部光電変換層３２）が積層された撮像素子２１を用いて、動画撮影を行う例を説明した。静止画の連続撮影時に、上述した駆動制御を行い、２倍の速度で静止画を撮影できるようにしてもよい。
【００４７】
（変形例５）
上述した実施の形態において説明した撮像素子２１の画素配列は一例であり、他の画素配列であってもよい。たとえば、上部光電変換層３１にＲ、Ｇ、Ｂの光を光電変換する画素を配置し、下部光電変換層３２においてＣｙ、Ｍｇ、Ｙｅの光を光電変換するようにしてもよい。
【００４８】
（変形例６）
上述した実施の形態では、動画撮影を、２層の光電変換層（上部光電変換層３１および下部光電変換層３２）が積層された撮像素子２１を用いて行う例を説明した。しかしながら、２層に限らず、３層以上の光電変換層が積層された撮像素子を用いて動画撮影を行うようにしてもよい。例えば、３層の光電変換層を積層した撮像素子を設け、この撮像素子に撮像を行わせる。そして、連続する３フレームについて、１フレーム目を１層目の光電変換層により、２フレーム目を２層目の光電変換層により、３フレーム目を３層目の光電変換層により作成して、フレームレートを向上させる。
【００４９】
（変形例７）
上述した実施形態では、動画撮影を、２層の光電変換層（上部光電変換層３１および下部光電変換層３２）が積層された撮像素子２１を用いて行う例を説明した。２層の光電変換層の代わりに、２つの撮像素子を用いてもよい。例えばペリクルミラー等により被写体光を分割し、これら２つの撮像素子に分割された被写体光の各々が入射するようにする。そして、これら２つの撮像素子の撮像面が光学的に略等価になるように（例えば、ペリクルミラーから２つの撮像素子の撮像面までの光路長が互いに等しくなるように）配置すればよい。
【００５０】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００５１】
１…デジタルカメラ、１１…制御部、１４…画像処理部、２１…撮像素子、３１…上部光電変換層、３２…下部光電変換層
【図１】
2018160936.tif 000003
【図２】
2018160936.tif 000004
【図３】
2018160936.tif 000005
【図４】
2018160936.tif 000006
【図５】
2018160936.tif 000007
【図６】
2018160936.tif 000008
【図７】
2018160936.tif 000009
【図８】
2018160936.tif 000010
【図９】
2018160936.tif 000011