(57)【要約】      （修正有）【課題】従来からの画素構造を有する撮像素子で、間引き読み出しを行なった場合に発生するモアレ、ジャギー等を抑制する。【解決手段】固体撮像素子は、第１光電変換部、第２光電変換部、および第１光電変換部から出力された第１出力信号と第２光電変換部から出力された第２出力信号とを選択的に読み出す読出部を有する画素部と、第１出力信号が読み出される期間に第２光電変換部に電荷蓄積をさせるように読出部を制御する制御部とを備える。【選択図】図４
2014217011.tif 000002
【特許請求の範囲】
【請求項１】
第１光電変換部、第２光電変換部、および前記第１光電変換部から出力された第１出力信号と前記第２光電変換部から出力された第２出力信号とを選択的に読み出す読出部を有する画素部と、
前記第１出力信号が読み出される期間に前記第２光電変換部に電荷蓄積をさせるように前記読出部を制御する制御部と
を備える固体撮像素子。
【請求項２】
請求項１に記載の固体撮像素子において、
前記第１光電変換部および前記第２光電変換部は、同一色のカラーフィルタが設けられている固体撮像素子。
【請求項３】
請求項１または請求項２に記載の固体撮像素子において、
前記第１光電変換部に集光させる第１マイクロレンズと、前記第２光電変換部に集光させる第２マイクロレンズとが設けられている固体撮像素子。
【請求項４】
請求項１から請求項３のいずれか一項に記載の固体撮像素子において、
前記第１光電変換部および前記第２光電変換部は、受光面積が同一である固体撮像素子。
【請求項５】
請求項１から請求項３のいずれか一項に記載の固体撮像素子において、      
前記第１光電変換部および前記第２光電変換部は、受光面積が異なる固体撮像素子。
【請求項６】
請求項５に記載の固体撮像素子において、
前記第１出力信号と前記第２出力信号との出力差を調整する調整部を備える固体撮像素子。
【請求項７】
請求項１から請求項６のいずれか一項に記載の固体撮像素子において、  
前記制御部は、前記第１出力信号と前記第２出力信号とを交互に読み出すように前記読出部を制御する固体撮像素子。
【請求項８】
請求項７に記載の固体撮像素子において、
前記第１出力信号に基づいて第１画像データを生成するとともに前記第２出力信号に基づいて第２画像データを生成し、前記第１画像データおよび前記第２画像データから所定のフレームレート有する動画像データを生成する画像データ生成部を備え、
前記制御部は、前記第１光電変換部および前記第２光電変換部のそれぞれの電荷蓄積時間が前記フレームレートよりも長くなるように前記読出部を制御する固体撮像素子。
【請求項９】
請求項１から請求項８のいずれか一項に記載の固体撮像素子において、
被写体輝度を検出する測光部を備え、
前記制御部は、前記測光部の検出結果に基づいて前記第１光電変換部および前記第２光電変換部の電荷蓄積時間を決定し、前記読出部による前記第１出力信号および第２出力信号の読み出しタイミングを制御する固体撮像素子。
【請求項１０】
第１光電変換部、第２光電変換部、および前記第１光電変換部から出力された第１出力信号と前記第２光電変換部から出力された第２出力信号とを選択的に読み出す読出部を有する画素部と、前記第１出力信号が読み出される期間に前記第２光電変換部に電荷蓄積をさせるように前記読出部を制御する制御部とを有する固体撮像素子と、
前記第１出力信号に基づいて第１画像データを生成するとともに前記第２出力信号に基づいて第２画像データを生成し、前記第１画像データおよび前記第２画像データから所定のフレームレート有する動画像データを生成する画像データ生成部と
を備え、
前記制御部は、前記第１光電変換部および前記第２光電変換部のそれぞれの電荷蓄積時間が前記フレームレートよりも長くなるように前記読出部を制御する撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、  
被写体輝度を検出する測光部を備え、
前記制御部は、前記測光部の検出結果に基づいて前記第１光電変換部および前記第２光電変換部の電荷蓄積時間を決定し、前記読出部による前記第１出力信号および第２出力信号の読み出しタイミングを制御する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子および撮像装置に関する。
【背景技術】
【０００２】
ローリングシャッタ方式において、フレーム毎に間引きを行う画素を変えることで１フレーム期間よりも長い露光を行う技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２４４２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来からの画素構造を有する撮像素子をタイミングで制御するのみでは、間引き読み出しによるモアレ、ジャギー等の発生を抑制することが困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における固体撮像素子は、第１光電変換部、第２光電変換部、および第１光電変換部から出力された第１出力信号と第２光電変換部から出力された第２出力信号とを選択的に読み出す読出部を有する画素部と、第１出力信号が読み出される期間に第２光電変換部に電荷蓄積をさせるように読出部を制御する制御部とを備える。
【０００５】
本発明の第２の態様における撮像装置は、第１光電変換部、第２光電変換部、および第１光電変換部から出力された第１出力信号と第２光電変換部から出力された第２出力信号とを選択的に読み出す読出部を有する画素部と、第１出力信号が読み出される期間に第２光電変換部に電荷蓄積をさせるように読出部を制御する制御部とを有する固体撮像素子と、第１出力信号に基づいて第１画像データを生成するとともに第２出力信号に基づいて第２画像データを生成し、第１画像データおよび第２画像データから所定のフレームレート有する動画像データを生成する画像データ生成部とを備え、制御部は、第１光電変換部および第２光電変換部のそれぞれの電荷蓄積時間がフレームレートよりも長くなるように読出部を制御する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る撮像装置の構成を示すブロック図である。
【図２】撮像素子の画素配列、単位画素および単位格子を説明する図である。
【図３】単位画素と電位保持部の回路構成を示す図である。
【図４】ローリングシャッタ方式による動画撮影動作の動作概念図である。
【図５】タイミング制御に係るチャート図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置１００は、撮影光学系としての撮影レンズ１３０を備え、撮影レンズ１３０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１２０へ導く。撮影レンズ１３０は、撮像装置１００に対して着脱できる交換式レンズであっても構わない。撮像装置１００は、制御部１１０、撮像素子１２０、ＡＦＥ（アナログフロントエンド）１４０、バッファメモリ１５０、画像処理部１６０、記録部１７０、表示部１８０および測光部１９０を主に備える。
【００１０】
撮影レンズ１３０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１１】
制御部１１０は、撮像素子１２０の電荷蓄積制御、信号読出制御等の撮像制御を実行する。図１においてはひとつの制御部１１０として表現しているが、制御部１１０は、撮像素子１２０に対して制御信号を生成するＣＰＵと、ＣＰＵからの制御信号を撮像素子１２０に対する駆動信号に変換する制御回路を組み合わせて構成することができる。この場合、撮像素子１２０を駆動する制御回路は、それ単体で電荷蓄積制御および信号読出制御を具体的に実行する制御部と捉えることもできる。したがって、撮像装置１００に組み込まれる撮像ユニットは、撮像素子１２０を駆動する制御回路と撮像素子１２０の組み合わせであっても良いし、ＣＰＵを含む制御部１１０全体と撮像素子１２０の組み合わせであっても良い。また、制御回路は、チップ化されて撮像素子１２０に積層されていても良い。
【００１２】
撮像素子１２０は、ローリングシャッタ方式による電子シャッタに対応する撮像素子であり、例えばＣＭＯＳセンサである。具体的な画素構造および回路構成については後述する。撮像素子１２０は、出力信号である画素信号をＡＦＥ１４０へ引き渡す。ＡＦＥ１４０は、撮像素子１２０から行単位に順番に出力される画素信号を、制御部１１０から指示されるゲインに応じてレベル調整する。そして、ＡＦＥ１４０は、レベル調整されたアナログ信号をデジタルデータへＡ／Ｄ変換して、画素データとしてバッファメモリ１５０へ引き渡す。
【００１３】
バッファメモリ１５０は、例えば揮発性の高速メモリによって構成される。バッファメモリ１５０は、ＡＦＥ１４０から順次画素データを受け取り、これらを１フレームの画像データに纏めて記憶する。バッファメモリ１５０は、フレーム単位で画像処理部１６０へ画像データを引き渡す。また、バッファメモリ１５０は、画像処理部１６０が画像処理する中途段階においてワークメモリとしての機能も担う。
【００１４】
画像処理部１６０は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。生成された画像データは、記録部１７０に記録される。また、画像処理部１６０により表示信号に変換され、表示部１８０に表示される。
【００１５】
測光部１９０は、画像データを生成する一連の撮影シーケンスに先立ち、あるいは撮影シーケンスに並行して、シーンの輝度分布を検出する。制御部１１０は、測光部１９０の検出結果に基づいてシーンの輝度分布を解析し、各画素の電荷蓄積時間を決定する。
【００１６】
図２は、撮像素子１２０の画素配列、単位画素および単位格子を説明する図である。図は、撮像素子１２０を撮影レンズ１３０側から観察した様子を示す。画素部を形成する画素領域には、単位画素がマトリックス状に配列されている。本実施形態においては、隣接する２単位画素×２単位画素の４単位画素が１つの単位格子２０１を形成する。
【００１７】
画素領域の部分拡大図を用いて、単位画素と単位格子２０１を更に説明する。単位格子２０１は、左上に配されるＧｂ単位画素２０２、右上に配されるＢ単位画素２０３、右下に配されるＧｒ単位画素２０４、および左下に配されるＲ単位画素２０５の４つの単位画素から形成される。単位格子２０１は、撮像素子１２０の画素領域に配列される単位画素の繰り返し単位である。換言すれば、画素領域は、単位格子２０１が行方向および列方向に対して周期的に配列されていると言える。
【００１８】
Ｇｂ単位画素２０２とＧｒ単位画素２０４には、緑色のカラーフィルタが設けられており、入射光のうち緑色波長帯の光を選択的に通過させる。Ｂ単位画素２０３には、青色のカラーフィルタが設けられており、入射光のうち青色波長帯の光を選択的に通過させる。Ｒ単位画素２０５には、赤色のカラーフィルタが設けられており、入射光のうち赤色波長帯の光を選択的に通過させる。したがって、４単位画素から成る単位格子２０１は、いわゆるベイヤー配列によるカラーフィルタ構成である。
【００１９】
各単位画素は、第１光電変換部としての第１フォトダイオード（ＰＤ１）２１１と第２光電変換部としての第２フォトダイオード（ＰＤ２）２１２の２つのフォトダイオードを含む。第１フォトダイオード２１１は、単位画素において、左上のおよそ１／４を受光領域とするように形成されており、同様に、第２フォトダイオード２１２は、単位画素において、右下のおよそ１／４を受光領域とするように形成されている。単位画素において、２つのフォトダイオードが形成されていない領域には、これらのフォトダイオードを駆動するトランジスタ、配線等が配設されている。
【００２０】
２つのフォトダイオードのそれぞれに対応して、マイクロレンズ２２０が個別に設けられている。換言すれば、第１フォトダイオード２１１と第２フォトダイオード２１２は、それぞれ専用のマイクロレンズ２２０を有している。
【００２１】
すなわち、本実施形態における単位画素は、従来の画素構造とは異なり、その領域内に２つのフォトダイオードと、これに対応する２つのマイクロレンズを備えている。図２に示す単位画素におけるフォトダイオードの配列によれば、単位画素内に格子状に４つのフォトダイオードを配列するよりも受光領域の開口率を大きくすることができる。また、右上および左下にフォトダイオードが配列されていないことにより、２つのフォトダイオードに対応するマイクロレンズ２２０を相対的に大きく形成することができる。したがって、２つのフォトダイオードの受光光量を増大させることができる。
【００２２】
図３は、単位画素と電位保持部の回路構成を示す図である。単位画素の回路構成は、配設されるカラーフィルタの違いによる相違はないが、ここではＧｂ単位画素２０２を例に説明する。
【００２３】
第１フォトダイオード２１１は、第１転送トランジスタ（ＴＸ１）２５１に接続され、第１転送トランジスタ２５１のゲートは、第１転送トランジスタ２５１をオンにする転送パルスを供給する第１ＴＸ配線に接続されている。第１転送トランジスタ２５１のドレインは、リセットトランジスタ（ＦＤＲＳＴ）２５３のソースに接続される。第１転送トランジスタ２５１のドレインとリセットトランジスタ２５３のソース間にはフローティングディフュージョン２６０が形成される。フローティングディフュージョン２６０は、増幅トランジスタ２５４のゲートに接続される。
【００２４】
第２フォトダイオード２１２は、第２転送トランジスタ（ＴＸ２）２５２に接続され、第２転送トランジスタ２５２のゲートは、第２転送トランジスタ２５２をオンにする転送パルスを供給する第２ＴＸ配線に接続されている。第２転送トランジスタ２５２のドレインは、リセットトランジスタ２５３のソースに接続される。すなわち、第１転送トランジスタ２５１のドレインと、第２転送トランジスタ２５２のドレインは、共通箇所に接続されている。
【００２５】
リセットトランジスタ２５３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ２５４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ２５４のソースは、読出部としての選択トランジスタ（ＳＥＬ）２５５のドレインに接続される。選択トランジスタ２５５のゲートには、選択トランジスタ２５５をオンにする選択パルスを供給するデコーダ配線に接続されている。そして、選択トランジスタ２５５のソースは、出力配線２６１に接続される。
【００２６】
負荷電流源２６２は、出力配線２６１に電流を供給する。すなわち、選択トランジスタ２５５がオンすると、増幅トランジスタ２５４のソースが負荷電流源２６２に接続されてソースフォロアとして動作する。なお、負荷電流源２６２は、出力配線２６１を共有する複数の画素に対して共通の要素として設けられる。
【００２７】
このように、Ｇｂ単位画素２０２は、リセットトランジスタ２５３、増幅トランジスタ２５４および選択トランジスタ２５５が、第１フォトダイオード２１１と第２フォトダイオード２１２の一組に対してひとつずつ設けられる、いわゆるシェアード構造である。別言すれば、第１フォトダイオード２１１と第２フォトダイオード２１２は、リセットトランジスタ２５３、増幅トランジスタ２５４および選択トランジスタ２５５を共有する。ただし、第１フォトダイオード２１１は、第１転送トランジスタ２５１によって電荷蓄積が制御され、第２フォトダイオード２１２は、第２転送トランジスタ２５２によって電荷蓄積が制御される。すなわち、転送トランジスタは、各フォトダイオードに対応して個別に設けられている。
【００２８】
Ｇｂ単位画素２０２から出力配線２６１へ出力された画素信号は、増幅器（Ａｍｐ）２６９で増幅されて、電位保持部２７０へ伝送される。出力配線２６１は、Ｇｂ単位画素２０２以外にも、列方向に配列されている他の単位画素からの画素信号も伝送される。電位保持部２７０は、これら複数の単位画素に対してひとつ設けられている。
【００２９】
電位保持部２７０は、出力信号トランジスタ（Ｓｉｇｎａｌ）２７１、出力信号保持キャパシタ（Ｃｓｇ）２８１、ノイズ信号トランジスタ（Ｄａｒｋ）２７２およびノイズ信号保持キャパシタ（Ｃｄｋ）２８２を備える。出力信号トランジスタ２７１およびノイズ信号トランジスタ２７２は、増幅器２６９の出力に、並列に接続される。出力信号保持キャパシタ２８１は出力信号トランジスタ２７１のソースに接続される。ノイズ信号保持キャパシタ２８２はノイズ信号トランジスタ２７２のソースに接続される。これらは、ＡＦＥ１４０に接続され、出力信号とノイズ信号が選択的にＡＦＥ１４０へ伝送される。
【００３０】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。簡単のため、まず第１フォトダイオード２１１に対するタイミング制御と信号の流れについて説明する。
【００３１】
リセット配線を通じてリセットパルスがリセットトランジスタ２５３に印加され、同時に第１ＴＸ配線を通じて転送パルスが第１転送トランジスタ２５１に印加されると、第１フォトダイオード２１１およびフローティングディフュージョン２６０の電位はリセットされる。
【００３２】
第１フォトダイオード２１１は、受光する入射光を電荷に変換して蓄積する。第１フォトダイオード２１１の信号読み出しの前に、リセット配線を通じてリセットパルスがリセットトランジスタ２５３に印加されフローティングディフュージョン２６０がリセットされる。そして、デコーダ配線を通じて選択パルスが選択トランジスタ２５５に印加され、リセット電位が増幅トランジスタ２５４および選択トランジスタ２５５を介してノイズ信号として出力配線２６１に伝送される。出力配線２６１に伝送されたノイズ信号は、増幅器２６９およびノイズ信号トランジスタ２７２を介して、ノイズ信号保持キャパシタ２８２に保持される。
【００３３】
その後、転送パルスが第１転送トランジスタ２５１に印加されると、蓄積された電荷はフローティングディフュージョン２６０へ転送され、フローティングディフュージョン２６０の電位は、リセット電位から電荷蓄積後の信号電位になる。この間、選択パルスは選択トランジスタ２５５に継続的に印加されており、電荷蓄積後の信号電位が増幅トランジスタ２５４および選択トランジスタ２５５を介して出力信号として出力配線２６１に伝送される。出力配線２６１に伝送された出力信号は、増幅器２６９および出力信号トランジスタ２７１を介して、出力信号保持キャパシタ２８１に保持される。ＡＦＥ１４０は、出力信号からノイズ信号を差し引くことにより、第１フォトダイオード２１１に入射した光信号に対応する画素信号を取得する。
【００３４】
第２フォトダイオード２１２に対するタイミング制御と信号の流れも、上記の第１フォトダイオード２１１に対するそれと同様である。ただし、第１フォトダイオード２１１に対する制御に対して半周期ずらしてタイミング制御を実行する。すなわち、第１転送トランジスタ２５１に対する転送パルスの印加と、第２転送トランジスタ２５２に対する転送パルスの印加を交互に実行することにより、第１フォトダイオード２１１に入射した光信号に対応する画素信号と第２フォトダイオード２１２に入射した光信号に対する画素信号とを順番に取得する。さらに具体的なタイミング制御については後述する。
【００３５】
各トランジスタへのそれぞれのパルス印加は、制御部１１０によって実行される。すなわち、電荷蓄積制御および信号読出制御は、パルス印加のタイミング制御を介して実行される。特に本実施形態においては、第１フォトダイオード２１１に対する制御と第２フォトダイオード２１２に対する制御を半周期ずらして実行する。したがって、本実施形態におけるタイミング制御は、選択トランジスタ２５５を介して第１フォトダイオード２１１の出力信号を読み出している間に、第２フォトダイオード２１２の電荷蓄積を継続させる期間を有し、また、選択トランジスタ２５５を介して第２フォトダイオード２１２の出力信号を読み出している間に、第１フォトダイオード２１１の電荷蓄積を継続させる期間を有する。
【００３６】
図４は、ローリングシャッタ方式による動画撮影動作の動作概念図である。横軸は、時間の経過を表す。縦軸方向にＰＤ１と記した範囲は、撮像素子１２０に配列された第１フォトダイオード２１１について、上から順に１行目、２行目、３行目…ｎ行目のそれぞれの動作を横軸方向（時間軸方向）に表すことを意味する。同一行に配列された複数の第１フォトダイオード２１１は、同一のタイミング制御が実行される。一方、配列行が互いに異なる第１フォトダイオード２１１は、異なるタイミング制御が実行される。
【００３７】
同様に、縦軸方向にＰＤ２と記した範囲は、撮像素子１２０に配列された第２フォトダイオード２１２について、上から順に１行目、２行目、３行目…ｎ行目のそれぞれの動作を横軸方向（時間軸方向）に表すことを意味する。第１フォトダイオード２１１と同様、同一行に配列された複数の第２フォトダイオード２１２は、同一のタイミング制御が実行される。一方、配列行が互いに異なる第２フォトダイオード２１２は、異なるタイミング制御が実行される。
【００３８】
なお、図２を用いて説明したように、撮像素子１２０における各フォトダイオード配列は、１行目の第１フォトダイオード２１１、１行目の第２フォトダイオード２１２、２行目の第１フォトダイオード２１１、２行目の第２フォトダイオード２１２…の順番である。しかし、制御部１１０は、第１フォトダイオード２１１を１つのグループ、第２フォトダイオード２１２を１つのグループとしてタイミング制御を実行する。したがって、図４においては、実際の配列を離れ、それぞれのグループを上下段に分けて表現している。
【００３９】
本実施形態においては、制御部１１０は、第１フォトダイオード２１１からローリングシャッタ方式によって画素信号を読み出し、画像処理部１６０は、これらを集めて１つのフレーム画像データ（Ｆ１画像データ）を生成する画像生成部としての機能を担う。ここでは、第１フォトダイオード２１１由来のＦ１画像データのｎフレーム目画像をＦ１−ｎと表す。同様に、制御部１１０は、第２フォトダイオード２１２からローリングシャッタ方式によって画素信号を読み出し、画像処理部１６０は、これらを集めて１つのフレーム画像データ（Ｆ２画像データ）を生成する。ここでは、第２フォトダイオード２１２由来のＦ２画像データのｎフレーム目画像をＦ２−ｎと表す。制御部１１０が、第１フォトダイオード２１１の画素信号と第２フォトダイオード２１２の画素信号を交互に読み出すことにより、画像処理部１６０は、Ｆ１画像データとＦ２画像データを交互に生成し、これらを繋ぎ合わせて動画像データを生成する。
【００４０】
図を用いて更に説明する。ここでは、Ｆ２−１画像、Ｆ１−２画像、Ｆ２−２画像の連続する３フレーム画像を例に説明する。制御部１１０は、Ｆ２−１画像を生成するために第２フォトダイオード２１２に電荷蓄積を継続させている最中に、Ｆ１−２画像を生成するために第１フォトダイオード２１１のリセット制御を開始する。制御部１１０は、１行目から最終行のｎ０行目まで、それぞれの行に属する第１フォトダイオード２１１を順次リセットする（図中Ｆ１−２と記したフレーム画像の点線で示すＲｅｓｅｔライン）。なお、同一行に属する第１フォトダイオード２１１は、同時にリセットされる。それぞれの第１フォトダイオード２１１は、リセット制御を受けてから電荷蓄積を開始する。すなわち、このリセット時点は、Ｆ１−２画像における露光期間の開始時点となる。
【００４１】
制御部１１０は、第１フォトダイオード２１１の電荷蓄積を開始させた後に、予め定められたタイミングで、第２フォトダイオード２１２の読出制御を開始する。制御部１１０は、１行目から最終行のｎ０行目まで、それぞれの行に属する第２フォトダイオード２１２から電荷信号を順次読み出す（図中Ｆ２−１と記したフレーム画像の実線で示すＲｅａｄライン）。なお、同一行に属する第２フォトダイオード２１２は、同時に電荷信号が読み出される。それぞれの第２フォトダイオード２１２は、読出制御を受けて、その時点における蓄積電荷をフローティングディフュージョン２６０へ転送する。すなわち、この読み出し時点は、Ｆ２−１画像における露光期間の終了時点となる。画像処理部１６０は、これらの出力信号を用いてＦ２−１画像データを生成する。
【００４２】
制御部１１０は、更に、第１フォトダイオード２１１がＦ１−２画像のための電荷蓄積を継続している最中に、Ｆ２−２画像を生成するための第２フォトダイオード２１２のリセット制御を開始する。制御部１１０は、１行目から最終行のｎ０行目まで、それぞれの行に属する第２フォトダイオード２１２を順次リセットする（図中Ｆ２−２と記したフレーム画像の点線で示すＲｅｓｅｔライン）。このリセット時点は、Ｆ２−２画像における露光期間の開始時点となる。
【００４３】
第２フォトダイオード２１２の電荷蓄積を開始させた後に、今度は、制御部１１０は、予め定められたタイミングで、第１フォトダイオード２１１の読出制御を開始する。制御部１１０は、１行目から最終行のｎ０行目まで、それぞれの行に属する第１フォトダイオード２１１から電荷信号を順次読み出す（図中Ｆ１−２と記したフレーム画像の実線で示すＲｅａｄライン）。なお、同一行に属する第１フォトダイオード２１１は、同時に電荷信号が読み出される。それぞれの第１フォトダイオード２１１は、読出制御を受けて、その時点における蓄積電荷をフローティングディフュージョン２６０へ転送する。すなわち、この読み出し時点は、Ｆ１−２画像における露光期間の終了時点となる。画像処理部１６０は、これらの出力信号を用いてＦ１−２画像データを生成する。
【００４４】
このように、第１フォトダイオード２１１のリセット制御→第２フォトダイオード２１２の読出制御→第２フォトダイオード２１２のリセット制御→第１フォトダイオード２１１の読出し制御→第１フォトダイオード２１１の読出制御→…のようにリセット制御と読出制御が繰り返されることにより、第１フォトダイオード２１１由来のＦ１画像データと第２フォトダイオード２１２由来のＦ２画像データが交互に生成される。このとき、第１フォトダイオード２１１に対するリセット制御および読出制御は、第２フォトダイオード２１２に対するリセット制御および読出制御とそれぞれ半周期ずれて実行される。したがって、動画像データとしてのフレーム期間は、第１フォトダイオード２１１に対する制御周期および第２フォトダイオード２１２に対する制御周期に対して半分となる。
【００４５】
このような関係から、制御部１１０は、第１フォトダイオード２１１の電荷蓄積期間および第２フォトダイオード２１２の電荷蓄積期間として規定される露光期間を、１フレーム期間よりも長く設定することができる。露光期間を１フレーム期間よりも長く設定できるので、暗環境下における撮影においても、ノイズの少ない適正露出のフレーム画像が生成される。なお、露光期間は、測光部１９０の出力を参照して制御部１１０が決定する。制御部１１０は、撮影環境が予め定められた照度よりも大きい場合には、露光期間を１フレーム期間よりも長く設定する制御を行わず、予め定められた照度以下の場合には、露光期間を１フレーム期間よりも長く設定する制御を行う。また、制御部１１０は、露光期間を１フレーム期間よりも長く設定する制御を実行するか否かに関わらず、検出された照度に応じて露光期間を変動させる。
【００４６】
更に、動画像データとして連続する２つのフレーム画像に着目して、タイミング制御について詳述する。図５は、タイミング制御に係るチャート図である。図の縦軸は、上から順に、リセットトランジスタ（ＦＤＲＳＴ）２５３、選択トランジスタ（ＳＥＬ）２５５、第１転送トランジスタ（ＴＸ１）２５１、第２転送トランジスタ（ＴＸ２）２５２、ノイズ信号トランジスタ（Ｄａｒｋ）２７２および出力信号トランジスタ（Ｓｉｇｎａｌ）２７１のオン、オフを表す。横軸は、経過時間を表す。特に、図は、ｍフレーム目の画像生成とｍ＋１フレーム目の画像生成における、ｎ行目の制御について表す。ｎ行目として表されている選択トランジスタ２５５、第１転送トランジスタ２５１および第２転送トランジスタ２５２の挙動は、順次実行される１行目からｎ０行目までのうちの特定行の挙動を代表して表している。また、ノイズ信号トランジスタ２７２および出力信号トランジスタ２７１の挙動は、実際には１行目からｎ０行目までのそれぞれに対して繰り返し示される挙動のうち、ｎ行目のみを抽出して表している。
【００４７】
制御部１１０は、時刻ｔ１において、リセットパルスをリセットトランジスタ２５３に印加する（ＦＤＲＳＴオン）。そして、時刻ｔ２において、ｎ行目に属する第２フォトダイオード２１２に接続された第２転送トランジスタ２５２に転送パルスを印加する（ＴＸ２オン）。時刻ｔ３において転送パルスがオフになると、ｎ行目に属する第２フォトダイオード２１２は電荷蓄積を開始する。その後、ｎ０行目までのリセット制御が完了する時刻ｔ４において、制御部１１０は、リセットパルスをオフにする。
【００４８】
制御部１１０は、時刻ｔ５において、リセットパルスをｎ行目のリセットトランジスタ２５３に印加して、フローティングディフュージョン２６０をリセット電位とする。制御部１１０は、リセットパルスをオフにする時刻ｔ６のタイミングに合わせて、ｎ行目の選択トランジスタ２５５をオンにすると共に、ノイズ信号トランジスタ２７２をオンにしてノイズ信号を読み出す。
【００４９】
制御部１１０は、ｎ行目の選択トランジスタ２５５をオンにしたまま、時刻ｔ７において、ｎ行目に属する第１フォトダイオード２１１に接続された第１転送トランジスタ２５１に転送パルスを印加する（ＴＸ１オン）。これにより、第１フォトダイオード２１１の蓄積電荷はフローティングディフュージョン２６０へ転送される。そして、制御部１１０は、ｎ行目の選択トランジスタ２５５をオンにしたまま出力信号トランジスタ２７１をオンにして、出力信号を読み出す。制御部１１０は、ｎ行目の出力信号を読み出したら、時刻ｔ８において、選択トランジスタ２５５をオフにする。画像処理部１６０は、この出力信号とノイズ信号の差により生成される画像信号を寄せ集めて、第２フォトダイオード２１２由来であるｍフレーム目の画像データを生成する。なお、ｎ行目の第１フォトダイオード２１１に対する制御が実行されているこの期間は、図示する通り、ｎ行目の第２フォトダイオード２１２の電荷蓄積が継続されている。
【００５０】
制御部１１０は、時刻ｔ９において、リセットパルスをリセットトランジスタ２５３に印加する（ＦＤＲＳＴオン）。そして、時刻ｔ１０において、ｎ行目に属する第１フォトダイオード２１１に接続された第１転送トランジスタ２５１に転送パルスを印加する（ＴＸ１オン）。時刻ｔ１１において転送パルスがオフになると、ｎ行目に属する第１フォトダイオード２１１は電荷蓄積を開始する。その後、ｎ０行目までのリセット制御が完了する時刻ｔ１２において、制御部１１０は、リセットパルスをオフにする。
【００５１】
制御部１１０は、時刻ｔ１３において、リセットパルスをｎ行目のリセットトランジスタ２５３に印加して、フローティングディフュージョン２６０をリセット電位とする。制御部１１０は、リセットパルスをオフにする時刻ｔ１４のタイミングに合わせて、ｎ行目の選択トランジスタ２５５をオンにすると共に、ノイズ信号トランジスタ２７２をオンにしてノイズ信号を読み出す。
【００５２】
制御部１１０は、ｎ行目の選択トランジスタ２５５をオンにしたまま、時刻ｔ１５において、ｎ行目に属する第２フォトダイオード２１２に接続された第２転送トランジスタ２５２に転送パルスを印加する（ＴＸ２オン）。これにより、第２フォトダイオード２１２の蓄積電荷はフローティングディフュージョン２６０へ転送される。そして、制御部１１０は、ｎ行目の選択トランジスタ２５５をオンにしたまま出力信号トランジスタ２７１をオンにして、出力信号を読み出す。制御部１１０は、ｎ行目の出力信号を読み出したら、時刻ｔ１６において、選択トランジスタ２５５をオフにする。画像処理部１６０は、この出力信号とノイズ信号の差により生成される画像信号を寄せ集めて、第１フォトダイオード２１１由来であるｍ＋１フレーム目の画像データを生成する。なお、ｎ行目の第２フォトダイオード２１２に対する制御が実行されているこの期間は、図示する通り、ｎ行目の第１フォトダイオード２１１の電荷蓄積が継続されている。
【００５３】
なお、画像処理部１６０は、図２を用いて説明したように、単位画素における第１フォトダイオード２１１と第２フォトダイオード２１２は、同色フィルター下に配置されている。さらに、単位格子２０１は、いわゆるベイヤー配列を採用している。したがって、第１フォトダイオード２１１の出力信号を寄せ集めた場合も、第２フォトダイオード２１２の出力信号を寄せ集めいた場合も、いずれも互いに対応するベイヤー画像信号として取り扱うことができる。これにより、従来の間引き処理とは異なり、それぞれの画像処理を静止画処理と同様に行うことができるので、処理の高速化、ハードウェア資源の共有化等に資する。
【００５４】
以下にいくつかの応用例について説明する。
【００５５】
上述の図２においては、単位画素における左上のおよそ１／４を受光領域とする第１フォトダイオード２１１と、右下のおよそ１／４を受光領域とする第２フォトダイオード２１２の配列について説明したが、配列はさまざまな態様を採り得る。第１フォトダイオード２１１と第２フォトダイオード２１２が、単位画素内において上下に並んでいても良いし、左右に並んでいても良い。この場合、受光領域は正方形で無くても良い。また、図２の例のように、対角に並ぶ場合であっても、受光領域は正方形で無く、開口率を増加させるような多角形形状であっても良い。
【００５６】
さらに、出力される画像信号の利用形態に応じて、例えば、視差画像を取得する、ＡＦ信号を取得するなどの利用形態に応じて、１つの単位画素に１つのマイクロレンズを配置しても良いし、それぞれのフォトダイオードに対してカラーフィルタを異ならせても良い。
【００５７】
また、単位画素内の第１フォトダイオード２１１と第２フォトダイオード２１２の大きさを互いに異ならせても良い。単位画素内のフォトダイオードの大きさを異ならせれば、その蓄積容量に応じて、撮影環境の明るさに対して利用するフォトダイオードを使い分けることができる。この場合、暗環境下の動画撮影において１フレーム期間よりも電荷蓄積期間を長くするときには、Ｆ１画像データとＦ２画像データ間の輝度調整を行う。具体的には、第１フォトダイオード２１１からの出力と第２フォトダイオード２１２からの出力の差を調整する調整部としての増幅器を設ける。この場合、増幅器２６９の増幅率を変更できるように構成しても良い。また、画像処理部１６０が輝度差を調整しても良い。あるいは、調整部としての機能を制御部１１０が担っても良い。具体的には、制御部１１０は、第１フォトダイオード２１１の露光期間と、第２フォトダイオード２１２の露光期間を異ならせる。露光期間を異ならせることにより、結果的に両者の出力画像の輝度差を打ち消す。
【００５８】
図２における配列は、単位画素内に２つのフォトダイオードが配列される例を示したが、３つ以上のフォトダイオードを配列しても良い。３つ以上のフォトダイオードが配列される場合であっても、リセットトランジスタ２５３、増幅トランジスタ２５４および選択トランジスタ２５５が共有されるシェアード構造を採用する。３つ以上のフォトダイオードを配列すれば、それぞれのフォトダイオードに割り振られる電荷蓄積期間をその分だけ長くすることができる。例えば３つのフォトダイオードが単位画素内に配列された場合、第１フォトダイオード由来のＦ１画像データ、第２フォトダイオード由来のＦ２画像データ、および第３フォトダイオード由来のＦ３画像データが順に繰り返し繋ぎ合わされて動画像データが生成される。
【００５９】
さらには、上述の例ではローリングシャッタ方式を採用したが、単位画素内の１つのフォトダイオードの出力を読み出している間に、別のフォトダイオードに電荷蓄積を継続させる構造であれば、グローバルシャッタ方式を採用することもできる。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１００  撮像装置、１１０  制御部、１２０  撮像素子、１３０  撮影レンズ、１４０  ＡＦＥ、１５０  バッファメモリ、１６０  画像処理部、１７０  記録部、１８０  表示部、１９０  測光部、２０１  単位格子、２０２  Ｇｂ単位画素、２０３  Ｂ単位画素、２０４  Ｇｒ単位画素、２０５  Ｒ単位画素、２１１  第１フォトダイオード、２１２  第２フォトダイオード、２２０  マイクロレンズ、２５１  第１転送トランジスタ、２５２  第２転送トランジスタ、２５３  リセットトランジスタ、２５４  増幅トランジスタ、２５５  選択トランジスタ、２６０  フローティングディフュージョン、２６１  出力配線、２６２  負荷電流源、２６９  増幅器、２７０  電位保持部、２７１  出力信号トランジスタ、２７２  ノイズ信号トランジスタ、２８１  出力信号保持キャパシタ、２８２  ノイズ信号保持キャパシタ
【図１】
2014217011.tif 000003
【図２】
2014217011.tif 000004
【図３】
2014217011.tif 000005
【図４】
2014217011.tif 000006
【図５】
2014217011.tif 000007