(57)【要約】【課題】焦点検出を高精度に行うことができる撮像装置及びその制御方法を提供する。【解決手段】第１光電変換部及び第２光電変換部を含む複数の画素を有し、第１光電変換部に蓄積された信号電荷に基づく第１映像信号の蓄積期間が、第２光電変換部に蓄積された信号電荷に基づく第２映像信号の蓄積期間よりも短い撮像素子と、被写体からの光を撮像素子へ結像させる光学系の焦点を、第１映像信号を用いて検出する焦点検出手段と、を備える。【選択図】図２
2017112596.tif 000002
【特許請求の範囲】
【請求項１】
第１光電変換部及び第２光電変換部を含む複数の画素を有し、前記第１光電変換部に蓄積された信号電荷に基づく第１映像信号の蓄積期間が、前記第２光電変換部に蓄積された信号電荷に基づく第２映像信号の蓄積期間よりも短い撮像素子と、
被写体からの光を前記撮像素子へ結像させる光学系の焦点を、前記第１映像信号を用いて検出する焦点検出手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１映像信号の蓄積期間の中心と前記第２映像信号の蓄積期間の中心とが一致するように、前記第１光電変換部及び前記第２光電変換部の蓄積期間を制御する制御手段を更に備えることを特徴とする撮像装置。
【請求項３】
第３光電変換部と、前記第３光電変換部によって光電変換された信号電荷を保持する第１電荷保持部及び第２電荷保持部と、前記第３光電変換部から前記第１電荷保持部へ信号電荷を転送する第１転送トランジスタと、前記第３光電変換部から前記第２電荷保持部へ信号電荷を転送する第２転送トランジスタと、を含む複数の画素を有する撮像素子と、
前記第１電荷保持部に保持された信号電荷に基づく第１映像信号の蓄積期間、及び前記第２電荷保持部に保持された信号電荷に基づく第２映像信号の蓄積期間を、前記第１転送トランジスタ及び前記第２転送トランジスタを用いて制御する制御手段と、
被写体からの光を前記撮像素子へ結像させる光学系の焦点を、１フレーム期間における蓄積期間の分散が相対的に小さい前記第１映像信号を用いて検出する焦点検出手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記画素は、前記第３光電変換部に蓄積された信号電荷を排出するオーバーフロートランジスタを更に有し、
前記制御手段は、前記第１映像信号の蓄積期間及び前記第２映像信号の蓄積期間を、前記オーバーフロートランジスタ、前記第１転送トランジスタ及び前記第２転送トランジスタを用いて制御することを特徴とする撮像装置。
【請求項５】
請求項３又は４に記載の撮像装置において、
前記制御手段は、１フレーム期間中に前記第３光電変換部から前記第２電荷保持部へ信号電荷を転送する回数が、１フレーム期間中に前記第３光電変換部から前記第１電荷保持部へ信号電荷を転送する回数よりも多いことを特徴とする撮像装置。
【請求項６】
請求項３から５のいずれか１項に記載の撮像装置において、
前記制御手段は、前記第１映像信号の蓄積期間の分散の中心と前記第２映像信号の蓄積期間の分散の中心とが一致するように制御することを特徴とする撮像装置。
【請求項７】
請求項１又は３に記載の撮像装置において、
前記第１映像信号のフレームレートが、前記第２映像信号のフレームレートよりも大きく、
前記焦点検出手段は、前記第２映像信号の蓄積期間内において得られる複数の前記第１映像信号を用いて前記光学系の焦点を検出することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記光学系と、前記焦点検出手段による焦点検出結果に基づいて前記光学系の焦点を調整する焦点調整手段と、を更に備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記焦点調整手段は、前記複数の前記第１映像信号の平均値に基づいて前記光学系の焦点を調整することを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記焦点調整手段は、前記複数の前記第１映像信号のそれぞれに基づいて前記光学系の焦点を順次調整することを特徴とする撮像装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の撮像装置において、
前記焦点検出手段は、コントラスト方式または位相差方式を用いて前記光学系の焦点を検出することを特徴とする撮像装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の撮像装置において、
前記第１映像信号を静止画用として用い、前記第２映像信号を動画用として用いることを特徴とする撮像装置。
【請求項１３】
第１光電変換部及び第２光電変換部を含む複数の画素を有し、前記第１光電変換部に蓄積された信号電荷に基づく第１映像信号の蓄積期間が、前記第２光電変換部に蓄積された信号電荷に基づく第２映像信号の蓄積期間よりも短い撮像素子を備える撮像装置の制御方法であって、
被写体からの光を前記撮像素子へ結像させる光学系の焦点を、前記第１映像信号を用いて検出する焦点検出ステップ
を有することを特徴とする制御方法。
【請求項１４】
第１光電変換部及び第２光電変換部を含む複数の画素を有し、前記第１光電変換部に蓄積された信号電荷に基づく第１映像信号の蓄積期間が、前記第２光電変換部に蓄積された信号電荷に基づく第２映像信号の蓄積期間よりも短い撮像素子を備える撮像装置において、
コンピュータを、
被写体からの光を前記撮像素子へ結像させる光学系の焦点を、前記第１映像信号を用いて検出する焦点検出手段
として機能させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の撮像素子からの蓄積期間の異なる複数の映像出力を処理する撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。
【０００３】
例えば、特許文献１では、受光効率の異なる２つの光電変換部から第１映像信号及び第２映像信号を読み出す撮像装置が提案されている。これにより、単一の撮影レンズを通して動画と静止画を同時に撮影したり、通常フレームレート動画と高フレームレート動画とを同時に撮影したりできる。また、特許文献１では、第１映像信号を用いて撮像装置の露光調整を行い、第２映像信号を用いて撮像装置の焦点調整を行っている。これにより、露光調整と焦点調整を同時に並行して行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１７０１３１号公報
【特許文献２】特開２０１３−１７２２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、受光効率が相対的に低い光電変換部からの第２の映像信号を用いて撮像装置の焦点調整を行っている。すなわち、蓄積期間が長い信号を用いて焦点調整を行っていることとなる。このため、蓄積期間の短い第１映像信号では、焦点調整のタイミングと蓄積期間とが異なるので、第１映像信号から得られる画像に焦点ずれが生じてしまう。特にストップモーション効果の高い画像が求められる第１映像信号では、このような焦点ずれが画像の品位を大きく落としてしまう。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、第１光電変換部及び第２光電変換部を含む複数の画素を有し、第１光電変換部に蓄積された信号電荷に基づく第１映像信号の蓄積期間が、第２光電変換部に蓄積された信号電荷に基づく第２映像信号の蓄積期間よりも短い撮像素子と、被写体からの光を撮像素子へ結像させる光学系の焦点を、第１映像信号を用いて検出する焦点検出手段と、を備えることを特徴とする。
【０００７】
また、本発明に係る別の撮像装置は、第３光電変換部と、第３光電変換部によって光電変換された信号電荷を保持する第１電荷保持部及び第２電荷保持部と、第３光電変換部から第１電荷保持部へ信号電荷を転送する第１転送トランジスタと、第３光電変換部から第２電荷保持部へ信号電荷を転送する第２転送トランジスタと、を含む複数の画素を有する撮像素子と、第１電荷保持部に保持された信号電荷に基づく第１映像信号の蓄積期間、及び第２電荷保持部に保持された信号電荷に基づく第２映像信号の蓄積期間を、第１転送トランジスタ及び第２転送トランジスタを用いて制御する制御手段と、被写体からの光を前記撮像素子へ結像させる光学系の焦点を、１フレーム期間における蓄積期間の分散が相対的に小さい前記第１映像信号を用いて検出する焦点検出手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、焦点検出を高精度に行うことができる撮像装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態による撮像装置を示す外観図である。
【図２】本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。
【図３】本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。
【図４】本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。
【図５】画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。
【図６】本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。
【図７】撮像素子から出力される映像信号を説明するための概略図である。
【図８】本発明の第１実施形態による撮像装置における画素の構成例を示す回路図である。
【図９】本発明の第１実施形態による撮像装置における画素の要部を示す平面レイアウト図である。
【図１０】本発明の第１実施形態による撮像装置における画素のライトガイドを含む要部を示す平面レイアウト図である。
【図１１】本発明の第１実施形態による撮像装置における読み出し回路の構成を示す回路図である。
【図１２】本発明の第１実施形態による撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。
【図１３】フォトダイオードにおける信号電荷の時間的な変化を示すグラフである。
【図１４】図９のＡ−Ｂ線に沿った画素のポテンシャル図である。
【図１５】撮像素子の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。
【図１６】本発明の第１実施形態による撮像装置の撮像シーケンスを説明するためのタイミングチャートである。
【図１７】動画及び静止画撮影データの各フレームに付加されるタイムコードの一例を示す図である。
【図１８】動画及び静止画の撮影データのファイル構造の一例を示す図である。
【図１９】動画及び静止画の撮影条件の設定画面を説明するための図である。
【図２０】受光効率の異なる２つのフォトダイオードを用いて撮影した映像信号のＩＳＯ感度範囲の例を示す図である。
【図２１】本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。
【図２２】ローリング電子シャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。
【図２３】撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。
【図２４】受光効率の異なる２つのフォトダイオードを用いて撮影した動画及び静止画のうちの１フレームを示す図である。
【図２５】受光効率の異なる２つのフォトダイオードを用いて撮影した動画及び静止画を表示部上に並べて表示した様子を示す図である。
【図２６】ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。
【図２７】本発明の第１実施形態による、被写体が動いている場合の被写体までの焦点距離の変化を示すグラフである。
【図２８】本発明の第２実施形態による撮像装置における画素の等価回路を示す概略図である。
【図２９】本発明の第２実施形態による撮像装置の制御方法の一例を示すタイミングチャートである。
【図３０】本発明の第３実施形態における、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間を撮像シーケンス上に示したタイミングチャートである。
【図３１】本発明の第４実施形態における、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのフレームレート及び蓄積期間を撮像シーケンス上に示したタイミングチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
【００１１】
（第１実施形態）
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
【００１２】
一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積期間を設定することとなる。
【００１３】
単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。
【００１４】
また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。
【００１５】
このような背景から、撮像装置内の撮像素子に感度の異なる２つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、２つの画素群のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。
【００１６】
本実施形態では、まず、単一の撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
【００１７】
図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。
【００１８】
本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８、１５９と、ダイアル１６０と、再生ボタン１６１とを有している。
【００１９】
筐体１５１は、撮像素子等の撮像装置１００を構成する種々の機能部品やシャッター装置を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。
【００２０】
スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８、１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。
【００２１】
図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、レンズ制御部１７０、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５、１８６、デジタル信号処理部１８７、１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。
【００２２】
撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。レンズ制御部１７０は、撮影光学系１５２のフォーカスレンズ部（図示せず）を駆動して焦点調整を行うためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。
【００２３】
アナログフロントエンド１８５、１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド１８５、１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調節するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７、１８８は、アナログフロントエンド１８５、１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５、１８６、デジタル信号処理部１８７、１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。
【００２４】
表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。
【００２５】
図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ、３０８Ｂ及びタイミング制御回路３０９Ａ、３０９Ｂを含む。
【００２６】
画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。
【００２７】
画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ、３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。
【００２８】
垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、制御信号φＴＸｎＡ、ＴＸｎＢを示している（ｎは、行番号に対応した整数）。
【００２９】
読み出し回路３０８Ａ、３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ、３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
【００３０】
タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。
【００３１】
図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ、３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ、３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６、２５７により構成した例を示している。
【００３２】
ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ、３１０Ｂに導くことができる。フォトダイオード３１０Ａ、３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ、３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。
【００３３】
図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。
【００３４】
図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ、３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。
【００３５】
次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。
【００３６】
撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２からの光束を何れの画素においても高効率で受光することが可能となっている。
【００３７】
図７は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタ２５６が配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタ２５６の色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…、ＲＧ２ＲＧ２…、Ｇ１ＢＧ１Ｂ…、…、といった繰り返しで、各色のカラーフィルタ２５６が配置されている。
【００３８】
このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２、２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。
【００３９】
図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ、３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＡとなる。また、出力データ２８３は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＢとなる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。
【００４０】
図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応している。
【００４１】
フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、フローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。
【００４２】
同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、フローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。
【００４３】
各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ、３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される制御信号φＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される制御信号φＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、制御信号φＴＸｎＡ及び制御信号φＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。
【００４４】
フォトダイオード３１０Ａは光電変換により電荷を生成及び蓄積する第１光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成及び蓄積する第２光電変換部である。フローティングディフュージョン領域３１３Ａ、３１３Ｂは、電荷を保持する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。
【００４５】
垂直走査回路３０７からハイレベルの制御信号φＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの制御信号φＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ、３１４Ｂがオン状態となり、フォトダイオード３１０Ａ、３１０Ｂ、フローティングディフュージョン領域３１３Ａ、３１３Ｂがリセットされる。
【００４６】
垂直走査回路３０７からローレベルの制御信号φＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの制御信号φＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧値に基づく入力を増幅して信号出力線３０４Ａに出力する。
【００４７】
同様に、垂直走査回路３０７からローレベルの制御信号φＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの制御信号φＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。
【００４８】
図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ、３１０Ｂ、転送トランジスタ３１１Ａ、３１１Ｂ、フローティングディフュージョン領域３１３Ａ、３１３Ｂを示している。リセットトランジスタ３１４Ａ、３１４Ｂ及び増幅トランジスタ３１５Ａ、３１５Ｂを含むその他の回路要素は、図面において読み出し回路３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ、３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。
【００４９】
図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ、３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。
【００５０】
転送トランジスタ３１１Ａ、３１１Ｂ、コンタクト部３１２Ａ、３１２Ｂ、転送制御線３２０Ａ、３２０Ｂは、フォトダイオード３１０Ａ、３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。
【００５１】
本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ、３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積期間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。
【００５２】
図１１は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。
【００５３】
読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。
【００５４】
読み出し回路３０８Ａは、また、スイッチ４１４、４１５、４１８、４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４、４２５、出力アンプ４２１を含む。スイッチ４１４、４１５は、容量ＣＴＳＡ、ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。
【００５５】
スイッチ４１８、４１９は、容量ＣＴＳＡ、ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８、４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。
【００５６】
読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。
【００５７】
次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。
【００５８】
まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ、３２０Ｂに出力する制御信号φＴＸ１Ａ、φＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ、３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ、３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ、３１０Ｂは、転送トランジスタ３１１Ａ、３１１Ｂ及びリセットトランジスタ３１４Ａ、３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ、３１３Ｂも、リセット状態となる。
【００５９】
次いで、時刻ｔ２において、垂直走査回路３０７は、制御信号φＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。
【００６０】
次いで、時刻ｔ３において、垂直走査回路３０７は、制御信号φＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。
【００６１】
次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ、３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ、３１３Ｂのリセットを解除する。
【００６２】
これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。
【００６３】
時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。
【００６４】
次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
【００６５】
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。
【００６６】
次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。
【００６７】
次いで、時刻ｔ８において、垂直走査回路３０７は、制御信号φＴＸ１Ａ、φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ、３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。
【００６８】
次いで、時刻ｔ９において、垂直走査回路３０７は、制御信号φＴＸ１Ａ、φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ、３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。
【００６９】
これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
【００７０】
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。
【００７１】
次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。
【００７２】
次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。
【００７３】
次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ、３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ、３１３Ｂは、リセットトランジスタ３１４Ａ、３１４Ｂを介して電源線３０５に接続され、リセット状態となる。
【００７４】
図１３は、フォトダイオード３１０Ａ、３１０Ｂにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図１２に示した時刻ｔ１から時刻ｔ１２を表示している。
【００７５】
時刻ｔ２において、制御信号φＴＸ１Ｂをローレベルとして転送トランジスタ３１１Ｂをオフ状態にし、フォトダイオード３１０Ｂにおける信号電荷の蓄積を開始すると、フォトダイオード３１０Ｂが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において制御信号φＴＸ１Ｂをハイレベルにして転送トランジスタ３１１Ｂをオン状態にし、フォトダイオード３１０Ｂの信号電荷をフローティングディフュージョン領域３１３Ｂへ転送するまで継続する。
【００７６】
また、時刻ｔ３において、制御信号φＴＸ１Ａをローレベルとして転送トランジスタ３１１Ａをオフ状態にし、フォトダイオード３１０Ａにおける信号電荷の蓄積を開始する。これにより、フォトダイオード３１０Ａが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において制御信号φＴＸ１Ａをハイレベルにして転送トランジスタ３１１Ａをオン状態にし、フォトダイオード３１０Ａの信号電荷をフローティングディフュージョン領域３１３Ａへ転送するまで継続する。
【００７７】
時刻ｔ８において、フォトダイオード３１０Ｂが保持する信号電荷量ＬＢとフォトダイオード３１０Ａが保持する信号電荷量ＬＡとは、受光効率の差を蓄積期間の差によって相殺することにより、ほぼ同程度となっている。
【００７８】
図１４は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１４（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１４（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１４（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。
【００７９】
時刻ｔａにおいては、図１４（ａ）に示すように、転送トランジスタ３１１Ａ、３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ、３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ、３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光効率が異なるが、蓄積期間の差によって受光効率の差を相殺することで、信号蓄積レベル３２３Ａ、３２３Ｂは同程度になっている。この状態は比較的長く続くため、フォトダイオード３１０Ａの蓄積電荷が隣接するフォトダイオード３１０Ｂに漏れる現象及びフォトダイオード３１０Ｂの蓄積電荷が隣接するフォトダイオード３１０Ａに漏れる現象が、無視できないレベルで発生する。
【００８０】
時刻ｔｂにおいては、図１４（ｂ）に示すように、転送トランジスタ３１１Ａ、３１１Ｂはオン状態であり、転送トランジスタ３１１Ａ、３１１Ｂのポテンシャル障壁が低くなっている。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ａに転送され、フォトダイオード３１０Ｂに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。この際、分離部３２２のポテンシャル障壁も低くなるが、転送トランジスタ３１１Ａ、３１１Ｂのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード３１０Ａ、３１０Ｂの蓄積電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂ、３１０Ａへ漏れる現象はほとんど生じない。
【００８１】
時刻ｔｃにおいては、図１４（ｃ）に示すように、転送トランジスタ３１１Ａ、３１１Ｂはオフ状態であり、ポテンシャルは図１４（ａ）の状態に戻る。
【００８２】
図１５は、撮像素子１８４の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。図において、矢印４５１は画素３０３に入射する光束である。光束４５１は、まずカラーフィルタ２５６に入射して所定の波長成分がここで吸収され、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、先に図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によってライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を射出した光束はシリコン基板２５１に入射する。シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂは、ライトガイド２５５に対して大きく偏芯して配置されている。このため、ライトガイド２５５を射出した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を射出した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ、３１０Ｂでは、入射した光子が信号電荷へと変換される。
【００８３】
この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また。フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。
【００８４】
図１６は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。
【００８５】
時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。
【００８６】
時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。ここで、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。
【００８７】
なお、図１２に示したφＴＸ１ＡがＨ（ハイレベル）である間は、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａがオンしているのでフォトダイオード３１０Ａで発生した信号電荷は蓄積されない。しかし、仮にスイッチＳＴ１５４が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチＳＴ１５４のタイミングにおいて記録されたｐｉｃｔｕｒｅＢに微妙な輝度変化や色相の変化が生じてしまう。
【００８８】
ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１７に示すようになる。
【００８９】
図１８は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。
【００９０】
スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘ５０４に格納されているので、汎用のビューアで再生する際に影響を与えない。
【００９１】
ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。
【００９２】
図１９は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３、５２４、シャッタースピード５２５、５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７、５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８、１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
【００９３】
前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のＩＳＯ感度範囲には３段の差がある。図２０に示すように、ｐｉｃｔｕｒｅＡはＩＳＯ１００〜ＩＳＯ１０２４００、ｐｉｃｔｕｒｅＢはＩＳＯ１２〜ＩＳＯ１２８００となっている。
【００９４】
図２１は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。ｐｉｃｔｕｒｅＡのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、ｐｉｃｔｕｒｅＢのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図２１において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。
【００９５】
高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図２１を用いて説明する。
【００９６】
まず、Ｂｖ１３のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ１００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。
【００９７】
Ｂｖ１０のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。
【００９８】
Ｂｖ６のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【００９９】
Ｂｖ５のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ２５に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【０１００】
以降、輝度が下がるにつれて、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。
【０１０１】
このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲においてｐｉｃｔｕｒｅＡは１／１０００以上のシャッタースピードを保ち、ｐｉｃｔｕｒｅＢは多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、ｐｉｃｔｕｒｅＡではストップモーション効果を得つつ、ｐｉｃｔｕｒｅＢではコマ送り的なジャーキネスのない高品位な動画を得ることができる。
【０１０２】
図２２は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図２２には、横軸を時間として、Ｖ同期信号４８１、ｐｉｃｔｕｒｅＡの蓄積期間４８２、４８３、ｐｉｃｔｕｒｅＢの蓄積期間４８４、４８５を示している。ｎは、フレーム番号である。
【０１０３】
蓄積期間４８２は、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、蓄積期間４８３は、ｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。撮像素子１８４は、ローリング電子シャッター機能で露光動作を行う。このため、ｐｉｃｔｕｒｅＡの蓄積期間は、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次開始し、当該時間間隔で順次終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６が蓄積期間４８３である。
【０１０４】
また、蓄積期間４８４はｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、蓄積期間４８５はｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。ｐｉｃｔｕｒｅＢの蓄積期間もｐｉｃｔｕｒｅＡと同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次開始し、当該時間間隔で順次終了する。蓄積期間が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６までが蓄積期間４８５である。
【０１０５】
ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳＮの良好なノイズ感のない映像となる。
【０１０６】
なお、本実施形態では、ｐｉｃｔｕｒｅＡに対応するフォトダイオード３１０Ａの蓄積期間は、ｐｉｃｔｕｒｅＢに対応するフォトダイオード３１０Ｂの蓄積期間より短くなっている。例えば、図２２では、画面上端ラインのｐｉｃｔｕｒｅＡの蓄積期間４８２は、ｐｉｃｔｕｒｅＢの蓄積期間４８４より短くなっている。同様に、画面下端ラインのｐｉｃｔｕｒｅＡの蓄積期間４８３は、ｐｉｃｔｕｒｅＢの蓄積期間４８５より短くなっている。本実施形態では、この蓄積期間が短いｐｉｃｔｕｒｅＡの映像信号を用いて焦点検出を行う。詳細は後述する。
【０１０７】
図２３は、撮像素子１８４に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのシャッタースピード４９１、４９２及びＦナンバー４９３が表示されている。
【０１０８】
図２４（ａ）、（ｂ）は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得された映像のうちの１フレームを示したものである。図２４（ａ）は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＡの映像である。図２４（ｂ）は、シャッタースピード１／６０、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＢの映像である。図２４（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにブレている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このブレがむしろ良い方向に働いてコマ送り的ないわゆるジャーキネスのない滑らかな高品位な映像となる。
【０１０９】
一方、図２４（ａ）に示した映像はシャッタースピードが速く、ストップモーション効果が現れる。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２５に示すように、ｐｉｃｔｕｒｅＡ４９６とｐｉｃｔｕｒｅＢ４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。
【０１１０】
図２６は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図２６において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。
【０１１１】
まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図２６ではフレーム５７３の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。
【０１１２】
フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＡのデータファイルから、ｐｉｃｔｕｒｅＢと同一タイムコードのフレーム５８２が検索されて表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。
【０１１３】
ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。
【０１１４】
このように、ｐｉｃｔｕｒｅＢを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、ｐｉｃｔｕｒｅＡを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子１８４を用いて実現できる。
【０１１５】
本実施形態では、以上のような構成で、ｐｉｃｔｕｒｅＢに対して相対的に蓄積期間が短いｐｉｃｔｕｒｅＡの映像信号を用いて焦点検出を行う。これは、ｐｉｃｔｕｒｅＡを用いて、よりストップモーション効果の高い高品位な映像を得るためであり、特に被写体が動体である場合には大きな効果がある。図２７を用いて詳細を説明する。なお、本発明では焦点検出方式として、コントラスト情報を用いて前記光学系の焦点を検出する公知のコントラスト方式を用いている。しかし、これに限定されるものではなく、公知の位相差方式を用いてもよい。焦点検出動作に関するプログラムは、図２のシステム制御ＣＰＵ１７８により実行されるが、公知であるため詳細は省略する。
【０１１６】
図２７は、被写体が動いている場合の被写体までの焦点距離の変化を示すグラフである。図２７において、横軸は時間を示し、縦軸は焦点距離を示している。簡略化のため、被写体までの焦点距離が、直線４００１に示すように一定速度で変化する場合を考える。期間４０１１、４０１２、４０１３は、ｐｉｃｔｕｒｅＡによる蓄積期間を示し、期間４０２１、４０２２、４０２３は、ｐｉｃｔｕｒｅＢによる蓄積期間を示している。なお、実際の蓄積期間は、先の図２５で説明したように、画面上端と下端でタイミングが異なるが、図２７には簡略化のため、画面中心付近の１ラインの蓄積期間を示している。被写体までの焦点距離が一定速度で変化する場合は、図２７に示すように、蓄積期間の開始時刻と終了時刻の中間時刻（以下「中心」という）において、理想的な焦点検出の結果が得られる。直線４００１上の丸プロットは、ｐｉｃｔｕｒｅＡの映像信号を用いた場合の理想的な焦点検出のタイミングを示している。一方、直線４００１上の三角プロットは、ｐｉｃｔｕｒｅＢの映像信号を用いた場合の理想的な焦点検出のタイミングを示している。
【０１１７】
しかし、三角プロットで示すｐｉｃｔｕｒｅＢにとって理想的なタイミングで焦点検出を行うと、丸プロットで示すｐｉｃｔｕｒｅＡにとって理想的なタイミングでの焦点検出の結果とは、焦点距離ずれ４０３１、４０３２、４０３３が生じてしまう。これにより、ｐｉｃｔｕｒｅＡから得られる画像に焦点ずれが生じてしまう。特に、ストップモーション効果の高い画像が求められる第１映像信号では、このような焦点ずれが画像の品位を大きく落としてしまう。
【０１１８】
そこで、本実施形態では、図２７の丸プロットにおけるｐｉｃｔｕｒｅＡの映像信号を用いて、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの焦点検出を行う。これにより、ｐｉｃｔｕｒｅＡには焦点距離ずれが生じないので、よりストップモーション効果が必要なｐｉｃｔｕｒｅＡで、焦点精度の高い映像信号を得ることができる。また、静止画として切り出した際にも品位の高い画像を得ることができる。一方、ｐｉｃｔｕｒｅＢにとっては、焦点が若干ずれた映像となってしまうが、そもそもｐｉｃｕｔｅＢは蓄積期間が長いため動体の被写体においてはブレ成分も大きく焦点のずれは目立たない。
【０１１９】
以上のように、本実施形態では、第１光電変換部が出力する第１映像信号を用いて光学系の焦点を検出する焦点検出手段（デジタル信号処理部、システム制御ＣＰＵ）を備えている。また、焦点検出手段による焦点検出結果に基づいて光学系の焦点を調整する焦点調整手段（レンズ制御部、システム制御ＣＰＵ）を備えている。これにより、第２光電変換部よりも焦点ずれが目立ちやすい第１光電変換部にとっての理想的なタイミングで、焦点検出が行われるので、焦点検出及び焦点調整を高精度に行うことができる。
【０１２０】
なお、実際の焦点検出は複数フレームを用いた処理を行うため、映像信号取得から遅れが生じるが、図２７では簡略化のため、その遅れや検出誤差を省略している。また、焦点検出方式としては、撮像素子１８４の画素構造に細工を施した公知の位相差方式の焦点検出を用いてもよい。
【０１２１】
（第２実施形態）
次に、図２８及び図２９を参照しながら第２実施形態による撮像装置について説明する。先の第１実施形態では、受光効率の異なる２つのフォトダイオードを有する画素３０３を用いて、蓄積期間が異なる２つの映像信号を得る方法について説明した。これに対し、本実施形態では、１つのフォトダイオードに対して２つの電荷保持部を有する画素３０３ｂを用いて、蓄積期間が異なる２つの映像信号を得る方法について説明する。本実施形態の撮像装置は、主に画素３０３ｂの構成が第１実施形態と異なっている。その他の構成については概ね第１実施形態と同じであるので説明は省略する。
【０１２２】
図２８は、第２実施形態による撮像装置における画素３０３ｂの等価回路を示す概略図である。図２８に示す本実施形態の画素３０３ｂは、図８に示す第１実施形態の画素３０３に対応するものである。図２８には、行列状に配置された複数の画素３０３ｂのうち、第１行１列（１、１）の画素３０３ｂと、第Ｍ行１列（Ｍ、１）の画素３０３ｂを示し、その他の画素３０３ｂについては記載を省略している。第Ｍ行は画素アレイ３０２の最終行を表し、典型的には数千程度である。画素アレイ３０２を構成する各画素３０３ｂは、概ね同一の構成を有している。このため、図２８に示す第１行１列（１、１）の画素３０３ｂと第Ｍ行１列（Ｍ、１）の画素３０３ｂには同一の符号を付している。
【０１２３】
本実施形態の画素３０３ｂは、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有していることを特徴としている。電荷保持部の詳細については、例えば特許文献２に、１つのフォトダイオード６００に対して１つの電荷保持部を有する構成が開示されているので説明は省略する。以下では、画素３０３ｂが、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有する構成について説明する。
【０１２４】
図２８に示す画素３０３ｂは、フォトダイオード６００、第１電荷保持部６０７Ａ、第２電荷保持部６０７Ｂ、第１転送トランジスタ６０１Ａ、第２転送トランジスタ６０１Ｂ、フローティングディフュージョン領域６０８を少なくとも有している。画素３０３ｂは、リセットトランジスタ６０４、増幅トランジスタ６０５、選択トランジスタ６０６、第３転送トランジスタ６０２Ａ、第４転送トランジスタ６０２Ｂ、オーバーフロートランジスタ６０３等を更に有してもよい。
【０１２５】
以下、第１行１列（１、１）の画素３０３ｂの構成について説明するが、その他の画素３０３ｂについても同様である。画素３０３ｂは、垂直走査回路３０７が出力する制御信号φＴＸ１Ａ、φＴＸ２Ａ、φＴＸ１Ｂ、φＴＸ２Ｂ、φＴＸ３、φＲＥＳ、φＳＥＬにより制御される。電源線６２０、６２１は、各トランジスタに電源を供給する。信号出力線６２３には、画素３０３ｂからの映像信号が出力される。
【０１２６】
フォトダイオード６００は、被写体からの光を光電変換するとともに、生じた信号電荷を蓄積する。第１転送トランジスタ６０１Ａは制御信号φＴＸ１Ａにより制御され、フォトダイオード６００に蓄積された信号電荷を第１電荷保持部６０７Ａへ転送する。第１電荷保持部６０７Ａは、フォトダイオード６００から転送された信号電荷を保持する。第３転送トランジスタ６０２Ａは制御信号φＴＸ２Ａにより制御され、第１電荷保持部６０７Ａが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。
【０１２７】
同様に、第２転送トランジスタ６０１Ｂは制御信号φＴＸ１Ｂにより制御され、フォトダイオード６００に蓄積された信号電荷を第２電荷保持部６０７Ｂへ転送する。第２電荷保持部６０７Ｂは、フォトダイオード６００から転送された信号電荷を保持する。第４転送トランジスタ６０２Ｂは制御信号φＴＸ２Ｂにより制御され、第２電荷保持部６０７Ｂが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。
【０１２８】
増幅トランジスタ６０５は、フローティングディフュージョン領域６０８へ転送された信号電荷量に基づく映像信号を出力する。選択トランジスタ６０６は制御信号φＳＥＬにより制御され、増幅トランジスタ６０５が出力する映像信号を、信号出力線６２３に出力する。リセットトランジスタ６０４は制御信号φＲＥＳにより制御され、フローティングディフュージョン領域６０８へ転送された信号電荷をリセットする。
【０１２９】
このような構成により、本実施形態では、フォトダイオード６００に生じた第１映像信号用の信号電荷を第１電荷保持部６０７Ａへ転送して保持しつつ、第２映像信号用の信号電荷を第２電荷保持部６０７Ｂへ転送して保持することができる。すなわち、蓄積期間が異なる２つの映像信号用の信号電荷を、２つの電荷保持部６０７Ａ、６０７Ｂで独立に保持することができる。
【０１３０】
また、本実施形態の画素３０３ｂは、更にオーバーフロートランジスタ６０３を備えている。オーバーフロートランジスタ６０３は制御信号φＴＸ３により制御され、フォトダイオード６００に蓄積された信号電荷を電源線６２１を介して排出する。これにより、フォトダイオード６００に信号電荷が蓄積されている期間をより自由に制御することができる。
【０１３１】
以後の説明では、第１電荷保持部６０７Ａに保持した信号電荷に基づく第１映像信号を「ｐｉｃｔｕｒｅＡ」、第２電荷保持部６０７Ｂに保持した信号電荷に基づく第２映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。
【０１３２】
次に、本実施形態の撮像装置の制御方法について説明する。図２９は、第２実施形態による撮像装置の制御方法の一例を示すタイミングチャートである。図２９に示すタイミングチャートは、第１映像信号を用いて静止画を生成し、第２映像信号を用いて動画を生成する場合の、画素３０３ｂにおける信号電荷の蓄積期間、転送期間、及び読み出し期間の一例を示している。
【０１３３】
ここで、蓄積期間とは、フォトダイオード６００に発生した信号電荷をフォトダイオード６００で蓄積している期間をいう。また、転送期間とは、フォトダイオード６００に蓄積された信号電荷を電荷保持部６０７Ａ、６０７Ｂへ転送している期間をいう。また、読み出し期間とは、電荷保持部６０７Ａ、６０７Ｂが保持する信号電荷量に応じた映像信号を読み出している期間をいう。図２９ではこれらの期間を、例えば「Ｔ１ａ」のように２つの添字によって区別している。第１の添字は、静止画用の第１映像信号「１」、動画用の第２映像信号「２」のいずれであるかを示している。また、第２の添字は、蓄積期間「ａ」、転送期間「ｔ」、読み出し期間「ｒ」のいずれであるかを示している。
【０１３４】
垂直同期信号６５０は、垂直走査回路３０７から周期Ｔｆで出力される。また、水平同期信号６５１は、垂直走査回路３０７から周期Ｔｈで出力される。図２９には、垂直同期信号６５０の１周期Ｔｆである１フレーム期間中に、静止画用及び動画用の映像信号を各画素３０３ｂからそれぞれ１回ずつ読み出す場合の、各行の画素３０３ｂにおける信号電荷の蓄積期間、転送期間、及び読み出し期間を示している。なお、図２９では、画素アレイ３０２の最終行である第Ｍ行を便宜的にＭ＝１６として描いているが、実際の画素アレイ３０２はより多くの行を有している。
【０１３５】
まず、第１映像信号を用いて静止画を撮影する方法について説明する。画素３０３ｂのフォトダイオード６００は、１フレーム期間中の蓄積期間Ｔ１ａにおいて、全行同時に信号電荷を蓄積する。蓄積期間Ｔ１ａの開始時刻及び終了時刻は、第１転送トランジスタ６０１Ａ又は第２転送トランジスタ６０１Ｂを用いて制御することが可能である。あるいは、更にオーバーフロートランジスタ６０３を用いて制御してもよい。図２９では、画素アレイ３０２の第１行の画素３０３ｂの読み出し期間Ｔ１ｒが開始する直前に、蓄積期間Ｔ１ａが終了するよう制御されている。すなわち、蓄積期間Ｔ１ａは、第１行の画素３０３ｂの読み出し期間Ｔ１ｒの開始時刻を基準時刻として、この基準時刻よりも蓄積期間Ｔ１ａ＋転送期間Ｔ１ｔだけ前の時刻において全行同時に開始される。
【０１３６】
静止画の蓄積期間Ｔ１ａの長さは、撮影者によって予め設定されたシャッタースピードに基づいて決定される。図２９に示す静止画の蓄積期間Ｔ１ａは、１／２０００秒であるが、便宜上、図２９にはこの期間をより長く描いている。１フレーム期間が開始してから静止画の蓄積期間Ｔ１ａが終了するまでの期間Ｔａは、半フレーム期間＝Ｔｆ／２よりも小さくなるようにしている。これにより、少なくとも１フレーム期間の半分以上が、第２映像信号を用いた動画用の蓄積期間として確保される。
【０１３７】
静止画の蓄積期間Ｔ１ａが終了すると、各行の画素３０３ｂのフォトダイオード６００に蓄積された信号電荷が、転送期間Ｔ１ｔにおいて、第１電荷保持部６０７Ａへ転送される。第１電荷保持部６０７Ａは、転送された信号電荷を保持する。その後、読み出し期間Ｔ１ｒにおいて、各行の画素３０３ｂの第１電荷保持部６０７Ａで保持する信号電荷に基づく第１映像信号が読み出される。本実施形態では、読み出し回路が同一列の画素３０３ｂで共用されているため、画素３０３ｂの読み出し期間Ｔ１ｒは、図２９に示すように、第１行から最終行の第Ｍ行まで順番に行われる。
【０１３８】
このように、第１映像信号を用いた静止画の撮影は、全行の画素３０３ｂで第１映像信号の蓄積期間Ｔ１ａが一致するいわゆるグローバル電子シャッター動作となるため、被写体の動きが大きい場合でも歪のない静止画を得ることができる。なお、本実施形態において全行同時というときの同時性は、実用上問題のない程度であればよい。例えば、複数の画素３０３ｂを完全に同時に駆動するとドライバーに負荷がかかるため、この負荷を軽減するために一部の画素３０３ｂで小さな時間差を設ける構成としてもよい。
【０１３９】
次に、第２映像信号を用いて動画を撮影する方法について説明する。画素３０３ｂのフォトダイオード６００は、１フレーム期間中に均等に配置された所定の回数Ｎｐの各蓄積期間Ｔ２ａにおいて、全行同時に信号電荷を蓄積する。蓄積期間Ｔ２ａの開始時刻及び終了時刻は、第１転送トランジスタ６０１Ａ又は第２転送トランジスタ、及びオーバーフロートランジスタ６０３を用いて制御することが可能である。
【０１４０】
なお、図２９では、１フレーム期間中に回数Ｎｐ＝１６回の蓄積期間Ｔ２ａが等間隔に配置されているが、回数Ｎｐは２以上の自然数であればよい。蓄積期間Ｔ２ａの間隔は、水平同期信号６５１の周期Ｔｈの整数倍とすることで、各蓄積期間Ｔ２ａの開始時刻及び終了時刻を行間で合わせることが容易となる。例えば図２９では、蓄積期間Ｔ２ａの間隔を、水平同期信号６５１の周期Ｔｈの２倍としている。しかし、蓄積期間Ｔ２ａの間隔は、このような構成には限定されず、また均等でなくてもよい。典型的には、蓄積期間Ｔ２ａの間隔は、画素アレイ３０２の行数Ｍを回数Ｎｐで割った値Ｍ／Ｎｐを超えない自然数を、水平同期信号６５１の周期Ｔｈに対して乗算した値が設定される。
【０１４１】
動画の蓄積期間Ｔ２ａの長さは、静止画の蓄積期間Ｔ１ａの長さと同様に、撮影者によって予め設定されたシャッタースピードに基づいて決定される。図２９に示す回数Ｎｐの蓄積期間Ｔ２ａの合計の長さは、静止画の蓄積期間Ｔ１ａと同じ１／２０００秒である。図２９では、１フレーム期間中に回数Ｎｐ＝１６回の蓄積期間Ｔ２ａが等間隔で配置されているので、１回当りの各蓄積期間Ｔ２ａの長さはＴ１ａ／Ｎｐ＝１／３２０００秒であるが、便宜上、図２９にはこの期間をより長く描いている。
【０１４２】
動画の蓄積期間Ｔ２ａが終了すると、各行の画素３０３ｂのフォトダイオード６００に蓄積された信号電荷が、転送期間Ｔ２ｔにおいて、第２電荷保持部６０７Ｂへ転送される。第２電荷保持部６０７Ｂは、転送された信号電荷を加算して保持する。その後、読み出し期間Ｔ２ｒにおいて、各行の画素３０３ｂの第２電荷保持部６０７Ｂで保持する信号電荷に基づく第２映像信号が読み出される。本実施形態では、読み出し回路が同一列の画素３０３ｂで共用されているため、画素３０３ｂの読み出し期間Ｔ２ｒは、図２９に示すように、第１行から最終行の第Ｍ行まで順番に行われる。
【０１４３】
このように、第２映像信号を用いた動画の撮影では、回数Ｎｐの蓄積期間Ｔ２ａが１フレーム期間に分散して配置されるので、実質的な露光期間の長さを、１フレーム期間における蓄積期間の分散の範囲に広げることができる。これにより、いわゆるジャーキネスを抑えた滑らかな動画を撮影することができる。
【０１４４】
なお、第２映像信号を用いた動画の撮影は、各蓄積期間Ｔ２ａの開始時刻及び終了時刻については全行同時であるが、読み出し期間Ｔ２ｒの直前の転送期間Ｔ２ｔのタイミングが各行で異なるため、いわゆるローリング電子シャッター動作となる。しかし、読み出し期間Ｔ２ｒの直前の転送期間Ｔ２ｔのタイミングを全行同時とすることで、動画の撮影を、静止画の場合と同様にグローバル電子シャッター動作とすることも可能である。
【０１４５】
図２９に示す次フレーム期間には、シャッタースピードをより長くした場合の、各画素３０３ｂにおける信号電荷の蓄積期間、転送期間、及び読み出し期間を示している。図２９に示す次フレーム期間における静止画の蓄積期間Ｔ１ａの長さは、１／５００秒であり、動画の１回当りの各蓄積期間Ｔ２ａの長さは、Ｔ１ａ／Ｎｐ＝１／８０００秒である。このように、静止画及び動画の蓄積期間Ｔ１ａ、Ｔ２ａが更に長い場合であっても、蓄積期間が異なる２つの映像信号を用いて、動画及び静止画を撮影することができることが分かる。静止画及び動画の蓄積期間が更に短い場合であっても同様である。
【０１４６】
以上のように、本実施形態では、第１電荷保持部に保持された信号電荷に基づく第１映像信号の蓄積期間、及び第２電荷保持部に保持された信号電荷に基づく第２映像信号の蓄積期間を制御する制御手段（垂直走査回路、システム制御ＣＰＵ）を有している。これにより、第１実施形態と同様に、蓄積期間が異なる２つの映像信号を同時に得ることができる。
【０１４７】
また、本実施形態では、１フレーム期間中に第３光電変換部（フォトダイオード）から第２電荷保持部へ信号電荷を転送する回数を、１フレーム期間中に第３光電変換部から第１電荷保持部へ信号電荷を転送する回数よりも多くしている。これにより、第２映像信号（ｐｉｃｔｕｒｅＢ）の１フレーム期間における蓄積期間の分散が相対的に大きくなるため、第２映像信号ではジャーキネスを抑えた滑らかな動画を得ることができる。
【０１４８】
また、本実施形態でも第１実施形態と同様に、１フレーム期間における蓄積期間の分散が相対的に小さい第１映像信号を用いて光学系の焦点を検出することで、第１映像信号にとって理想的なタイミングで焦点検出することができる。この際、第１実施形態と同様に、第１映像信号の蓄積期間の分散の中心と第２映像信号の蓄積期間の分散の中心とが一致するようにする。蓄積期間の分散の中心は、１フレーム期間における最初の蓄積期間の開始時刻から最後の蓄積期間の終了時刻までの中間時刻としてもよいし、複数の蓄積期間の数学的な重心としてもよい。
【０１４９】
なお、以上の説明では、第１電荷保持部に保持された信号電荷に基づいて静止画を生成し、第２電荷保持部に保持された信号電荷に基づいて動画を生成したが、第１電荷保持部と第２電荷保持部を反対にしてもよい。また、フレーム期間ごとに第１電荷保持部と第２電荷保持部を切り替えて用いてもよい。
【０１５０】
（第３実施形態）
第３実施形態は、第１実施形態及び第２実施形態の変形例として、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間の中心を一致させる方法について説明する。これにより、焦点検出をより高精度に行うことができる。
【０１５１】
図３０は、本発明の第３実施形態における、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間を撮像シーケンス上に示したタイミングチャートである。図３０には、ｐｉｃｔｕｒｅＢのＶ同期信号４１０１、ｐｉｃｔｕｒｅＢのＶ同期信号４１０２を示している。また、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間４１０３、及びｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間４１０４を示している。撮像素子１８４は、ローリング電子シャッター方式により露光動作を行う。このため、蓄積期間は、画面上端から画面下端に向けて時系列的に開始され、時系列的に終了する。蓄積期間が終了すると、信号電荷は撮像素子１８４から順次読みだされ、アナログフロントエンド１８５に入力される。時刻ｔ６２からｔ６３までがｐｉｃｔｕｒｅＡの蓄積期間４１０３である。
【０１５２】
また、図３０には、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間４１０５、ｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間４１０６を示している。ｐｉｃｔｕｒｅＡと同様に、蓄積期間は、画面上端から画面下端に向けて時系列的に開始され、時系列的に終了する。蓄積期間が終了すると、信号電荷は撮像素子１８４から順次読みだされ、アナログフロントエンド１８６に入力される。時刻ｔ６１からｔ６４までが蓄積期間４１０５である。
【０１５３】
画面上端ラインのｐｉｃｔｕｒｅＡの蓄積期間４１０３は、ｐｉｃｔｕｒｅＢの蓄積期間４１０５より短くなっている。同様に、画面下端ラインのｐｉｃｔｕｒｅＡの蓄積期間４１０４は、ｐｉｃｔｕｒｅＢの蓄積期間４１０６より短くなっている。このように、全てのラインで、ｐｉｃｔｕｒｅＡに対応するフォトダイオード３１０Ａの蓄積期間が、ｐｉｃｔｕｒｅＢに対応するフォトダイオード３１０Ｂの蓄積期間より短くなっている。
【０１５４】
本実施形態では第１実施形態と同様に、蓄積期間が短いｐｉｃｔｕｒｅＡの映像信号を用いて焦点検出を行う。そして、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間４１０３の中心４１１１と、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間４１０５の中心４１１１とが一致するように制御される。このように、全てのラインで、ｐｉｃｔｕｒｅＡの蓄積期間の中心とｐｉｃｔｕｒｅＢの蓄積期間の中心が一致している。そうすると、ｐｉｃｔｕｒｅＡの映像信号を用いて焦点検出を行う際にも、常にｐｉｃｔｕｒｅＢの蓄積期間の中心で焦点検出を行うこととなるため、図２７で説明した焦点距離ずれが発生しなくなる。これにより、焦点検出をより高精度に行うことができる。なお、被写体の移動速度が一定でない場合は焦点精度が落ちるが、その場合でも第１実施形態に比べてより焦点検出精度の高い映像信号を得ることができる。
【０１５５】
以上のように、本実施形態では、第１光電変換部の蓄積期間の中心と、第２光電変換部の中心とが一致するように、第１光電変換部及び第２光電変換部の蓄積期間を制御する制御手段（垂直走査回路、システム制御ＣＰＵ）を備えている。これにより、焦点検出及び焦点調整をより高精度に行うことができる。
【０１５６】
なお、以上の説明では、２つのフォトダイオード３１０Ａ、３１０Ｂを有する画素３０３を用いて、２つの映像信号を得る方法について説明したが、２つの電荷保持部６０７Ａ、６０７Ｂを有する画素３０３ｂを用いて、２つの映像信号を得てもよい。いずれの場合においても、２つの映像信号の蓄積期間（又はその分散）の中心が互いに一致するように制御することで、焦点検出及び焦点調整を高精度に行うことができる。
【０１５７】
（第４実施形態）
第４実施形態は第１実施形態及び第２実施形態の変形例として、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのフレームレートが異なる場合について説明する。図３１は、本発明の第４実施形態における、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間及びフレームレートを撮像シーケンス上に示したタイミングチャートである。
【０１５８】
図３１には、ｐｉｃｔｕｒｅＡのＶ同期信号４２０１、ｐｉｃｔｕｒｅＢのＶ同期信号４２０２を示している。本実施形態では、このように、第１光電変換部の１フレームレートである第１フレームレートが、第２光電変換部の１フレームレートである第２のフレームレートよりも大きくなっている。
【０１５９】
図３１には、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間４２０３、及びｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間４２０４を示している。撮像素子１８４は、ローリング電子シャッター方式により露光動作を行う。このため、蓄積期間は、画面上端から画面下端に向けて時系列的に開始され、時系列的に終了する。蓄積期間が終了すると、信号電荷は撮像素子１８４から順次読みだされ、アナログフロントエンド１８５に入力される。時刻ｔ７１からｔ７２までが蓄積期間４２０３、時刻ｔ７３からｔ７４までが蓄積期間４２０４である。ｐｉｃｔｕｒｅＡの各フレームの上方には、フレーム番号１〜１６が付してある。
【０１６０】
また、図３１には、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間４２０５、ｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間４２０６を示している。ｐｉｃｔｕｒｅＡと同様に、蓄積期間は、画面上端から画面下端に向けて時系列的に開始され、時系列的に終了する。蓄積期間が終了すると、信号電荷は撮像素子１８４から順次読みだされ、アナログフロントエンド１８６に入力される。時刻ｔ７１からｔ７５までが蓄積期間４２０５、時刻ｔ７３からｔ７６までが蓄積期間４２０６である。ｐｉｃｔｕｒｅＢの各フレームの上方には、フレーム番号１〜４が付してある。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとが、異なる蓄積期間および異なるフレームレートで撮影されているのが分かる。すなわち、ｐｉｃｔｕｒｅＢのフレーム１の蓄積期間である時刻ｔ７１からｔ７６までの間に、ｐｉｃｔｕｒｅＢのフレーム１、フレーム２、フレーム３、フレーム４が含まれるような蓄積期間とフレームレートの設定となっている。
【０１６１】
本実施形態では、ｐｉｃｔｕｒｅＢのフレーム１の焦点検出を行う際に、ｐｉｃｔｕｒｅＡのフレーム１〜４の映像信号を用いて焦点検出を行う。この際、ｐｉｃｔｕｒｅＡのフレーム１〜４の映像信号から得られる４つの焦点検出結果を順次用いて４回の焦点検出を行う。すなわち、ｐｉｃｔｕｒｅＢの蓄積期間中にも、撮影光学系１５２の焦点検出に伴う駆動が行われることとなる。しかしながら、常に最良の状態での焦点距離が維持されるため、ｐｉｃｔｕｒｅＢにとってもより焦点検出精度の高い、高品位な映像を得ることができる。なお、上記例では、ｐｉｃｔｕｒｅＡのフレーム１〜４の映像信号から算出される４つの焦点検出結果のそれぞれに基づいて、光学系の焦点を順次調整する例を説明したが、これに限定されるものではない。例えば、４つの焦点結果の平均値に基づいて、前記光学系の焦点を調整する構成としてもよい。この場合、焦点検出に伴う動作が１回に省略されるため低電力化の効果がある。
【０１６２】
以上のように、本実施形態では、第１光電変換部のフレームレートが第２光電変換部のフレームレートよりも大きく、第２光電変換部の蓄積期間内において得られる複数の第１映像信号を用いて光学系の焦点を検出する。これにより、焦点検出及び焦点調整をより高精度に行うことができる。
【０１６３】
なお、以上の説明では、２つのフォトダイオード３１０Ａ、３１０Ｂを有する画素３０３を用いて、２つの映像信号を得る方法について説明したが、２つの電荷保持部６０７Ａ、６０７Ｂを有する画素３０３ｂを用いて、２つの映像信号を得てもよい。いずれの場合においても、２つの映像信号の蓄積期間（又はその分散）の中心が互いに一致するように制御することで、焦点検出及び焦点調整を高精度に行うことができる。
【０１６４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１６５】
なお、上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１６６】
１００…撮像装置
１５２…撮影光学系
１７０…レンズ制御部
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７、１８８…デジタル信号処理部
２５５…ライトガイド
３０２…画素アレイ
３０３、３０３ｂ…画素
３０７…垂直走査回路
３０３Ａ、３０３Ｂ…画素要素
３０８Ａ、３０８Ａ…読み出し回路
３１０Ａ、３１０Ｂ、６００…フォトダイオード（光電変換部）
３１３Ａ、３１３Ｂ、６０８…フローティングディフュージョン領域
６０７Ａ、６０７Ｂ…電荷保持部
【図１】
2017112596.tif 000003
【図２】
2017112596.tif 000004
【図３】
2017112596.tif 000005
【図４】
2017112596.tif 000006
【図５】
2017112596.tif 000007
【図６】
2017112596.tif 000008
【図７】
2017112596.tif 000009
【図８】
2017112596.tif 000010
【図９】
2017112596.tif 000011
【図１０】
2017112596.tif 000012
【図１１】
2017112596.tif 000013
【図１２】
2017112596.tif 000014
【図１３】
2017112596.tif 000015
【図１４】
2017112596.tif 000016
【図１５】
2017112596.tif 000017
【図１６】
2017112596.tif 000018
【図１７】
2017112596.tif 000019
【図１８】
2017112596.tif 000020
【図１９】
2017112596.tif 000021
【図２０】
2017112596.tif 000022
【図２１】
2017112596.tif 000023
【図２２】
2017112596.tif 000024
【図２３】
2017112596.tif 000025
【図２４】
2017112596.tif 000026
【図２５】
2017112596.tif 000027
【図２６】
2017112596.tif 000028
【図２７】
2017112596.tif 000029
【図２８】
2017112596.tif 000030
【図２９】
2017112596.tif 000031
【図３０】
2017112596.tif 000032
【図３１】
2017112596.tif 000033