(57)【特許請求の範囲】
【請求項１】
第１光電変換部、前記第１光電変換部よりも受光効率が低い第２光電変換部、前記第１光電変換部で光電変換及び蓄積された電荷を保持する第１電荷保持部、及び前記第２光電変換部で光電変換及び蓄積された電荷を保持する第２電荷保持部、を有する画素が行列状に配列された画素アレイと、
前記画素アレイの各列に設けられ、前記画素の前記第１電荷保持部が保持する電荷に基づく第１映像信号を読み出す第１読み出し部と、
前記画素アレイの各列に設けられ、前記画素の前記第２電荷保持部が保持する電荷に基づく第２映像信号を読み出す第２読み出し部と、
前記画素アレイの各行における前記電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、前記第１光電変換部と前記第２光電変換部とで異なる状態において、前記第１映像信号と前記第２映像信号とを比較することにより画像歪を検出する画像歪検出手段と、
を備え、
前記画像歪検出手段は、前記第１光電変換部の前記蓄積期間の開始時刻の時間差を前記第２光電変換部の前記蓄積期間の開始時刻の時間差よりも短くするとともに、前記第１光電変換部の前記蓄積期間が終了してから前記第１映像信号の読み出しを開始するまでの待機期間を長くすることを特徴とすることを特徴とする撮像装置。
【請求項２】
前記第２光電変換部の前記蓄積期間が、前記第１光電変換部の前記蓄積期間よりも長く設定されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像歪検出手段は、前記第１映像信号と前記第２映像信号とを画像マッチングすることにより得られる動きベクトルの大きさが予め設定した閾値を超えている場合に、画像歪が発生していると判断することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像歪検出手段による画像歪の検出結果に基づいて、前記第１光電変換部及び前記第２光電変換部の少なくとも一方の画像歪を補正する画像歪補正手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像歪補正手段は、前記画像歪検出手段によって画像歪が発生していると判断された範囲の前記第２映像信号を、前記第１映像信号で置き換えることにより画像歪を補正することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像歪補正手段は、前記第１光電変換部及び前記第２光電変換部の少なくとも一方の、前記画像歪検出手段によって画像歪が発生していると判断された行に対して、前記蓄積期間の開始時刻の時間差を短くすることにより画像歪を補正することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記画像歪補正手段は、前記第１光電変換部の前記蓄積期間の開始時刻の時間差を短くするのに応じて、前記第１光電変換部の前記蓄積期間が終了してから前記第１映像信号の読み出しを開始するまでの待機期間を長くすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像歪補正手段は、前記第２光電変換部の前記蓄積期間の開始時刻の時間差を短くするのに応じて、前記第２光電変換部の前記蓄積期間を短く設定することにより前記第２映像信号のフレームレートを維持することを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記第２読み出し部が、同一列の異なる行を独立して読み出し可能な複数の読み出し部を用いて構成されることを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
第１光電変換部、前記第１光電変換部よりも受光効率が低い第２光電変換部、前記第１光電変換部で光電変換及び蓄積された電荷を保持する第１電荷保持部、及び前記第２光電変換部で光電変換及び蓄積された電荷を保持する第２電荷保持部、を有する画素が行列状に配列された画素アレイにおいて、
前記画素アレイの各行における電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、前記第１光電変換部と前記第２光電変換部とで異なるように設定するステップと、
前記画素の前記第１電荷保持部が保持する電荷に基づく第１映像信号を読み出すステップと、
前記画素の前記第２電荷保持部が保持する電荷に基づく第２映像信号を読み出すステップと、
前記第１映像信号と前記第２映像信号とを比較することにより画像歪を検出するステップと、
を有し、
前記画像歪を検出するステップは、前記第１光電変換部の前記蓄積期間の開始時刻の時間差を前記第２光電変換部の前記蓄積期間の開始時刻の時間差よりも短くするとともに、前記第１光電変換部の前記蓄積期間が終了してから前記第１映像信号の読み出しを開始するまでの待機期間を長くするステップを有することを特徴とする画像歪検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受光効率の異なる２つの光電変換部を有する撮像装置に関し、特に画像歪の検出方法に関するものである。
【背景技術】
【０００２】
動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴すると同時に、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。
【０００３】
受光効率の異なる２つの光電変換部を有する撮像装置として、例えば、特許文献１には、各画素に非対称な瞳形状を有する一対のフォトダイオードを備えた撮像装置が開示されている。特許文献１に記載の撮像装置では、一対のフォトダイオードのうち、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなるように設計されている。そして、一対のフォトダイオードからの２つの信号を別々の映像データとして用いることで２つの映像を同時に撮影することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０４８４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
２つの映像を同時に撮影する撮像素子の露光期間を制御するためには、フォーカルプレーンシャッターなどのメカニカルなシャッター方式は適さないため、電気的に読み出しタイミングを制御できる電子シャッター方式が必要となる。しかしながら、電子シャッターとして代表的なローリング電子シャッターでは、撮影中に被写体が動いたり、パンニングしたりすると、被写体画像が斜めに歪むいわゆるローリングシャッター歪が発生して画質が低下してしまうという課題がある。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、第１光電変換部、第１光電変換部よりも受光効率が低い第２光電変換部、第１光電変換部で光電変換及び蓄積された電荷を保持する第１電荷保持部、及び第２光電変換部で光電変換及び蓄積された電荷を保持する第２電荷保持部、を有する画素が行列状に配列された画素アレイと、画素アレイの各列に設けられ、画素の第１電荷保持部が保持する電荷に基づく第１映像信号を読み出す第１読み出し部と、画素アレイの各列に設けられ、画素の第２電荷保持部が保持する電荷に基づく第２映像信号を読み出す第２読み出し部と、画素アレイの各行における電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、第１光電変換部と第２光電変換部とで異なる状態において、第１映像信号と第２映像信号とを比較することにより画像歪を検出する画像歪検出手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態による撮像装置を示す外観図である。
【図２】本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。
【図３】本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。
【図４】本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。
【図５】画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。
【図６】本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。
【図７】撮像素子から出力される映像信号を説明するための概略図である。
【図８】本発明の第１実施形態による撮像装置における画素の構成例を示す回路図である。
【図９】本発明の第１実施形態による撮像装置における画素の要部を示す平面レイアウト図である。
【図１０】本発明の第１実施形態による撮像装置における画素のライトガイドを含めた要部を示す平面レイアウト図である。
【図１１】本発明の第１実施形態による撮像装置における読み出し回路の構成を示す回路図である。
【図１２】本発明の第１実施形態による撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。
【図１３】本発明の第１実施形態による撮像装置の撮像シーケンスを説明するためのタイミングチャートである。
【図１４】動画及び静止画撮影データの各フレームに付加されるタイムコードの一例を示す図である。
【図１５】動画及び静止画の撮影データのファイル構造の一例を示す図である。
【図１６】動画及び静止画の撮影条件の設定画面を説明するための図である。
【図１７】受光効率の異なる２つのフォトダイオードを用いて撮影した映像信号のＩＳＯ感度範囲の例を示す図である。
【図１８】本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。
【図１９】ローリング電子シャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。
【図２０】撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。
【図２１】ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。
【図２２】ローリングシャッター歪について説明するための図である。
【図２３】本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法を説明するためのタイミング図である。
【図２４】本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法で撮影した画像の例を示す図である。
【図２５】本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＡのローリングシャッター歪を補正する方法を説明するためのタイミング図である。
【図２６】本発明の第２実施形態による撮像装置におけるローリングシャッター歪を補正した画像の例を示す図である。
【図２７】本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＢのローリングシャッター歪を補正する方法を説明するためのタイミング図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
【００１０】
（第１実施形態）
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
【００１１】
一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。
【００１２】
単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。
【００１３】
また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（ハイ・ダイナミックレンジ）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。
【００１４】
このような背景から、撮像装置内の撮像素子に感度の異なる２つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、２つの画素群のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。
【００１５】
しかしながら、受光効率の異なる２つの光電変換部を有する１つの撮像素子を用いて、２つの映像を同時に撮影しようとすると、絞りが共通であるために２つの映像の露光を同時に適正化することが難しい。特に２つの映像で異なるシャッタースピードが設定されている場合には、２つの映像の一方の露光を適正化すると他方の露光がオーバーまたはアンダーとなってしまう。
【００１６】
そこで、本実施形態では、まず、単一の撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する際に、２つの映像の露光をより適正化する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
【００１７】
図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。
【００１８】
本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。
【００１９】
筐体１５１は、撮像素子等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。
【００２０】
図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。
【００２１】
撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。
【００２２】
アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。
【００２３】
表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。
【００２４】
図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。
【００２５】
画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。
【００２６】
画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。
【００２７】
垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。
【００２８】
読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
【００２９】
タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。
【００３０】
図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。
【００３１】
ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。
【００３２】
図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。
【００３３】
図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。
【００３４】
次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。
【００３５】
撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２からの光束を何れの画素においても高効率で受光することが可能となっている。
【００３６】
図７は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。
【００３７】
このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。
【００３８】
図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＡとなる。また、出力データ２８３は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＢとなる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することがある。
【００３９】
図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応している。
【００４０】
フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、フローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。
【００４１】
同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、フローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。
【００４２】
各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。
【００４３】
フォトダイオード３１０Ａは光電変換により電荷を生成及び蓄積する第１光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成及び蓄積する第２光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を保持する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。
【００４４】
垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。
【００４５】
垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧値に基づく入力を増幅して信号出力線３０４Ａに出力する。
【００４６】
同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。
【００４７】
図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。
【００４８】
図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。
【００４９】
転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。
【００５０】
本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積時間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。
【００５１】
図１１は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。
【００５２】
読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。
【００５３】
読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。
【００５４】
スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。
【００５５】
読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。
【００５６】
次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。
【００５７】
まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。
【００５８】
次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。
【００５９】
次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。
【００６０】
次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。
【００６１】
これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。
【００６２】
時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。
【００６３】
次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
【００６４】
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。
【００６５】
次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。
【００６６】
次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。
【００６７】
時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積時間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。
【００６８】
次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。
【００６９】
これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
【００７０】
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。
【００７１】
次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。
【００７２】
次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。
【００７３】
次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。
【００７４】
図１３は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。
【００７５】
時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。
【００７６】
時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。
【００７７】
ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１４に示すようになる。
【００７８】
図１５は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。
【００７９】
スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘ５０４に格納されているので、汎用のビューアで再生する際に影響を与えない。
【００８０】
ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。
【００８１】
図１６は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
【００８２】
前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のＩＳＯ感度範囲には３段の差がある。図１７に示すように、ｐｉｃｔｕｒｅＡはＩＳＯ１００〜ＩＳＯ１０２４００、ｐｉｃｔｕｒｅＢはＩＳＯ１２〜ＩＳＯ１２８００となっている。
【００８３】
図１８は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。ｐｉｃｔｕｒｅＡのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、ｐｉｃｔｕｒｅＢのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図１８において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。
【００８４】
高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図１８を用いて説明する。
【００８５】
まず、Ｂｖ１３のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ１００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。
【００８６】
Ｂｖ１０のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。
【００８７】
Ｂｖ６のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【００８８】
Ｂｖ５のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ２５に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【００８９】
以降、輝度が下がるにつれて、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。
【００９０】
このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲においてｐｉｃｔｕｒｅＡは１／１０００以上のシャッタースピードを保ち、ｐｉｃｔｕｒｅＢは多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、ｐｉｃｔｕｒｅＡではストップモーション効果を得つつ、ｐｉｃｔｕｒｅＢではコマ送り的なジャーキネスのない高品位な動画を得ることができる。
【００９１】
図１９は、ローリング電子シャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。図１９には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４８２と、ｐｉｃｔｕｒｅＡの下端ラインの蓄積期間４８３を太い実線で示している。また、ｐｉｃｔｕｒｅＢの上端ラインの蓄積期間４８６と、ｐｉｃｔｕｒｅＢの下端ラインの蓄積期間４８７を、同様に太い実線で示している。横軸は時間を表している。なお、図１９には、画素アレイ３０２の任意の１列についてのタイミングシーケンスを示しているが、同一行（同一ライン）の画素は互いに同期して制御されるので、他の列も同様のタイミングシーケンスとなる。
【００９２】
図８で示した転送トランジスタ３１１Ａがオンとなり蓄積期間が終了すると、フォトダイオード３１０Ａが光電変換及び蓄積した電荷は、第１電荷保持部（フローティングディフュージョン領域３１３Ａ）に転送されて保持される。同様に、フォトダイオード３１０Ｂが光電変換及び蓄積した電荷は、第２電荷保持部（フローティングディフュージョン領域３１３Ｂ）に転送されて保持される。各ラインの蓄積期間は、上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。フォトダイオード３１０Ｂはフォトダイオード３１０Ａと比べて感度が低いため、ｐｉｃｔｕｒｅＢはｐｉｃｔｕｒｅＡと比べて蓄積時間が長く設定される。
【００９３】
また、図１９には、第１電荷保持部に保持された映像信号の読み出し期間であって、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４８４と、ｐｉｃｔｕｒｅＡの下端ラインの読み出し期間４８５を点線で示している。また、第２電荷保持部に保持された映像信号の読み出し期間であって、ｐｉｃｔｕｒｅＢの上端ラインの読み出し期間４８８と、ｐｉｃｔｕｒｅＢの下端ラインの読み出し期間４８９を、同様に点線で示している。この読み出し期間には、増幅トランジスタ３１５Ａ、３１５Ｂを介しての読み出し回路３０８Ａ、３０８Ｂへの転送、読み出し回路３０８Ａ、３０８Ｂでの読み出し、及びデジタル信号処理部１８７，１８８への転送が含まれる。各ラインの読み出し期間は、各ラインの蓄積時間終了後に上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。
【００９４】
時刻ｔ５３〜時刻ｔ５４がｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４８２であり、時刻ｔ５６〜時刻ｔ５７がｐｉｃｔｕｒｅＡの下端ラインの蓄積期間４８３である。同様に、時刻ｔ５１〜時刻ｔ５４がｐｉｃｔｕｒｅＢの上端ラインの蓄積期間４８６であり、時刻ｔ５２〜時刻ｔ５７がｐｉｃｔｕｒｅＢの下端ラインの蓄積期間４８７である。また、時刻ｔ５４〜時刻ｔ５５がｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの上端ラインの読み出し期間４８４、４８８であり、時刻ｔ５７〜時刻ｔ５８がｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの下端ラインの読み出し期間４８５、４８９である。
【００９５】
このように、受光効率が高いフォトダイオード３１０ＡによるｐｉｃｔｕｒｅＡの蓄積期間を短く設定し、受光効率が低いフォトダイオード３１０ＢによるｐｉｃｔｕｒｅＢの蓄積期間を長く設定することにより、同程度の強度の映像信号を得ることができる。これにより、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢともゲインアップすることなく、Ｓ／Ｎ比の良好なノイズ感の無い映像を得ることができる。
【００９６】
図２０は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。図２０では、撮影モード選択レバー１５６が、図１（ｂ）の状態から９０度時計方向に回動した位置に設定されたデュアル映像モードとなっている。このため、表示部１５３には、ｐｉｃｔｕｒｅＡの蓄積期間１６４、ｐｉｃｔｕｒｅＢの蓄積期間１６５、及びＦナンバー１６６が表示されている。
【００９７】
図２１は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図２１において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。
【００９８】
まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図２１ではフレーム５７３の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。
【００９９】
フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＡのデータファイルから、ｐｉｃｔｕｒｅＢと同一タイムコードのフレーム５８２が検索されて表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積時間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。
【０１００】
ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。
【０１０１】
このように、ｐｉｃｔｕｒｅＢを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、ｐｉｃｔｕｒｅＡを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子を用いて実現できる。
【０１０２】
また、本実施形態においては、再生時の操作性向上のために、静止画用のファイルと動画用のファイルとを分けて、記録媒体１９３の別々のフォルダにファイルしている。例えば、前述したように、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢとも、同一フレームレート且つ同一のＭＰ４フォーマットで、動画用のフォルダと静止画用のフォルダに分けて記録する。そして、再生ボタン１６１が操作されると、動画用のファイルデータとして記録されたｐｉｃｔｕｒｅＢが、動画として連続再生される。また、静止画用のファイルデータとして記録されたｐｉｃｔｕｒｅＡが、画像送り操作とともに一枚ずつ静止画として再生される。
【０１０３】
動画再生中の静止画の表示については、スイッチＳＴ１５４が操作されたタイミングで、再生中の動画のｐｉｃｔｕｒｅＢと同一タイムコードの静止画ｐｉｃｔｕｒｅＡを表示するようにしてもよい。また、アップダウンスイッチ１５８、１５９を操作してその前後の静止画を表示してもよい。動画撮影及び静止画撮影に用いるｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの組み合わせは撮影時に決定される。そして、撮影されたｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの各々が動画用、静止画用のフォルダにファイルされる。
【０１０４】
以上のように、本実施形態では、第１光電変換部（フォトダイオード３１０Ａ）と、第１光電変換部よりも受光効率が低い第２光電変換部（フォトダイオード３１０Ｂ）を有する画素を備えている。また、動画及び静止画撮影の蓄積期間を含む撮影条件を設定する撮影条件設定手段（スイッチ入力手段、システム制御ＣＰＵ）を備えている。これにより、撮影条件に応じて、動画撮影及び静止画撮影に用いるフォトダイオードの組み合わせを選択することができる。例えば、被写体が暗い場合には、動画も静止画も高受光効率のフォトダイオード３１０ＡによるｐｉｃｔｕｒｅＡを用いることで映像信号のＳ／Ｎ比劣化を低減することができる。あるいは、被写体が明るい場合には、動画も静止画も低受光効率のフォトダイオード３１０ＢによるｐｉｃｔｕｒｅＢを用いることで映像信号のＳ／Ｎ比劣化を低減することができる。
【０１０５】
次に、単一の撮像素子を用いて２つの映像を同時に撮影する際に、ローリングシャッター歪を検出する方法について説明する。
まず、ローリングシャッター歪について説明する。ローリング電子シャッター方式では、画素に保持された映像信号が、画素アレイ３０２の上端ラインから下端ラインへ順に読み出される。すなわち、前のラインの映像信号の読み出しが終了するまでは、次のラインの映像信号の読み出しは待機される。これにより、各ラインの読み出し終了後に開始する蓄積期間も遅延するので、各ラインで蓄積期間の開始タイミングが異なってしまう。この結果、ローリングシャッター歪と呼ばれる画質の劣化が発生する。
【０１０６】
図２２は、ローリングシャッター歪について説明するための図である。図２２（ａ）には、撮影対象となる被写体７０１、７０２を示している。一方、図２２（ｂ）には、ローリング電子シャッター方式により撮影された被写体７０１、７０２を示している。被写体７０１は、実線の枠で示す撮影画角に対して静止しているが、被写体７０２は、撮影画角に対して矢印の方向に移動している。ローリング電子シャッター方式では、図２２（ｂ）に示すように、動きのない被写体７０１は歪みなく撮影されるが、動きのある被写体７０２は歪んで撮影される。これがローリングシャッター歪である。
【０１０７】
なお、図２２では被写体が撮影画角に対して動いている場合について説明したが、撮影者がカメラを水平方向にパンニング動作を行ったときのように、撮影画角が被写体に対して動いているような場合にもローリングシャッター歪は発生する。また、ローリングシャッター歪は、例えばフォーカルプレーンシャッターのようなメカシャッター方式においても発生する。しかし、メカシャッター方式では、１フレームの上端から下端までのシャッター幕の移動時間がローリング電子シャッター方式に比べて短いため、ローリング電子シャッター歪は抑制されて識別されにくい。
【０１０８】
本実施形態では、ローリングシャッター歪を検出する画像歪検出モードを有している。画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを比較することによりローリングシャッター歪を検出する。この画像歪検出モードは、撮影者が、図１で示したメニューボタン１５７、アップダウンスイッチ１５８、１５９を撮影前に操作することにより設定する。
【０１０９】
次に、画像歪検出モードにおける蓄積及び読み出しタイミングについて説明する。図２３は、本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法を説明するためのタイミング図である。図２３は、図１９と同様に、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングシーケンスを示す図であり、特に、画像歪検出モードにおけるタイミングシーケンスを示している。
【０１１０】
図２３に示すｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングは、図１９と同様であるので、図１９と同じ符号を付して説明は省略する。以下では、ｐｉｃｔｕｒｅＡのシーケンスについて説明する。画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで、フォトダイオードが光電変換した電荷の蓄積及び読み出しタイミングが異なる。図２３には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９１と、その次のラインの蓄積期間４９２を太い実線で示している。蓄積期間４９１、４９２においてフォトダイオード３１０Ａが光電変換及び蓄積した電荷は、図８に示す画素３０３に設けられた第１電荷保持部（フローティングディフュージョン領域３１３Ａ）に転送されて保持される。
【０１１１】
また、図２３には、第１電荷保持部（フローティングディフュージョン領域３１３Ａ）に保持された電荷信号の読み出し期間であって、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９３と、その次のラインの読み出し期間４９４を点線で示している。この読み出し期間には、図３に示す画素要素３０３Ａから第１読み出し部（読み出し回路３０８Ａ）への転送、第１読み出し部による読み出し、及びデジタル信号処理部への転送が含まれる。
【０１１２】
時刻ｔ５９〜時刻ｔ６１が上端ラインの蓄積期間４９１であり、時刻ｔ６０〜時刻ｔ６２がその次のラインの蓄積期間４９２である。また、時刻ｔ６１〜時刻ｔ６３が上端ラインの読み出し期間４９３であり、時刻ｔ６３〜時刻ｔ６４がその次のラインの読み出し期間４９４である。
【０１１３】
図２３に示す画像歪検出モードでは、図１９で示した通常撮影モードと比較して、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９１の開始時刻ｔ５９から、その次のラインの蓄積期間４９２の開始時刻ｔ６０までの時間が短くなっている。一方、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９３の開始時刻ｔ６１から、その次のラインの読み出し期間４９４の開始時刻ｔ６３までの時間は変わらない。これは、同一列の異なるラインで読み出し回路３０８が共用されている場合には、読み出し処理を１ラインずつ順番に行う必要があり、１フレームの全体の読み出し期間は短くできないためである。よって、画像歪検出モードにおいても、読み出し処理は、各ラインの蓄積期間の終了後すぐに行われるのではなく、前のラインの読み出し処理が終了するまで待機される。このように、画像歪検出モードにおいては、画素アレイの各行で同期して蓄積される電荷の蓄積期間の開始時刻と、他の行の蓄積期間の開始時刻との時間差（以下単に「蓄積期間の開始時刻の時間差」という）が、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで異なる。また、この結果として、蓄積期間が終了してから読み出しを開始するまでの待機期間も異なる。
【０１１４】
図２３に示すように、ｐｉｃｔｕｒｅＢは、各ラインにおいて、第２電荷保持部（フローティングディフュージョン領域３１３Ｂ）への電荷の転送後、待機期間なしに第２読み出し部（読み出し回路３０８Ｂ）により順次読み出される。一方、ｐｉｃｔｕｒｅＡは、第１電荷保持部（フローティングディフュージョン領域３１３Ａ）への電荷の転送後、各ラインにおいて、待機時間を前のラインよりも長くしながら第１読み出し部（読み出し回路３０８Ａ）により順次読み出される。
【０１１５】
図２４は、本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法で撮影した画像の例を示す図である。図２４（ａ）に示すｐｉｃｔｕｒｅＡによる画像、及び図２４（ｂ）に示すｐｉｃｔｕｒｅＢによる画像は、図２３に示すシーケンスに従って、図２２（ａ）に示す被写体７０１、７０２を撮影することにより得られる。図２４（ｂ）に示すｐｉｃｔｕｒｅＢによる画像には、図２２（ｂ）と同様に、動きのある被写体７０２にローリングシャッター歪が発生している。一方、図２４（ａ）に示すｐｉｃｔｕｒｅＡによる画像は、各ラインにおける蓄積期間の開始時刻の他のラインとの差を短くしたため、図２４（ｂ）と比べて被写体７０２のローリングシャッター歪が低減されている。このように、画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とで、ローリングシャッター歪の大きさが異なる。
【０１１６】
そこで、本実施形態では、ｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とを比較することにより、ローリングシャッター歪を検出する画像歪検出手段を備える。画像歪検出手段はシステム制御ＣＰＵ１７８により実行され、例えばｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とを画像マッチングにより比較する。そして、動きのある被写体７０２を撮影したときに発生するローリングシャッター歪特有のベクトルを検出する。図２４（ｃ）は、図２４（ａ）の画像と図２４（ｂ）の画像とを重ね合わせた画像を示している。図２４（ｃ）には、ｐｉｃｔｕｒｅＡによる画像における被写体７０２の輪郭７０２ａを点線で示し、ｐｉｃｔｕｒｅＢによる画像における被写体７０２の輪郭７０２ｂを実線で示している。そして、図２４（ｄ）には、輪郭７０２ａと輪郭７０２ｂを抽出して示すとともに、輪郭７０２ａと輪郭７０２ｂの対応するいくつかの点の動きベクトルを矢印で示している。図２４（ｄ）に示すように、動きベクトルが上端方向から下端方向に大きくなっているのがローリングシャッター歪の特徴である。画像歪検出手段は、このような動きベクトルが検出され、且つその大きさが予め設定した閾値を超えている場合にローリングシャッター歪が発生していると判断する。
【０１１７】
以上のように、本実施形態の撮像装置は、第１光電変換部（フォトダイオード３１０Ａ）と、第１光電変換部よりも受光効率が低い第２光電変換部（フォトダイオード３１０Ｂ）を備えている。また、第１映像信号（ｐｉｃｔｕｒｅＡ）と第２映像信号（ｐｉｃｔｕｒｅＢ）とを比較することにより画像歪（ローリングシャッター歪）を検出する画像歪検出手段（システム制御ＣＰＵ）を備えている。ここで、画像歪検出手段は、画像歪を検出する際には、画素アレイの各行における電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、第１光電変換部と第２光電変換部とで異なるように設定する。これにより、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる。
【０１１８】
（第２実施形態）
本発明の第２実施形態による撮像装置について、図２５乃至図２７を用いて説明する。本実施形態では、ローリングシャッター歪を検出した場合に、ローリングシャッター歪を補正する方法について説明する。本実施形態では、第１実施形態で説明した画像歪検出手段に加え、ローリングシャッター歪を補正する画像歪補正手段を備える。画像歪補正手段は、画像歪検出手段と同様にシステム制御ＣＰＵ１７８によって実行される。
【０１１９】
図２５は、本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＡのローリングシャッター歪を補正する方法を説明するためのタイミング図である。図２５は、画像歪補正手段によってローリングシャッター歪が発生していると判断された場合に、ローリングシャッター歪を補正するための蓄積及び読み出しのタイミングシーケンスを示している。図２５に示すｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングは、図１９と同様であるので、図１９と同じ符号を付して説明は省略する。
【０１２０】
図２５には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９５と、その次のラインの蓄積期間４９６を太い実線で示している。また、図２５には、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９７と、その次のラインの読み出し期間４９８を点線で示している。時刻ｔ６５は上端ラインの蓄積期間４９５の開始時刻であり、時刻ｔ６６はその次のラインの蓄積期間４９６の開始時刻である。また、時刻ｔ６７は上端ラインの読み出し期間４９７の開始時刻であり、時刻ｔ６８は読み出し期間４９８の開始時刻である。
【０１２１】
図２５に示すｐｉｃｔｕｒｅＡのタイミングシーケンスは、図２３に示すｐｉｃｔｕｒｅＡのタイミングシーケンスと比較して、各ラインの電荷蓄積期間の開始時刻を繋ぐ線の傾きが大きくなっている。すなわち、画素アレイの各ラインにおける蓄積期間の開始時刻の時間差が短くなっている。具体的には、図２５に示す蓄積期間４９５の開始時刻ｔ６５から次の蓄積期間４９６の開始時刻ｔ６６までの時間が、図２３に示す蓄積期間４９１の開始時刻ｔ５９から次の蓄積期間４９２の開始時刻ｔ６０までの時間よりも短く設定されている。ただし、各ラインの読み出し期間の開始時刻は、タイミングシーケンス変更前と同様であり、前のラインの読み出しが終了してから、次のラインの読み出しが行われる。このようなタイミングシーケンスに従って、図２２（ａ）に示す被写体７０１、７０２を撮影することにより、図２６に示すｐｉｃｔｕｒｅＡによる画像が得られる。図２６に示すｐｉｃｔｕｒｅＡによる画像では、各ラインにおける蓄積期間の開始時刻の時間差が短くなったことで、図２４（ａ）と比べて被写体７０２のローリングシャッター歪が低減されている。このように、ｐｉｃｔｕｒｅＡに対しては、蓄積期間の開始時刻の時間差を短くするとともに、蓄積期間が終了してから読み出しが開始されるまでの待機時間を長くすることにより、ローリングシャッター歪を低減することができる。
【０１２２】
ローリングシャッター歪の大きさは、被写体の撮影画角に対する移動速度に依存する。よって、画像歪検出手段により検出したローリングシャッター歪のベクトル変化に応じて、ライン毎に蓄積期間の開始時刻の時間差を短くすることで、ローリングシャッター歪を低減することができる。
【０１２３】
また、画像歪検出手段によりローリングシャッター歪が発生している範囲が分かるので、画像歪補正手段は、ｐｉｃｔｕｒｅＢのローリングシャッター歪を補正することもできる。例えば、ｐｉｃｔｕｒｅＢによる画像のローリングシャッター歪が発生している範囲を、同一の範囲のｐｉｃｔｕｒｅＡによる画像で置き換えることにより、ｐｉｃｔｕｒｅＢの画像歪を補正する。このようにして、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの両方のローリングシャッター歪を低減することができる。なお、ｐｉｃｔｕｒｅＢの画像歪の補正手段は、ローリングシャッター歪の発生している範囲の画像を置き換える方法には限定されず、例えば、幾何学的変換を行うことにより画像歪を補正することも可能である。
【０１２４】
ところで、ローリングシャッター歪を除去するためには、全ラインにおいて蓄積期間を同一の時刻に開始すればよいようにも思われる。しかし、フローティングディフュージョン領域に電荷が保持されている待機期間が長いと、暗電流等のノイズが生じてしまう。したがって、蓄積期間が終了してから読み出しを開始するまでの待機期間は、発生するノイズとのバランスを考慮した上で設定する必要がある。また、撮影中において被写体の撮像素子面上での速度が変化することも考えられる。そこで、ローリングシャッター歪が小さいときは、ライン毎に蓄積期間の開始時刻の時間差を長くしてノイズ影響を低減するなど、ローリングシャッター歪の量に合わせてタイミングシーケンスを制御することが望ましい。
【０１２５】
次に、ｐｉｃｔｕｒｅＢについても、ｐｉｃｔｕｒｅＡと同様に蓄積時間の開始時刻の時間差を短くすることによってローリングシャッター歪を補正する方法について説明する。図２７は、本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＢのローリングシャッター歪を補正する方法を説明するためのタイミング図である。上段の図２７（ａ）には、従来と同様のｐｉｃｔｕｒｅＢの蓄積期間４６３及び読み出しのタイミングシーケンスを示している。また、中段の図２７（ｂ）には、各ラインの蓄積期間４６４の開始時刻の時間差を短くしたｐｉｃｔｕｒｅＢのタイミングシーケンスを示している。
【０１２６】
図２７（ｂ）に示す補正後のｐｉｃｔｕｒｅＢのフレーム期間ｔ７０〜ｔ７２は、図２７（ａ）に示す補正前のｐｉｃｔｕｒｅＢのフレーム期間ｔ７０〜ｔ７１と比較して長くなってしまっている。これは、蓄積期間４６４の長さを維持したまま、読み出しを開始するまでの待機期間を長くしたためである。この結果、図２７（ｂ）では、ｐｉｃｔｕｒｅＢのフレームレートが低下してしまう。これに対し、ｐｉｃｔｕｒｅＡでは、蓄積期間４９５、４９６が短く、蓄積も読み出しも行わない余裕時間がフレーム期間中に存在するために、画像歪補正手段による補正後でもフレーム期間は長くならない。
【０１２７】
そこで、本実施形態では、ｐｉｃｔｕｒｅＢの蓄積期間の開始時刻の時間差を短くするのに合わせて、図２７（ｃ）に示すように蓄積期間４６６を短く設定する。これにより、補正後のフレーム期間を、図２７（ｃ）に示すように、図２７（ａ）と同じ時刻ｔ７０〜時刻ｔ７１に収めることができるので、フレームレートを維持したままローリングシャッター歪を低減することができる。また、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで、読み出しタイミングを合わせることができるので撮像素子の制御を簡素化できる。
【０１２８】
ところで、画像歪検出モードでない通常のモードにおいては、前のラインの電荷保持部（フローティングディフュージョン領域３１３Ａ、３１３Ｂ）からの読み出し処理が終了した後に、次のラインにおける読み出し処理が行われる。例えば、図１９を用いて説明した読み出し回路３０８内のノイズを除去する二重相関サンプリング回路の読み出し処理は、図１９のタイミングシーケンスの点線で示した読み出し期間４８８内に行われる。このように、通常のモードにおいては、撮像素子の同一列の異なるラインの画素について、読出しが同時に行われることはないので、読み出し回路３０８は、同一列の異なるラインの画素で共用される。ここでいう、同一列の異なるラインの画素とは、例えば図３でいう同一の垂直走査用の信号出力線３０４Ａでつながれた縦方向に並ぶフォトダイオード群に対応する画素のことである。
【０１２９】
一方、画像歪検出モードにおいては、前のラインの読み出し処理が終了する前に、次のラインの読み出し処理を行うことができれば、ｐｉｃｔｕｒｅＢについても、蓄積期間を短くすることなく、蓄積時間の開始時刻の時間差を短くすることができる。そこで、本実施形態では、第２読み出し部（読み出し回路３０８Ｂ）を、同一列の異なる行を独立して読み出し可能な複数の読み出し部を用いて構成することを考える。
例えば、あるラインの読み出し処理が終了した後に、その５行下のラインの読み出し処理が開始されるものとする。ｎを１からＮまでの自然数とし、撮像素子の総ライン数を（５Ｎ＋１）とするとき、（５ｎ＋１）となる複数のラインについてのみ、同一の読み出し回路３０８を共用する。同様に（５ｎ＋２）行、（５ｎ＋３）行、及び（５ｎ＋４）となる複数のラインの画素について、それぞれ独立した読み出し回路を共用する。これにより、（５ｎ＋１）行を読み出している間でも、（５ｎ＋２）行、（５ｎ＋３）行、及び（５ｎ＋４）行の読み出し処理を並行して行うことができる。また、各画素に読み出し回路を設ける場合に比べて、読み出し回路３０８の数を抑えて回路規模の増加を抑えることができる。
【０１３０】
以上のように、本実施形態では、画像歪検出手段による画像歪の検出結果に基づいて、第１光電変換部及び第２光電変換部の少なくとも一方の画像歪を補正する画像歪補正手段を備えている。これにより、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を補正することができる。
【０１３１】
なお、システム制御ＣＰＵ１７８によって実行される画像歪補正手段は、ローリングシャッター歪を補正した画像を記録媒体に記録してもよく、その他の方法を用いてもよい。例えば、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢに対して画像歪補正を行わずにそのまま記録媒体に記録しておき、画像歪検出手段及び画像歪補正手段を有するパーソナルコンピュータ等の外部の映像処理装置で画像を取り込んでから、補正処理をしてもよい。
【０１３２】
（変形実施形態）
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１等に示した構成に限定されるものではない。また、光電変換部は必ずしも図４に示すようなフォトダイオードに限定されるものではなく、光電変換機能を有するものであればよい。
【０１３３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３４】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１３５】
１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ（画像歪検出手段、画像歪補正手段）
１８４…撮像素子
１８７，１８８…デジタル信号処理部
２５５…ライトガイド
３０２…画素アレイ
３０３…画素
３０３Ａ，３０３Ｂ…画素要素
３０８Ａ，３０８Ａ…読み出し回路（読み出し部）
３１０Ａ，３１０Ｂ…フォトダイオード（光電変換部）
３１３Ａ，３１３Ｂ…フローティングディフュージョン領域（電荷保持部）
【図１】
0006674225.tif 000002
【図２】
0006674225.tif 000003
【図３】
0006674225.tif 000004
【図４】
0006674225.tif 000005
【図５】
0006674225.tif 000006
【図６】
0006674225.tif 000007
【図７】
0006674225.tif 000008
【図８】
0006674225.tif 000009
【図９】
0006674225.tif 000010
【図１０】
0006674225.tif 000011
【図１１】
0006674225.tif 000012
【図１２】
0006674225.tif 000013
【図１３】
0006674225.tif 000014
【図１４】
0006674225.tif 000015
【図１５】
0006674225.tif 000016
【図１６】
0006674225.tif 000017
【図１７】
0006674225.tif 000018
【図１８】
0006674225.tif 000019
【図１９】
0006674225.tif 000020
【図２０】
0006674225.tif 000021
【図２１】
0006674225.tif 000022
【図２２】
0006674225.tif 000023
【図２３】
0006674225.tif 000024
【図２４】
0006674225.tif 000025
【図２５】
0006674225.tif 000026
【図２６】
0006674225.tif 000027
【図２７】
0006674225.tif 000028