(57)【要約】【課題】受光効率の異なる複数の光電変換部を含む画素を有する撮像素子において欠陥画素が存在する場合に、欠陥画素の画素値を適切に補正してユーザの意図に応じた画像を取得しうる撮像装置及び映像処理装置を提供する。【解決手段】第１の光電変換部を含む第１の画素要素と、第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有し、第１の光電変換部において生成された信号電荷に基づく第１の映像信号と、第２の光電変換部において生成された信号電荷に基づく第１の映像信号と同期した第２の映像信号とを取得する撮像素子と、第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、第１の映像信号における欠陥画素要素の画素値を、欠陥画素の第２の画素要素の第１の画素値と、欠陥画素に隣接する他の画素の第１の画素要素の第２の画素値とに基づいて算出する信号処理部と、を有する。【選択図】図３４
2017126898.tif 000002
【特許請求の範囲】
【請求項１】
第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有し、前記第１の光電変換部において生成された信号電荷に基づく第１の映像信号と、前記第２の光電変換部において生成された信号電荷に基づく映像信号であって、前記第１の映像信号と同期した第２の映像信号とを取得する撮像素子と、
前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像信号における前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて算出する信号処理部と
を有することを特徴とする撮像装置。
【請求項２】
前記信号処理部は、前記第１の画素値と前記第２の画素値とを所定の比率で合算し、前記欠陥画素要素の前記画素値を算出する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記信号処理部は、階調を優先した画像を取得するときは、前記第２の画素値を合算する比率を前記第１の画素値を合算する比率よりも高くする
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記他の画素の前記第２の画素値の変化が、前記欠陥画素に対して隣接する方向によって異なっているときは、画素値の変化が空間的に少ない方向に位置する前記他の画素の前記第２の画素値を用いて前記欠陥画素の前記画素値を算出する
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記信号処理部は、解像度を優先した画像を取得するときは、前記第１の画素値を合算する比率を前記第２の画素値を合算する比率よりも高くする
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項６】
前記信号処理部は、前記欠陥画素の第２の画素要素の前記第２の光電変換部において生成された信号電荷の量が所定値よりも多いときは、前記第２の画素値を合算する比率を前記第１の画素値を合算する比率よりも高くする
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項７】
前記信号処理部は、前記欠陥画素の第２の画素要素の前記第２の光電変換部において生成された信号電荷の量が所定値よりも少ないときは、前記第２の画素値を合算する比率を前記第１の画素値を合算する比率よりも高くする
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項８】
前記信号処理部は、前記欠陥画素の付近のコントラストが所定値よりも小さいときは、前記第２の画素値を合算する比率を前記第１の画素値を合算する比率よりも高くする
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項９】
前記信号処理部は、前記第１の画素値と、前記他の画素の前記第１の画素要素と前記第２の画素要素との画素値の比率とに基づいて、前記欠陥画素要素の前記画素値を算出する
ことを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記第１の映像信号と前記第２の映像信号とをファイルに記録する際に、前記欠陥画素要素の位置を前記ファイルにメタデータとして記録する
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像素子は、前記複数の画素のそれぞれに対応して、入射した光を前記画素に導く複数のライトガイドを更に有し、
それぞれの前記画素に含まれる前記第１の光電変換部及び前記第２の光電変換部は、１つの前記ライトガイドを共有する
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の映像信号及び前記第２の映像信号を用いてハイ・ダイナミックレンジ映像を合成するハイ・ダイナミックレンジ映像合成部を更に有する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１３】
第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有する撮像素子により取得された映像データであって、前記第１の光電変換部において生成された信号電荷に基づく第１の映像データと、前記第２の光電変換部において生成された信号電荷に基づく映像データであって、前記第１の映像データと同期した第２の映像データとを取得する映像データ取得部と、
前記撮像素子の前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像データにおける前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて補正する補正処理部と
を有することを特徴とする映像処理装置。
【請求項１４】
前記第１の映像データを記録する第１のファイルに、前記欠陥画素が存在する位置が記録されている
ことを特徴とする請求項１３記載の映像処理装置。
【請求項１５】
第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有する撮像素子により取得された映像データであって、前記第１の光電変換部において生成された信号電荷に基づく第１の映像データと、前記第２の光電変換部において生成された信号電荷に基づく映像データであって、前記第１の映像データと同期した第２の映像データとを取得し、
前記撮像素子の前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像データにおける前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて補正する
ことを特徴とする映像処理方法。
【請求項１６】
第１の光電変換部と第２の光電変換部とをそれぞれが含む複数の画素を有する撮像素子により取得された映像データを処理する映像処理装置において実行されるプログラムであって、コンピュータを、
前記第１の光電変換部において生成された信号電荷に基づく第１の映像データと、前記第２の光電変換部において生成された信号電荷に基づく映像データであって、前記第１の映像データと同期した第２の映像データとを取得する手段、及び
前記撮像素子の前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像データにおける前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて補正する手段
として機能させるプログラム。
【請求項１７】
請求項１６に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び映像処理装置に関する。
【背景技術】
【０００２】
動画と静止画を一台のカメラで同時に撮影できれば、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画として楽しむことも可能となり、撮影された映像の価値を大きく高めることができる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影できれば、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむことも可能となり、視聴者に対して動感を豊かに伝えることができる。また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（ハイ・ダイナミックレンジ）技術がある。これは、感度の異なる２つの画素群からの出力を合成することで、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。
【０００３】
このような映像を撮影するための撮像装置として、受光効率の異なる複数の光電変換部を含む画素を有する撮像素子を用いた撮像装置が提案されている。ところで、撮像素子においては、信号を正常に出力できない画素（いわゆる欠陥画素）を完全になくすことは困難であるため、欠陥画素が存在した場合にその画素値を補正するための技術が提案されている。
【０００４】
特許文献１には、各単位画素が複数の光電変換部を有する撮像装置において、欠陥のある光電変換部の画素値を、同一の画素に含まれる他の光電変換部の画素値又は他の画素に含まれる光電変換部の画素値に基づいて補正することが記載されている。また、特許文献２には、各画素が主感光画素と従感光画素とを有する固体撮像装置において、従感光画素が欠陥である場合に、従感光画素の画素値を、主感光画素の画素値に基づいて補正することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０２６７１０号公報
【特許文献２】特開２００４−２２２１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザが映像に求める要求には様々なものがあり、特許文献１及び特許文献２に記載の方法により欠陥画素の画素値を補正した場合に、必ずしもユーザの意図を反映した映像が得られるとは限らなかった。
【０００７】
本発明の目的は、受光効率の異なる複数の光電変換部を含む画素を有する撮像素子に欠陥画素が存在する場合に、欠陥画素の画素値を適切に補正してユーザの意図に応じた映像を取得しうる撮像装置及び映像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有し、前記第１の光電変換部において生成された信号電荷に基づく第１の映像信号と、前記第２の光電変換部において生成された信号電荷に基づく映像信号であって、前記第１の映像信号と同期した第２の映像信号とを取得する撮像素子と、前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像信号における前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて算出する信号処理部とを有する撮像装置が提供される。
【０００９】
また、本発明の他の一観点によれば、第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有する撮像素子により取得された映像データであって、前記第１の光電変換部において生成された信号電荷に基づく第１の映像データと、前記第２の光電変換部において生成された信号電荷に基づく映像データであって、前記第１の映像データと同期した第２の映像データとを取得する映像データ取得部と、前記撮像素子の前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像データにおける前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて補正する補正処理部とを有する映像処理装置が提供される。
【００１０】
また、本発明の他の一観点によれば、第１の光電変換部を含む第１の画素要素と、前記第１の光電変換部とは感度の異なる第２の光電変換部を含む第２の画素要素とをそれぞれが含む複数の画素を有する撮像素子により取得された映像データであって、前記第１の光電変換部において生成された信号電荷に基づく第１の映像データと、前記第２の光電変換部において生成された信号電荷に基づく映像データであって、前記第１の映像データと同期した第２の映像データとを取得し、前記撮像素子の前記複数の画素に、前記第１の画素要素が欠陥画素要素である欠陥画素が含まれる場合に、前記第１の映像データにおける前記欠陥画素要素の画素値を、前記欠陥画素の前記第２の画素要素の第１の画素値と、前記欠陥画素に隣接する他の画素の前記第１の画素要素の第２の画素値とに基づいて補正する映像処理方法が提供される。
【発明の効果】
【００１１】
本発明によれば、受光効率の異なる複数の光電変換部を含む画素を有する撮像素子において欠陥画素が存在する場合に、欠陥画素の画素値を適切に補正してユーザの意図に応じた映像を取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による撮像装置を示す外観図である。
【図２】本発明の一実施形態による撮像装置の概略構成を示すブロック図である。
【図３】本発明の一実施形態による撮像装置の撮像素子の構成例を示すブロック図である。
【図４】本発明の一実施形態による撮像装置における撮像素子の内部構造を示す断面図である。
【図５】画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。
【図６】本発明の一実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。
【図７】撮像素子から出力される映像信号を説明する概略図である。
【図８】本発明の一実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。
【図９】本発明の一実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その１）である。
【図１０】本発明の一実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その２）である。
【図１１】本発明の一実施形態による撮像装置の撮像素子の読み出し回路の構成図を示す回路図である。
【図１２】撮像素子の駆動シーケンスを示すタイミングチャートである。
【図１３】フォトダイオードにおける信号電荷の時間的な変化を示すグラフである。
【図１４】図９のＡ−Ｂ線に沿った画素のポテンシャル図である。
【図１５】撮像素子の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。
【図１６】本発明の一実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。
【図１７】動画データの各フレームに付加されるタイムコードの値の一例を示す図である。
【図１８】「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のファイル構造の一例を示す図である。
【図１９】「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。
【図２０】「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のＩＳＯ感度範囲の関係を示す図である。
【図２１】本発明の一実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。
【図２２】「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピードの差異を撮像シーケンス上で説明する図である。
【図２３】撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。
【図２４】スイッチＳＴ、スイッチＭＶを操作して取得された映像のうちの１フレームを示す図である。
【図２５】クロストーク補正を施した後の映像の一例を示す図である。
【図２６】表示部上に「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を並べて表示した様子を示す図である。
【図２７】ストレージに格納された「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の活用例を説明するための図である。
【図２８】「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の蓄積動作を撮像シーケンス上で説明するための図である。
【図２９】ＨＤＲ撮影を行う場合の「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の信号レベルと合成比率とを説明する図である。
【図３０】ＨＤＲ合成用の「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の例を示す図である。
【図３１】クロストーク補正処理後にＨＤＲ映像を合成した結果を表示部に表示した状態を示す図である。
【図３２】欠陥画素要素とその画素値の補正に用いる画素要素とを説明する図である。
【図３３】被写体の一例を示す図である。
【図３４】本発明の一実施形態による映像処理方法を示すフローチャートである。
【図３５】情報処理装置における処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の一実施形態による撮像装置について、図１乃至図３５を用いて説明する。本実施形態では、撮像のための撮像素子や撮影光学系等と映像処理装置とを備えた撮像装置を、本発明の好適な実施の形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
【００１４】
図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。
【００１５】
本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。
【００１６】
筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。
【００１７】
図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルタ１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。
【００１８】
撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすのに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルタ１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルタ１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。
【００１９】
アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換処理を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。この意味で、デジタル信号処理部１８７，１８８は、補正処理部でもある。デジタル信号処理部１８７，１８８が行う補正には、後述する欠陥画素の画素値の補正や、クロストーク補正が含まれる。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。
【００２０】
表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。システム制御ＣＰＵ１７８は、不揮発のレジスタを備えており、工場での調整値などを記憶することができ、本発明の記憶装置として動作する。
【００２１】
図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。
【００２２】
画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。
【００２３】
画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、また、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。
【００２４】
垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。
【００２５】
読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
【００２６】
タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号を出力する。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号を出力する。
【００２７】
図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。
【００２８】
ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。
【００２９】
図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。
【００３０】
図５に示すように、特性２６１及び特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、特性２６２のピーク強度ＰＢは、特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。
【００３１】
次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。
【００３２】
撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルタ１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２から射出される光束を何れの画素においても高効率で受光することが可能となっている。
【００３３】
図７は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。
【００３４】
このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。
【００３５】
図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ、３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅ Ａ」となる。また、出力データ２８３は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅ Ｂ」となる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅ Ａ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅ Ｂ」と表記するものとする。なお、「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」は、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についても「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」と表記することがある。
【００３６】
図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応する。
【００３７】
フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３０１Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、第１のフローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。
【００３８】
同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、第２のフローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。
【００３９】
各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。
【００４０】
フォトダイオード３１０Ａは光電変換により電荷を生成する第１の光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成する第２の光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を蓄積する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。
【００４１】
垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。
【００４２】
垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧を増幅して信号出力線３０４Ａに出力する。
【００４３】
同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。
【００４４】
図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路部３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。
【００４５】
図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。
【００４６】
転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。
【００４７】
本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積時間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。
【００４８】
図１１は、撮像素子１８４の読み出し回路３０８Ａ，３０８Ｂの構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。
【００４９】
読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。
【００５０】
読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。
【００５１】
スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。
【００５２】
読み出し回路３０８Ｂも、読み出し回路３０８Ａと同等の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。
【００５３】
次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。
【００５４】
まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。
【００５５】
次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。
【００５６】
これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
【００５７】
時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。
【００５８】
次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。
【００５９】
次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。
【００６０】
次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。
【００６１】
時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積時間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、「ｐｉｃｔｕｒｅ Ａ」のデータを用いて「ｐｉｃｔｕｒｅ Ｂ」のデータを補正する、「ｐｉｃｔｕｒｅ Ｂ」のデータを用いて「ｐｉｃｔｕｒｅ Ａ」のデータを補正する、といったクロストーク補正が非常に簡単な演算で実現できるようになる。
【００６２】
次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。
【００６３】
これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力供給される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。
【００６４】
次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。
【００６５】
次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。
【００６６】
次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。
【００６７】
図１３は、フォトダイオード３１０Ａ，３１０Ｂにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図１２に示した時刻ｔ１から時刻ｔ１２を表示している。
【００６８】
時刻ｔ２において、転送パルスφＴＸ１Ｂをローレベルとして転送トランジスタ３１１Ｂをオフ状態にし、フォトダイオード３１０Ｂにおける信号電荷の蓄積を開始すると、フォトダイオード３１０Ｂが保持する信号電荷の量は、時間の経過とともに増加する。図１３の直線９５２が、フォトダイオード３１０Ｂが保持する信号電荷の量の変化を示している。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ｂをハイレベルにして転送トランジスタ３１１Ｂをオン状態にし、フォトダイオード３１０Ｂの信号電荷をフローティングディフュージョン領域３１３Ｂへ転送するまで継続する。
【００６９】
また、時刻ｔ３において、転送パルスφＴＸ１Ａをローレベルとして転送トランジスタ３１１Ａをオフ状態にし、フォトダイオード３１０Ａにおける信号電荷の蓄積を開始する。これにより、フォトダイオード３１Ａが保持する信号電荷の量は、時間の経過とともに増加する。図１３の直線９５１が、フォトダイオード３１０Ａが保持する信号電荷の量の変化を示している。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ａをハイレベルにして転送トランジスタ３１１Ａをオン状態にし、フォトダイオード３１０Ａの信号電荷をフローティングディフュージョン領域３１３Ａへ転送するまで継続する。
【００７０】
時刻ｔ８において、フォトダイオード３１０Ｂが保持する信号電荷量ＬＢとフォトダイオード３１０Ａが保持する信号電荷量ＬＡとは、受光効率の差を蓄積時間の差によって相殺することにより、ほぼ同程度となっている。
【００７１】
転送パルスφＴＸ１Ｂと転送パルスφＴＸ１Ａがともにローレベルである期間ＴＭ１において、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間のクロストークが発生する。期間ＴＭ１は、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間ＴＭ１の後半の期間ＴＭ２において、相対的に多くのクロストークが発生する。
【００７２】
フォトダイオード３１０Ａからフォトダイオード３１０Ｂへのクロストーク量ＣＴＡＢは、右下がりの斜影線を付した領域９５３の面積に比例する。また、フォトダイオード３１０Ｂからフォトダイオード３１０Ａへのクロストーク量ＣＴＢＡは、左下がりの斜影線を付した領域９５４の面積に比例する。これらの比例定数をそれぞれｋ，ｇと定義すると、クロストーク量ＣＴＡＢ，ＣＴＢＡは、
ＣＴＡＢ＝ｋ×（ＬＡ×ＴＭ１）／２            …（１）
ＣＴＢＡ＝ｇ×（ＬＡ＋ＬＢＳ）×ＴＭ１／２    …（２）
と表すことができる。ここで、ＬＢＳは、時刻ｔ３におけるフォトダイオード３１０Ｂの信号電荷量である。また、この図には表現していないが、時刻ｔ２から時刻ｔ３までの時間が期間ＴＭ１に対して十分に小さいと過程すると、ＬＢ＝ＬＢＳと近似することができる。したがって、式（２）は、
ＣＴＢＡ＝ｇ×ＬＢ×ＴＭ１                    …（３）
と変形することができる。
【００７３】
したがって、式（１）及び式（３）から、クロストーク量ＣＴＡＢは、信号電荷量ＬＡと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積時間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。また、クロストーク量ＣＴＢＡは、信号電荷量ＬＢと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積時間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。
【００７４】
図１４は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１４（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１４（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１４（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。
【００７５】
時刻ｔａにおいては、図１４（ａ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ，３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ，３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光効率が異なるが、蓄積時間の差によって受光効率の差を相殺することで、信号蓄積レベル３２３Ａ，３２３Ｂは同程度になっている。この状態は比較的長く続くため、フォトダイオード３１０Ａの蓄積電荷が隣接するフォトダイオード３１０Ｂに漏れる現象及びフォトダイオード３１０Ｂの蓄積電荷が隣接するフォトダイオード３１０Ａに漏れる現象が、無視できないレベルで発生する。
【００７６】
時刻ｔｂにおいては、図１４（ｂ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオン状態であり、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁が低くなっている。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ａに転送され、フォトダイオード３１０Ｂに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。この際、分離部３２２のポテンシャル障壁も低くなるが、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード３１０Ａ，３１０Ｂの蓄積電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂ，３１０Ａへ漏れる現象はほとんど生じない。
【００７７】
時刻ｔｃにおいては、図１４（ｃ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、ポテンシャルは図１４（ａ）の状態に戻る。
【００７８】
図１５は、撮像素子１８４の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。画素３０３に入射する光束４５１は、まずカラーフィルタ２５６に入射して所定の波長成分がここで吸収され、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、先に図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によってライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を射出した光束はシリコン基板２５１に入射する。シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂとは、ライトガイド２５５に対して大きく偏芯して配置されている。このため、ライトガイド２５５を射出した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を射出した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ，３１０Ｂでは、入射した光子が信号電荷へと変換される。
【００７９】
この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また。フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。
【００８０】
図１６は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は、「時：分：秒：フレーム」を表している。
【００８１】
時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、「ｐｉｃｔｕｒｅ Ｂ」の撮像及び「ｐｉｃｔｕｒｅ Ａ」の撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、「ｐｉｃｔｕｒｅ Ｂ」については、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。
【００８２】
なお、「ｐｉｃｔｕｒｅ Ｂ」の撮像だけでなく「ｐｉｃｔｕｒｅ Ａ」の撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図１３に示した転送パルスφＴＸ１Ａがローレベルにならなければ、転送トランジスタ３１１Ａはオン状態であるため、フォトダイオード３１０Ａで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチＳＴ１５４が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチＳＴ１５４の操作タイミングにおいて記録された「ｐｉｃｔｕｒｅ Ｂ」に微妙な輝度変化や色相の変化が生じることとなる。
【００８３】
時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、「ｐｉｃｔｕｒｅ Ａ」についても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、「ｐｉｃｔｕｒｅ Ａ」の映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、「ｐｉｃｔｕｒｅ Ｂ」の映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。
【００８４】
「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の何れについても、記録媒体１９３に記録された各映像データは、同一フレームレート、例えば６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１７に示すようになる。
【００８５】
図１８は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。
【００８６】
スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、また、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘに格納されているので、汎用のビューアで再生する際に影響を与えない。
【００８７】
「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行うことができるようになる。
【００８８】
図１９は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
【００８９】
前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間のＩＳＯ感度範囲には、３段の差がある。図２０に示すように、「ｐｉｃｔｕｒｅ Ａ」はＩＳＯ１００〜ＩＳＯ１０２４００、「ｐｉｃｔｕｒｅ Ｂ」はＩＳＯ１２〜ＩＳＯ１２８００となっている。
【００９０】
図２１は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。「ｐｉｃｔｕｒｅ Ａ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、「ｐｉｃｔｕｒｅ Ｂ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図２１において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。
【００９１】
高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図２１を用いて説明する。
【００９２】
まず、Ｂｖ１３のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ１００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。
【００９３】
Ｂｖ１０のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等ＢＶ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。
【００９４】
Ｂｖ６のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【００９５】
Ｂｖ５のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ２５に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。
【００９６】
以降、輝度が下がるにつれて、「ｐｉｃｔｕｒｅ Ａ」、「ｐｉｃｔｕｒｅ Ｂ」ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。
【００９７】
このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において「ｐｉｃｔｕｒｅ Ａ」は１／１０００以上のシャッタースピードを保ち、「ｐｉｃｔｕｒｅ Ｂ」は多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、「ｐｉｃｔｕｒｅ Ａ」ではストップモーション効果を得つつ、「ｐｉｃｔｕｒｅ Ｂ」ではコマ送りのような、いわゆるジャーキネスが抑制された高品位な動画を得ることができる。
【００９８】
一般に、動画再生時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが現れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
【００９９】
一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することになる。
【０１００】
単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。
【０１０１】
図２２は、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、Ｖ同期信号４８１、「ｐｉｃｔｕｒｅ Ａ」の蓄積期間４８２，４８３、「ｐｉｃｔｕｒｅ Ｂ」の蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。
【０１０２】
蓄積期間４８２は、「ｐｉｃｔｕｒｅ Ａ」の画面上端ラインの蓄積期間であり、蓄積期間４８３は、「ｐｉｃｔｕｒｅ Ａ」の画面下端ラインの蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６までが蓄積期間４８３である。
【０１０３】
また、蓄積期間４８４は、「ｐｉｃｔｕｒｅ Ｂ」の画面上端ラインの蓄積期間であり、蓄積期間４８５は、「ｐｉｃｔｕｒｅ Ｂ」の画面下端ラインの蓄積期間である。「ｐｉｃｔｕｒｅ Ｂ」においても「ｐｉｃｔｕｒｅ Ａ」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６までが蓄積期間４８５である。
【０１０４】
「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。
【０１０５】
図２３は、撮像装置１００に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでの「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。
【０１０６】
図２４は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得した映像のうちの１フレームを示したものである。図２４（ａ）は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像である。図２４（ｂ）は、シャッタースピード１／６０、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ｂ」の映像である。図２４（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてジャーキネスが抑制された滑らかな高品位な映像となる。一方、図２４（ａ）に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図１５を用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図２４（ｂ）に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。
【０１０７】
そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子１８４から出力された映像信号に対してクロストーク補正を施す。クロストーク補正は、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の相互の影響を考慮して、適宜相互に減算処理を実施すればよい。
【０１０８】
図２５は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像（図２４（ａ））に対してクロストーク補正を施した後の「ｐｉｃｔｕｒｅ Ａ」の映像である。図２４（ａ）の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図２５の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２６に示すように、「ｐｉｃｔｕｒｅ Ａ」４９６と「ｐｉｃｔｕｒｅ Ｂ」４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。
【０１０９】
図２７は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納された「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の活用例を説明するための図である。
「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ａ」のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ｂ」のフレーム群である。これらのＭＰ４ファイルには撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。
【０１１０】
まず、動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。「ｐｉｃｔｕｒｅ Ｂ」は、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスが抑制された高品位なものである。
【０１１１】
ここで、「ｐｉｃｔｕｒｅ Ｂ」の動画の提示中に、使用者から再生モードの切り替え指示があった場合を想定する。例えば、フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に「ｐｉｃｔｕｒｅ Ｂ」に対応する「ｐｉｃｔｕｒｅ Ａ」のデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。「ｐｉｃｔｕｒｅ Ａ」は、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となっている。
【０１１２】
ここで、印刷の指示を行うと、「ｐｉｃｔｕｒｅ Ａ」のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、「ｐｉｃｔｕｒｅ Ａ」を反映したストップモーション効果がある迫力のあるものとなる。
【０１１３】
使用者が一時停止を解除すると、自動的に「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はジャーキネスが抑制された高品位なものである。
【０１１４】
次に、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」とを合成してＨＤＲ映像（ハイ・ダイナミックレンジ映像）を作成する際の動作について述べる。映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。このＨＤＲ技術は、撮像装置内の撮像素子に感度の異なる２つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大するものである。この技術においても、２つの画素群のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。
【０１１５】
「ｐｉｃｔｕｒｅ Ａ」は受光効率の高い画素要素３０３Ａを用いて撮影され、「ｐｉｃｔｕｒｅ Ｂ」は受光効率の低い画素要素３０３Ｂを用いて撮影される。このため、両者に同一の蓄積時間を設定するだけでも、「ｐｉｃｔｕｒｅ Ｂ」は「ｐｉｃｔｕｒｅ Ａ」に対して感度が３段劣る映像となる。したがって、「ｐｉｃｔｕｒｅ Ａ」において低輝度領域が十分に再現可能なレベルのときに多くの場合で高輝度領域は白飛びしてしまうが、「ｐｉｃｔｕｒｅ Ｂ」ではその高輝度領域でも白飛びせずに輝度情報を残すことができる。ただし、「ｐｉｃｔｕｒｅ Ｂ」の低輝度部分は非常に信号レベルが低くなって黒つぶれを起こしているので、逆に、多くの場合は使用することはできない。
【０１１６】
ＨＤＲ映像を取得するためには、まず、感度の低い画素要素から取得した映像（以下、「アンダー映像」と呼ぶ）と感度の高い画素要素から取得した映像（以下、「オーバー映像」と呼ぶ）とを適切にゲイン調整する。そして、アンダー映像の輝度閾値より暗い領域はオーバー映像で置き換え、輝度閾値より明るい領域はアンダー映像をそのままに合成する。本実施形態では、アンダー映像として「ｐｉｃｔｕｒｅ Ｂ」を、オーバー映像として「ｐｉｃｔｕｒｅ Ａ」を用いればよい。ただし、輝度閾値付近の明るさの中間領域は、映像の合成比率を徐々に変化させるなど、ユーザにとってより自然な映像に見えるように適宜調整することが望ましい。
【０１１７】
「ｐｉｃｔｕｒｅ Ａ」に対して「ｐｉｃｔｕｒｅ Ｂ」の感度を何段低く設定するかは、被写体の輝度分布の範囲に依存する。輝度範囲が広く、アンダー映像としての「ｐｉｃｔｕｒｅ Ｂ」の信号レベルを３段よりも低くするときには、「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間を「ｐｉｃｔｕｒｅ Ａ」の蓄積時間よりも短くする。逆に、輝度範囲が狭く、アンダー映像としての「ｐｉｃｔｕｒｅ Ｂ」の信号レベルを３段低い感度よりも高くするには、「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間を「ｐｉｃｔｕｒｅ Ａ」の蓄積時間よりも長くすればよい。被写体が風景などの場合には、「ｐｉｃｔｕｒｅ Ｂ」は「ｐｉｃｔｕｒｅ Ａ」に対して感度が３段程度低いことが適切な場合が多いため、感度の差を相殺して「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間は同程度になる。「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間が同程度であることによって、被写体が動いているときにも「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の対応する画素位置における被写体像のぶれやボケの状態が良く揃うことになる。これにより、より高品位なＨＤＲ映像を得ることができる。
【０１１８】
図２８は、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の蓄積動作を撮像シーケンス上で説明するための図である。図には、横軸を時間として、Ｖ同期信号７８１、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の蓄積期間、フレーム番号ｎを示している。蓄積期間７８２が「ｐｉｃｔｕｒｅ Ａ」の画面上端ラインの蓄積期間であり、蓄積期間７８３が「ｐｉｃｔｕｒｅ Ａ」の画面下端ラインの蓄積期間である。また、蓄積期間７８４が「ｐｉｃｔｕｒｅ Ｂ」の画面上端ラインの蓄積期間であり、蓄積期間７８５が「ｐｉｃｔｕｒｅ Ｂ」の画面下端ラインの蓄積期間である。
【０１１９】
撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、「ｐｉｃｔｕｒｅ Ａ」では、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ７２から時刻ｔ７３までが蓄積期間７８２であり、時刻ｔ７５から時刻ｔ７６が蓄積期間７８３である。
【０１２０】
また、「ｐｉｃｔｕｒｅ Ａ」と同様に、「ｐｉｃｔｕｒｅ Ｂ」においても、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ７１から時刻ｔ７３までが蓄積期間７８４であり、時刻ｔ７４から時刻ｔ７６までが蓄積期間７８５である。
【０１２１】
図２９は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」における信号レベル、並びに、ＨＤＲ映像における「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との合成比率の、受光量との関係を示すグラフである。図２９の上段及び下段の２つのグラフにおいて、横軸は受光量を示している。これら２つのグラフにおいて、横軸のスケールは同じである。上段のグラフの縦軸は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」における信号レベルを示している。下段のグラフの縦軸は、ＨＤＲ映像における「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との合成比率を示している。上段のグラフの縦軸には、信号レベルがゼロの場合と飽和のレベルの場合に加えて、本実施形態において黒潰れと判定する信号レベル（黒潰れ判定レベル）と、本実施形態において飽和と判定するレベル（飽和判定レベル）とを示している。これらの信号レベルは、予め記憶手段に記録されている。
【０１２２】
ここで、「ｐｉｃｔｕｒｅ Ａ」の信号レベルが黒潰れ判定レベルであるときの受光量をＬ１とする。「ｐｉｃｔｕｒｅ Ｂ」の信号レベルが黒潰れ判定レベルであるときの受光量をＬ２とする。「ｐｉｃｔｕｒｅ Ａ」の信号レベルが飽和判定レベルであるときの受光量をＬ３とする。「ｐｉｃｔｕｒｅ Ｂ」の信号レベルが飽和判定レベルであるときの受光量をＬ４とする。なお、受光量は、被写体の明るさと露光時間によって決まる。本実施形態では、これら受光量Ｌ１，Ｌ２，Ｌ３，Ｌ４によって区分される領域ごとに、ＨＤＲ映像における「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との合成比率を変化する。
【０１２３】
受光量がＬ１未満である領域６１２１は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」がともに黒潰れしている領域である。領域６１２１では、相対的にＳ／Ｎ比に優れる「ｐｉｃｔｕｒｅ Ａ」の信号の合成比率を１、「ｐｉｃｔｕｒｅ Ｂ」の信号の合成比率を０として合成する。
【０１２４】
受光量がＬ１〜Ｌ２である領域６１２２は、「ｐｉｃｔｕｒｅ Ａ」の信号レベルは適正であるが、「ｐｉｃｔｕｒｅ Ｂ」が黒潰れしている領域である。領域６１２２では、信号レベルが適正である「ｐｉｃｔｕｒｅ Ａ」の信号の合成比率を１、「ｐｉｃｔｕｒｅ Ｂ」の信号の合成比率を０として合成する。
【０１２５】
受光量がＬ２〜Ｌ３である領域６１２３は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の信号レベルがともに適正な領域である。領域６１２３では、「ｐｉｃｔｕｒｅ Ａ」の信号の合成比率を１から０に徐々に減少し、「ｐｉｃｔｕｒｅ Ｂ」の信号の合成比率を０から１に徐々に増加する。なお、図２９では、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の信号レベルを受光量に対して線形的に変化する場合を示しているが、合成比率の変化は必ずしも線形的である必要はない。すなわち、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の合成比率は、これらの合計値が１となるように変化すればよく、１次関数ではない他の関数に従って変化するようにしてもよい。
【０１２６】
受光量がＬ３〜Ｌ４である領域６１２４は、「ｐｉｃｔｕｒｅ Ｂ」の信号レベルは適正であるが、「ｐｉｃｔｕｒｅ Ａ」の信号が飽和している領域である。領域６１２４では、信号レベルが適正である「ｐｉｃｔｕｒｅ Ｂ」の信号の合成比率を１、「ｐｉｃｔｕｒｅ Ａ」の信号の合成比率を０として合成する。
【０１２７】
受光量がＬ４を超える領域６１２５は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の信号がともに飽和している領域である。領域６１２５では、飽和直前で適正な信号が残っている可能性のある「ｐｉｃｔｕｒｅ Ｂ」の信号の合成比率を１、「ｐｉｃｔｕｒｅ Ａ」の信号の合成比率を０として合成する。
【０１２８】
上述したＨＤＲ映像の合成処理は、例えば、記録媒体１９３から「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を受信したシステム制御ＣＰＵ１７８において実行される。すなわち、システム制御ＣＰＵ１７８は、ハイ・ダイナミックレンジ映像合成部として機能する。
【０１２９】
図３０は、ＨＤＲ合成用の「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の例であって、太陽を含む夜明けの風景の映像である。図３５（ａ）が「ｐｉｃｔｕｒｅ Ａ」であり、図３５（ｂ）が「ｐｉｃｔｕｒｅ Ｂ」である。「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の撮像条件は、ともに、シャッタースピードが１／６０、絞り値がＦ２．８となっている。ただし、撮像時の実際のシャッタースピードは表示よりも細かく制御されているので、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」とで全く同一とは限らない。
【０１３０】
図３０（ａ）は、受光効率の高い画素要素を用いて撮影された「ｐｉｃｔｕｒｅ Ａ」の映像のうちの１フレームであり、建物７９１は陰になっているもののディテールは再現されている。一方、太陽７９２は非常に高輝度であるためにその周辺部も含めて白飛びしている。これに対し、図３０（ｂ）は、受光効率の低い画素要素を用いて撮影された「ｐｉｃｔｕｒｅ Ｂ」の映像のうちの図３０（ａ）と同一タイミングのフレームであり、建物７９３は陰になっていてディテールも失われている。一方、太陽７９４は非常に高輝度ではあるが、受光効率の低い画素要素での撮影であるために白飛びせず、輝度情報や色情報は失われていない。
【０１３１】
図３１は、ＨＤＲ映像を合成した結果を撮像装置の表示部１５３上に表示した状態を示す図である。建物７９５のディテール及び太陽７９６とその周辺のグラデーションが良好に再現されたＨＤＲ映像を得ることができている。
【０１３２】
ここで、撮像素子１８４に欠陥画素が存在する場合を考える。ここで想定する欠陥画素とは、２つの画素要素３０３Ａ，３０３Ｂのうちの少なくとも一方が、受光量に応じた適正な信号を出力することができない画素３０３である。欠陥画素が存在することによる画質の低下は、例えば以下のような補正処理を行うことにより抑制することができる。
【０１３３】
図３２は、撮像素子１８４に欠陥画素が含まれる場合の欠陥画素の画素値の補正方法を模式的に示す平面図である。図３２には、画素アレイ３０２のうち、６行×６列の行列状に配置された３６個の画素３０３を示している。細線の枠６１０２が、画素３０３の境界を表している。この枠６１０２は、ライトガイド２５５の境界を表すものでもある。太線の枠６１０１で囲まれている２行×２列の画素ブロックは、カラーフィルタの繰り返し単位を表している。枠６１０１内には、赤色の光を選択的に透過するフィルタが配置された画素（Ｒ）と、緑色の光を選択的に透過するフィルタが配置された画素（Ｇ１，Ｇ２）と、青色の光を選択的に透過するフィルタが配置された画素（Ｂ）とが、それぞれ配置されている。この画素ブロックを繰り返し配置することで、いわゆるベイヤー配列のカラーフィルタが構成されている。それぞれの画素３０３は、「ｐｉｃｔｕｒｅ Ａ」に対応する高感度の光電変換部を含む画素要素６１０４と、「ｐｉｃｔｕｒｅ Ｂ」に対応する低感度の光電変換部を含む画素要素６１０３とを含む。図には、画素要素６１０３，６１０４の感度の違いを視覚的に表すために、画素要素６１０４の面積を画素要素６１０３の面積よりも大きく描いている。
【０１３４】
ここで、一部の画素要素６１０３に欠陥がある場合を想定する。図３２には、欠陥のある画素要素（欠陥画素要素）６１０３を、画素要素６１０５として表している。なお、ここでは低感度の画素要素６１０３に欠陥がある場合を例にして説明するが、高感度の画素要素６１０４に欠陥がある場合も同様の補正処理が可能である。
【０１３５】
図３２（ａ）には、欠陥のある画素要素６１０５の信号を、同じ画素３０３の他方の画素要素６１０６からの信号を用いて補正する例を、矢印６１０７によって模式的に示している。同じ画素３０３の他方の画素要素とは、換言すると、欠陥のある画素要素と同じライトガイド２５５を共有する他の画素要素である。
【０１３６】
図３２（ｂ）には、欠陥のある画素要素６１０５の信号を、隣接する画素ブロックの同一の感度及びカラーフィルタを有する画素要素６１１０，６１１１，６１１２，６１１３からの信号を用いて補正する例を、矢印によって模式的に示している。すなわち、画素要素６１１０，６１１１，６１１２，６１１３からの信号を用いて補正することが、それぞれ矢印６１１０ａ，６１１１ａ，６１１２ａ，６１１３ａによって模式的に示されている。
【０１３７】
同じ色のカラーフィルタが配置された画素要素を用いて欠陥補正を行うことを考えた場合、画素要素６１０５の信号を補正するために用いる画素要素としては、図３２（ａ）に示すように、同じ画素３０３の他の画素要素６１０６が候補として考えられる。また、図３２（ｂ）に示すように、隣接する画素ブロックの、対応する感度及びカラーフィルタを有する画素要素６１１０，６１１１，６１１２，６１１３が候補として考えられる。本実施形態では、それぞれを用いるメリットとデメリットとを考慮して、ユーザの設定に応じて補正方法を切り替える。
【０１３８】
まず、欠陥のある画素要素６１０５の信号レベルを、他の画素要素６１０５，６１０６，６１１０，６１１１，６１１２，６１１３の信号レベルの単純な線形和により算出する例として、次の式を考える。
Ｓ６１０５ ＝ ｇ１×Ｓ６１０６ ＋ ｇ２×Ｓ６１１０ ＋ ｇ３×Ｓ６１１１
＋ ｇ４×Ｓ６１１２ ＋ ｇ５×Ｓ６１１３      …（４）
ここで、Ｓ６１０５，Ｓ６１０６，Ｓ６１１０，Ｓ６１１１，Ｓ６１１２，Ｓ６１１３は、それぞれ画素要素６１０５，６１０６，６１１０，６１１１，６１１２，６１１３の信号レベルである。ｇ１，ｇ２，ｇ３，ｇ４，ｇ５は、画素要素６１０６，６１１０，６１１１，６１１２，６１１３からの信号を合成する際のゲイン（合成比率）である。
【０１３９】
画素要素６１０６は、画素要素６１１０，６１１１，６１１２，６１１３とは感度の異なる画素要素であり、そのゲインｇ１は、他のゲインｇ２，ｇ３，ｇ４，ｇ５とは異なったレベルとなる。
【０１４０】
例えば、図５を用いて説明したように、「ｐｉｃｔｕｒｅ Ｂ」の信号を生成する画素要素３０３Ｂが「ｐｉｃｔｕｒｅ Ａ」の信号を生成する画素要素３０３Ａに比べて感度が３段分低い場合、ゲインｇ１は前述の感度差を考慮して設定される。つまり、信号レベルＳ６１０６，Ｓ６１１０，Ｓ６１１１，Ｓ６１１２，Ｓ６１１３を単純平均する場合は、ゲインｇ２，ｇ３，ｇ４，ｇ５は０．２に設定し、ゲインｇ１は０．２の１／８（＝０．０２５）に設定する。すなわち、信号レベルＳ６１０６，Ｓ６１１０，Ｓ６１１１，Ｓ６１１２，Ｓ６１１３を、ゲインｇ１，ｇ２，ｇ３，ｇ４，ｇ５で表される所定の比率で合算し、信号レベルＳ６１０５を算出する。欠陥のある画素要素が高感度の画素要素の場合には、反対に８倍にすればよい。なお、ここまでの説明で挙げた感度が３段分低いという情報は、予め記憶手段に収められている。
【０１４１】
別の方法としては、隣接する画素要素からの信号の比率を用いてゲインを決定する方法が挙げられる。例えば、画素要素６１１０，６１１１，６１１２，６１１３からの信号と、これらとライトガイド２５５を共有する画素要素（感度が高い画素要素）からの信号との間の信号比率をそれぞれ調べる。そして、このように求めた信号比率を画素要素６１０５からの信号と画素要素６１０６からの信号との信号比率であると推定することで、画素要素６１０５からの信号レベルを算出することができる。
【０１４２】
式（４）を用いる場合、画素要素からの信号が何れも適切なレベルにある場合は問題にならないが、いくつかの画素要素からの信号が飽和や黒潰れ又はそれに近いレベルにある場合は問題になる。
【０１４３】
一例として、階調を優先した画像を得るために、いわゆるＨＤＲ撮影をユーザが行っている場合を考える。更に説明を容易にするために、「ｐｉｃｔｕｒｅ Ａ」の信号を出力する画素要素が飽和している場合、すなわち生成された信号電荷の量が所定値（飽和判定レベル）よりも多い場合を考える。つまり、受光量が、図２９の領域６１２４に相当する場合である。このとき、「ｐｉｃｔｕｒｅ Ｂ」の信号を出力する画素要素は飽和していないので、欠陥のある画素要素が存在しない場合は、適切な信号が得られる。しかしながら、欠陥のある画素要素６１０５が存在した場合に、その補正処理に式（４）をそのまま用いると、飽和した信号レベルＳ６１０６を用いることで信号が不適切な値に見積もられてしまう。
【０１４４】
そこで、階調を優先するモードの場合は、欠陥のある画素要素６１０５と同等の感度を有する画素要素６１１０，６１１１，６１１２，６１１３からの信号の混合比率を高める。具体的には、式（４）において、ゲインｇ１を低くして、ゲインｇ２，ｇ３，ｇ４，ｇ５を高くする。模式的には、図３２（ｂ）のように、欠陥のある画素要素６１０５が含まれる画素ブロックに隣接する画素ブロックの、対応する感度及びカラーフィルタを有する画素要素６１１０，６１１１，６１１２，６１１３の信号を優先して利用するようにする。例えば、ゲインｇ１を０とすれば、欠陥のある画素要素６１０５が含まれる画素ブロックに隣接する画素ブロックの、対応する感度及びカラーフィルタを有する画素要素６１１０，６１１１，６１１２，６１１３からの信号のみを用いて補正が行われることになる。
【０１４５】
この場合、画素要素６１１０，６１１１，６１１２，６１１３からの信号を単純平均して用いてもよいし、方向に応じた相関を用いて重みを変化するようにしてもよい。例えば、｜Ｓ６１１０−Ｓ６１１２｜と｜Ｓ６１１１−Ｓ６１１３｜とを比較し、数値の小さい方向を優先して重みを重くすることができる。これは、水平方向（或いは横方向）の信号レベルの変化（｜Ｓ６１１０−Ｓ６１１２｜）と、垂直方向（或いは縦方向）の信号レベルの変化（｜Ｓ６１１１−Ｓ６１１３｜）とのうち、空間的に変化が少ない方向の情報を優先して用いることに相当する。
【０１４６】
「ｐｉｃｔｕｒｅ Ａ」の信号を出力する画素要素が黒潰れしている場合、すなわち生成された信号電荷の量が所定値（黒潰れ判定レベル）よりも小さい場合も、同様の処理を適用可能である。すなわち、欠陥のある画素要素６１０５と同等の感度を有する画素要素６１１０，６１１１，６１１２，６１１３からの信号の混合比率を高めればよい。
同様である。
他の例として、ユーザが階調よりも解像度を優先している場合を考える。このような場合、上述のように隣接する画素ブロックの信号を用いて補正を行うと、空間的に低域通過フィルタを通したような効果が発現して解像度の低下を招くことがあるため、必ずしも好ましくはない。
【０１４７】
そこで、階調を優先するモードでない場合は、欠陥のある画素要素と同じ画素に属する他の画素要素からの信号の合成比率を高める。すなわち、「ｐｉｃｔｕｒｅ Ａ」に対応する画素要素からの信号の比率を高める。
【０１４８】
具体的には、式（４）において、ゲインｇ２，ｇ３，ｇ４，ｇ５を低くして、ゲインｇ１を高くする。模式的には、図３２（ａ）のように、欠陥のある画素要素６１０５と同じ画素に属する他の画素要素６１０６からの信号を優先して利用するようにする。例えば、ゲインｇ２，ｇ３，ｇ４，ｇ５を０とすれば、欠陥のある画素要素６１０５と同じ画素に属する他の画素要素６１０６からの信号のみを用いて補正が行われることになる。
【０１４９】
ここで、被写体の状態と欠陥補正について考える。図３３は、中央付近に人物が位置するようにして撮影された映像の一例である。このような映像を考えた場合、主被写体である人物６１３１はコントラストの高い信号を含むが、背景６１３２（ここでは空を想定）はコントラストの高い信号を含まない場合も多い。特に、撮影光学系のＦナンバーが小さくボケが顕著な場合には、背景６１３２のコントラストは低くなる。コントラストが低い状況の場合は、前述した空間的な低域通過フィルタを用いても画像の変化はほとんどない。つまり、背景６１３２のような箇所には、ユーザによるモードの設定に関わらず、欠陥のある画素要素が含まれる画素ブロックに隣接する画素ブロックの、対応する感度及びカラーフィルタを有する画素要素からの信号を優先して利用すればよい。より具体的には、欠陥のある画素要素を含む適当な大きさの領域を規定してコントラストを計算する。ここでいうコントラストとしては、例えば、隣接する画素からの信号の差分絶対値を一定の領域で加算したものを平均的な輝度値で除したものなどを用いることができる。この定義に従うと、高周波成分を含む画像はコントラストが高く、ぼけた画像はコントラストが低くなる。前述のコントラストが規定値よりも小さい場合は、同じ画素の他の画素要素からの信号を優先して利用すればよい。
【０１５０】
次に、上述した本実施形態の欠陥補正処理の具体的な流れについて、図３４のフローチャートを用いて説明する。
本実施形態の欠陥補正処理は、ステップＳ６３０１から開始される。ステップＳ６３０１は、欠陥補正処理の開始を示すステップである。
【０１５１】
続くステップＳ６３０２は、総ての欠陥の補正処理が終了したか否かを判断するステップである。欠陥画素が存在する位置は、予め記憶手段に記憶されている。記憶手段に記憶されている総ての欠陥画素についての処理が終了している場合（Ｙ）には、ステップＳ６３１４に移行し、欠陥補正処理を終了する。総ての欠陥画素についての処理が終了していない場合（Ｎ）には、ステップＳ６３０３に移行する。
【０１５２】
ステップＳ６３０３は、欠陥画素が存在する領域のコントラストを判断するステップである。すなわち、図３３を用いて説明した処理に対応する処理を行うステップである。コントラストが規定値以下の場合（Ｙ）はステップＳ６３０９に移行し、そうでない場合（Ｎ）はステップＳ６３０４に移行する。
【０１５３】
ステップＳ６３０４は、欠陥画素が第１の画素要素にあるか否かを判断するステップである。欠陥画素が第１の画素要素にある場合（Ｙ）はステップＳ６３０５に移行し、欠陥画素が第２の画素要素にある場合（Ｎ）はステップＳ６３０６に移行する。
【０１５４】
ステップＳ６３０５は、欠陥画素とライトガイドを共有する他方の画素要素（第２の画素要素）の信号レベルが規定値以下か否かを判断するステップである。信号レベルが規定値以下の場合（Ｙ）はステップＳ６３０９に移行し、そうでない場合（Ｎ）はステップＳ６３０７に移行する。この処理により、黒潰れした第２の画素要素の信号を参照して欠陥補正がなされることが回避される。
【０１５５】
ステップＳ６３０６は、欠陥画素とライトガイドを共有する他方の画素要素（第１の画素要素）の信号レベルが規定値以上か否かを判断するステップである。信号レベルが規定値以上の場合（Ｙ）はステップＳ６３０９に移行し、そうでない場合（Ｎ）はステップＳ６３０７に移行する。この処理により、飽和した第１の画素要素の信号を参照して欠陥補正がなされることが回避される。
【０１５６】
ステップＳ６３０７は、階調優先か否かを判断するステップである。階調優先の場合（Ｙ）はステップＳ６３０９に移行し、そうでない場合（Ｎ）はステップＳ６３０８に移行する。これにより、ユーザの意図に沿った欠陥補正処理がなされる。
【０１５７】
ステップＳ６３０８は、他の画素要素を優先する設定を行うステップである。すなわち本ステップでは、図３２（ａ）のようにライトガイドを共有する他方の画素要素の信号を優先して欠陥補正する設定がなされる。その後、ステップＳ６３１３に移行する。
【０１５８】
ステップＳ６３０９は、欠陥の存在する画素要素を優先する設定を行うステップである。すなわち本ステップでは、図３２（ｂ）のように、欠陥のある画素要素が含まれる画素ブロックに隣接する画素ブロックの、対応する感度及びカラーフィルタを有する画素要素の信号を優先して欠陥補正する設定がなされる。その後、ステップＳ６３１０に移行する。
【０１５９】
ステップＳ６３１０は、縦相関と横相関のどちらが高いかを判断するステップである。ここでは、図３２の説明で述べたように、縦方向の画素値の差の絶対値と横方向の画素値の差の絶対値とを比較し、絶対値が小さい方向を相関が高いものとして定義する。縦方向の相関が高い場合はステップＳ６３１１に移行し、横方向の相関が高い場合はステップＳ６３１２に移行する。
【０１６０】
ステップＳ６３１１は、縦方向の重みを増す処理を施すステップである。具体的には、図３２の矢印６１１１ａ，６１１３ａの重みを、矢印６１１０ａ，６１１２ａの重みよりも大きくすればよい。その後、ステップＳ６３１３に移行する。
【０１６１】
ステップＳ６３１２は、横方向の重みを増す処理を施すステップである。具体的には、図３２の矢印６１１０ａ，６１１２ａの重みを、矢印６１１１ａ，６１１３ａの重みよりも大きくすればよい。その後、ステップＳ６３１３に移行する。
【０１６２】
ステップＳ６３１３は、欠陥補正処理を行うステップである。すなわち、ここまでのステップで定義した重みなどのパラメータを利用して欠陥画素の値を決定するステップである。その後、ステップＳ６３０２に戻る。
【０１６３】
このようにして、以上説明したステップを総ての欠陥画素に対して実施することで、欠陥画素の画素値を補正し、適正な値を推定することができる。
【０１６４】
次に、本実施形態で説明した欠陥処理を情報処理装置で撮影後に行う場合の例について、図３５を用いて説明する。
図３５（ａ）には、撮像装置６１４１と、情報処理装置６１４２とを、これらの間のデータのやり取りに用いるケーブル６１４３を介して接続する様子を模式的に表している。撮像装置６１４１では、図３５（ｂ）に示すように、第１の映像データを含むファイル６１４４と、第２の映像データを含むファイル６１４５とが生成される。また、情報処理装置６１４２では、ファイル６１４４，６１４５を用いて生成された映像データを含むファイル６１４６が生成される。図３５（ｂ）において、ファイル６１４４，６１４５の第１の映像データ及び第２の映像データに示した黒い四角は、その位置に欠陥画素要素があることを模式的に表している。
【０１６５】
撮像装置６１４１は、第１の映像データと同期した第２の映像データをロスレスで記録する場合（いわゆるＲＡＷ記録の場合）は、記憶手段に記憶された第１の画素要素及び第２の画素要素の欠陥に関する情報を、メタデータに記録する。映像データを含むファイルには、「ｐｉｃｔｕｒｅ Ａ」の映像データ（＝第１の映像データ）或いは「ｐｉｃｔｕｒｅ Ｂ」の映像データ（＝第２の映像データ）とともに、それらをリンクするための情報を含むメタデータが格納されている。また、図３５の例では、第１の映像データを含むファイル６１４４には、上記の情報に加えて画素要素の欠陥に関する情報が記録されている。
【０１６６】
情報処理装置６１４２は、撮像装置６１４１から映像データを含むファイル６１４４，６１４５を取得する映像データ取得部（図示せず）を含む。撮像装置６１４１と情報処理装置６１４２とをケーブル６１４３を介して接続する図３５（ａ）の例では、撮像装置６１４１のファイル６１４４，６１４５がケーブル６１４３を介して情報処理装置６１４２に送られる。図２に示した記録媒体１９３等を介するなど、別の方法を用いてファイル６１４４，６１４５を情報処理装置６１４２に移動するようにしてもよい。
【０１６７】
その後、情報処理装置６１４２において、いわゆる現像が行われる。ここでいう現像とは、複数の映像データと欠陥情報とを統合して１つの出力映像データを得ることをいう。具体的には、図２９に示したようなＨＤＲ処理など、ユーザが意図した処理を施した画像を生成することをいう。この現像処理の際に、ユーザによって設定がなされる。つまり、階調を優先するモードであるのか、解像度を優先するモードであるのか等の選択がなされる。このユーザの設定（意図）に従って、欠陥に関する情報を参照しながら、前述したように補正処理の方法を切り替えて欠陥画素の画素値の補正を行えばよい。その結果、図３５（ｂ）に示すように、現像後の映像データを含むファイル６１４６を生成することができる。
【０１６８】
このように、本実施形態によれば、受光効率の異なる複数の光電変換部を含む画素を有する撮像素子を用いて複数の映像を同時に撮影する撮像装置において、欠陥画素の画素値を適切に補正してユーザの意図に応じた画像を取得することができる。
【０１６９】
［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１等に示した構成に限定されるものではない。例えば、図８に示す画素回路において、増幅トランジスタ３１５と信号出力線３０４との間に選択トランジスタを設けてもよい。また、１つの画素を構成する画素要素は２つに限定されるものではなく、３つ以上でもよい。
【０１７０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１７１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１７２】
１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
３０３…画素
３０３Ａ，３０３Ｂ…画素要素
３１０Ａ，３１０Ｂ…フォトダイオード（光電変換部）
６１０５…欠陥画素要素
【図１】
2017126898.tif 000003
【図２】
2017126898.tif 000004
【図３】
2017126898.tif 000005
【図４】
2017126898.tif 000006
【図５】
2017126898.tif 000007
【図６】
2017126898.tif 000008
【図７】
2017126898.tif 000009
【図８】
2017126898.tif 000010
【図９】
2017126898.tif 000011
【図１０】
2017126898.tif 000012
【図１１】
2017126898.tif 000013
【図１２】
2017126898.tif 000014
【図１３】
2017126898.tif 000015
【図１４】
2017126898.tif 000016
【図１５】
2017126898.tif 000017
【図１６】
2017126898.tif 000018
【図１７】
2017126898.tif 000019
【図１８】
2017126898.tif 000020
【図１９】
2017126898.tif 000021
【図２０】
2017126898.tif 000022
【図２１】
2017126898.tif 000023
【図２２】
2017126898.tif 000024
【図２３】
2017126898.tif 000025
【図２４】
2017126898.tif 000026
【図２５】
2017126898.tif 000027
【図２６】
2017126898.tif 000028
【図２７】
2017126898.tif 000029
【図２８】
2017126898.tif 000030
【図２９】
2017126898.tif 000031
【図３０】
2017126898.tif 000032
【図３１】
2017126898.tif 000033
【図３２】
2017126898.tif 000034
【図３３】
2017126898.tif 000035
【図３４】
2017126898.tif 000036
【図３５】
2017126898.tif 000037