(57)【特許請求の範囲】
【請求項１】
撮影光学系の複数の瞳領域のうちの第１の瞳領域を通過する光束を受光する第１の画素と、前記複数の瞳領域のうちの前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の画素とをそれぞれ含む複数の単位画素が撮像面に配された撮像素子と、
前記撮像素子への露光の開始の後に閃光手段を発光させ、前記閃光手段を発光させた後に前記第２の画素に対するリセットを行い、前記第２の画素に対するリセットを行った後に前記撮像素子への露光を終了させる制御手段と、
前記第１の画素によって取得された信号と、前記第２の画素によって取得された信号とに基づいて画像を生成する生成手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第１の画素によって取得された前記信号と、前記第２の画素によって取得された前記信号とのうちの少なくともいずれかのゲインを調整するゲイン調整手段を更に有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記単位画素内に配される複数の前記第１の画素に対応する複数の前記第１の瞳領域のいずれかが、前記撮影光学系の射出瞳面上において光軸を含むように、前記単位画素内に前記複数の前記第１の画素を配する
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記単位画素内に配される複数の前記第１の画素に対応する複数の前記第１の瞳領域が、前記撮影光学系の射出瞳面上において連続するように、前記単位画素内に前記複数の前記第１の画素を配する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、測光手段によって計測される被写体の明るさに応じて、前記第１の画素の数と前記第２の画素の数との比を設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、測距手段によって計測される被写体までの距離と前記閃光手段の発光量とに応じて、前記第１の画素の数と前記第２の画素の数との比を設定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、測距手段によって計測される被写体までの距離と前記第１の瞳領域に対応するＦ値とに応じて、前記閃光手段の発光量を設定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
シャッタ幕を走行させることによって前記撮像素子への露光と遮光とを制御するシャッタを更に有し、
前記第２の画素に対する前記リセットのタイミングが、前記撮像素子の前記撮像面における前記第２の画素の位置に応じて設定されている
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮影光学系の複数の瞳領域のうちの第１の瞳領域を通過する光束を受光する第１の画素と、前記複数の瞳領域のうちの前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の画素とをそれぞれ含む複数の単位画素が撮像面に配された撮像素子への露光を開始するステップと、
前記露光を開始するステップの後に、閃光手段を発光させるステップと、
前記閃光手段を発光させるステップの後に、前記第２の画素に対するリセットを行うステップと、
前記第２の画素に対するリセットを行うステップの後に、前記撮像素子への露光を終了させるステップと、
前記第１の画素によって取得された信号と、前記第２の画素によって取得された信号とに基づいて画像を生成するステップと
を有することを特徴とする撮像方法。
【請求項１０】
コンピュータに、
撮影光学系の複数の瞳領域のうちの第１の瞳領域を通過する光束を受光する第１の画素と、前記複数の瞳領域のうちの前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の画素とをそれぞれ含む複数の単位画素が撮像面に配された撮像素子への露光を開始するステップと、
前記露光を開始するステップの後に、閃光手段を発光させるステップと、
前記閃光手段を発光させるステップの後に、前記第２の画素に対するリセットを行うステップと、
前記第２の画素に対するリセットを行うステップの後に、前記撮像素子への露光を終了させるステップと、
前記第１の画素によって取得された信号と、前記第２の画素によって取得された信号とに基づいて画像を生成するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
近年、カメラの高機能化が進んでおり、新たな付加価値を生む技術が提案されている。
その一例として、撮影光学系の射出瞳面上の異なる瞳領域を通過した光束による信号（光線空間情報、ライトフィールド情報）を取得し、再構成処理を行うことによって所望の画像を得ることができる撮像装置が提案されている。かかる撮像装置は、ライトフィールドカメラと称される。
例えば、特許文献１には、１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することができる画像合成方法及び撮像装置が開示されている。
一方、閃光手段を活用してスローシンクロ画像をデジタル的に生成する技術が提案されている。特許文献２には、閃光手段を動作させることによって得られた画像と、閃光手段を動作させないで得られた画像とを取得し、これらをデジタル的に合成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４４７１号公報
【特許文献２】特開昭６２−１０８６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、主たる被写体と背景のいずれもが適切に露光された良好な画像を必ずしも取得し得なかった。
【０００５】
本発明の目的は、主たる被写体と背景のいずれもが適切に露光された良好な画像を取得し得る撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、撮影光学系の複数の瞳領域のうちの第１の瞳領域を通過する光束を受光する第１の画素と、前記複数の瞳領域のうちの前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の画素とをそれぞれ含む複数の単位画素が撮像面に配された撮像素子と、前記撮像素子への露光の開始の後に閃光手段を発光させ、前記閃光手段を発光させた後に前記第２の画素に対するリセットを行い、前記第２の画素に対するリセットを行った後に前記撮像素子への露光を終了させる制御手段と、前記第１の画素によって取得された信号と、前記第２の画素によって取得された信号とに基づいて画像を生成する生成手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【０００７】
本発明によれば、主たる被写体と背景のいずれもが適当に露光された良好な画像を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態による撮像装置の動作を示す図である。
【図２】本発明の一実施形態による撮像装置を示す断面図及びブロック図である。
【図３】撮影光学系の一部を示す図である。
【図４】画像処理部を示すブロック図、シャッタの構造を示す平面図、及び、各タイミングを示すタイムチャートである。
【図５】本発明の一実施形態による撮像装置の動作を示すフローチャートである。
【図６】第１の画素及び第２の画素のレイアウトを示す平面図である。
【図７】第１の画素に対応する瞳領域が光軸を含んで連続するように第１の画素ａが設定されていない場合に生じる現象を説明するための図である。
【図８】本発明の一実施形態による撮像装置において用いられる撮像素子の一部を示す回路図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１０】
［一実施形態］
一実施形態による撮像装置について図１乃至図７を用いて説明する。
【００１１】
まず、本実施形態による撮像装置の構成について図２を用いて説明する。図２（ａ）は、本実施形態による撮像装置を示す断面図であり、図２（ｂ）は、本実施形態による撮像装置の構成を示すブロック図である。
【００１２】
図２（ａ）に示すように、本実施形態による撮像装置１には、着脱可能なレンズユニット２が装着される。レンズユニット２には、複数のレンズから成る撮影光学系３が設けられている。図２（ａ）には、撮影光学系３の光軸４が一点鎖線を用いて示されている。撮像装置１内には、撮像素子６が配されている。撮像装置１の背面側には表示手段（表示装置）９が配されている。撮像装置１とレンズユニット２とには、撮像装置１とレンズユニット２との電気的な接続を行うための電気接点１１がそれぞれ設けられている。レンズユニット２には、レンズユニット２側の制御を司るレンズシステム制御回路１２が設けられている。撮像装置１には、測光手段１４と、シャッタ１５と、ストロボ（閃光手段）１６と、クイックリターンミラー機構１７と、測距手段１８とが、更に設けられている。
【００１３】
撮像装置１とレンズユニット２とから成る撮像システム（カメラシステム）は、撮像系、画像処理系、記録再生系、及び、制御系を有する。撮像系は、撮影光学系３と撮像素子６とを含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ手段８と表示手段９とを含み、制御系は、カメラシステム制御回路５と操作検出部１０とレンズシステム制御回路１２とレンズ駆動手段１３とを含む。レンズ駆動手段１３は、焦点レンズ、手ぶれ補正レンズ、絞り等を駆動することができる。
【００１４】
撮像系は、物体（被写体）からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６の表面には、複数のマイクロレンズＭＬが格子状に配置されており、複数のマイクロレンズＭＬ（図３（ａ）参照）によってマイクロレンズアレイＭＬＡ（図３（ａ）参照）が形成されている。マイクロレンズアレイＭＬＡは、瞳分割手段を構成している。マイクロレンズアレイＭＬＡの機能や配置の詳細については、図３を用いて後述することとする。撮像素子６から出力される信号に基づいてピント評価量が得られ、ピント評価量に基づいて撮影光学系３を適切に調整することによって、撮像素子６の近傍に被写体像が結像する。また、後述するように、適正な露光量が得られるように撮影光学系３が調整され、適正な明るさの被写体像が撮像素子６によって取得される。
【００１５】
画像処理部（画像処理手段、画像処理装置）７は、Ａ／Ｄコンバータ６１（図４（ａ）参照）、ホワイトバランス調整回路（図示せず）、ガンマ補正回路（図示せず）、及び、補間演算回路（図示せず）等を含んでおり、記録用の画像等を生成することができる。また、後述するように、画像処理部７は、第１のゲイン調整部６２、第２のゲイン調整部６３、及び、加算器６４等も含んでいる。
【００１６】
メモリ手段（記憶手段）８は、画像等が記憶される記憶部（図示せず）と、記憶部への画像等の記録の処理を行う処理回路（図示せず）とを備えている。メモリ手段８は、画像等を記憶部へ出力するとともに、表示手段９に出力する画像を生成、保存する。また、メモリ手段８は、予め定められた方法を用いて画像、動画、音声等の圧縮を行う。
【００１７】
カメラシステム制御回路（制御手段）５は、撮像を行う際等において、所定のタイミングで制御信号等を生成して出力する。また、カメラシステム制御回路５は、ユーザー等によって行われる操作に応じて、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッタレリーズボタン（図示せず）の押下を操作検出部１０が検出した際には、カメラシステム制御回路５は、撮像素子６の駆動、画像処理部７の動作、メモリ手段８の圧縮処理等を制御する。更に、カメラシステム制御回路５は、表示手段９の液晶パネル（図示せず）等に情報の表示を行う情報表示装置（図示せず）の各セグメントの状態を制御する。表示手段９と操作検出部１０とが相俟ってタッチパネルが構成されており、操作検出部１０はカメラシステム制御回路５に接続されている。
【００１８】
次に、制御系によって行われる光学系の調整の動作について説明する。カメラシステム制御回路５には、画像処理部７が接続されており、画像処理部７には、撮像素子６が接続されている。カメラシステム制御回路５は、撮像素子６から出力される信号等に基づいて、適切な焦点レンズの位置や絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出力し、レンズシステム制御回路１２は、レンズ駆動手段１３を適切に制御する。更に、レンズシステム制御回路１２には、手ぶれ検出センサ（図示せず）が接続されている。レンズシステム制御回路１２は、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいて、レンズ駆動手段１３を介して手ぶれ補正レンズ（図示せず）を適切に制御する。
【００１９】
次に、露光の制御について説明する。本実施形態による撮像装置１は、測光手段１４を用いて測光を行う。被写体からの光束の一部が測光手段１４に到達するように光学系が構成されており、カメラシステム制御回路５は、測光手段１４を用いて被写体の明るさを計測する。カメラシステム制御回路５は、測光の結果と設定値（プログラム線図）とに基づいて、露光時間、絞り位置、撮像素子６におけるゲインの設定、即ち、ＩＳＯ感度等を決定する。これらの決定に基づいて、カメラシステム制御回路５は、上述したようにして絞りを制御するとともに、シャッタ１５を用いて露光時間を制御する。クイックリターンミラー機構１７は、光路の分割等のためのミラーを有している。かかるミラーは、シャッタ１５に連動する。カメラシステム制御回路５は、撮像素子６への露光時には、ミラーを退避させ、撮像素子６への露光の終了後、即ち、遮光後には、ミラーを図２（ａ）に示すような状態に復帰させる。更に、測光の結果やユーザーによる設定等に応じて、ストロボ１６を発光させることが適切な場面、即ち、暗い場合や日中シンクロ等の場合には、カメラシステム制御回路５は、ストロボ１６によって被写体に対して投光を行うとともに撮影を行う。
【００２０】
次に、測距動作について説明する。撮影光路内に設けられたクイックリターンミラー機構１７によって、光束の一部が測距手段１８に導かれるようになっている。測距手段１８は、既知の光学系によって、位相差に基づくデフォーカス検知を行う。測距手段１８において用いられる２次結像光学系や相関演算は、よく知られているとともに、本発明の要部ではないため、ここでは、これらの説明を省略する。測距手段１８は、撮影光学系３の設定を活用することによって、被写体までの距離を計測することができる。例えば、撮影光学系３が３ｍ離れた被写体に合焦するような設定となっており、且つ、デフォーカス量が０となっていれば、３ｍ離れた位置に被写体が存在していると判定することができる。
【００２１】
図３は、撮影光学系の一部を示す図である。本実施形態では、異なる瞳領域３０をそれぞれ通過した光束を、各々の瞳領域３０に対応するように撮像素子６に設けられた画素によってそれぞれ受光することによって、信号を取得する（瞳分割）。本実施形態では、かかる瞳分割が行われるように、撮影光学系３の結像面の近傍にマイクロレンズアレイＭＬＡを配置するとともに、マイクロレンズアレイＭＬＡを構成する各々のマイクロレンズＭＬに対して、それぞれ複数の画素ＰＸを対応させている。即ち、本実施形態では、１つのマイクロレンズＭＬに対して、複数の画素ＰＸが設けられている。なお、説明の便宜上、本明細書中においては、画素を総称する場合には「ＰＸ」という符号を用いて説明する。また、本明細書中においては、マイクロレンズを総称する場合には「ＭＬ」という符号を用いて説明する。
【００２２】
図３（ａ）は、撮像素子６とマイクロレンズアレイＭＬＡ２０との関係を模式的に示す図である。図３（ａ）のうちの左側の図は平面図であり、図３（ｂ）のうちの右側の図は側面図である。図３（ｂ）は、撮像素子６に設けられた画素ＰＸとマイクロレンズＭＬとの関係を示す平面図である。図３（ｃ）は、マイクロレンズＭＬの下方に位置する複数の画素ＰＸａ〜ＰＸｅと射出瞳面上の瞳領域３０ａ〜３０ｅとがマイクロレンズＭＬによって対応付けられることを示す図である。図３（ｃ）のうちの上側の図は瞳領域３０ａ〜３０ｅを示す平面図であり、図３（ｃ）のうちの下側の図は画素ＰＸを示す断面図である。なお、説明の便宜上、本明細書中においては、瞳領域を総称する場合には「３０」という符号を用い、個々の瞳領域について説明する場合には、「３０ａ」、「３０ｂ」、「３０ｃ」、「３０ｄ」、「３０ｅ」という符号を用いている。
【００２３】
図３（ａ）に示すように、撮像素子６上にはマイクロレンズアレイＭＬＡが設けられており、マイクロレンズアレイＭＬＡの頂点は、撮影光学系３の結像面の近傍に位置している。図３（ａ）のうちの右側の図は、撮像装置１の横側から撮像素子６及びマイクロレンズアレイＭＬＡを見た状態を示しており、図３（ａ）のうちの左側の図は、撮像装置１の撮像面の法線方向からマイクロレンズアレイＭＬＡを見た状態を示している。マイクロレンズアレイＭＬＡを構成する各々のマイクロレンズＭＬは、撮像素子６上の単位画素ＵＰに対してそれぞれ設けられている。なお、図３（ａ）では、マイクロレンズアレイＭＬＡを構成する各々のマイクロレンズＭＬを見やすくするために、マイクロレンズＭＬを大きく記載している。
【００２４】
図３（ｂ）は、図３（ａ）のうちの左側の図の一部を拡大した図である。撮像素子６にマトリクス状に設けられた複数の画素ＰＸは、細い実線を用いて示された格子状の枠によって表されている。マイクロレンズアレイＭＬＡを構成する各々のマイクロレンズＭＬ０、ＭＬ１、ＭＬ２、ＭＬ３・・・は、太い実線を用いて示された円によって表されている。図３（ｂ）から分かるように、１つのマイクロレンズＭＬに対して複数の画素ＰＸが配されている。図３（ｂ）の例においては、５行×５列＝２５個の画素ＰＸが１つのマイクロレンズＭＬに対して設けられている。複数の画素ＰＸによって、単位画素ＵＰが構成されている。即ち、単位画素内には、複数の画素ＰＸが設けられている。ここでは、例えば２５個の画素ＰＸによって、各々の単位画素ＵＰ１，ＵＰ２，ＵＰ３，ＵＰ４，・・・が構成されている。なお、説明の便宜上、本明細書中においては、個々の単位画素について説明する場合には、「ＵＰ１」、「ＵＰ２」、「ＵＰ３」、「ＵＰ４」という符号を用い、単位画素を総称する場合には、「ＵＰ」という符号を用いている。
【００２５】
図３（ｃ）は、マイクロレンズＭＬの光軸を含む面で撮像素子６を切断した際の断面図である。図３（ｃ）のうちの下側の図は、図３（ｂ）に示す単位画素ＵＰの断面に対応している。図３（ｃ）に示すように、例えば単位画素ＵＰ０内には、画素ＰＸａ、ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅが配されている。各々の画素ＰＸａ、ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅには、光電変換部（図示せず）がそれぞれ設けられている。一方、図３（ｃ）のうちの上側の図は、撮影光学系３の射出瞳面に位置する瞳領域３０ａ〜３０ｅを示している。図３（ｃ）のうちの下側に示した断面図と方向を合わせた場合には、撮影光学系３の射出瞳面は図３（ｃ）の紙面垂直方向となるが、ここでは、説明を分かりやすくするために、撮影光学系３の射出瞳面を図３の紙面と平行にしている。また、ここでは、説明を簡単にするために、１次元的な配置の画素ＰＸと瞳領域３０ａ〜３０ｅとに着目して説明するが、実際には、画素ＰＸは撮像素子６の撮像面において２次元的に配置されている。また、瞳領域３０も、実際には、撮影光学系３の射出瞳面上において２次元的な配置となっている。
【００２６】
図３（ｃ）に示すように、各々の画素ＰＸａ、ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅは、マイクロレンズＭＬによって、撮影光学系３の射出瞳面上の瞳領域３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅと共役になっている。即ち、画素ＰＸａと瞳領域３０ａとが対応しており、画素ＰＸｂと瞳領域３０ｂとが対応しており、画素ＰＸｃと瞳領域３０ｃとが対応しており、画素ＰＸｄと瞳領域３０ｄとが対応しており、画素ＰＸｅと瞳領域３０ｅとが対応している。従って、撮影光学系３の射出瞳面上の瞳領域３０ａを通過した光束のみが、画素ＰＸａに入射する。同様に、撮影光学系３の射出瞳面上の瞳領域３０ｂ、３０ｃ、３０ｄ、３０ｅをそれぞれ通過した光束のみが、ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅにそれぞれ入射する。なお、本明細書中では、単位画素ＵＰ０内に配された各々の画素ＰＸを説明する際には、図３（ｂ）に示すように、符号ＰＸ０ａ、ＰＸ０ｂ、ＰＸ０ｃ、ＰＸ０ｄ、ＰＸ０ｅ、・・・が用いられる。また、単位画素ＵＰ１内に配された各々の画素ＰＸを説明する際には、図３（ｂ）に示すように、符号ＰＸ１ａ、ＰＸ１ｂ、ＰＸ１ｃ、ＰＸ１ｄ、ＰＸ１ｅ、・・・が用いられる。各々の単位画素ＵＰにそれぞれ配された各々の画素ＰＸを総称する場合には、図３（ｃ）に示すように、符号ＰＸａ、ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅ、・・・が用いられる。
【００２７】
図３（ｂ）を用いて、より具体的に説明する。単位画素ＵＰ０内に配された各々の画素ＰＸ０ａ、ＰＸ０ｂ、ＰＸ０ｃ、ＰＸ０ｄ、ＰＸ０ｅは、マイクロレンズＭＬ０によって、撮影光学系３の射出瞳面上の瞳領域３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅと共役になっている。従って、撮影光学系３の射出瞳面上の瞳領域３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅをそれぞれ通過した光束のみが、ＰＸ０ａ、ＰＸ０ｂ、ＰＸ０ｃ、ＰＸ０ｄ、ＰＸ０ｅにそれぞれ入射する。また、単位画素ＵＰ１内に配された各々の画素ＰＸ１ａ、ＰＸ１ｂ、ＰＸ１ｃ、ＰＸ１ｄ、ＰＸ１ｅは、マイクロレンズＭＬ１によって、撮影光学系３の射出瞳面上の瞳領域３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅと共役になっている。従って、撮影光学系３の射出瞳面上の瞳領域３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅをそれぞれ通過した光束のみが、ＰＸ１ａ、ＰＸ１ｂ、ＰＸ１ｃ、ＰＸ１ｄ、ＰＸ１ｅにそれぞれ入射する。他の単位画素ＵＰ２、ＵＰ３、・・・についても同様である。従って、射出瞳面上の各々の瞳領域３０の位置と撮像素子６上の各々の画素ＰＸの位置との関係に基づいて、角度の情報を取得することが可能である。異なる瞳領域３０ａ〜３０ｅをそれぞれ通過した像をそれぞれ取得する際には、各々のマイクロレンズＭＬに対する相対的な位置が同じとなっている画素の出力、即ち、瞳領域３０ａ〜３０ｅにそれぞれ対応する画素の出力が配列される。例えば、各々の単位画素ＵＰのうちの瞳領域３０ａに対応する画素ＰＸａの出力を配列することによって、瞳領域３０ａを通過した光束による像が得られる。同様に、各々の単位画素ＵＰのうちの瞳領域３０ｂ、３０ｃ、３０ｄ、３０ｅに対応する画素ＰＸｂ、ＰＸｃ、ＰＸｄ、ＰＸｅの出力をそれぞれ配列することによって、瞳領域３０ｂ、３０ｃ、３０ｄ、３０ｅを通過した光束による像がそれぞれ得られる。
【００２８】
本実施形態による撮像装置において用いられる撮像素子６の構成について図８を用いて更に説明する。撮像素子６は、例えばＸＹアドレス型の走査方法を用いた撮像素子であり、例えばＣＭＯＳイメージセンサである。図８は、本実施形態において用いられる撮像素子６の一部を示す回路図である。図８は、撮像素子６の撮像面に配列されている単位画素ＵＰを構成する複数の画素ＰＸのうちの１つを示している。
【００２９】
ＦＤ（フローティングデフュージョン部）２０６は、光電変換部（フォトダイオード）２０３で発生した電荷を一時的に蓄積する蓄積領域となる。転送スイッチ２０７は、光電変換部２０３で発生した電荷を転送パルスｐＴＸによって、ＦＤ２０６に転送する。リセットスイッチ２０８は、リセットパルスｐＲＥＳによって、ＦＤ２０６に蓄積された電荷を除去する。増幅ＭＯＳトランジスタ２０９は、ソースフォロアアンプとして機能する。
【００３０】
転送スイッチ２０７、リセットスイッチ２０８、及び、選択スイッチ２１４の各々のゲート電極は、行単位で、ｐＴＸ、ｐＲＥＳ、ｐＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路２１３によって選択走査される。また、リセットスイッチ２０８及び増幅ＭＯＳトランジスタ２０９は、電源ライン２１０に接続されている。信号出力線２１２に接続された定電流源（図示せず）が、増幅ＭＯＳトランジスタ２０９の負荷となる。選択信号ｐＳＥＬをハイレベルにすることによって、増幅ＭＯＳトランジスタ２０９と定電流源とで構成されたソースフォロワアンプが動作状態になる。これにより、増幅ＭＯＳトランジスタ２０９のフローティングゲートの電位に応じた信号が、信号出力線２１２上に出力される。信号出力線２１２は、列ＡＤ変換回路（図示せず）に列単位で接続される。選択スイッチ２１４で選択された画素ＰＸの信号電荷が電圧に変換され、信号出力線２１２を経て、列ＡＤ変換回路（図示せず）に出力される。画素ＰＸから出力される電圧信号が、列ＡＤ変換回路（図示せず）によってデジタルコードに変換される。列ＡＤ変換回路でデジタルコードに変換された画素ＰＸの出力は、ラインメモリ（図示せず）にデジタル信号として記憶される。ラインメモリに記憶されたデジタル信号に対して所定の処理が適宜行われ、画像信号として出力される。
【００３１】
画素ＰＸは、撮像素子６の撮像面に２次元状に多数配列されている。具体的には、例えば、数十万〜数千万の画素ＰＸが撮像素子６の撮像面に２次元状に配列されている。上述したように、例えば２５個の画素ＰＸによって１つの単位画素ＵＰが構成されている。単位画素ＵＰを構成する２５個の画素ＰＸのうちの一部は、後述するように、第１の画素９１ａ〜９１ｄ（図６（ａ）参照）として適宜設定される。第１の画素９１ａ〜９１ｄとして設定された画素ＰＸ以外の画素ＰＸは、第２の画素９１ｅ（図６（ａ）参照）とされる。後述するように、第１の画素９１ａ〜９１ｄとして設定された場合には、後述するタイミング４５（図１（ａ）参照）において行われるリセットが、当該画素ＰＸに対して行われない。一方、後述するように、第２の画素９１ｅとして設定された場合には、タイミング４５において当該画素９１ｅに対してリセットが行われる。各々の画素ＰＸは、第１の画素９１ａ〜９１ｄとして設定される場合もあるし、第２の画素９１ｅとして設定される場合もあるため、第１の画素９１ａ〜９１ｄと第２の画素９１ｅとのいずれとしても機能し得るように構成されている。即ち、リセット信号線ｐＲＥＳと転送信号線ｐＴＸとが、２５個の画素ＰＸの各々に対してそれぞれ別個に設けられている。即ち、２５個の画素ＰＸに対して２５本のリセット信号線ｐＲＥＳと２５本の転送信号線ｐＴＸとが設けられている。これらリセット信号線ｐＲＥＳ及び転送信号線ｐＴＸは、同じ行に位置する単位画素ＵＰ間において適宜共有されている。
【００３２】
次に、本実施形態による撮像装置の動作について図１を用いて説明する。図１は、本実施形態による撮像装置の動作を示す図である。図１（ａ）は、本実施形態による撮像装置の動作を示すタイムチャートである。横軸は時間を示しており、縦軸は各々の制御信号の状態を示している。図１（ｂ）から図１（ｅ）は、画像の例を模式的に示している。
【００３３】
タイミング４１は、ユーザーがレリーズボタンを操作することによって、画像の取得の開始の信号Ｓ２がカメラシステム制御回路５によって受け取られるタイミングを示している。タイミング４２は、すべての画素ＰＸがリセットされるタイミングを示している。タイミング４３は、後述するシャッタ幕７４ａ（図４（ｂ）参照）の走行によって撮像素子６への露光が開始されるタイミングを示している。タイミング４４は、ストロボ１６の発光のタイミングを示している。タイミング４５は、ストロボ１６によって投じられる光による像を取得しない画素、即ち、第２の画素（第２の画素群）をリセットするタイミングを示している。タイミング４６は、後述するシャッタ幕７４ｂ（図４（ｂ）参照）の走行によって露光が終了するタイミングを示している。図１（ａ）には、ストロボ１６の発光がある程度の時間幅をもって示されているが、ストロボ１６の発光時間は例えば１ｍｓ以下であり、実際には、線で図示される程度の幅になる。ここでは、理解を容易にするために、ストロボ１６の発光をある程度の時間幅をもって示している。
【００３４】
本実施形態では、撮像素子６への露光の開始の後に、ストロボ１６の発光が行われる。そして、ストロボ１６の発光の後に、特定の瞳領域３０に対応する画素ＰＸ、即ち、特定の瞳領域３０に対応する第２の画素９１ｅ（図６参照）のリセットが行われる。そして、特定の瞳領域３０に対応する第２の画素９１ｅのリセットの後に、撮像素子６への露光を終了させる。撮像素子６への露光の開始のタイミング４３、ストロボ１６の発光のタイミング４４、第２の画素９１ｅのリセットのタイミング４５、撮像素子６への露光の終了のタイミング４６は、いずれもカメラシステム制御回路５によって担われる。
【００３５】
まず、ストロボ１６によって投じられる光による像を取得する画素群ＰＸ、即ち、第１の画素（第１の画素群）９１ａ（図６参照）に着目して説明する。ストロボ１６によって投じられる光による像を取得する第１の画素９１ａは、タイミング４２においてリセットが行われた後、シャッタ１５によって規定されるタイミング４３からタイミング４６までの時間範囲において露光される。タイミング４３からタイミング４６までの時間範囲内にストロボ１６が発光するタイミング４４が位置しているため、撮像素子６は、ストロボ１６によって投じられる光による像を取得する。
【００３６】
次に、ストロボ１６によって投じられる光による像を取得しない画素群ＰＸ、即ち、第２の画素（第２の画素群）９１ｅ（図６参照）に着目して説明する。第２の画素９１ｅにおいても、タイミング４２においてリセットが行われた後、シャッタ１５によって規定されるタイミング４３から露光が開始される。この後、第２の画素９１ｅに対しては、ストロボ１６が発光するタイミング４４より後のタイミング４５において、リセットが再び行われる。これにより、第２の画素９１ｅに蓄積された信号、より具体的には、第２の画素９１ｅの光電変換部に蓄積された電荷がリセットされる。この後、タイミング４６までの間、第２の画素９１ｅは露光される。ストロボ１６から投じられた光による信号がタイミング４５においてリセットされているため、第２の画素９１ｅにおいては、ストロボ１６の光によって投じられる光による像は取得されず、タイミング４５のリセットの後の露光による像が取得されることとなる。
【００３７】
図１（ｂ）は、第１の画素９１ａによって取得される画像を模式的に示している。図１（ｃ）は、第２の画素９１ｅによって取得される画像を模式的に示している。なお、ここでは、夜間に屋外で撮影が行われ、背景に星５１が存在しており、ストロボ１６によって照明可能な距離に人間が被写体５２として位置している場合を例として示している。
【００３８】
図１（ｂ）に示す画像５５は、ストロボ１６によって投じられる光による像を取得する第１の画素群９１ａによって取得される画像の例を示している。図１（ｃ）に示す画像５６は、ストロボ１６によって投じられる光による像を取得しない第２の画素群９１ｅによって取得される画像の例を示している。図１（ｄ）に示す画像５７は、ストロボ１６によって投じられる光による像を取得しない第２の画素群９１ｅによって取得される画像に対してゲインの調整が施された画像の例を示している。図１（ｅ）に示す画像５８は、合成によって得られた画像の例を示している。
【００３９】
ストロボ１６によって投じられる光によって被写体５２が十分に照明されるため、第１の画素群９１ａによって取得される画像は、図１（ｂ）に示すように、主たる被写体５２が十分に明るい状態、即ち、主たる被写体５２が適正露光の状態となっている。一方、背景に位置する星５１は、撮像素子６に達する光量が少ないため、暗い状態、即ち、アンダー露光の状態となっている。なお、ここでは、手で撮像装置１を支持した状態で撮影を行う場合を想定しており、シャッタ速度が、背景の星５１が十分に明るく撮影されるようなシャッタ速度には設定されない場面を想定している。三脚で撮像装置１を固定した状態で撮影を行えば、露光時間を長く設定することによって、背景の星５１も、適正露光で撮影を行うことが可能である。しかし、手で撮像装置１を支持した状態で撮影する場合には、手ぶれの影響があるため、露光時間を十分に長く設定できない。本実施形態による撮像装置は、手で撮像装置１を支持した状態で撮影を行う場合であっても、良好な画像を取得し得るものである。
【００４０】
シャッタ幕７４ａ、７４ｂが走行する時間であるタイミング４３からタイミング４６までの時間は、背景の星５１がアンダー露光となるけれども、手ぶれの影響が許容できるような時間であり、１／（焦点距離）程度、より具体的には、１／３０秒程度である。即ち、背景の星５１が、適正露光となる条件ではあるけれども、手ぶれの影響が許容できないような長い時間、具体的には、１秒のような長い時間ではない。
【００４１】
シャッタ幕７４ａの走行によって露光が開始されるタイミング４３から第２の画素９１ｅのリセットが行われるタイミング４５までの時間は、以下のような観点で設定される。即ち、ストロボ１６の光が消えた後に第２の画素９１ｅのリセットを行えればよいため、タイミング４３からタイミング４５までの時間は、ストロボ同調最高シャッタ速度と同程度の時間とすればよく、例えば、１／２００秒程度とすればよい。
【００４２】
従って、第２の画素群９１ｅに対する露光時間は、１／３０秒−１／２００秒≒１／３５秒程度となる。第２の画素群９１ｅに対する露光時間は、第１の画素９１ａに対する露光時間よりは短くなるが、第２の画素群９１ｅも、背景に関しては、第１の画素群９１ａとほぼ同等の量の光を受光することができる。このため、図１（ｂ）における背景の星５１と図１（ｃ）における背景の星５１とは、ほぼ同等の明るさで示している。
【００４３】
しかしながら、上述したように、背景の星５１は、アンダーな条件で露光されているため、適正な露光になる程度にゲインをアップすることが好ましい。図１（ｄ）は、図１（ｃ）に示す画像５６に対してゲインのアップの処理を行うことによって得られる画像５７を示している。図１（ｃ）に示す画像５７における被写体５２の像は、ストロボ１６の光によって照明された被写体５２の像に比べると非常に小さい信号レベルの像であるため、ゲインのアップの処理を行っても、十分に暗いままである。従って、図１（ｃ）に示す画像に対してゲインのアップの処理を行っても、被写体５２の像に与える影響は小さい。なお、図１（ｂ）に示す画像と図１（ｃ）に示す画像との間において輝度の差が大きくなっている部分については、図１（ｃ）に示す画像５６に対してゲインのアップを行う際に、ゲインのアップの処理の対象から除外するようにしてもよい。即ち、ストロボ１６の光によって照らされている部分については、図１（ｃ）に示す画像５６に対してゲインのアップを行う際に、ゲインのアップの処理の対象から除外するようにしてもよい。
【００４４】
図１（ｅ）は、図１（ｂ）に示す画像５５と、図１（ｄ）に示す画像５７とを加算することにより生成される画像（出力画像）５８の例を示している。図１（ｂ）に示す画像と図１（ｄ）に示す画像とを加算することによって、背景の星５１が明るくなり、背景の星５１は適正な露光状態となる。一方、被写体５２は、図１（ｂ）に示す画像５５の段階で既に適正露光である。被写体５２の信号は、図１（ｄ）に示す画像５７には含まれていないため、図１（ｂ）に示す画像５５と図１（ｄ）に示す画像５７とを加算しても、被写体５２がオーバー露光の状態となることない。従って、図１（ｂ）に示す画像５５と図１（ｄ）に示す画像５７とを合成することによって、背景の星５１と被写体５２とがともに適正露光となっている良好な画像５８を得ることができる。
【００４５】
ところで、特許文献２においては、撮像素子に対して２回の露光を行うことによって、ストロボ照明を用いた画像とストロボ照明を用いていない画像とが取得され、これら２つの画像が合成される。特許文献２のように別個の時間範囲の画像が取得される場合には、撮像素子に対して露光が行われる時間範囲が異なっていることに起因する弊害が生じる。即ち、背景が変化するような場面においては、２つの画像の背景が変化してしまい、不自然な印象を与える。例えば、背景に道路があり、車のヘッドライトが輝線として取得される場合には、輝線が途切れた合成画像が得られてしまう。一方、本実施形態では、瞳分割を用いて２つの画像が取得されるため、別個の時間範囲における２つの画像が用いられるわけではない。このため、本実施形態では、上記のような場面であっても、輝線は連続的となり、自然な印象の良好な画像が得られる。
【００４６】
次に、画像処理部７の動作について、図４を用いて説明する。図４（ａ）は、画像処理部７を示すブロック図である。図４（ａ）に示すように、画像処理部７は、Ａ／Ｄコンバータ６１と、第１のゲイン調整部（ゲイン調整手段）６２と、第２のゲイン調整部（ゲイン調整手段）６３と、加算器（合成手段、生成手段）６４と、ポスト処理部６５とを有している。
【００４７】
撮像素子６に対して露光が行われると、撮像素子６に設けられた複数の画素ＰＸの各々には電荷が蓄積される。撮像素子６の各々の画素ＰＸに蓄積された電荷に応じた信号が撮像素子６から読み出され、撮像素子６から読み出された信号がＡ／Ｄコンバータ６１によってデジタル信号に変換される。
【００４８】
Ａ／Ｄコンバータ６１から出力される複数の信号のうち、第１の画素群９１ａによって取得された信号、即ち、図１（ｂ）に示す画像５５に対応する信号は、第１のゲイン調整部６２に入力される。一方、Ａ／Ｄコンバータ６１から出力される複数の信号のうち、第２の画素群９１ｅによって取得された信号、即ち、図１（ｃ）に示す画像５６に対応する信号は、第２のゲイン調整部６３に入力される。なお、第１の画素群９１ａと第２の画素群９１ｅとの設定に関しては、図５を用いて後述する。第１の画素群９１ａによって取得された信号には、第１のゲイン調整部６２によってゲイン調整が施され、第２の画素群９１ｅによって取得された信号には、第２のゲイン調整部６３によってゲイン調整が施される。ゲイン調整が施されたこれらの信号は、加算器６４によって加算され、これにより、第１の画素群９１ａによって取得された画像と第２の画素群９１ｅによって取得された画像とが合成される。加算器６４によって合成された信号に対して、ポスト処理部６５によってホワイトバランス調整、ガンマ調整、符号化等が施され、画像（出力画像）５８が得られる。
【００４９】
次に、シャッタ１５の構造について図４（ｂ）を用いて説明する。図４（ｂ）は、シャッタ１５の構造を示す平面図である。
【００５０】
図４（ｂ）に示すように、シャッタ１５は、シャッタ地板７０と、ギア列７１と、カム７２と、シャッタアーム７３ａ、７３ｂと、シャッタ幕７４ａ、７４ｂとを有している。シャッタ地板７０には、シャッタ開口７５が設けられており、シャッタ幕７４ａ、７４ｂの走行方向におけるシャッタ開口７５の端部は、シャッタ開口端７５ａ、７５ｂとなっている。シャッタ１５には、モータ（図示せず）が設けられており、ギア列７１を用いてモータの動力を伝達することによって、カム７２を回転させる。シャッタアーム７３ａ，７３ｂは、バネ（図示せず）とカム７２とによって伝達される力を利用することによって、間欠運動を行う。シャッタアーム７３ａ、７３ｂの間欠運動によってシャッタ幕７４ａ，７４ｂが間欠動作し、これによりシャッタ開口７５における光の通過、遮断が制御される。図４（ｂ）は、露光開始時に走行するシャッタ幕７４ａ、即ち、先幕７４ａが、図４（ｂ）の紙面上側から紙面下側に向かって走行し、撮像素子６への露光が行われている状態を示している。この後、露光終了時に走行するシャッタ幕７４ｂ、即ち、後幕７４ｂが、先幕７４ａと同様に図４（ｂ）の紙面上側から紙面下側に向かって走行し、露光が終了する。図４（ｂ）の紙面上側から紙面下側に向かってシャッタ幕７４ａ，７４ｂが走行するため、シャッタ開口７５内の各箇所において光の通過が同時に開始等されるわけではない。即ち、シャッタ開口端７５ａにおいては、最も早いタイミングで光の通過が開始され、シャッタ開口端７５ｂにおいては、最も遅いタイミングで光の通過が開始される。また、シャッタ開口端７５ａにおいては、最も早いタイミングで光の通過が終了し、シャッタ開口端７５ｂにおいては、最も遅いタイミングで光の通過が終了する。このため、本実施形態では、第２の画素９１ｅの撮像素子６上における位置に応じて、第２の画素９１ｅをリセットするタイミングを設定する。
【００５１】
図４（ｃ）は、各タイミングを示すタイムチャートである。図４（ｃ）の縦軸は、シャッタ幕７４ａ、７４ｂの位置、即ち、図４（ｂ）の紙面上下方向におけるシャッタ幕７４ａ、７４ｂの位置を示している。図４（ｃ）の縦軸における矢印の方向は、図３におけるｙ軸の方向に対応している。図４（ｃ）の横軸は、時間を示している。
【００５２】
図４（ｃ）には、シャッタ幕（先幕）７４ａの走行曲線８１ａと、シャッタ幕（後幕）７４ｂの走行曲線８１ｂとが示されている。また、図４（ｃ）には、第２の画素９１ｅのリセット動作のタイミングを示すリセット曲線８２と、シャッタ幕７４ａの走行が完了するタイミング８３とが示されている。また図４（ｃ）には、第２の画素９１ｅのリセット動作を開始するタイミング８４と、ストロボ１６の発光のタイミング８５とが示されている。また、図４（ｃ）には、シャッタ開口端７５ａに対応する位置８６ａと、シャッタ開口端７５ｂに対応する位置８６ｂとが示されている。シャッタ１５は、例えば、いわゆる縦走りシャッタであるため、シャッタ幕７４ａ、７４ｂの走行開始位置から走行完了位置に向かう方向は、撮像素子６の撮像面の上下方向（短辺方向）、即ち、図３におけるy軸の方向に対応している。
【００５３】
図４（ｂ）の紙面上側から紙面下側に向かってシャッタ幕７４ａ，７４ｂが走行するため、シャッタ幕７４ａ、７４ｂの走行曲線８１ａ，８１ｂは、図４（ｃ）に示すようになる。なお、シャッタ幕７４ａ、７４ｂの走行曲線８１ａ、８１ｂが直線にならないのは、シャッタ幕７４ａ、７４ｂが走行中に加速するためである。走行曲線８１ａが、シャッタ開口端７５ａに対応する位置８６ａを超えると、当該位置８６ａにおいて光の通過が開始され、走行曲線８１ａが、シャッタ開口端７５ｂに対応する位置８６ｂを超えると、当該位置８６ｂにおいて光の通過が開始される。また、走行曲線８１ｂが、シャッタ開口端７５ａに対応する位置８６ａを超えると、当該位置８６ａにおいて光が遮断され始め、走行曲線８１ｂが、シャッタ開口端７５ｂを超えると、当該位置８６ｂにおいて光が遮断され始める。シャッタ幕７４ａの走行曲線８１ａとシャッタ幕７４ｂの走行曲線８１ｂとは、互いにほぼ同じ形状となっており、図４（ｃ）において、走行曲線８１ａから走行曲線８１ｂまでの横方向の長さ、即ち時間を測定すると、位置によらず一定になっている。このことは、撮像素子６の撮像面上における画素ＰＸの位置によらず、各画素ＰＸにおいて均等な露出が得られることを意味している。
【００５４】
ストロボ１６は、シャッタ１５が完全に開ききってから発光させる必要がある。このため、図４（ｃ）に示すように、先幕７４ａの走行が完了するタイミング８３よりも後に、ストロボ１６の発光が行われる。また、第２の画素９１ｅのリセットを開始するタイミング８４は、ストロボ１６を発光させるタイミング８５よりも後に設定される。第２の画素９１ｅのリセットを、撮像素子６の撮像面上における第２の画素９１ｅの位置によらずに、タイミング８４において一括して同時に行った場合には、以下のようになってしまう。即ち、この場合には、タイミング８４から露光終了を示すシャッタ幕７４ｂの走行曲線８１ｂまでの横方向の長さ、即ち、時間が、撮像素子６の撮像面における第２の画素９１ｅの位置に応じて異なってしまう。そうすると、位置に応じて明るさが異なっている画像が得られてしまうこととなる。このような現象が生じるのを防止するため、本実施形態では、シャッタ幕７４ｂの走行曲線８１ｂの形状と同じ形状のリセット曲線８２を用いて、第２の画素９１ｅをリセットするようにしている。
【００５５】
本実施形態では、このようなリセット曲線８２を用いるため、リセット曲線８２と露光終了を示すシャッタ幕７４ｂの走行曲線８１ｂとの間の横方向の長さ、即ち、時間は、撮像素子６の撮像面における第２の画素９１ｅの位置によらず一定となっている。このため、本実施形態によれば、位置に応じて画像の明るさが異なってしまうのを防止することができる。
【００５６】
次に、本実施形態による撮像装置の動作について図５乃至図７を用いて説明する。図５は、本実施形態による撮像装置の動作を示すフローチャートである。
【００５７】
図５に示すように、ステップＳ１０１では、測光が行われる。図２を用いて上述したように、カメラシステム制御回路５は、測光手段１４を用いて明るさを計測し、適切な露光条件を決定する。例えば、暗い場合には、シャッタ速度が比較的長く設定され、明るい場合には、シャッタ速度が比較的短く設定される。
【００５８】
ステップＳ１０２では、測距が行われる。具体的には、被写体までの距離がカメラシステム制御回路５によって求められる。図２を用いて上述したように、カメラシステム制御回路５は、撮像素子６から出力される信号に基づいてピント評価量を取得し、レンズ駆動手段１３を介して撮影光学系３を駆動することによってピントの調整を行う。
【００５９】
ステップＳ１０３では、カメラシステム制御回路５は、ストロボ１６によって投じられる光による像を取得する第１の画素９１ａと、ストロボ１６によって投じられる光による像を取得しない第２の画素９１ｅとを設定する。この際、ストロボ１６によって投じられる光による像を取得する第１の画素９１ａに対応する瞳領域３０が、撮影光学系３の射出瞳面上において光軸を含んで連続するように、第１の画素９１ａが設定される。例えば、第１の画素９１ａと第２の画素９１ｅとが、図６（ａ）に示すようなレイアウトで設定される。図６は、第１の画素及び第２の画素のレイアウトを示す平面図である。図６は、光軸方向から撮像素子６の撮像面を見た状態を示している。第１の画素９１ａは斜線を付して示されており、第２の画素９１ｅは斜線を付さずに示されている。また、図６（ａ）では、撮像素子６の撮像面に多数設けられた単位画素ＵＰのうちの４つの単位画素ＵＰを抜き出して示している。いずれの単位画素ＵＰにおいても、第１の画素９１ａのレイアウトは同じように設定されている。なお、図示しない他の単位画素ＵＰにおいても、第１の画素９１ａのレイアウトは同じように設定されている。
【００６０】
第１の画素９１ａのレイアウトが図６（ａ）に示すように設定されているため、第１の画素９１ａに対応する瞳領域３０は、撮影光学系３の射出瞳面上において連続している。このため、本実施形態によれば、ストロボ１６によって投じられる光が届く範囲内に、ピントが合わない被写体が存在している場合であっても、ボケ像が不自然になることを防止することができる。
【００６１】
ここで、第１の画素９１ａに対応する瞳領域３０が光軸を含んで連続するように第１の画素９１ａが設定されていない場合に生じる現象について、図７を用いて説明する。図７は、第１の画素９１ａに対応する瞳領域３０が光軸を含んで連続するように第１の画素９１ａが設定されていない場合に生じる現象を説明するための図である。
【００６２】
図７（ａ）は、結像を模式的に示す図である。図７（ａ）において、符号１０１，１０２，１０３は被写体の位置（被写体位置）を示している。被写体位置１０１は、被写体位置１０２よりも撮像装置１に近く、被写体位置１０３は、被写体位置１０２よりも撮像装置１からの距離が遠い。説明を簡単にするために、いずれの被写体位置１０１，１０２，１０３も光軸上に位置させている。図７（ａ）は、被写体位置１０２に撮影光学系３のピントが合っている場合を示している。被写体位置１０２に撮影光学系３のピントが合っている場合には、被写体位置１０２に位置する被写体からの光束は、通過する瞳領域３０によらず、撮像素子６上において１点に結像する。この様子は、図７（ａ）において、実線を用いて示されている。一方、被写体位置１０１に位置する被写体からの光束は、撮像素子６よりも後方の位置１１１において結像する。この様子は、図７（ａ）において、一点鎖線を用いて示されている。また、被写体位置１０３に位置する被写体からの光束は、撮像素子６よりも前方の位置１１３において結像する。この様子は、図７（ａ）において、破線を用いて示されている。
【００６３】
被写体位置１０１に位置する被写体からの光束であって、撮影光学系３の射出瞳面上のある瞳領域３０ｂを通過した光束は、撮像素子６の撮像面におけるある位置１０１ｂに到達する。また、被写体位置１０１に位置する被写体からの光束であって、撮影光学系３の射出瞳面上の他の瞳領域３０ｃを通過した光束は、撮像素子６の撮像面における他の位置１０１ｃに到達する。また、被写体位置１０１に位置する被写体からの光束であって、撮影光学系３の射出瞳面上の更に他の瞳領域３０ｄを通過した光束は、撮像素子６の撮像面における更に他の位置１０１ｄに到達する。このように、撮影光学系３の射出瞳上の別個の瞳領域３０ｂ、３０ｃ、３０ｄをそれぞれ通過した光束は、別個の位置１０１ｂ、１０１ｃ、１０１ｄにそれぞれ到達する。
ストロボ１６によって投じられる光による像を取得する第１の画素１３１ａ（図７（ｄ）参照）を互いに離間するように配し、第１の画素１３１ａによって取得される信号を用いて画像を合成すると、ボケている被写体の像が分離してしまう。このような現象を、図７（ｂ）から図７（ｅ）を用いて説明する。
【００６４】
図７（ｂ）は、パンフォーカスの画像を参考として示している。図７（ｂ）に示す画像には３つの被写体１２１，１２２，１２３が写っており、撮像装置１からこれらの被写体１２１，１２２，１２３までの距離は互いに異なっている。撮像装置１から被写体１２１までの距離は、撮像装置１から被写体１２２までの距離よりも近く、撮像装置１から被写体１２３までの距離は、撮像装置１から被写体１２２までの距離よりも遠い。被写体１２１の位置は、例えば図７（ａ）における被写体位置１０１に対応しており、被写体１２２の位置は、例えば図７（ｂ）における被写体位置１０２に対応しており、被写体１２３の位置は、例えば図７（ａ）における被写体位置１０３に対応している。図７（ｃ）は、第１の画素群９１ａに対応する瞳領域３０のうちの少なくともいずれかが撮影光学系３の射出瞳面上において光軸を含んで連続するように、第１の画素群９１ａのレイアウトが設定されている場合に得られる画像の例を示している。図７（ｃ）に示すように、合焦位置よりも手前にある被写体１２１は大きくぼけ、合焦位置よりも奥にある被写体１２３には多少の広がりが生じる。なお、遠方に位置する被写体１２３のボケ量はあまり大きくならないため、図７（ｃ）においては、遠方に位置する被写体１２３のぼけ量を小さくしている。
【００６５】
第１の画素１３１ａが図７（ｄ）に示すようなレイアウトで設定されている場合、即ち、第１の画素１３１ａに対応する瞳領域３０が撮影光学系３の射出瞳面上において連続していない場合には、以下のような現象が生じる。図７（ｄ）においては、ストロボ１６によって投じられる光による像を取得する第１の画素１３１ａは、斜線を付して示されており、ストロボ１６によって投じられる光による像を取得しない第２の画素１３１ｂは、斜線を付さずに示されている。図７（ｄ）に示すように、第１の画素群１３１ａは、互いに離間するように４箇所に配されている。第１の画素１３１がこのように配されている場合には、第１の画素群１３１によって取得される信号を加算することによって合成すると、合焦位置よりも手前に位置する被写体１２１の像が、図７（ｅ）に示すように、４つに分離してしまう。このように、第１の画素群１３１を互いに離間するようにレイアウトした場合には、ユーザーに違和感を与えるような画像となってしまう場合がある。
【００６６】
また、ストロボ１６によって投じられる光による像を取得する第１の画素１３２ａが図７（ｆ）に示すようなレイアウトで設定されている場合には、以下のような現象が生じる。即ち、第１の画素１３２ａに対応する瞳領域３０が光軸を含むように位置していない場合には、以下のような現象が生じる。
【００６７】
図７（ｆ）は、第１の画素群１３２ａに対応する瞳領域３０が、撮影光学系３の射出瞳面上において光軸を含むように配されておらず、第１の画素群１３２ａの重心が、光軸から大きくずれている場合を示している。このような場合には、ピントが合っている被写体１２２は、撮像素子６上における結像位置がずれることはないが、合焦位置よりも手前又は奥にある被写体１２１，１２３は、撮像素子６上における結像位置がずれてしまう。このため、図７（ｇ）に示すように、背景の被写体１２３ａが被写体１２２にオーバーラップしてしまうような現象が発生し得る。図７（ｈ）は、このような現象を模式的に示している。合焦位置よりも奥に位置し、且つ、一定の像高のある被写体位置１０３ａからの光束に着目して考える。被写体位置１０３ａからの光束は、撮像素子６の撮像面においては、位置１１３ａにおいて結像する。被写体位置１０３ａからの光束であって、瞳領域３０ｂ，３０ｃ，３０ｄの各々を通過した光束は、撮像素子６上における位置１１３ｂ，１１３ｃ，１１３ｄにそれぞれ結像する。この際、被写体位置１０２に位置している被写体の像と、被写体位置１０３ａに位置している被写体の像とが、同じ位置１１３ｄに結像する。即ち、図７（ｇ）に示すように、被写体１２３ａが被写体１２２に不自然にオーバーラップする。このような現象を防止するためには、ストロボ１６によって投じられる光による像を取得する第１の画素群９１ａに対応する瞳領域３０が、光軸を含むように位置していることが好ましい。かかる瞳領域３０が光軸を含むように位置していることによって、即ち、第１の画素群９１ａに対応する瞳領域３０が光軸を中心として位置するようにすることによって、第１の画素群９１ａと第２の画素群９１ｅとの間の重心ずれを緩和することができる。このため、本実施形態によれば、画像を合成する際に位置合わせを行わない場合であっても、違和感の少ない画像を得ることができる。
【００６８】
ステップＳ１０４では、カメラシステム制御回路５は、明るさが規定値以上か否かを判断する。明るさが規定値以上である場合には（ステップＳ１０４においてＹＥＳ）、ステップＳ１０５に移行し、明るさが規定以上でない場合には（ステップＳ１０４においてＮＯ）、ステップＳ１０６に移行する。ステップＳ１０４において、明るさが規定値以上であるか否かを判定する際には、ステップＳ１０１において取得された測光の結果が用いられる。
【００６９】
ステップＳ１０５では、カメラシステム制御回路５は、ストロボ１６によって投じられる光による像を取得する第１の画素群９１ａとストロボ１６によって投じられる光による像を取得しない第２の画素群９１ｅとを設定する。ステップＳ１０５において行われる第１の画素及び第２の画素の設定は、ステップＳ１０３において行われた第１の画素及び第２の画素の設定とは異なったものとなる。ステップＳ１０５は、ステップＳ１０４において十分に明るいと判定された場合に行われる。例えば、薄暮れの時間帯において夕焼けから夜空に変わるような場面において、手前にいる人物を被写体として撮影する場合等が該当する。このような場合には、図１に示した状態よりは、背景が十分に明るくなっている。一方、手前にいる人物は、逆光状態であるため、ストロボ１６を用いて光を投じないと暗く写ってしまう。ステップＳ１０５は、このような場合、即ち、背景は明るいけれどもストロボ１６を用いて光を投じることを要するような場合に対応している。このような場合には、第１の画素９１ｂ〜９１ｄ（図６（ｂ）〜図６（ｄ）参照）の比率が単位画素ＵＰ中において高くなり、第２の画素９１ｅの比率が単位画素ＵＰ中において低くなるように、第１の画素９１ｂ〜９１ｄと第２の画素９１ｅとが設定される。具体的には、ストロボ１６によって投じられる光による像を取得しない第２の画素９１ｅの数に対して、ストロボ１６によって投じられる光による像を取得する第１の画素９１ｂ〜９１ｄの数の比を高くする。
【００７０】
ステップＳ１０５では、明るさに応じて、ストロボ１６によって投じられる光による像を取得する第１の画素９１ｂ〜９１ｄを設定する。ストロボ１６によって投じられる光による像を取得する第１の画素９１ｂ〜９１ｄを、図６（ｂ），図６（ｃ），図６（ｄ）のように設定する。背景が既定値より明るい場合には、図６（ｂ）のように第１の画素９１ｂが設定され、背景がより明るい場合には、図６（ｃ）のように第１の画素９１ｃが設定され、背景が更に明るい場合には、図６（ｄ）のように第１の画素９１ｄが設定される。図６（ｄ）に示す設定は、通常のストロボ撮影と同じ撮影モードとなる。図６（ｂ）〜図６（ｄ）に示すこれらの設定は、ステップＳ１０３で行われた設定（図６（ａ）参照）よりも、ストロボ１６から投じられた光による像を取得する第１の画素９１ｂ〜９１ｄの比率が高い。更には、非常に明るい場合には、第１の画素９１ｂ〜９１ｄによって得られる信号から第２の画素９１ｅによって得られる信号を減算する。即ち、日中シンクロのような場面であってストロボ同調のシャッタ速度では背景が飽和に近い状態になってしまうような場面には、第１の画素９１ｂ〜９１ｄによって得られる信号から第２の画素９１ｅによって得られる信号を減算する。このようにすることによって、背景の明るさを低減することができる。例えば、図６（ｃ）に示すような設定とし、第２の画素群９１ｅのリセットを行った後に速やかに後幕７４ｂを動作させるようにして、撮影を行う。そして、この後の信号処理において、第２のゲイン調整部６３（図４参照）におけるゲインを負の値に設定すればよい。このようにすることによって、背景が真っ白になってしまうのを防止することができる。
【００７１】
ステップＳ１０６では、被写体までの距離、ストロボ１６の発光量（ガイドナンバー）等の設定に基づいて、ストロボ１６によって照明される被写体が十分に明るく撮影できるか否か、即ち、ストロボ１６の光量は十分か否かを判断する。ストロボ１６の光量が十分と判断された場合には（ステップＳ１０６においてＹＥＳ）、ステップＳ１０８に移行する。一方、ストロボ１６の光量が十分ではないと判断された場合（ステップＳ１０６においてＮＯ）、即ち、露出がアンダーになると判断された場合には、ステップＳ１０７に移行する。
【００７２】
ステップＳ１０６において行われる判断と、ステップＳ１０７において行われる第１の画素及び第２の画素の設定について、以下に説明する。ストロボ１６を用いた撮影を行う場合には、ガイドナンバー、被写体までの距離、ＩＳＯ感度、及び、絞り値（Ｆ値）を適切に制御することによって、適正露光の画像が得られる。これらの関係は、以下のような式によって表される。
（Ｆ値）＝ＧＮ／ｄ×√（（ＩＳＯ感度）／１００）  ・・・（１）
ただし、ＧＮはガイドナンバーを示しており、ｄは撮像装置１から被写体までの距離を示している。
【００７３】
ステップＳ１０６においては、被写体までの距離の情報が必要であるため、ステップＳ１０２において行われた測距の結果が用いられる。例えば、被写体までの距離を３ｍ、ガイドナンバーを１４、ＩＳＯ感度を１００とすると、適正なＦ値は４．７と計算される。一方、撮影光学系３のＦ値は、第１の画素群９１ａ〜９１ｄに対応する瞳領域３０の面積に依存する。即ち、図６（ａ）に示すように第１の画素群９１ａをレイアウトした場合には、第１の画素群９１ａに対応する瞳領域３０の面積が比較的小さいため、ストロボ１６を用いた撮影においては、実質的なＦ値が大きくなる。一方、図６（ｂ），図６（ｃ），図６（ｄ）に示すように第１の画素群９１ｂ〜９１ｄをレイアウトした場合には、第１の画素群９１ｂ〜９１ｄに対応する瞳領域３０の面積が比較的大きいため、ストロボ１６を用いた撮影においては、実質的なＦ値が小さくなる。例えば、Ｆ２．８の光束を２５分割するように、撮影光学系３が設定されている場合には、１つの瞳領域３０当たりのＦ値は１４となる。図６（ａ）に示すように、第１の画素９１ａに５つの瞳領域３０を対応させた場合は、Ｆ６．３相当の光束による信号が第１の画素群９１ａによって得られることとなる。ステップＳ１０６では、式（１）から算出されるＦ値とステップＳ１０３において設定された第１の画素群９１ａに対応するＦ値とを比較する。そして、ステップＳ１０３において設定したＦ値の方が、式（１）から算出されるＦ値よりも大きい場合、即ち、ストロボ１０６の光量が十分ではない場合には（ステップＳ１０６においてＮＯ）、ステップＳ１０７に移行する。例えば、式（１）から算出されたＦ値が４．７であり、ステップＳ１０３において設定された第１の画素群９１ａに対応するＦ値が６．３である場合には、ステップＳ１０７に移行する。
【００７４】
ステップＳ１０６で設定された第１の画素群９１ａに対応するＦ値は６．３相当であるのに対し、適正なＦ値は４．７であるため、ストロボ１６により投じられる光による像の露光はアンダーとなる。このため、ステップＳ１０７では、ストロボ１６により投じられる光による像を取得する第１の画素９１ｃ〜９１ｄの比率を高めることによって、適正な露光が得られるようにする。例えば、図６（ｂ）のように第１の画素９１ｂの数を９に設定した場合には、第１の画素９１ｂに対応する瞳領域３０のＦ値は例えば４．７相当となり、適正な露光が得られる。
【００７５】
ステップＳ１０８では、露出がオーバーか否かが判断される。ステップＳ１０６では、露出がアンダーであるか否かが判断されたが、ここでは、露出がオーバーか否かが判断される。カメラシステム制御回路５は、適正なＦ値を、式（１）を用いて計算する。ここでは、被写体までの距離ｄを、例えば１ｍとする。その他の設定は、ステップＳ１０６における設定と同様とする。この場合における適正なＦ値は１４であるが、第１の画素９１ａ〜９１ｄに対応する瞳領域３０がＦ１４に相当するようになっているとは限らない。例えば、ステップＳ１０３において第１の画素９１ａの設定が行われた後、ステップＳ１０４においてＮＯと判断され、ステップＳ１０６においてＹＥＳと判断された場合には、ステップＳ１０３において行われた設定のままである。この場合には、第１の画素９１ａに対応する瞳領域３０のＦ値はＦ６．３相当となっている。このような場合、第１の画素９１ａの設定を変更することなく露光を行った場合には、露出オーバーとなってしまう。従って、露出がオーバーである場合には（ステップＳ１０８においてＹＥＳ）、ステップＳ１０９に移行する。一方、露出がオーバーではない場合には（ステップＳ１０９においてＮＯ）、ステップＳ１１０に移行する。
【００７６】
ステップＳ１０９においては、ストロボ１６を調光することによって、適正な露光量が得られるようにする。上記の例においては、Ｆ値が６．３の場合に対応するような光量でストロボ１６が発光するように、ストロボ１６のガイドナンバーを設定する。これにより、露出を適正にすることができる。
【００７７】
ステップＳ１１０においては、例えばフル発光でストロボ１６が発光するように、ストロボ１６の設定を行う。
【００７８】
ステップＳ１１１では、露光が開始される。具体的には、カメラシステム制御回路５が、先幕７４ａを動作させることによって撮像素子６の撮像面への露光を開始する。なお、露光の開始は、上述したように、図１（ａ）におけるタイミング４３に対応している。
【００７９】
ステップＳ１１２では、ストロボ１６の発光が行われる。具体的には、カメラシステム制御回路５は、ステップＳ１０９又はステップＳ１１０において決定された設定に基づいて、ストロボ１６を発光させる。なお、ストロボ１６の発光は、上述したように、図１（ａ）におけるタイミング４４に対応している。
【００８０】
ステップＳ１１３では、ストロボ１６から投じられる光による像を取得しない第２の画素群９１ｅに対するリセットが行われる。なお、第２の画素群９１ｅのリセットは、上述したように、図１（ａ）におけるタイミング４５に対応している。
【００８１】
ステップＳ１１４では、露光を終了する。具体的には、カメラシステム制御回路５が、後幕７４ｂを動作させる。なお、露光の終了は、上述したように、図１（ａ）におけるタイミング４６に対応している。この後、カメラシステム制御回路５は、取得された画像信号等に対して所定の信号処理を施し、画像の記録等を行うが、図５においては図示を省略している。
こうして、本実施形態による画像処理装置を用いた画像の取得が行われる。
【００８２】
このように、本実施形態によれば、撮像素子６への露光の開始の後にストロボ１６を発光させ、ストロボ１６を発光させた後に第２の画素９１ｅに対するリセットを行う。そして、第２の画素９１ｅに対するリセットを行った後に、撮像素子６への露光を更に行い、この後、撮像素子６への露光を終了させる。そして、第１の画素９１ａ〜９１ｄによって取得された信号と、第２の画素９１ｅによって取得された信号の少なくともいずれかのゲインを調整しつつ合成を行うことによって、画像を生成する。このため、本実施形態によれば、主たる被写体と背景のいずれもが適切に露光された良好な画像を取得することができる。
【００８３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８４】
１…撮像装置
２…レンズ
６…撮像素子
７…画像処理部
１５…シャッタ
１６…閃光手段
２０…マイクロレンズ
【図１】
0006645691.tif 000002
【図２】
0006645691.tif 000003
【図３】
0006645691.tif 000004
【図４】
0006645691.tif 000005
【図５】
0006645691.tif 000006
【図６】
0006645691.tif 000007
【図７】
0006645691.tif 000008
【図８】
0006645691.tif 000009