(57)【特許請求の範囲】
【請求項１】
被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置であって、
前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出手段と、
前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算手段と、
前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択手段と、
前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御手段と、
を有することを特徴とする発光制御装置。
【請求項２】
１つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段で前記被写体が撮影され、
前記非発光の際には、前記撮像素子の全ての画素から読み出しが行われて前記非発光画像が第１の画像として得られ、前記プリ発光の際には、前記マイクロレンズに対応する複数の画素の一部分から読み出しが行われて第２の画像が得られるとともに、前記撮像素子の全ての画素から読み出しが行われて第３の画像が得られることを特徴とする請求項１に記載の発光制御装置。
【請求項３】
前記抽出手段は、前記第１の画像および前記第３の画像をそれぞれ予め定められた数のブロックに分割して、前記ブロックの各々についてその輝度値を求める輝度算出手段と、
前記第１の画像と前記第３の画像との互いに対応するブロックについて前記輝度値の差分を輝度差分として求める差分算出手段と、
前記第１の画像と前記第３の画像との互いに対応するブロックについて前記輝度値の比を輝度比として求める比算出手段と、
前記輝度差分および前記輝度比に応じて前記第３の画像から前記調光対象領域候補を選定する選定手段とを有することを特徴とする請求項２に記載の発光制御装置。
【請求項４】
前記選定手段は、前記輝度差分を平均して輝度差分平均値を求めて、前記輝度差分平均値に応じた第１の閾値よりも前記輝度差分が大きいブロックを選定する第１の選定手段と、
前記輝度比を平均して輝度比平均値を求めて、前記輝度比平均値に応じた第２の閾値よりも輝度比が大きいブロックを選定する第２の選定手段と、
前記第１の選定手段および前記第２の選定手段によって設定されたブロックを前記調光対象領域候補として選定する第３の選定手段とを有することを特徴とする請求項３に記載の発光制御装置。
【請求項５】
前記演算手段は、前記第２の画像および前記第３の画像に基づいて前記焦点整合情報を求めることを特徴とする請求項２〜４のいずれか１項に記載の発光制御装置。
【請求項６】
前記演算手段は、前記第２の画像および前記第３の画像に基づいて得られる第１の位相差信号と第２の位相差信号との信号差分を求めて、前記信号差分に応じて前記焦点整合情報を求めることを特徴とする請求項５に記載の発光制御装置。
【請求項７】
前記選択手段は、前記焦点整合情報が示す非合焦領域を前記調光対象領域候補から除いて残りの調光対象領域候補から前記調光対象領域を選択することを特徴とする請求項２〜６のいずれか１項に記載の発光制御装置。
【請求項８】
前記選択手段は、前記焦点整合情報が前記信号差分の絶対値を示している際、前記信号差分の絶対値が所定の第３の閾値以上であるブロックを前記調光対象領域候補から除くことを特徴とする請求項６に記載の発光制御装置。
【請求項９】
前記選択手段は前記残りの調光対象領域候補について前記プリ発光の反射率に応じて重み付けを行って当該重み付けに応じて前記調光対象領域を選択することを特徴とする請求項７に記載の発光制御装置。
【請求項１０】
前記選択手段は前記残りの調光対象領域候補について前記第３の画像における位置に応じて重み付けを行って当該重み付けに応じて前記調光対象領域を選択することを特徴とする請求項７又は９に記載の発光制御装置。
【請求項１１】
１つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段と、
請求項１〜１０のいずれか１項に記載の発光制御装置と、
前記発光制御装置による発光制御を行って、前記撮像手段で得られた画像に対して所定の画像処理を行う画像処理手段と、
前記画像処理手段の出力である画像データを記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項１２】
被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置の制御方法であって、
前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、
前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、
前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、
前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１３】
被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置で用いられる制御プログラムであって、
前記発光制御装置が備えるコンピュータに、
前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、
前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、
前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、
前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発光制御装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、撮像装置で用いられるストロボなどの発光装置の発光制御に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置において、ストロボなどの発光装置が搭載されたものがある。さらには、撮像装置から離れた位置に発光装置を配置して、例えば、ワイヤレス制御によって発光装置を制御して撮影を行うようにしたものもある。
【０００３】
また、ＣＭＯＳイメージセンサなどの撮像センサにおいては、そのＳ／Ｎ特性が向上しているので、暗い撮影シーンなどにおける撮影に対する耐性は高まっているものの、発光装置による照射光量（発光量）を精度よく制御する必要がある。
【０００４】
発光量を精度よく制御するためには、明るさを適正に制御すべき主被写体を正確に抽出することが必要である。例えば、被写界からの反射光を複数の領域に分割して測光して得られた複数の測光出力について、調光に寄与する比率を焦点に関する情報に応じて演算して調光を行うようにしたものがある（特許文献１参照）。
【０００５】
一方、撮像装置に搭載される撮像センサには、１つのマイクロレンズ（ＭＬ）に対して複数の画素を対応させて瞳分離（瞳分割）された複数の画像信号を得るようにしたものがある。そして、この種の撮像装置では、当該画像信号に応じて位相差ＡＦ制御を行うようにしている。
【０００６】
このような撮像センサを搭載した撮像装置においては、発光装置を発光させて撮影（ストロボ撮影）を行う際、発光量を精度よく制御するため位相差ＡＦ制御で用いる情報を活用することができる。
【０００７】
例えば、一対の画像信号（つまり、位相差画像）を用いて画像の領域毎の距離分布を得て、当該距離分布を用いて発光における配光ムラを取り除くようにしたものがある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平４−３５５７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ストロボ撮影による撮影効果の一つとして、所謂「動く被写体を止める」効果がある。低照度下において被写体を適正輝度で撮影する際、発光装置によって強い光を短時間（数１０〜数１００マイクロ秒オーダー）照射すると、被写体を止めて、手振れおよび被写体ぶれの少ない画像を得ることができる。
【００１０】
動く被写体に対して発光量を精度よく制御するためには、当該動く被写体を正確に抽出することが必要となる。このためには、焦点に関する情報を用いることは有用である。
【００１１】
しかしながら、上述の特許文献１に記載の発光制御では、発光制御のための測光とは別に焦点に関する情報を得る必要がある。このため、動く被写体を撮影する際には、撮影する時点における被写体の位置と、発光制御に用いる焦点に関する情報との間に時間的なずれによる不整合が生じてしまう。
【００１２】
そこで、本発明の目的は、動く被写体であっても、発光制御のための測光の時点で被写体に係る焦点に関する情報を得て、精度よく被写体を抽出して発光量を適切に制御することのできる発光制御装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明による発光制御装置は、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置であって、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出手段と、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算手段と、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択手段と、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御手段と、を有することを特徴とする。
【００１４】
本発明による撮像装置は、１つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段と、上記の発光制御装置と、前記発光制御装置による発光制御を行って、前記撮像手段で得られた画像に対して所定の画像処理を行う画像処理手段と、前記画像処理手段の出力である画像データを記録する記録手段と、を有することを特徴とする。
【００１５】
本発明による制御方法は、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置の制御方法であって、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、を有することを特徴とする。
【００１６】
本発明による制御プログラムは、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置で用いられる制御プログラムであって、前記発光制御装置が備えるコンピュータに、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、焦点整合情報に応じて調光対象領域候補から調光を行うべき調光対象領域を選択して、当該調光対象領域における輝度が所定の輝度となるように、撮影の際の発光量を制御する。これによって、動く被写体であっても、発光制御のための測光の時点で被写体に係る焦点に関する情報を得て、精度よく被写体を抽出して発光量を適切に制御することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による発光制御装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示す撮像部に備えられる撮像素子の構成を説明するための図であり、（ａ）はイメージセンサの第１の例を示す図、（ｂ）はイメージセンサの第２の例を示す図、（ｃ）はイメージセンサの第３の例を示す図である。
【図３】図２（ａ）に示すイメージセンサの断面を示す図であり、（ａ）は図２（ａ）に示すＡ−Ａ’線に沿った断面図、（ｂ）は図２（ａ）に示すＢ−Ｂ’線に沿った断面図である。
【図４】図２（ａ）に示すイメージセンサおよびその周辺の概略的な回路構成を示す図である。
【図５】図１に示すカメラで行われるストロボ発光を伴う撮影（ストロボ撮影）を説明するためのフローチャートである。
【図６】図５に示すストロボ撮影の流れを説明するためのタイミング図である。
【図７】図１に示すカメラで行われる被写体抽出の一例を説明するための図であり、（ａ）は撮影画角を示す図、（ｂ）は（ａ）に示す画像においてブロック毎の輝度値を求めるためのブロック積分枠の一例を示す図、（ｃ）は抽出された反射率優先の調光領域を示す図である。
【図８】図５に示す調光対象領域候補抽出の一例を説明するためのフローチャートである。
【図９】図５に示す焦点整合情報演算の一例を説明するための図である。
【図１０】図５に示す調光対象領域の抽出を説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、本発明の実施の形態による発光制御装置を備える撮像装置の一例について図面を参照して説明する。
【００２０】
図１は、本発明の実施の形態による発光制御装置を備える撮像装置の一例についてその構成を示すブロック図である。
【００２１】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３ａを有している。この撮影レンズ１０３ａは、ズームレンズおよびフォーカスレンズを含むレンズ群である。撮影レンズ１０３ａの後段にはシッター１０１が配置され、このシャッター１０１には絞り機能が備えられている。
【００２２】
シャッター１０１の後段には、撮像部２２が配置されている。撮像部２２は光学像（被写体像）を電気信号に変換するＣＣＤ又はＣＭＯＳ素子などの撮像素子を備える撮像センサである。さらに、撮像部２２にはＡ／Ｄ変換処理機能が備えられている。なお、撮像センサの構成については後述する。
【００２３】
バリア１０２は、撮影レンズ１０３ａを含む撮像系を覆うことによって、撮影レンズ１０３ａ、シャッター１０１、および撮像部２２を含む撮像系の汚れおよび破損を防止する。発光装置であるストロボ９０は、撮影の際に選択的に発光制御されて、例えば、低照度の撮影シーン又は逆光シーンにおいて不足する照度を補って、被写体を照明する。
【００２４】
画像処理部２４は、撮像部２２の出力である画像データ、又はメモリ制御部１５からの画像データに対して所定の画素補間および縮小処理などのリサイズ処理と色変換処理とを行う。また、画像処理部２４は、撮影の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部５０は、画像処理部２４で得られた演算結果に基づいて露光制御および測距制御を行う。これによって、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。
【００２５】
さらに、画像処理部２４はＡＦ（オートフォーカス）処理を行うとともに、撮影の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２６】
撮像部２２の出力である画像データは、画像処理部２４およびメモリ制御部１５を介して、或いはメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２には、撮影の結果得られた画像データが格納されるとともに、表示部２８に表示するための表示用画像データが格納される。なお、メモリ３２は、所定枚数の静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【００２７】
Ｄ／Ａ変換器１３は、メモリ３２に格納された表示用画像データをアナログ画像信号に変換して表示部２８に送る。これによって、表示部２８には表示用画像データに応じた画像が表示される。このようにして、メモリ３２に格納された表示用画像データはＤ／Ａ変換器１３を介して表示部２８に表示されることになる。なお、表示部２８は、例えば、ＬＣＤである。
【００２８】
撮像部２２で一度Ａ／Ｄ変換されメモリ３２に格納された画像データをＤ／Ａ変換器１３においてＤ／Ａ変換して、表示部２８に逐次転送して表示することによって、表示部２８は電子ビューファインダとして機能し、スルー画像表示を行う。
【００２９】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであって、例えば、フラッシュメモリが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数およびプログラムなどが記憶される。このプログラムとは、後述する各種フローチャートを実行するためのプログラムである。
【００３０】
システム制御部５０は、カメラ１００全体を制御する。システム制御部５０は、前述の不揮発性メモリ５６に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ５２は、例えば、ＲＡＭであり、システムメモリ５２には、システム制御部５０の動作用の定数、変数、および不揮発性メモリ５６から読み出したプログラムなどが展開される。なお、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、および表示部２８など制御して表示制御を行う。
【００３１】
システムタイマー５３は各種制御に用いる時間および内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、シャッターボタン６１、および操作部７０の各々はシステム制御部５０に各種の動作指示を入力する際に用いられる。
【００３２】
モード切替スイッチ６０は、システム制御部５０の動作モードを、例えば、静止画記録モード、動画記録モード、および再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、およびカスタムモードがある。
【００３３】
モード切り替えスイッチ６０を用いれば、静止画撮影モードに含まれるモードのいずれかに直接切り替えることができる。また、モード切り替えスイッチ６０を用いて静止画撮影モードに一旦切り換えた後、静止画撮影モードに含まれるモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれるようにしてもよい。
【００３４】
シャッターボタン６１の操作途中、つまり、シャッターボタン６１が半押し（撮影準備指示）されると、第１シャッタースイッチがオンとなって、第１シャッタースイッチ信号ＳＷ１がシステム制御部５０に送られる。そして、第１シャッタースイッチ信号ＳＷ１に応答して、システム制御部５０の制御下でＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理などの動作が開始される。
【００３５】
シャッターボタン６１の操作完了、つまり、シャッターボタン６１が全押し（撮影指示）されると、第２シャッタースイッチがオンとなって第２シャッタースイッチ信号ＳＷ２がシステム制御部５０に送られる。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応答して、撮像部２２の信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３６】
操作部７０に備えられた各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどによって場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。例えば、メニューボタンが押されると、各種の設定を行うためのメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンおよびＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３７】
操作部７０には操作部材の一つとしてコントローラホイールが備えられており、このコントローラホイールは方向ボタンととともに選択項目を指示する際などに用いられる。
【００３８】
コントローラホイールを回転操作すると、当該操作量に応じて電気的なパルス信号が生成され、このパルス信号に基づいてシステム制御部５０はカメラ１００を制御する。そして、システム制御部５０は当該パルス信号によって、コントローラホイールが回転操作された角度および回転数などを判定することができる。
【００３９】
なお、コントローラホイールは回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材であってもよく、この場合には、コントローラホイール自体は回転せず、コントローラホイール上におけるユーザの指の回転動作などを検出する（所謂タッチホイール）。
【００４０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などによって構成され、電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。
【００４１】
電源部４０は、アルカリ電池又はリチウム電池などの一次電池やＮｉＣｄ電池、又はＮｉＭＨ電池又はＬｉ電池などの二次電池を有するとともに、ＡＣアダプターなどを有している。記録媒体Ｉ／Ｆ１８は、メモリカード（半導体メモリ）又はハードディスクなどの記録媒体２００とのインターフェースである。記録媒体２００には、撮影の結果得られた画像データが記録される。
【００４２】
図２は、図１に示す撮像部２２に備えられる撮像素子（イメージセンサ）の構成を説明するための図である。そして、図２（ａ）はイメージセンサの第１の例を示す図であり、図２（ｂ）はイメージセンサの第２の例を示す図である。また、図２（ｃ）はイメージセンサの第３の例を示す図である。
【００４３】
図２（ａ）〜図２（ｃ）においては、イメージセンサの模式的な平面図が示されており、ここでは、２行×２列の２次元エリアセンサが示されている。そして、当該イメージセンサには複数の光電変換素子αおよびβが形成されている。これら光電変換素子αおよびβにはそれぞれ異なる視点から得られる被写体像が結像される。
【００４４】
図３は、図２（ａ）に示すイメージセンサの断面を示す図である。そして、図３（ａ）は図２（ａ）に示すＡ−Ａ’線に沿った断面図であり、図３（ｂ）は図２（ａ）に示すＢ−Ｂ’線に沿った断面図である。
【００４５】
図３（ａ）および図３（ｂ）においては、光電変換素子αおよびβを構成する部分にそれぞれ添字αおよびβを付すとともに、奇数行および偶数行にそれぞれ添字ｏおよびｅを付す。
【００４６】
図３（ａ）および図３（ｂ）を参照すると、基板にはｐ型ウェル１１７が形成されるとともに、ｎ型領域１２５が形成されている。そして、ｎ型領域１２５はｐ型ウェル１１７とともに光電荷を発生して蓄積する。フローティングディフュージョン部（以下ＦＤ部と呼ぶ）１２１にはｎ型領域１２５に蓄積された光電荷が転送される。表面ｐ＋層１２６はｎ型領域１２５に蓄積された光電荷をＦＤ部１２１に効率よく転送するために光電荷を収集する。転送ゲート１０３はＦＤ部１２１に光電荷を転送するためのゲートである。
【００４７】
また、基板にはゲート絶縁膜１１８であるＳｉＯ２膜が形成され、ｎ領域１２５に対応づけてそれぞれベイヤ配列のカラーフィルタ１２９が配置されている。そして、カラーフィルタ１２９の上側には光を集めるためのマイクロレンズ（ＭＬ）１３０が配置されている。
【００４８】
なお、ＭＬ１３０は撮影レンズ１０３ａの瞳とイメージセンサに備えられた光電変換素子αおよびβとが互いに共役になる形状および位置に配置される（つまり、瞳分割されている）。また、領域１０１は光電荷を発生するための模式的な領域である。
【００４９】
リセット用ＭＯＳトランジスタ１０４はリセットパルスΦＲ０に応じてＦＤ部１２１などをリセット電位（Ｖｄｄ）にリセットする。ソースフォーロワアンプＭＯＳトランジスタ１０５はＦＤ部１２１に転送された光電荷に応じた増幅信号を出力する。水平選択スイッチＭＯＳトランジスタ１０６はソースフォーロワアンプＭＯＳトランジスタ１０５の出力である増幅信号を垂直出力線に読み出す。
【００５０】
なお、転送ゲート１０３は、制御パルスΦＴＸαｅ０およびΦＴＸαｏ０によってそれぞれ独立的に制御される。
【００５１】
図４は、図２（ａ）に示すイメージセンサおよびその周辺の概略的な回路構成を示す図である。
【００５２】
図４において、図３（ａ）および図３（ｂ）に示す構成要素と同一の構成要素については同一の参照番号又は参照符号を付す。図示のように、垂直出力線にはソースフォーロワの負荷ＭＯＳトランジスタ１０７が接続されている。さらに、垂直出力線には暗出力転送ＭＯＳトランジスタ１０８が接続されるとともに、明出力転送ＭＯＳトランジスタ１０９が接続されている。そして、暗出力転送ＭＯＳトランジスタ１０８には暗出力蓄積容量（ＣＴＮ）１１０が接続され、明出力転送ＭＯＳトランジスタ１０９には明出力蓄積容量（ＣＴＳ）１１１が接続されている。
【００５３】
さらに、暗出力転送ＭＯＳトランジスタ１０８および明出力転送ＭＯＳトランジスタ１０９は、それぞれ水平転送ＭＯＳトランジスタ１１２を介して差動出力アンプ１１４に接続される。差動出力アンプ１１４に接続される水平出力線には水平出力線リセットＭＯＳトランジスタ１１３が接続されており、水平走査回路１１５および垂直走査回路１１６は既知のように上記のトランジスタをオン／オフ制御して画像信号を読み出す。
【００５４】
図５は、図１に示すカメラで行われるストロボ発光を伴う撮影（ストロボ撮影）を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部５０の制御下で行われる。
【００５５】
また、図６は、図５に示すストロボ撮影の流れを説明するためのタイミング図である。なお、図５に示すステップＳと図６に示すタイミングＢとは互いに対応している。
【００５６】
図５および図６を参照して、ここでは、シャッターボタン６１が半押しされて、第１のシャッタースイッチがオンされると、前述のようにして、システム制御部５０はＡＦ制御を行う。その後、シャッタースイッチ６１が全押しされて、第２のシャッタースイッチ６４がオンされると、システム制御部５０は、設定された静止画記録モードと撮影条件とに応じてストロボ撮影シーケンスを開始する。
【００５７】
まず、システム制御部５０は、外光量を測光するためストロボ９０を発光させずに（非発光で）撮像部２２の露光を行う（ステップＳ１０１およびタイミングＢ１０１）。続いて、システム制御部５０は撮像部２２を制御して画像信号の読出しを行う（ステップＳ１０２およびタイミングＢ１０２）。ここでは、ステップＳ１０２の処理において読み出された画像信号を画像信号”１”（非発光画像：第１の画像）とする。
【００５８】
次に、システム制御部５０は、予め設定された発光量でストロボ９０をプリ発光させて撮像部２２の露光を行う（ステップＳ１０３およびタイミングＢ１０３）。そして、システム制御部５０は撮像部２２を制御して画像信号の読出しを行う（ステップＳ１０４およびタイミングＢ１０４）。この際には、図２においてαを付した画素群（つまり、複数の画素の一部分）から画像信号（Ａ像）が読み出される。ステップＳ１０４の処理によって読み出された画像信号を画像信号”２”（第２の画像）とする。
【００５９】
続いて、システム制御部５０は撮像部２２を制御して、図２においてβを付した撮像素子群の画像信号をＡ像に加算した画像信号（Ａ＋Ｂ像）を読み出す（ステップＳ１０５およびタイミングＢ１０５）。ステップＳ１０５の処理によって読み出された画像信号を画像信号”３”（プリ発光画像：第３の画像）とする。
【００６０】
次に、システム制御部５０は画像信号”１”および”３”をそれぞれブロック積分して、当該ブロック積分結果に基づいてブロック毎の輝度レベルを算出（測光演算）する（ステップＳ１０６およびタイミングＢ１０６）。そして、システム制御部５０は、ストロボ９０のプリ発光の反射率に基づいて、調光対象領域候補抽出を行う（ステップＳ１０７およびタイミングＢ１０７）。
【００６１】
図７は、図１に示すカメラで行われる被写体抽出の一例を説明するための図であり、図７（ａ）は撮影画角を示す図であり、図７（ｂ）は、図７（ａ）に示す画像においてブロック毎の輝度値を求めるためのブロック積分枠の一例を示す図である。また、図７（ｃ）は、抽出された反射率優先の調光領域を示す図である。のイメージ図である。している。
【００６２】
図７（ａ）に示すように、この画像には複数の被写体が存在する。システム制御部５０は、図７（ａ）に示す画像を複数のブロックに分割して、当該ブロックの各々をブロック積分枠として当該ブロック積分枠毎に輝度値を求める。つまり、システム制御部５０はブロック積分枠毎にブロック積分を行って、ブロック積分枠毎の輝度レベル（輝度値）を算出する。
【００６３】
図８は、図５に示す調光対象領域候補抽出を説明するためのフローチャートである。
【００６４】
調光対象領域候補抽出を開始すると、システム制御部５０は画像信号”１”および”３”について、ブロック毎にブロック積分結果の差分（輝度差分）を求める。そして、システム制御部５０はこれら差分の平均値（つまり、輝度差の平均値）を算出する（ステップＳ２０２）。
【００６５】
次に、システム制御部５０は輝度差の平均値（輝度差分平均値）について設計パラメータによって重み付けを行って重み付け輝度差平均値を得る。そして、システム制御部５０は当該重み付け輝度差平均値を第１の閾値として、この第１の閾値よりも輝度差が大きいブロックを抽出する（ステップＳ２０２）。
【００６６】
続いて、システム制御部５０は画像信号”１”および”３”について、ブロック毎にブロック積分結果の比（つまり、輝度比）を求める。そして、システム制御部５０はこれら比の平均値を算出する（ステップＳ２０３）。
【００６７】
次に、システム制御部５０は輝度比の平均値について設計パラメータによって重み付けを行って重み付け輝度比平均値を得る。そして、システム制御部５０は当該重み付け輝度比平均値を第２の閾値として、この第２の閾値よりも輝度比が大きいブロックを抽出する（ステップＳ２０４）。
【００６８】
次に、システム制御部５０は、ステップＳ２０２およびＳ２０４で抽出されたブロック、つまり、第１の閾値よりも輝度差が大きく、かつ第２の閾値よりも輝度比が大きいブロックを、反射率優先の調光対象領域候補として抽出する（ステップＳ２０５）。そして、システムシステム制御部５０は調光対象領域候補抽出を終了する。
【００６９】
このようにして、調光対象領域候補の抽出を行うと、例えば、図７（ｃ）に黒色で示すように反射率優先の調光対象領域候補が抽出される。
【００７０】
再び図５および図６を参照して、ステップＳ１０７の処理を行った後、システム制御部５０は画像信号”２”および”３”から焦点整合情報を求める（ステップＳ１０８およびタイミングＢ１０８）。
【００７１】
図９は、図５に示す焦点整合情報演算の一例を説明するための図である。
【００７２】
焦点整合情報を求める際には、まず、システム制御部５０はＡ像（画像信号”２”）とＢ像（画像信号”３”−画像信号”２”）とを求める。Ａ像およびＢ像は、イメージセンサにおいて光電変換を励起する光が通過した撮影レンズ１０３ａ（光学系）の通過領域が異なる。このため、Ａ像およびＢ像についてはその影響を除去又は軽減するための補正が行われる（つまり、撮影レンズ１０３ａの光学特性の補正が行われる）。
【００７３】
Ａ像およびＢ像は、その焦点が合っている部分においては像レベルの差は小さくなる。そして、Ａ像とＢ像との差分（信号差分）の絶対値を求めると、焦点が合っていない部分においては絶対値が大きくなり、焦点が合っている部分では絶対値は０付近となる。
【００７４】
前述のように、撮影を行う前には、第１のシャッタースイッチがオンした時点でＡＦ制御が行われているので、ユーザが主被写体としたい被写体に焦点が合っている場合に、焦点が合っていない部分を示す情報（つまり、Ａ像とＢ像との差分の絶対値）が焦点整合情報とされる。そして、後述するように、ストロボ９０の本発光量を求める際の調光対象領域抽出に焦点整合情報が用いられる。
【００７５】
なお、焦点整合情報として、Ａ像とＢ像との差分の絶対値の他に、例えば、Ａ像とＢ像との差分（符号付）を用いるようにしてもよく、画像信号”２”および”３”からデフォーカス量を求めて、当該デフォーカス量に応じた距離マップ情報を用いるようにしてもよい。
【００７６】
ステップＳ１０８の処理の後、システム制御部５０は調光演算に用いる調光対象領域の抽出（調光寄与度演算）を行う（ステップＳ１０９およびタイミングＢ１０９）。
【００７７】
図１０は、図５に示す調光対象領域の抽出を説明するための図である。ここでは、システム制御部５０は調光対象領域候補領域と焦点整合情報とに応じて調光対象領域の抽出を行う。
【００７８】
システム制御部５０は複数の位置における焦点整合情報を複数のブロックに対応させる対応演算を行って、調光対象領域候補領域のうち非合焦領域を調光対象領域から除外する。例えば、焦点整合情報が差分の絶対値を示しているとすると、システム制御部６０は焦点整合情報が所定の第３の閾値以上であるブロックを調光対象領域から除外する。
【００７９】
さらに、システム制御部５０は、除外されずに残った調光対象領域における寄与度（重み）を、調光対象領域候補抽出の際のストロボ９０のプリ発光反射率と画面における調光対象領域の位置に応じて変化させる。例えば、システム制御部５０はプリ発光の反射率が高い領域の寄与度を高くし、さらに、画面の中心位置に近い程、寄与度を高くする。なお、顔検出などによって主被写体を検出した際には、当該検出した領域の寄与度を高くする。
【００８０】
上記の処理によって、調光対象領域が存在しなくなる場合には、システム制御部５０は焦点整合情報に応じて調光対象領域からの除外する際の閾値（つまり、第３の閾値）を高くする。そして、このように、第３の閾値を高くしても調光対象領域が得られない場合には、システム制御部５０は画面中央部の寄与度を高くして、画面中央部から離れるにしたがって寄与度を低くする。
【００８１】
ステップＳ１０９の処理の後、システム制御部５０は調光対象領域を本撮影の際に適正輝度とする本発光量を求める（ステップＳ１１０及びタイミングＢ１１０）。
【００８２】
ここでは、システム制御部５０は画像信号”１”において調光対象領域内の輝度レベルを寄与度に応じて重み付けして輝度レベル情報ＤａｙＹを求める。さらに、システム制御部５０は画像信号”２”において調光対象領域内の輝度レベルを寄与度に応じて重み付けして輝度レベル情報ＰｒｅＹを得る。そして、目標輝度レベルをＲｅｆＹとして、システム制御部５０は次の式（１）によって本発光量（ΔｈＥＦ１）を求める。
【００８３】
【数１】
0006486051.tif 000002
なお、ΔｈＥＦ１は、調光対象領域を適正露出にするために、予備発光量を基準として、本発光は何段（２の何乗）の明るさで発光させればよいかを示す値である。
【００８４】
続いて、システム制御部５０は本撮影準備を行う（ステップＳ１１１およびタイミングＢ１１１）。ここでは、システム制御部５０は撮像部２２の駆動切り替えと撮影時露出に露出設定を行う。さらに、Ｓ１０４およびＳ１０５で読み出した画像信号（つまり、位相差信号）に応じてＡＦ制御を行う場合には、システム制御部５０はフォーカスレンズを駆動制御する。
【００８５】
次に、システム制御部５０は撮像部２２に対して本撮影用の露光を行うととともに、ストロボ９０をΔｈＥＦ１に応じた発光量で本発光させる（ステップＳ１１２およびタイミングＢ１１２）。そして、システム制御部５０はシャッター１０１を閉じて撮像部２２の露光を終了する（ステップＳ１１３およびタイミングＢ１１３）。
【００８６】
その後、システム制御部５０は撮像部２２から本撮影画像信号（画像信号”４”）を読み出す（ステップＳ１１４およびタイミングＢ１１４）。そして、システム制御部５０は画像処理部２４を制御して画像信号”４”に対して画像処理を行う（ステップＳ１１５およびタイミングＢ１１５）。
【００８７】
ステップＳ１１５の処理では、画像処理部２４は画像信号”４”を複数の領域に分割して、画像信号”２”および”３”に対して行った測光演算の結果と焦点整合情報とに基づいて、領域毎の輝度補正およびホワイトバランス（ＷＢ）補正を行う。
【００８８】
例えば、画像処理部２４はプリ発光の反射率とΔｈＥＦ１とから領域毎のストロボ光／外光比率を求めて、焦点整合情報に基づいて主被写体に対して距離が近い被写体に対するストロボ光過照射量を算出する。そして、画像処理部２４はストロボ光／外光比率とストロボ光過照射量に基づいて領域毎に輝度補正およびＷＢ補正を行う。
【００８９】
その後、画像処理部２４はシステム制御部５０の制御下で前述した補正、現像、および圧縮処理を行って、不揮発性メモリ５６に画像データを格納する。さらに、画像処理部２４は表示部２８にレビュー画面を表示する。そして、システム制御部５０はストロボ撮影を終了する。
【００９０】
このように、本発明の実施の形態では、ストロボ撮影に際に主被写体を正確に抽出して、主被写体が適正輝度となるように発光制御を行って撮影を行うことができる。
【００９１】
上述の説明から明らかなように、図１に示す例では、ストロボ９０、画像処理部２４、およびシステム制御部５０が発光制御装置を構成する。また、システム制御部５０は、抽出手段、演算手段、選択手段、および制御手段として機能する。さらに、システム制御部５０は輝度算出手段、差分算出手段、比算出手段、第１の選定手段、第２の選定手段、および第３の選定手段として機能する。
【００９２】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９３】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を発光制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを発光制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９４】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９５】
２２  撮像部
２４  画像処理部
２８  表示部
５０  システム制御部
６０  モード切替スイッチ
６１  シャッターボタン
７０  操作部
８０  電源制御部
９０  ストロボ
２００  記録媒体
【図１】
0006486051.tif 000003
【図２】
0006486051.tif 000004
【図３】
0006486051.tif 000005
【図４】
0006486051.tif 000006
【図５】
0006486051.tif 000007
【図６】
0006486051.tif 000008
【図７】
0006486051.tif 000009
【図８】
0006486051.tif 000010
【図９】
0006486051.tif 000011
【図１０】
0006486051.tif 000012