(57)【要約】      （修正有）【課題】露光時間が短い場合でも、撮像領域内の輝度ムラを軽減した画像を取得する。【解決手段】第１及び第２の撮像素子の電荷の蓄積と読み出しを制御する撮像制御手段と、発光部を発光させるタイミングを制御する発光制御手段と、第１及び第２の撮像素子から取得した画像データを用いて画像切り出しと画像合成を行う画像処理手段と、を有し、発光撮影を行う際に、撮像制御手段は、第１及び第２の撮像素子の少なくとも一方の電荷の蓄積と読み出しを制御し、発光制御手段は、第１及び第２の撮像素子一方の撮像素子において発光部で発光した光が露光されない撮像領域について、もう一方の撮像素子において発光部で発光した光が露光されるように発光部の発光タイミングを制御し、画像処理手段は、第１及び第２の撮像素子から取得した画像データのうち、発光部で発光した光が露光される撮像領域をそれぞれ切り出して合成することにより合成画像データを生成する。【選択図】図３
2014057172.tif 000002
【特許請求の範囲】
【請求項１】
発光部を発光させた発光撮影が可能な撮像装置であって、
第１の撮像素子と、
第２の撮像素子と、
前記第１及び第２の撮像素子の電荷の蓄積と読み出しを制御する撮像制御手段と、
前記発光部を発光させるタイミングを制御する発光制御手段と、
前記第１及び第２の撮像素子から取得した画像データを用いて画像切り出しと画像合成を行う画像処理手段と、を有し、
発光撮影を行う際に、前記撮像制御手段は、前記第１及び第２の撮像素子の少なくとも一方の電荷の蓄積と読み出しを制御し、
前記発光制御手段は、前記第１及び第２の撮像素子の一方の撮像素子により前記発光部で発光した光が露光されない撮像領域について、もう一方の撮像素子において前記発光部で発光した光が露光されるように前記発光部の発光タイミングを制御し、
前記画像処理手段は、前記第１及び第２の撮像素子から取得した画像データのうち、前記発光部で発光した光が露光される撮像領域をそれぞれ切り出して合成することにより合成画像データを生成することを特徴とする撮像装置。
【請求項２】
前記撮像制御手段は、前記各撮像素子の水平ライン毎に電荷の蓄積と読み出しを順次行う処理の順序を、素子の上部の水平ラインから下部の水平ラインへ順次行うか、もしくは素子の下部の水平ラインから上部の水平ラインへ順次行うかを切り替え可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像制御手段は、前記一方の撮像素子の水平ラインの電荷の蓄積と読み出し順序を変更して、前記各撮像素子の水平ラインの電荷の蓄積と読み出し順序が互いに反対になるように制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像制御手段は、前記一方の撮像素子の最初に電荷の蓄積を開始する水平ラインの蓄積開始のタイミングを変更することを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像制御手段は、前記各撮像素子の最初の水平ラインの電荷の蓄積開始から中央の水平ラインの電荷の蓄積開始までの時間よりも長く、露光時間よりも短い時間だけ、前記一方の撮像素子の最初の水平ラインが電荷の蓄積を開始するタイミングをずらすように制御することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記発光制御手段は、前記各撮像素子の中央の水平ラインの電荷の蓄積を開始するタイミングよりも遅く、かつ前記各撮像素子の最初の水平ラインの電荷の読み出し開始までに前記発光部を発光するよう制御することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像制御手段は、前記各撮像素子の最初の水平ラインの電荷の蓄積開始から中央の水平ラインの電荷の蓄積開始までの時間が露光時間よりも短くなるように制御することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像処理手段は、前記各撮像素子から取得した画像データのうち、一方の画像データから切り出されなかった領域について、もう一方の画像データから切り出すことを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記各撮像素子から取得した画像データからそれぞれ切り出した領域をつなぎ合わせることで合成画像データを生成することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
【請求項１０】
発光部を発光させた発光撮影が可能であり、第１の撮像素子と、第２の撮像素子と、前記第１及び第２の撮像素子の電荷の蓄積と読み出しを制御する撮像制御手段と、前記発光部を発光させるタイミングを制御する発光制御手段と、前記第１及び第２の撮像素子から取得した画像データを用いて画像切り出しと画像合成を行う画像処理手段と、を有する撮像装置の制御方法であって、
発光撮影を行う際に、前記撮像制御手段が、前記第１及び第２の撮像素子の少なくとも一方の電荷の蓄積と読み出しを制御する工程と、
前記発光制御手段が、前記第１及び第２の撮像素子の一方の撮像素子により前記発光部で発光した光が露光されない撮像領域について、もう一方の撮像素子において前記発光部で発光した光が露光されるように前記発光部の発光タイミングを制御する工程と、
前記画像処理手段が、前記第１及び第２の撮像素子から取得した画像データのうち、前記発光部で発光した光が露光される撮像領域をそれぞれ切り出して合成することにより合成画像データを生成する工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータを、請求項１ないし９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項１ないし９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部を有する撮像装置に関する。
【背景技術】
【０００２】
近年のデジタルカメラには、キセノン管やＬＥＤを光源とした発光部が標準的に備えられており、被写体の輝度が不十分な状況においても、発光部を発光させることで被写体が明るい画像を撮影することができる。
【０００３】
また、デジタルカメラの撮像素子として、ＣＣＤイメージセンサに代わり、ランダムアクセスが可能で、ＣＣＤイメージセンサに対してより高速に読み出しを行うことのできるＣＭＯＳイメージセンサが主流となってきている。しかし、ＣＭＯＳイメージセンサは、露光動作及び読み出し動作が水平ライン毎に異なるため、露光時間が短い場合、発光部を発光させた撮影（以下、発光撮影とする）時に発光部の発光期間が一部の水平ラインの露光期間としか重複しない。
【０００４】
このような課題に対して、特許文献１では、ＣＭＯＳイメージセンサの露光動作中に全画素の露光動作を同時に開始させて発光部の発光期間と全画素の露光期間とを重複させる技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０５０３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１は、ＣＭＯＳイメージセンサの電荷の読み出し動作は水平ライン毎に異なるタイミングで行う必要がある。そのため、水平ライン間の輝度ムラを軽減するためには、メカシャッターを用いて光学的に全水平ラインを遮光して、その間に電荷の読み出しを行う制御が必要となる。この場合、シャッターの開閉制御が必要となるため、連続撮影時に連写速度が遅くなってしまう可能性がある。また、メカシャッターを用いても全水平ラインを同時に遮光することは不可能であり、水平ライン間の輝度ムラが生じてしまう。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、発光撮影を行う際の露光時間が短い場合であっても、撮像領域内の輝度ムラを軽減した画像を取得できる技術を実現することである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、発光部を発光させた発光撮影が可能な撮像装置であって、第１の撮像素子と、第２の撮像素子と、前記第１及び第２の撮像素子の電荷の蓄積と読み出しを制御する撮像制御手段と、前記発光部を発光させるタイミングを制御する発光制御手段と、前記第１及び第２の撮像素子から取得した画像データを用いて画像切り出しと画像合成を行う画像処理手段と、を有し、発光撮影を行う際に、前記撮像制御手段は、前記第１及び第２の撮像素子の少なくとも一方の電荷の蓄積と読み出しを制御し、前記発光制御手段は、前記第１及び第２の撮像素子の一方の撮像素子により前記発光部で発光した光が露光されない撮像領域について、もう一方の撮像素子において前記発光部で発光した光が露光されるように前記発光部の発光タイミングを制御し、前記画像処理手段は、前記第１及び第２の撮像素子から取得した画像データのうち、前記発光部で発光した光が露光される撮像領域をそれぞれ切り出して合成することにより合成画像データを生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、発光撮影を行う際の露光時間が短い場合であっても、撮像領域内の輝度ムラを軽減した画像を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態のデジタルカメラの外観図。
【図２】本実施形態のデジタルカメラの構成を示すブロック図。
【図３】本実施形態のデジタルカメラの撮影動作を示すフローチャート。
【図４】本実施形態のデジタルカメラの露出決定について説明する図。
【図５】本実施形態のデジタルカメラの発光時間について説明する図。
【図６】本実施形態のデジタルカメラの発光撮影動作を示すフローチャート。
【図７】実施形態１のデジタルカメラの発光期間と露光期間との関係を示すタイミングチャート。
【図８】本実施形態のデジタルカメラの画像合成処理を示すフローチャート。
【図９】本実施形態の画像の切り出しと画像の合成について説明する図。
【図１０】本実施形態の画像の切り出しと画像の合成と発光部４８の反射光との関係を説明する図。
【図１１】実施形態２のデジタルカメラの発光撮影動作を示すフローチャート。
【図１２】実施形態２のデジタルカメラの発光期間と露光期間との関係を示すタイミングチャート。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１２】
以下、本発明の撮像装置をデジタルスチルカメラに適用した例を説明するが、これに限られず、発光部を発光させた発光撮影機能を備える他の電子機器に適用しても良い。
【００１３】
＜装置構成＞まず、図１を参照して、本実施形態の撮像装置の主要な構成について説明する。
【００１４】
本実施形態のデジタルカメラを正面から見た図１（ａ）において、デジタルカメラ１００の前面には、キセノン管やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを光源とする発光部４８、第１の撮像部１０１、第２の撮像部１０２が設けられている。また、デジタルカメラ１００の上面には、シャッターボタン６０、電源制御スイッチ７２が設けられている。
【００１５】
第１の撮像部１０１と第２の撮像部１０２は光軸に沿って平行に配置されており、視差を有している。第１の撮像部１０１で得られる被写体像と、第２の撮像部１０２で得られる被写体像とはそれぞれ左目用と右目用の画像となる。
【００１６】
本実施形態のデジタルカメラを背面から見た図１（ｂ）において、デジタルカメラ１００の背面には、表示部４０、モード切替スイッチ５６、操作部７０が設けられている。
【００１７】
図２において、第１の撮像部１０１は、撮像レンズ１０、絞り機能を備えるシャッター１２、光学像を電気信号に変換する撮像素子１４、撮像素子１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１６を有する。同様に、第２の撮像部１０２も、撮像レンズ２０、絞り機能を備えるシャッター２２、光学像を電気信号に変換する撮像素子２４、撮像素子２４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器２６を有する。
【００１８】
本実施形態において、撮像素子１４、２４はそれぞれＣＭＯＳイメージセンサである。ＣＭＯＳイメージセンサは水平１ライン毎に時間をずらしながら電荷の蓄積と読み出しとを順次行う。電荷の蓄積と読み出しの処理は、通常、センサ上部の水平ラインから順次行う。また、本実施形態において、撮像素子１４、２４の画素サイズは同じである。
【００１９】
撮像制御部１８は、第１の撮像部１０１の撮像素子１４及び第２の撮像部１０２の撮像素子２４の電荷の蓄積と読み出しを制御する。また、撮像制御部１８は、撮像素子の電荷の蓄積と読み出しを水平１ライン毎に行っていく処理をセンサ上部の水平ラインから順次行うか、もしくはセンサ下部の水平ラインから順次行うかを制御する。また、撮像制御部１８は、タイミング発生部３０から第１及び第２の撮像部１０１、１０２へ送信するクロック信号と同じクロック信号を受信する。これにより、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４の駆動と同期した任意のタイミングで撮像素子１４、２４の電荷の蓄積と読み出し開始を制御することができる。
【００２０】
タイミング発生部３０は、第１及び第２の撮像部１０１、１０２それぞれの、撮像素子１４、２４、Ａ／Ｄ変換器１６、２６、撮像制御部１８、発光制御部４６にクロック信号や制御信号を供給する。タイミング発生部３０はメモリ制御部３４及びシステム制御部５０により制御される。
【００２１】
画像処理部３２は、Ａ／Ｄ変換器１６、２６からのデータ、または、メモリ制御部３４からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理、画像切り出しや画像合成を行う。画像処理部３２は、第１及び第２の撮像部１０１、１０２で取得された画像データから画像切り出しと画像合成処理を行い、合成画像を生成する。また、画像処理部３２は、第１及び第２の撮像部１０１、１０２で撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてＡＦ制御部４５が焦点検出制御を行うことで、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理を行う。更にまた、画像処理部３２では、第１及び第２の撮像部１０１、１０２で撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２２】
３６はＤ／Ａ変換器、４０はＬＣＤ等からなる表示部である。
【００２３】
３８は、撮影した静止画像や動画像を格納するためのメモリである。Ａ／Ｄ変換器１６、２６から出力されるデジタル画像データは、画像処理部３２及びメモリ制御部３４を介して、メモリ３８に書き込まれる。メモリ３８は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連続撮影の場合にも、高速かつ大量の画像書き込みをメモリ３８に対して行うことが可能となる。また、メモリ３８はシステム制御部５０の作業領域としても使用することが可能である。メモリ３８は、記録媒体２００の書き込みバッファとしても使われる。さらに、メモリ３８は画像表示用のメモリを兼ねており、メモリ３８に書き込まれた表示用の画像データはＤ／Ａ変換器３６を介して表示部４０により表示される。表示部４０を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能（スルー表示）を実現することが可能である。
【００２４】
圧縮・伸張部４２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張する。圧縮・伸張部４２は、メモリ３８に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えたデータをメモリ３８に書き込む。また圧縮・伸張部４２は、記録媒体２００などからメモリ３８に読み込まれた圧縮画像を読み込んで伸張処理を行い、処理を終えたデータをメモリ３８に書き込む。圧縮・伸張部４２によりメモリ３８に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース９０を介して記録媒体２００に記録される。
【００２５】
４４は露出制御部、４６は発光制御部、４８は発光部である。
【００２６】
露出制御部４４は、システム制御部５０の制御に従い、ＴＴＬ方式によるＡＥ（自動露出）処理、調光処理を行う。
【００２７】
以下では、発光部４８の光源にＬＥＤを用いる構成の説明を行う。発光部４８は、発光制御部４６の制御信号に従い発光する。
【００２８】
発光制御部４６は、タイミング発生部３０から第１及び第２の撮像部１０１、１０２へ送信するクロック信号と同じクロック信号を受信する。これにより、発光制御部４６は、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４の駆動に同期した任意のタイミングで発光部４８を発光制御することができる。また、発光制御部４６は、発光部４８の発光量を任意に、もしくは露出制御部４４における調光処理の結果などをもとに制御する。
【００２９】
システム制御部５０は、デジタルカメラ１００全体を制御する。５２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられ、システム制御部５０の動作用の定数、プログラム等を記憶する。システムメモリ５４は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５２から読み出したプログラム等を展開する。ここでプログラムとは、後述する各実施形態における各種フローチャートを実行するためのプログラムのことである。
【００３０】
モード切替スイッチ５６は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替えることができる。
【００３１】
６２は第１シャッタースイッチＳＷ１、６４は第２シャッタースイッチＳＷ２である。第１シャッタースイッチＳＷ１（６２）は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の動作開始を指示する。
【００３２】
第２シャッタースイッチＳＷ２（６４）は、まずＡＷＢ（オートホワイトバランス）処理、調光（プリ発光）処理等の動作開始を指示する。続いて、第１の撮像部１０１と第２の撮像部１０２から読み出した信号をそれぞれＡ／Ｄ変換器１６、２６、メモリ制御部３４を介してメモリ３８に画像データを書き込む露光処理の動作開始を指示する。同時に、画像処理部３２やメモリ制御部３４での演算を用いた現像処理、メモリ３８から画像データを読み出し、圧縮・伸張部４２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。また、動画撮影モードの場合は動画撮影の開始・停止を指示する。
【００３３】
操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部である。操作部７０の各操作部材は、表示部４０に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばメニューボタンが押されると各種設定が可能なメニュー画面が表示部４０に表示される。ユーザは、表示部４０に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３４】
７２は、電源オン、電源オフを切り替える電源制御スイッチである。
【００３５】
７４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う電源制御部である。また、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３６】
８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。８２及び８４は、電源部８６と電源制御部７４とを接続するコネクタである。
【００３７】
９０は、メモリカードやハードディスク等の記録媒体２００とのインターフェースであり、９２は、該記録媒体２００とインターフェース９０との接続のためのコネクタである。
【００３８】
２００は、メモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインターフェース２０４、及び、記録媒体２００とデジタルカメラ１００とを接続するためのコネクタ２０６を備えている。
【００３９】
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明する。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェース９０、そしてコネクタ９２に各種通信カードを接続することにより、他機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４０】
＜発光撮影モード＞以下、図３乃至図１０を参照して、本実施形態のデジタルカメラ１００による発光撮影モードにおける撮影動作について説明する。
【００４１】
図３は本実施形態の発光撮影モードにおける撮影動作を示しており、本処理は、システム制御部５０が、不揮発性メモリ５２に記録されたプログラムを、システムメモリ５４のワークエリアに展開し、実行することで実現される。
【００４２】
図３において、システム制御部５０は、電源制御スイッチ７２がオンされると（Ｓ３０１）、モード切替スイッチ５６と操作部７０によってデジタルカメラ１００の動作モードを設定する（Ｓ３０２）。ここで、発光撮影モードが設定されると（Ｓ３０２でＹＥＳ）、システム制御部５０は、第１及び第２の撮像部１０１、１０２で撮像された画像データを表示部４０へ逐次表示するスルー表示を行う（Ｓ３０４）。Ｓ３０２において、その他のモード、例えば、動画撮影モードや再生モードなどのいずれかに設定された場合は（Ｓ３０２でＮＯ）、システム制御部５０は、設定された各モードの処理を行う（Ｓ３０３）。
【００４３】
Ｓ３０４の後、シャッターボタン６０の押下により第１シャッタースイッチＳＷ１（６２）がオンされると（Ｓ３０５でＹＥＳ）、ＡＦ制御部４５は焦点検出処理を行う。そして、焦点検出結果に応じて第１及び第２の撮像部１０１、１０２の各撮像レンズ１０、２０の焦点を被写体に合焦させるＡＦ処理を行う（Ｓ３０６）。
【００４４】
続いて、システム制御部５０は、露出制御部４４を制御して露出条件を決定するＡＥ（オートエクスポージャ）処理を行う（Ｓ３０７）。ここではまず、露出制御部４４が測光処理を行い、被写体輝度値Ｂｖを取得する。撮影感度Ｓｖ、露光時間Ｔｖ、絞り値Ａｖの露出条件は、取得された被写体輝度値Ｂｖから適正な露出値Ｅｖが得られるように以下の式１に従い決定する。
【００４５】
Ｅｖ＝Ｂｖ＋Ｓｖ＝Ｔｖ＋Ａｖ・・・（１）
ここで、被写体輝度値Ｂｖ、撮影感度Ｓｖ、露光時間Ｔｖ及び絞り値ＡｖはＡＰＥＸ表記された値である。
【００４６】
本実施形態では、不揮発性メモリ５２は、図４（ａ）に示すようなプログラム線図を記憶している。露出制御部４４は、取得した被写体輝度値Ｂｖから、プログラム線図に従い、発光撮影において適正露出が得られる撮影感度Ｓｖ＿１、露光時間Ｔｖ＿１、絞り値Ａｖ＿１の露出条件を決定する。例えば、図４（ａ）に例示するように露出値ＥｖがＥｖ１０である場合、図中の位置Ａから、露光時間ＴｖをＴｖ７、絞り値ＡｖをＡｖ３と決定する。
【００４７】
本実施形態において、発光撮影時の露光時間Ｔｖは、以下の式２を満たすよう設定される。
【００４８】
Ｔ１＜Ｔｔｖ＜２×Ｔ１・・・（２）
ここで、Ｔｔｖは、ＡＰＥＸ表記された露光時間Ｔｖの時間換算である。露光時間Ｔｔｖの単位は秒である。また、Ｔ１は、第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４がセンサ上部あるいはセンサ下部の最初の水平ラインの電荷の蓄積を開始するタイミングからセンサ中央の水平ラインの電荷の蓄積を開始するタイミングまでの時間である。
【００４９】
図４（ｂ）は時間Ｔ１と露光時間Ｔｔｖの関係を示している。
【００５０】
図４（ｂ）において、ＶＤは、タイミング発生部３０から各撮像素子１４、２４に供給される垂直同期信号を表している。図中の平行四辺形は、第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４が水平ライン毎に電荷の蓄積と読み出しを順次行い、各水平ラインの露光タイミング（露光期間）を模擬的に表したものである。平行四辺形の左の斜辺が水平ライン毎に電荷の蓄積を開始するタイミングを表し、対辺の斜辺が水平ライン毎に電荷の読み出しを開始するタイミングを表す。平行四辺形の横幅は露光時間Ｔｔｖを表し、平行四辺形の上辺は特に撮像素子の上部の最初の水平ラインの露光時間Ｔｔｖを表し、平行四辺形の底辺は撮像素子のセンサ下部の最後の水平ラインの露光時間Ｔｔｖを表す。時間Ｔ１は撮像素子の上部の最初の水平ラインの電荷の蓄積を開始するタイミングからセンサ中央の水平ラインの電荷の蓄積を開始するタイミングまでの時間である。本実施形態において、時間Ｔｔｖは時間Ｔ１よりも長くなるよう設定される。また、本実施形態の発光撮影は、センサの全水平ラインの露光期間が同時に発光部４８の発光期間と重複しないことを前提とするため、時間Ｔｔｖは時間Ｔ１の倍の時間、つまり全水平ラインが露光開始する時間よりも短くなるよう設定される。
【００５１】
Ｓ３０７で決定される露出条件は、第１及び第２の撮像部１０１、１０２の両方に設定される。第１及び第２の撮像部１０１、１０２で同じ露出条件となる。
【００５２】
Ｓ３０７の後、シャッターボタン６０が全押しされず、第２シャッタースイッチＳＷ２（６４）がオンされずに（Ｓ３０８でＮＯ）、さらに第１シャッタースイッチＳＷ１（６２）もオフされたならば（Ｓ３０９でＮＯ）、Ｓ３０５に戻る。また、第２シャッタースイッチＳＷ２（６４）がオンされずに（Ｓ３０８でＮＯ）、第２シャッタースイッチＳＷ１（６２）もオフされないならば（Ｓ３０９でＹＥＳ）、Ｓ３０８に戻る。
【００５３】
Ｓ３０７の後、第２シャッタースイッチＳＷ２（６４）がオンされたならば（Ｓ３０８でＹＥＳ）、発光制御部４６は、システム制御部５０の制御に従い、発光部４８を、予め設定されたプリ発光量でプリ発光させる（Ｓ３１０）。露出制御部４４が測光処理を行い、プリ発光時における被写体輝度を測光し、測光値ΔＥｖを得る。この測光値ΔＥｖは適正レベルからの差で表され、この値を以下の式３に代入し、適正露出を得るためのガイドナンバを算出する。
【００５４】
Ｇｎｏ＝１０ａ*ΔＥｖ*ｂ・・・（３）
ここで、Ｇｎｏはガイドナンバ、ΔＥｖは測光値、ａ、ｂは所定値である。
【００５５】
次に、式３により算出したガイドナンバを用いて、発光時間を算出する。本実施形態では、不揮発性メモリ５２は、図５に示すようなガイドナンバに対する発光時間のテーブルを記憶している。システム制御部５０は、図５に示すテーブルを参照して発光撮影時に適正露出を得るための発光時間を決定する。例えば、式３から算出されたガイドナンバが７．４６の場合、図５に示すテーブルから発光時間Ｔｓは３００μｓと設定する。
【００５６】
続いて、撮像制御部１８及び発光制御部４６は、システム制御部５０の制御に従い、発光撮影を行う（Ｓ３１１）。
【００５７】
＜発光撮影＞ここで、図６を参照して、図３の３１１における発光撮影動作について説明する。
【００５８】
図６において、まず、撮像制御部１８は、第２の撮像部１０２の撮像素子２４の電荷の蓄積と読み出しの処理を、センサ上部の水平ラインから順次行う処理からセンサ下部の水平ラインから順次行うように制御する（Ｓ６０１）。本実施形態において、撮像制御部１８は第２の撮像部１０２の撮像素子２４のみ、電荷の蓄積と読み出しの処理を変更するよう制御し、第１の撮像部１０１の撮像素子１４の制御は変更しない。そのため、発光撮影時において、本発光撮影時の第１の撮像部１０１の撮像素子１４の電荷の蓄積と読み出しの処理は、センサ上部の水平ラインから順次行う。
【００５９】
次に、発光制御部４６は、発光部４８の発光タイミングを決定する（Ｓ６０２）。発光制御部４６は、発光部４８の発光期間と露光期間が重複する第１の撮像部１０１の撮像素子１４の水平ラインに対応する第２の撮像部１０２の撮像素子２４の水平ラインに対して、露光期間と発光部４８の発光期間とが重複するように発光タイミングを決定する。
【００６０】
この発光部４８の発光タイミングについて、図７を参照して説明する。図７は第１及び第２の撮像部１０１、１０２の電荷の蓄積と読み出しタイミングと発光部４８の発光タイミングを示すタイミングチャートである。
【００６１】
図７において、ＶＤは、タイミング発生部３０から各撮像素子１４、２４に供給される垂直同期信号を表している。ＶＤ立ち下がりから次のＶＤ立ち下がりまでが１フィールドであり、この期間に各撮像素子１４、２４から各１枚の画像データが取得される。特に発光部４８が本発光し、その反射光を第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４が露光するフィールドを、図中に「本発光・露光フィールド」と示す。
【００６２】
第１及び第２の撮像部１０１、１０２の各フィールドに記された平行四辺形は、各撮像素子１４、２４が水平ライン毎に電荷の蓄積と読み出しを順次行い、各水平ラインの露光タイミングを模擬的に表したものである。平行四辺形７０１は、本発光・露光フィールドにおいて第１の撮像部１０１の撮像素子１４が露光するタイミングを表す、第１の撮像部１０１の露光期間である。ここで、第１の撮像部１０１の撮像素子１４の電荷の蓄積と読み出しの処理は、センサ上部の水平ラインから順次行っている。平行四辺形７０２は、本発光露光フィールドにおいて第２の撮像部１０２の撮像素子２４が露光するタイミングを表す、第２の撮像部１０２の露光期間である。ここで、第２の撮像部１０２の露光期間７０２に示す撮像素子２４の電荷の蓄積と読み出しの処理は、撮像制御部１８により制御されて（図６のＳ６０１）、センサ下部の水平ラインから順次行っている。
【００６３】
本実施形態において、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４のセンサ上部もしくはセンサ下部の最初の水平ラインが電荷の蓄積を開始するタイミングはともに同じタイミングである。
【００６４】
図７の発光は、発光部４８の発光タイミングを示している。発光部４８の本発光タイミングを図中に「本発光」として示している。
【００６５】
本実施形態において、発光制御部４６は、第１の撮像部１０１の撮像素子１４により発光部４８の反射光が露光されない撮像領域について、第２の撮像部１０２の撮像素子２４により当該撮像領域を露光するように発光部４８を発光するよう制御する。つまり、発光制御部４６は、各撮像素子１４、２４がそれぞれセンサ中央の水平ラインの電荷の蓄積を開始してから、センサ上部もしくはセンサ下部の最初に電荷の蓄積を開始した水平ラインの蓄積が終了するまでの期間に発光部４８を発光させる。
【００６６】
第１の撮像部１０１の露光期間７０１の領域Ａは、第１の撮像部１０１の撮像素子１４が発光部４８の本発光の反射光を露光する領域である。本実施形態においては、第１の撮像部１０１の撮像素子１４の中央より数ライン下の水平ラインから上部の水平ラインが発光部４８の本発光の反射光を露光する。第２の撮像部１０２の露光期間７０２の領域Ｂは、第２の撮像部１０２の撮像素子２４が発光部４８の本発光の反射光を露光する領域である。第２の撮像部１０２の撮像素子２４の中央より数ライン上の水平ラインから下部の水平ラインが発光部４８の本発光の反射光を露光する。
【００６７】
本実施形態において、発光制御部４６は、タイミング発生部３０からＶＤを供給されており、ＶＤの立ち下がりから本発光までの時間を時間Ｔとして発光部４８の本発光の発光タイミングを決定する。時間Ｔは、以下の式４に従い決定される。
【００６８】
Ｔ１＋Ｔ２≦Ｔ≦Ｔ１＋Ｔ２＋Ｔ３・・・（４）
ここで、時間Ｔ１は、第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４の上部もしくは下部の最初の水平ラインが電荷の蓄積を開始するタイミングから各撮像素子１４、２４の中央の水平ラインの電荷の蓄積を開始するタイミングまでの時間である。本実施形態において、時間Ｔ１は撮像素子１４、２４とも同じ時間である。図７にＴ１として示す。
【００６９】
また、時間Ｔ２はＶＤ立ち下がりから第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４のセンサ上部もしくはセンサ下部の最初の水平ラインが電荷の蓄積を開始するタイミングまでの時間である。本実施形態において、時間Ｔ２は撮像素子１４、２４とも同じ時間である。図７にＴ２として示す。
【００７０】
また、時間Ｔ３は、第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４のセンサ上部もしくはセンサ下部の最初の水平ラインが電荷の蓄積を開始するタイミングから、当該水平ラインが電荷の読み出しを開始するタイミングまでの時間である。本実施形態において、時間Ｔ３は時間Ｔｔｖに等しく、撮像素子１４、２４とも同じ時間である。図７にＴ３として示す。
【００７１】
本実施形態において、時間Ｔ１及び時間Ｔ２は固定値であり、不揮発性メモリ５２は、予め時間Ｔ１及び時間Ｔ２を記憶している。また、時間Ｔ３は露光時間Ｔｖに等しい。発光制御部４６は、時間Ｔ２を不揮発性メモリ５２読み出し、また、図３のＳ３０７で決定された露光時間Ｔｖをシステムメモリ５４から読み出して時間Ｔを計算して、発光部４８の本発光の発光タイミングを決定する。
【００７２】
Ｓ６０２の後、システム制御部５０は、発光撮影を行う（Ｓ６０３）。発光撮影において、第１及び第２の撮像部１０１、１０２の各撮像素子１４、２４は、電荷の蓄積と読み出しの処理をそれぞれの方向で実行し、発光制御部４６は、Ｓ６０２で決定されたタイミングで発光部４８を発光する。
【００７３】
次に、撮像制御部１８は、第２の撮像部１０２の撮像素子２４の電荷の蓄積と読み出しの処理を、Ｓ６０１での制御の前の状態であるセンサ上部の水平ラインから順次行うよう制御し（Ｓ６０４）、発光撮影を終了し、図３のＳ３１２に進む。
【００７４】
続いて、画像処理部３２は、Ｓ３１１で撮影された画像データから画像切り出しと画像合成を行い、水平ライン間の輝度ムラを軽減した合成画像を生成する（Ｓ３１２）。
【００７５】
＜画像合成処理＞ここで、図８を参照して、図３のＳ３１２における合成画像を生成するための画像合成処理について説明する。
【００７６】
図８において、まず、発光撮影（Ｓ３１１）によって取得された第１及び第２の撮像部１０１、１０２の撮像素子１４、２４からの画像データは、それぞれＡ／Ｄ変換器１６、２６を介して画像処理部３２へ送られる。次に、画像処理部３２は、第１の撮像部１０１の撮像素子１４からの画像データのうち発光部４８の本発光の反射光を露光している領域から、画像合成に用いる第１の画像合成領域を切り出す（Ｓ８０１）。本実施形態において、第１の画像合成領域は、第１の撮像部１０１の撮像素子１４からの画像データのうち、画像の中央以下で、かつ発光部４８の本発光の発光期間と露光期間が重複している任意の水平ラインから上部の水平ラインに対応する。ここで、第１の撮像部１０１の撮像素子１４からの画像データの画像サイズを横ｘ画素、縦ｙ画素であるとし、第１の画像合成領域の領域サイズを横ｘ画素、縦ｙ１画素とする。このとき、縦ｙ１画素は以下の式５を満たすよう決定される。
【００７７】
ｙ／２≦ｙ１≦｛（Ｔ−Ｔ２）／（２×Ｔ１）｝×ｙ・・・（５）
ここで、時間Ｔ、時間Ｔ１及び時間Ｔ２は、図７と同じ時間である。
【００７８】
次に、画像処理部３２は、第２の撮像部１０２の撮像素子２４からの画像データのうち発光部４８の本発光の反射光を露光している領域から、画像合成に用いる第２の画像合成領域を切り出す（Ｓ８０２）。本実施形態において、第２の画像合成領域は、第２の撮像部１０２の撮像素子２４からの画像データのうち、第１の画像合成領域画像で決定された任意の水平ラインに対応した水平ラインよりも下部の水平ラインに対応する。ここで、第２の撮像部１０２の撮像素子２４からの画像データの画像サイズを横ｘ画素、縦ｙ画素であるとし、第２の画像合成領域の領域サイズを横ｘ画素、縦ｙ２画素とする。このとき、縦ｙ２画素は以下の式６を満たすよう決定される。
【００７９】
ｙ２＝ｙ−ｙ１・・・（６）
第２の画像合成領域の領域サイズは、Ｓ８０１で第１の画像合成領域画像の領域サイズが決まれば一意に決定される。
【００８０】
続いて、画像処理部３２は、Ｓ８０１で切り出された第１の画像合成領域と、Ｓ８０２で切り出された第２の画像合成領域とを画像合成して合成画像を生成する（Ｓ８０３）。画像合成は、それぞれ切り出される前の画素のアドレスを維持したまま行われる。
【００８１】
ここで、図９を参照して、図８の画像の切り出しと合成について説明する。
【００８２】
図９において、９０１は発光撮影によって取得された、第１の撮像部１０１の撮像素子１４に基づく画像データである。ここで、画像９０１の画像サイズは、横ｘ画素、縦ｙ画素である。９０２は各画素のデータ値を示す。例えば、取得した画像データの（１、２）座標の画素データ値はａ（１、２）で表す。９０３は、図８のＳ８０１において、画像処理部３２により第１の画像合成領域として切り出される領域である。第１の画像合成領域９０３のサイズは、横ｘ画素、縦ｙ１画素である。
【００８３】
９０４は発光撮影によって取得された、第２の撮像部１０２の撮像素子２４に基づく画像データである。ここで、画像９０４の画像サイズは、横ｘ画素、縦ｙ画素である。９０５は、図８のＳ８０１において、画像処理部３２により第１の画像合成領域として切り出される領域である。第１の画像合成領域９０５のサイズは、横ｘ画素、縦ｙ２画素である。
【００８４】
９０６は、図８のＳ８０３において、第１及び第２の画像合成領域９０３、９０５を合成して得られた合成画像データであり、第１及び第２の画像合成領域９０３、９０５の各画素のアドレスを維持したまま合成される。本実施形態において、第１及び第２の画像合成領域９０３、９０５のサイズはともに横ｘ画素で、また、縦の画素数は式６に示すように、互いの領域の縦の画素数を足すと元の画像と同じ縦の画素数になるように決定される。そのため、画像合成することで取得される合成画像データ９０６の画像サイズはもともとの画像と同じ画像サイズである横ｘ画素、縦ｙ画素となる。
【００８５】
ここで、図１０を参照して、画像の切り出しと合成と発光部４８の反射光との関係について説明する。
【００８６】
図１０において、１００１は発光撮影によって、第１の撮像部１０１の撮像素子１４が取得した画像である。ここで、画像１００１の画像サイズは、横ｘ画素、縦ｙ画素である。１００２は、被写体像である。１００３は、図８のＳ８０１において、画像処理部３２により第１の画像合成領域として切り出される領域である。第１の画像合成領域１００３のサイズは、横ｘ画素、縦ｙ１画素である。第１の画像合成領域１００３は、発光部４８の本発光の反射光を露光している。１００４及び１００５は、画像１００１のうち、第１の画像合成領域１００３以外の領域である。領域１００４は、発光部４８の本発光の反射光を露光している。領域１００４のサイズは、横ｘ画素、縦ｙ＿ａ画素とする。縦画素サイズｙ＿ａは以下の式７により求められる。
【００８７】
ｙ＿ａ＝｛（Ｔ−Ｔ２）／（２×Ｔ１）｝×ｙ−ｙ１・・・（７）
領域１００４の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔと第１の画像合成領域１００３の領域によって決定される。
【００８８】
領域１００５は、発光部４８の本発光の反射光を露光していない。領域１００５のサイズは、横ｘ画素、縦ｙ＿ｂ画素とする。縦画素サイズｙ＿ｂは以下の式８により求められる。
【００８９】
ｙ＿ｂ＝ｙ−｛（Ｔ−Ｔ２）／（２×Ｔ１）｝×ｙ・・・（８）
領域１００５の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔによって決定される。
【００９０】
１００６は発光撮影によって、第２の撮像部１０２の撮像素子２４が取得した画像である。ここで、画像１００６の画像サイズは、横ｘ画素、縦ｙ画素である。１００７は、図８のＳ８０２において、画像処理部３２により第２の画像合成領域として切り出される領域である。第２の画像合成領域１００７のサイズは、横ｘ画素、縦ｙ２画素である。第２の画像合成領域１００７は、発光部４８の本発光の反射光を露光している。１００８及び１００９は、画像１００６のうち、第２の画像合成領域１００７以外の領域である。領域１００８は、発光部４８の本発光の反射光を露光している。領域１００８のサイズは、横ｘ画素、縦ｙ＿ｃ画素とする。縦画素サイズｙ＿ｃは以下の式９により求められる。
【００９１】
ｙ＿ｃ＝｛（Ｔ−Ｔ２）／（２×Ｔ１）｝×ｙ−ｙ２・・・（９）
領域１００８の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔと第２の画像合成領域１００７の領域によって決定される。
【００９２】
領域１００９は、発光部４８の本発光の反射光を露光していない。領域１００９のサイズは、横ｘ画素、縦ｙ＿ｄ画素とする。縦画素サイズｙ＿ｄは以下の式１０により求められる。
【００９３】
ｙ＿ｄ＝ｙ−｛（Ｔ−Ｔ２）／（２×Ｔ１）｝×ｙ・・・（１０）
領域１００９の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔによって決定される。
【００９４】
１０１０は、図８のＳ８０３において、第１及び第２の画像合成領域１００３、１００７を合成した合成画像である。本実施形態において、第１及び第２の画像合成領域１００３、１００７のサイズはともに横ｘ画素であり、縦の画素数は式６に示すように、互いの領域の縦の画素数を足すと元の画像と同じ縦の画素数になるように決定される。そのため、画像を合成して生成される合成画像１０１０の画像サイズは元の画像と同じ画像サイズである横ｘ画素、縦ｙ画素となる。また、第１及び第２の画像合成領域１００３、１００７はそれぞれ、発光撮影時に発光部４８の本発光の反射光を露光した領域であるため、画像を合成して生成される合成画像１０１０は全撮像領域で発光部４８の本発光の反射光を露光した画像となる。
【００９５】
続いて、画像合成により生成された合成画像データをメモリ３８に記録する。そして、システム制御部５０は、合成画像を表示部４０にクイックレビュー表示する（Ｓ３１３）。
【００９６】
Ｓ３１３の後、システム制御部５０は、画像合成により生成された合成画像データをファイル化して記録媒体２００に書き込みを行う記録処理を実行する（Ｓ３１５）。
【００９７】
上述した実施形態１によれば、発光撮影時の第２の撮像部１０２の撮像素子２４の電荷の蓄積と読み出しを、第１の撮像部１０１の撮像素子１４の電荷の蓄積と読み出しに対して反対方向から順次行うように制御する。また、発光部４８の発光タイミングは、第１の撮像部１０１の撮像素子１４により発光部４８の反射光が露光されない撮像領域について、第２の撮像部１０２の撮像素子２４により当該撮像領域で発光部４８の反射光を露光するように制御される。さらに、このように制御された発光撮影によって取得された第１及び第２の撮像部１０１、１０２の撮像素子１４、２４からの２つの画像データのうち、それぞれ発光部４８の反射光を露光している領域を切り出して画像合成する。
【００９８】
以上の処理により、１回の発光を行い全撮像領域で発光部４８の反射光を露光した画像を取得することができる。よって、発光撮影を行う際の露光時間が短い場合であっても、撮像領域内の輝度ムラを軽減した画像を取得することができる。
【００９９】
本実施形態では、第２の撮像部１０２の撮像素子２４の各水平ラインの電荷の蓄積と読み出し順序を変更した。しかしながら、第１の撮像部１０１の撮像素子１４と第２の撮像部１０２の撮像素子２４のそれぞれの水平ラインの電荷の蓄積と読み出しを互いに反対方向に順次行う構成であれば、いずれの撮像素子１４、２４を制御しても良い。発光撮影によって各撮像素子１４、２４から取得した画像データからの画像の切り出しは、どちらの撮像素子１４、２４が制御されたかに応じて、反射光を露光している領域から切り出すよう制御すれば良い。
【０１００】
［実施形態２］実施形態１では、発光撮影において、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４のいずれか一方の各水平ラインの電荷の蓄積と読み出し順序を変更して、互いの電荷の蓄積と読み出し順序が反対となるように変更した。これに対して、本実施形態は、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４のいずれか一方の各水平ラインの電荷の蓄積開始のタイミングを変更することで同様の効果を得るものである。
【０１０１】
なお、実施形態２に係るデジタルカメラの構成は、実施形態１と同様である。また、本実施形態の発光撮影モードにおける撮影動作については、図３のＳ３１１とＳ３１２以外は、図３と同様である。よって、以下では、実施形態１と異なる部分である、図３のＳ３１１での発光撮影処理について、図１１を参照して説明する。
【０１０２】
図１１は、本実施形態における発光撮影動作を示しており、図６と同じ処理を行うステップには、同じ符号を付している。
【０１０３】
図１１において、まず、撮像制御部１８は、発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを変更する（Ｓ１１０１）。本実施形態において、撮像制御部１８は発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを、第１の撮像部１０１の撮像素子１４の同じタイミングに対して早くなるよう制御する。
【０１０４】
次の、発光制御部４６による発光部４８の発光タイミングの決定処理（Ｓ６０２）と、発光撮影処理（Ｓ６０３）は、図６と同様である。
【０１０５】
ここで、Ｓ１１０１の撮像制御部１８によって制御された第１及び第２の撮像部１０１、１０２の電荷の蓄積と読み出しタイミングと、発光部４８の発光タイミングについて、図１２を参照して説明する。図１２は、本実施形態における第１及び第２の撮像部１０１、１０２の電荷の蓄積と読み出しタイミングと発光部４８の発光タイミングを表すタイミングチャートである。
【０１０６】
図１２において、ＶＤや第１及び第２の撮像部１０１、１０２の各フィールドに記された平行四辺形、及び発光については、実施形態１における図７の説明と同様である。平行四辺形１２０１は、本発光・露光フィールドにおいて第１の撮像部１０１の撮像素子１４が露光するタイミングを表す、第１の撮像素子１４の露光期間である。ここで、撮像素子１４の電荷の蓄積と読み出しの処理は、センサ上部の水平ラインから順次行っている。平行四辺形１２０２は、本発光露光フィールドにおいて第２の撮像部１０２の撮像素子２４が露光するタイミングを表す、第２の撮像素子２４の露光期間である。実施形態１と異なり、第２の撮像部１０２の撮像素子２４の電荷の蓄積と読み出しの処理は、第１の撮像部１０１の撮像素子１４と同様にセンサ上部の水平ラインから順次行っている。本実施形態において、第２の撮像部１０２の撮像素子２４の上部の最初の水平ラインが電荷の蓄積を開始するタイミングは、撮像制御部１８により制御されるため（図１１のＳ１１０１）、第２の撮像部１０２の撮像素子２４のタイミングに比べて早くなっている。撮像制御部１８は発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを、第１の撮像部１０１の撮像素子１４の同じタイミングに対して時間Ｔｄだけ早くするよう制御する。電荷の蓄積開始タイミング変更時間Ｔｄは以下の式１１を満たす任意の時間に決定される。
【０１０７】
Ｔ１＜Ｔｄ＜Ｔ３・・・（１１）
ここで、時間Ｔ１及び時間Ｔ３については、実施形態１で説明した通りである。
【０１０８】
本実施形態において、発光制御部４６は、第１の撮像部１０１の撮像素子１４により発光部４８の反射光が露光されない撮像領域について、第２の撮像部１０２の撮像素子２４により当該撮像領域を露光するように発光部４８を発光するよう制御する。発光部４８の本発光タイミングを図中に「本発光」として示している。図１１のＳ６０２で決定される本実施形態の発光部４８の発光タイミングは、実施形態１における図６のＳ６０２と同様のため説明を省略する。
【０１０９】
第１の撮像部１０１の露光期間１２０１の領域Ａは、第１の撮像部１０１の撮像素子１４が発光部４８の本発光の反射光を露光する領域である。第１の撮像部１０１の撮像素子１４の中央より数ライン下の水平ラインから上部の領域が発光部４８の本発光の反射光を露光する。第２の撮像部１０２の露光期間１２０２の領域Ｂは、第２の撮像部１０２の撮像素子２４が発光部４８の本発光の反射光を露光する領域である。第２の撮像部１０２の撮像素子２４の中央より数ライン上の水平ラインから下部の領域が発光部４８の本発光の反射光を露光する。
【０１１０】
次に、撮像制御部１８は、第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを、Ｓ１１０１での制御の前のタイミングでセンサ上部の最初の水平ラインの電荷の蓄積を開始するよう制御する（Ｓ１１０４）。
【０１１１】
その後、本実施形態のように制御された発光撮影によって第１及び第２の撮像部１０１、１０２の撮像素子１４、２４から取得した２つの画像データに対するそれぞれの画像の切り出しと合成の各処理は実施形態１と同様である。
【０１１２】
ただし、第１及び第２の撮像部１０１、１０２の撮像素子１４、２４から取得した２つの画像データに対する発光部４８の反射光を露光する領域が異なる。このため、実施形態１と異なる部分である、画像の切り出しと合成と発光部４８の反射光との関係について、図１０を参照して説明する。
【０１１３】
図１０において、１００８及び１００９は、画像１００６のうち、第２の画像合成領域１００７以外の領域である。領域１００８は、発光部４８の本発光の反射光を露光している。領域１００８のサイズは、横ｘ画素、縦ｙ＿ｃ画素とする。縦画素サイズｙ＿ｃは以下の式１２により求められる。
【０１１４】
ｙ＿ｃ＝ｙ−｛（Ｔｄ−Ｔ２−２×Ｔ１＋Ｔ）／（２×Ｔ１）｝×ｙ−ｙ２・・・（１２）
領域１００８の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔ、電荷の蓄積開始タイミング変更時間Ｔｄと第２の画像合成領域１００７の領域によって決定される。
【０１１５】
領域１００９は、発光部４８の本発光の反射光を露光していない。領域１００９のサイズは、横ｘ画素、縦ｙ＿ｄ画素とする。縦画素サイズｙ＿ｄは以下の式１３により求められる。
【０１１６】
ｙ＿ｄ＝｛（Ｔｄ−Ｔ２−２×Ｔ１＋Ｔ）／（２×Ｔ１）｝×ｙ・・・（１３）
領域１００９の縦画素サイズは、固定値である時間Ｔ１と時間Ｔ２、及び発光部４８の本発光のタイミングを決定する時間Ｔ、電荷の蓄積開始タイミング変更時間Ｔｄによって決定される。
【０１１７】
ただし、本実施形態で説明した領域１００７及び１００８は、画像合成処理に用いられる領域ではないため、実施形態１に対して画像の切り出し及び合成の各処理が異なるわけではない。
【０１１８】
上述した実施形態２によれば、発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを、第１の撮像部１０１の撮像素子１４の同じタイミングに対して早くするよう制御する。また、発光部４８の発光タイミングは、第１の撮像部１０１の撮像素子１４により発光部４８の反射光が露光されない撮像領域について、第２の撮像部１０２の撮像素子２４により当該撮像領域で発光部４８の反射光を露光するように制御される。さらに、このように制御された発光撮影によって第１及び第２の撮像部１０１、１０２の撮像素子１４、２４から取得した２つの画像データのうち、それぞれ発光部４８の反射光を露光している領域を切り出して画像合成する。
【０１１９】
以上の処理により、１回の発光を行い全撮像領域で発光部４８の反射光を露光した画像を取得することができ、実施形態１と同様の効果を得ることができる。
【０１２０】
本実施形態では、発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを変更した。しかし、第１の撮像部１０１の撮像素子１４と第２の撮像部１０２の撮像素子２４のいずれか一方の撮像素子１４、２４を制御すれば良く、必ずしも第２の撮像部１０２の撮像素子２４を制御するとは限らない。
【０１２１】
本実施形態では、撮像制御部１８は発光撮影時における第２の撮像部１０２の撮像素子２４のセンサ上部の最初の水平ラインの電荷の蓄積を開始するタイミングを、第１の撮像部１０１の撮像素子１４の同じタイミングに対して早くなるよう制御した。しかし、上記タイミングは必ずしも早くなるよう制御する必要はなく、タイミングを遅らせても良い。タイミングを遅らせる場合は、発光タイミングも遅らせた時間と同じ時間だけ遅らせるよう制御すれば良い。
【０１２２】
また、発光撮影によって各撮像素子１４、２４から取得した画像データの画像の切り出しは、どちらの撮像素子が制御されたかに応じて、反射光を露光している領域から切り出すよう制御すれば良い。
【０１２３】
上記実施形態１、２では、発光撮影モードでの動作を例に説明した。しかしながら、本発明は発光撮影時に実施されるものであればよく、例えば、自動撮影モード時に、ＡＥ処理の結果光量が足りず、結果として発光撮影になった場合にも適用できる。
【０１２４】
また、上記実施形態１、２では、１回の発光撮影について説明したが、本発明はこれに限らず、連続した発光撮影時であっても良い。また、発光部４８を発光する撮影であれば、例えば調光時のプリ発光撮影に適用しても良い。また、上記実施形態１、２では、撮像レンズが２つある例を説明したが、撮像レンズを２つの撮像素子で共有する構成に適用しても良い。すなわち、１つの撮像レンズを介して入射した光束をミラーなどの光学部材で分割して２つの撮像素子へ入射させる構成に適用しても良い。また、発光部を内蔵した例を説明したが、撮像装置に着脱可能な発光装置の発光部を用いて発光撮影を行う構成に適用しても良い。
【０１２５】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014057172.tif 000003
【図２】
2014057172.tif 000004
【図３】
2014057172.tif 000005
【図４】
2014057172.tif 000006
【図５】
2014057172.tif 000007
【図６】
2014057172.tif 000008
【図７】
2014057172.tif 000009
【図８】
2014057172.tif 000010
【図９】
2014057172.tif 000011
【図１０】
2014057172.tif 000012
【図１１】
2014057172.tif 000013
【図１２】
2014057172.tif 000014