(57)【要約】【課題】  １つの撮像素子を用いて動画とストロボを発光させた状態で静止画を取得する際に、静止画の蓄積時間が制限されることなくストロボの発光が動画へ影響することを抑制する。【解決手段】  ２次元的に並べられた複数の画素を有し、第１の行と第１の行とは異なる第２の行の読み出し周期の独立した制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段を制御する第１の制御手段と、撮像素子の第１の行と第２の行の蓄積時間を設定する第２の制御手段とを有し、発光手段を発光させて第２の行で静止画用に被写体を撮像する場合に、第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で第１の制御手段は発光手段を発光させ、第２の制御手段は、発光手段を発光させる期間と少なくとも一部が重複する期間で、第２の行での静止画用の蓄積を行わせることを特徴とする構成とした。【選択図】  図２
2015126386.tif 000002
【特許請求の範囲】
【請求項１】
行方向と列方向に並べられた複数の撮像用の画素を有し、第１の行と前記第１の行とは異なる第２の行とで、それぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御手段と、
を有し、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行わせることを特徴とする撮像装置。
【請求項２】
前記第２の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段の発光の開始から終了までが収まるように、前記第１の行の蓄積時間を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行での動画用の蓄積を行う期間と重複する期間で、前記第２の行での静止画用の蓄積を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記発光手段の発光量を調節する調光手段を有し、
前記発光手段は、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で、被写体に対する前記発光手段をプリ発光させる制御が可能であって、
前記調光手段は、前記発光手段をプリ発光させる期間と重複する期間で、前記第２の行での蓄積によって取得した画像と、当該プリ発光の後に前記第１の行での蓄積によって取得した動画用の画像を用いて、前記第２の行によって静止画用に被写体を撮像する際の前記発光手段の発光量を調節することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記調光手段は、前記第１の行によって取得した画像と、前記第１の行での動画用の蓄積を行う期間と重複する期間において前記第２の行での蓄積によって取得した画像とを用いて、前記第２の行によって静止画用に被写体を撮像する際の前記発光手段の発光量を調節することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記発光手段を発光させる期間と重複する期間で前記第２の行で静止画用に蓄積を行う場合に、前記発光手段によって照明されていない被写体の領域の、前記第１の行によって動画用に取得した第１の画像と前記第２の行によって静止画用に取得した第２の画像とを合成することで、前記発光手段によって照明されていない被写体の領域の画像を生成する第１の合成手段を有する請求項１乃至５の何れか一項に記載の撮像装置。
【請求項７】
前記第１の合成手段は、前記第１の行によって前記第１の画像の蓄積が終了してから次の前記第１の画像の蓄積が開始されるまでの期間に、前記第２の行によって蓄積が開始された前記第２の画像と、当該次の前記第１の画像とを合成することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の合成手段は、前記第２の画像の露出量と前記第１の画像の露出量とが略等しくなるように前記第１の画像のゲイン量が設定された状態で、前記第１の画像と前記第２の画像を合成することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記第２の行で取得した画像を用いた補間処理により前記第１の行に対応した画像を生成する補間手段と、
前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記発光手段によって照明された被写体の領域の、前記第２の行によって取得した画像と、前記補間手段によって生成された前記第１の行に対応した画像とを合成することで、前記発光手段によって照明された被写体の領域の画像を生成する第２の合成手段とを有することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の合成手段によって生成された、前記発光手段によって照明されていない被写体の領域の画像と、前記第２の合成手段によって生成された前記発光手段によって照明された被写体の領域の画像とを合成することで、前記記録用の静止画を生成する第３の合成手段を有することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第２の制御手段によって設定された前記第１の行の蓄積時間に応じて、当該第１の行によって取得する画像のゲイン量を設定する第３の制御手段を有することを特徴とする請求項１乃至１０の何れか一項に記載の撮像装置。
【請求項１２】
行方向と列方向に並べられた複数の撮像用の画素を有し、第１の行と前記第１の行とは異なる第２の行とで、それぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子とを備えた撮像装置の制御方法であって、
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行わせることを特徴とする撮像装置の制御方法。
【請求項１３】
請求項１２に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を取得しつつ静止画を取得することが可能な撮像装置および、その制御方法とプログラムに関する。
【背景技術】
【０００２】
従来、動画を取得しつつ静止画を取得することが可能な撮像装置が一般的に知られている。このような撮像装置において、静止画の取得時にストロボなどの発光装置を発光させると、当該発光の影響が取得する動画に及んでしまう場合がある。
【０００３】
特許文献１には、１つの撮像素子において、動画記録用のフレームと静止画記録用のフレームとが交互に設けられた電子カメラが記載されている。そして、ストロボを発光させて静止画を取得する場合は、静止画記録用のフレームにおいてストロボ発光させることについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−６４４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の電子カメラは、１つの撮像素子において動画用のフレームと静止画用のフレームとが交互に設けられているので、動画のフレームレートにより、静止画の蓄積時間が制限されてしまう場合がある。
【０００６】
本発明の目的は、１つの撮像素子を用いて動画と静止画を取得する場合であって、ストロボを発光して静止画を取得する際に、静止画の蓄積時間が制限されることなく、ストロボの発光が動画へ影響することを抑制することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る撮像装置は、行方向と列方向に並べられた複数の撮像用の画素を有し、第１の行と前記第１の行とは異なる第２の行とで、それぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の第１の行と前記第２の行の蓄積時間を設定する第２の制御手段と、を有し、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で静止画用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での静止画用の蓄積を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、１つの撮像素子を用いて動画と静止画を取得する場合であって、ストロボを発光して静止画を取得する際に、静止画の蓄積時間が制限されることなく、ストロボの発光が動画へ影響することを抑制することが出来る。
【図面の簡単な説明】
【０００９】
【図１】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００を説明する図である。
【図２】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の内部構成を説明するブロック図である。
【図３】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の撮像部２０４を説明する図である。
【図４】本発明を実施する撮像装置の第１実施形態であるデジタルカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
【図５】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の動画取得処理を説明するフローチャートである。
【図６】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００のストロボ２１８の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。
【図７】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００のストロボ２１８の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
【図８】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の調光演算を説明する図である。
【図９】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の静止画生成処理を説明するフローチャートである。
【図１０】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の静止画生成処理を説明する図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
本発明に係る第１実施形態としての撮像装置であるデジタルカメラ（以下、単にカメラと称す）１００について図１〜図１０を参照して説明する。
【００１１】
図１は、本発明を実施した撮像装置の第１実施形態であるカメラ１００を説明する図であって、カメラ１００の背面図を示している。以下、図１に記載された各部を説明する。
【００１２】
カメラ１００の背面には、画像や各種情報を表示する表示部１０１が設けられている。表示部１０１は、例えば、液晶ディスプレイ或いは有機ＥＬディスプレイ等であり、タッチパネルとして入力機能を備えることにより操作部として機能するものであってもよい。
【００１３】
また、カメラ１００の背面には、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。なお、操作部１０２の一部は、カメラ１００の上面にも設けられている。
【００１４】
また、カメラ１００の背面には、被写体に対する撮影モード等を切り替えるモード切り替えスイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。操作部１０２、コントローラホイール１０３及びモード切り替えスイッチ１０４の機能等の詳細については、図２を参照して後述する。
【００１５】
カメラ１００の上面には、撮影指示を行うシャッタボタン１２１と、カメラ１００の電源オン／電源オフを切り替える電源スイッチ１２２とが設けられている。シャッタボタン１２１の機能の詳細については、図２を参照して後述する。
【００１６】
カメラ１００の側面には、コネクタ１１２が設けられている。カメラ１００はこのコネクタ１１２と、コネクタ１１２に接続可能な接続ケーブル１１１を介して、不図示の外部装置と接続ができる。そして、カメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して、不図示の外部装置に静止画、動画に係るデジタル画像データを出力することができる。
【００１７】
カメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、当該記録媒体スロットには、メモリカード等の記録媒体１３０を挿抜することができるようになっている。記録媒体スロットに格納された記録媒体１３０は、図２を参照して後述するシステム制御部（ＣＰＵ）２１１と通信が可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。さらに、カメラ１００に内蔵されていてもよい。
【００１８】
図２は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の内部構成を説明するブロック図である。以下、図２を参照して、カメラ１００の内部構成について説明する。
【００１９】
カメラ１００は、バリア２０１と、撮像光学系を構成する撮影レンズ２０２及びシャッタ２０３と、撮像部２０４と、ストロボ２１８とを備える。
【００２０】
バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。
【００２１】
撮影レンズ２０２は、ズームレンズやフォーカスレンズを含むレンズ群である。シャッタ２０３は、絞り機能を備え、撮像素子２０５に入射する光量を調節する。
【００２２】
撮像部２０４は、光学像を電気信号（アナログ電気信号）に変換する撮像素子２０５を有する。撮像素子２０５は、電荷を蓄積することで画像を生成することが可能な、ＣＣＤやＣＭＯＳなどの固体撮像素子からなる電荷蓄積型の撮像手段である。
【００２３】
撮像部２０４には、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）が設けられており、当該ＡＦＥによって、撮像素子２０５から出力されたアナログ電気信号（アナログ画像データ）に対するゲイン量の調節やサンプリングなどが行われる。なお、後述のＣＰＵ２１１からの指示に応じ、当該ＡＦＥが、取得された画像データに対するゲイン量の増幅や減少に関する調節を行う。
【００２４】
また、撮像部２０４は、Ａ／Ｄ変換部２０６を有している。Ａ／Ｄ変換部２０６は、撮像素子２０５から出力され、ゲイン量が調節されたアナログ画像データをデジタル信号（デジタル画像データ）に変換する。
【００２５】
なお、本実施形態では、撮像部２０４で得た画像データを基に、後述するシステム制御部（ＣＰＵ）２１１の測光演算部２１９が被写体の輝度値を算出する。この点については後述する。
【００２６】
カメラ１００は、画像処理部２０７、メモリ制御部２０８、Ｄ／Ａ変換部２０９、メモリ２１０、システム制御部（ＣＰＵ）２１１、不揮発性メモリ２１２、システムタイマ２１３、システムメモリ２１４及び表示部１０１を備える。
【００２７】
画像処理部２０７とメモリ制御部２０８は、撮像部２０４においてＡ／Ｄ変換処理により生成されたデジタル画像データを受信する。画像処理部２０７は、撮像部２０４から受信するデジタル画像データ、または、メモリ制御部２０８から受信するデジタル画像データに対し、所定の画素補間や縮小等のリサイズ処理、色変換処理等の処理を行う。また、本実施形態において、画像処理部２０７は、撮像部２０４から出力されたデジタル画像データに対するゲイン量の調節を行うことができる。なお、ＣＰＵ２１１からの指示に応じて、画像処理部２０７が、取得されたデジタル画像データに対するゲイン量の増幅や減少に関する調節を行うものとする。すなわち、アナログ画像データおよびデジタル画像データの両方のゲイン量の調節は、ＣＰＵ２１１（第３の制御手段）によって設定されたゲイン量に基づいて行われる。
【００２８】
なお、デジタル画像データは画像処理部２０７で各種の処理が施された後にＣＰＵ２１１に送られて、被写体の輝度値に応じて露出制御やフォーカス制御などが実行される。例えば、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、調光処理、ＡＷＢ（オートホワイトバランス）処理等である。なお、本実施形態では、画像処理部２０７から送られたデジタル画像データを基に、ＣＰＵ２１１が、被写体を撮像する際の露出量や、撮影レンズ２０２の位置などを算出する。そして、ＣＰＵ２１１によって当該算出の結果に基づいた露出制御やフォーカス制御が実行される。
【００２９】
また、撮像部２０４から出力されるデジタル画像データは、画像処理部２０７とメモリ制御部２０８を介して、あるいは、メモリ制御部２０８を介して、メモリ２１０に一時的に記録される。
【００３０】
メモリ２１０は、ＤＲＡＭなどの記録素子からなる記録部であり、撮像部２０４によって取得されたデジタル画像データや、表示部１０１に表示する表示用のアナログ画像データを記録することができる。また、メモリ２１０は、所定枚数の静止画や所定時間の動画、音声データを記録することができる十分な記憶容量を備えている。また、メモリ２１０は、画像表示用メモリ（ビデオメモリ）を兼ねている。
【００３１】
メモリ２１０に一時的に記録されたデジタル画像データは、Ｄ／Ａ変換部２０９に送信される。Ｄ／Ａ変換部２０９は、受け取ったデジタル画像データを表示用のアナログ画像データに変換して表示部１０１に送信する。そして、表示部１０１は、ＣＰＵ２１１からの指示によって、受け取った表示用のアナログ画像データを表示部１０１に表示する。なお、表示用のアナログ画像データを、表示部１０１に逐次表示することにより、被写体を撮像したスルー画像をライブビュー表示することが可能となる。また、表示部１０１のみでなく、不図示の電子ビューファインダに当該スルー画像をライブビュー表示させることも可能である。
【００３２】
不揮発性メモリ２１２は、電気的に消去や記憶が可能なメモリであり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭ等である。不揮発性メモリ２１２には、本実施形態において使用される種々のデータが格納されている。例えば、カメラ１００において実行されるプログラムや動作用の定数、種々の露出条件、カメラ１００内の処理で使用する算出式、ストロボ２１８の発光条件などが不揮発性メモリ２１２に格納されている。なお、カメラ１００において実行されるプログラムとは、図５、図９に示すフローと同様の動作を指示するためのプログラムである。
【００３３】
ＣＰＵ２１１は、不揮発性メモリ２１２に記憶されている各種のプログラムを実行するだけでなく、カメラ１００の全体的な動作を統括的に制御する。例えば、ＣＰＵ２１１は、メモリ２１０やＤ／Ａ変換部２０９、表示部１０１等を制御することにより、静止画および動画の表示制御を行う。また、画像処理部２０７やメモリ制御部２０８、後述の電源制御部２１６などに対して制御の指示を行う。なお、ＣＰＵ２１１の内部には測光演算部２１９、調光演算部２２０、ストロボ制御部２２１、合成部２２２などが設けられている。
【００３４】
測光演算部２１９は、撮像部２０４によって取得したデジタル画像データを受け、撮像部２０４で撮像した被写体の輝度値を算出する。測光演算部２１９による輝度値の算出方法として、まず、撮像部２０４で取得した画像データ（一画面分）を複数のブロックに分割する。次に、これらのブロックごとに平均輝度値を算出する。そして、全ブロックの平均輝度値を積分して代表輝度値を算出する。本実施形態では、この代表輝度値を用いて後述する種々の処理を実行する。
【００３５】
なお、代表輝度値の算出方法としては、公知のものであればどのようなものでもよい。例えば、平均輝度値と基準となるブロック（基準ブロック）との輝度値の差、および、ブロックの位置に応じた重みづけを行った後、輝度値の加算処理を行う。この重みづけ加算された輝度値を代表輝度値とするような構成であってもよい。測光演算部２１９によって算出した代表輝度値（以下、単に輝度値と称す）は、メモリ２１０へと送られる。
【００３６】
また、測光演算部２１９は、先に算出した輝度値に基づいて、ストロボ２１８によって被写体を照明する必要があるかないかを判定する。この判定の結果に応じて、ストロボ２１８の発光の要否が設定され、当該発光の要否はメモリ２１０に記録される。なお、上述した第１の行と第２の行は、撮像素子２０５の各行のうち、それぞれ異なる行として配置されている。この点については図３、４を参照して後述する。
【００３７】
調光演算部２２０は、ストロボ２１８を発光させる際のストロボ２１８の発光量を調節するための調光手段である。調光演算部２２０は、撮像素子２０５の、動画用の蓄積をおこなう行（以下、第１の行と称す）と、静止画用の蓄積をおこなう行（以下、第２の行と称す）のそれぞれで取得した画像データを比較して、ストロボ２１８の発光量を算出する。算出されたストロボ２１８の発光量はメモリ２１０に記録される。
【００３８】
ストロボ制御部２２１は、調光演算部２２０によって設定されたストロボ２１８の発光の要否や発光量に関する情報をメモリ２１０から読み出すことで、ストロボ２１８の発光を制御する発光制御手段（第１の制御手段）である。なお、ストロボ制御部２２１は、後述する動画取得処理におけるストロボ２１８の発光タイミングの制御も行う。
【００３９】
合成部２２２は、複数の画像を合成して記録用の静止画を生成する合成手段（第１の合成手段、第２の合成手段、第３の合成手段）である。本実施形態においては、合成部２２２は、第１の行で取得した画像データと第２の行で取得した画像データとのインターレース合成と、第２の画像に基づく補間処理によって新たな画像データを生成することができる。また、合成部２２２は、インターレース合成処理によって生成された画像データと補間処理に基づいて生成された画像データとを合成して記録用の静止画（画像データ）を生成することができる。以上説明した、調光演算部２２０、ストロボ制御部２２１、合成部２２２における各種の処理については図５〜図１０を参照して後述する。
【００４０】
なお、本実施形態では、ＣＰＵ２１１からの指示に応じて、上述したような制御部や処理部がカメラ１００の各種の制御を実行するような構成であるがこれに限定されるものではない。例えば、上述したような制御部や処理部を設けずに、ＣＰＵ２１１がカメラ１００内の各部を制御するような構成であっても良いし、ＣＰＵ２１１を設けずに上述した各部が連動して、カメラ１００の制御（処理）をおこなうような構成であってもよい。
【００４１】
ＣＰＵ２１１が不揮発性メモリ２１２から読み出したプログラムや動作用の定数や変数等は、システムメモリ２１４において展開される。システムメモリ２１４にはＲＡＭが用いられる。システムタイマ２１３は、各種の制御に用いる時間やタイミングが内蔵された時計の時間を計測する。
【００４２】
操作部１０２を構成する各種の操作部材は、表示部１０１に表示される種々の機能アイコンの選択等に用いられ、所定の機能アイコンが選択されることにより、場面毎に、適宜、機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして用いられる。
【００４３】
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指示するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。ＣＰＵ２１１は、このパルス信号を解析して、カメラ１００の各部を制御する。
【００４４】
なお、コントローラホイール１０３は、回転操作が検出できる操作部材であれば、部材自体が回転するものや、部材自体は回転しないがタッチセンサで回転操作を検出するものなど、どのようなものでもよい。
【００４５】
シャッタボタン１２１は、第１スイッチＳＷ１と、第２スイッチＳＷ２とを有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でＯＮとなり、これにより、撮影準備を指示する信号がＣＰＵ２１１に送信される。ＣＰＵ２１１は、第１スイッチＳＷ１がＯＮになった信号を受信すると、前述したＡＦ処理、ＡＥ処理、ＡＷＢ処理、調光処理等などの、露出制御やフォーカス制御を開始する。
【００４６】
第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でＯＮとなり、これにより、被写体の撮像開始を指示する信号がＣＰＵ２１１に送信される。ＣＰＵ２１１は、第２スイッチＳＷ２がＯＮになった信号を受信すると、撮像部２０４において蓄積された電荷に応じたアナログ画像データとして読み出す。次に、当該アナログ画像データから変換されたデジタル画像データを記録媒体１３０に書き込む。同時に、デジタル画像データから変換された表示用のアナログ画像データをスルー画像として表示部１０１に表示させる。以上説明した一連の撮影動作が、第２スイッチＳＷ２のＯＮに応じて行われる。
【００４７】
モード切り替えスイッチ１０４は、カメラ１００の動作モードを、静止画記憶モード、動画記憶モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画記憶モードには、例えば、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ１０４の操作により、静止画記憶モードに含まれるこれらのモードのいずれかに、直接、切り替えることができるようになっている。但し、このような構成に限定されず、例えば、モード切り替えスイッチ１０４で静止画記憶モードに切り替えた後に、他の操作部材を用いて静止画記憶モードに含まれる前述のモードのいずれかに切り替えるようにしてもよい。同様に、動画記憶モードにも、複数のモードが含まれていてもよい。
【００４８】
カメラ１００は、電源部２１５と、電源制御部２１６を備える。電源部２１５は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプター等であり、電源制御部２１６へ電力を供給する。電源制御部２１６は、電池検出回路やＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等により構成されている。電源制御部２１６は、電源部２１５における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びＣＰＵ２１１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
【００４９】
カメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とＣＰＵ２１１との間の通信を可能にするためのＩ／Ｆ（インターフェース）２１７を備える。
【００５０】
以下、図３を参照して撮像部２０４の詳細について説明する。図３は本発明を実施した撮像装置の第１実施形態であるカメラ１００の撮像部２０４を説明する図であって、（ａ）は撮像部２０４の概略斜視図であって、（ｂ）は撮像部２０４を示すブロック図である。
【００５１】
まず、前述した撮像部２０４は、複数の画素３０１が形成されて光入射側に配置される第１のチップ３０と、列走査回路３１３ａ、３１３ｂや行走査回路３１２等の画素駆動回路（以下、周辺回路と称す）が形成された第２のチップ３１からなる。この第１のチップ３０が、本実施形態の撮像素子２０５であり、前述したＡ／Ｄ変換部２０６は第２のチップ３１に設けられている。
【００５２】
撮像部２０４は、第１のチップ３０が第２のチップ３１の上に積層されて構成されている。第１のチップ３０に画素３０１を形成し、第２のチップ３１に周辺回路を形成することにより、周辺回路と画素３０１の製造プロセスを分けることができる。これにより、周辺回路部の配線の細線化、高密度化による高速化、小型化、高機能化を実現することができる。
【００５３】
第１のチップ３０は、マトリクス状に行方向と列方向に一定の間隔で配置された複数の画素３０１を有する。なお、本実施形態では、複数の画素３０１は被写体を撮像する撮像用の画素であるが、これ以外の用途で使用するような構成であってもよい。
【００５４】
第１のチップ３０は、各画素３０１に行方向（水平方向）に接続された転送信号線３０３と、リセット信号線３０４及び行選択信号線３０５と、各画素３０１の列方向に接続された列信号線３０２ａ、３０２ｂとを有する。列信号線３０２ａ、３０２ｂはそれぞれ、読み出し行単位によって接続先が区別されている。読み出し行の詳細については図４を参照して後述する。
【００５５】
第２のチップ３１は、列信号線３０２ａ、３０２ｂがそれぞれ接続されるカラムＡＤＣブロックであるＡ／Ｄ変換部２０６と、各行を走査する行走査回路３１２と、各列を走査する列走査回路３１３ａ、３１３ｂを有する。また、第２のチップ３１は、タイミング制御回路３１４と、水平信号線３１５ａ、３１５ｂを有する。
【００５６】
タイミング制御回路３１４は、ＣＰＵ２１１からの制御信号を受けて、行走査回路３１２、列走査回路３１３ａ、３１３ｂ及びＡ／Ｄ変換部２０６のそれぞれの動作のタイミングを制御する。水平信号線３１５ａ、３１５ｂは、列走査回路３１３ａ、３１３ｂにより制御されるタイミングに従い、Ａ／Ｄ変換部２０６からのデジタル画像データ（デジタル信号）を転送する。そして、水平信号線３１５ｂから転送された各画像データは、水平信号線３１５ａ、３１５ｂに接続された画像処理部２０７に送られる。
【００５７】
第１のチップ３０（撮像素子２０５）において、画素３０１は、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３及び選択トランジスタＭ４を含む。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴであるとする。
【００５８】
転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、転送信号線３０３、リセット信号線３０４及び行選択信号線３０５が接続されている。これらの信号線は、行方向に延在して、同一行に含まれる画素３０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。選択トランジスタＭ４のソースには、列信号線３０２ａ又は列信号線３０２ｂが、行単位で分かれて接続されている。
【００５９】
フォトダイオードＰＤは、光電変換により生成された電荷を蓄積し、そのＰ側は接地され、そのＮ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送されるが、フローティングディフュージョンＦＤには寄生容量があるので、この部分に電荷が蓄積される。
【００６０】
増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されているものとする。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものである。選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続され、選択トランジスタＭ４のソースは列信号線３０２ａ又は列信号線３０２ｂに接続されている。選択トランジスタＭ４がＯＮしたときに、フローティングディフュージョンＦＤの電圧に対応する電圧が列信号線３０２ａ又は列信号線３０２ｂに出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２は、フローティングディフュージョンＦＤの電圧を電源電圧Ｖｄｄにリセットする。
【００６１】
以上説明したように、本実施形態では、第１のチップ３０（撮像素子２０５）を構成する各画素を行単位で同時に駆動、及び読み出しが可能である。したがって、前述した第１の行および第２の行についても、駆動の周期および読み出しの周期を、それぞれ独立して制御することが出来る。
【００６２】
次に、図４を参照して、前述した撮像素子２０５の列信号線３０２ａ、３０２ｂにおける画素選択について説明する。図４は、本発明を実施する撮像装置の第１実施形態であるカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
【００６３】
図４の左側には、撮像素子２０５の画素３０１の配列を、画素配列に対応して配置されるベイヤー配列を有するカラーフィルタの各色（Ｒ、Ｇ（Ｇｂ、Ｇｒ）、Ｂ）で示している。図４の右側は、動画取得用の蓄積行（第１の行）および静止画取得用の蓄積行（第２の行）を例示的に示している。なお、以下の説明では、動画の取得中に静止画を取得する場合について説明する。
【００６４】
ユーザよって、操作部１０２もしくは、モード切り替えスイッチ１０４などが操作されることで動画記憶モードが設定された場合、動画と静止画の取得を並行して行うために、画像データの読み出し行を分ける。以下の説明において、動画取得用の電気信号は列信号線３０２ａに出力され、静止画取得用の電気信号は列信号線３０２ｂへと出力される。なお、以下の説明では、動画取得用の電気信号および静止画取得用の電気信号を撮像信号と称す。
【００６５】
本実施形態では、図４に示す行番号１、２、５、６は動画を取得するための蓄積をする行（第１の行）であり、行番号１、２、５、６から、動画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画記憶モードにおいて動画用の画像データを取得する場合に、行番号１、２、５、６から撮像信号が読み出される。
【００６６】
図４に示す行番号３、４、７、８は静止画を取得するための蓄積をする行（第２の行）であり、行番号３、４、７、８から、静止画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画を取得しない静止画記憶モードにおいては、行番号１〜８の全ての行から撮像信号が読み出される。また、動画記憶モード中に、ユーザによる静止画取得の指示がされた場合なども、静止画用の画像データを取得するために、行番号３、４、７、８から撮像信号が読み出される。
【００６７】
本実施形態では、行番号１、２、５、６及び行番号３、４、７、８からの読み出し走査を行単位で順次行うこととし、８行単位で繰り返して読み出し走査を行うとする。なお、本実施形態では、ライブビュー表示を行う場合は、第１の行を用いて被写体の撮像を行うような構成であるが、第２の行を用いるような構成や、第１の行と第２の行の両方を用いるような構成であっても良い。
【００６８】
第１の行で取得された動画取得用の撮像信号は列信号線３０２ａに出力される。列信号線３０２ａに出力された動画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された動画用のデジタル画像データは列走査回路３１３ａの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ａへ読み出される。水平信号線３１５ａへ読み出された動画用のデジタル画像データは、撮像部２０４から画像処理部２０７に出力される。
【００６９】
第２の行で取得された静止画取得用の撮像信号は列信号線３０２ｂに出力される。列信号線３０２ｂに出力された静止画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された静止画用のデジタル画像データは列走査回路３１３ｂの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ｂへ読み出される。水平信号線３１５ｂへ読み出された静止画用のデジタル画像データは画像処理部２０７に出力される。
【００７０】
以上説明したように、本実施形態において撮像素子２０５を構成する撮像用の各画素は、第１の行と第２の行とでそれぞれ独立して制御することが出来る。特に、第１の行と第２の行とで独立して被写体の撮像を行うため、蓄積した電荷に対応する撮像信号の読み出し周期（フレームレート）は、第１の行と第２の行とで独立した制御が可能となる。したがって、本実施形態のカメラ１００は、動画のフレームレートを低下させることなく静止画（画像データ）を取得することが可能である。また、第１の行と第２の行のフレームレートを独立して制御することが出来るので、静止画の蓄積時間が制限されることを抑制することができる。
【００７１】
第２の行によって静止画用に被写体を撮像する場合は、第２の行によって取得された静止画用のデジタル画像データが、水平信号線３１５ｂから画像処理部２０７へと出力される。また、第２の行によって静止画用に被写体を撮像しない場合は、第２の行によって取得されたデジタル画像データに基づいて、フォーカス制御を行っても良い。
【００７２】
本実施形態におけるフォーカス制御としては、まず、第１の行および第２の行の一方、もしくは双方で取得したデジタル画像データに基づいて、各画像データの輝度成分のコントラスト情報からＡＦ評価値を算出する。そして、算出されたＡＦ評価値に基づいてＣＰＵ２１１が撮影レンズ２０２の位置を設定することで、フォーカス制御が実行される。
【００７３】
以下、本発明の第１実施形態における動画の取得処理について図５を参照して説明する。図５は本発明を実施した撮像装置の第１実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。
【００７４】
ユーザによって動画取得が指示されると、ステップＳ１０１でＣＰＵ２１１は、撮像素子２０５の第１の行から出力される撮像信号に対応して動画用に被写体を撮像するための各種条件を設定する。
【００７５】
設定する撮像条件としては、ＣＰＵ２１１からカメラ１００内の各部への指示に応じて、被写体の輝度値に応じた露出量、露出補正量、撮影レンズ２０２の位置などを設定する。これらの撮像条件は、ＣＰＵ２１１からカメラ１００の各部に対して、前述したようなＡＥ制御、ＡＷＢ制御、フォーカス制御などが動画取得用に行われることで設定されることとする。なお、本実施形態における露出量とは、取得する画像の明るさを設定するための値であって、絞り値や蓄積時間、ゲイン量（ＩＳＯ感度）などを変化させることによって変化する。
【００７６】
次に、ステップＳ１０２でＣＰＵ２１１は、静止画用に被写体の撮像が指示されたか否かを判定する。すなわち、ＣＰＵ２１１は、動画用に被写体を撮像している途中で、静止画用に被写体の撮像が指示されたか否かを判定する。静止画の取得が指示されたと判定した場合は、ステップＳ１０３へと進み、静止画の取得が指示されていない場合はステップＳ１１５へと進む。
【００７７】
次に、ステップＳ１０３でストロボ制御部２２１は、静止画用に被写体を撮像する際に、ストロボ２１８を発光させるか否かを判定する。ストロボ制御部２２１によって、ストロボ２１８を発光させるとが判定された場合はステップＳ１０４へと進み、ストロボ２１８を発光させないと判定された場合はステップＳ１１４へと進む。
【００７８】
次に、ステップＳ１０４でＣＰＵ２１１は、撮像部２０４の第１の行における露出量を再設定する。具体的には、第１の行における蓄積時間は、ストロボ２１８を発光して静止画用に被写体を撮像する際に、並行して取得する動画にストロボ２１８による発光が影響しない蓄積時間が設定される。
【００７９】
また、第１の行で取得したデジタル画像データのゲイン量は、蓄積時間を再設定したことで変化した露出量を補償するように設定される。以下、撮像素子２０５の第１の行と第２の行における蓄積時間とストロボ２１８の発光タイミングについて図６を参照して説明する。
【００８０】
図６は本発明を実施した撮像装置の第１実施形態であるカメラ１００のストロボ２１８の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。図中の上側は、第１の行および第２の行における蓄積期間（白色部分）とリセット期間（黒色部分）を示している。図中の下側は、図５のフローチャートの各ステップの処理のタイミングを示している。なお、本実施形態においてリセット期間とは、第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間（第１の期間）である。
【００８１】
すなわち、第１の期間は撮像素子２０５の第１の行を構成する各画素よって蓄積された電荷を電気信号として撮像素子２０５の外部に読み出してから、当該読み出し済みの電気信号をリセットトランジスタＭ２によってリセットするまでの期間である。
【００８２】
図６に図示するように、本実施形態では、動画用に被写体を撮像している際にストロボ２１８を発光させて静止画の取得が指示されると、第１の行の蓄積時間（第１の蓄積時間）Ｅ１を蓄積時間（第２の蓄積時間）Ｅ２へと変更する。すなわち、ストロボ２１８を発光させる場合は、撮像素子２０５における動画を取得するための蓄積時間を通常時よりも短くする。この構成によって、ストロボ２１８の発光が、取得した動画に影響することを防止することが出来る。なお、ＣＰＵ２１１（第２の制御手段）によって、撮像素子２０５における蓄積時間の設定がされる。
【００８３】
前述したように、第２の蓄積時間Ｅ２としては、ストロボ２１８の発光による影響が動画に及ばない程度の蓄積時間が設定される。そして、後述するストロボ２１８の本発光が終了するまでの間は、第１の行で当該第２の蓄積時間Ｅ２が設定された状態が維持される。すなわち、本実施形態では、予め設定された第１の行の第２の蓄積時間Ｅ２に合わせて、ストロボ２１８の発光量が設定される。
【００８４】
図５のステップＳ１０４では、第１の行の蓄積時間を短くすることに対応してゲイン量の再設定も行われる。この構成によって、蓄積時間を短くすることで減少した露出量を補償することができる。具体的には、１フレーム（の期間）をＴｆｌａｍｅとし、再設定前の蓄積時間をＴ＿ｏｌｄ、再設定後の第１の行のリセット期間をＴｒｅｓ２とすると、増加させるゲイン量ＧａｉｎＵＰは式（１）を用いて、
ＧａｉｎＵＰ＝Ｔ＿ｏｌｄ／（Ｔｆｌａｍｅ−Ｔｒｅｓ２）・・・（１）
として算出できる。
【００８５】
また、再設定する蓄積時間をＴ＿ｎｅｗ、再設定前のゲイン量をＧａｉｎ＿ｏｌｄとすると、再設定するゲイン量Ｇａｉｎ＿ｎｅｗは式（２）を用いて、
Ｇａｉｎ＿ｎｅｗ＝（Ｇａｉｎ＿ｏｌｄ×Ｔ＿ｏｌｄ）／Ｔ＿ｎｅｗ・・・（２）
として算出できる。上述した（１）、（２）式のうちのどちらかを用いて第１の行によって取得される画像のゲイン量を再設定する。
【００８６】
以上説明したように、図５のステップＳ１０４でＣＰＵ２１１は、第１の行の蓄積時間と、当該蓄積時間で取得した画像データのゲイン量を再設定する。すなわち、ＣＰＵ２１１によって撮像素子２０５における蓄積時間の設定と（第２の制御手段）、取得された画像データのゲイン量の設定（第３の制御手段）が行われる。
【００８７】
図５に戻り、ステップＳ１０５でストロボ制御部２２１は、ストロボ２１８の発光制御をおこなう。図６に図示するように、ストロボ２１８の発光タイミングは、動画用に被写体を撮像する第１の行のリセット期間（第１の期間）に行う。なお、図７に図示するように、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、ストロボ制御部２２１によってストロボ２１８の発光タイミングが制御される。
【００８８】
発光タイミングの詳細としては、静止画の取得が指示されると、その次のフレームにおける第１の行のリセット期間（第１の期間）を、ストロボ２１８によってプリ発光を行うタイミングとする。次に、プリ発光を行ったフレームからその次のフレームの終了までを、ストロボ２１８の本発光用の調光演算のタイミングとする。そして、更に次のフレームにおける、第１の行のリセット期間（第１の期間）をストロボ２１８の本発光のタイミングとして設定する。以上説明したタイミングを、ストロボ２１８の発光タイミングとする。
【００８９】
次に、ステップＳ１０６でＣＰＵ２１１は、次のフレームにおいて実行するストロボ２１８の発光に関する処理が、プリ発光、調光演算、本発光の内のいずれであるかを判定する。次のフレームでの処理がプリ発光である場合はステップＳ１０７に進む。また、次のフレームでの処理が調光演算である場合はステップＳ１１０に進む。また、次のフレームでの処理が本発光である場合はステップＳ１１３に進む。
【００９０】
ステップＳ１０７でストロボ制御部２２１は、先に設定したストロボ２１８の発光タイミングに基づいて、第２の行のリセット期間Ｔｒｅｓ１が経過した後に、ストロボ２１８をプリ発光させて被写体を照明する。
【００９１】
ここで、本実施形態におけるストロボ２１８の発光のタイミングと、撮像素子２０５の各行における蓄積のタイミングについて図７を参照して説明する。図７は本発明を実施した撮像装置の第１実施形態であるカメラ１００のストロボ２１８の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
【００９２】
図７に図示するように、撮像素子２０５の第２の行に蓄積した電荷をクリアするためのリセットトランジスタＭ２のリセット期間を、最も短いリセット期間（第２の期間）Ｔｒｅｓ１に設定する。この構成によって、第２の行によって、静止画用に被写体を撮像する際の蓄積時間をより短い時間に設定することができる。
【００９３】
第２の期間Ｔｒｅｓ１が経過したのち、動画用の画像データを取得するための露光が開始される時刻ｔ１において、ストロボ２１８を発光させる発光トリガ信号がストロボ制御部２２１からストロボ２１８に出力される。
【００９４】
ストロボ２１８の発光量は少し遅れて立ち上がり、発光トリガを解除した後も発光を持続する。発光が終了する時刻ｔ２において動画用に第１の行での蓄積を開始する。すなわち、ストロボ２１８を発光させて静止画を取得する場合、第１の行のリセット期間（第１の期間）Ｔｒｅｓ２の終了のタイミングと時刻ｔ２とは同じタイミングとなる。
【００９５】
なお、後述する第２の行で静止画用に取得する画像に対し、ストロボ２１８の発光による影響が少なければ、時刻ｔ２と第１の期間Ｔｒｅｓ２の終了タイミングとが一致しないような構成であってもよい。例えば、第１の期間Ｔｒｅｓ２の終了タイミングよりも前に、ストロボ２１８の発光が終了するような構成であってもよい。また、ストロボ２１８の発光によるわずかな残光が、第２の行によって取得する静止画用の画像に影響するくらいであれば、ストロボ２１８の発光の終了が第１の期間Ｔｒｅｓ２の終了タイミングの少し後であってもよい。
【００９６】
以上説明したストロボ２１８の発光タイミングと、撮像素子２０５の各行の蓄積時間の関係であれば、ストロボ２１８の発光による影響を抑制して、動画用の画像データを取得することが出来る。この構成によって、動画のフレームレートを変化させることなく、静止画用にストロボ２１８を発光させた状態で被写体を撮像することが出来る。この際、撮像素子２０５の、動画用の第１の行と静止画用の第２の行とは、それぞれ独立してフレームレートが制御されているので、静止画用の画像データを取得する際の第２の行の蓄積時間が制限されることはない。
【００９７】
図５に戻り、ステップＳ１０８でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。前述したように、第２の行の第２のリセット期間（第２の期間）が経過したあとであって、第１の行のリセット期間（第１の期間）においてストロボ２１８をプリ発光させる。
【００９８】
そして、当該第１の期間において、ストロボ２１８をプリ発光させる期間と少なくとも一部が重複するような期間において、第２の行での静止画用の蓄積を行う。すなわち、第２の行によって取得される画像データは、ストロボ２１８のプリ発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した発光状態の被写体の静止画用の画像データはメモリ２１０に記録される。
【００９９】
なお、本実施形態では、リセット期間が終わった画素から順に、第２の行で静止画用の蓄積を開始するような構成であるが、これに限定されるものではない。例えば、第１の期間Ｔｒｅｓ１が経過してから、第２の行の全ての画素での蓄積を開始するような構成であってもよい。
【０１００】
また、本実施形態では、第２の行での静止用の蓄積を開始した後にストロボ２１８のプリ発光を行うような構成であるが、これに限定されるものではない。例えば、第１の行のリセット期間（第１の期間）に、第２の行での蓄積の開始から終了までが収まるような構成であれば、第２の行での蓄積の期間がストロボ２１８のプリ発光の期間よりも短いような構成であってもよい。すなわち、ストロボ２１８のプリ発光を開始してから第２の行での蓄積を開始し、当該第２の行での蓄積が終了してからストロボ２１８のプリ発光を終了するような構成であってもよい。
【０１０１】
さらに、撮像素子２０５が、所謂グローバルシャッタ方式を採用するような場合は、ストロボ２１８のプリ発光を開始してから第２の行での蓄積を開始して、ストロボ２１８のプリ発光が終了してから第２の行での蓄積を終了するような構成であってもよい。この場合も、ストロボ２１８のプリ発光の期間が、静止画用の第２の行での蓄積を行う期間の少なくとも一部と重複するようの構成であればよい。
【０１０２】
次に、ステップＳ１０９でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングではストロボ２１８よって被写体が照明されていない状態で被写体の撮像が行われる。取得した非発光状態の被写体の動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
【０１０３】
次に、ステップＳ１１０で調光演算部２２０は、先に取得した、ストロボ２１８のプリ発光によって照明された状態の静止画用の画像データと、照明されていない状態の動画用の画像データに基づいて、ストロボ２１８の本発光用に調光演算を行う。以下、その詳細について図８を参照して説明する。図８は本発明を実施した撮像装置の第１実施形態であるカメラ１００の調光演算を説明する図である。
【０１０４】
前述したように、本実施形態では、ストロボ２１８のプリ発光によって発光状態で取得した静止画用の画像データと、非発光状態で取得した動画用の画像データを予め取得している。この際、静止画用の画像データは、第１の期間を含む期間に第２の行における蓄積によって取得したものである。すなわち、ストロボ２１８をプリ発光させる期間と重複する期間において、第２の行による蓄積によって取得された静止画用の画像データである。
【０１０５】
そして、動画用の画像データは、第１の期間が終了した後すぐに取得されたものである。すなわち、本実施形態では図６に図示するように、それぞれの蓄積時間が重複するような期間において取得された動画用の画像データと静止画用の画像データを調光演算に用いる。この２つの画像データから、発光状態と非発光状態の被写体の輝度値を算出し、当該２つの輝度値に基づいて、本発光時におけるストロボ２１８の本発光時の発光量を算出する。
【０１０６】
まず、メモリ２１０から、先に取得した静止画用の画像データと動画用の画像データを読み出し、当該２つの画像データを図８に図示するような複数のブロックに分割する。
【０１０７】
次に、動画用の画像データと静止画用の画像データとでは、被写体を撮像した際の蓄積時間が異なるため、蓄積時間以外のパラメータを用いて露出量の変換処理を行う。本実施形態では露出量が略等しくなるようなゲイン量を設定することで、当該変換処理を行う。
【０１０８】
動画用の画像データの蓄積時間およびゲイン量をＴｍｏｖｉｅ、Ｇａｉｎ＿ｍｏｖｉｅとし、静止画用の画像データを取得した際の蓄積時間およびゲイン量をＴｓｔｉｌｌ、Ｇａｉｎ＿ｓｔｉｌｌとすると、露出量の変換係数ＥｘｐＣｏｆｆは、式（３）を用いて、
ＥｘｐＣｏｆｆ＝（Ｔｓｔｉｌｌ×Ｇａｉｎ＿ｓｔｉｌｌ）／（Ｔｍｏｖｉｅ×Ｇａｉｎ＿ｍｏｖｉｅ）・・・（３）
として算出できる。算出されたＥｘｐＣｏｆｆを動画用の画像データに掛けることで、静止画用の画像データと同じ露出量に合わせることができる。
【０１０９】
次に、静止画用の画像データの各画素の輝度値から、動画用の画像データの各画素の輝度値にＥｘｐＣｏｆｆを掛けたものを減算する。例えば、背景となる被写体の前面に立つ人物を主被写体とする場合、ストロボ２１８を発光することによって当該人物の部分のみが照明され、背景部分は照明されない。この場合、背景部分の輝度値は、ストロボ２１８を発光させた場合と発光させない場合とで大きな差がない。したがって、画像データの各画素の輝度値を比較することで、静止画用の画像データにおいて、ストロボ２１８によって照明された被写体の領域だけを切り取ることができる。
【０１１０】
すなわち、静止画用の画像データを、ストロボ２１８によって照明されている被写体の領域と、ストロボ２１８によって照明されていない被写体の領域（ストロボ２１８によって照明されている被写体の領域以外）に分けることができる。例えば、主被写体が人物である場合は、図８において静止画用の画像データとして図示したうちの、人物の部分（白線の網掛け部分）を切りだすことができる。
【０１１１】
切り出された部分の平均輝度値をＹａｖｅ、被写体の目標輝度をＹｒｅｆ、プリ発光時のストロボ２１８の発光量をＥＦｐｒｅとすると、本発光用のストロボ２１８の発光量ＥＦｓｔｉｌｌは、式（４）を用いて、
ＥＦｓｔｉｌｌ＝ＥＦｐｒｅ×Ｙｒｅｆ／Ｙａｖｅ・・・（４）
として算出できる。算出した発光量ＥＦｓｔｉｌｌはメモリ２１０に記録される。
【０１１２】
この構成によって、時差の少ない状態で取得した発光状態および非発光状態の被写体の輝度値に基づき調光演算ができる。したがって、被写体が動くことによる調光精度の低下を抑制することができる。すなわち、調光時の時差によってストロボ２１８の本発光用の発光量が変動してしまうことを抑制することができる。
【０１１３】
図５に戻り、ステップＳ１１１でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。なお、当該ステップで取得した静止画用の画像データは、後述する被写体の静止画像を生成する際に利用することはないので、ステップＳ１１１の工程を除外するような構成であってもよい。
【０１１４】
次に、ステップＳ１１２でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。取得した動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０にも記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
【０１１５】
次に、ステップＳ１１３でストロボ制御部２２１は、先に算出したストロボ２１８の本発光用の発光量ＥＦｓｔｉｌｌをメモリ２１０から読み出し、当該発光量ＥＦｓｔｉｌｌに基づきストロボ２１８を本発光させる。この際、ストロボ２１８の発光は、前述したプリ発光と同様に、第２の行の第２のリセット期間（第２の期間）が経過したあとであって、第１の行のリセット期間（第１の期間）に行う。
【０１１６】
次に、ステップＳ１１４でＣＰＵ２１１は、撮像素子２０５の第２の行によって、静止画用に被写体を撮像させる。なお、前述したプリ発光時と同様に、ストロボ２１８を本発光させる期間と少なくとも一部が重複する期間において、第２の行での静止画用の蓄積を行う。すなわち、第２の行によって取得される画像データは、ストロボ２１８の本発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した発光状態の被写体の静止画用の画像データ静止画はメモリ２１０に記録される。
【０１１７】
なお、プリ発光時と同様に、ストロボ２１８の本発光の期間よりも、第２の行で静止画用の蓄積を行う期間の方が短いような構成や、ストロボ２１８の本発光を開始してから、静止画用に第２の行での蓄積を開始するような構成であってもよい。
【０１１８】
次に、ステップＳ１１５でＣＰＵ２１１は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングではストロボ２１８よって被写体が照明されていない状態で被写体の撮像が行われる。取得した非発光状態の被写体の動画用の画像データはメモリ２１０に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２０９によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
【０１１９】
以上説明したように、動画用の画像データは、ストロボ２１８を発光させた状態で取得した静止画用の画像データと略等しいタイミングで取得可能であって、当該取得した動画用の画像データはストロボ２１８による発光の影響を受けない。
【０１２０】
次に、ステップＳ１１６で合成部２２２は、記録用の静止画を生成する静止画生成処理を実行する。なお、ステップＳ１０２において、静止画の取得が指示されていない場合は、当該ステップＳ１１６はスルーして、静止画生成処理を実行せずにステップＳ１１７へと進む。
【０１２１】
以下、静止画生成処理について説明する。前述したように、本実施形態では、撮像素子２０５の撮像用の画素を、動画取得用の蓄積行である第１の行と、静止画取得用の蓄積行である第２の行に分けている。この際、撮像素子２０５を構成する撮像用の全画素の半分を第１の行に振り分け、もう半分を第２の行に振り分ける。したがって、前述した各ステップで算出した静止画用の画像データは、撮像素子２０５の撮像用の画素数の半分の画素数の画像データが取得されたことになる。
【０１２２】
ここで、本実施形態では、記録用の静止画の解像度を向上させるために、本来、動画用に取得した画像データを用いて、記録用の静止画（の画像データ）を生成する。すなわち、第１の行によって取得した画像データを、記録用の静止画を生成するために利用する。
【０１２３】
この詳細について図９、１０を参照して説明する。図９は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の静止画生成処理を説明するフローチャートである。図１０は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の静止画生成処理を説明する図である。なお、以下の説明では例示的に、ストロボ２１８を発光する際の静止画生成処理について説明する。
【０１２４】
図９に図示するように、ステップＳ２０１でＣＰＵ２１１は、図５のステップＳ１１４で取得した静止画用の画像データと、ステップＳ１１５で取得した動画用の画像データをメモリ２１０から読み出す。
【０１２５】
次に、ステップＳ２０２でＣＰＵ２１１は、先に読み出した各画像データを、ストロボ２１８によって照明されている領域と、照明されていない領域に分ける。なお、上述した被写体の領域分けは、前述したストロボ２１８のプリ発光による調光演算のときと同様の方法で行う。
【０１２６】
本実施形態では、ストロボ２１８によって照明されていない被写体の領域は、第１の行によって取得した動画用の画像データと第２の行によって取得した静止画用の画像データとを用いてインターレース合成処理によって記録用の静止画を生成する。以下、この詳細について説明する。
【０１２７】
本実施形態では、撮像素子２０５の、第１の行で取得された画像データ（第１の画像データ）と、第２の行で取得された画像データ（第２の画像データ）とを合成して、記録用の静止画の画像データ（以下、単に静止画と称す）を生成する。
【０１２８】
第２の行で取得した第２の画像データと、静止画用ではない第１の行によって取得した第１の画像データとを合成すると、撮像素子２０５の撮像用の画素の画素数の画像データを生成することができる。しかし、第１の画像データと第２の画像データとでは、蓄積時間の違いによって露出量が異なるので、第１の画像データと第２の画像データとを単純に合成することで生成した画像データは不自然な明るさの画像とデータとなってしまう。このような不自然な明るさの画像データを記録用の静止画とすることは望ましくない。
【０１２９】
そこで、調光演算と同様に、第１の画像データに変換係数ＥｘｐＣｏｆｆを掛けることで、第１の画像データと第２の画像データの露出量を略等しくする。すなわち、第１の画像データの露出量が、第２の画像データの露出量と略等しくなるように、第１の画像データのゲイン量を設定する。そして、露出量が略等しい状態で、第１の画像データと２の画像データとを合成する。変換前の第１の画像データ（デジタル画像データ）をＰｉｘＭｏｖｉｅ（ｘ，ｙ）とすると、インターレース合成処理に用いる変換後の第１の画像データＰｉｘＳｔｉｌｌ（ｘ，ｙ）は、式（５）を用いて、
ＰｉｘＳｔｉｌｌ（ｘ，ｙ）＝ＰｉｘＭｏｖｉｅ（ｘ，ｙ）×ＥｘｐＣｏｆｆ・・・（５）
として算出できる。なお、式（５）の処理は、画像処理部２０７がＣＰＵ２１１の指示に応じて、撮像部２０４から出力された第１の画像データ（デジタル画像データ）に対し、変換係数ＥｘｐＣｏｆｆを掛けてゲイン量を調節することで実行される。
【０１３０】
算出した変換後の第１の画像データＰｉｘＳｔｉｌｌ（ｘ，ｙ）と第２の画像データとをインターレース合成することで、ストロボ２１８によって照明されていない被写体の領域の記録用の静止画を生成することができる。なお、インターレース合成処理を行う被写体の領域は、図１０に示すインターレース合成領域に該当する領域である。そして、当該インターレース合成領域の第１の行で取得した第１の画像データと第２の行で取得した第２の画像データを用いて合成を行う。
【０１３１】
次に、ストロボ２１８によって照明されている被写体の領域の記録用の静止画を生成する方法について説明する。ストロボ２１８によって照明されている被写体の領域については、第１の画像データと第２の画像データとで被写体の明るさが大きく異なる。この状態で、第２の画像データの露出量と略等しくなるように第１の画像データのゲイン量を設定すると、ノイズの影響によって第１の画像データの品位は低下してしまう。この様に、ノイズが増えた画像データを用いてインターレース合成処理しても生成される画像は不自然なものとなってしまうため、ストロボ２１８によって照明されている被写体の領域についてはインターレース合成処理を行うことは望ましくない。
【０１３２】
そこで、ストロボ２１８によって照明されている被写体の領域については、第２の画像データを用いた補間処理によって新たな画像データを生成し、当該新たな画像データと第２の画像データとを合成することで記録用の静止画を生成する。以下、その詳細について説明する。
【０１３３】
まず、図１０に示す補間領域において、撮像素子２０５の第１の行（１・２・５・６行目）の各画素に対応する画像データを、撮像素子２０５の第２の行（３・４・７・８行目）の各画素によって取得した第２の画像データを用いた補間処理によって生成する。
【０１３４】
撮像素子２０５の５行目に該当する画素に対応する画像データを補間処理によって生成する場合について例示的に説明する。撮像素子２０５の列方向の画素の位置を（ｘ）で表わすと、撮像素子２０５の５行目の画素に対応した画像データｓｔｉｌｌ＿５（ｘ）は、式（６）を用いて、
ｓｔｉｌｌ＿５（ｘ）＝（ｓｔｉｌｌ＿３（ｘ）＋ｓｔｉｌｌ＿７（ｘ））／２・・・（６）
と設定できる。ｓｔｉｌｌ＿３（ｘ）とｓｔｉｌｌ＿７（ｘ）はそれぞれ３行目と７行目の撮像用の画素によって取得された画像データである。
【０１３５】
すなわち、本実施形態では、撮像素子２０５の５行目の画素に対応する画像データは、撮像素子２０５の３行目に対応する画像データと７行目に対応する画像データを用いた補間処理によって生成する。なお、撮像素子２０５の５行目の各画素は、３行目と７行目の各画素のカラーフィルタと同じものとする。
【０１３６】
以上の処理を図１０に示す補間領域の全体で行うことで、第１の行の各画素に対応した画像データを取得することが出来る。そして、当該補間処理によって生成した画像データと第２の画像データとを合成することで、ストロボ２１８によって照明された領域の被写体に対応する、記録用の静止画を生成することができる。
【０１３７】
図９に戻り、ステップＳ２０３で合成部（第１の合成手段）２２２は、先に分けた被写体の領域のうち、ストロボ２１８によって照明されていない被写体の領域について、インターレース合成処理を実行する。なお、インターレース合成処理の詳細は前述した通りである。
【０１３８】
そして、インターレース合成処理によって生成された記録用の（ストロボ２１８によって照明さいれていない被写体の領域の）画像データはメモリ２１０に記録される。
【０１３９】
次に、ステップＳ２０４で合成部（補間手段）２２２は、先に分けた被写体の領域のうち、ストロボ２１８によって照明されている被写体の領域について、補間処理を実行する。なお、補間処理の詳細は前述した通りである。
【０１４０】
そして、合成部（第２の合成手段）２２２は補間処理によって生成された画像データと第２の画像とを合成することで、ストロボ２１８によって照明されている被写体の領域の記録用の静止画を生成する。当該生成された記録用の静止画はメモリ２１０に記録される。
【０１４１】
次に、ステップＳ２０５で合成部２２２は、メモリ２１０から、ストロボ２１８によって照明されている被写体の領域と照明されていない領域の記録用の静止画をそれぞれ読み出す。そしてそれぞれの画像を合成することで、撮像素子２０５の撮像用の画素の数と同等の画素数の記録用の静止画を生成する。すなわち、ストロボ２１８によって照明されている被写体の領域と照明されていない被写体の領域の双方が高精細な、１つの記録用の静止画の画像データを生成する。生成された画像データはメモリ２１０に記録される。また、当該画像データは記録用の静止画として記録媒体１３０にも記録される。以上が、本実施形態の静止画生成処理である。
【０１４２】
図５に戻り、ステップＳ１１７でＣＰＵ２１１は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ１０２に戻り、動画の取得を終了する場合は動画の取得を終了し、動画取得処理を終了する。以上が本実施形態の動画取得処理である。
【０１４３】
なお、生成した記録用の静止画は、当該記録用の静止画を生成時した際に表示部１０１に表示させるような構成ではないが、本実施形態はこれに限定されるものではない。例えば、記録用の静止画を生成した際に、当該記録用の静止画をＤ／Ａ変換部２０９によって表示用のアナログ画像データに変換して、表示部１０１に表示させるような構成であってもよい。
【０１４４】
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間（第１の期間）において、撮像素子２０５の第２の行で、ストロボ２１８を発光させた状態で静止画用に被写体を撮像することができる。この構成によって、取得した動画にストロボ２１８の発光が影響することを抑制することができる。
【０１４５】
また、本実施形態では、１つの撮像素子２０５のみで動画と静止画とを独立して取得することができるため、ユーザによって設定できる動画と静止画の蓄積時間の自由度を向上させることができる。特に、静止画に関しては、動画の蓄積時間によって、蓄積の開始タイミングが制限されるだけで、蓄積時間が制限されることはない。
【０１４６】
したがって、本実施形態のカメラ１００は、１つの撮像素子で動画と、ストロボ２１８を発光させた状態で静止画を取得する場合であっても、静止画の蓄積時間が制限されることなく、ストロボ２１８の発光が動画へ影響することを抑制することができる。
【０１４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、記録用の静止画は、解像度を向上させる為に静止画生成処理を行うような構成であるが、これに限定されるものではない。静止画生成処理を行うことなく、ストロボ２１８を本発光させ状態で静止画用に撮像した被写体の画像データを記録用の静止画とするような構成であってもよい。
【０１４８】
また、本実施形態では、撮像素子２０５の１・２・５・６行目を動画用の第１の行とし、３・４・７・８行目を静止画用の第２の行としたが、これに限定されるものではない。例えば、第１の行と第２の行は、動画および静止画の解像度がある程度保障されるものであれば、撮像素子２０５のうちのどの行としてもよい。
【０１４９】
さらに、本実施形態では、撮像素子２０５の撮像用の画素を構成する行の数は例示的に８行としたが、勿論これに限定されるものではなく、当該撮像素子２０５の行の数が８行ではないような構成であっても良い。
【０１５０】
また、本実施形態では、撮像素子２０５の第１の行と第２の行のフレームレート（読み出し周期）を独立して制御することが出来るため、それぞれ異なるタイミングで第１の行と第２の行の読み出しを行ってもよい。例えば、第１の行で１回読み出しをする間に、第２の行で２回読み出しをするような構成であってもよいし、第１の行で２回読み出しをする間に、第２の行で１回読み出しをするような構成であってもよい。すなわち、第１の行と第２の行の読み出しタイミングを自由に設定するような構成であってもよい。
【０１５１】
なお、この場合も、第１の行のリセット期間（第１の期間）において、ストロボ２１８を発光させた状態で第２の行での蓄積を開始するようにストロボ２１８の発光タイミングと、撮像素子２０５の蓄積時間を設定する。本実施形態では、このような構成によって、第２の行によって取得する静止画用の蓄積時間を自由に設定することができる。
【０１５２】
また、本実施形態は、予め第１の行での蓄積時間を設定してから、当該第１の行の蓄積時間に合わせてストロボ２１８の発光量（に応じた発光時間）を設定するような構成であるが、これに限定されるものではない。
【０１５３】
例えば、ストロボ２１８の発光量を先に設定し、当該発光量に応じて変化するストロボ２１８の発光時間に合わせて、第１の行の蓄積時間を設定するような構成であってもよい。なお、第１の行の蓄積時間を改めて設定することで変化した分の露出量は、前述した（１）式および（２）式を用いて、第１の行で取得される画像データのゲイン量を再設定することで対応する。
【０１５４】
この構成であれば、ストロボ２１８の発光量を、より自由に設定することが可能となる。また、プリ発光後の調光演算の結果に応じて、ストロボ２１８の本発光時の発光量を変化させることも可能である。すなわち、プリ発光を行う際の第１の行の蓄積時間と、本発光時を行う際の第１の行の蓄積時間とを異ならせることも可能である。
【０１５５】
さらに、本発明においてカメラ１００内の各部の駆動は、画像処理部２０７、メモリ制御部２０８、ＣＰＵ２１１とＣＰＵ２１１を構成する各部、電源制御部２１６、タイミング制御回路３１４などによって制御されるがこれに限定されるものではない。例えば、前述した図５、図９のフローに従ったプログラムを不揮発性メモリ２１２に記憶させておき、ＣＰＵ２１１が該プログラムを実行することでカメラ１００内の各部の駆動を制御するような構成であってもよい。この際、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。
【０１５６】
なお、前述した実施形態では、デジタルカメラ１００を、本発明を実施する撮像装置の一例として説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬型デバイスなど、本発明はその要旨の範囲内で種々の撮像装置に適用することが可能である。
【０１５７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１５８】
２０４  撮像部
２０５  撮像素子
２１１  システム制御部（ＣＰＵ）
２１８  ストロボ（発光手段）
２２１  ストロボ制御部
【図１】
2015126386.tif 000003
【図２】
2015126386.tif 000004
【図３】
2015126386.tif 000005
【図４】
2015126386.tif 000006
【図５】
2015126386.tif 000007
【図６】
2015126386.tif 000008
【図７】
2015126386.tif 000009
【図８】
2015126386.tif 000010
【図９】
2015126386.tif 000011
【図１０】
2015126386.tif 000012