(57)【要約】【課題】  １つの撮像素子で動画を取得しつつ撮影条件や被写体の情報を設定するための補助光を発光する場合に、動画のフレームの低下と補助光が動画に影響することを抑制する。【解決手段】  ２次元的に配列された複数の画素を有し、動画用の第１の行と第１の行とは異なる評価値算出用の第２の行の読み出し周期を独立して制御可能な電荷蓄積型の撮像素子と、発光手段の発光制御をする第１の制御手段と、撮像素子の蓄積時間を制御する第２の制御手段とを有し評価値算出用の画像に基づいて第１の行による撮像時の撮影条件を設定する撮像装置であって、発光手段を発光させて評価値算出用の撮像をする場合に動画用の蓄積の終了から次の蓄積の開始までに発光手段を発光させ、動画用の蓄積の終了から次の蓄積の開始までに発光手段を発光させて評価値算出用の画像を取得するために第２の行で蓄積させることを特徴とする構成とした。【選択図】  図５
2015126387.tif 000002
【特許請求の範囲】
【請求項１】
行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得する評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定する撮像装置であって、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする撮像装置。
【請求項２】
前記第２の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用の画像を取得する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段の発光の開始から終了までが収まるように、前記第１の行の蓄積時間を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用の画像用に被写体を撮像する場合に、前記第１の行での動画用の蓄積を行う期間と重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記評価値算出用の画像は、被写体の光学像を前記撮像素子へと導く撮影レンズの位置を設定するための焦点評価値を取得するための画像であって、前記評価値算出用の画像に基づいて前記第１の行によって被写体を撮像する際の前記撮影レンズの位置を設定するフォーカス制御手段を有することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記フォーカス制御手段は、前記第２の行の、前記評価値算出用の画像を蓄積するフレームで取得した前記焦点評価値を前記第１の行によって被写体を撮像する際の前記撮影レンズの位置の設定に用いることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間に、前記第２の行での蓄積を開始した前記評価値算出用の画像に基づいて取得した前記焦点評価値は、当該焦点評価値を取得した後の前記第１の行のフレームで、前記第１の行によって被写体を撮像する際に用いられることを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることが可能な撮像装置であって、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする撮像装置。
【請求項８】
被写体の情報を予め記録することが可能な記録手段と、
前記評価値算出用の画像の被写体を識別するための識別手段と、
前記識別手段によって識別された被写体が前記記録手段に登録されている被写体であるか否かを認証する認証手段と、を有し、前記認証手段によって認証された被写体の情報を、前記第１の行によって取得した動画用の画像に関連付けることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記評価値算出用の画像が取得される前記第２の行のフレームと少なくとも一部が重複する前記第１の行のフレームで取得された動画用の画像に、前記認証手段によって認証された被写体の情報を関連付けることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
表示用の画像を表示する表示手段を有し、
前記表示手段は、前記第１の行によって取得した動画を前記表示部に表示する際に、前記認証手段によって認証された被写体の情報を前記表示手段に重畳して表示することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記第２の制御手段によって設定された前記第１の行の蓄積時間に応じて、当該第１の行によって取得する画像のゲイン量を設定する第３の制御手段を有することを特徴とする請求項１乃至１０の何れか一項に記載の撮像装置。
【請求項１２】
行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子を備えた撮像装置の制御方法であって、
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせ、前記第２の行によって取得した評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定することを特徴とする撮像装置の制御方法。
【請求項１３】
行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子を備えた撮像装置の制御方法であって、
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせ、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることを特徴とする撮像装置の制御方法。
【請求項１４】
請求項１２又は１３に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を取得しつつ、撮影条件や被写体の情報を設定することが可能な撮像素子を備える撮像装置および、その制御方法とプログラムに関する。
【背景技術】
【０００２】
従来、暗い被写体を撮像して動画を取得する場合に、補助光によって被写体が照明された状態の画像を用いて撮影条件や被写体の情報を設定するための評価値を算出する撮像装置が一般的に知られている。このような撮像装置において、補助光によって被写体を照明することで評価値を算出しつつ、ユーザの撮影意図に関係の無い補助光が、取得する動画に影響しないことが望ましい。
【０００３】
特許文献１には、１つの撮像素子において動画記録用のフレームとＡＦ／ＡＥ評価用のフレームとが、それぞれ分けて設けられたデジタルカメラが記載されている。そして、ＡＦ／ＡＥ評価用のフレームで画像データを取得する際に、被写体に補助光を照射することについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６３５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のデジタルカメラは、１つの撮像素子において動画記録用のフレームとＡＦ／ＡＥ評価用のフレームの両方が設けられているので、動画のフレームレートが低下してしまう。
【０００６】
本発明の目的は、１つの撮像素子を用いて動画を取得しながら撮影条件や被写体の情報を設定するための補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る撮像装置は、行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得する評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定する撮像装置であって、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする。
【０００８】
また、上記目的を達成するための他の本発明に係る撮像装置は、行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることが可能な撮像装置であって、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、１つの撮像素子を用いて動画を取得しながら撮影条件や被写体の情報を設定するための補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することが出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００を説明する図である。
【図２】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の内部構成を説明するブロック図である。
【図３】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の撮像部２０４を説明する図である。
【図４】本発明を実施する撮像装置の第１実施形態であるデジタルカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
【図５】図５は本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の動画取得処理を説明するフローチャートである。
【図６】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。
【図７】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００の発光部２１９の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
【図８】本発明を実施した撮像装置の第１実施形態であるデジタルカメラ１００のフォーカス制御処理を説明するフローチャートである。
【図９】本発明を実施した撮像装置の第２実施形態であるデジタルカメラ１００の動画取得処理を説明するフローチャートである。
【図１０】本発明を実施した撮像装置の第２実施形態であるデジタルカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。
【図１１】本発明を実施した撮像装置の第２実施形態であるデジタルカメラ１００の被写体認証処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
（第１実施形態）
本発明に係る第１実施形態としての撮像装置であるデジタルカメラ（以下、単にカメラと称す）１００について図１〜図８を参照して説明する。
【００１２】
図１は、本発明を実施した撮像装置の第１実施形態であるカメラ１００を説明する図であって、カメラ１００の背面図を示している。以下、図１に記載された各部を説明する。
【００１３】
カメラ１００の背面には、画像や各種情報を表示する表示部１０１が設けられている。表示部１０１は、例えば、液晶ディスプレイ或いは有機ＥＬディスプレイ等であり、タッチパネルとして入力機能を備えることにより操作部として機能するものであってもよい。
【００１４】
また、カメラ１００の背面には、ユーザによる各種操作を受け付ける各種のスイッチやボタン等の操作部材からなる操作部１０２が設けられている。なお、操作部１０２の一部は、カメラ１００の上面にも設けられている。
【００１５】
また、カメラ１００の背面には、被写体に対する撮影モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。操作部１０２、コントローラホイール１０３及びモード切替スイッチ１０４の機能等の詳細については、図２を参照して後述する。
【００１６】
カメラ１００の上面には、被写体の撮影指示を行うシャッタボタン１２１と、カメラ１００の電源オン／電源オフを切り替える電源スイッチ１２２とが設けられている。シャッタボタン１２１の機能の詳細については、図２を参照して後述する。
【００１７】
カメラ１００の側面には、コネクタ１１２が設けられている。カメラ１００はこのコネクタ１１２と、コネクタ１１２に接続可能な接続ケーブル１１１を介して、不図示の外部装置と接続ができる。そして、カメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して、不図示の外部装置に静止画、動画に係るデジタル画像データを出力することができる。
【００１８】
カメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、当該記録媒体スロットには、メモリカード等の記録媒体１３０を挿抜することができるようになっている。記録媒体スロットに格納された記録媒体１３０は、図２を参照して後述するシステム制御部（ＣＰＵ）２１２と通信が可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。さらに、カメラ１００に内蔵されていてもよい。
【００１９】
図２は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の内部構成を説明するブロック図である。以下、図２を参照して、カメラ１００の内部構成について説明する。
【００２０】
カメラ１００は、バリア２０１と、撮像光学系を構成する撮影レンズ２０２およびシャッタ２０３と、撮像部２０４と、ストロボ２１８とを備える。
【００２１】
バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。
【００２２】
撮影レンズ２０２は、ズームレンズやフォーカスレンズを含むレンズ群であり、カメラ１００の内部に被写体の光学像を導く。シャッタ２０３は、絞り機能を備え、撮像素子２０５に入射する光量を調節する。なお、後述するＡＦ制御部２２１によるフォーカス制御によって、撮影レンズ２０２のレンズ位置の移動が制御されて、被写体に対するピント調節が行われる。
【００２３】
撮像部２０４は、光学像を電気信号（アナログ電気信号）に変換する撮像素子２０５を有する。撮像素子２０５は、電荷を蓄積することで画像を生成することが可能な、ＣＣＤやＣＭＯＳなどの固体撮像素子からなる電荷蓄積型の撮像手段である。
【００２４】
撮像部２０４は、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）を有しており、当該ＡＦＥは、撮像素子２０５から出力されたアナログ電気信号（アナログ画像データ）に対してゲイン量の調節やサンプリングなどを行う。なお、アナログ画像データに対するゲイン量の調節は、後述のシステム制御部（ＣＰＵ）２１２の内部にもうけられた露出制御部２２２からの指示に応じて行われる。
【００２５】
また、撮像部２０４は、Ａ／Ｄ変換部２０６を有している。Ａ／Ｄ変換部２０６は、撮像素子２０５から出力され、ゲイン量が調節されたアナログ電気信号（アナログ画像データ）をデジタル信号（デジタル画像データ）に変換する。なお、本実施形態では、後述するＣＰＵ２１２に設けられた測光演算部２２０が、撮像部２０４で得た画像データに基づいて被写体の輝度値を算出する。
【００２６】
また、撮像部２０４は、評価部２０７を有している。評価部２０７は、Ａ／Ｄ変換部２０６により生成されたデジタル画像データから得られる、輝度成分のコントラスト情報からＡＦ評価値などの、撮影条件を設定するための評価値を算出する。評価部２０７によって算出されたＡＦ評価値などは、後述のＣＰＵ２１２に出力される。
【００２７】
カメラ１００は、画像処理部２０８、メモリ制御部２０９、Ｄ／Ａ変換部２１０、メモリ２１１、発光部２１９、システム制御部（ＣＰＵ）２１２、不揮発性メモリ２１３、システムタイマー２１４、システムメモリ２１５及び表示部１０１を備える。
【００２８】
画像処理部２０８とメモリ制御部２０９は、撮像部２０４においてＡ／Ｄ変換処理により生成されたデジタル画像データを受信する。画像処理部２０８は、撮像部２０４から受信するデジタル画像データ、または、メモリ制御部２０９から受信するデジタル画像データに対し、所定の画素補間や縮小等のリサイズ処理、色変換処理等の処理を行う。
【００２９】
また、画像処理部２０８は、撮像部２０４から出力されたデジタル画像データに対するゲイン量を調節することができる。なお、デジタル画像データに対するゲイン量の調節はＣＰＵ２１２の内部に設けられた露出制御部２２２からの指示に応じて行われる。すなわち、本実施形態では、取得したアナログ画像データおよびデジタル画像データの両方に対するゲイン量の調節は、露出制御部２２２（第３の制御手段）からの指示に応じて行われる。
【００３０】
なお、デジタル画像データは画像処理部２０８で各種の処理が施された後にＣＰＵ２１２に送られ、ＣＰＵ２１２の測光演算部で算出された被写体の輝度値（代表輝度値）に応じてフォーカス制御や露出制御などが実行される。例えば、後述するＡＦ制御部２２１では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理などのフォーカス制御が実行される。また、後述の露出制御部２２２では、ＡＥ（自動露出）処理、調光処理、ＡＷＢ（オートホワイトバランス）処理などが実行される。フォーカス制御などの詳細については後述する。
【００３１】
また、撮像部２０４から出力されるデジタル画像データは、画像処理部２０８とメモリ制御部２０９を介して、あるいは、メモリ制御部２０９を介して、メモリ２１１に一時的に記録される。
【００３２】
メモリ２１１は、ＤＲＡＭなどの記録素子からなる記録部であり、撮像部２０４によって取得されたデジタル画像データや、表示部１０１に表示する表示用のアナログ画像データを記録することができる。また、メモリ２１１は、所定枚数の静止画や所定時間の動画、音声データを記録することができる十分な記憶容量を備えている。また、メモリ２１１は、画像表示用メモリ（ビデオメモリ）を兼ねている。
【００３３】
メモリ２１１に一時的に記録されたデジタル画像データは、Ｄ／Ａ変換部２１０に送信される。Ｄ／Ａ変換部２１０は、受け取ったデジタル画像データを表示用のアナログ画像データに変換して表示部１０１に送信する。そして、表示部１０１は、ＣＰＵ２１２からの指示によって、受け取った表示用のアナログ画像データを表示部１０１に表示する。なお、表示用のアナログ画像データを、表示部１０１に逐次表示することにより、スルー画像をライブビュー表示することが可能となる。また、表示部１０１のみでなく、不図示の電子ビューファインダに当該スルー画像をライブビュー表示させることも可能である。
【００３４】
不揮発性メモリ２１３は、電気的に消去や記憶が可能なメモリであり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭ等である。不揮発性メモリ２１３には、本実施形態において使用される種々のデータが格納されている。例えば、カメラ１００において実行されるプログラムや動作用の定数、種々の露出条件、カメラ１００内の処理で使用する算出式、発光部２１９の発光条件、パターンマッチング用のデータなどが不揮発性メモリ２１３に格納されている。なお、カメラ１００において実行されるプログラムとは、図５、図８に示すフローと同様の動作を指示するためのプログラムである。
【００３５】
発光部２１９は、ＡＦ補助光などの補助光を発光して被写体を照明する発光手段である。本実施形態では、後述のフォーカス制御に用いるＡＦ評価値を算出するために、撮像素子２０５の評価値算出用の蓄積行（以下、第２の行）によって被写体を撮像する際に、発光部２１９のＡＦ補助光によって被写体を照明させる。そして、ＡＦ補助光によって被写体が照明された状態の評価値算出用の画像データ（以下、評価値算出画像と称す）を第２の行によって取得し、当該評価値算出画像に基づいてＡＦ評価値を算出する。この構成によって、暗い被写体に対しても適正なフォーカス制御を行うことができる。フォーカス制御の詳細については後述する。
【００３６】
ＣＰＵ２１２は、不揮発性メモリ２１３に記憶されている各種のプログラムを実行するだけでなく、カメラ１００の全体的な動作を統括的に制御する。例えば、ＣＰＵ２１２は、メモリ２１１やＤ／Ａ変換部２１０、表示部１０１等を制御することにより、静止画および動画の表示を制御する。また、画像処理部２０８やメモリ制御部２０９、後述の電源制御部２１７などに対して制御の指示を行う。なお、ＣＰＵ２１２の内部には測光演算部２２０、ＡＦ制御部２２１、露出制御部２２２、発光制御部２２３などが設けられている。
【００３７】
測光演算部２２０は、撮像部２０４によって取得したデジタル画像データを受け、撮像部２０４で撮像した被写体の輝度値を算出する。測光演算部２２０による輝度値の算出方法として、まず、撮像部２０４で取得した画像データ（一画面分）を複数のブロックに分割する。次に、これらのブロックごとに平均輝度値を算出する。そして、全ブロックの平均輝度値を積分して代表輝度値を算出する。本実施形態では、この代表輝度値を用いて後述する種々の処理を実行する。
【００３８】
なお、代表輝度値の算出方法としては、公知のものであればどのようなものでもよい。例えば、平均輝度値と基準となるブロック（基準ブロック）との輝度値の差、および、ブロックの位置に応じた重みづけを行った後、輝度値の加算処理を行う。この重みづけ加算された輝度値を代表輝度値とするような構成であってもよい。測光演算部２２０によって算出した代表輝度値（以下、単に輝度値と称す）は、メモリ２１１へと送られる。
【００３９】
ＡＦ制御部２２１は、撮像部２０４から画像処理部２０８およびメモリ制御部２０９を介して受け取ったデジタル画像データに基づいて、撮像する被写体に対する撮影レンズ２０２の位置（レンズ位置）を設定するフォーカス制御部である。本実施形態におけるフォーカス制御としては、ＡＦ補助光を発光させない場合とＡＦ補助光を発光させる場合の２つのパターンに分けられる。
【００４０】
例えば、ＡＦ制御部２２１は、測光演算部２２０によって算出された被写体の輝度値が閾値より大きい場合は、被写体が暗い状態ではないと判定し、発光部２１９によるＡＦ補助光の発光を行わない。この場合のフォーカス制御は、撮像素子２０５の動画用の蓄積をおこなう行（以下、第１の行と称す）で取得した画像データ（以下、動画用の画像データ）の輝度成分のコントラスト情報に基づいて、動画取得時の撮影レンズ２０２のレンズ位置を算出する。
【００４１】
なお、上述した閾値としては、取得した動画用の画像データにおいて、主被写体（例えば、人物など）が視認できる程度の明るさの輝度値であればどのようなものであってもよい。
【００４２】
また、ＡＦ制御部２２１は、測光演算部２２０によって算出された被写体の輝度値が閾値より小さい場合は、被写体が暗い状態であると判定し、発光部２１９によるＡＦ補助光の発光を行う。そして、前述したように、発光部２１９によって照明された状態の評価値算出画像に基づいてＡＦ評価値を算出し、当該ＡＦ評価値に基づいて、動画取得時の撮影レンズ２０２のレンズ位置を算出する。
【００４３】
以上説明した各パターンで算出された撮影レンズ２０２のレンズ位置の情報は、メモリ２１１に記録される。そして、動画取得用に撮影条件を設定する際に、ＡＦ制御部２２１によって、メモリ２１１から撮影レンズ２０２のレンズ位置の情報が読み出され、当該レンズ位置の情報に基づいて撮影レンズ２０２のレンズ位置が設定される。以上が本実施形態のフォーカス制御であるが、フォーカス制御に伴うカメラ１００の各部の駆動は、図５のフローを参照して後述する。
【００４４】
露出制御部２２２は、被写体を撮像する際、および撮像部２０４から画像処理部２０８およびメモリ制御部２０９を介して受け取った画像データに対する露出制御を実行する。具体的には、露出制御部２２２は、測光演算部２２０で算出された被写体の輝度値に基づいて露出量を設定する。ここで、本実施形態において露出量とは、画像データの明るさを示す総合的な値である。例えば、被写体を撮像する際の絞り値や蓄積時間、そして、取得した画像データに対するゲイン量などを設定することで、当該露出量が設定される。
【００４５】
そして、露出制御部２２２は、当該露出量に基づいて、被写体を撮像する際の絞り値と蓄積時間を設定し、取得したアナログ画像データとデジタル画像データのゲイン量を調節することで、カメラ１００における露出制御を実行する。
【００４６】
例えば、露出制御部２２２は、設定した露出量に基づいて、カメラ１００におけるＡＥ制御が可能である。
【００４７】
発光制御部２２３は、発光部２１９の発光制御を行う発光制御部（第１の制御部）である。まず、発光制御部２２３は、測光演算部２２０によって算出された輝度値に基づき、発光部２１９を発光（ＡＦ補助光を発光）して被写体を照明する必要があるかないかを判定する（発光要否の判定）。
【００４８】
そして、発光制御部２２３は、当該判定の結果に基づき、後述する動画取得処理における発光部２１９によるＡＦ補助光の発光制御を行う。具体的には、発光制御部２２３は、発光部２１９によってＡＦ補助光を発光させるタイミング（発光タイミング）や、ＡＦ補助光の発光量などを設定するための発光制御を行う。以上説明した、ＡＦ制御部２２１や発光制御部２２３などにおける各種の処理の詳細は後述する。
【００４９】
なお、本実施形態では、ＣＰＵ２１２およびＣＰＵ２１２に設けられた制御部などからの指示に応じて、カメラ１００に設けられた制御部や処理部が、カメラ１００における各種の制御や処理を実行するような構成であるがこれに限定されるものではない。例えば、ＣＰＵ２１２以外に制御部や処理部を設けずに、ＣＰＵ２１２がカメラ１００内の各部を制御するような構成であっても良いし、ＣＰＵ２１２を設けずに上述した各部が連動して、カメラ１００の制御（処理）をおこなうような構成であってもよい。この場合、ＣＰＵ２１２を構成する測光演算部２２０、ＡＦ制御部２２１、露出制御部２２２、発光制御部２２３などは、それぞれ個別に設けられているような構成が望ましい。
【００５０】
図２に戻り、ＣＰＵ２１２が不揮発性メモリ２１３から読み出したプログラムや動作用の定数や変数等は、システムメモリ２１５において展開される。システムメモリ２１５にはＲＡＭが用いられる。システムタイマー２１４は、各種の制御に用いる時間やタイミングが内蔵された時計の時間を計測する。
【００５１】
操作部１０２を構成する各種の操作部材は、表示部１０１に表示される種々の機能アイコンの選択等に用いられ、所定の機能アイコンが選択されることにより、場面毎に、適宜、機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして用いられる。
【００５２】
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指示するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。ＣＰＵ２１２は、このパルス信号を解析して、カメラ１００の各部を制御する。
【００５３】
なお、コントローラホイール１０３は、回転操作が検出できる操作部材であれば、部材自体が回転するものや、部材自体は回転しないがタッチセンサで回転操作を検出するものなど、どのようなものでもよい。
【００５４】
シャッタボタン１２１は、第１スイッチＳＷ１と、第２スイッチＳＷ２とを有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でＯＮとなり、これにより、撮影準備を指示する信号がＣＰＵ２１２に送信される。ＣＰＵ２１２は、第１スイッチＳＷ１がＯＮになった信号を受信すると、前述したＡＦ処理、ＡＥ処理、ＡＷＢ処理、調光処理等などの、露出制御やフォーカス制御を開始する。
【００５５】
第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でＯＮとなり、これにより、被写体の撮像開始を指示する信号がＣＰＵ２１２に送信される。ＣＰＵ２１２は、第２スイッチＳＷ２がＯＮになった信号を受信すると、撮像部２０４において蓄積された電荷に応じたアナログ画像データとして読み出す。次に、当該アナログ画像データから変換されたデジタル画像データを記録媒体１３０に書き込む。同時に、デジタル画像データから変換された表示用のアナログ画像データをスルー画像として表示部１０１に表示させる。以上説明した一連の撮影動作が、第２スイッチＳＷ２のＯＮに応じて行われる。
【００５６】
モード切替スイッチ１０４は、カメラ１００の動作モードを、静止画記録モード、動画記録モード、再生モード等の各種モードの間で切り替えるためのスイッチである。また、動画記録モードおよび静止画記録モードには、例えば、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等の撮影モードがある。例えば、マニュアルモードや所定のシーンモードなどが設定された場合は、ユーザの手動操作によって撮影条件を自由に設定することが出来るため、ユーザの意図を尊重した静止画や動画を取得することができる。
【００５７】
本実施形態では、ユーザがモード切替スイッチ１０４を手動操作することより、各記録モードと各撮影モードの切り替えができる。なお、このような構成に限定されず、例えば、モード切替スイッチ１０４によって記録モードを設定した後に、他の操作部材を用いて静止画記録モードおよび動画記録モードに含まれる種々の撮影モードのいずれかに切り替えるような構成でもよい。
【００５８】
カメラ１００は、電源部２１６と、電源制御部２１７を備える。電源部２１６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプター等であり、電源制御部２１７へ電力を供給する。電源制御部２１７は、電池検出回路やＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等により構成されている。電源制御部２１７は、電源部２１６における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びＣＰＵ２１２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
【００５９】
カメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とＣＰＵ２１２との間の通信を可能にするためのＩ／Ｆ（インターフェース）２１８を備える。
【００６０】
以下、図３を参照して撮像部２０４の詳細について説明する。図３は本発明を実施した撮像装置の第１実施形態であるカメラ１００の撮像部２０４を説明する図であって、（ａ）は撮像部２０４の概略斜視図であって、（ｂ）は撮像部２０４を示すブロック図である。
【００６１】
まず、前述した撮像部２０４は、複数の画素３０１が形成されて光入射側に配置される第１のチップ３０と、列走査回路３１３ａ、３１３ｂや行走査回路３１２等の画素駆動回路（以下、周辺回路と称す）が形成された第２のチップ３１からなる。この第１のチップ３０が、本実施形態の撮像素子２０５であり、前述したＡ／Ｄ変換部２０６と評価部２０７は第２のチップ３１に設けられている。
【００６２】
撮像部２０４は、第１のチップ３０が第２のチップ３１の上に積層されて構成されている。第１のチップ３０に画素３０１を形成し、第２のチップ３１に周辺回路を形成することにより、周辺回路と画素３０１の製造プロセスを分けることができる。これにより、周辺回路部の配線の細線化、高密度化による高速化、小型化、高機能化を実現することができる。
【００６３】
第１のチップ３０は、マトリクス状に行方向と列方向に一定の間隔で配置された複数の画素３０１を有する。なお、本実施形態では、複数の画素３０１は被写体を撮像する撮像用の画素であるが、これ以外の用途で使用するような構成であってもよい。
【００６４】
第１のチップ３０は、各画素３０１に行方向（水平方向）に接続された転送信号線３０３と、リセット信号線３０４及び行選択信号線３０５と、各画素３０１の列方向に接続された列信号線３０２ａ、３０２ｂとを有する。列信号線３０２ａ、３０２ｂはそれぞれ、読み出し行単位によって接続先が区別されている。読み出し行の詳細については図４を参照して後述する。
【００６５】
第２のチップ３１は、列信号線３０２ａ、３０２ｂがそれぞれ接続されるカラムＡＤＣブロックであるＡ／Ｄ変換部２０６と、各行を走査する行走査回路３１２と、各列を走査する列走査回路３１３ａ、３１３ｂを有する。また、第２のチップ３１は、タイミング制御回路３１４と、水平信号線３１５ａ、３１５ｂと、フレームメモリ３１７と、評価部２０７と、スイッチ３１６とを有する。
【００６６】
タイミング制御回路３１４は、ＣＰＵ２１２からの制御信号を受けて、行走査回路３１２、列走査回路３１３ａ、３１３ｂ及びＡ／Ｄ変換部２０６のそれぞれの動作のタイミングを制御する。水平信号線３１５ａ、３１５ｂは、列走査回路３１３ａ、３１３ｂにより制御されるタイミングに従い、Ａ／Ｄ変換部２０６からのデジタル画像データ（デジタル信号）を転送する。
【００６７】
フレームメモリ３１７は、水平信号線３１５ｂから出力される各画像データ（画像信号）を一時的に記憶する。図２で前述した評価部２０７は、フレームメモリ３１７から出力された各画像データから、フォーカス制御用にＡＦ評価値を算出する。スイッチ３１６は、水平信号線３１５ｂに出力された各画像データを、評価部２０７の側に出力するか、または画像処理部２０８側に出力するかを切り替える。
【００６８】
第１のチップ３０（撮像素子２０５）において、画素３０１は、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３及び選択トランジスタＭ４を含む。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴであるとする。
【００６９】
転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、転送信号線３０３、リセット信号線３０４及び行選択信号線３０５が接続されている。これらの信号線は、行方向に延在して、同一行に含まれる画素３０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。選択トランジスタＭ４のソースには、列信号線３０２ａ又は列信号線３０２ｂが、行単位で分かれて接続されている。
【００７０】
フォトダイオードＰＤは、光電変換により生成された電荷を蓄積し、そのＰ側は接地され、そのＮ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送されるが、フローティングディフュージョンＦＤには寄生容量があるので、この部分に電荷が蓄積される。
【００７１】
増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されているものとする。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものである。選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続され、選択トランジスタＭ４のソースは列信号線３０２ａ又は列信号線３０２ｂに接続されている。選択トランジスタＭ４がＯＮしたときに、フローティングディフュージョンＦＤの電圧に対応する電圧が列信号線３０２ａ又は列信号線３０２ｂに出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２は、フローティングディフュージョンＦＤの電圧を電源電圧Ｖｄｄにリセットする。
【００７２】
以上説明したように、本実施形態では、第１のチップ３０（撮像素子２０５）を構成する各画素を行単位で同時に駆動、及び読み出しが可能である。したがって、前述した第１の行および第２の行についても、駆動の周期および読み出しの周期を、それぞれ独立して制御することが出来る。
【００７３】
次に、図４を参照して、前述した撮像素子２０５の列信号線３０２ａ、３０２ｂにおける画素選択について説明する。図４は、本発明を実施する撮像装置の第１実施形態であるカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
【００７４】
図４の左側には、撮像素子２０５の画素３０１の配列を、画素配列に対応して配置されるベイヤー配列を有するカラーフィルタの各色（Ｒ，Ｇ（Ｇｂ，Ｇｒ），Ｂ）で示している。図４の右側は、動画取得用の蓄積行（第１の行）、および評価値算出用の蓄積行（第２の行）を例示的に示している。なお、以下の説明では、動画の取得中に、発光部２１９を発光して第２の行によって被写体を撮像する場合について説明する。すなわち、暗い被写体を撮像する際の撮像条件（例えば撮影レンズ２０２のレンズ位置など）を適正に設定するために、第２の行で評価値算出画像を取得する場合である。
【００７５】
本実施形態では、ユーザが発光部２１９を発光させていない状態の動画を取得したい場合や、種々の処理に使用するために被写体に対する露出量を通常よりもアンダーで取得したい場合を想定する。以下、このような場合を非発光動画時とする。
【００７６】
この場合、周囲の状況変化によって被写体が暗くなっても、発光部２１９は発光させないので、暗い状態の被写体に対してフォーカス制御が適正に行われない確率が高い。すなわち、ユーザが撮像を意図する被写体に対してピントがずれた状態の動画が取得されてしまう場合がある。
【００７７】
この様な場合、ＡＦ補助光によって被写体が照明された状態の画像データに基づいてフォーカス制御を行うことで、主たる被写体に対してピントが合った状態の動画を取得することができる。
【００７８】
しかしながら、動画を取得しながらＡＦ補助光を発光すると、動画用に被写体を撮像する際に当該ＡＦ補助光が影響してしまう場合がある。すなわち、取得した動画にＡＦ補助光が写り込んでしまい、ユーザの意図しない明るさの動画となってしまう。
【００７９】
そこで、本実施形態では、撮像素子２０５を、動画用の蓄積を行う第１の行と、ＡＦ評価値などの評価値を算出する評価値算出用の第２の行とに分け、各行の読み出し周期（フレームレート）を独立して制御する。そして、第１の行の、動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでのリセット期間（第１の期間）で発光部２１９のＡＦ補助光を発光させる。
【００８０】
さらに、ＡＦ補助光を発光させる期間と少なくとも一部が重複する期間において、第２の行によって評価値算出画像を取得する。すなわち、ＡＦ補助光によって被写体が照明された状態の評価値算出画像を第２の行によって取得する。この構成によって、動画取得時のフォーカス制御を適正におこないつつ、発光部２１９によるＡＦ補助光が影響しない動画を取得することが出来る。以下、その詳細を説明する。
【００８１】
図４に図示するように、動画と評価値算出画像の取得を並行して行うために、画像データの読み出し行を分ける。以下の説明において、動画取得用の電気信号は列信号線３０２ａに出力され、評価値算出画像用の電気信号は列信号線３０２ｂへと出力される。なお、以下の説明では、動画取得用の電気信号および評価値算出画像取得用の電気信号を撮像信号と称す。
【００８２】
本実施形態では、図４に示す行番号１、２、５、６は動画を取得するための蓄積をする第１の行であり、行番号１、２、５、６から、動画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。動画記録モードにおいて動画用の画像データを取得する場合は、行番号１、２、５、６から撮像信号が読み出される。
【００８３】
図４に示す行番号３、４、７、８は評価値算出用の画像を取得するための蓄積をする第２の行であり、行番号３、４、７、８から、評価値算出画像を取得するために蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画を取得しない静止画記録モードにおいては、行番号１〜８の全ての行から静止画を取得するために蓄積した電荷に対応した撮像信号が読み出される。また、本実施形態では、ＡＦ補助光を発光させない場合であっても、動画用の画像データは行番号１、２、５、６によって取得した画像データを用いる。すなわち、撮像素子２０５を構成する画素のうちの約半分の画素が、動画用の画像データを取得するための撮像画素となる。
【００８４】
本実施形態では、行番号１、２、５、６及び行番号３、４、７、８からの読み出し走査を行単位で順次行うこととし、８行単位で繰り返して読み出し走査を行うとする。なお、本実施形態では、ライブビュー表示を行う場合は、第１の行を用いて被写体の撮像を行うような構成であるが、第２の行を用いるような構成や、第１の行と第２の行の両方を用いるような構成であっても良い。
【００８５】
第１の行で取得された動画取得用の撮像信号は列信号線３０２ａに出力される。列信号線３０２ａに出力された動画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された動画用のデジタル画像データは列走査回路３１３ａの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ａへ読み出される。水平信号線３１５ａへ読み出された動画用のデジタル画像データは、撮像部２０４から画像処理部２０８に出力される。
【００８６】
第２の行で取得された評価値算出画像取得用の撮像信号は列信号線３０２ｂに出力される。列信号線３０２ｂに出力された評価値算出画像取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された評価値算出画像取得用のデジタル画像データは列走査回路３１３ｂの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ｂへ読み出される。
【００８７】
ここで、第２の行において、発光部２１９によりＡＦ補助光を発光させて評価値算出画像を取得する場合は、水平信号線３１５ｂからスイッチ３１６を経てフレームメモリ３１７に、取得した評価値算出画像が一時的に記録される。そして、フレームメモリ３１７に記録された評価値算出画像は評価部２０７に送られる。
【００８８】
評価部２０７は、受け取った評価値算出画像の輝度成分のコントラスト情報に基づいてＡＦ評価値を算出し、ＡＦ評価値（の電気信号）を撮像部２０４からＣＰＵ２１２へと出力する。ＡＦ評価値としては、評価値算出画像のうち、コントラスト値が最も大きくなる位置に対応した値とする。この値に対応した撮影レンズ２０２のレンズ位置において、撮影レンズ２０２を透過した被写体の光学像のうち、主たる被写体の光学像が撮像素子２０５上に合焦した状態となる。なお、ＡＦ評価値の算出方法の詳細については後述する。
【００８９】
一方、静止画記録モードが設定され、撮像素子２０５によって静止画を取得する場合は、第１の行と第２の行の両方で、静止画用に被写体を撮像する。したがって、この場合は、ＣＰＵ２１２からの指示に応じてスイッチ３１６が切り替わり、水平信号線３１５ｂからスイッチ３１６を経て画像処理部２０８へと静止画用に取得した画像データが出力される。
【００９０】
以上説明したように、本実施形態において撮像素子２０５を構成する撮像用の各画素は、第１の行と第２の行とでそれぞれ独立して制御することが出来る。特に、第１の行と第２の行とで独立して被写体の撮像を行うため、蓄積した電荷に対応する撮像信号の読み出し周期（フレームレート）は、第１の行と第２の行とで独立した制御が可能となる。したがって、本実施形態のカメラ１００は、動画のフレームレートを低下させることなく評価値算出画像を取得することが可能である。
【００９１】
以下、本発明の第１実施形態における動画の取得処理について図５を参照して説明する。図５は本発明を実施した撮像装置の第１実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。なお、図５のフローチャートは、前述した非発光動画時において動画を取得する場合について説明する。
【００９２】
ユーザによって動画の取得が指示されると、第１の行によって動画用の画像データが随時取得される。ステップＳ１０１で測光演算部２２０は、前のフレームの（第１の行）で取得した動画用の画像データに基づいて測光演算を行い被写体の輝度値を算出する。なお、動画の取得が指示されてから初めての処理の場合は、第１の行によって動画用の画像データを取得して、当該動画用の画像データに基づいて被写体の輝度値を算出する。算出した被写体の輝度値はメモリ２１１へと送られる。
【００９３】
ここで、測光演算の方法は前述した通りであって、本実施形態では、第１の行によって動画用の画像データを取得するごとに、測光演算部２２０によって、取得した動画用の画像データに基づいて被写体の輝度値が算出される。
【００９４】
次に、ステップＳ１０２で発光制御部２２３は、メモリ２１１から算出した被写体の輝度値を読み出し、当該輝度値が閾値以下であるか否かを判定する。発光制御部２２３は、被写体の輝度値が閾値以下である場合は次のフレームでＡＦ補助光を発光させる必要があると判定し、被写体の輝度値が閾値よりも大きい場合は次のフレームでＡＦ補助光を発光させる必要がないと判定する。そして、当該判定の結果がメモリ２１１に記録される。
【００９５】
前述したように、本実施形態では、被写体が暗い場合は、撮像素子２０５の第２の行によってＡＦ補助光によって照明した被写体の画像を取得し、当該画像を用いて動画取得用に適正なフォーカス制御を実現する。
【００９６】
ここで、発光部２１９によってＡＦ補助光を発光させて動画取得用のフォーカス制御を行う場合の処理の概要について説明する。まず、前述したように、第１の行によって取得された動画用の画像データに基づいて、発光制御部２２３はＡＦ補助光の発光の要否を判定する。発光制御部２２３によって、ＡＦ補助光を発光させる必要があると判定された場合は、次のフレームの第１の行のリセット期間（第１の期間）で、発光部２１９を発光させて、第２の行によって評価値算出画像を取得する。そして、当該評価値算出画像に基づいてＡＦ評価値を算出して、そのすぐ後の第１の行において、動画用の蓄積を開始するまでの間に、当該ＡＦ評価値を用いてフォーカス制御を実行する。本実施形態はこのような時系列にそってそれぞれの動作を実行する。以下、その詳細を説明する。
【００９７】
図５に戻り、ステップＳ１０３で露出制御部２２２は、撮像部２０４の第１の行における露出量を再設定する。具体的には、第１の行において取得する動画用の画像データに、第２の行で評価値算出画像を取得する際に発光部２１９によって発光させるＡＦ補助光の影響が及ばないように、第１の行の蓄積時間を設定する。
【００９８】
また、ステップＳ１０３で露出制御部２２２は、第１の行で取得した動画用のデジタル画像データに対して、蓄積時間を再設定したことで変化した露出量を補償するようなゲイン量を設定する。以下、撮像素子２０５の第１の行と第２の行における蓄積時間と発光部２１９の発光タイミングについて図６を参照して説明する。
【００９９】
図６は本発明を実施した撮像装置の第１実施形態であるカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。図中の上側は、第１の行および第２の行における蓄積期間（白色部分）とリセット期間（黒色部分）を示している。図中の下側は、図５のフローチャートの各ステップの処理のタイミングを示している。なお、本実施形態においてリセット期間とは、第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間（第１の期間）である。すなわち、第１の期間は撮像素子２０５の第１の行を構成する各画素によって蓄積された電荷を電気信号として撮像素子２０５の外部に読み出してから、当該読み出し済みの電気信号をリセットトランジスタＭ２によってリセットするまでの期間である。
【０１００】
図６に図示するように、本実施形態では、動画用に被写体を撮像している際に発光部２１９によってＡＦ補助光を発光させて評価値算出画像の取得が指示されると、第１の行の蓄積時間（第１の蓄積時間）Ｅ１を蓄積時間（第２の蓄積時間）Ｅ２へと変更する。すなわち、ＡＦ補助光を発光させる場合は、撮像素子２０５における動画を取得するための蓄積時間を通常時よりも短くする。
【０１０１】
前述したように、第２の蓄積時間Ｅ２としては、発光部２１９の発光による影響が動画に及ばない程度の蓄積時間が設定される。そして、本実施形態では、予め設定された第１の行の第２の蓄積時間Ｅ２に合わせて、発光部２１９におけるＡＦ補助光の発光量が設定される。この構成によって、発光部２１９の発光が、取得した動画に影響することを抑制することが出来る。
【０１０２】
次に、ゲイン量の再設定について説明する。先に説明したように、第１の行では、蓄積時間を短くすることに対応してゲイン量の再設定も行われる。この構成によって、蓄積時間を短くすることで減少した露出量を補償することができる。具体的には、１フレーム（の期間）をＴｆｌａｍｅとし、再設定前の蓄積時間をＴ＿ｏｌｄ、再設定後の第１の行のリセット期間をＴｒｅｓ２とすると、増加させるゲイン量ＧａｉｎＵＰは式（１）を用いて、
Ｇａｉｎ  ＵＰ＝Ｔ＿ｏｌｄ／（Ｔｆｌａｍｅ−Ｔｒｅｓ２）・・・（１）
として算出できる。
【０１０３】
また、再設定する蓄積時間をＴ＿ｎｅｗ、再設定前のゲイン量をＧａｉｎ＿ｏｌｄとすると、再設定するゲイン量Ｇａｉｎ＿ｎｅｗは式（２）を用いて、
Ｇａｉｎ＿ｎｅｗ＝（Ｇａｉｎ＿ｏｌｄ×Ｔ＿ｏｌｄ）／Ｔ＿ｎｅｗ・・・（２）
として算出できる。上述した（１）、（２）式のうちのどちらかを用いて第１の行によって取得される画像のゲイン量を再設定する。
【０１０４】
以上説明したように、図５のステップＳ１０３で露出制御部２２２は、第１の行の蓄積時間と、当該蓄積時間で取得した画像データのゲイン量を再設定する。
【０１０５】
図５に戻り、ステップＳ１０４で発光制御部２２３は、発光部２１９の発光制御をおこなう。図６に図示するように、発光部２１９の発光タイミングは、動画用に被写体を撮像する第１の行のリセット期間（第１の期間）に行う。
【０１０６】
次に、ステップＳ１０５で露出制御部２２２は、第２の行で評価値算出画像用に被写体を撮像する際の蓄積時間を設定する。図６に図示するように、本実施形態では、第１の行における蓄積時間と比較して、第２の行における蓄積時間が短く設定されている。具体的には、第２の行において、第１の行における１フレームの略半分にあたる期間が、評価値算出画像を取得する際の第２の行のリセット期間（第２の期間）として設定されている。
【０１０７】
本実施形態では、この第２の期間において、動画用に被写体を撮像する際のフォーカス制御に用いるＡＦ評価値（焦点評価値）を算出する。そして、当該第２の期間が終了し、そのすぐ後の第１の行で蓄積を開始する前に、算出したＡＦ評価値を用いてフォーカス制御を行う。すなわち、次に動画用の画像データの取得を開始する前に、算出した評価値に基づいて撮影レンズ２０２のレンズ位置を設定する。なお、動画に対する影響が少なければ、第１の行での蓄積が開始した後も継続してフォーカス制御を行うような構成であってもよい。
【０１０８】
この構成によって、ＡＦ評価値を算出してから時間的なズレが少ない状態で、動画用のフォーカス制御を行うことが出来るので、被写体に対するして高精度なフォーカス制御を行うことが可能である。
【０１０９】
なお、第２の行によって取得する画像データは記録用には使用されため、ＡＦ評価値を算出するのに必要最低限の明るさの画像であれば十分である。したがって、第２の行のリセット期間（第２の期間）は、ＡＦ評価値を算出できる期間であればどのような期間であってもよい。例えば、第２の行の１フレームの１／３の期間を蓄積期間として設定し、残りの２／３の期間をリセット期間（第２の期間）に設定するような構成であってもよい。少なくとも、第２の期間と重複する第１の行の蓄積の期間の次のフレームが開始されるまでの間に、第２の期間が終了するような構成であればよい。
【０１１０】
次に、ステップＳ１０６で発光制御部２２３は、先に設定した発光部２１９によるＡＦ補助光の発光タイミングに基づき、第１の行のリセット期間で、発光部２１９によってＡＦ補助光を発光させて被写体を照明する。
【０１１１】
ここで、本実施形態における発光部２１９のＡＦ補助光の発光のタイミングと、撮像素子２０５の各行における蓄積のタイミングについて図７を参照して説明する。図７は本発明を実施した撮像装置の第１実施形態であるカメラ１００の発光部２１９の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
【０１１２】
図７に図示するように、第２の行のリセット期間が経過したのち、評価値算出画像を取得するための蓄積が開始される時刻ｔ１において、発光部２１９を発光させる発光トリガ信号が発光制御部２２３から発光部２１９に出力される。
【０１１３】
なお、図６に示すように、評価値算出画像の取得が指示された次のフレームにおける第１の行のリセット期間（第１の期間）を、発光部２１９によってＡＦ補助光を発光する発光タイミングとして設定する。この際、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、発光制御部２２３によって発光部２１９によるＡＦ補助光の発光タイミングが制御される。
【０１１４】
発光トリガ信号を受けると、発光部２１９の発光量は少し遅れて立ち上がり、発光トリガを解除した後も発光を持続する。発光が終了する時刻ｔ２において動画用に第１の行での蓄積を開始する。すなわち、発光部２１９を発光させて評価値算出画像を取得する場合、第１の行のリセット期間（第１の期間）Ｔｒｅｓ１の終了のタイミングと時刻ｔ２とは同じタイミングとなる。
【０１１５】
そして、ＡＦ制御部２２１は、発光部２１９を発光させて取得した評価値算出画像に基づいて、そのすぐ後の第１の行での蓄積が開始されるまでの期間にフォーカス制御を行う。
【０１１６】
なお、後述する第２の行で取得する評価値算出画像に対して、発光部２１９の発光による影響が少なければ、時刻ｔ２と第１の期間Ｔｒｅｓ１の終了タイミングとが一致しないような構成であってもよい。例えば、第１の期間Ｔｒｅｓ１の終了タイミングよりも前に、発光部２１９の発光が終了するような構成であってもよい。また、発光部２１９の発光によるわずかな残光が、第２の行によって取得する評価値算出画像に影響するくらいであれば、発光部２１９の発光の終了が第１の期間Ｔｒｅｓ１の終了タイミングの少し後であってもよい。
【０１１７】
以上説明した発光部２１９の発光タイミングと、撮像素子２０５の各行の蓄積時間の関係であれば、発光部２１９の発光による影響を抑制して、動画用の画像データを取得することが出来る。この構成によって、動画のフレームレートを変化させることなく、発光部２１９のＡＦ補助光によって照明された状態の評価値算出画像を取得することが出来る。この際、撮像素子２０５の、動画用の第１の行と評価値算出画像用の第２の行とは、それぞれ独立してフレームレートが制御されているので、第２の行の蓄積時間は自由に設定することができる。
【０１１８】
図５に戻り、ステップＳ１０７でＣＰＵ２１２は、第２の行のリセット期間が経過した後であって、第１の行のリセット期間（第１の期間）において、撮像素子２０５の第２の行によって、評価値算出用に被写体を撮像する。
【０１１９】
具体的には、発光部２１９によってＡＦ補助光を発光させる期間と少なくとも一部が重複するような期間において、第２の行での評価値算出用の蓄積を行う。すなわち、第２の行によって取得される評価値算出画像は、発光部２１９によるＡＦ補助光の発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した評価値算出画像はメモリ２１１に記録される。
【０１２０】
なお、本実施形態では、第２の行にあたる、評価値算出用の全ての蓄積行による蓄積が開始されてから、発光部２１９でのＡＦ補助光の発光を行う。これは、撮像素子２０５が、所謂ローリングシャッタ型の電荷蓄積型の撮像素子であるため、行ごとに蓄積の開始と終了がずれてしまうためである。したがって、発光部２１９によってＡＦ補助光の発光を開始する前に、第２の行を構成する一部の蓄積行での蓄積はすでに開始されている。
【０１２１】
また、本実施形態では、リセット期間が終わった画素から順に、第２の行によって評価値算出画像用の蓄積を開始するような構成であるが、これに限定されるものではない。例えば、第１の期間Ｔｒｅｓ１が経過してから、第２の行を構成する全ての蓄積行で同時に蓄積を開始するような構成であってもよい。
【０１２２】
さらに、本実施形態では、第２の行での評価値算出画像用の蓄積を開始した後に発光部２１９の発光を行うような構成であるが、これに限定されるものではない。例えば、第１の行のリセット期間（第１の期間）に、第２の行での蓄積の開始から終了までが収まるような構成であれば、第２の行での蓄積の期間が発光部２１９の発光の期間よりも短いような構成であってもよい。すなわち、発光部２１９によってＡＦ補助光の発光を開始してから第２の行での蓄積を開始し、当該第２の行での蓄積が終了してから発光部２１９によるＡＦ補助光の発光を終了するような構成であってもよい。
【０１２３】
さらに、撮像素子２０５が、所謂グローバルシャッタ方式を採用するような場合は、発光部２１９の発光を開始してから第２の行での蓄積を開始して、発光部２１９によるＡＦ補助光の発光が終了してから、第２の行での蓄積を終了する構成であってもよい。この場合も、発光部２１９によってＡＦ補助光を発光する期間が、評価値算出用に第２の行での蓄積を行う期間の少なくとも一部と重複するようの構成であればよい。
【０１２４】
図５に戻り、ステップＳ１０８で発光制御部２２３は、発光部２１９を消灯させ、ＡＦ補助光による被写体の照明を終了させる。次に、ステップＳ１０９でＣＰＵ２１２は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングでは発光部２１９よって被写体が照明されていない状態で被写体の撮像が行われる。取得した動画用の画像データはメモリ２１１に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２１０によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
【０１２５】
次に、ステップＳ１１０でＡＦ制御部２２１は、第１の行での動画取得用にフォーカス制御を行う。以下、フォーカス制御を行うためのフォーカス制御処理について図８を参照して説明する。
【０１２６】
図８は本発明を実施した撮像装置の第１実施形態であるカメラ１００のフォーカス制御処理を説明するフローチャートである。フォーカス制御処理が開始されると、ステップＳ２０１でＣＰＵ２１２は、今回の処理で発光部２１９によるＡＦ補助光を発光させているか否かを判定する。ＣＰＵ２１２によって、ＡＦ補助光を発光させていないと判定された場合はステップＳ２０２へと進み、ＡＦ補助光を発光させていると判定された場合はステップＳ２０３へと進む。
【０１２７】
次に、ＡＦ補助光を発光させていない場合は、ステップＳ２０２でＡＦ制御部２２１は、第１の行によって取得した動画用の画像データをメモリ２１１から読み出し、当該動画用の画像データを用いて、第１の行における動画取得用にフォーカス制御を行う。
【０１２８】
ステップＳ２０２におけるフォーカス制御の詳細としては、動画用の画像データの輝度成分のコントラスト情報に基づいて、動画取得用（第１の行で被写体を撮像する際）の、撮影レンズ２０２のレンズ位置を算出する。そして、ＡＦ制御部２２１は、算出したレンズ位置の情報に基づいて、撮影レンズ２０２を移動させる。
【０１２９】
図６で図示したように、記録および表示用に第１の行で取得する動画用の画像データは、リセット期間（第１の期間）は第２の行に比べて短いものとなる場合がある。例えば、動画用の画像データの蓄積時間を出来るだけ長くしたいような場合は、先に説明した発光部２１９による発光タイミングを維持できる程度に、第１の行のリセット期間を短くする。この場合、当該リセット期間（第１の期間）だけでフォーカス制御を行うことは難しい。
【０１３０】
したがって、発光部２１９によりＡＦ補助光を発光させないでフォーカス制御をする場合、あるフレームで取得した動画用の画像データに基づくフォーカス制御は、２つ後のフレームにおける動画用の画像データを取得するために行うものとする。すなわち、本実施形態では、あるフレームで取得した動画用の画像データに基づき、２つ後のフレームでの動画用の画像データを取得するための撮影レンズ２０２のレンズ位置を設定する。
【０１３１】
以上説明したように、ステップＳ２０２の処理は、図６に図示する第２の蓄積期間Ｅ２から２つ後のフレームの第２の蓄積期間Ｅ２までの期間で行われる。以上が、ＡＦ補助光を発光させていない場合の、動画取得用のフォーカス制御である。
【０１３２】
次に、ＡＦ補助光を発光させる場合の、動画取得用のフォーカス制御について説明する。ステップＳ２０３でＡＦ制御部２２１は、第２の行によって取得した評価値算出画像をメモリ２１１から読み出し、当該評価値算出画像を用いて、動画取得用のフォーカス制御を行う。以下、その詳細について説明する。
【０１３３】
先に説明したように、撮像素子２０５の第２の行から出力された評価値算出画像のアナログ画像データは、Ａ／Ｄ変換部２０６によりデジタル画像データへと変換された後に、スイッチ３１６とフレームメモリ３１７を介して評価部２０７へと送られる。
【０１３４】
評価部２０７では、ＡＦ制御部２２１からの指示に従い、評価値算出画像の高周波成分を算出するために、当該画像データの第２の行ごとにハイパスフィルタを適用する。次に、第２の行ごとに、ハイパスフィルタ出力信号の絶対値の最も大きいものを選択する。なお、絶対値の算出を行うのは、評価値算出画像において、正方向と負方向の両方の情報からなる被写体の輪郭情報を正規化するためである。そして、選択したそれぞれの行における信号を垂直方向に積分した積分値を算出する。本実施形態では、この積分値をＡＦ評価値とする。この、ＡＦ評価値は、被写体に対してピントが合っている合焦状態において最も値が大きくなり、逆に、合焦状態から乖離するほど値が小さくなる信号である。したがって、このＡＦ評価値が極大となる撮影レンズ２０２のレンズ位置が、被写体に対してピントが合っている状態となる。
【０１３５】
図８に戻り、ステップＳ２０５でＡＦ制御部２２１は、先に算出したＡＦ評価値に基づき被写体に対してピントが合うレンズ位置に撮影レンズ２０２を移動させる。なお、このレンズ位置が、次のフレームの、動画取得用の撮影レンズ２０２のレンズ位置となる。
【０１３６】
前述したように、ＡＦ補助光を発光させないでフォーカス制御を行う場合は、次のフレームでの動画用の蓄積を開始するまでの期間に制限があった。しかし、ＡＦ補助光を発光させてフォーカス制御を行う場合、評価値算出画像は記録・表示用に取得するものではないので、被写体を認識できる程度な最低限の明るさの画像データであればよい。したがって、第２の行のリセット期間（第２の期間）を出来るだけ長くすることが出来るため、当該第２の期間と第１の期間が終了するまでの間に、ＡＦ評価値の算出とフォーカス制御を行うことができる。すなわち、評価値算出画像を取得したすぐ後の第１の行での蓄積用に、撮影レンズ２０２のレンズ位置を設定することが可能である。以上が、ＡＦ補助光を発光させる場合における、動画取得用のフォーカス制御である。本実施形態は、この構成によって、ＡＦ評価値（焦点評価値）の算出から時間的なズレの少ない期間において、当該ＡＦ評価値を用いたフォーカス制御を行うことができる。
【０１３７】
図５に戻り、ステップＳ１１１でＣＰＵ２１２は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ１０１に戻り、動画の取得を終了する場合は動画取得処理を終了する。以上が本実施形態の動画取得処理である。
【０１３８】
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間において、撮像素子２０５の第２の行で、発光部２１９によるＡＦ補助光を発光させた状態で評価値算出画像用に被写体を撮像することができる。この構成によって、動画のフレームレートを低下させることなく、取得した動画に発光部２１９を発光させることによる影響が及ぶことを抑制することができる。
【０１３９】
したがって、本実施形態のカメラ１００は、１つの撮像素子を用いて動画を取得しながらＡＦ補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することができる。
【０１４０】
また、本実施形態では、１つの撮像素子２０５のみで動画と評価値算出画像とを独立して取得することができる。そのため、被写体が暗い場合でも、蓄積時間を自由に設定して発光部２１９によるＡＦ補助光を発光させた状態の評価値算出画像を取得することができる。そして、当該画像を取得したフレーム内でＡＦ評価値を算出することもできる。このＡＦ評価値を用いて、当該ＡＦ評価値を算出したすぐ後の第１の行での蓄積開始までに、動画取得用にフォーカス制御を行うことができるので、被写体が暗い状態であっても、フレーム毎に精度の高いフォーカス制御を行うことができる。すなわち、合焦の精度が高い動画を取得することができる。
【０１４１】
なお、本実施形態では、撮像素子２０５の第１の行のみで動画用に被写体を撮像するような構成であるが、これに限定されるものではない。例えば、被写体の輝度値が閾値以下となり、被写体が暗い状態であると判定されるまでは、第２の行でも動画用に被写体を撮像するような構成であってもよい。すなわち、ＡＦ補助光の発光指示がされるまでの間は、撮像素子２０５の全ての画素を動画用に用いるような構成であってもよい。
【０１４２】
また、本実施形態では、撮像素子２０５を構成する各画素を、おおよそ１：１の比率で第１の行と第２の行とに分けているが、動画の画素数を向上させるために、撮像素子２０５における第１の行の比率を大きくするような構成であってもよい。この場合、第２の行の数は減少するが、第２の行で取得する評価値算出画像は記録される画像データではないため、フォーカス制御を適正に行える程度に、第２の行が確保されていればよい。
【０１４３】
（第２実施形態）
本発明の第２実施形態における動画取得処理について図９〜１１を参照して説明する。図１、図２に図示したようなカメラ１００の基本構成や、図３、図４に図示したような撮像部２０４の構成については前述の第１実施形態と同様であるので説明は省略する。なお、本実施形態では、後述する図９や図１１に示すフローと同様の動作を指示するためのプログラムが不揮発性メモリ２１３に予め格納されているものとする。
【０１４４】
前述した第１の実施形態では、撮像素子２０５の第２の行によって取得される評価値算出画像からＡＦ評価値を算出するような構成であった。本実施形態では、当該評価値算出画像から、動画用の画像データに関連付ける被写体の情報を算出する場合について説明する。
【０１４５】
なお、本実施形態においても、ユーザが発光部２１９を発光させていない状態の動画を取得したい場合や、種々の処理に使用するために被写体に対する露出量を通常よりもアンダーで取得したい場合（非発光動画時）を想定する。この場合、例えば、暗い状態の被写体を撮像した画像データから、被写体中の顔領域や人物領域を識別することは困難である。したがって、当該暗い状態の被写体を撮像した画像データの中から、ユーザによって事前に登録された特定の顔や人物を認証（照合）する処理を行うことは難しい。
【０１４６】
この様な場合も、補助光によって被写体を照明した状態の画像データを用いることで、上述したような被写体の識別や認証を適正におこなうことができるが、動画を取得する場合は、補助光を発光させることによる影響が動画に及んでしまう。
【０１４７】
そこで、本実施形態では、撮像素子２０５の第１の行を動画取得用の蓄積行とし、第２の行を、被写体を識別するための識別評価値などを算出する評価値算出画像用の蓄積行とする。そして、第１の行と第２の行の読み出し周期（フレームレート）をそれぞれ独立して制御し、第１の行のリセット期間（第１の期間）で発光部２１９による補助光を発光させる。さらに、発光部２１９による補助光の発光期間と少なくとも一部が重複する期間で、第２の行による評価値算出画像を取得するための蓄積を行う。
【０１４８】
この構成によって、被写体中の顔領域や人物領域を適正に識別しつつ、発光による影響を抑制した動画を取得することが出来る。そして、識別された顔領域や人物領域が、カメラ１００に前もって登録された被写体であるか否かの認証処理を行い、当該認証処理によって得られた被写体の情報を動画に関連付けることができる。以下、その詳細について図９〜１１を参照して説明する。
【０１４９】
図９は本発明を実施した撮像装置の第２実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。ユーザによって動画の取得が指示されると、第１の行によって動画用の画像データが随時取得される。ステップＳ３０１で測光演算部２２０は、動画用の画像データを取得し、当該動画用の画像データに基づいて測光演算を行い被写体の輝度値を算出する。なお、本実施形態においても、動画用の画像データを取得するごとに、測光演算部２２０によって被写体の輝度値が算出される。測光演算の方法は前述の第１実施形態と同様である、算出した被写体の輝度値はメモリ２１１に記録される。以降、ステップＳ３０３までの処理は、前述の第１実施形態と同様であるので、説明は省略する。
【０１５０】
ステップＳ３０４で発光制御部２２３は、発光部２１９の発光制御をおこなう。以下、図１０を参照して本実施形態における、発光部２１９の発光と撮像素子２０５による蓄積に関するタイミングについて説明する。図１０は本発明を実施した撮像装置の第２実施形態であるカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。
【０１５１】
図１０に図示するように、発光部２１９による補助光の発光タイミングは、第１の行のリセット期間（第１の期間）とする。この際、前述した第１実施形態と同様に、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、発光制御部２２３によって発光部２１９による補助光の発光タイミングが制御される。
【０１５２】
図９に戻り、ステップＳ３０５で露出制御部２２２は、第２の行で評価値算出画像用に被写体を撮像する際の蓄積時間を設定する。図９に図示するように、本実施形態においても、第１の行における蓄積時間と比較して、第２の行において、第１の行における１フレームの略半分にあたる期間が、評価値算出画像を取得する際の第２の行のリセット期間（第２の期間）として設定されている。
【０１５３】
本実施形態では、この第２の期間において、評価値算出画像中の顔領域や人物領域の識別を行ない、識別された顔領域や人物領域に基づいて予め登録された被写体の情報との被写体認証処理を行う。そして、動画用の画像データを表示部１０１に表示する際に、評価値算出画像で認証された被写体の位置情報を反映させる。この際、被写体認証処理を行う評価値算出画像用に被写体を撮像するフレームと、認証された被写体の情報を反映させる動画用に被写体を撮像するフレームとは、少なくとも一部が重複するように取得する。
【０１５４】
すなわち、被写体認証を行う画像データと、認証された情報を反映させる画像データとはほとんど同じタイミングで取得されるので、被写体が暗い状態でも、時間的なズレが少ない期間で、認証された被写体の情報を反映させることが可能である。この詳細については図１１を参照して後述する。
【０１５５】
なお、本実施形態においても、第２の行によって取得する画像データは記録用には使用されないので、評価値算出画像の明るさは、識別評価値を算出するために必要最低限のものであればよい。すなわち、第２の行のリセット期間（第２の期間）は、識別評価値を算出できるような期間であればどのような期間であってもよい。
【０１５６】
図９に戻り、ステップＳ３０６で発光制御部２２３は、先に設定した補助光の発光タイミングに基づき、第１の行のリセット期間で、発光部２１９によって補助光を発光させて被写体を照明する。以降、ステップＳ３０９までの処理は前述の第１実施形態と同様であるので、説明は省略する。
【０１５７】
ステップＳ３１０でＣＰＵ２１２は、取得した画像データの被写体と、予め登録されている顔や人物の認証（照合）を行う、被写体認証処理を実行する。以下、図１１を参照してこの詳細を説明する。図１１は本発明を実施した撮像装置の第２実施形態であるカメラ１００の被写体認証処理を説明するフローチャートである。
【０１５８】
被写体認証処理が開始されると、ステップＳ４０１でＣＰＵ２１２は、今回の処理で発光部２１９により補助光が発光されたか否かを判定する。発光部２１９によって補助光が発光されていないと、ＣＰＵ２１２によって判定された場合はステップＳ４０２へと進む。また、発光部２１９によって補助光が発光されたと、ＣＰＵ２１２によって判定された場合はステップＳ４０４へと進む。
【０１５９】
補助光が発光されていない場合、ステップＳ４０２でＣＰＵ（識別手段）２１２は、第１の行によって取得した動画用の画像データをメモリ２１１から読み出し、当該画像データの被写体の中に、顔領域や人物領域が存在するか否かを識別する。
【０１６０】
まず、顔領域の識別方法の詳細について説明する。ＣＰＵ２１２は、メモリ２１１から先に取得した動画用の画像データを読み出し、当該画像データの被写体の中から、目・鼻・口・顔の輪郭などの物理的な特徴点を抽出する。
【０１６１】
次に、ＣＰＵ２１２は、抽出した特徴点を用いて、不揮発性メモリ２１３に格納されているテンプレートマッチング用のデータとのテンプレートマッチング処理を行い、被写体中の顔領域を識別する。なお、被写体中の顔領域を識別する方法としては、一般的な方法であればどのようなものを用いてもよい。
【０１６２】
次に、人物領域の識別方法の詳細について説明する。ＣＰＵ２１２は、メモリ２１１から先に取得した動画用の画像データを読み出し、当該画像データの被写体の中から、髪型・体型・姿勢・服装・持ち物などの、人物を構成するパーツやその他の人物を特定するパーツの特徴部分を抽出する。
【０１６３】
次に、ＣＰＵ２１２は、抽出した特徴点を用いて、不揮発性メモリ２１３に格納されているテンプレートマッチング用のデータとのテンプレートマッチング処理を行い、被写体中の人物領域を識別する。なお、被写体中の人物領域を識別する方法としては、一般的な方法であればどのようなものを用いてもよい。以上が、顔領域および人物領域の識別方法である。
【０１６４】
図１１に戻り、ステップＳ４０３でＣＰＵ（認証手段）２１２は、先に算出した顔領域や人物領域に基づいて、動画用の画像データの被写体の中に、カメラ１００に予め登録されている被写体がいるか否かの認証を行う。以下、その詳細について説明する。なお、ユーザによって、特定の顔や人物の登録が事前に行われており、メモリ（記録手段）２１１に当該登録した顔や人物の情報が記録されるものとする。
【０１６５】
ＣＰＵ２１２は、予め登録されている顔や人物の情報をメモリ２１１から読み出し、当該情報と先に識別した顔領域と人物領域の情報とを照合する。当該照合に参照する情報としては、先に説明したような顔領域や人物領域の特徴点と、当該顔領域や人物領域の色調を比較することで、登録された顔や人物が、識別された顔領域と人物領域と一致するか否かを照合する。
【０１６６】
そして、動画用の画像データに、予め登録された顔や人物の情報と、識別した顔領域や人物領域とが一致する場合は、一致した顔領域や人物領域に対する重み付けをおこなう。最後に、当該重み付け関する重み付け情報をメモリ２１１に記録し、被写体認証処理を終了する。なお、被写体認証処理の方法としては、一般的な方法であればどのようなものを用いてもよい。以上が、補助光を発光させない場合の被写体認証処理である。
【０１６７】
図１１に戻り、補助光が発光された場合、ステップＳ４０４でＣＰＵ（識別手段）２１２は、第２の行によって取得した評価値算出画像をメモリ２１１から読み出し、当該画像における被写体の中に、顔領域や人物領域が存在するか否かを識別する。なお、顔領域や人物領域の識別方法は、補助光を発光させない場合のものと同様である。
【０１６８】
次に、ステップＳ４０５でＣＰＵ（認証手段）２１２は、先に算出した顔領域や人物領域に基づいて、評価値算出画像の被写体の中に、メモリ（記録手段）２１１に予め登録されている被写体がいるか否かの認証を行う。被写体認証の方法は前述したものと同様である。
【０１６９】
次に、ステップＳ４０６でＣＰＵ２１２は、先に認証した被写体の情報を動画用の画像データに反映させるために、被写体評価値を算出する。被写体評価値の算出方法としては、まず、評価値算出画像を複数のブロックに分ける。この際の複数のブロックに分ける方法としては、前述した第１実施形態で説明した、輝度値を算出する際と同じ方法を用いる。ＣＰＵ２１２は、複数のブロックの中から、先に認証した顔および人物が存在する評価値算出画像内のブロックを特定する。そして、ＣＰＵ２１２は、認証した被写体が存在するブロックの位置を特定して、被写体の位置情報（被写体評価値）を算出する。算出された被写体評価値はメモリ２１１に記録される。
【０１７０】
次に、ステップＳ４０７でＣＰＵ２１２は、メモリ２１１から被写体評価値を読み出し、動画用の画像データに関連付ける。なお、被写体評価値を関連付ける動画用の画像データは、被写体評価値を算出する評価値算出画像を取得したフレームと重複する第１の行のフレームで取得されたものである。
【０１７１】
被写体評価値と動画用の画像データとの関連付けの方法としては、被写体評価値に基づいて、評価値算出画像で認証された顔や人物が存在するブロックの位置を、動画用の画像データに反映させる。
【０１７２】
以上が、補助光を発光させる場合の被写体認証処理である。この構成によって、被写体認証を行いたい動画用の画像データとほとんど同じタイミングで取得された評価値算出画像で被写体認証を行い、被写体認証の結果を当該動画用の画像データに反映するため、時間的なズレが少ない状態で被写体の認証が可能である。
【０１７３】
図９に戻り、ステップＳ３１１でＣＰＵ２１２は、動画用の画像データをメモリ２１１から読み出し、Ｄ／Ａ変換部２１０によって表示用のアナログ画像データへと変換し表示部１０１に表示させる。この際、ＣＰＵ２１２は、先に算出した重み付け情報、または被写体評価値をメモリ２１１から読み出し、動画を表示部１０１に表示させる際に、当該読み出した被写体の位置情報を重畳して表示部１０１に表示させる。
【０１７４】
本実施形態では、上述した被写体の位置情報の表示方法として、対応する被写体（顔領域や人物領域）を囲う枠などを表示部１０１に表示させるが、それ以外の方法によって、認証された被写体に関する位置情報を表示させるような構成であってもよい。
【０１７５】
また、取得した動画を再生する際には、認証された被写体に関する位置情報を表示させないような構成であってもよい。なお、認証された被写体に関する位置情報に基づいて、被写体を追尾させ、以降の処理において、追尾させた被写体に対して、優先的にフォーカス制御を行ったり、露出制御を行うような構成であってもよい。
【０１７６】
次に、ステップＳ３１２でＣＰＵ２１２は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ３０１に戻り、動画の取得を終了する場合は動画取得処理を終了する。以上が本実施形態の動画取得処理である。
【０１７７】
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間において、撮像素子２０５の第２の行で、発光部２１９による補助光を発光させた状態で評価値算出画像用に被写体を撮像することができる。この構成によって、被写体が暗い状態であっても、動画のフレームレートを低下させることなく、取得した動画に発光部２１９を発光させることによる影響が及ぶことを抑制することができる。
【０１７８】
したがって、本実施形態のカメラ１００は、１つの撮像素子を用いて動画を取得しながら補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することができる。
【０１７９】
また、本実施形態では、１つの撮像素子２０５のみで動画と評価値算出画像とを独立して取得することができる。そのため、被写体が暗い場合でも、評価値算出画像の蓄積時間を自由に設定し、当該画像を取得したフレーム内で被写体評価値を算出することもできる。この被写体評価値を動画用の画像データに反映させることで、被写体が暗い場合であっても、予め登録された被写体を第１の行のフレーム毎に認証することができる。
【０１８０】
なお、本実施形態では、発光部２１９を発光させない場合における顔領域や人物領域の識別は、第１の行で取得した動画用の画像データを用いて実行するような構成であるが、これに限定されるものではない。例えば、発光部２１９を発光させない場合であっても、評価値算出画像を用いて顔領域や人物領域の識別を行うような構成であっても良い。この場合、発光部２１９を発光させる必要はないので、第１の行の露出量（蓄積時間やゲイン量）を改めて設定する必要はない。
【０１８１】
また、本実施形態では、画像データの中の顔領域や人物領域を識別するような構成であるが、これに限定されるものではない。例えば、自動車や飛行機などの動きを伴う人工物や動物など、人物以外の被写体を識別するような構成であってもよい。
【０１８２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、カメラ１００は、前述した第１実施形態の構成と第２実施形態の構成とを組み合わせて実行するような構成であってもよい。すなわち、第１の行のリセット期間（第１の期間）において取得された被写体が照明された状態の評価値算出画像を用いて、動画用にフォーカス制御と被写体認証を行うような構成であってもよい。
【０１８３】
この場合、予め登録された顔や人物が動画用の画像データに存在するか否かの認証を行い、認証された被写体がある場合は、当該認証された被写体に対して、第１実施形態で説明したようなフォーカス制御を行う。この構成によって、予め認証された被写体を追尾するように、連続的にフォーカス制御を行うことができるため、ユーザが撮像したい被写体に対して高精度なピント合わせを行うことが可能となる。
【０１８４】
また、本実施形態において、評価値算出画像は、記録媒体１３０への記録や、表示部１０１への表示を行わないような構成であるが、これに限定されるものではない。記録用の画像データとして記録媒体１３０への記録、および、表示用のアナログ画像データとして表示部１０１に表示させるような構成であっても勿論よい。
【０１８５】
なお、前述した実施形態では、撮像素子２０５の撮像用の画素を構成する行の数は例示的に８行としたが、勿論これに限定されるものではなく、当該撮像素子２０５の行の数が８行ではないような構成であっても良い。
【０１８６】
また、前述した実施形態では、撮像素子２０５の第１の行と第２の行のフレームレート（読み出し周期）を独立して制御することが出来るため、それぞれ異なるタイミングで第１の行と第２の行の読み出しを行ってもよい。例えば、第１の行で１度の読み出しをする間に、第２の行で２度の読み出しをするような構成であってもよいし、第１の行で２度の読み出しをする間に、第２の行で１度の読み出しをするような構成であってもよい。すなわち、第１の行と第２の行の読み出しタイミングを自由に設定するような構成であってもよい。
【０１８７】
なお、この場合も、第１の行のリセット期間（第１の期間）において、発光部２１９を発光させた状態で第２の行での蓄積を開始するように、発光部２１９の発光タイミングと、撮像素子２０５の蓄積時間を設定する。本実施形態では、このような構成によって、第２の行によって取得する評価値算出画像の蓄積時間を自由に設定することができる。
【０１８８】
また、前述した実施形態では、予め第１の行での蓄積時間を設定してから、当該第１の行の蓄積時間に合わせて発光部２１９の発光量（に応じた発光時間）を設定するような構成であるが、これに限定されるものではない。
【０１８９】
例えば、発光部２１９の発光量を先に設定し、当該発光量に応じて変化する発光部２１９の発光時間に合わせて、第１の行の蓄積時間を設定するような構成であってもよい。なお、第１の行の蓄積時間を改めて設定することで変化した分の露出量は、前述した（１）式および（２）式を用いて、第１の行で取得される画像データのゲイン量を再設定することで対応する。したがって、発光部２１９を発光させることによる影響が及ばない程度であれば、評価値算出画像にフレームごとに、第１の行の蓄積時間とリセット期間を自由に設定することも可能である。
【０１９０】
さらに、本発明においてカメラ１００内の各部の駆動は、画像処理部２０８、メモリ制御部２０９、ＣＰＵ２１２とＣＰＵ２１２を構成する各部、電源制御部２１７、タイミング制御回路３１４などによって制御されるがこれに限定されるものではない。例えば、前述した図５、図８、図９、図１１のフローに従ったプログラムを不揮発性メモリ２１３に記憶させておき、ＣＰＵ２１２が該プログラムを実行することでカメラ１００内の各部の駆動を制御するような構成であってもよい。この際、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。
【０１９１】
なお、前述した実施形態では、デジタルカメラ１００を、本発明を実施する撮像装置の一例として説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬型デバイスなど、本発明は、その要旨の範囲内で種々の撮像装置に適用することが可能である。
【０１９２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１９３】
２０４  撮像部
２０５  撮像素子
２０７  評価部
２１２  システム制御部（ＣＰＵ）
２２１  ＡＦ制御部（フォーカス制御手段）
２２２  露出制御部（第２の制御手段）
２２３  発光制御部（第１の制御手段）
【図１】
2015126387.tif 000003
【図２】
2015126387.tif 000004
【図３】
2015126387.tif 000005
【図４】
2015126387.tif 000006
【図５】
2015126387.tif 000007
【図６】
2015126387.tif 000008
【図７】
2015126387.tif 000009
【図８】
2015126387.tif 000010
【図９】
2015126387.tif 000011
【図１０】
2015126387.tif 000012
【図１１】
2015126387.tif 000013