(57)【要約】【課題】低照度の環境下等にある被写体を、その場の雰囲気を活かして動画像撮影することを可能としつつ、より高精度の焦点調節を可能とする。【解決手段】撮像素子１３０は、撮影レンズ１４０により形成された被写体像を撮像する撮像動作を繰り返し行い、撮像動作のそれぞれに対応して撮像素子インターフェース回路１３２から画像データが時系列に出力される。この画像データは、画像振り分け処理部１１０で第１の時系列画像データと第２の時系列画像データとにフレーム単位又はフィールド単位で振り分けられる。発光タイミング制御部１２０は、第１の時系列画像データに対応する画像データを出力するための撮像動作が撮像素子１３０で行われるタイミングに同期して発光するように補助光発光装置１５０を制御する。動画像データ生成処理部１１２は、第２の時系列画像データをもとに動画像データを生成する。【選択図】図１
2012095183.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズにより形成された被写体像を撮像する撮像動作を繰り返し行い、前記撮像動作のそれぞれに対応して画像データを時系列に出力可能な撮像部と、
前記撮像部から時系列に出力される前記画像データを、第１の時系列画像データと第２の時系列画像データとにフレーム単位、またはフィールド単位で振り分ける振り分け処理部と、
被写体に向けて照明光を出射する補助光発光装置が、前記第１および第２の時系列画像データのうち、前記第１の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して発光するように制御する発光タイミング制御部と、
前記第２の時系列画像データをもとに動画像データを生成する動画像データ生成部と
を備えることを特徴とする撮影装置。
【請求項２】
前記第１の時系列画像データを逐次解析してコントラスト値を導出し、前記撮影レンズの焦点調節状態を検出する第１の焦点検出処理部と、
前記第１の焦点検出処理部による前記検出の結果に基づいて、前記撮像部の受光面上に形成される前記被写体像がより鮮鋭となるように前記撮影レンズの焦点調節に係る動作を制御する第１の焦点調節制御部と
をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記補助光の点灯に同期して光電変換動作を行うことが可能な一対または複数対のセンサアレイから信号を読み出し、前記撮影レンズ中の異なる瞳位置を経て入射した被写体光により前記一対または複数対のセンサアレイ上に形成される像の位相差に基づいて前記撮影レンズの焦点調節状態を検出する第２の焦点検出処理部と、
前記第２の焦点検出処理部による前記撮影レンズの焦点調節状態の検出結果に基づいて、前記撮像部の受光面上に形成される前記被写体像がより鮮鋭となるように前記撮影レンズの焦点調節に係る動作を制御する第２の焦点調節制御部と
をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項４】
撮影者による焦点調節用操作部の操作である焦点調節操作を検出する焦点調節操作検出部と、
前記焦点調節操作検出部で前記焦点調節操作が検出されるのに応じ、前記撮影レンズ内に備えられる１または複数の焦点調節用光学素子を駆動して前記撮影レンズの結像面を前記撮像部の受光面に対して前方向または後方向に移動させるための制御を行う第３の焦点調節制御部と
をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項５】
撮影者による補助光発光用操作部の操作である補助光発光操作を検出する補助光発光操作検出部をさらに備え、
前記発光タイミング制御部は、前記補助光発光操作検出部で前記補助光発光操作が検出されたときに、前記第１の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して前記補助光発光装置が発光するように制御を行うことを特徴とする請求項１に記載の撮影装置。
【請求項６】
前記第１の時系列画像データまたは前記第２の時系列画像データに基づく画像をライブビュー画像として表示可能な画像表示部をさらに備え、
焦点調節を自動的に行う自動焦点調節モード、および撮影者が手動で焦点調節を行う手動焦点調節モードのうち、いずれかの焦点調節モードを撮影者が選択可能に構成され、
前記自動焦点調節モードが選択されているときには前記第２の時系列画像データに基づく画像を、前記手動焦点調節モードが選択されているときには前記第１の時系列画像データに基づく画像を、それぞれライブビュー画像として表示するように構成されることを特徴とする請求項４または５に記載の撮影装置。
【請求項７】
前記撮像部は、撮像動作時のフレームレートまたはフィールドレートである撮像レートとして、第１の撮像レートと、前記第１の撮像レートよりも高い撮像レートである第２の撮像レートとを含む複数種類の撮像レートのうち、いずれかの撮像レートで前記撮像動作を行うことが可能に構成され、
前記撮像部は、前記補助光発光装置が発光しない場合には前記第１の撮像レートで前記撮像動作を行う一方、前記補助光発光装置が発光する場合には前記第２の撮像レートで前記撮像動作を行い、
前記振り分け処理部は、前記撮像部で前記第２の撮像レートで前記撮像動作が行われて時系列に出力される画像データを、前記第１の時系列画像データおよび前記第２の時系列画像データに、交互に振り分ける
ことを特徴とする請求項１から６のいずれか一つに記載の撮影装置。
【請求項８】
前記動画像データ生成部はさらに、前記振り分け処理部において前記第１の時系列画像データに振り分けられたフレームまたはフィールドに相当する画像データを補間処理によって生成し、生成された当該の画像データと前記第２の時系列画像データとから前記動画像データを生成することを特徴とする請求項１から６のいずれか一つに記載の撮影装置。
【請求項９】
前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から出力される画像データを処理し、撮影範囲中の、主要被写体が写る位置を導出する被写体認識処理部と、
前記被写体認識処理部で導出された前記主要被写体が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項１０】
前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から出力される画像データを処理し、撮影範囲中の、顔が写る位置を導出する顔認識処理部と、
前記顔認識処理部で導出された前記顔が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項１１】
前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から時系列的に出力される画像データを逐次処理して動きベクトルを導出し、当該の動きベクトルを解析して撮影範囲中で主要被写体が写る位置を導出する動きベクトル導出処理部と、
前記動きベクトル導出処理部で導出された前記主要被写体が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項１または２に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置に関し、特に補助光源を用いて被写体を照明しながら動画撮影を行うことが可能な撮影装置に関する。
【背景技術】
【０００２】
暗所での焦点調節の精度や焦点調節動作の速度を高めることを目的として、ＡＦ（自動焦点調節）用補助光を照射可能な電子カメラが知られている。また、動画撮影中に被写体に向けて照明光を照射するものとしてムービーライト、あるいはビデオライトなどと称される装置が知られている。
【０００３】
特許文献１には、低照度環境において被写体の明るさの変化に応じて適応的に照明装置の発光量を調整できる動画撮像装置が開示される。この動画撮像装置では、照明光をパルス発光させ、その際の発光タイミングが、撮像素子で繰り返し行われる撮像動作に同期するように制御される。
【０００４】
特許文献２には、被写体にＡＦ補助光を照射する際に、そのＡＦ補助光の発光に要する消費電力の低減を可能とする技術が開示される。ＡＦ補助光の発光に要する消費電力を低減するため、ＡＦ補助光の発光は間欠的に行われる。より具体的には、焦点調節のためのレンズ移動と、撮像手段から出力される画像信号に基づいて被写体のコントラスト成分に応じた評価値を得ることとを交互に繰り返し、その際に撮影レンズが所定量移動するごとにＡＦ補助光を発光させる。
【０００５】
特許文献３には、ＬＥＤ（発光ダイオード）を光源に用いた撮影用照明装置において、消費電力を抑えつつ、背景が暗い状況における撮影前の被写体構図の確認を容易にする技術が開示される。特許文献３に開示されるのは静止画撮影用のデジタルカメラであり、露光動作前のモニタ期間中、撮像素子の撮像動作に同期させて予発光が照射される。このとき、ＣＣＤが露光される第１および第２露光期間ＴＢ１、ＴＢ２において、照明装置から、パルス光である予発光Ｌ１〜Ｌ３が照射される。予発光Ｌ１〜Ｌ３は第１および第２露光期間ＴＢ１、ＴＢ２に同期して照射される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５４１５５号公報
【特許文献２】特開２００３−１４００２７号公報
【特許文献３】特開２００５−１２８１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
低照度条件下での動画撮影時、撮影者は必ずしも補助光を使うことを望まない。例えば、蝋燭の光により照明された室内等において人物を撮影するような状況で、その場の雰囲気を活かした動画撮影をしようとした場合、撮影者は補助光の照射をしないで撮影することを望む場合がある。
【０００８】
動画撮影時、被写体と撮影者との間の相対距離が変化しうる状況では、焦点調節動作を継続して行う必要がある。ＡＦの方式がいわゆるコントラストＡＦであっても位相差検出式ＡＦであっても、撮像素子やＡＦセンサで蓄積動作が行われる。このとき、被写界輝度が低いと、蓄積動作に時間を要することがある。また、蓄積動作に時間をかけたとしても、被写体輝度が低いと、ノイズの影響が相対的に増してＡＦの速度や精度の低下を招く場合がある。つまり、補助光を照射しないことにより、雰囲気のある画像が得られる一方で、より正確かつ高速な焦点調節を実現することが困難となる場合がある。
【０００９】
また、撮影者が撮影装置の背面に設けられる液晶表示パネルやＥＶＦ（電子ビューファインダ）に表示されるライブビュー画像を観ながら手動操作で焦点調節（ＭＦ操作）を行う場合も、被写界輝度が低いと精度よく焦点調節を行うことが難しい。何故なら、暗めでノイズの比較的多い画像を観ても、像が最も鮮鋭となる焦点調節位置を把握することが難しいからである。また、ライブビュー画像が暗いと、的確なフレーミングを行うのが困難となることがある。
【００１０】
撮影者が補助光を用いての撮影を望まない状況において焦点調節の精度や速度を維持したり、あるいは正確なフレーミングをしたりするのが難しくなることに関して、特許文献１から３のいずれにも開示も示唆も無く、当然、その課題を解決するための開示も示唆も無い。
【００１１】
本発明は上記の課題に鑑み、なされたもので、低照度の環境下等にある被写体を、その場の雰囲気を活かして動画像撮影することを可能としつつ、より高精度の焦点調節を可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
（１）  本発明のある態様によれば、撮影装置が、
撮影レンズにより形成された被写体像を撮像する撮像動作を繰り返し行い、前記撮像動作のそれぞれに対応して画像データを時系列に出力可能な撮像部と、
前記撮像部から時系列に出力される前記画像データを、第１の時系列画像データと第２の時系列画像データとにフレーム単位またはフィールド単位で振り分ける振り分け処理部と、
被写体に向けて照明光を出射する補助光発光装置が、前記第１および第２の時系列画像データのうち、前記第１の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して発光するように制御する発光タイミング制御部と、
前記第２の時系列画像データをもとに動画像データを生成する動画像データ生成部と
を備える。
【発明の効果】
【００１３】
本発明によれば、被写体に補助光が照射されない、その場の雰囲気を活かした動画像を得ることと、高精度の焦点調節を行うこととを両立することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】撮影装置および補助光発光装置の内部構成を概略的に説明するブロック図である。
【図２】撮影装置の要部を説明するブロック図である。
【図３】撮像動作と、それに同期して行われる補助光発光動作、画像振り分け動作を説明するタイムチャートである。
【図４】補助光発光装置に備えられる複数の発光部によって撮影範囲が照明されている様子を概念的に示す図であり、（ａ）は全ての発光部が発光して撮影範囲の全域が照明されている様子を、（ｂ）は撮影範囲中、被写体認識処理部で認識された主要被写体の存在する領域のみが照明されている様子を示す。
【図５Ａ】撮影装置で撮影動作が行われる際にシステムコントローラによって実行される撮影動作制御、補助光発光制御の処理手順を説明するフローチャートである。
【図５Ｂ】撮影装置で撮影動作が行われる際にシステムコントローラによって実行される撮影動作制御、補助光発光制御の処理手順を説明するフローチャートであり、図５Ａのフローチャートに続く処理手順を説明するフローチャートである。
【図５Ｃ】撮影装置で撮影動作が行われる際にシステムコントローラによって実行される撮影動作制御、補助光発光制御の処理手順を説明するフローチャートであり、図５Ａのフローチャートに続く処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、本発明の実施の形態に係る撮影装置の概略的構成を説明するブロック図である。撮影装置は、システムコントローラ１００と、撮像素子１３０と、撮像素子インターフェース回路（図１においては「撮像素子Ｉ／Ｆ回路」と表記される）１３２と、シャッタ駆動部１３４と、表示駆動部１７０と、画像表示部１７２と、表示用発光素子１７４と、フラッシュメモリ１７６と、ＳＤＲＡＭ（シンクロナス・ダイナミック・ランダム・アクセス・メモリ）１８０と、操作部１９０とを備える。
【００１６】
撮影装置はまた、撮影レンズ１４０と、補助光発光装置１５０とを備える。撮影レンズ１４０は、撮影装置に組み込まれていてもよいし、交換レンズとして撮影装置に取り外し可能に装着されていてもよい。補助光発光装置１５０もまた、撮影装置に組み込まれていてもよいし、アクセサリとして撮影装置に対して取り外し可能に装着されていてもよい。
【００１７】
補助光発光装置１５０が外付け式に構成される場合、撮影装置にはアクセサリシュー、あるいは他の締結装置が設けられていて、これらのアクセサリシューや締結装置を介して補助光発光装置１５０を撮影装置に装着することが可能である。あるいは、撮影装置と補助光発光装置１５０との間で有線あるいは無線の形態で制御信号の授受が可能な場合、補助光発光装置１５０は必ずしも撮影装置に直接取り付けられていなくてもよい。
【００１８】
システムコントローラ１００は、ＣＰＵ１０２と、画像処理部１０４と、圧縮・伸張部１０６と、被写体認識処理部１０８と、画像振り分け処理部１１０と、動画像データ生成処理部１１２と、焦点検出処理部１１４と、焦点調節制御部１１６と、輝度検出処理部１１８と、発光タイミング制御部１２０と、照射範囲制御部１２２とを備える。
【００１９】
本実施の形態において、システムコントローラ１００はＣＰＵ１０２とＤＳＰ（デジタル・シグナル・プロセッサ）とを備えて構成され、画像処理部１０４、圧縮・伸張部１０６、被写体認識処理部１０８、画像振り分け処理部１１０、動画像データ生成処理部１１２はＤＳＰに備えられる機能として実現されるものとする。また、フラッシュメモリ１７６中に記憶されるファームウェアとしてのプログラムコードがＳＤＲＡＭ１８０に読み込まれ、ＣＰＵ１０２によって逐次解釈・実行されることにより、焦点検出処理部１１４、焦点調節制御部１１６、輝度検出処理部１１８、発光タイミング制御部１２０、照射範囲制御部１２２が実現されるものとする。無論、これらの処理ブロックはハードウェアロジック等により構成されるものであってもよいし、システムコントローラ１００全体が一つのＡＳＩＣ（特定用途向け集積回路）あるいはＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）などによって構成されるものであってもよい。
【００２０】
操作部１９０は、電源スイッチ１９０ａと、モード設定スイッチ１９０ｂと、レリーズスイッチ１９０ｃと、動画撮影スイッチ１９０ｄと、アップスイッチ１９０ｅと、ダウンスイッチ１９０ｆと、補助光スイッチ１９０ｇとを備える（図１において、各スイッチは「Ｓｗ」と表記される）。
【００２１】
撮影レンズ１４０は、絞り駆動部１４２と、焦点調節駆動部１４４と、フォーカシングレンズ１４６とを備える。補助光発光装置１５０は、補助光制御部１５２と、照射角制御部１６０と、配光レンズ１６２と、ＬＥＤアレイ１６４とを備える。
【００２２】
撮影装置で生成された画像データ等を記録するためのメモリカードＭＣは、撮影装置に対して取り外し可能に装着される。
【００２３】
本明細書においては、構成要素の動く方向や配列の方向等に関して理解を容易にすることを目的として、以下のように三次元の座標軸をとり、説明をする。すなわち、撮影レンズ１４０の光軸が図１の紙面に平行で左右方向に延在するものとし、この光軸と平行な方向にＸ軸をとる。また、図１の紙面に平行かつＸ軸と直交する向き（図１の上下方向）にＹ軸をとり、図１の紙面に直交する向きにＺ軸をとる。このとき、Ｚ軸は、図１の紙面表側から裏側に向かう方向に座標値が増すように向きが定められている。Ｘ軸は図１の紙面に沿って右方向に、Ｙ軸は図１の紙面に沿って上方向に、それぞれ座標値が増すように向きが定められている。
【００２４】
撮像素子１３０は、ＣＣＤ（電荷結合素子）イメージセンサ、あるいはＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の、二次元イメージセンサである。撮像素子１３０は、ダイクロイックプリズムなどの分光光学系と複数のモノクロ撮像素子とを備えて構成される、いわゆる多板式のものであっても、Ｂ（青）、Ｇ（緑）、Ｒ（赤）等のオンチップカラーフィルタが受光面上に形成される、いわゆる単板式のものであってもよい。本実施の形態において、撮像素子１３０はＢ、Ｇ、Ｒのオンチップカラーフィルタが受光面上に形成された単板式のＣＭＯＳイメージセンサであり、内部にＣＤＳ（相関二重サンプリング）回路、アンプ、Ａ／Ｄコンバータ等を備えてデジタル画像信号を出力可能に構成されるものとして説明をする。
【００２５】
ところで、ＣＭＯＳイメージセンサには、いわゆるローリングシャッタ方式のものとグローバルシャッタ方式のものとがある。ローリングシャッタ方式のＣＭＯＳイメージセンサは、ＸＹアドレス方式で各画素を選択し、光電変換部および電荷蓄積部分の電荷クリア、露光開始、露光停止、信号読み出しといった一連の露光動作を画素ごとに（線順次に）行う。したがって、露光（蓄積）の同時性が無い。つまり、露光が、一画面内で同時には行われない。それが理由で、以下に説明する、補助光の照射を伴う撮像動作による時系列画像データと補助光の照射を伴わない撮像動作による時系列画像データとを取得することができない。従って、本実施の形態で用いられるＣＭＯＳイメージセンサは、ＣＣＤイメージセンサが有するのと同様の、グローバルシャッタ方式での露光機能を有するものとする。
【００２６】
撮像素子インターフェース回路１３２は、撮像素子１３０による撮像動作の制御（撮像タイミング制御、光電変換時間の制御、全画素読み出しや間引き読み出し等の画像信号読み出しの制御等）を行う。
【００２７】
シャッタ駆動部１３４は、フォーカルプレンシャッタやレンズシャッタ等のシャッタ機構と、このシャッタ機構を駆動するためのアクチュエータやドライバ等を備える。シャッタ駆動部１３４は、ノーマリオープン、ノーマリークローズいずれのタイプのシャッタを備えていても良い。本実施の形態において、シャッタ駆動部はノーマリーオープンタイプのフォーカルプレンシャッタを備えるものとする。シャッタ駆動部１３４は、システムコントローラ１００から出力される制御信号に基づき、撮像素子１３０の受光面上で所定の時間長の露光が与えられるようにシャッタを開閉動作して静止画撮影を行うことが可能である。シャッタ駆動部１３４はまた、シャッタを開放状態に維持して、ライブビュー画像表示（モニタ画像表示、スルー画像表示）や動画撮影を行うことが可能に構成される。なお、シャッタ駆動部１３４については撮影装置の仕様等によっては省略することも可能である。
【００２８】
ＣＰＵ１０２は、撮影者による操作を受け付け、動作モードの切り替え、撮影動作、画像データ記録動作等、撮影装置の動作を統括的に制御する。ＣＰＵ１０２はさらに、先にも説明したように焦点検出処理部１１４、焦点調節制御部１１６、輝度検出処理部１１８、発光タイミング制御部１２０、そして照射範囲制御部１２２として機能する。
【００２９】
画像処理部１０４は、撮像素子インターフェース回路１３２を介して撮像素子１３０から入力したデジタル画像信号にガンマ補正、色変換、デモザイク、ノイズ低減、シェーディング補正等の処理を施し、Ｂ、Ｇ、Ｒの三つのカラープレーンからなる画像データを生成する。画像処理部１０４はまた、撮影装置が撮影準備状態（撮影装置を撮影者が被写体に向けて構図決定や焦点調節等を行う状態）にあるときに、後述する画像表示部１７２にライブビュー画像を表示するための処理も必要に応じて行う。
【００３０】
圧縮・伸張部１０６は、画像処理部１０４で生成された画像データに対し、必要に応じてＪＰＥＧやＭＰＥＧ、Ｈ２６４等の画像圧縮技術を用いて圧縮処理をする。圧縮・伸張部１０６はまた、メモリカードＭＣ等から読み出された画像ファイルに含まれる圧縮画像データに伸張処理を施し、画像表示部１７２に静止画像や動画像を表示するための画像データを生成する処理をする。
【００３１】
被写体認識処理部１０８は、画像処理部１０４で生成される画像データを解析し、画像内における被写体の位置や大きさ等を検出する処理を行う。被写体認識処理部１０８で行われる処理としては、例えば以下のようなものとすることが可能である。
【００３２】
被写体認識処理部１０８で行われる処理の第１の例として、画像内にける主要被写体と目されるものが写っている領域を導出する処理がある。この処理は、画像を解析して、画像内における空間周波数、彩度、あるいは明度の高さ等を判定基準として、主要被写体と目されるものが写っている領域を導出する処理である。
【００３３】
ある領域の空間周波数が他の領域の空間周波数に比して高い、ということは、ある領域に焦点が合っている可能性が高い、あるいは目立つ被写体が写っている可能性が高い、と考えることが可能である。したがって、画面をいくつかの領域に分割し、それぞれの領域の空間周波数成分を導出して比較することにより、画面内のどこに主要被写体が写っているかを導出することが可能となる。
【００３４】
ある領域の彩度が他の領域の彩度に比して高い、ということは、ある領域に花などの目立つ被写体が写っている可能性が高いと考えることが可能である。したがって、画像データを例えばＬａｂやＨＳＬ等の色空間で規定される画像データに変換し、ａ、ｂ値やＳ値が比較的高い領域を導出することにより、画面内のどこに主要被写体が写っているかを導出することが可能となる。
【００３５】
例えば画面の上部に明度の比較的高い領域があれば、その領域には空等の明るい背景が写っていて、その領域よりも下側の領域に主要被写体が写っている可能性が高い、と考えることが可能である。あるいは、比較的暗めの画面中に明度の高めの領域があれば、夜の屋外あるいは暗い室内等において主要被写体が人工光によって照明されているような状況にある、と考えることが可能である。このように、画面内における明度の高い領域の位置、あるいは明度の分布等を解析して主要被写体の写る位置を導出することが可能である。
【００３６】
画面内における主要被写体の写る位置を導出する方法として以上に説明した空間周波数、彩度、明度に基づく方法に関し、これらの方法のうちのいずれか一つの方法を用いても、複数の方法を組み合わせて用いてもよい。
【００３７】
被写体認識処理部１０８で行われる処理の第２の例として、画像内において人や動物等の顔が写る領域を導出する、いわゆる顔認識処理がある。この顔認識処理は、例えば眉毛、眼、鼻、口等の、顔が有する画像的な特徴に基づいて予め作成された複数のテンプレートを用い、解析対照の画像中から上記テンプレートとのマッチング度の高い領域を導出する処理とすることが可能である。そして、テンプレートとのマッチング度の高い画像の写る領域を画面内において顔の写る領域とすることが可能である。
【００３８】
被写体認識処理部１０８で行われる処理の第３の例として、動きベクトルにより主要被写体が写る位置を導出する処理がある。この処理では、撮像素子１３０から時系列的に出力され、画像処理部１０４で生成された画像が逐次処理されて、動きベクトルが導出される。この動きベクトルの大きさやパターンに基づき、画面内における要被写体の写る領域を導出することができる。
【００３９】
例えば、主要被写体としての動き回る子どもが常に画面内に位置するよう、撮影者が撮影装置をパンし続けた場合、得られる画像中の子どもが写る部分の動きベクトルに比して、周囲の部分（周辺部）の動きベクトルは大きくなる。例えば、撮影装置に手ぶれを検出するためのセンサが内蔵されている場合、そのセンサからの出力を検出することにより、撮影装置がほぼ静止状態にあるのか、あるいは上述のようにパンしているのかを弁別することが可能である。撮影装置がパンされている状況のもと、画面内において動きベクトルの相対的に低い領域があれば、その領域に写る被写体が主要被写体と見なすことが可能である。
【００４０】
あるいは、撮影装置がほぼ静止状態にあり、画面内において動きベクトルの相対的に高い領域があれば、逆にその領域に写る被写体が主要被写体であると見なすことが可能である。また、動きベクトルの大小だけではなく、動きベクトルの経時的な変化のパターンの違いから、主要被写体の写る位置を推定することも可能である。
【００４１】
被写体認識処理部１０８では、上述したもの以外の被写体認識処理が行われてもよい。例えば、画像表示部１７２に表示されるライブビュー画像中で撮影者がタッチパネルの操作等によって被写体を特定した後、その被写体の像をテンプレートとしてテンプレートマッチング処理を行い、一致度の高い部分を主要被写体の写る位置とすることも可能である。また、画像内に写る被写体と撮影装置との間の距離を導出して、画面内で最も近い位置にある被写体の写る位置を主要被写体の写る位置とすることも可能である。被写体認識処理部１０８では、以上に説明した処理例のうち、いずれかの処理が行われても、複数の処理が組み合わせて行われてもよい。
【００４２】
画像振り分け処理部１１０は、撮像素子１３０から時系列的に出力され、画像処理部１０４で処理されて生成される複数フレームからなる一連の画像データ（以下ではこの一連の画像データを「画像ストリーム」と称する）を二つの時系列画像データに振り分ける処理をする。本明細書において、これら二つの時系列画像データを第１の時系列画像データ、第２の時系列画像データと称する。画像振り分け処理部１１０における画像データ振り分けの処理は、一番単純には、画像ストリームをフレームごとに交互に振り分ける処理とすることが可能である。
【００４３】
画像ストリームは、撮影装置が動作を開始してから、撮像素子１３０から一番目に出力された画像信号、二番目に出力された画像信号、三番目に出力された画像信号、…、ｎ番目に出力された画像信号に基づいて生成された画像データを含む。撮像素子１３０は、インターレーススキャンが可能であってもよいし、プログレッシブスキャンが可能であってもよいが、本実施の形態においてはプログレッシブスキャン方式で撮像が行われるものとする。また、本明細書では説明の便宜上、撮像動作開始後、撮像素子１３０から奇数番目に出力された画像信号から生成された画像データを奇数フレーム（奇数番目のフレーム）と称する。同様に、撮像素子１３０から偶数番目に出力された画像信号から生成された画像データを偶数フレームと称する。つまり、画像振り分け処理部１１０は、一連の画像ストリームを奇数フレームの画像データと偶数フレームの画像データとに振り分ける処理を行う。本明細書では、画像振り分け処理部１１０で振り分けられた奇数フレームの画像データを第１の時系列画像データと称し、偶数フレームの画像データを第２の時系列画像データと称する。
【００４４】
以上では、画像振り分け処理部１１０が画像ストリームを交互に振り分ける処理をするものとして説明をしたが、例えば一つのフレームの画像データを第１の時系列画像データに振り分け、上記一つのフレームに続いて出力される、連続するｎフレームの画像データを第２の時系列画像データに振り分ける、と云ったことを繰り返して不等配分することも可能である。ここで、ｎは２以上の整数である。
【００４５】
また、撮像素子１３０においてインターレーススキャン方式で撮像が行われる場合、画像振り分け処理部１１０は、撮像素子１３０から交互に出力される奇数フィールドおよび偶数フィールドの画像信号に基づいて生成される各画像データを振り分けることが可能である。この場合、例えば奇数フィールドの画像信号に基づく画像データを第１の時系列画像データに、偶数フィールドの画像信号に基づく画像データが第２の時系列画像データに振り分けることが可能である。無論、偶数フィールドの画像信号に基づく画像データが第１の時系列画像データに、奇数フィールドの画像信号に基づく画像データが第２の時系列画像データに振り分けられてもよい。
【００４６】
ところで、画像振り分け処理部１１０は、上述した画像振り分けの処理を常に行うようにしてもよいし、ある撮影状況においては画像振り分けの処理を行わず、必要なときにのみ画像振り分けの処理を行うようにしてもよい。画像振り分け処理部１１０で画像振り分け処理が行われない場合、動画像データ生成処理部１１２は、画像処理部１０４で生成される画像ストリーム（画像振り分けの処理が行われない一連の画像データ）に基づいて動画像データを生成することも可能に構成される。
【００４７】
また、撮像素子１３０がプログレッシブスキャンおよびインターレーススキャンの両方式のうち、いずれかの方式に切り換えて撮像動作を行うことが可能に構成される場合、画像処理部１１０で画像振り分け処理が行われる、あるいは行われない場合に対応して、撮像動作の方式を切り換えるようにしてもよい。すなわち、画像処理部１１０で画像振り分け処理が行われない場合、撮像素子１３０ではプログレッシブスキャンによる撮像動作が行われ、画像処理部１１０で振り分け処理が行われる場合には撮像素子１３０ではインターレーススキャンで撮像動作が行われるように構成されていてもよい。そしてインターレーススキャンにより生成される、奇数フィールドおよび偶数フィールドに対応する各画像を第１の時系列画像データおよび第２の時系列画像データに振り分けるようにすればよい。この場合、撮像素子１３０がインターレーススキャンの方式で動作すると垂直解像度が低下するが、垂直解像度が維持されるように補間処理を行うことも可能である。
【００４８】
焦点検出処理部１１４は、画像処理部１０４により生成されて逐次出力される画像データ中、画面内の所定領域（フォーカシングエリア）に対応する画像データを解析してコントラスト値を導出する処理（焦点検出処理）を繰り返し行う。例えば、撮影レンズ１４０の結像位置を少しずつ動かしながらコントラスト値の変化を見ることにより、撮影レンズ１４０の結像位置は望ましい（像がより鮮鋭となる）方向に移動しているのか否かを知ることができる。
【００４９】
焦点調節制御部１１６は、焦点検出処理部１１４による焦点検出処理結果に基づき、撮影レンズ１４０の結像位置の移動方向および移動量を導出し、後述する焦点調節駆動部１４４に制御信号を出力する。
【００５０】
輝度検出処理部１１８は、画像処理部１０４により生成されて逐次出力される画像データを解析して被写体の輝度（あるいは被写界輝度）を導出する。
【００５１】
ここで図２を参照し、第１および第２の時系列画像データの用途について説明する。図２は、本発明の実施の形態に係る撮影装置の要部を示すブロック図である。画像処理部１０４から出力される一連の画像ストリームが、画像振り分け処理部１１０によって第１の時系列画像データと第２の時系列画像データとに振り分けられる様子が図２に示されている。図２において、画像信号あるいは画像データの流れが破線で示されている。
【００５２】
画像振り分け処理部１１０が一連の画像ストリームを第１の時系列画像データと第２の時系列画像データとに振り分ける処理を行う場合、動画像データ生成処理部１１２は第２の時系列画像データに基づいて動画像データを生成する。同じく、画像振り分け処理部が上記のように画像データを振り分ける処理を行う場合、被写体認識処理部１０８および焦点検出処理部１１４は第１の時系列画像データを用いてそれぞれの処理を行う。このとき、画像表示部１７２には必要に応じてライブビュー画像を表示することができる。ライブビュー画像の表示を行う場合、表示駆動部１７０は第１および第２の時系列画像データのうち、いずれかの画像データに基づくライブビュー画像表示用データを画像振り分け処理部１１０から受信してライブビュー画像を画像表示部１７２に表示する。第１および第２の時系列画像データのうち、どちらの画像データに基づくライブビュー画像表示が行われるかは撮影状況による。これについては後で詳しく説明する。
【００５３】
再び図１を参照して補助光発光装置１５０について説明する。補助光発光装置１５０は、被写体の輝度が低いときに、被写体に向けて補助光を照射する装置である。先にも説明したように、補助光発光装置１５０は撮影装置に内蔵されていてもよいし、アクセサリとして撮影装置に着脱可能に装着されてもよい。すなわち、外付け式に構成されていてもよい。補助光発光装置１５０が撮影装置に内蔵される場合、電力は撮影装置の電源から供給される。補助光発光装置１５０が外付け式に構成されるものである場合、補助光発光装置１５０内に電池等の電源を内蔵していても、撮影装置から電力が供給されるものであってもよい。
【００５４】
本発明の実施の形態において、撮影装置を用いて動画撮影をする際に、補助光発光装置１５０は、撮影目的に応じて二つの動作モードのうちのいずれかで動作可能に構成される。一つは、補助光発光装置１５０から出射された補助光により照明された被写体の画像が写るように動作するモードである。この動作モードを、本明細書中ではＡモードと称する。Ａモードにおいては、動画撮影中に補助光発光装置１５０から連続して補助光が出射されるようにしてもよいし、撮像素子１３０の撮像動作（蓄積動作）に同期するように間欠的に出射されてもよい。もう一つの動作モードは、動画撮影中、動画像データとしては記録されない画像データを生成するための撮像動作（蓄積動作）のタイミングに同期して発光する動作モードである。この動作モードを、本明細書中ではＢモードと称する。
【００５５】
補助光発光装置１５０がＡモードで動作して動画撮影が行われると、補助光によって照明された被写体を撮影することができる。一方、補助光発光装置１５０がＢモードで動作して動画撮影が行われると、記録される動画像データ中の被写体は補助光が照射されていないので、例えば被写体としての人物が蝋燭の光で照らされているような状況でその場の雰囲気を活かした画像を記録することが可能となる。
【００５６】
図３は、補助光発光装置１５０がＢモードで動作し、画像振り分け処理部１１０において一連の画像ストリームを第１および第２の時系列画像データに振り分ける処理が行われる際のシーケンスが概念的に示されている。撮像素子１３０で時系列に逐次行われる撮像動作中、奇数フレームの画像データを生成するための露光動作に同期して補助光発光装置１５０は点灯し、補助光が出射される。そして奇数フレームの画像データが第１の時系列画像データに、偶数フレームの画像データが第２の時系列画像データに振り分けられる。第１の時系列画像データは被写体認識処理部１０８および焦点検出処理部１１４に入力され、第２の時系列画像データは動画像データ生成処理部１１２に入力される。
【００５７】
従って、補助光発光装置１５０から出射された補助光によって照明された比較的明るい画像によって被写体認識処理、焦点検出処理を行うことが可能となり、比較的暗い状況においても、被写体認識処理および焦点検出処理の精度を高めることが可能となる。
【００５８】
以上のように動作可能な補助光発光装置１５０は、図１に示されるように、補助光制御部１５２と、照射角制御部１６０と、配光レンズ１６２と、照明光源としてのＬＥＤアレイ１６４とを備える。ＬＥＤアレイ１６４は、複数のＬＥＤ（発光ダイオード）Ｌ１１…Ｌ１５、Ｌ２１…Ｌ２５、Ｌ３１…Ｌ３５が平面上に配列されて構成される。以下ではこれらのＬＥＤを参照する際に、「ＬＥＤ（Ｌ１１〜Ｌ３５）」と表記する。本実施の形態においては１５個のＬＥＤが配列されるものとする。
【００５９】
図１においては、図示の都合により、ＬＥＤ（Ｌ１１〜Ｌ３５）はＸＹ平面上に沿って配列されたかたちで描かれているが、実際にはＹＺ平面に平行な面上に沿ってＹ軸方方向に３行、Ｘ軸方向に５列の格子状に配列されている。無論、これらの配列方法および配列個数については用途や仕様に応じて様々に変更することが可能である。また、ＬＥＤアレイ１６４を構成する各ＬＥＤ（Ｌ１１〜Ｌ３５）は、必ずしも平面上に配列される必要はなく、円筒面、球面、非球面等の曲面や階段状の不連続面に沿うように配列されていてもよい。
【００６０】
各ＬＥＤ（Ｌ１１〜Ｌ３５）は、互いに独立して点灯、消灯および点灯時の発光量を制御可能に構成される。配光レンズ１６２は、ＬＥＤアレイ１６４から被写体に向けて出射される光の照射角を調節するための拡散または集光作用を有するフレネルレンズ等を含んで構成され、その主面がＹＺ平面に平行となるように配置される。なお、ＬＥＤアレイ１６４の配列方向および配光レンズ１６２の向きは一例を示したに過ぎず、ミラーやプリズム等の光路屈曲用の光学素子を配設することにより、様々な配列方向および向きに配列することが可能である。
【００６１】
照射角制御部１６０は、配光レンズ１６２とＬＥＤアレイ１６４との間の距離を変化させることにより、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）から出射される光の照射角度を、撮影レンズ１４０の画角に応じて変化させる機構を備える。例えば、ネジ機構、ヘリコイド機構、ラック・アンド・ピニオン機構等によって配光レンズ１６２とＬＥＤアレイ１６４との間の距離を変化させることが可能である。
【００６２】
補助光制御部１５２は、補助光コントローラ１５４と、電流制御部１５６と、点灯制御部１５８とを備える。電流制御部１５６は、ＬＥＤ（Ｌ１１〜Ｌ３５）のそれぞれに供給する電流を制御する電流制御回路Ｉ１１…Ｉ１５、Ｉ２１…Ｉ２５、Ｉ３１…Ｉ３５を備える。以下ではこれらの電流制御回路を参照する際に、「電流制御回路（Ｉ１１〜Ｉ３５）」と表記する。点灯制御部１５８は、ＬＥＤ（Ｌ１１〜Ｌ３５）のそれぞれに対して電流の供給を制御する半導体スイッチＳ１１…Ｓ１５、Ｓ２１…Ｓ２５、Ｓ３１…Ｓ３５を備える。以下ではこれらの半導体スイッチを参照する際に、「半導体スイッチ（Ｓ１１〜Ｓ３５）」と表記する。
【００６３】
上述した電流制御回路（Ｉ１１〜Ｉ３５）のそれぞれは、補助光コントローラ１５４によって独立して制御可能に構成される。また、半導体スイッチ（Ｓ１１〜Ｓ３５）のそれぞれも、補助光コントローラ１５４によって独立して制御可能に構成される。補助光コントローラ１５４は、システムコントローラ１００から出力される制御信号に基づき、電流制御回路（Ｉ１１〜Ｉ３５）、半導体スイッチ（Ｓ１１〜Ｓ３５）、照射角制御部１６０を制御する。その結果、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中の任意のＬＥＤを選択的に発光させて照度（光量）、照射範囲、および照射角度を変化させ、撮影範囲中の一部の被写体だけに補助光を照射することが可能に構成される。
【００６４】
なお、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）から出射される補助光の照度（光量）を制御する方法としては、電流制御部１５６による電流制御に代えて、比較的高い周波数でパルス通電をしながらＬＥＤアレイ（Ｌ１１〜Ｌ３５）中の任意のＬＥＤに電力を供給し、その際のデューティー比を変化させる方法によってもよい。ここで、比較的高い周波数とは、パルス通電の一周期が、撮像素子１３０で１フレーム分の蓄積動作が行われる際の時間長に対して十分短くなるような（例えば１フレーム分の蓄積動作中に複数回のパルス通電が行われるような）周波数を意味する。また、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中の任意のＬＥＤを撮像素子１３０での蓄積動作に同期して発光させる際に、照度の制御は行わずに一定照度で発光させ、その際の点灯時間を変化させることにより等価的に積算光量が変化するようにしてもよい。さらには、照度の調節と上記点灯時間の制御とを併用してもよい。
【００６５】
以上では、補助光発光装置１５０が光源としてＬＥＤアレイ１６４を備える例について説明したが、断続的に発光可能であれば他の光源を備えるものであってもよい。例えば、複数の独立した発光部がマトリクス状に配列された有機ＥＬ（エレクトロ・ルミネッセンス）発光素子等を用いることも可能である。
【００６６】
また、照射角の変更を可能とする構成として、配光レンズ１６２が固定されていて、ＬＥＤアレイ１６４が配光レンズ１６２に対して移動可能に構成されていてもよい。あるいは、配光レンズ１６２およびＬＥＤアレイ１６４が固定されていて、ＬＥＤアレイ１６４の周囲等に設けられるリフレクタが移動可能に構成されていてもよい。さらに、配光レンズ１６２およびリフレクタが固定されていて、ＬＥＤアレイ１６４が移動可能に構成されていてもよい。
【００６７】
発光タイミング制御部１２０および照射範囲制御部１２２の説明をする。発光タイミング制御部１２０は、撮像素子１３０で露光動作（撮像動作、蓄積動作）が行われるのに同期して補助光発光装置１５０からパルス状の補助光が照射されるよう（補助光が断続的に出射されるよう）、補助光コントローラ１５４に制御信号を出力する。
【００６８】
照射範囲制御部１２２は、撮影レンズ１４０の画角と、被写体認識処理部１０８で導出された主要被写体の位置とに基づき、撮影範囲内における補助光照射範囲および補助光照射角度に関する制御信号を出力する。このとき、照射範囲制御部１２２は、補助光発光装置１５０の発光照度に関する制御信号を出力してもよい。その場合、補助光制御部１５２は、受信した制御信号に基づいて、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中で選択されたＬＥＤに電流を供給する際の電流値を制御する。
【００６９】
図４は、撮影範囲内の被写体がＬＥＤアレイ（Ｌ１１〜Ｌ３５）によって照明される様子を概念的に描いた図であり、撮影装置の側から被写体の側を観た様子を示している。従って、図４の紙面に平行な面上にＹＺ平面が存在し、紙面に直交する方向にＸ軸が延在している。このとき、Ｘ軸は紙面裏側から表側に向かって座標値が増す向きとなっている。また、Ｙ軸は図の紙面に沿って上側に、Ｚ軸は図４の紙面に向かって右側に、それぞれ座標値が増える向きとなっている。
【００７０】
図４（ａ）は、撮影範囲内におけるＬＥＤアレイ（Ｌ１１〜Ｌ３５）のそれぞれの照射範囲を示している。図４（ｂ）は、被写体認識処理部１０８で導出された主要被写体の位置に対応して、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中、四つのＬＥＤ（Ｌ２２、Ｌ２３、Ｌ３２、Ｌ３３）のみが発光するように制御され、認識された主要被写体が照射されている様子を示している。このとき、補助光発光装置１５０はＢモードで動作している。つまり、動画撮影中において動画像データとしては記録されない画像データ（第１の時系列画像データ）を生成するための撮像動作（蓄積動作）のタイミングに同期して発光する動作モードで動作している。
【００７１】
補助光発光装置１５０がＢモードで動作している場合には、上述のように必要な範囲のみを照射するようにして、補助光発光に伴う電力の消費を抑制することが可能となる。なお、図３を参照して説明したように、本発明の実施の形態において第１の時系列画像データは被写体認識処理にも用いられる。被写体の動きが激しかったり、あるいは撮影装置が急にパンされたりしたときには、補助光照射範囲から主要被写体が外れる可能性がある。そのような場合、照射範囲制御部１２２は、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中の発光するＬＥＤの数を漸次増したり、一時的に全ＬＥＤを発光させたりするように補助光制御部１５２に制御信号を発することが望ましい。あるいは、補助光発光装置１５０がＢモードで作動しているときに、ＬＥＤアレイ（Ｌ１１〜Ｌ３５）中の全ＬＥＤを点灯させるようにし、このとき選択されたＬＥＤから出射される光の量に比して、選択されなかったＬＥＤから出射される光の量を減じる、といった制御をすることも可能である。
【００７２】
再び図１を参照し、画像表示部１７２は、ＴＦＴ（シン・フイルム・トランジスタ）カラー液晶表示素子とバックライトとを備えていて、カラー画像を表示可能に構成される。あるいは、自発光式の有機ＥＬディスプレイ装置を備えて構成されていてもよい。画像表示部１７２には、静止画像および動画像の再生表示に加え、ライブビュー画像も表示可能に構成される。画像表示部１７２は、撮影装置の背面等に備えられる、いわゆるモニタ表示装置としての形態を有するものであっても、ＥＶＦ（電子ビューファインダ）の形態を有するものであってもよい。あるいは両方を備えていてもよい。
【００７３】
表示駆動部１７０は、画像処理部１０４により生成され、ＳＤＲＡＭ１８０内のＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）エリアに一時的に記憶された表示用画像データに基づく画像を画像表示部１７２に表示する。
【００７４】
表示用発光素子１７４は、１または複数のＬＥＤ等の発光部を備えて構成されるインジケータである。表示用発光素子１７４により、撮影装置の電源のオン／オフ、動画撮影モード、静止画撮影モード、あるいは再生モード等の動作モード、メモリカードＭＣへのアクセス状態等を表示することができる。
【００７５】
フラッシュメモリ１７６は、書き換え可能な不揮発性メモリであり、ＣＰＵ１０２により実行されるファームウェア（プログラムコード）が記憶される。フラッシュメモリ１７６にはまた、撮影装置に電力が供給されていない状態でも保持する必要のある制御パラメータ、撮影装置の製造工程で個々の撮影に対応して記録された調整パラメータ、そして撮影者により選択された動作設定や動作ステータス情報等が記憶される。さらに、必要に応じて画像データをフラッシュメモリ１７６に記憶することが可能に構成されていてもよい。
【００７６】
ＳＤＲＡＭ１８０は、比較的高速のアクセス速度を有するメモリであり、フラッシュメモリ１７６に記憶されるプログラムコードをＣＰＵ１０２が実行する際のワークエリアとして使用される。ＳＤＲＡＭ１８０はまた、画像処理部１０４、被写体認識処理部１０８等からもアクセス可能に構成され、これら画像処理部１０４、被写体認識処理部１０８等が画像処理をする際のワークエリア、画像表示部１７２に画像を表示する際のＶＲＡＭエリアとしても用いられる。
【００７７】
操作部１９０は、電源スイッチ１９０ａ、モード設定スイッチ１９０ｂ、レリーズスイッチ１９０ｃ、動画撮影スイッチ１９０ｄ、アップスイッチ１９０ｅ、ダウンスイッチ１９０ｆ、補助光スイッチ１９０ｇに対する撮影者の操作を検出し、検出結果をシステムコントローラ１００に出力する。これらのスイッチ１９０ａ〜１９０ｇとしては、タッチパネル、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、撮影レンズ１４０の鏡胴にヘリコイドリングを模して設けられたリング状の操作部材（操作環）の回転方向および回転量を検出可能なスイッチ等のうちのいずれであってもよい。また、撮影装置に与えられる揺動や加振等の向きや大きさ、パターン等を検出可能なセンサをスイッチとして用いることも可能である。さらに、撮影者が操作するリモートコントローラからのコマンドを操作部１９０が受信してもよい。
【００７８】
電源スイッチ１９０ａは、撮影装置の電源をオン／オフするためのスイッチである。モード設定スイッチ１９０ｂは、撮影装置の動作モードを設定するためのスイッチである。レリーズスイッチ１９０ｃは、静止画を撮影する際に操作されるスイッチである。動画撮影スイッチ１９０ｄは、動画撮影を開始／停止する際に操作されるスイッチである。
【００７９】
アップスイッチ１９０ｅ、ダウンスイッチ１９０ｆは、シャッタ速度や絞り値等の設定を変更する際に操作されるスイッチとすることも可能であるが、本発明の実施の形態においては手動で焦点調節をする際に操作されるスイッチであるものとする。つまり、撮影者が操作をして焦点調節をすることが可能なモードに撮影装置が設定されているときに、アップスイッチ１９０ｅ、ダウンスイッチ１９０ｆを撮影者が操作することにより、撮影レンズ１４０の結像位置を調節可能に構成されるものとする。
【００８０】
上記構成は、パワーフォーカスなどと称される。この構成により、アップスイッチ１９０ｅ、ダウンスイッチ１９０ｆを撮影者が操作するのに応じて、結像位置が撮像素子１３０の受光面に対して前側または後ろ側の方向（結像位置が被写体に近づく方向または被写体から遠ざかる方向）に移動するように撮影レンズ１４０内の焦点調節用光学素子が駆動される。撮影者は、画像表示部１７２に表示されるライブビュー画像を観ながらアップスイッチ１９０ｅ、ダウンスイッチ１９０ｆを操作することにより、手動で焦点調節を行うことができる。
【００８１】
ところで、撮影装置が撮影レンズを交換可能に構成されるものにおいて、当該の撮影装置とは異なる撮影装置向けに製造された撮影レンズが、マウントアダプタを介して装着される場合がある。また、レンズマウントの互換性は有しているので当該の撮影装置に直接装着することが可能ではあるものの、マニュアルフォーカス専用の撮影レンズであるために上述したパワーフォーカスの操作ができない場合がある。このような場合にはアップスイッチ１９０ｅ、ダウンスイッチ１９０ｆの操作による焦点調節はできないので、撮影者は画像表示部１７２に表示されるライブビュー画像が鮮鋭となるようにレンズのヘリコイド環を操作する。
【００８２】
補助光発光装置１５０は、被写体が所定の輝度値を下回る場合、自動的に発光を開始することも可能であるが、ユーザが判断して発光を開始するようにしてもよい。補助光スイッチ１９０ｇは、補助光発光装置１５０を発光させることが必要と判断した場合に操作するスイッチである。
【００８３】
撮影レンズ１４０は、絞り駆動部１４２と、焦点調節駆動部１４４と、焦点調節用光学素子としてのフォーカシングレンズ１４６とを備える。図１においてフォーカシングレンズ１４６は一枚の凸レンズとして描かれているが、凹レンズであってもよい。フォーカシングレンズ１４６また、複数のレンズエレメントを備えていてもよく、その場合、全体として正の集光作用（パワー）を有していても、負の集光作用を有していてもよい。また、撮影レンズ１４０の光学系を構成する全レンズ中、どの位置にフォーカシングレンズ１４６が配置されてもよい。あるいは、撮影光学系全体が光軸に沿って移動する、全体繰り出しによるフォーカシングが行われるものであってもよい。
【００８４】
絞り駆動部１４２は、撮影レンズ１４０中を透過する光の量を調節するための光彩絞り機構と、この光彩絞り機構を駆動するための絞りアクチュエータと、システムコントローラ１００からの絞り指令値に基づいて絞りアクチュエータを駆動し、光彩絞り機構の開口径を変化させる絞り制御部とを備える。
【００８５】
焦点調節駆動部１４４は、フォーカシングレンズ１４６を駆動するためのフォーカシングアクチュエータと、システムコントローラ１００からのフォーカシング指令値に基づいてフォーカシングアクチュエータを駆動し、撮影レンズ１４０の結像面を移動させるフォーカシング制御部とを備える。
【００８６】
撮影レンズ１４０は、単焦点レンズであっても可変焦点レンズであってもよい。撮影レンズ１４０が可変焦点レンズである場合、撮影者が焦点距離変更用の操作環を操作して焦点距離を変化させる手動式変倍機構を撮影レンズ１４０は備える。あるいは、変倍用のモータやレンズ駆動機構を内蔵していて、操作部１９０中に備えられる焦点距離変更用のスイッチを撮影者が操作するのに応じて電動で焦点距離が変更されるように構成されていてもよい。
【００８７】
上述したいずれかの方法で撮影レンズ１４０の焦点距離が変更された場合に、設定されている焦点距離に関連する情報が撮影レンズ１４０からシステムコントローラ１００に送出されることが望ましい。照射範囲制御部１２２は、焦点距離に関連する情報を取得して補助光発光装置１５０から出射される補助光の照射角度を制御する信号を補助光制御部１５２に出力する。
【００８８】
図５は、撮影装置で動画撮影または静止画撮影が行われる際にシステムコントローラ１００によって実行される処理手順を概略的に説明するフローチャートである。図５に示される処理は、撮影装置の電源が投入されて動作モードが撮影モードに切り替えられたときに実行が開始される。また、図５に示される処理がシステムコントローラ１００により実行される際の前提は次のとおりである。撮影装置は、補助光発光装置１５０によって照明されていない状態の被写体を撮影するモード、すなわち補助光オフモードに設定されている。また、補助光発光装置１５０の動作モードはＢモードに設定されている。
【００８９】
以下、図５とともに図１、図２を適宜参照して説明をする。Ｓ５００においてシステムコントローラ１００は、ライブビュー動作を開始する。このとき、画像振り分け処理部１１０は画像振り分けの処理を開始していない。従って、画像処理部１０４で生成され、出力される一連の画像ストリームは振り分けられることなく、被写体認識処理部１０８、焦点検出処理部１１４、表示駆動部１７０に出力される。なお、Ｓ５００の処理が実行される時点では撮影モードの区別（静止画撮影モードか、動画撮影モードか）が確定していないので、動画像データ生成処理部１１２へは画像データが出力されていない。
【００９０】
Ｓ５０２においてシステムコントローラ１００は、静止画撮影モードが選択されたか否かを判定する。Ｓ５０２の判定が否定された場合の分岐先であるＳ５０４においてシステムコントローラ１００は、動画撮影モードが選択されたか否かを判定する。Ｓ５０４の判定が否定されるとＳ５０２に戻り、静止画撮影モードおよび動画撮影モードのうちのいずれかの撮影モードが選択されるまでの間、Ｓ５０２、Ｓ５０４の判定処理を繰り返し行う。
【００９１】
Ｓ５０４の判定が肯定される、すなわち動画撮影モードが選択されたと判定された場合の分岐先であるＳ５０６においてシステムコントローラ１００は、撮影者が動画撮影の開始操作をしたか否かを判定する。Ｓ５０６の判定が否定される間、Ｓ５０６の判定処理を繰り返し行う。Ｓ５０６の判定が肯定されるとＳ５０８に進む。
【００９２】
Ｓ５０８においてシステムコントローラ１００は、画像振り分け処理部１１０の動作を許可する。その結果、画像振り分け処理部１１０では、画像処理部１０４から受け取る一連の画像ストリームを逐次第１および第２の時系列画像データに振り分ける処理を開始する。
【００９３】
Ｓ５１０においてシステムコントローラ１００は、動画像データ生成処理部１１２の動作を許可する。その結果、動画像データ生成処理部１１２は、画像振り分け処理部１１０から受け取る第２の時系列画像データをもとに動画像データを生成する処理を開始する。
【００９４】
Ｓ５１２においてシステムコントローラ１００は、第２の時系列画像データに基づく画像をライブビュー表示するように設定する。この設定を受け、画像振り分け処理部１１０から表示駆動部１７０へは、第２の時系列画像データに基づくライブビュー表示用画像データが出力される。その結果、画像表示部１７２では第２の時系列画像データに基づくライブビュー画像の表示が開始される。撮影者はこのライブビュー画像を観ながら動画撮影をすることにより、どのような動画像が記録されているかを知ることができる。
【００９５】
Ｓ５１４においてシステムコントローラ１００は、被写体認識処理部１０８における被写体認識処理の開始を許可する。被写体認識処理部１０８は、画像振り分け処理部１１０から受け取った第１の時系列画像データを用いて被写体認識処理を行うことを開始する。被写体認識処理としては、先に説明した複数の処理内容のうち、いずれか一つまたは複数の組み合わせとすることが可能である。
【００９６】
Ｓ５１６においてシステムコントローラ１００は、焦点検出処理部１１４における焦点検出処理の開始を許可する。焦点検出処理部１１４は、画像振り分け処理部１１０から受け取った第１の時系列画像データを用いて焦点検出処理を行うことを開始する。焦点検出処理は、画面内において予め設定された部分領域に対応する画像データを解析してコントラスト値を算出することを逐次繰り返し、時間経過に伴うコントラスト値の変化を導出する処理とすることが可能である。
【００９７】
Ｓ５１８においてシステムコントローラ１００は、自動焦点調節モードが選択されているか否かを判定し、この判定が肯定されるとＳ５２０（図５Ｂ）に進み、否定されるとＳ５６０に分岐する。Ｓ５２０から始まる処理がオートフォーカスの処理であり、Ｓ５６０から始まる処理がマニュアルフォーカス（パワーフォーカス）の処理である。
【００９８】
Ｓ５２０においてシステムコントローラ１００は、輝度検出処理部１１８から受信した信号をもとに、現状の被写体輝度が補助光の発光を必要とする輝度であるか否かを判定する。Ｓ５２０の判定が肯定されるとＳ５４０に進む一方、否定されるとＳ５２２に進む。
【００９９】
補助光の発光は必要ではないとＳ５２０で判定された場合の分岐先であるＳ５２２において、システムコントローラ１００は補助光発光装置１５０が発光動作中であるか否かを判定し、この判定が肯定されるとＳ５２４に、否定されるとＳ５２６に進む。
【０１００】
システムコントローラ１００は、被写界輝度が比較的高く（明るく）、補助光の発光は不要な状況のもとで補助光発光装置１５０が発光動作中であるとＳ５２２で判定した場合、Ｓ５２４において補助光発光装置１５０の発光動作を停止し、Ｓ５２６に進む。一方、補助光発光装置１５０は発光していないとＳ５２２で判定された場合、システムコントローラ１００はＳ５２４の処理をスキップしてＳ５２６に進む。
【０１０１】
補助光の発光が必要であるとＳ５２０で判定された場合の分岐先であるＳ５４０において、システムコントローラ１００は補助光発光装置１５０が発光動作中であるか否かを判定し、この判定が肯定されるとＳ５２６に、否定されるとＳ５４２に進む。
【０１０２】
システムコントローラ１００は、被写界輝度が比較的低く（暗く）、補助光の発光が必要な状況のもとで補助光発光装置１５０が発光動作していないとＳ５４０で判定すると、Ｓ５４２において補助光発光装置１５０の発光動作を許可し、Ｓ５２６に進む。一方、補助光発光装置１５０は既に発光動作中であるとＳ５４０で判定された場合、システムコントローラ１００はＳ５４２の処理をスキップしてＳ５２６に進む。
【０１０３】
上述したＳ５４２の処理が行われると、補助光発光装置１５０が第１の時系列画像データ取得のための蓄積動作に同期して補助光を出射するようにタイミング制御される。つまり、Ｂモードでの発光動作が開始される。
【０１０４】
Ｓ５２６においてシステムコントローラ１００は、被写体認識処理部１０８で被写体認識処理が行われて生成された情報として被写体位置情報を取得する。この被写体位置情報は、画面中のどこに主要被写体が写っているかを特定可能な情報である。
【０１０５】
システムコントローラ１００はＳ５２８において、Ｓ５２６で取得した被写体位置情報に基づき、補助光発光装置１５０から補助光を出射する場合の照射範囲を特定する情報を補助光制御部１５２に出力する。ところで、補助光発光装置１５０が撮影装置に内蔵される場合、ＬＥＤアレイ１６４を構成するＬＥＤの行方向、列方向の配列数をシステムコントローラ１００は把握可能である。その場合、システムコントローラ１００は照射範囲を特定する情報として、発光すべきＬＥＤを指定する情報を出力してもよい。あるいは、補助光制御部１５２とシステムコントローラ１００との間で事前に通信を行い、補助光発光装置１５０が行、列それぞれの方向にいくつずつのＬＥＤ（発光部）を備えているか分かっている場合も、発光すべきＬＥＤを指定する情報を出力可能である。
【０１０６】
システムコントローラ１００はＳ５３０において、焦点調節状態検出処理を行う。つまり、直近の過去に行われた焦点検出処理の結果を焦点検出処理部１１４から受け取る。そして、直近の過去に行われていた焦点調節動作による結像面の移動方向と、コントラスト値の変化傾向（増加傾向／減少傾向）とから、次に結像面を移動させる際の方向と移動量とを決定する処理を行う。ここで、結像面の移動方向とは、撮影レンズ１４０の結像面が被写体に近づく方向および被写体から遠ざかる方向を意味する。
【０１０７】
Ｓ５３２においてシステムコントローラ１００は、焦点調節制御を行う。つまり、焦点調節制御部１１６から撮影レンズ１４０の焦点調節駆動部１４４に焦点調節のための制御信号を出力する処理を行う。
【０１０８】
Ｓ５３４でシステムコントローラ１００は、動画撮影終了の操作を撮影者がしたか否かを判定する。Ｓ５３４での判定が否定される間、Ｓ５２０からＳ５３２まで、およびＳ５４０、Ｓ５４２の一連の処理が継続して行われる。一方、Ｓ５３４の判定が肯定されると、システムコントローラ１００はＳ５３６に進み、動画撮影終了の処理を行う。この処理に伴い、動画撮影に関連する回路の動作を停止する処理が行われる。また、メモリカードＭＣに記録される動画像ファイルをクローズする処理が行われ、一連の撮影動作が完了する。このとき、システムコントローラ１００は、補助光発光装置１５０が点灯中であれば消灯するための制御信号を補助光制御部１５２に出力する。
【０１０９】
次に、図５ＡのＳ５１８の判定が否定された場合、つまり、撮影装置は現状でマニュアルフォーカスによる動画撮影モードに設定されていると判定された場合の処理について図５Ｃを参照して説明する。
【０１１０】
Ｓ５６０においてシステムコントローラ１００は、第１の時系列画像データに基づく画像をライブビュー表示するように設定する。この設定を受け、画像振り分け処理部１１０から表示駆動部１７０へは、第１の時系列画像データに基づくライブビュー表示用画像データが出力される。その結果、画像表示部１７２では第１の時系列画像データに基づくライブビュー画像の表示が開始される。
【０１１１】
Ｓ５６２においてシステムコントローラ１００は、輝度検出処理部１１８から受信した信号をもとに、現状の被写体輝度が補助光の発光を必要とする輝度であるか否かを判定する。Ｓ５６２の判定が肯定されるとＳ５８０に進む一方、否定されるとＳ５６４に進む。
【０１１２】
補助光の発光は必要ではないとＳ５６２で判定された場合の分岐先であるＳ５６４において、システムコントローラ１００は補助光発光装置１５０が発光動作中であるか否かを判定し、この判定が肯定されるとＳ５６６に、否定されるとＳ５６８に進む。つまり、システムコントローラ１００は、被写界輝度が比較的高く（明るく）、補助光の発光は不要な状況のもとで補助光発光装置１５０が発光動作中であるとＳ５６４で判定した場合、Ｓ５６６において補助光発光装置１５０の発光動作を停止し、Ｓ５６８に進む。一方、補助光発光装置１５０は発光していないとＳ５６４で判定された場合、システムコントローラ１００はＳ５６６の処理をスキップしてＳ５６８に進む。
【０１１３】
補助光の発光が必要であるとＳ５６２で判定された場合の分岐先であるＳ５８０において、システムコントローラ１００は補助光発光装置１５０が発光動作中であるか否かを判定し、この判定が肯定されるとＳ５６８に、否定されるとＳ５８２に進む。つまり、システムコントローラ１００は、被写界輝度が比較的低く（暗く）、補助光の発光が必要な状況のもとで補助光発光装置１５０が発光動作していないとＳ５８０で判定した場合、Ｓ５８２において補助光発光装置１５０の発光動作を許可し、Ｓ５６８に進む。一方、補助光発光装置１５０は既に発光動作中であるとＳ５８０で判定した場合、システムコントローラ１００はＳ５８２の処理をスキップしてＳ５６８に進む。
【０１１４】
上述したＳ５８２の処理が行われると、補助光発光装置１５０が第１の時系列画像データ取得のための蓄積動作に同期して補助光を出射するようにタイミング制御される。つまり、Ｂモードでの発光動作が開始される。また、Ｓ５６０では第１の時系列画像データに基づく画像がライブビュー表示されるように切り換えられているので、ライブビュー表示される画像中の被写体は補助光発光装置１５０により照明された状態にある。
【０１１５】
Ｓ５６８においてシステムコントローラ１００は、撮影者によるアップスイッチ１９０ｅの操作が検出されたか否かを判定する。Ｓ５６８の判定が肯定されるとＳ５９０に進み、否定されるとＳ５７０に進む。
【０１１６】
Ｓ５６８の判定が肯定された場合の分岐先であるＳ５９０においてシステムコントローラ１００は、撮影レンズ１４０の結像面が被写体に近づく方向（より近い位置の被写体にピントが合う方向）にフォーカシングレンズ１４６が所定量移動するように焦点調節駆動部１４４に制御信号を出力する。このとき、焦点調節制御部１１６から焦点調節駆動部１４４に制御信号が出力される。ところで、撮影レンズ１４０がいわゆるインナーフォーカス方式で焦点調節を行うものである場合、フォーカシングレンズ１４６の光軸方向に沿う移動量とそれに伴う結像面の移動量との比率は様々である。したがって、上記の所定量もまた様々である。この所定量の例としては、結像面が２０μｍ、５０μｍ、あるいは１００μｍ移動するのに必要な量、などとすることが可能である。Ｓ５９０の処理の後、Ｓ５７２の処理に進む。
【０１１７】
Ｓ５６８の判定が否定された場合の分岐先であるＳ５７０においてシステムコントローラ１００は、撮影者によるダウンスイッチ１９０ｆの操作が検出されたか否かを判定する。Ｓ５７０の判定が肯定されるとＳ５９２に進み、否定されるとＳ５７２に進む。
【０１１８】
Ｓ５７０の判定が肯定された場合の分岐先であるＳ５９２においてシステムコントローラ１００は、撮影レンズ１４０の結像面が被写体から遠ざかる方向（より遠い位置の被写体にピントが合う方向）にフォーカシングレンズ１４６が所定量移動するように焦点調節駆動部１４４に制御信号を出力する。このとき、焦点調節制御部１１６から焦点調節駆動部１４４に制御信号が出力される。ここでの所定量も先に説明したのと同様とすることが可能である。Ｓ５９２の処理の後、Ｓ５７２の処理に進む。
【０１１９】
Ｓ５７２でシステムコントローラ１００は、動画撮影終了の操作を撮影者がしたか否かを判定する。Ｓ５７２での判定が否定される間、Ｓ５６０からＳ５７０まで、およびＳ５８０、Ｓ５８２、Ｓ５９０、Ｓ５９２の一連の処理が継続して行われる。一方、Ｓ５７２の判定が肯定されると、システムコントローラ１００はＳ５３６（図５Ｂ）に進み、先に説明した動画撮影終了の動作を行う。
【０１２０】
図５Ａを参照し、Ｓ５０２での判定が肯定された場合に実行される静止画撮影処理について説明する。システムコントローラ１００はＳ５５０において、一連の静止画撮影処理を行う。この、一連の静止画撮影処理には、ライブビュー表示動作、撮影者のレリーズ操作を検出する動作、焦点調節動作、露出決定動作、撮影レンズ１４０の絞りを調節する動作、シャッタ開閉を行う動作、撮像素子１３０から画像信号を読み出して画像処理を行い、静止画像ファイルを生成する動作等が含まれる。なお、シャッタが開いている状態のときに、必要に応じて補助光発光装置１５０を作動させて被写体を照明することも可能である。
【０１２１】
Ｓ５５２においてシステムコントローラ１００は、静止画撮影の動作を終了する操作を撮影者がしたか否かを判定する。Ｓ５５２での判定が否定される間、システムコントローラ１００はＳ５５０の静止画撮影の処理を継続して行う。Ｓ５５２での判定が肯定されると、システムコントローラ１００はＳ５５４に進み、静止画撮影の終了処理を行う。この処理に伴い、静止画撮影に関連する回路の動作を停止する処理が行われる。そして、一連の撮影動作が完了する。
【０１２２】
以上に説明したように、本発明の実施の形態によれば、記録される動画像は撮影シーン内の光を活かして雰囲気のあるものとすることができる一方で、焦点検出精度や被写体認識処理などの精度を高めることが可能となる。
【０１２３】
また、撮影者がマニュアルフォーカス操作をする際には、被写体に補助光を照射して得られる画像がライブビュー画像として表示されるので、比較的暗い撮影シーンにおいても焦点調節やフレーミングを行うことが容易となる。
【０１２４】
以上では、動画撮影中に補助光の発光が必要と判定されている間は補助光発光装置１５０をＢモードで常時点灯させる例について説明したが、補助光の発光が必要と判定され、かつ焦点調節動作が行われている間のみ、補助光発光装置１５０がＢモードで発光動作するようにしてもよい。このとき、撮影装置がマニュアルフォーカスモードで動作している場合には、撮影者がアップスイッチ１９０ｅまたはダウンスイッチ１９０ｆを操作している間および操作終了後の所定時間にわたりＢモードで発光動作するようにしてもよい。また、マニュアルフォーカスレンズが撮影装置に装着されているときには、撮影者が補助光スイッチ１９０ｇを操作しながら焦点調節操作をするようにして、補助光スイッチ１９０ｇが操作されている間、Ｂモードで発光動作するようにしてもよい。このように発光動作を制御することにより、補助光発光装置１５０の発光に伴う電力消費を抑制することが可能となる。
【０１２５】
補助光の発光に関しては、上述したように被写界輝度に基づいてシステムコントローラ１００補助光発光／非発光の判定を行う、いわゆる低輝度自動発光の制御をしてもよいし、撮影者が補助光の発光を必要とするときのみ発光する（撮影者が補助光の発光を選択しないときには発光しない）ようにしてもよい。その場合、システムコントローラ１００は、補助光スイッチ１９０ｇを撮影者が操作したことを検出したとき、かつ、被写界輝度が所定の輝度よりも低いときに、補助光発光装置１５０をＢモードで作動させながら動画撮影を行う処理を行うことができる。
【０１２６】
本発明の実施の形態では、焦点検出処理部１１４がコントラスト値を検出する方式で焦点検出処理を行う例について説明したが、位相差検出の方式で焦点検出処理を行うものであってもよい。位相差検出は、撮影レンズ１４０中の異なる瞳位置を透過して、撮影装置内に設けられる一対または複数対のＡＦ（自動焦点検出）センサアレイ上に形成される像の位相差に基づいて撮影レンズ１４０の焦点調節状態を検出する方式である。
【０１２７】
動画撮影動作中に焦点調節を継続するためには、位相差検出の方式で焦点検出処理を行う場合も撮影動作中に焦点検出を行うことが可能に構成されることが望ましい。そのための方法としては、撮影レンズ１４０を透過した光を、ハーフミラー等の光路分割手段を用いて複数の光路に沿って進む光に分割し、一方を撮像素子１３０に、他方を位相差検出用のＡＦセンサアレイに導くことが可能である。あるいは、撮像素子１３０の受光面の適宜の箇所に位相差検出用素子（画素）を埋め込み、この埋め込み式の位相差検出用素子で位相差を検出することにより、上述した光路分割手段は不要となる。
【０１２８】
撮像素子１３０内に埋め込まれた、あるいは別体の位相差検出用素子で光電変換動作が行われるのと同時に、撮像素子１３０では第１の時系列画像データを得るための撮像動作を行うことができる。そして、動画像記録用の画像データ（第２の時系列画像データ）を得るための撮像動作が撮像素子１３０で行われるタイミングでは補助光を照射せず、撮像素子１３０内に埋め込まれた、あるいは別体の位相差検出用素子で蓄積動作が行われるのに同期して補助光を照射することが可能である。
【０１２９】
以上の実施の形態の説明では、画像振り分け処理部１１０で画像振り分け処理が行われる際の撮像フレームレート、動画記録フレームレート等について触れていないが、様々な方式で撮像および動画像の記録が可能である。
【０１３０】
例えば、撮像素子１３０は常時６０ｆｐｓ（フレーム／秒）で撮像動作を続け、画像振り分け処理部１１０が作動する場合に、上述したように奇数フレームの画像を第１の時系列画像データに、偶数フレームの画像第２の時系列画像データに振り分けることが可能である。無論、奇数フレーム、偶数フレームの区別は説明の便宜上用いただけであるので、偶数フレームの画像を第１の時系列画像データに、奇数フレームを第２の時系列画像データに振り分けてもよい。
【０１３１】
また、撮像素子１３０は、画像振り分け処理部１１０が作動しない状態では例えば３０ｆｐｓで撮像動作を行い、画像振り分け処理部１１０が作動するときに撮像フレームレートを高める（例えば６０ｆｐｓにする）ことも可能である。
【０１３２】
あるいは、撮像素子１３０は画像振り分け処理部１１０が動作する／しないによらず一定の撮像フレームレートで作動し、以下のように振り分けの処理が行われても良い。画像振り分け処理部１１０で振り分け処理が行われると、第１の時系列画像データに振り分けられた画像の撮像タイミングで得られる画像が第２の時系列画像データ中では欠けてしまうことになる。この、欠けたフレームについては、第２の時系列画像データ中の、欠けたフレームに対して時間的に前後するフレームの画像データを用い、補間処理によって生成するようにしてもよい。これは撮像動作がプログレッシブスキャンの方式、インターレーススキャンの方式、いずれの方式で行われる場合であっても同様である。ところで、動画撮影が行われる際に、プログレッシブスキャンが行われるか、インターレーススキャンが行われるかによって、１秒あたりの画像更新回数はフレームレート、フィールドレートと称される。本明細書において、これらのフレームレート、フィールドレートを総称して撮像レートと称する。
【０１３３】
画像振り分け処理部１１０で行われる振り分け処理は、先にも説明したように、画像ストリームを第１および第２の時系列画像データに交互に振り分けても、不等配分することも可能である。
【０１３４】
補助光発光装置１５０から出射される光の分光特性に関しては、いわゆる白色光や、Ａ光源、Ｂ光源等に似せた、様々な特性（色温度）のものとすることが可能である。また、補助光発光装置１５０の用途が焦点検出専用であるときには、いわゆる単色光の光が出射されるようにしてもよい。このとき、可視域外ではあるけれども撮像素子１３０や位相差検出用のＡＦセンサでは検出可能な波長の光（例えば近赤外光等）を出射することにより、美術館や劇場等、可視光の出射が憚られる状況でも補助光発光装置１５０を用いることができる。
【符号の説明】
【０１３５】
１００  …  システムコントローラ
１０２  …  ＣＰＵ
１０４  …  画像処理部
１０８  …  圧縮・伸張部
１１０  …  画像振り分け処理部
１１２  …  動画像データ生成処理部
１１４  …  焦点検出処理部
１１６  …  焦点調節制御部
１１８  …  輝度検出処理部
１２０  …  発光タイミング制御部
１３０  …  撮像素子
１３２  …  撮像素子インターフェース回路
１４０  …  撮影レンズ
１４４  …  焦点調節駆動部
１４６  …  フォーカシングレンズ
１５０  …  補助光発光装置
１５２  …  補助光制御部
１５４  …  補助光コントローラ
１５６  …  電流制御部
１５８  …  点灯制御部
１６０  …  照射角制御部
１６２  …  配光レンズ
１６４  …  補助光発光装置
１７０  …  表示駆動部
１７２  …  画像表示部
１７６  …  フラッシュメモリ
１８０  …  ＳＤＲＡＭ
１９０  …  操作部
【図１】
2012095183.tif 000003
【図２】
2012095183.tif 000004
【図３】
2012095183.tif 000005
【図４】
2012095183.tif 000006
【図５Ａ】
2012095183.tif 000007
【図５Ｂ】
2012095183.tif 000008
【図５Ｃ】
2012095183.tif 000009