(57)【要約】【課題】  互いに異なる解像度の画像を連続的に取得して逐次表示する際に、ユーザに与える違和感を軽減すること。【解決手段】  撮像素子と、表示手段と、前記撮像素子の露光タイミングと、前記撮像素子から読み出した画像を前記表示手段に表示する表示タイミングを制御する制御手段と、を有し、前記制御手段は、前記撮像素子から、解像度の異なる第１の画像と第２の画像を連続的に読み出すように制御し、前記第１の画像の露光時間における第１の基準時刻と、前記第２の画像の露光時間における第２の基準時刻との間隔が等しくなるように露光タイミングを制御し、前記第１の基準時刻から、前記第１の画像を前記表示手段に表示するまでの時間と、前記第２の基準時刻から、前記第２の画像を前記表示手段に表示するまでの時間が等しくなるように表示タイミングを制御する。【選択図】  図１
2020057974.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
表示手段と、
前記撮像素子の露光タイミングと、前記撮像素子から読み出した画像を前記表示手段に表示する表示タイミングを制御する制御手段と、を有し、
前記制御手段は、
前記撮像素子から、解像度の異なる第１の画像と第２の画像を連続的に読み出すように制御し、
前記第１の画像の露光時間における第１の基準時刻と、前記第２の画像の露光時間における第２の基準時刻との間隔が等しくなるように露光タイミングを制御し、
前記第１の基準時刻から、前記第１の画像を前記表示手段に表示するまでの時間と、前記第２の基準時刻から、前記第２の画像を前記表示手段に表示するまでの時間が等しくなるように表示タイミングを制御する
ことを特徴とする撮像装置。
【請求項２】
前記第１の画像の解像度は、前記第２の画像の解像度よりも低く、
前記制御手段は、前記第１の画像を読み出してから、前記第２の画像を読み出すまでの間に、第３の画像を読み出すように前記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第３の画像の解像度は、前記第２の画像の解像度よりも低いことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の画像および第２の画像の少なくともいずれかに基づいて、予め決められた被写体を検出する検出手段を更に有し、
前記制御手段は、前記検出手段により検出された被写体を含む前記第１の画像または第２の画像の一部の領域に対応する前記撮像素子の領域から、前記第３の画像を読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記第３の画像に基づいて、焦点状態を検出することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、更に、
前記第１の画像の絞り値を、前記第１の画像の直前に読み出した前記第２の画像の絞り値と同じ値に制御し、
前記第３の画像の絞り値を、前記第２の画像の絞り値に関わらず決定する
ことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、更に、
前記第１の画像の露出値を、前記第１の画像の直前に読み出した前記第２の画像の露出値と同じ値に制御し、
前記第３の画像の露出値を、前記第２の画像の露出値に関わらず決定する
ことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第３の画像は、前記表示手段に表示されないことを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の基準時刻および前記第２の基準時刻は、各露光時間の中心時間であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２の画像は、記録用の画像であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第１の画像は記録しない画像であって、
前記第１の画像を連続的に読み出して表示している間に、前記第２の画像を連続的に読み出して記録する指示がされた場合に、前記制御手段は、前記第１の画像と前記第２の画像を交互に読み出す前記制御を行うことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像素子と表示手段とを有する撮像装置の制御方法であって、
前記撮像素子から、解像度の異なる第１の画像と第２の画像を連続的に読み出す工程と、
前記第１の画像および前記第２の画像を、前記表示手段に逐次表示する工程とを有し、
制御手段が、
前記第１の画像の露光時間における第１の基準時刻と、前記第２の画像の露光時間における第２の基準時刻との間隔が等しくなるように露光タイミングを制御し、
前記第１の基準時刻から、前記第１の画像を前記表示手段に表示するまでの時間と、前記第２の基準時刻から、前記第２の画像を前記表示手段に表示するまでの時間が等しくなるように表示タイミングを制御する
ことを特徴とする撮像装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の制御手段として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、及びプログラムに関する。
【背景技術】
【０００２】
一般的に、デジタルカメラ等の撮像装置には、静止画像を連続的に取得するための所謂連続撮影（連写）機能が備えられている。この連続撮影の際に、ライブビュー用のライブビュー（ＬＶ）画像と、記録用の静止画像の、種類が異なる画像を各々読み出し、撮像装置に設けられた背面モニタ等の表示部にリアルタイムに表示すると共に、静止画像の記録を行うことが知られている。
【０００３】
例えば、連続撮影時に焦点検出を行いながら撮像素子から取得したＬＶ画像を表示装置に表示させることで、焦点検出時の主被写体への追従性を向上させる技術が知られている。特許文献１では、表示装置に解像度の異なる画像を逐次表示するか、高解像度画像のみを表示するか、を切り替える技術が提案されている。特許文献１によれば、フレームレートが低い連写においても、ＬＶ画像の表示時間間隔を短縮してフレーミング時の主被写体への追従性を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４４３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像データを取得するのに必要な時間は、取得する画像データの解像度に応じて異なる。一般的に、表示部への逐次表示が主たる目的であるＬＶ画像は、撮像素子の有効画素に対して所定の行を間引いたり、加算するなどして画素信号を読み出すため、記録用の静止画像よりも解像度が低い。
【０００６】
特許文献１では、解像度の異なる画像データを逐次表示させる際に、画像データを取得するために必要な時間の違いについては考慮していない。したがって、特許文献１で提案されている技術では、解像度の違いにより、撮像（露光）開始から表示部への表示までにかかる時間が不均等となり、ユーザに違和感を与えてしまう場合がある。また、特許文献１に開示された技術では、静止画像の露光タイミングとＬＶ画像の露光タイミングについての考慮がされていないため、移動被写体の撮影時に被写体の画面内での移動量がばらつき、ユーザに違和感を与えてしまう場合がある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、互いに異なる解像度の画像を連続的に取得して逐次表示する際に、ユーザに与える違和感を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、撮像素子と、表示手段と、前記撮像素子の露光タイミングと、前記撮像素子から読み出した画像を前記表示手段に表示する表示タイミングとを制御する制御手段と、を有し、前記制御手段は、前記撮像素子から、解像度の異なる第１の画像と第２の画像を連続的に読み出すように制御し、前記第１の画像の露光時間における第１の基準時刻と、前記第２の画像の露光時間における第２の基準時刻との間隔が等しくなるように露光タイミングを制御し、前記第１の基準時刻から、前記第１の画像を前記表示手段に表示するまでの時間と、前記第２の基準時刻から、前記第２の画像を前記表示手段に表示するまでの時間が等しくなるように表示タイミングを制御する。
【発明の効果】
【０００９】
本発明によれば、互いに異なる解像度の画像を連続的に取得して逐次表示する際に、ユーザに与える違和感を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像システムの概略構成及び撮像素子の画素の一部の構成を示すブロック図。
【図２】実施形態に係るライブ表示中に静止画像を連続撮影する場合の動作について説明するタイミングチャート。
【図３】実施形態に係るライブ表示中に静止画像を連続撮影する場合の表示遅延について説明する図。
【図４】第１の実施形態に係るライブビュー表示中に静止画像を連続撮影する場合の流れを説明するフローチャート。
【図５】第２の実施形態に係るライブビュー表示中に静止画像を連続撮影する場合の流れを説明するフローチャート。
【図６】第２の実施形態に係るＬＶ画像とＡＦ用画像の読み出し領域と焦点検出領域の関係性を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１２】
図１は、本発明の実施形態に係る撮像システムの概略構成を示すブロック図である。本実施形態における撮像システムは、主に、撮像装置１００と光学系１０２とから構成される。
【００１３】
光学系１０２は、撮像レンズ群、フォーカスレンズ、絞りなどを含み、後述するＣＰＵ１０３によって制御される。なお、本実施形態では、光学系１０２と撮像装置１００は互いに対応するマウント部を備え、撮像装置１００に光学系１０２を着脱可能な所謂レンズ交換型の撮像装置について説明するが、本発明はこれに限定されるものではない。例えば、撮像装置１００が光学系１０２を内蔵する、所謂レンズ一体型の撮像装置であってもよい。
【００１４】
（撮像装置１００の基本構成）
次に、撮像装置１００の各構成要素について説明する。図１（ａ）において、撮像装置１００は、デジタルカメラやデジタルビデオカメラといったカメラ、及び、スマートフォンなどのカメラ機能付きの可搬機器を含む。
【００１５】
撮像素子１０１は、入射する光を電気信号に変換する固体撮像素子であって、例えば、ＣＣＤやＣＭＯＳイメージセンサなどを用いることができる。光学系１０２を通って撮像素子１０１の受光面に結像した被写体の光束は、撮像素子１０１により光電変換されて、画像信号が生成される。
【００１６】
なお、以降の説明では、撮像素子１０１を用いて、第１の解像度で構成されるライブビュー画像（以下、「ＬＶ画像」と記す。）（第１の画像）と、第１の解像度よりも高い第２の解像度で構成される静止画像（第２の画像）を取得し、これらを表示部１０８に表示する場合について説明する。ここで、上述した解像度は、取得される画像の解像度を示すものであって、表示部１０８に表示される際の表示画像の解像度と同義ではない。すなわち、表示部１０８に表示する際のＬＶ画像と静止画像の解像度は必ずしも異なるものではなく、表示部１０８が表示可能な解像度に合わせて調整され得るものである。
【００１７】
本実施形態では、静止画像を取得する際に読み出す撮像素子１０１の画素部の有効画素数に対して、ＬＶ画像を取得する際に読み出す撮像素子１０１の画素数を少なくするため、異なる解像度となる。具体的には、ＬＶ画像は、撮像素子１０１を構成する画素部の内、所定の画素を間引き、及び／または、加算して、対応する画素に蓄積された電荷を読み出すことで取得される。本実施形態では、撮像素子１０１を所定行毎に間引いて読み出すことでライブビュー画像を取得する。また、撮像素子１０１は、瞳分割された位相差画素を有しており、位相差画素の出力データに基づいてオートフォーカス（ＡＦ）を行う撮像面位相差ＡＦが可能である。
【００１８】
ここで、撮像素子１０１について簡単に説明する。図１（ｂ）は、撮像素子１０１を構成する画素の配列の一例を示す図であり、４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。
【００１９】
画素群２００は、複数色のカラーフィルタに覆われた２行×２列の画素からなり、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、本実施形態の撮像素子１０１は、撮像面位相差方式の焦点検出を行うために、各画素は、１つのマイクロレンズ２１５に対し、複数の光電変換部（フォトダイオード）を保持している。本実施形態では、各画素、２列×１行に配列された２つのフォトダイオード２１１、２１２により構成されているものとする。
【００２０】
撮像素子１０１は、図１（ｂ）に示す４列×４行の画素（８列×４行のフォトダイオード）からなる画素群２００を撮像面上に多数配置することで、画像信号及び焦点検出用信号の取得を可能としている。
【００２１】
このような構成を有する各画素では、光束をマイクロレンズ２１５で分離し、フォトダイオード２１１、２１２に結像する。そして、２つのフォトダイオード２１１、２１２からの信号を加算した信号（Ａ＋Ｂ信号）を、静止画像及びＬＶ画像用の画像信号として用いる。また、個々のフォトダイオード２１１、２１２からそれぞれ読み出した２つの信号（Ａ、Ｂ像信号）を、後述するＡＦ用画像の焦点検出用信号として用いる。すなわち、各画素のＡ像信号を集めてＡ像を生成し、各画素のＢ像信号を集めてＢ像を生成し、Ａ像とＢ像間の位相差を求めることで、位相差ＡＦを行うことができる。
【００２２】
なお、本実施形態では各画素において、１つのマイクロレンズ２１５に対して２つのフォトダイオード２１１、２１２を有する構成としているが、フォトダイオードの数は２つに限定されず、それ以上であってもよい。また、マイクロレンズ２１５に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてＡ像信号とＢ像信号といった位相差検出可能な位相差検出用の２つの信号が得られる構成であればよい。また、本発明は図２に示すように全ての画素が複数のフォトダイオードを有する構成に限らず、撮像素子１０１を構成する通常画素内に、焦点検出用画素を離散的に設ける構成であってもよい。
【００２３】
ＣＰＵ１０３は、撮像装置１００を統括的に制御するためのマイクロプロセッサなどに代表される制御手段であって、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御する。特に、後述する各実施形態において、ＣＰＵ１０３は、静止画像の連続撮影時に表示部１０８に静止画像とライブビュー画像とを切り替えて連続して表示する際の表示制御を行う。
【００２４】
一次記憶装置１０４は、例えばＲＡＭのような揮発性メモリであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理部１０５で利用される他、記録媒体１０６へ記録される。二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性メモリである。二次記憶装置１０７は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。記録媒体１０６は、撮影により得られ、一次記憶装置１０４に記憶された画像データなどを記録可能な記録媒体である。なお、記録媒体１０６は、例えば、半導体メモリカードのように撮像装置１００から取り外し可能であり、記録媒体１０６をパーソナルコンピュータなどに装着することで、記録されたデータをパーソナルコンピュータにおいて読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。
【００２５】
画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、後述する被写体追跡部１１０から供給される画像中の被写体領域に関する情報を用いた画像処理を行う機能も有する。また、画像処理部１０５は撮像素子１０１から供給される焦点検出用信号に基づいて、オートフォーカス用の評価値（ＡＦ評価値）を算出する機能を有する。ＣＰＵ１０３は、算出されたＡＦ評価値に応じて光学系１０２に含まれるフォーカスレンズを駆動することで、被写体にフォーカスを合わせることができる。
【００２６】
表示部１０８は、電子ビューファインダとしての機能を有し、被写体を撮像して得た静止画像及び動画像の表示や、操作用のＧＵＩ表示を行う。また、表示部１０８では、後述する被写体追跡部１１０によって特定された追跡被写体を含む被写体領域を所定の形態（例えば、矩形の枠表示など）により表示することができる。なお、表示部１０８に表示可能な動画像としては、時間的に連続して画像信号を取得し、これらの画像信号に基づく表示画像を逐次表示する所謂ライブビュー表示を含む。本実施形態では、ライブビュー表示中にユーザによる撮像準備の開始または撮像の開始が指示されたことに応じて、静止画像の取得動作が実行される。
【００２７】
操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等や、音声や視線などを用いた入力機器である。また、操作部１０９はレリーズボタンを含み、レリーズボタンの半押し操作で不図示のスイッチＳＷ１がＯＮし、レリーズボタンの全押し操作で不図示のスイッチＳＷ２がＯＮする、所謂２段スイッチ構成を有する。本実施形態の撮像装置１００では、スイッチＳＷ１のＯＮにより焦点検出動作や測光動作を含む撮影準備動作の開始が指示され、スイッチＳＷ２のＯＮにより静止画像の撮像動作の開始が指示される。
【００２８】
被写体追跡部１１０は、例えば、被写体を連続的に撮像することで、画像処理部１０５から時系列に逐次供給される連続する画像信号に含まれる被写体を検出および追跡する。具体的には、被写体追跡部１１０は、画像処理部１０５から供給される時間的に連続した画像信号を比較し、例えば、画像信号間の画素パターンやヒストグラムの分布が類似する部分領域を追跡することで、所定の被写体を追跡する。所定の被写体としては、例えば、ユーザの手動操作により指定された被写体や、人物の顔領域など、予め定められた所定の被写体領域を撮像条件や撮影モードなどに応じて自動的に検出された被写体であればよい。なお、被写体領域の検出方法としては、どのような方法を採用してもよく、本願発明は、被写体領域の検出方法により制限されるものではない。例えば、ニューラルネットワークに代表される学習を用いた方法や、顔領域を検出する場合、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。また、画像内における所定の被写体を検出するためのエッジパターンを記録しておき、当該エッジパターンと画像信号とのパターンマッチングにより被写体を検出する手法なども挙げられる。
【００２９】
個人認証部１１１は、被写体追跡部１１０が人物の顔と判定した被写体に対して、二次記憶装置１０７に予め登録されている個人認証用データと比較し、検出された人物の顔画像が登録されている人物の顔画像と一致するか否かを判定する。
【００３０】
＜第１の実施形態＞
次に、第１の実施形態における連続撮影時の撮像装置１００の動作について図２を用いて説明する。図２（ａ）は、ＬＶ画像の露光時間と表示開始時間との間の遅延時間と、静止画像の露光時間と表示開始時間との間の遅延時間が等しくなるように制御した場合のタイミング図であり、図２（ｂ）に示す制御との差を分かり易く説明するために示している。図２（ｂ）は、本実施形態において、ＬＶ画像の露光時間から表示開始時間との間の遅延時間と、静止画像の露光時間から表示開始時間との間の遅延時間を等しくすると共に、露光時間の間隔が均等になるように制御した場合のタイミング図を示している。
【００３１】
操作部１０９からライブビュー表示の開始が指示されると、ＣＰＵ１０３は光学系１０２を制御して、撮像素子１０１の露光処理を行う。露光処理を所定時間行った後、ＣＰＵ１０３は、撮像素子１０１から予め決められた第１の解像度でＬＶ画像用の画像信号の読み出しを行い、読み出した画像信号を一次記憶装置１０４に記憶する。一次記憶装置１０４に記憶された画像信号には、画像処理部１０５によって画像処理が施され、処理された画像信号（画像データ）は再び一次記憶装置１０４に記憶される。さらに、ＣＰＵ１０３は画像データの生成完了直後に表示部１０８に画像を表示する。また、画像データは被写体追跡部１１０にも送られ、被写体の追跡処理が実行される。以降、操作部１０９からの指示がない場合は、上記処理が繰り返し実行される（ライブビュー撮影状態）。
【００３２】
ここで、ｎ番目（ｎ≧１）のＬＶ画像ｎの表示遅延ｌｖ＿ｄｎは、ｌｖ＿ｄｎ＝ｌｖ＿ｅｎ−ｌｖ＿ａｎで表現することができる。なお、ｌｖ＿ａｎは、ＬＶ画像ｎの露光開始から露光終了までの間の中心時間（露光重心）、ｌｖ＿ｅｎは、表示部１０８にＬＶ画像ｎに対応した画像データの表示を開始する時刻を表す。
【００３３】
ライブビュー表示中において、スイッチＳＷ２がＯＮされると静止画像の撮影が開始される。静止画像の撮影では、ＬＶ画像の撮影と同様に、ＣＰＵ１０３の制御によって、露光、読み出し、画像処理、被写体追跡の一連の処理が行われ、表示部１０８に画像データが表示される。ｎ番目の静止画像ｎの表示遅延ｓｔ＿ｄｎは、ＬＶ画像と同様に、ｓｔ＿ｄｎ＝ｓｔ＿ｅｎ−ｓｔ＿ａｎで表現することができる。なお、ｓｔ＿ａｎは、静止画像ｎの露光開始から露光終了までの間の中心時間（露光重心）、ｓｔ＿ｅｎは、表示部１０８に静止画像ｎに対応した画像データの表示を開始する時刻を表す。
【００３４】
また、ＬＶ画像ｎと静止画像ｎの露光重心の間隔ｅｘ＿ｓｔｎ＿ｌｖｎは、ｅｘ＿ｓｔｎ＿ｌｖｎ＝ｌｖ＿ａｎ−ｓｔ＿ａｎと表現することができる。同様に、静止画像（ｎ＋１）とＬＶ画像ｎの露光重心の間隔ｅｘ＿ｓｔ（ｎ＋１）＿ｌｖｎは、ｅｘ＿ｓｔ（ｎ＋１）＿ｌｖｎ＝ｓｔ＿ａ（ｎ＋１）−ｌｖ＿ａｎと表現することができる。
【００３５】
図２（ａ）に示す例では、スイッチＳＷ２のオン後、ＬＶ画像の表示遅延ｌｖ＿ｄｎと、静止画像の表示遅延ｓｔ＿ｄｎが、ｌｖ＿ｄｎ＝ｓｔ＿ｄｎとなるように、ＣＰＵ１０３が表示部１０８へのＬＶ画像データの表示を制御する。ライブビュー画像と静止画像の表示遅延を等しくするように制御することで、撮影者が被写体を画面上の狙った位置にフレーミングしやすくなる利点がある。しかしながら、ＬＶ画像の露光重心ｌｖ＿ａｎと、静止画像の露光重心ｓｔ＿ａｎが等間隔でない（ｅｘ＿ｓｔｎ＿ｌｖｎ≠ｅｘ＿ｓｔ（ｎ＋１）＿ｌｖｎ）ため、被写体が動体である場合等に、表示が不自然になることがある。
【００３６】
これに対し、図２（ｂ）では、表示遅延が、ｌｖ＿ｄｎ＝ｓｔ＿ｄｎとなるように制御するのに加え、露光重心の間隔が、ｅｘ＿ｓｔｎ＿ｌｖｎ＝ｅｘ＿ｓｔ（ｎ＋１）＿ｌｖｎとなるように制御する。通常、ＬＶ画像の方が静止画像よりも処理にかかる時間が短いため、ＬＶ画像の撮像後、静止画像の撮影を開始するタイミング（露光タイミング）を遅らせることで、ライブビュー画像と静止画像の露光重心が等間隔になるように制御する。また、静止画像の撮影を開始するタイミングを遅らせることで生じた時間で、表示部１０８には表示しない画像の撮影を行う。なお、当該画像の撮影時の処理の詳細については後述する。
【００３７】
このように、ＬＶ画像と静止画像の表示遅延及び露光間隔を等しくするように制御することで、表示部１０８に表示される画像の露光タイミング及び表示タイミングの周期が一定になるため、撮影者が被写体を画面上の狙った位置にフレーミングし易くなる。
【００３８】
ここで、図２（ａ）に示すように表示遅延のみを制御した場合と、図２（ｂ）に示すように表示遅延と露光間隔を制御した場合の表示遅延を図３に示す。表示遅延と露光間隔を合わせて制御した場合の方が、表示部１０８の画像の更新周期が安定し、表示遅延も安定して変化することが分かる。
【００３９】
以降、スイッチＳＷ２がＯＮされていると、図２に示すように静止画用の処理とライブビュー用の処理が繰り返される。なお、上述した制御は、ＣＰＵ１０３が撮像素子１０１や光学系１０２を制御することにより実現することができる。
【００４０】
なお、図２（ｂ）では、ＬＶ画像の露光重心と、静止画像の露光重心との間隔が一定となるように制御するものとして説明したが、本願発明は露光重心に限られるものでは無い。例えば、ＬＶ画像の露光開始時間と、静止画像の露光開始時間との間隔が一定になるように制御してもよく、露光時間の予め決められたタイミングにおける基準時刻の間隔が一定となるように制御すればよい。
【００４１】
次に、図４を参照して、第１の実施形態におけるライブビュー表示中に静止画像の連続撮影（連写）を行う場合の流れについて説明する。ライブビュー表示は、例えば、操作部１０９により撮影処理が選択された場合や、ライブビュー表示がオンされた場合などに開始される。また、ここでは、静止画像の連写モードが設定されているものとする。
【００４２】
Ｓ１００においてライブビュー表示を開始すると、Ｓ１０１において、ＣＰＵ１０３は、撮像素子１０１を所定時間露光してＬＶ画像を読み出し、画像処理部１０５において各種の画像処理を行い、表示部１０８にＬＶ画像を表示する、一連のライブビュー表示処理を行う。次に、Ｓ１０２において、ＣＰＵ１０３は、スイッチＳＷ２がＯＮされているかを判定する。スイッチＳＷ２がＯＦＦである場合にはＳ１０１に戻り、上述したライブビュー表示処理を継続する。
【００４３】
一方、Ｓ１０２においてスイッチＳＷ２がＯＮされている場合は、Ｓ１０３に進み、静止画像表示処理を行う。ここでも、ライブビュー表示処理と同様に、撮像素子１０１を所定時間露光して静止画像を読み出し、画像処理部１０５において各種の画像処理を行い、表示部１０８に静止画像を表示する一連の処理を行う。なお、ここで得られる静止画像は、記録用の画像として画像処理部１０５により処理された後、記録媒体１０６に記録される。静止画像表示処理の後、Ｓ１０４においてＣＰＵ１０３はスイッチＳＷ２が引き続きＯＮされているかを判定し、スイッチＳＷ２がＯＦＦの場合は、Ｓ１１１に移行する。
【００４４】
スイッチＳＷ２がＯＮの場合はＳ１０５に進み、ＣＰＵ１０３は光学系１０２に含まれる絞りを、Ｓ１０３において直前の静止画像の撮影を行った際に用いた絞り値に設定する。本実施形態においては、静止画像の連続撮影中はライブビュー画像と静止画像を交互に表示するため、絞り値の変動によって周辺減光や被写界深度が変化して、ユーザに違和感を与えてしまうことを防ぐのが目的である。次にＳ１０６において、Ｓ１０３で直前に撮影した静止画像と同じ露出（明るさ）になるように、ＣＰＵ１０３は撮像素子１０１及び画像処理部１０５を制御し、Ｓ１０１と同様にしてＳ１０７でライブビュー表示処理を行う。
【００４５】
次に、Ｓ１０８において、ＣＰＵ１０３は光学系１０２に含まれる絞りを、絞り開放に設定し、Ｓ１０９において、ＣＰＵ１０３はＡＦ評価値を取得するために最適な露出に設定する。ＡＦ評価値を取得する領域の明るさが画面全体の明るさと比べてオーバーまたはアンダーだった場合、画面全体から決定した最適な露出で撮影した画像から得られるＡＦ評価値の信頼度が低くなる可能性がある。また、ユーザが意図的に露出補正を行った場合も同様にＡＦ評価値の信頼度が低くなる可能性がある。以上のようなことから、ＡＦ評価値を取得するために最適な露出は、静止画像の撮影時の露出とは必ずしも一致しない。
【００４６】
次に、Ｓ１１０において、Ｓ１０８及びＳ１０９で設定された条件で、ＣＰＵ１０３はＡＦ用画像（第３の画像）を取得する。なお、Ｓ１１０で取得したＡＦ用画像は、静止画とは異なる露出条件で撮影されているため、表示部１０８への表示は行わない。露出条件が異なる画像を表示してしまうと、ユーザに違和感を与えてしまうからである。ＣＰＵ１０３は、Ｓ１１０で取得したＡＦ用画像からＡＦ評価値を算出し、光学系１０２に含まれるフォーカスレンズの駆動を行う。Ｓ１１１で操作部１０９からのライブビュー撮影の終了指示があるかを判定する。終了指示がない場合は、Ｓ１０１に移行し、ライブビュー表示処理が継続され、終了指示がある場合は、Ｓ１１２においてライブビュー表示を終了する。
【００４７】
なお、図４においては、ＡＦ用画像の撮影を１回行う構成としたが、静止画像とライブビュー画像の露光タイミングが等間隔になる範囲において、ＡＦ用画像の撮影を複数回行ってもよい。
【００４８】
また、第１の実施形態においては、ＬＶ画像と静止画像との間にＡＦ用画像を撮影するものとして説明したが、ＡＦ用画像は必ずしも取得しなくても良い。その場合、例えば、ＬＶ画像と静止画像の少なくともいずれかに基づいて、焦点状態を検出すれば良い。
【００４９】
更に、ＬＶ画像と静止画像の間に撮影する画像は、ＡＦ用画像に限られるものでは無く、ＬＶ画像と静止画像の露光時間を等間隔に保てる範囲であれば、任意の目的のための画像（第３の画像）を得ることができる。
【００５０】
＜第２の実施形態＞
次に、図５を参照して、第２の実施形態におけるライブビュー表示中に静止画像の連続撮影（連写）を行う場合の流れについて説明する。なお、Ｓ１００〜Ｓ１０７の処理に関しては、第１の実施形態において図４を参照して説明した処理と同様であるため、ここでは説明は省略する。
【００５１】
Ｓ１０７で、静止画像と同じ絞り値及び露出値でライブビュー表示処理を行うと、次にＳ２０８において、被写体追跡部１１０の被写体追跡結果に基づいて、撮像素子１０１から読み出す領域（一部の領域）を決定する。Ｓ２０９において、ＣＰＵ１０３はＳ２０８で決定された領域を撮像素子１０１から間引かずに読み出し、ＡＦ用画像を取得する。ライブビュー表示処理におけるＬＶ画像は、撮像素子１０１から所定行毎に間引いて読み出しているため、着目領域の空間的な解像度は、ＡＦ用画像の方が高くなる。Ｓ２１０において、被写体追跡部１１０が人物の顔と判定した被写体に対して、個人認証部１１１は、二次記憶装置１０７に予め登録されている人物の顔画像と一致するか否かを判定する。個人認証部１１１の判定結果に基づいてフォーカスを合わせる領域を決定し、Ｓ２１１に移行する。Ｓ１１１、Ｓ１１２の処理に関しては、第１の実施形態の処理と同様である。
【００５２】
図６は、Ｓ１０７〜Ｓ２１０の処理におけるＬＶ画像及びＡＦ用画像の読み出し領域と焦点検出領域の関係性を示した図である。図６（ａ）はＬＶ画像を表しており、撮像素子１０１全体を所定行、所定列毎に間引いて読み出した画像である。矩形の領域は焦点検出領域を表しており、画面全体に均等に配置されている。この場合、一つの焦点検出領域内に距離が異なる複数の被写体が含まれる、遠近競合が発生しており、ＣＰＵ１０３は正しくＡＦ評価値を取得できない可能性がある。
【００５３】
これに対し、第２の実施形態では、被写体追跡部１１０が被写体が含まれると判定した領域を中心に撮像素子１０１からＡＦ用画像の読み出しを行う。図６（ｂ）は、ＡＦ用画像を表しており、ＬＶ画像と同様の焦点検出領域を設定しても、遠近競合が発生する可能性が低くなる。さらには、所定領域の空間的な解像度が向上しているため、個人認証部１１１の個人認証精度も向上する。
【００５４】
上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果に加え、焦点検出精度や個人認証精度を向上することができる。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態ではＬＶ画像と静止画像とを交互の表示する構成について例示的に説明したが、２つの静止画像を表示する間に複数のＬＶ画像を表示する構成であってもよい。すなわち、ＬＶ画像と静止画像との表示順は必ずしも交互に表示する構成だけでなく、本発明は、規則性をもってＬＶ画像と静止画像を連続的に表示する構成に適用可能である。
【００５６】
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００：撮像装置、１０１：撮像素子、１０２：光学系、１３０：ＣＰＵ、１０５：画像処理部、１０６：記録媒体、１０８：表示部、１０９：操作部、１１０：被写体追跡部、１１１：個人認証部
【図１】
2020057974.tif 000003
【図２】
2020057974.tif 000004
【図３】
2020057974.tif 000005
【図４】
2020057974.tif 000006
【図５】
2020057974.tif 000007
【図６】
2020057974.tif 000008