(57)【要約】【課題】ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法を提供すること【解決手段】撮像装置は、動画の撮影と、撮影された動画の表示とを行いながら静止画の撮影を行う場合、静止画の撮影を優先して実行する。撮像装置は、動画の表示において、同一画像が繰り返し表示される回数が所定の回数を超えないよう、静止画データと、静止画の撮影の後に得られた動画データのどちらを先に画像処理するかを決定する。【選択図】図２
2020184697.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
画像処理手段と、
前記撮像素子による動画の撮影と、撮影された動画の表示とを行いながら静止画の撮影を行う場合、前記撮像素子に静止画の撮影を優先して実行させるとともに、前記静止画の撮影で得られた静止画データと、前記静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に前記画像処理手段によって処理するか決定する制御手段と、を有し、
前記制御手段は、前記動画の表示において、同一画像が繰り返し表示される回数が予め定められた回数を超えないように、前記静止画の撮影で得られた静止画データと、前記静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に前記画像処理手段によって処理するか決定する、
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、動画の撮影のための前記撮像素子の駆動期間である第１の駆動期間に、静止画の撮影のための前記撮像素子の駆動期間である第２の駆動期間が重複しない場合に、該第２の駆動期間で得られた静止画データを前記動画データよりも先に前記画像処理手段によって処理することを決定する、ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、動画の撮影のための前記撮像素子の駆動期間である第１の駆動期間に、静止画の撮影のための前記撮像素子の駆動期間である第２の駆動期間が重複する場合に、該動画データを該第２の駆動期間で得られた静止画データよりも先に前記画像処理手段によって処理することを決定する、ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記静止画の撮影を行うために行われなかった動画の撮影に対応する動画データとして、直近に表示した動画データを繰り返し表示することを特徴とする、請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記動画の撮影フレームレートが前記動画の表示フレームレートよりも高く、かつ動画の撮影のための前記撮像素子の駆動期間である第１の駆動期間に、静止画の撮影のための前記撮像素子の駆動期間である第２の駆動期間が重複する場合、前記制御手段は、該第２の駆動期間が重複しない、直近の第１の駆動期間で得られた動画データを表示に用いることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記静止画の撮影を行うために行われなかった動画の撮影の累積回数が予め定められた閾値に達した場合、直近の静止画の撮影によって得られた静止画データよりも、該静止画の撮影の後の動画の撮影で得られた動画データを先に前記画像処理手段によって処理することを決定する、ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像素子が静止画モードで駆動されている間に発生した動画撮影の同期信号の回数をカウントすることにより、前記累積回数を得ることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記制御手段は、静止画の撮影が単写、もしくは連写の最後の撮影である場合には、前記静止画データを前記動画データよりも先に前記画像処理手段によって処理することを決定する、ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
撮像素子と画像処理手段とを有する撮像装置の制御方法であって、
制御手段が、前記撮像素子による動画の撮影と、撮影された動画の表示とを行いながら静止画の撮影を行う場合、前記撮像素子に静止画の撮影を優先して実行させるとともに、前記静止画の撮影で得られた静止画データと、前記静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に前記画像処理手段によって処理するか決定する制御工程を有し、
前記制御工程において前記制御手段は、前記動画の表示において、同一画像が繰り返し表示される回数が予め定められた回数を超えないように、前記静止画の撮影で得られた静止画データと、前記静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に前記画像処理手段によって処理するか決定する、
ことを特徴とする撮像装置の制御方法。
【請求項１０】
撮像装置が有するコンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関し、特に動画撮影中の静止画撮影が可能な撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて撮像装置と呼ぶ）には、ライブビュー（ＬＶ）機能を有するものがある。ＬＶ機能は、動画撮影と、その撮影で得られた動画の表示とを並行して実行することにより、動画を表示する表示装置をファインダーとして機能させる。ユーザは、ＬＶ機能により表示される動画像により、記録を行う静止画や動画の撮影範囲を調整することができる。
【０００３】
通常、静止画データと動画データとは解像度などが異なるため、撮像センサの動作も静止画撮影時と動画撮影時とで異なる。動画撮影と静止画撮影とに同じ撮像センサを用いる場合には、撮影する画像の種類に応じて撮像センサの動作を切り替える必要がある。静止画撮影のタイミングによっては、動画撮影を中断する必要があり、その場合にはライブビュー表示が中断したり、表示画像の更新頻度が低下したりする。
【０００４】
特許文献１には、フル解像度のフレームと、より低い解像度のフレームとを規則的な順序で撮像素子から読み出して動画を取得しつつ、静止画撮影の指示があった場合には、直近のフル解像度のフレームを静止画として出力する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０３８０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているように、撮影中の動画の１フレームを静止画として抽出することで、動画撮影が静止画撮影によって中断したり、動画の更新頻度が低下したりすることを抑制できる。しかし、フル解像度のフレームが直近に撮影されたタイミングと静止画撮影の指示の入力タイミングとの差により、ユーザの意図した静止画が得られない場合がある。また、動画撮影時には解像度の異なる２種類の読み出しを例えば１フレームごとに切り替えながら実施する必要がある。そのため、撮像素子の読出制御や、表示用画像データの生成処理が複雑になるという問題もある。
【０００７】
本発明は、このような従来技術の課題に鑑みてなされたもので、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、撮像素子と、画像処理手段と、撮像素子による動画の撮影と、撮影された動画の表示とを行いながら静止画の撮影を行う場合、撮像素子に静止画の撮影を優先して実行させるとともに、静止画の撮影で得られた静止画データと、静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に画像処理手段によって処理するか決定する制御手段と、を有し、制御手段は、動画の表示において、同一画像が繰り返し表示される回数が予め定められた回数を超えないように、静止画の撮影で得られた静止画データと、静止画の撮影の後の動画の撮影で得られた動画データのどちらを先に画像処理手段によって処理するか決定する、ことを特徴とする撮像装置によって達成される。
【発明の効果】
【０００９】
本発明によれば、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る撮像装置の機能構成例を示すブロック図
【図２】第１実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート
【図３】第１実施形態におけるライブビュー画像データの生成に関するフローチャート
【図４】図３の処理の詳細を説明するための図
【図５】第２実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート
【図６】第２実施形態におけるライブビュー画像データの生成に関するフローチャート
【図７】図６の処理の詳細を説明するための図
【図８】第３実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート
【図９】第３実施形態におけるライブビュー画像データの生成に関するフローチャート
【図１０】図１のデータ転送部１０５の機能構成例を示すブロック図
【図１１】第４実施形態におけるライブビュー画像データの生成に関するフローチャート
【図１２】第４実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１２】
以下の実施形態では本発明をデジタルカメラのような撮像装置に適用した例について説明する。しかし、本発明は１つの撮像センサを用いて動画撮影中に静止画撮影可能な撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。
【００１３】
●（第１実施形態）
図１は本発明に係る撮像装置の一例としてのデジタルカメラ１の機能構成例を示すブロック図である。
撮像素子１００は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、光電変換部を有する画素が複数配列されている。撮像素子１００は、撮像レンズ１２０が撮像面に形成する光学像を複数の画素で電気信号に変換し、複数の画素データから構成される画像データを生成する。撮像素子１００が生成した画像データは、データ転送部１０５を介して一時記憶部（バッファメモリ）１０７に書き込まれる。
【００１４】
画像処理部１０１は、動画データおよび静止画データに予め定められた画像処理を適用し、表示用や記録用の画像データ（ライブビュー画像データ、記録用および表示用の静止画データ）を生成する。画像処理部１０１は、一時記憶部１０７に記憶された画像データに対してさまざまな画像処理を適用する。静止画の撮影が画像データに適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理などが含まれる。前処理には、ノイズ低減、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮像レンズ１２０の光学系の収差を補正する処理、色を補正する処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。なお、これらは静止画の撮影が実施可能な画像処理の例示であり、画像処理部１０１が実施する画像処理を限定するものではない。画像処理部１０１は、生成した画像データを一時記憶部１０７に書き込む。ライブビュー画像データを生成した場合、画像処理部１０１はデータ転送部１０５を介して表示部１０２に出力する。
【００１５】
なお、画像処理部１０１は、生成したライブビュー画像データに対して検出処理や評価値算出処理を適用してもよい。検出処理は、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などである。また、評価値算出処理は、位相差ＡＦ（自動焦点検出）用の１対の像信号、コントラストＡＦ用の評価値、自動露出制御（ＡＥ）に用いる評価値など、制御部１０４の動作に用いる評価値を算出する処理である
【００１６】
表示部１０２は、データ転送部１０５を介して一時記憶部１０７からライブビュー画像データを受け取る。表示部１０２は、ライブビュー画像データに対し、表示デバイス１０３に表示するための加工処理を必要に応じて適用する。加工処理には例えば表示デバイスの表示画面とライブビュー画像のアスペクト比が異なる場合の縁部の処理（レターボックス処理など）がある。また、撮影時間などの補助情報を合成する処理、ＯＳＤ画像などのＧＵＩ画像の合成や、信号形式の変換なども加工処理に含まれる。
【００１７】
表示部１０２は、必要な加工処理を適用したライブビュー画像データを、表示デバイス１０３に出力する。表示デバイス１０３は、例えば、ＬＣＤ(Liquid Crystal Display)やＯＬＥＤ（Organic Light Emitting Diode）ディスプレイである。ライブビュー画像データ（動画データを）表示する表示デバイス１０３は、電子ビューファインダー（ＥＶＦ）として機能する。
【００１８】
撮影指示部１１１は、ユーザが静止画撮影の指示をデジタルカメラ１に与えるための入力部材である。撮影指示部１１１はデジタルカメラ１に設けられたレリーズボタンでもよいし、リモコンなど他の入力部材であってもよい。撮影指示部１１１を通じたユーザ指示は制御部１０４によって検出される。
【００１９】
制御部１０４は、ＣＰＵを有し、例えばＲＯＭ１１３に記憶されたプログラムをＲＡＭ１１２に読み込んで実行する。なお、ＣＰＵの代わりにプログラマブルプロセッサであるＦＰＧＡ(field-programmable gate array)を用いてもよい。制御部１０４は、各機能ブロックの動作を制御することにより、デジタルカメラ１の機能を実現する。ＲＯＭ１１３は例えば書き換え可能な不揮発性メモリであり、制御部１０４のＣＰＵが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１１２は、制御部１０４のＣＰＵが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。後述する、撮像素子１００からの読み出し動作の制御も制御部１０４が主体となって行う。
【００２０】
データ転送部１０５は例えば複数のＤＭＡ(Direct Memory Access)コントローラ（ＤＭＡＣ）で構成される。各種の画像データは、ＤＭＡＣにより、バス１０６を介して一時記憶部１０７に一時記憶される。また、一時記憶部１０７に記憶された画像データは、ＤＭＡＣによってバス１０６に読み出され、データ転送部１０５に接続されている各部へ供給される。
【００２１】
また、データ転送部１０５は、同期信号制御部１１４を有する。同期信号制御部１１４は、撮像素子１００が動画データ（ここでは表示用のライブビュー画像データ）の撮影および読み出しに用いる垂直同期信号（撮像表示Ｖ同期信号）１１０を生成し、撮像素子１００に供給する。例えば、動画のフレームレートが６０フレーム／秒の場合、同期信号制御部１１４は１／６０秒周期の撮像表示Ｖ同期信号を生成する。
【００２２】
動画の撮影中に静止画撮影の指示が検出された場合、制御部１０４は同期信号制御部１１４による撮像表示Ｖ同期信号の生成を一時停止させてから、撮像素子１００の読み出しモードを動画読み出しモードから静止画読み出しモードに切り替える。そして制御部１０４は、静止画の撮影タイミングに応じた同期信号（静止画同期信号）を生成して撮像素子１００に供給する。
【００２３】
制御部１０４は、１フレーム分の静止画撮影が終了すると、撮像素子１００の読み出しモードを静止画読み出しモードから動画読み出しモードに切り替える。そして、制御部１０４は、同期信号制御部１１４に撮像表示Ｖ同期信号１１０の生成を再開させる。
【００２４】
バス１０６は、例えば独立したシステムバスとデータバスとを有する。バス１０６に接続された機能ブロックは、双方向の通信が可能である。
一時記憶部１０７は、メモリ制御部とメモリから構成され、制御部１０４またはデータ転送部１０５の指示に応じて、メモリにデータを書き込んだり、メモリからデータを読み出して出力する。一時記憶部１０７は、動画データや静止画データのバッファとしても用いられる。
【００２５】
記録部１０８は、画像処理部１０１が生成した記録用の静止画データや動画データを、制御部１０４の制御に従ってメモリカードなどの記録媒体に記録する。また、記録部１０８は、制御部１０４の制御に従って、記録媒体に記録された画像データを読み出して出力する。制御部１０４は、読み出した画像データを一時記憶部１０７に記憶する。
【００２６】
図２は、ライブビュー（ＬＶ）表示（動画表示）を行いながら静止画撮影を行う場合の撮影ならびに表示動作のタイミング制御を模式的に示した図である。横軸が時間軸であり、図面左から右方向に時間が進む。ここでは、静止画撮影の指示が連続的に入力される連写撮影の場合を示している。
【００２７】
撮像表示Ｖ同期（信号）は、撮像素子１００からＬＶ画像の露光およびデータ読み出しを開始するタイミングを示す垂直同期信号の出力タイミングを示している。上述の通り、垂直同期信号は、ＬＶ画像（動画）のフレームレートに応じた周期Ｔ１で出力される。
【００２８】
静止画同期（信号）は、撮像素子１００で静止画データを読み出すタイミングを示す信号である。制御部１０４は、撮影指示部１１１から静止画撮影の指示が入力されている間、所定のタイミングで静止画同期信号を生成する。本実施形態では、最初に静止画撮影の指示を検出すると、制御部１０４は一定時間（レリーズタイムラグ）後に静止画同期信号を出力する。その後、静止画撮影の指示が連続して入力されている場合、制御部１０４は予め定められた連写間隔Ｔ５で静止画同期信号を出力する。
【００２９】
センサ出力画像は、撮像素子１００において撮像および画像データ（ＬＶ画像データ、静止画データ）の読み出しが行われる期間と、ＬＶ画像（動画）読み出しと静止画読み出しとを切り替える期間（読み出しモード切り替え期間）を示している。表示１〜表示９がＬＶ画像の撮像および読み出し期間（動画駆動期間または第１の駆動期間）、静止画１〜静止画３が静止画の撮像および読み出し期間（静止画駆動期間または第２の駆動期間）を示す。また、２０１および２０２は撮像素子１００の駆動モード切り替え期間を示す。２０１はＬＶ画像（動画）取得用の駆動モード（動画モード）から静止画取得用の駆動モード(静止画モード）への切り替え期間、２０２は静止画モードから動画モードへの切り替え期間を示す。撮像素子１００の駆動モードの切り替えは、例えば制御部１０４が撮像素子１００の設定を変更することによって行う。
【００３０】
表示用の動画であるＬＶ画像と、記録用の静止画とは、解像度や露光時間が異なる。特に、ＬＶ画像の解像度は静止画データの解像度より低いため、読み出す画像データの量が少ない。そのため、動画駆動期間は静止画駆動期間よりも短い。なお、表示１〜表示９のうち、表示２、４、６、９で示す動画駆動期間には実際にはＬＶ画像データの読み出しが行われないため、斜線が付されている。
【００３１】
表示２、４、６、９のうち、表示２、９は、静止画駆動期間と重複するために読み出しが行われない。静止画駆動期間と重複していない表示４、６については、後述するＬＶ画像処理の実行可否判定処理の判定結果に基づいて、読み出しが行われない。ただし、表示４、６については、表示以外の用途を目的として読み出してもよい。表示以外の用途としては、例えばＡＦ用の評価値を求めたり、主被写体や追尾する被写体の位置を検出したりすることなどが考えられるが、これらに限定されない。
【００３２】
画像処理は、画像処理部１０１における画像処理期間を示す。表示１、３、５、７、８、および静止画１、２は、処理の対象となるセンサ出力画像を示している。画像処理期間は、撮像素子１００から読み出された画像データが一時記憶部１０７を介して画像処理部１０１に供給され、画像処理後に再び一時記憶部１０７に記憶されるまでの期間である。
【００３３】
ＬＶ画像に関しては、１画面分の画像データが全て一時記憶部１０７に記憶されるのを待たずに画像処理部１０１への供給が開始される。一方、静止画に関しては、撮像素子１００から読み出された１画面分の静止画データが一時記憶部１０７に全て記憶されてから静止画の撮影への供給が開始される。ただし、これは必須でなく、ライブビュー画像と同様、撮像素子１００から一時記憶部１０７への記憶動作と、一時記憶部１０７から静止画の撮影への供給動作とを並行して実施してもよい。なお、データ転送部１０５は、一時記憶部１０７に記憶された画像データのみを画像処理部１０１に供給する。一時記憶部１０７に記憶されずに静止画の撮影に供給される画像データはない。
【００３４】
表示Ｖ同期は、表示デバイス１０３の垂直同期信号である。なお、撮像表示Ｖ同期に対する表示Ｖ同期の遅れを短くすることにより、ライブビュー表示のリアルタイム性が向上する。
【００３５】
表示は、表示デバイス１０３における表示期間と、表示される画像を示している。なお、表示１、３、５が２フレーム連続で出力されているのは、表示２、４、６に対応するライブビュー画像データが生成されないからである。
【００３６】
図２に示す撮像素子の駆動制御では、動画撮影中に静止画撮影の指示があった場合、予め定められたレリーズタイムラグおよび連写間隔を実現するように静止画撮影を優先して実行する。一方で、撮影した動画の表示において、同じ画像が３回（フレーム）以上連続して表示されないように、表示する動画フレーム（ライブビュー画像）を選択する。これにより、静止画撮影中の動画表示の更新頻度の低下を抑制することができる。
【００３７】
ここで、図３に示すフローチャートを用いて、静止画の撮影タイミングに応じたライブビュー画像データの生成制御動作について説明する。具体的には、図３に示すフローチャートは、画像処理部１０１で、静止画駆動期間が終了した後に開始する次の動画駆動期間で得られる動画フレームについて、ＬＶ画像を生成するか否かを判定する処理（ＬＶ画像の生成判定処理）に関する動作を示す。この動作は、同期信号制御部１１４が実行する。ＬＶ画像の生成判定処理により、生成しないと判定されたフレーム（表示４、６）の動画データについては、撮像素子１００からの読み出しを行わない。なお、上述したように、生成しないと判定されたフレームの動画データを、ＬＶ画像生成以外の目的で使用するために読み出してもよい。
【００３８】
Ｓ３００で同期信号制御部１１４は、制御部１０４からの静止画同期信号を検出したか否かを判定し、検出したと判定されればＳ３０１へ処理を進め、判定されなければ繰り返しＳ３００を実行する。
Ｓ３０１で同期信号制御部１１４は、直近の撮像表示Ｖ同期信号からの経過時間が第１閾値以上かつ第２閾値以下であるか否か判定し、第１閾値以上第２閾値以下と判定されればＳ３０３へ、判定されなければＳ３０２へ処理を進める。Ｓ３００、Ｓ３０１での判定処理の詳細については図４を用いて後述する。なお、本実施形態では、経過時間の判定に撮像表示Ｖ同期信号を用いているが、表示Ｖ同期信号を用いてもよい。
【００３９】
Ｓ３０２で同期信号制御部１１４は、次の静止画撮影で連写撮影が終了するか否かを判定し、連写撮影が終了すると判定されればＳ３０３へ、判定されなければＳ３０４へ処理を進める。なお、同期信号制御部１１４は、例えば継続して検出されていた撮影指示部１１１からの指示入力が検出されなくなると、次の静止画の撮影が連写の最後の撮影であると判定することができる。なお、単写の場合も連写撮影の終了と判定することができる。指示入力の検出は同期信号制御部１１４が行ってもよいし、制御部１０４が行ってもよい。指示入力の検出を制御部１０４が行う場合、次の静止画撮影で連写撮影が終了することは制御部１０４が同期信号制御部１１４に通知してもよい。
【００４０】
Ｓ３０３で同期信号制御部１１４は、静止画駆動期間の終了後の次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成しないことを決定して、ＬＶ画像の生成判定処理を終了する。なお、画像処理部１０１で生成しないのは静止画駆動期間の終了後の次の動画駆動期間に対応するＬＶ画像のみであって、更にその次の動画駆動期間に対応するＬＶ画像は画像処理部１０１で生成する対象となる。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理を、画像処理部１０１で直ちに実行するように、画像データの転送動作および画像処理部１０１の動作を制御する。図２では、静止画２に関する画像処理が該当する。
【００４１】
Ｓ３０４で同期信号制御部１１４は、静止画駆動期間の終了後に開始する次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成することを決定して、ＬＶ画像の生成判定処理を終了する。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理が、次の動画駆動期間で得られるＬＶ画像データに対する画像処理より後に実行されるように、画像データの転送動作および画像処理部１０１の動作を制御する。図２では、表示３および静止画１に関する画像処理が該当する。
【００４２】
このような判定処理により、Ｓ３０２で次の静止画撮影で連写撮影が終了すると判定された場合、最後に撮影された静止画の確認用画像が表示デバイス１０３へ表示されるまでの時間を短縮することが可能となる。また、ＬＶ画像データが生成されないフレームについて、生成済みのＬＶ画像データを再表示する回数を１回にすることができる。その結果、ＬＶ画像の更新頻度の低下が抑制され、滑らかな表示が実現される。
【００４３】
図４は、ＬＶ画像の生成判定処理におけるＳ３０３およびＳ３０４の判定の詳細を説明するための図である。図４において横軸は時間を示し、左から右に時間が進行する。
【００４４】
４００、４０１は、撮像素子１００における動画駆動期間を示している。また、４０２は、静止画撮影の指示入力から一定時間Ｔ０（レリーズタイムラグ）後と、その後、連写間隔Ｔ５が経過するごとに開始される静止画駆動期間を示している。また、４０３〜４０５に含まれるそれぞれの線の長さは、静止画駆動期間と撮像素子のモード切り替え時間（静止画モードから動画モードへの切替時間）との合計時間を表している。
【００４５】
４０３で示す点線のそれぞれは、期間Ｔ１に静止画駆動期間が開始する場合に静止画駆動期間とモード切替時間が占める時間範囲を、異なる開始タイミングについて示している。同様に、４０４で示す実線のそれぞれと４０５で示す点線のそれぞれは、期間Ｔ２およびＴ３に静止画駆動期間が開始する場合に静止画駆動期間とモード切替時間が占める時間範囲を、異なる開始タイミングについて示している。
【００４６】
ＬＶ画像の生成判定処理のＳ３００で検出する静止画同期信号は、４０３〜４０５で示す線の開始時点を規定する。また、Ｓ３０１の第１閾値は期間Ｔ２の開始時点（または期間Ｔ１の終了時点）、第２閾値は期間Ｔ２の終了時点（または期間Ｔ３の開始時点）を示している。期間Ｔ２は、静止画駆動期間が動画駆動期間に重複しない、静止画駆動期間の開始時刻の範囲に相当する。つまり、期間Ｔ２内で開始する静止画撮影は、動画撮影に影響を与えない。
【００４７】
図２の静止画２の画像処理のように、静止画データに対する画像処理を、静止画駆動期間の終了直後から開始することを考える。期間Ｔ２内で静止画駆動期間が開始した場合、直ちに静止画データに対する画像処理を開始しても、静止画駆動期間が終了してから２回目の動画駆動期間からは、ＬＶ画像を通常通り更新できる。したがって、画像処理部１０１を静止画データの画像処理に用いることで生成できないＬＶ画像データの代わりに、静止画駆動期間の直前の動画駆動期間４００で得られるＬＶ画像データを表示する回数は１回でよい。つまり、動画駆動期間４００で得られるＬＶ画像データを連続して表示する回数は２回でよい。
【００４８】
一方、期間Ｔ１またはＴ３に静止画駆動期間が開始する場合、静止画駆動期間が動画駆動期間と重複する。期間Ｔ１に静止画駆動期間が開始する場合には静止画駆動期間の直前の動画駆動期間に、期間Ｔ３に静止画駆動期間が開始する場合には静止画駆動期間の直後の動画駆動期間に、それぞれ重複する。期間Ｔ１に静止画駆動期間が開始する場合には、静止画駆動期間の２つ前の動画駆動期間に対応するＬＶ画像を２回連続して表示する。期間Ｔ３に静止画駆動期間が開始する場合には、静止画駆動期間の直前の動画駆動期間に対応するＬＶ画像を２回連続して表示する。
【００４９】
Ｓ３０４における、静止画駆動期間の終了後に開始する次の動画駆動期間は、期間Ｔ１に静止画駆動期間が開始する場合には動画駆動期間４０１である。また、期間Ｔ３に静止画駆動期間が開始する場合には動画駆動期間４０１の次の動画駆動期間になる。これらの動画駆動期間に対応するＬＶ画像データに対する画像処理よりも先に、静止画駆動期間に対応する静止画データに対する画像処理を行ってしまうと、静止画駆動期間より前の動画駆動期間に対応するＬＶ画像が３回連続して表示されてしまうことになる。そこで、ＬＶ画像が連続表示されることを２回に抑えるため、静止画駆動期間に対応する静止画データに対する画像処理は、静止画駆動期間の終了後に開始する次の動画駆動期間に対応するＬＶ画像データに対する画像処理よりも後に行われる。
【００５０】
以上説明したように、本実施形態によれば、動画撮影中に静止画の撮影指示があった場合、予め定められたレリーズタイムラグおよび連写間隔を実現するように、静止画の撮影を優先して実行する。一方で、静止画連写中の動画表示において同一の画像を繰り返し表示する回数を２回以下とするよう、静止画撮影の開始タイミングに応じて画像処理の対象とする画像を選択するため、動画表示の更新頻度の低下を抑制することができる。
【００５１】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、動画の撮影フレームレートが１２０ｆｐｓであることにおいて第１実施形態と異なる。以下では、第１実施形態と異なる部分のみを説明し、共通する部分については詳細な説明を省略する。
【００５２】
図５は、第１実施形態で説明した図２と同様に、ライブビュー（ＬＶ）表示（動画表示）を行いながら静止画撮影を行う場合の撮影ならびに表示動作のタイミング制御を模式的に示した図である。図２と共通する内容については説明を省略する。
【００５３】
本実施形態でも、レリーズタイムラグＴ０と撮影間隔Ｔ５は一定となるよう、動画撮影よりも静止画撮影を優先して行う。動画の撮影フレームレートが１２０ｆｐｓであるため、撮像表示Ｖ同期の発生頻度が第１実施形態の２倍（発生周期Ｔ１が１／２）になっている。なお、動画の表示フレームレートは６０ｆｐｓで第１実施形態と同様である。したがって、デフォルトでは奇数番目の動画駆動期間（動画１、３、５、...）で撮影された動画データに基づくＬＶ画像データをＬＶ表示に用いる。
【００５４】
なお、表示１〜表示１４のうち、表示４、６、９、１０、１４で示す動画駆動期間には実際にはＬＶ画像データの読み出しが行われないため、斜線が付されている。表示４、９、１４は、静止画駆動期間と重複するために読み出しが行われない。静止画駆動期間と重複していない表示６、１０については、後述するＬＶ画像処理の実行可否判定処理の判定結果に基づいて、読み出しが行われない。ただし、表示６、１０については、表示以外の用途を目的として読み出してもよい。さらに、ＬＶ画像を生成するが、表示には用いられない表示２、８、１２については、表示以外の用途に用いる。表示１、３、５、７、８，１１、１３はＬＶ画像の表示にも、表示以外の目的にも用いる。
【００５５】
第１実施形態と同様、図５に示す撮像素子の駆動制御でも、動画撮影中に静止画撮影の指示があった場合、予め定められたレリーズタイムラグおよび連写間隔を実現するように静止画撮影を優先して実行する。また、撮影した動画の表示において、同じ画像が２回（フレーム）以上連続して表示されないように、表示する動画フレーム（ライブビュー画像）を選択する。これにより、静止画撮影中の動画表示の更新頻度の低下を抑制することができる。
【００５６】
図６に示すフローチャートを用いて、静止画の撮影タイミングに応じたライブビュー画像データの生成制御動作について説明する。第１実施形態と同様の動作については図３と同じ参照数字を付して説明を省略する。
【００５７】
Ｓ３００で静止画同期信号を検出したと判定された場合、Ｓ６０１で同期信号制御部１１４は、表示用に用いるフレーム（奇数番目のフレーム）の撮像表示Ｖ同期信号からの経過時間が第１閾値以上かつ第２閾値以下であるか否か判定する。そして、同期信号制御部１１４は、第１閾値以上第２閾値以下と判定されればＳ３０２へ、判定されなければＳ３０３へ処理を進める。Ｓ６０１での判定処理の詳細については図７を用いて後述する。なお、本実施形態では、経過時間の判定に撮像表示Ｖ同期信号を用いているが、表示Ｖ同期信号を用いてもよい。
【００５８】
Ｓ３０２で同期信号制御部１１４は、次の静止画撮影で連写撮影が終了するか否かを判定し、連写撮影が終了すると判定されればＳ３０３へ、判定されなければＳ３０４へ処理を進める。
【００５９】
Ｓ３０３で同期信号制御部１１４は、静止画駆動期間の終了後の次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成しないことを決定して、ＬＶ画像の生成判定処理を終了する。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理を、画像処理部１０１で直ちに実行するように、画像データの転送動作および画像処理部１０１の動作を制御する。図５では、静止画２に関する画像処理が該当する。
【００６０】
Ｓ３０４で同期信号制御部１１４は、静止画駆動期間の終了後に開始する次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成することを決定して、ＬＶ画像の生成判定処理を終了する。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理が、次の動画駆動期間で得られるＬＶ画像データに対する画像処理より後に実行されるように、画像データの転送動作および画像処理部１０１の動作を制御する。図５では、表示５および静止画１に関する画像処理が該当する。
【００６１】
このような判定処理により、Ｓ３０２で次の静止画撮影で連写撮影が終了すると判定された場合、最後に撮影された静止画の確認用画像が表示デバイス１０３へ表示されるまでの時間を短縮することが可能となる。また、ＬＶ画像データが生成されないフレームについて、生成済みのＬＶ画像データを再表示する回数を１回にすることができる。その結果、ＬＶ画像の更新頻度の低下が抑制され、滑らかな表示が実現される。
【００６２】
図７は、ＬＶ画像の生成判定処理におけるＳ３０３およびＳ３０４の判定の詳細を説明するための図である。図４において横軸は時間を示し、左から右に時間が進行する。
【００６３】
７００〜７０２は、撮像素子１００における動画駆動期間を示している。ここで、動画駆動期間７００および７０２は奇数番目の動画駆動期間であり、得られた動画データは表示に用いられることが想定されている。以下、奇数番目の動画駆動期間を、表示用の動画駆動期間と呼ぶ。また、７０３は、静止画撮影の指示入力から一定時間Ｔ０（レリーズタイムラグ）後と、その後、連写間隔Ｔ５が経過するごとに開始される静止画駆動期間を示している。また、７０４〜７０６に含まれるそれぞれの線の長さは、静止画駆動期間と撮像素子のモード切り替え時間（静止画モードから動画モードへの切替時間）との合計時間を表している。
【００６４】
７０４で示す点線のそれぞれは、期間Ｔ１に静止画駆動期間が開始する場合に静止画駆動期間とモード切替時間が占める時間範囲を、異なる開始タイミングについて示している。同様に、７０５で示す実線のそれぞれと７０６で示す点線のそれぞれは、期間Ｔ２およびＴ３に静止画駆動期間が開始する場合に静止画駆動期間とモード切替時間が占める時間範囲を、異なる開始タイミングについて示している。
【００６５】
ＬＶ画像の生成判定処理のＳ３００で検出する静止画同期信号は、７０４〜７０６で示す線の開始時点を規定する。また、Ｓ６０１の第１閾値は期間Ｔ２の開始時点（または期間Ｔ１の終了時点）、第２閾値は期間Ｔ２の終了時点（または期間Ｔ３の開始時点）を示している。期間Ｔ２は、表示用の動画駆動期間に重複しない静止画駆動期間の開始時刻の範囲に相当する。つまり、期間Ｔ２内で開始する静止画撮影は、ＬＶ表示のための動画撮影に影響を与えない。なお、図７の動画駆動期間７０１は偶数番目の動画駆動期間であり、得られた画像データは表示以外の目的に用いることが想定されている。
【００６６】
期間Ｔ２内で静止画駆動期間が開始した場合、連写の最後の撮影でなければ、静止画データに対する画像処理を直ちに開始する必要はない。そのため、制御部１０４は、静止画駆動期間終了後、次の表示用の動画駆動期間で得られる動画データについて、画像処理部１０１で画像処理を行ってＬＶ画像データを生成、表示するように制御する。図５では静止画１についての画像処理の制御に相当する。一方、連写の最後の撮影であれば、制御部１０４は、図５の静止画２の画像処理のように、静止画データに対する画像処理を、静止画駆動期間の終了直後から開始するように制御する。
【００６７】
また、期間Ｔ１またはＴ３に静止画駆動期間が開始する場合、静止画駆動期間が表示用の動画駆動期間と重複する。期間Ｔ１に静止画駆動期間が開始する場合には静止画駆動期間の直前の表示用の動画駆動期間に、期間Ｔ３に静止画駆動期間が開始する場合には静止画駆動期間の直後の表示用の動画駆動期間に、それぞれ重複する。期間Ｔ１に静止画駆動期間が開始する場合、制御部１０４は、静止画駆動期間が重複する動画駆動期間の１つ前の、表示用でない動画駆動期間に得られた画像データから生成したＬＶ画像を表示するように制御する。これは、図５においては、静止画２の期間に重複する表示９の代わりに、１つ前の表示８で得られた画像データから生成されたＬＶ画像データを表示する制御に相当する。
【００６８】
期間Ｔ３に静止画駆動期間が開始する場合、制御部１０４は、静止画駆動期間の直前の表示用の動画駆動期間に得られた画像データから生成されたＬＶ画像データを２回連続して表示するように制御する。図７の例であれば、制御部１０４は、７００で示す動画駆動期間で得られた動画データから生成されたＬＶ画像データを、静止画駆動期間と重複する表示用の動画駆動期間７０２に対応するＬＶ画像データとしても表示するように制御する。
【００６９】
Ｓ３０４における、静止画駆動期間の終了後に開始する次の動画駆動期間は、期間Ｔ１に静止画駆動期間が開始する場合には動画駆動期間７０２である。また、期間Ｔ３に静止画駆動期間が開始する場合には動画駆動期間７０２の次の表示用の動画駆動期間になる。
【００７０】
以上説明したように、本実施形態によっても、第１実施形態と同様の効果を実現することができる。また、撮影フレームレートが表示フレームレートより高い場合、本来は表示に用いないＬＶ画像データを表示に利用することで、同一画像データを繰り返し表示する頻度を低下させることができ、一層滑らかな動画表示が可能になる。
【００７１】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は第２実施形態の変形例に相当するため、以下では第１、２実施形態と異なる部分を重点的に説明する。
【００７２】
図８は、図２や図５と同様に、ライブビュー（ＬＶ）表示（動画表示）を行いながら静止画撮影を行う場合の撮影ならびに表示動作のタイミング制御を模式的に示した図である。図２および図５と共通する内容については説明を省略する。
【００７３】
図８において、７００は、次の静止画撮影で連写撮影が終了することが検出されたタイミングを示す。第２実施形態と同様、図８に示す撮像素子の駆動制御でも、動画撮影中に静止画撮影の指示があった場合、予め定められたレリーズタイムラグおよび連写間隔を実現するように静止画撮影を優先して実行する。また、撮影した動画の表示において、同じ画像が２回（フレーム）以上連続して表示されないように、表示する動画フレーム（ライブビュー画像）を選択する。これにより、静止画撮影中の動画表示の更新頻度の低下を抑制することができる。
【００７４】
本実施形態では、連写の最後の撮影である場合を除き、静止画駆動期間の終了後、次に開始する動画駆動期間を必ず表示用の駆動期間として用いる点で第２実施形態と異なる。具体的には、表示１１の代わりに表示１０を表示用の動画駆動期間としている。また、図８では、連写の最後の撮影で得られた静止画データを表示する動作が追加されている。これは第１，第２実施形態でも実施することができる。
【００７５】
図９に示すフローチャートを用いて、静止画の撮影タイミングに応じたライブビュー画像データの生成制御動作について説明する。第１実施形態と同様の動作については図３と同じ参照数字を付して説明を省略する。
【００７６】
同期信号制御部１１４は、Ｓ３００で静止画同期信号を検出したと判定された場合、Ｓ３０２へ処理を進める。Ｓ３０２で同期信号制御部１１４は、次の静止画撮影で連写撮影が終了するか否かを判定し、連写撮影が終了すると判定されればＳ３０３へ、判定されなければＳ３０４へ処理を進める。
【００７７】
Ｓ３０３で同期信号制御部１１４は、静止画駆動期間の終了後の次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成しないことを決定して、ＬＶ画像の生成判定処理を終了する。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理を、画像処理部１０１で直ちに実行するように、画像データの転送動作および画像処理部１０１の動作を制御する。図８では、静止画３に関する画像処理が該当する。
【００７８】
Ｓ３０４で同期信号制御部１１４は、静止画駆動期間の終了後に開始する次の動画駆動期間に対応するＬＶ画像を画像処理部１０１で生成することを決定して、ＬＶ画像の生成判定処理を終了する。同期信号制御部１１４は、決定結果を制御部１０４に通知する。制御部１０４は、静止画駆動期間に得られた静止画データに対する画像処理が、次の動画駆動期間で得られるＬＶ画像データに対する画像処理より後に実行されるように、画像データの転送動作および画像処理部１０１の動作を制御する。図８では、表示５、静止画１、表示１０、および静止画２に関する画像処理が該当する。
【００７９】
本実施形態においても第２実施形態と同様の効果が実現できる。また、静止画撮影が連写撮影の最後の静止画撮影でない場合には、静止画駆動期間の終了後の次の動画駆動期間で得られる動画データから生成されたＬＶ画像を表示に用いるようにした。そのため、静止画撮影時とタイミングの近い動画フレームが表示されるようになり、静止画撮影前後における動画表示の更新間隔を短くすることができる。
【００８０】
●（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、以下では、第１〜第３実施形態と異なる部分のみを説明し、共通する部分については、同一符号を付すなどして詳細な説明を省略する。
【００８１】
図１０は、図１のデータ転送部１０５における同期信号制御部１１４について、機能構成例と、撮像素子１００および制御部１０４との関係をより詳細に示したブロック図である。
同期信号生成カウンタ１１４２は、撮影フレームレートに応じた撮像表示Ｖ同期信号を生成する。同期信号生成カウンタ１１４２は、例えば、撮影フレームレートに対応するフレーム周期に相当する数のクロックパルスをカウントするごとに撮影表示Ｖ同期信号を生成する。撮影表示Ｖ同期信号は、セレクタ１１４１に出力されるほか、割り込み信号として制御部１０４にも出力される。
【００８２】
セレクタ１１４１は、同期信号生成カウンタ１１４２が生成する撮像表示Ｖ同期信号と、制御部１０４から供給される静止画同期信号１１４３との一方を選択して出力する。セレクタ１１４１は静止画モードにおいて静止画同期信号１１４３を出力し、動画モードにおいて撮像表示Ｖ同期信号を出力する。セレクタ１１４１のモードは制御部１０４が制御する。
【００８３】
制御部１０４は、撮影指示部１１１から静止画撮影の指示入力を検出すると、レリーズタイムラグＴ０後と、それ以降は連写間隔Ｔ５が経過するごとに静止画同期信号１１４３を生成し、セレクタ１１４１に出力する。制御部１０４はまた、撮像素子１００の駆動モードを切り替える制御信号１０４１を生成し、撮像素子１００に供給する。
【００８４】
図１１は、本実施形態におけるライブビュー画像データの生成制御動作に関するフローチャートである。
Ｓ１１００で制御部１０４は、ＬＶの撮影を実施しているかどうかを判断し、ＬＶ撮影モードであれば、Ｓ１１００へ処理を進め、ＬＶ撮像モードでなければ、処理を終了する。
Ｓ１１０１で制御部１０４は、制御信号１０４１を用いて撮像素子１００の動作モードを動画モードに設定する。静止画撮影の指示入力が検出されていない状態では、ライブビュー表示用の動画撮影を行うために、撮像素子１００を動画モードで駆動する。
【００８５】
Ｓ１１０２で制御部１０４は、撮影指示部１１１からの静止画撮影の指示入力など、撮像素子１００の動作モードを静止画モードに切り替える必要のある要求（切り替え要求）の有無を判定する。制御部１０４は、静止画モードへの切り替え要求があると判定されれば、処理をＳ１１０３に進め、制御信号１０４１により、撮像素子１００の動作モードを静止画モードに切り替える。制御部１０４は、静止画モードへの切り替え要求があると判定されなければ、動画撮影、ＬＶ画像の生成および表示に係る制御を行いながら、Ｓ１１０２を繰り返し実行する。
【００８６】
Ｓ１１０４で制御部１０４は、セレクタ１１４１を静止画モードに切り替える。これにより、制御部１０４が生成する静止画同期信号がセレクタ１１４１を通じて撮像素子１００に供給されるようになる。また、制御部１０４はＬＶ割り込みカウンタを初期化する。ＬＶ割り込みカウンタは制御部１０４が有していてもよいし、ＲＡＭ１１２に値が記憶される変数であってもよい。初期化により、ＬＶ割り込みカウンタの値は所定の初期値（例えば０）になる。
【００８７】
制御部１０４は、レリーズタイムラグＴ０後に静止画同期信号を生成する。撮像素子１００は静止画モードで露光され、静止画データが読み出される。読み出された静止画データはデータ転送部１０５を介して、一時記憶部１０７に転送される。データ転送部１０５は、１フレーム分の静止画データを一時記憶部１０７に記憶すると、静止画撮影の完了を制御部１０４に通知する。
【００８８】
Ｓ１１０５で制御部１０４は、データ転送部１０５から静止画撮影の完了が通知されるのを待機する。静止画撮影の完了が通知されると、制御部１０４はＳ１１０５を実行する。
【００８９】
Ｓ１１０６で制御部１０４は、完了した静止画撮影が、単写、もしくは連写における最後の撮影であるか否かを判定する。単写、もしくは連写における最後の撮影であると判定されれば、Ｓ１１１０で制御部１０４は一時記憶部１０７に記憶されている静止画データの画像処理を画像処理部１０１で直ちに開始させて処理をＳ１１００に戻す。制御部１０４は、連写撮影が継続していると判定されれば、処理をＳ１１０７に進める。
【００９０】
一方、制御部１０４は、Ｓ１１１１〜Ｓ１１１３を割り込み処理として実行する。Ｓ１１０９で制御部１０４は、同期信号生成カウンタ１１４２からの撮像表示Ｖ同期信号による割り込みを監視する。撮像素子１００が静止画モードで駆動されている間、撮像表示Ｖ同期信号はセレクタ１１４１で遮断されるため撮像素子１００には供給されないが、制御部１０４には割り込み信号１１４４として入力される。
【００９１】
制御部１０４は、Ｓ１１１１で割り込み信号１１４４を検出すると、処理をＳ１１１２に進め、ＬＶ割り込みカウンタの値を１つ増加（カウントアップ）する。制御部１０４は、Ｓ１１１３で完了した静止画撮影が単写、もしくは連写における最後の撮影であると判定されるまで継続して割り込み信号１１４４のカウントアップを実行する。割り込みカウンタの値は、静止画撮影（連写含む）が開始されてから、撮像素子が静止画モードで駆動されている期間に発生する動画撮影のタイミング（撮像表示Ｖ同期信号）の累積回数に相当する。あるいは、割り込みカウンタの値は、静止画撮影を行うために行われなかった動画撮影の累積回数ということもできる。
【００９２】
Ｓ１１０７で制御部１０４は、ＬＶ割り込みカウンタの値を、予め定められた閾値と比較し、閾値未満であればＳ１１１０へ、閾値以上であればＳ１１０８へ、処理を進める。この閾値は、動画表示において同一画像が連続して表示される回数を制限するための値である。ＬＶ割り込みカウンタの値が閾値に達すると、動画表示の更新を静止画の処理よりも優先させる。具体的には、制御部１０４はＳ１１０８で、Ｓ１１０１と同様の処理を行い、Ｓ１１０９に進む。Ｓ１１０９で制御部１０４は動画撮影、ＬＶ画像の生成および表示に係る制御を行い、処理が完了するまで待ってからＳ１１１０に進む。一方、ＬＶ割り込みカウンタの値が閾値未満の場合、制御部１０４はＳ１１１０で、画像処理部１０１によって静止画データに対する画像処理を実行させ、Ｓ１１２０へ戻る。
【００９３】
図１２は、図１１を用いて説明した動作に従って静止画および動画データの画像処理の制御を行った場合の例を示すタイミングチャートである。ここでは、撮影フレームレートおよび表示フレームレートがいずれも６０ｆｐｓであり、閾値が１であるものとする。また、図１２には撮像素子１００の動作モードの切り替え時間を便宜上示していない。
【００９４】
撮影指示部１１１からの静止画撮影の指示入力２００が検出され、レリーズタイムラグＴ０後に静止画の撮影が開始され、その後、連写間隔Ｔ５で静止画撮影が繰り返し実行される。本実施形態においても、静止画撮影のタイミングを一定とするよう、静止画撮影が動画撮影より優先される。
【００９５】
最初の静止画駆動期間が開始される際、制御部１０４はＬＶ割り込みカウンタの値を０に初期化する。図１２の例では、静止画駆動期間（静止画１）が開始してから、１フレーム分の静止画データが一時記憶部１０７に記憶されるまでの間にＬＶ同期信号は発生していない。そのため、ＬＶ割り込みカウンタの値は０のままである。この場合、図１１ではＳ１１０５、Ｓ１１０６、Ｓ１１０７、Ｓ１１１０と処理が遷移し、制御部１０４は画像処理部１０１に静止画データに対する画像処理を直ちに開始させる。
【００９６】
連写撮影の２枚目に相当する静止画駆動期間（静止画２）では、静止画駆動期間中にＬＶ同期信号が発生するため、制御部１０４はＬＶ割り込みカウンタの値を１にカウントアップする。ＬＶ割り込みカウンタの値が閾値に達したため、図１１ではＳ１１０５、Ｓ１１０６、Ｓ１１０７、Ｓ１１０８、Ｓ１１０９と処理が遷移する。制御部１０４は、画像処理部１０１に、まず次の動画駆動期間で得られる動画データに対する画像処理を行わせ、その後、静止画データに対する画像処理を行わせる。図１２では、静止画２に対する画像処理が表示６の画像処理が終了後に行われている。
【００９７】
以上説明したように、本実施形態では、撮像素子が静止画モードで駆動されている期間に発生する動画撮影のタイミング（撮像表示Ｖ同期信号）の累積回数に応じて、静止画データに対する画像処理と、動画データに対する画像処理の優先度を制御するようにした。本実施形態においても、第１〜第３の実施形態と同様に、動画表示の更新頻度の低下を抑制しつつ、一定のタイミングで静止画撮影を行うことが可能である。
【００９８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９９】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０１００】
１００…撮像素子、１０１…記録処理部、１０４…制御部、１０５…データ転送部、１１１…撮影指示部、１１４…同期信号制御部
【図１】
2020184697.tif 000003
【図２】
2020184697.tif 000004
【図３】
2020184697.tif 000005
【図４】
2020184697.tif 000006
【図５】
2020184697.tif 000007
【図６】
2020184697.tif 000008
【図７】
2020184697.tif 000009
【図８】
2020184697.tif 000010
【図９】
2020184697.tif 000011
【図１０】
2020184697.tif 000012
【図１１】
2020184697.tif 000013
【図１２】
2020184697.tif 000014