(57)【要約】【課題】動画処理手段および静止画処理手段により共有される記憶デバイスを備えた画像処理装置において、動画の画質劣化を抑制しつつ、静止画の記録枚数を増やすこと。【解決手段】撮像装置は、動画および静止画の同時記録時に静止画連写撮影が可能である。メインメモリ１１６は、カメラ信号処理部１０５、動画符号化部１０９、静止画符号化部１１４などの信号処理部が共有して使用する。メモリ容量監視部１１９はメインメモリ１１６の使用量を監視する。マッピング変更部１２０は、前記静止画連写撮影にて静止画データの記録処理が行われる場合、メモリ容量監視部１１９の出力に従って、メインメモリ１１６にて動画処理および静止画処理に使用する記憶領域の割り当てを適応的に変更する。システム制御部１１８は、メインメモリ１１６の空き容量と動画像のＳ／Ｎ比に基づき、動画処理に適用する符号化処理のピクチャタイプを変更する制御を行う。【選択図】  図１
2014014042.tif 000002
【特許請求の範囲】
【請求項１】
動画処理手段および静止画処理手段により共有される記憶デバイスを備えた画像処理装置であって、
前記記憶デバイスの使用量を監視する監視手段と、
前記動画処理手段により動画処理を行いつつ、前記静止画処理手段により静止画データの記録処理を行う場合、前記監視手段の出力に従って、前記記憶デバイスにて動画処理に使用する記憶領域を減少させて静止画処理に使用する記憶領域を増加させる領域変更手段を備えることを特徴とする画像処理装置。
【請求項２】
前記領域変更手段は、前記静止画データの記録処理が開始された場合、前記静止画処理に使用する記憶領域を段階的に大きくする設定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
動画符号化処理を行う動画符号化手段と、
前記動画符号化手段から画像パラメータを取得して、前記動画符号化処理に使用するピクチャタイプを変更し、変更されたピクチャタイプの画像データを前記記憶デバイスに記憶する処理を制御する制御手段を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記動画符号化手段から前記画像パラメータとして信号対ノイズ比を取得し、前記信号対ノイズ比の値が閾値より大きい場合、前記動画符号化に使用するピクチャタイプを変更する制御を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記監視手段の出力に従って、前記静止画処理に使用する記憶領域が閾値より大きい場合に前記動画符号化に使用するピクチャタイプを変更する制御を行うことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記静止画処理に使用する記憶領域が閾値より大きい場合に、静止画連写撮影のタイミングを変更して、前記静止画処理の時間を延長する制御を行うことを特徴とする請求項３から５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置を備え、
撮像した画像データの動画処理および静止画処理を行いながら静止画データの記録処理を行うことを特徴とする撮像装置。
【請求項８】
動画処理手段および静止画処理手段により共有される記憶デバイスを備えた画像処理装置にて実行される制御方法であって、
前記記憶デバイスの使用量を監視する監視ステップと、
前記動画処理手段により動画処理を行いつつ、前記静止画処理手段により静止画データの記録処理を行う場合、前記監視ステップの出力に従って、前記記憶デバイスにて動画処理に使用する記憶領域を減少させて静止画処理に使用する記憶領域を増加させる領域変更ステップを有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画処理および静止画処理に共有する記憶デバイスを備えた装置において、メモリマッピングを動的に変更して動画の画質劣化を抑制しつつ、静止画記録枚数を増やすための技術に関する。
【背景技術】
【０００２】
近年の携帯情報端末や、ＤＶＣ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｃａｍｅｒａ）等の撮像装置は低価格化が進んでおり、撮像信号を処理するカメラ信号処理部は、動画および静止画処理にて共有されるようになっている。更には、各種信号処理手段が使用するメモリについても動画および静止画処理で共有される。小型化が重視される携帯情報端末やＤＶＣ等では、メモリをＬＳＩ（大規模集積回路）に内蔵する傾向にある。そのためには、メモリサイズを増やすことなく各種機能を付加することが求められる。
１つのメモリを各種信号処理手段で共有して使用する撮像装置において、動画記録時にはメモリ全領域が動画処理に割り当てられ、静止画撮影時にはメモリ全領域が静止画処理に割り当てられる。動画および静止画の同時記録時には、メモリが動画処理用と静止画処理用に分割して使用される。その結果、動画および静止画の同時記録時の連写撮影では静止画記録時の連写撮影に比べ、連写枚数が制約を受ける。これは、メモリにて静止画処理に使用する領域（以下、静止画処理領域という）が逼迫し易くなるからである。そのため、静止画記録時の連写動作では連写枚数に制約が設けられている。
特許文献１に開示の装置では、撮像装置に搭載している記録媒体に対し、撮像装置を制御するＣＰＵが記録媒体の空き容量を監視する。動画記録処理の実行中に静止画記録操作が行われた場合、空き容量に応じて静止画データの記録に先立って領域分割処理が実行される。動画処理用の記録領域に動画データを記録しているときに静止画記録操作が行われると、動画処理用の記録領域が２分割され、静止画データを記録できる。また、特許文献２では、映像信号を処理する各映像信号処理装置において、動作モードに応じて仮想メモリに割り当てられている実メモリの記録領域を変更する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５９３６４号公報
【特許文献２】特開２００１−５４０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、動画処理および静止画処理を同時に行う場合、動画の画質劣化を抑制しながら、静止画の連写枚数を増やすことが難しいという課題がある。
本発明は、動画処理手段および静止画処理手段により共有される記憶デバイスを備えた画像処理装置において、動画の画質劣化を抑制しつつ、静止画の記録枚数を増やすことを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る装置は、動画処理手段および静止画処理手段により共有される記憶デバイスを備えた画像処理装置であって、前記記憶デバイスの使用量を監視する監視手段と、前記動画処理手段により動画処理を行いつつ、前記静止画処理手段により静止画データの記録処理を行う場合、前記監視手段の出力に従って、前記記憶デバイスにて動画処理に使用する記憶領域を減少させて静止画処理に使用する記憶領域を増加させる領域変更手段を備える。
【発明の効果】
【０００６】
本発明によれば、動画の画質劣化を抑制しつつ、静止画の記録枚数を増やすことができる。
【図面の簡単な説明】
【０００７】
【図１】図２ないし図４と併せて本発明の第１実施形態を説明するために、撮像装置の構成例を示す図である。
【図２】動画および静止画の同時記録時に静止画連写撮影を行う処理の説明図である。
【図３】メモリマッピングの変更処理例を説明するフローチャートである。
【図４】メモリマッピングの動的な処理例を説明する図である。
【図５】本発明の第２実施形態を説明するために、処理例を示すフローチャート（Ａ）、および処理例の説明図（Ｂ）である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明の各実施形態を詳細に説明する。以下では、本発明に係る画像処理装置を適用した撮像装置を例示して説明する。
【０００９】
［第１実施形態］
図１は、本発明の第１実施形態に係るＤＶＣの構成例を示す。
フォーカスレンズ（図には単一のレンズで簡略的に示す）１０１は撮像光学系を構成し、被写体からの光を結像する。撮像素子１０２はＣＣＤ（電荷結合素子）等を用いたイメージセンサであり、撮像信号を出力する。Ａ／Ｄ変換部１０３は撮像素子１０２からのアナログ信号をディジタル信号に変換して出力する。センサインターフェース（Ｉ／Ｆ）部１０４は、Ａ／Ｄ変換部１０３によってディジタル信号に変換された撮像信号を、カメラ信号処理部１０５に送る。カメラ信号処理部１０５は、ディジタル信号に変換された撮像素子１０２からの信号を処理する。ＩＰ変換部１０６は、カメラ信号処理部１０５の出力に対して、高精細な静止画生成のためにインターレースからプログレッシブへの画像変換を行う。撮像素子１０２から画素加算した画素データが読み出された場合、補間処理によりプログレッシブ画像のデータが生成される。その際、カメラ信号処理部１０５から入力される現フィールドの画素データ、またはメインメモリ（以下、単にメモリという）１１６から読み出した前フィールドの画素データから、もう片方のフィールドデータに係る補間処理が行われる。
【００１０】
動画リサイズ部１０７は、メモリ１１６から読み出した画像データを動画記録に最適なサイズに変換して、画像データをメモリ１１６に書き出す。ノイズ低減（ＮＲ）処理部１０８は撮影した画像データに対するノイズ低減処理を実行し、処理後の画像データをメモリ１１６に書き出す。動画符号化部１０９は、リサイズやＮＲ等の処理が施された動画像データを符号化する。記録信号処理部１１０は、動画符号化部１０９により符号化された映像信号と、音声情報入力手段であるマイクロフォン（不図示）からの音声情報信号を、所定の記録フォーマットに従うデータに変換する。記録信号処理部１１０は更に、音声データを復号処理し、音声信号をスピーカ（不図示）に出力する。記録媒体１１１は記録信号処理部１１０によって処理された信号に従って映像情報および音声情報を記録する。
【００１１】
顔検出リサイズ部１１２は、メモリ１１６から画像データを読み出し、撮影している被写体の主要部（例えば、顔）を検出するために画像データのリサイズ処理を実行して、処理済みの静止画データをメモリ１１６に書き出す。顔検出部１１３は、顔検出リサイズ部１１２がリサイズ処理した画像データから主被写体を検出する。主被写体とは被写体の特徴部（例えば、顔）を示す部位である。顔検出結果を示すデータはメモリ１１６に書き出される。静止画符号化部１１４は、メモリ１１６から画像データを読み出してＪＰＥＧ等の符号化処理を行い、処理済みの画像データをメモリ１１６に書き出す。ＪＰＥＧは”Joint Photographic Experts Group”の略号である。静止画記録媒体１１５は、静止画符号化部１１４により符号化された静止画データを格納する記録デバイスであり、例えばメモリカード等が使用される。メモリ１１６は各信号処理部（１０５乃至１０９、１１２乃至１１４参照）からアクセス可能な記憶デバイスであり、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等である。各信号処理部はメモリ１１６を共有して使用し、メモリ１１６を介して各信号処理データの受け渡しを行う。
キー入力部１１７は、撮影時等にユーザが各種操作に使用する。ユーザ操作による操作入力信号は、撮像装置全体を制御するシステム制御部１１８に送られる。メモリ容量監視部１１９はメモリ１１６の使用量を監視する。マッピング変更部１２０はメモリ１１６のアドレスマッピングを変更し、動画処理に使用する記憶領域と静止画処理に使用する記憶領域を動的に制御して領域変更を行う。なお、これらの機能および動作については後で詳述する。
【００１２】
次に、撮像処理について説明する。
カメラ信号処理部１０５は動画処理および静止画処理に対して時分割処理を行っており、動画撮影動作、静止画撮像動作、並びに動画および静止画の同時記録動作が実行可能である。このため、動画および静止画の同時記録時には静止画処理が所定の期間内に実行される。この期間とは、リアルタイム処理を要求される動画処理の合間、つまり垂直ブランキング期間である。静止画撮影時には、メモリ１１６の全領域が静止画処理に割り当てられる。一方、動画および静止画の同時記録時には、メモリ１１６の記憶領域は動画処理に使用する領域（以下、動画処理領域という）と、静止画処理領域に分割して使用される。その結果、動画および静止画の同時記録時に行うときの静止画連写撮影では、静止画記録時の連写撮影に比べて、メモリ１１６における静止画処理領域が小さくなる。よって、静止画連写撮影時の画像データが静止画処理領域内に格納できなくなった場合、連写枚数に制約が発生する。
【００１３】
図２を参照して、図１のメモリ容量監視部１１９およびマッピング変更部１２０がないと仮定した場合の処理を説明する。図２（Ａ）は、動画および静止画の同時記録時における静止画連写記録を例示するタイミングチャートである。「Ｖ＿ｂｌａｎｋ」は垂直ブランキング期間を示す。図２（Ｂ）は、静止画に対する信号処理時間を横軸にとり、縦軸にはメモリ１１６にて静止画信号処理に使用するメモリ容量の時間的変化を例示する。図２（Ｃ）は動画処理と静止画処理とで領域分割して使用するメモリ１１６のマッピングを例示する。図示の例ではメモリ１１６の全領域に対し、動画処理領域（ＭＶ）と静止画処理領域（ＭＳ）は２分の１ずつに分割して使用する。
図２（Ａ）に示す「Ｖ」は垂直同期信号を示しており、例えば、撮像素子１０２からの画素データの読み出し動作はＶに同期して行われる。なお、Ｖに０乃至９の数字を付すことにより、各垂直同期信号のタイミングを区別し、垂直同期期間の１１倍の期間（１１×Ｖ）で１つの画像データに対する静止画処理が完了するものとする。
動画記録時の静止画連写撮影の場合、撮像素子１０２から全画素データを読み出すには、２×Ｖの時間がかかる。読み出された画素データは、図２（Ｃ）に示すようにメモリ１１６の静止画処理領域（ＭＳ：灰色部参照）に格納される。一方、動画記録時には画素データの読み出しに１×Ｖの時間を要する。つまり、静止画記録の場合に比して２分の１の量の画素データが撮像素子１０２から読み出され、図２（Ｃ）に示す動画処理領域（ＭＶ：白色部参照）に格納される。
【００１４】
図２（Ａ）にて静止画に対する信号処理は、撮像素子１０２から読み出されてメモリ１１６の静止画処理領域に格納した全画素データに対し、垂直ブランキング期間中に実行される。例えば、Ｖ０〜Ｖ２の期間（２×Ｖ）で撮像素子１０２から読み出した全画素データはメモリ１１６に格納される。第１周期目のＶ１のタイミングでメモリ１１６から画素データの一部分のみが読み出され、静止画に対する信号処理が実行される。次にＶ２のタイミングでメモリ１１６からデータの一部分のみが読み出され、静止画に対する信号処理が実行される。このようにして、Ｖ３以降も同様に静止画に対する信号処理が垂直ブランキング期間中に実行され、１１×Ｖの期間をかけて１枚の静止画に対する信号処理が完了する。つまり、第２周期目のＶ１の垂直ブランキング期間で、第１周期における全画素データに対し、静止画に対する信号処理が完了する。
同様に、第２周期目のＶ０からＶ２までの期間で撮像素子１０２から読み出した全画素データ（灰色部参照）は、第３周期目のＶ２の垂直ブランキング期間で静止画に対する信号処理が完了する。第３周期目のＶ０からＶ２までの期間で撮像素子１０２から読み出した全画素データ（黒色部参照）は、第４周期目のＶ３の垂直ブランキング期間で静止画に対する信号処理が完了する。
【００１５】
図２（Ｂ）では、連写タイミング（撮像素子１０２からの全画素データの読み出しタイミング）を、図中に逆三角形マークで示し、明細書中では「ＴＸ」（Ｘは自然数変数）と表記する。
一定間隔で発生する連写タイミングでメモリ１１６に全画素データを格納する処理が行われるため、処理時間の経過につれて静止画処理領域の使用量が増加する。よって、静止画処理領域の空き容量は次第に減少していく。静止画処理領域に格納された画素データは読み出された後で、各種の静止画用信号処理が施される。
この場合、垂直ブランキング期間（Ｖ＿ｂｌａｎｋ）では、全画素データのうちの一部分のみに静止画処理が実行される。よって、全画素データに対する処理が完了する前に、次の連写タイミングが到来し、当該連写タイミングでメモリ１１６に全画素データが新たに格納される。静止画処理領域内の画素データが全て読み出される前に、次の静止画（連写）処理に係る画素データが格納されると、時間経過に従って静止画処理領域の使用量が増加していく。静止画処理領域内の画素データが、割り当ての上限に近づき（Ｔ５）、さらにこの上限を超えると（Ｔ６）、静止画の記録処理ができなくなる。つまり、Ｔ５の時点で連写枚数の上限が決まる。
【００１６】
次に図３を参照して、本発明の第１実施形態における処理を説明する。図３（Ａ）は、動画および静止画の同時記録時における静止画連写撮影の処理例を示すフローチャートである。図３（Ｂ）は、メモリ１１６の領域分割例を示す。この例では、メモリ１１６の記憶領域をアドレスマッピング処理により複数の領域に分割している（図中、ｌｅｖｅｌ０、ｌｅｖｅｌ１、ｌｅｖｅｌ２参照）。初期状態では、メモリ１１６の領域がｌｅｖｅｌ０の位置で分割されるものとする。ｌｅｖｅｌ２については、動画符号化処理に必要な最低限の領域が確保できる容量に設定される。なお、ｌｅｖｅｌ０、ｌｅｖｅｌ１、ｌｅｖｅｌ２の順に、静止画処理領域（ＭＳ参照）への割り当てが多くなり、動画処理領域（ＭＶ参照）が減少していくものとする。
先ず、図３（Ａ）にて、動画撮影中に静止画連写スイッチのユーザ操作が行われた場合（Ｓ４０１）、処理が開始する。Ｓ４０２でメモリ容量監視部１１９は、監視中のメモリ１１６の容量、つまり、静止画処理領域の使用量をｌｅｖｅｌ０の示す値と比較する。ｌｅｖｅｌ０は、初期状態で設定された静止画処理領域の使用可能容量を示す。現時点での静止画処理領域の使用量が、初期状態のｌｅｖｅｌ０より大きいと判定した場合、マッピング変更部１２０は、メモリ１１６のマッピングを変更する。これにより、ｌｅｖｅｌ０からｌｅｖｅｌ１に引き上げられ、静止画処理領域が増加し、動画処理領域が減少する。そしてＳ４０３に処理を進める。また、現時点での静止画処理領域の使用量がｌｅｖｅｌ０以下の場合、Ｓ４０２の判定処理が繰り返される。
【００１７】
Ｓ４０３でシステム制御部１１８は、動画記録用に撮像素子１０２から読み出した画素データから生成される動画像に係る画像パラメータを取得する。画像パラメータとしては、画質の評価に係るパラメータ、例えばＳ／Ｎ（信号対ノイズ比）を使用する。Ｓ／Ｎ値は、動画符号化部１０９の処理で算出される。Ｓ／Ｎ値が閾値ｔｈより大きいか否かが判定され、Ｓ／Ｎ値が閾値ｔｈ以下と判定された場合、処理を終了し（Ｓ４０９）、次の静止画連写タイミングが到来するまで処理待ちとなる（Ｓ４０１）。また、Ｓ４０３でＳ／Ｎ値が閾値ｔｈより大きいと判定された場合、Ｓ４０４に処理を進める。Ｓ４０４では、システム制御部１１８の制御下で、動画符号化処理に使用されるピクチャタイプに対し、Ｂピクチャを省き、ＩピクチャおよびＰピクチャを用いる処理が実行される（Ｓ４０４）。なお、Ｉピクチャ(Intra picture)はフレーム内符号化画像であり、Ｐピクチャ(Predictive picture)はフレーム間順方向予測符号化画像である。Ｂピクチャ(Bi-directional predictive picture)は双方向予測符号化画像である。メモリマッピングの変更によって静止画処理領域を大きくすると、動画処理領域が小さくなる。このため、動画符号化処理に使用するピクチャタイプを変更することにより、限られた記憶領域内で動画符号化処理を行う場合に動画像の画質劣化を抑えることができる。
【００１８】
次に、メモリ容量監視部１１９は、監視中のメモリ１１６の使用量、つまり静止画処理領域の使用量をｌｅｖｅｌ１の示す値と比較する（Ｓ４０５）。静止画処理領域の使用量がｌｅｖｅｌ１以下であると判定された場合、Ｓ４０３に処理を戻す。この場合、静止画処理領域の使用量がｌｅｖｅｌ１より大きいと判定されるまでの間、Ｓ４０４の処理が継続する。また、Ｓ４０５で静止画処理領域の使用量がｌｅｖｅｌ１より大きいと判定された場合、マッピング変更部１２０はメモリ１１６のマッピングを変更し、ｌｅｖｅｌ１からｌｅｖｅｌ２に引き上げて静止画処理領域を増加させ、動画処理領域をさらに小さくする。そしてＳ４０６に処理を進める。
Ｓ４０６は、動画記録用に撮像素子１０２から読み出した画素データにより生成される動画像に係るＳ／Ｎ値を閾値ｔｈと比較する判定処理である。Ｓ／Ｎ値が閾値ｔｈ以下であると判定された場合、処理を終了し（Ｓ４０９）、次の静止画連写タイミングが到来するまで処理待ちとなる（Ｓ４０１）。また、Ｓ／Ｎ値が閾値ｔｈより大きいと判定された場合、Ｓ４０７に処理を進める。Ｓ４０７では、動画符号化処理に使用するピクチャタイプに対し、Ｐピクチャを省き、Ｉピクチャのみを用いる処理が実行される。次の４０８でメモリ容量監視部１１９は、監視中の静止画処理領域の使用量がｌｅｖｅｌ２より大きいか否かを判定する。静止画処理領域の使用量がｌｅｖｅｌ２以下であると判定された場合、Ｓ４０６に処理を戻す。静止画処理領域の使用量がｌｅｖｅｌ２より大きいと判定されるまでの間、Ｓ４０７の処理を継続する。次のＳ４０８で静止画処理領域の使用量がｌｅｖｅｌ２より大きいと判定された場合、一連の処理を終了し（Ｓ４０９）、次の静止画連写タイミングが到来するまで処理待ちとなる（Ｓ４０１）。
【００１９】
次に、図４を参照して、本実施形態における信号処理時間とメモリ容量変化との関係を説明する。図４は、静止画に対する処理時間を横軸にとり、縦軸にはメモリ１１６にて静止画信号処理に使用するメモリ容量を示す。図中の逆三角形マークおよびＴＸは、図２（Ｂ）で説明した通りである。
動画および静止画の同時記録時に静止画連写撮影を行う場合、図３（Ａ）に示す処理シーケンスを実行することにより、時間経過につれて破線で示すように、メモリ１１６における静止画処理領域のサイズが段階的に増加する。つまり、Ｔ１からＴ５までは上限がｌｅｖｅｌ０であり、Ｔ６からＴ８までは上限がｌｅｖｅｌ１であり、Ｔ９以降の上限はｌｅｖｅｌ２である。その結果、動画処理領域のサイズに対して静止画処理領域のサイズの割合が大きくなる。よって、動画および静止画の同時記録時の静止画連写枚数を増やすことができる。なお、本実施形態では３段階の上限設定を例示したが、４段階以上の設定を行ってもよい。また、動画符号化処理にて得られたＳ／Ｎ値に基づいて、動画符号化処理に使用するピクチャタイプの決定処理が行われる（図３（Ａ）：Ｓ４０４およびＳ４０７参照）。よって、動画および静止画の同時記録時に静止画連写撮影を行う場合の動画の画質低下を極力、抑制できる。
第１実施形態によれば、メモリ使用量を監視してメモリマッピングを適応的に変更することにより、動画の画質劣化を抑制しつつ、静止画の記録枚数を増加させることができる。よって、動画および静止画の同時記録を行う場合の静止画連写撮影の枚数を容易に増やすことができる。
【００２０】
［第２実施形態］
次に、図５を参照して本発明の第２実施形態を説明する。なお、第２実施形態に係る撮像装置の構成要素は図１と同様であるため、以下では第１実施形態で使用した符号と同じ符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。
図５（Ａ）は、第２実施形態に係る、動画および静止画の同時記録時に静止画連写撮影を行う場合の処理例を説明するフローチャートである。図５（Ｂ）には、図５（Ａ）に示す処理を実行した場合の、静止画に対する信号処理時間とメモリ１１６にて静止画信号処理に使用するメモリ容量の時間的変化を例示する。横軸は静止画に対する処理時間を示し、縦軸はメモリ１１６（ＤＲＡＭ）における静止画処理領域の使用量を示す。なお、メモリ１１６の記憶領域の分割方法は図３（Ｂ）と同様であるものとする。
【００２１】
図５（Ａ）において、Ｓ６０１ないしＳ６０７、並びにＳ６０９およびＳ６１０に示す処理は、図３（Ａ）のＳ４０１ないし４０７、並びにＳ４０８およびＳ４０９にそれぞれ示す処理と同様である。よって、Ｓ６０７に続くＳ６０８を説明する。
Ｓ６０８でシステム制御部１１８は撮像素子１０２に対し、画素データを当該素子から読み出す間隔を延長するように指示する。このとき、システム制御部１１８は垂直同期信号を単位として撮像素子１０２から画素データを読み出すタイミングを制御する。この処理は、Ｓ６０９でメモリ１１６（ＤＲＡＭ）における静止画処理領域の使用量がｌｅｖｅｌ２よりも大きいと判定されるまでの間中、継続する。すなわち、静止画処理領域の使用量がｌｅｖｅｌ１からｌｅｖｅｌ２の間、静止画撮影の連写間隔が延長される。
第２実施形態では、動画および静止画の同時記録時に静止画連写撮影を行う場合、図５（Ａ）に示す処理シーケンスを実行する。図５（Ｂ）に示すように、処理時間の経過に伴い、メモリ１１６における静止画処理領域に対する上限が段階的に増加し、その結果、静止画連写撮影の枚数を増やすことができる。また、動画符号化処理にて得られたＳ／Ｎ値に応じて、動画符号化処理に使用するピクチャタイプを決定する処理が実行されるため、静止画連写撮影時における動画の画質劣化を極力、抑制することができる。
【００２２】
更にはメモリ１１６において、動画符号化処理に使用可能な領域を削減し、静止画処理に使用可能な領域を増やしていくことができる。動画符号化処理にて必要な最低限の領域が、確保できる上限の領域に近づいた場合、静止画連写記録のタイミングを延長する処理（図５：Ｓ６０８参照）が実行される。これは、図５（Ｂ）にて、静止画処理領域の使用量がｌｅｖｅｌ１を超えた後で、ｌｅｖｅｌ２以下である期間中、処理時間の時間間隔（ＴＷ参照）が長くなることで表している。すなわち、静止画連写記録のタイミングを延長する処理を行わない場合に比べて、静止画処理領域の使用量が上限（ｌｅｖｅｌ２参照）を超えるまでにかかる処理時間が長くなるので、このことは更なる連写枚数の確保につながる。
静止画連写記録のタイミングを延長する処理については、動画符号化処理に必要な最低限の領域が、確保できる上限の領域に近づいてきた場合にのみ実行される。これにより、ユーザが意図した静止画撮影の連写タイミングに対する誤差（静止画キャプチャのタイミングを延長した際に生じる時間差）が極力、発生しないように回避できる。
【符号の説明】
【００２３】
１０２：撮像素子
１０９：動画符号化部
１１０：記録信号処理部
１１１：記録媒体
１１４：静止画符号化部
１１５：静止画記録媒体
１１６：メインメモリ
１１８：システム制御部
１１９：メモリ容量監視部
１２０：マッピング変更部
【図１】
2014014042.tif 000003
【図２】
2014014042.tif 000004
【図３】
2014014042.tif 000005
【図４】
2014014042.tif 000006
【図５】
2014014042.tif 000007