(57)【特許請求の範囲】
【請求項１】
撮像手段で撮像した画像データを記憶媒体に記録する撮像装置であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームデータの格納アドレスを示すオフセット値とを前記記憶媒体に書き込む動画像撮影記録手段と、
前記動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
前記判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画像データとする静止画像ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
前記撮像手段によって前記静止画像データとする画像データの読み出しが終わった後に、前記動画撮影記録手段による動画撮影記録を再開する再開手段と、
前記静止画撮影記録手段で得られた前記静止画像データから擬似動画フレームデータを生成し、前記動画像撮影記録手段による動画撮影記録が中断されてから再開されるまでの期間の複数の欠落フレームの格納アドレスが前記擬似動画フレームデータの格納アドレスを指し示すように、該複数の欠落フレームのオフセット値を調整する調整手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記動画像撮影記録手段で記録する各フレームデータは、前記撮像手段から所定ライン間隔で抽出された画像を更に間引きして生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記調整手段は、予め設定されたオフセットの位置に前記擬似動画フレームを格納し、前記複数の欠落フレームのオフセット値が前記予め設定されたオフセットの位置を示すように調整することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
更に、音声入力手段を備え、
前記動画像撮影記録手段は、予め設定された単位時間の前記音声入力手段によって得られた前記音声データと前記単位時間に撮像されるべき個数のフレームデータとを１セットとし、当該セット内の各データを、それぞれのデータの格納アドレスを示すオフセット値とともに前記記憶媒体に格納することを特徴とする請求項１乃至３のいずれか1つに記載の撮像装置。
【請求項５】
前記調整手段は、
前記動画像撮影記録手段による動画像撮影記録が中断されてから再開されるまでの期間に、
各フレームに対して前記記憶媒体に格納されたブラックアウトフレームの格納アドレスを示す同じオフセット値が設定される第１の期間と、
各フレームに対して前記記憶媒体に格納された前記擬似動画フレームの格納アドレスを示す同じオフセット値が設定される第２の期間と、
が存在するように各フレームのオフセット値を調整することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
撮像手段で撮像した画像データを記憶媒体に記録する撮像装置の制御方法であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームデータの格納アドレスを示すオフセット値とを前記記憶媒体に書き込む動画像撮影記録工程と、
前記動画像撮影記録工程による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断工程と、
前記判断工程で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録工程による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画像データとする静止画像ファイルを前記記憶媒体に格納する静止画撮影記録工程と、
前記撮像手段によって前記静止画像データとする画像データの読み出しが終わった後に、前記動画撮影記録を再開する再開工程と、
前記静止画撮影記録工程で得られた前記静止画像データから擬似動画フレームデータを生成し、前記動画像撮影記録工程による動画撮影記録が中断されてから再開されるまでの期間の複数の欠落フレームの格納アドレスが前記擬似動画フレームデータの格納アドレスを指し示すように、該複数の欠落フレームのオフセット値を調整する調整工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項７】
撮像手段で撮像した画像データを記憶媒体に記録する撮像装置であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームデータの格納アドレスを示すオフセット値とを前記記憶媒体に書き込む動画像撮影記録手段と、
前記動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
前記判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画像データとする静止画像ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
前記撮像手段によって前記静止画像データとする画像データの読み出しが終わった後に、前記動画撮影記録手段による動画撮影記録を再開する再開手段と、
前記動画像撮影記録手段による動画撮影記録が中断されてから再開されるまでの期間の複数の欠落フレームの格納アドレスが、前記静止画撮影記録の指示の直前に撮像され前記記憶媒体に格納されたフレームデータの格納アドレスを指し示すように、該複数の欠落フレームのオフセット値を調整する調整手段と、
を備えることを特徴とする撮像装置。
【請求項８】
前記動画像撮影記録手段で記録する各フレームデータは、前記撮像手段から所定ライン間隔で抽出された画像を更に間引きして生成することを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮像手段で撮像した画像データを記憶媒体に記録する撮像装置の制御方法であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームデータの格納アドレスを示すオフセット値とを前記記憶媒体に書き込む動画像撮影記録工程と、
前記動画像撮影記録工程による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断工程と、
前記判断工程で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画像データとする静止画像ファイルを前記記憶媒体に格納する静止画撮影記録工程と、
前記撮像手段によって前記静止画像データとする画像データの読み出しが終わった後に、前記動画撮影記録を再開する再開工程と、
前記動画撮影記録が中断されてから再開されるまでの期間の複数の欠落フレームの格納アドレスが、前記静止画撮影記録の指示の直前に撮像され前記記憶媒体に格納されたフレームデータの格納アドレスを指し示すように、該複数の欠落フレームのオフセット値を調整する調整工程と、
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、撮像素子等の固体撮像素子が撮像した被写体の画像信号をデジタル信号に変換し、その画像データを記録媒体に記録するデジタルカメラが普及してきている。その中には、通常の静止画撮影機能に加え、動画像と音声とを同時に記録する音声付き撮影機能を備えたものがある。
【０００３】
かかるデジタルカメラでは、通常、撮影モードとして静止画撮影を行う静止画撮影モードと、動画撮影を行う動画撮影モードとを個別に設け、キー操作等のユーザー操作によってモード遷移を行う仕様となっている。
【０００４】
また、動画撮影中に静止画撮影を行う技術も知られている（例えば、特許文献１）。この技術によると、動画撮影記録中に静止画を撮影すると、動画像の記録を中断し、静止画の撮影記録を行なう。そして、静止画の撮影記録処理が完了すると、中断する直前の動画像のフレームデータ、或いは、静止画撮影で得られた静止画を代替フレームデータとし、中断期間のフレーム数分だけ繰り返し使用（コピー）して、動画像撮影記録を継続するものである。
【特許文献１】特開２００４−２０１２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記のように静止画を撮影記録するモードと、動画を撮影記録するモードとを有し、且つ、動画撮影記録中に静止画を撮影すると、静止画撮影処理の期間に欠落したフレームを補う必要がある。これまでは、同じフレームデータを繰り返し生成しては格納しているので、最終的に生成される動画像ファイルは冗長なものとなり、まだまだ改善の余地がある。
【０００６】
また、中断した分の複数フレームのデータのメモリへの書き込みと静止画データの書き込みを必要とするので、制御回路やプロセッサにかかる負担も大きくなる。必然、処理能力の高い制御回路やプロセッサを必要とし、コスト的にも問題が残る。
【０００７】
本発明はかかる点に鑑みなされたものである。そして、動画像撮影記録中に静止画撮影記録を行なう場合に、動画像ファイルのサイズが冗長となるのを抑制しつつ、且つ、静止画撮影によって欠落した動画像フレームの記録処理による装置にかかる負担を大幅に軽減させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段で撮像した画像データを記憶媒体に記録する撮像装置であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームデータの格納アドレスを示すオフセット値とを前記記憶媒体に書き込む動画像撮影記録手段と、
前記動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
前記判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画像データとする静止画像ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
前記撮像手段によって前記静止画像データとする画像データの読み出しが終わった後に、前記動画撮影記録手段による動画撮影記録を再開する再開手段と、
前記静止画撮影記録手段で得られた前記静止画像データから擬似動画フレームデータを生成し、前記動画像撮影記録手段による動画撮影記録が中断されてから再開されるまでの期間の複数の欠落フレームの格納アドレスが前記擬似動画フレームデータの格納アドレスを指し示すように、該複数の欠落フレームのオフセット値を調整する調整手段とを備える。
【発明の効果】
【０００９】
本発明によれば、動画像撮影記録中にも静止画撮影記録を許容し、且つ、その際の静止画撮影記録によって欠落したフレームのフレームデータの生成及び書き込みが従来と比べ大幅に軽減される。従って、生成される動画像ファイルのサイズも小さなものとでき、且つ、装置にかかる負担も大幅に軽減することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。
【００１１】
図１は、実施形態における撮像装置としてのデジタルカメラのブロック構成図である。本実施形態におけるデジタルカメラは、通常の静止画撮影記録機能に加え、動画撮影記録機能、音声付きの動画撮影機能を備えたデジタルカメラである。
【００１２】
デジタルカメラは、撮像素子２とＤＳＰ／ＣＰＵ１とを有している。ＤＳＰ／ＣＰＵ１は、画像データの圧縮・伸張、音声データの処理を含む各種のデジタル信号処理機能を有するとともにデジタルカメラの各部を制御するワンチップマイコンである。
【００１３】
ＤＳＰ／ＣＰＵ１には、撮像素子２を駆動するＴＧ（Timing Generator）３が接続されている。また、ＤＳＰ／ＣＰＵ１には、撮像素子２から出力される被写体の光学像に応じたアナログの撮像信号を入力し、デジタルデータに変換するユニット回路５が接続されている。ユニット回路４は、撮像素子２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路を備える。また、ユニット回路４は、更に、撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）を備える。この結果、撮像素子２の出力信号はユニット回路４を経てデジタル信号としてＤＳＰ／ＣＰＵ１に送られることになる。
【００１４】
ＤＳＰ／ＣＰＵ１には、キー入力部５、音声処理部６、表示装置７が接続されるとともに、アドレス・データバス８を介してＤＲＡＭ９、内蔵フラッシュメモリ１０、カード・インターフェイス１１が接続されている。カード・インターフェイス１１には、デジタルカメラの本体の図示しないスロットルに装着された着脱自在な記憶媒体としてのメモリ・カード１２が接続されることになる。
【００１５】
表示装置７はカラーＬＣＤとその駆動回路とを含む。撮影待機状態にあるとき、表示装置７は撮像素子２によって撮像された被写体画像をＥＶＦに表示する（ＥＶＦスルー画像表示処理）。また、表示装置７は、記録画像の再生時には、保存用メモリであるメモリ・カード１２から読み出され伸張された記録画像（静止画又は動画）を表示する。また、表示装置７は、ＤＳＰ／ＣＰＵ１の制御下において、各種設定のためのメニュー表示も行なう。
【００１６】
キー入力部５には、静止画撮影を行なうためのシャッターボタン、動画撮影に使用する録画開始／終了ボタン、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ１に出力する。なお、シャッターボタンは、半押し状態と、全押し状態とにおいて異なる出力信号を出力する２段階スイッチで構成される。
【００１７】
音声処理部６は、内蔵マイク、アンプ、Ａ／Ｄ変換器、内蔵スピーカー、Ｄ／Ａ変換器等を含み、音声付きの静止画又は動画の撮影時には、内蔵マイクに入力した音声をデジタル信号に変換してＤＳＰ／ＣＰＵ１へ送る。ＤＳＰ／ＣＰＵ１へ送られた音声データはＤＲＡＭ９に順次蓄積され、最終的には、ＤＳＰ／ＣＰＵ１によって生成された画像データと共にメモリ・カード１２に記録される。また、音声処理部６は、音声付きの静止画又は動画の再生時には、各画像に付属する音声データに基づく音声を再生して内蔵スピーカから音声出力する。また、必要に応じ、内蔵スピーカーにより各種の報知音を放音する。
【００１８】
ＤＲＡＭ９は、撮像素子２により撮像された後、デジタル化された被写体の画像データ等を一時記憶するバッファメモリであるとともに、ＤＳＰ／ＣＰＵ１のワーキングメモリとしても使用される。内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ１による各部の制御に必要な制御プログラム、すなわちＡＦ（オートフォーカス制御）やＡＥ（自動露出制御）等を含む各種の制御に必要なプログラムが格納されている。また、この内蔵フラッシュメモリ１０には各制御に必要なデータも記憶されている。ＤＳＰ／ＣＰＵ１は前記プログラムを実行することにより、デジタルカメラとして機能することになる。
【００１９】
上記構成における実施形態のデジタルカメラにおける処理を図２乃至図４、及び図６のフローチャートに従って説明する。実施形態では、撮影モードとして静止画撮影記録モード、動画撮影記録モードを有し、後者においては動画像撮影中にあっても静止画を記録することを許容する。何れのモードを選択するかは、キー入力部５に設けられたＭＥＮＵキーを操作した際に、表示装置７に選択メニューを表示させ、キー入力部５による十字キーや確定キーを操作することで行なう。静止画撮影モードについては、通常のデジタルカメラと同様であるので、ここでは動画像撮影モードが選択された場合について説明する。
【００２０】
ＤＳＰ／ＣＰＵ１は、上記撮影モードが設定されると、撮像素子２による撮像を開始して被写体のＥＶＦ（Electric View Finder）スルー画像を表示装置７への表示を開始する（ステップＳ１）。そして、この表示処理、キー入力部５による録画開始ボタンの操作や、シャッターボタンの半押し操作がない間を繰り返す（ステップＳ２，Ｓ３が共にＮＯ）。その後、録画開始ボタンが操作されると（ステップＳ２でＹＥＳ）、ステップＳ１３以降の音声付き動画撮影記録処理に移行し、シャッターボタンの半押し操作があると（ステップＳ３でＹＥＳ）、図３に示したステップＳ４〜Ｓ１２の静止画撮影処理に移行する。
【００２１】
まず、静止画撮影処理について説明する。ＤＳＰ／ＣＰＵ１は、シャッターボタンの半押し操作を検出すると（ステップＳ３でＹＥＳ）、ＡＦ処理及びＡＥ処理により撮影条件の設定を行う（ステップＳ４）。それが完了したら（ステップＳ５でＹＥＳ）、その旨をユーザーに知らせるため音声処理部６のスピーカによる報知音の放音、及び表示装置７によるメッセージ等の報知表示を行う（ステップＳ６）。このあと、設定した撮影条件で撮像素子２による撮像を開始し、表示装置７にＥＶＦスルー画像を表示させる（ステップＳ７）。ここで、シャッターボタンの全押し操作がなく、シャッターボタンの半押し操作が継続されている間は、ステップＳ７へ戻りＥＶＦスルー画像の表示処理を継続する（ステップＳ８でＮＯ、ステップＳ９でＹＥＳ）。
【００２２】
その後、ＥＶＦスルー画像を表示している間にシャッターボタンの全押し操作を検出すると（ステップＳ８でＹＥＳ）、予め内蔵フラッシュメモリ１０に記憶されている疑似シャッター音を音声処理部６のスピーカから出力する（ステップＳ１０）。そして、撮像素子２による被写体画像の記録用の撮像、及びその画像データの生成等の静止画処理を開始する（ステップＳ１１）。すなわち、静止画処理とは、２つの処理で構成される。１つは、撮像素子２に対し、比較的長い出力撮像タイミングで１画面中の偶数ライン、奇数ラインの画素信号を順に出力させて、撮像信号をデジタル信号に変換する処理である。もう１つは、全画素分のデータをバッファメモリ（ＤＲＡＭ９）に取り込み、取り込んだ画像データを圧縮する処理である。そして、それが完了したら、圧縮した画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）をメモリ・カード１２に記憶する（ステップＳ１２）。以上が静止画ファイル生成処理となる。この後、ステップＳ１へ戻る。
【００２３】
つまり通常の静止画撮影モードでの処理と同様の、ごく一般的な処理により静止画を撮影して記録する。なお、ＥＶＦスルー画像を表示する間にシャッターボタンの半押しが解除された場合には（ステップＳ９でＮＯ）、その時点で直ちに静止画撮影処理を終了しステップＳ１へ戻る。すなわち、静止画撮影処理とは、撮像素子２による被写体画像の記録用の撮像、ＡＥ、ＡＦ処理、ＥＶＦスルー画像表示をし、画像データの生成等の静止画処理を行い、静止画ファイル生成を行う。
【００２４】
次に、音声付き動画撮影処理について説明する。
【００２５】
ＤＳＰ／ＣＰＵ１は、前述した撮影モードの設定直後におけるＥＶＦスルー画像の表示状態でユーザにより動画の録画開始ボタンが操作されたことを検出すると（ステップＳ２でＹＥＳ）、ステップＳ１３に処理を進める。このステップＳ１３では、動画記録処理と、音声処理部６の内蔵マイクに入力した音声信号の音声データへの変換で得られた動画像の各フレームと音声データの記録を開始する。
【００２６】
この動画像処理を詳しく説明すると次の通りである。
【００２７】
実施形態において、最終的にメモリカード１２に格納される動画像ファイルはＭｏｔｉｏｎＪＰＥＧフォーマットとした。これは、動画像を構成する個々のフレームをＪＰＥＧ符号化技術を利用して符号化し、そのＪＰＥＧ符号化して得られた各フレームを順に格納するものである。ＪＰＥＧ自身は可変長符号化であるので、各フレームの符号化サイズは変動する。従って、各フレームのサイズに応じたオフセット（オフセットアドレス）を生成し、次のフレームのアドレスを決定していくことになる。つまり、ＭｏｔｉｏｎＪＰＥＧファイルは、各フレームの符号化データとオフセットとの組み合わせにより構成されることになる。
【００２８】
図１０はオフセットとフレームとの関係を示している。それぞれのオフセット値は、例えば、時間的に隣り合った動画フレームのデータサイズによって決まる。オフセット１の値が１００で、フレーム１のデータサイズが１００のとき、オフセット２の値は２００となる。たとえば、動画撮影で得られた動画フレーム１〜９は、オフセット値はオフセット１〜９となる。従って、ＭｏｔｉｏｎＪＰＥＧの場合、所望とするフレームのアドレスはオフセットから導き出され、且つ、各フレームはそれ単独で復号できるので、所望とするフレームから再生することが可能になる。
【００２９】
さて、ＤＳＰ／ＣＰＵ１が録画開始ボタンが操作されたことを検出すると、メモリカード１２上に、書き込み用の動画像ファイルを新規オープンする。このとき、新規オープンしたファイルのヘッダを作成すると共に、ＤＲＡＭ９の所定エリアに初期オフセットを生成し格納しておく。そして、例えば、フレームレートを３０ｆｐｓとする場合、撮像素子２により得られた１／３０秒間隔で得られた画像データ（動画フレーム）を、ＶＧＡクラスの解像度に落とし（間引き処理を実行し）、バッファメモリ（ＤＲＡＭ９）に一時的に格納する。そして、そのＶＧＡクラスにまで間引かれたフレームをＪＰＥＧ符号化しては、メモリカード１２への書き込みを行なう。
【００３０】
解像度を落とす理由は、一般に、動画像はＴＶ装置等の表示装置に表示することを目的とするものであり、ＴＶ装置の表示解像度が現状ではＶＧＡ（６４０×４８０ドット）程度であるためである。実施形態では、この解像度を落とす処理を少しでも軽減するため、撮像素子２により得られた画像データ中の奇数ラインのデータのみ（偶数ラインは破棄）を抽出し、バッファメモリに書き込み、最初から情報量を少ない状態にする。その上で解像度を落とす処理を行なう。従って、撮像素子で撮像可能な画素数が非常に多い場合には、奇数ラインではなく、Ｎライン中１ラインのみを抽出した後、間引き処理を行なっても構わない。
【００３１】
さて、ＪＰＥＧ符号化が終了すると、現フレームの符号化データをＤＲＡＭ９に確保されたメモリカード１２への書き込み用出力バッファに格納する。このとき、現フレームの符号化データ量が判明しているので、そのデータ量と前フレームオフセット値を加算することで、現フレームのオフセットをＤＲＡＭ９に生成し、格納する。現フレームのオフセット値が、次のフレームの符号化データのオフセットとして利用するためである。
【００３２】
なお、書き込み用出力バッファに格納された符号化データは、そのバッファサイズにもよるが、その充足度が所定値を越えた段階で、ＤＳＰ／ＣＰＵ１の制御によりメモリカード１２に書き込まれる。また、実際には、音声データを含むことになるので、オフセットの値は音声データを加味したものとなる。音声付きＭｏｔｉｏｎＪＰＥＧ形式のファイル構造そのものは公知であるので、ここでの説明は省略する。以上が実施形態における音声付き動画像の記録処理である。
【００３３】
さて、動画像記録処理が開始されると、シャッターボタンの半押し、録画終了ボタンが操作が検出されるまで、ＥＶＦスルー画像表示処理（ステップＳ１４）、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。
【００３４】
ここで、録画終了ボタンが操作されると（ステップＳ１６でＹＥＳ）、処理はステップＳ１７に進む。ここでは、ＤＳＰ／ＣＰＵ１は、ＤＲＡＭ９の書き込み用出力バッファ内に、メモリカード１２への未書き込みデータが残っている場合には、その書き込みを完了させる（フラッシュする）。そして、ＤＲＡＭ９に生成された各フレームのオフセット値についてもメモリカードに書き込む。そして、メモリカード１２上オープンしたファイルをクローズする。これにより音声付き動画ファイルの作成が完了する。すなわち、実施形態における音声付き動画撮影記録処理とは、ＥＶＦスルー表示、所定フレームレート（実施形態では３０ｆｐｓ）で各フレーム及び音声データの圧縮符号化して、出力バッファを介してのメモリカード１２への記録処理のことである。
【００３５】
なお、音声付き動画ファイルの生成時において、音声データは動画のフレーム単位（フレーム周期）で時間軸方向に分割されてファイリングやパケット化が行われるとともに、動画ファイルのヘッダ上の時刻情報によってフレーム画像と同期化される。また、動画ファイルとは別個に音声ファイルを生成し、これらを関連付けて記録するようにしてもよい。
【００３６】
この後は、再び、ステップＳ１へ戻り、次の録画開始やシャッタボタンの操作に備えることになる。
【００３７】
次に、ＤＳＰ／ＣＰＵ１が、音声付き動画撮影記録処理を実行中に、シャッターボタンが操作された場合について説明する。この処理は、図２のステップＳ１５がＹｅｓと判断された場合でもある。
【００３８】
音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図４のステップＳ１８に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ１９でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行い（ステップＳ２０）、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ２１）。なお、この報知処理は行なわないようにしてもよい。その後、シャッターボタンの全押しが検出された場合（ステップＳ２２でＹＥＳ）、動画撮影処理を中断し、静止画処理を行うことによって欠落する動画フレーム数のカウント処理を開始する（ステップＳ２４）。前述した通常の静止画撮影処理のステップＳ１０における疑似シャッター音の出力処理は行なわない。
【００３９】
ステップＳ２５では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する（ステップＳ２５）。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記憶する（ステップＳ２６）。これにより静止画撮影記録を終了する。
【００４０】
この後、処理はステップＳ２７に進む。ここでは、静止画として撮像された静止画データからＶＧＡサイズの画像データを生成し、それをＪＰＥＧ符号化する。そして、そのＪＰＥＧ符号化された画像データを擬似的な動画像用のフレームとして、動画像保存用にオープンしているファイルに追加書き込むべく、メモリ・カード１２に記録（追記）する。
【００４１】
その後、次の動画フレーム周期の到来を待って動画像撮影記録を再開する（ステップＳ２８）。この理由は、実施形態での動画像の撮影フレームレートを３０ｆｐｓとしているので、動画像の再開タイミングを１／３０秒に同期させるためである。
【００４２】
この後、ステップＳ２９に進んで、動画像撮影記録を中断してから、再開するまでの間に何フレームが欠落したのかに応じて、そのフレーム数のオフセットを設定する。このオフセット設定処理の詳細を示すのが、図６のフローチャートである。
【００４３】
実施形態では、動画像撮影記録が中断し、再開されるまでの間に本来存在するはずであったフレーム（欠落フレーム）を、静止画を撮影した画像データに基づいて作成したフレームを用いるものとした。
【００４４】
このため、まず、初期値として変数ｉに“０”を格納する。次いで、変数ｉが静止画処理により欠落したフレーム数未満である限り、現在のオフセットの値をセットする処理を繰り返す（ステップＳ３１乃至Ｓ３３）。セットするオフセット値は、動画像撮影記録が中断した段階でのオフセット値となる。従って、結局のところ、欠落フレームの最後のフレームを除く、各フレームのオフセットは、ステップＳ２７で保存した静止画データから生成されたフレームのデータを指し示すことになる。そして、変数ｉが欠落した最後のフレームになった場合（ステップＳ３３がＹｅｓ）、静止画より得られたフレームの符号化データ量を足し込んだ値に設定する（ステップＳ３４）。これは、動画像撮影記録が再開した際の最初のフレームのオフセットアドレスを設定するためである。
【００４５】
以上のようにして、動画像撮影記録の再開が行われることになり、図２のステップＳ１４に戻る。
【００４６】
上記の結果、生成される動画像ファイルの構造は例えば図１１に示すものとなる。図示では、フレーム４乃至６までの期間が静止画撮影記録により欠落した場合を示している。フレーム３の記録が完了した場合、次のフレーム４のオフセットアドレスが決定されるので、図示のように、オフセットの番号がずれる。しかし、フレーム４乃至６については、静止画撮影により得られたフレーム（図示の「動画フレームＳ」）が指し示されるようになる。また、動画像撮影記録の再開直後のフレーム７については、静止画撮影で得られたフレームのデータ量だけ増加したアドレスに設定されている。
【００４７】
以上説明したように本実施形態によれば、動画像撮影記録中に、静止画の撮影記録が可能になる。また、静止画の撮影記録が完了するまでの間に欠落した複数フレームについては、静止画撮影で得られた１つのフレームの記憶処理だけになり、複数フレームの格納処理は不要となる。従って、ＤＳＰ／ＣＰＵ１の負担も少なくて済み、且つ、生成される動画像ファイルのサイズも、これまでと比べて小さなものとすることが可能になる。
【００４８】
上記実施形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影であっても構わない。
【００４９】
＜第２の実施形態＞
上記実施形態（第１の実施形態）では、動画処理再開後（ステップＳ２８）の後にオフセット値設定処理（ステップＳ２９）を行った。シャッター全押し操作がなされてから、静止画撮影及びメモリカード１２への書き込みが完了するまでの時間、すなわち、動画像の欠落フレーム数が固定である場合には、欠落数のフレームを算出するため計時が不要にできる。
【００５０】
そこで、本第２の実施形態では、かかる点に対応する例を説明する。本第２の実施形態における装置構成は第１の実施形態と同じであるものとし、以下では、図４に代わる処理を図９のフローチャートに従って説明する。この図９のフローチャートは、図２におけるステップＳＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順であることに注意されたい。
【００５１】
図９のフローチャートにおいて図４と異なる点は、ステップＳ２４に代わってステップＳ２４’、ステップＳ２８に代わってステップＳ２８’をそれぞれ設けた点である。それ以外は図４と同じである。
【００５２】
本第２の実施形態では、シャッター全押しを検出すると、ステップＳ２４’において、動画像の各フレームの取得周期（実際には動画像取得は行なえない）に合わせてオフセット値を格納する処理を開始する。格納するオフセット値は、シャッタ全押し直前のオフセットをそのまま格納するようにする。
【００５３】
この後、ステップＳ２５乃至Ｓ２７にて、静止画撮影記録処理を行なう。そして、ステップＳ２８で動画像用のオフセット設定処理を終了すると共に、ステップＳ２７で得られた静止画から生成された動画像用のフレームデータのサイズ分だけ、従前のオフセットに加算し設定する。そして、動画像撮影記録を再開する。
【００５４】
以上の様に処理することで、第１の実施形態と同様の作用効果を奏することが可能になる。また、第１の実施形態と比べて欠落フレームのカウント処理が不要になるので、ＤＳＰ／ＣＰＵ１にかかる負担も軽減できる。
【００５５】
＜第３の実施形態＞
上記第１、第２の実施形態では、動画像撮影記録中に静止画を撮影したことによって、動画像の欠落フレームを静止画撮影した画像を利用するものとして説明した。すなわち、欠落フレームのオフセットは、静止画撮影した画像（ただし、解像度を落とす処理を行なって得られた画像）を指し示すようにした。
【００５６】
本第３の実施形態では、動画像撮影記録中に静止画撮影記録した場合の、動画像記録中断によって生じた欠落フレームを、静止画撮影記録する直前の動画像のフレームを参照する例を説明する。換言すれば、動画像撮影記録中に静止画撮影した場合の、最後の動画像フレームを、欠落フレームが参照するようにする。
【００５７】
第３の実施形態における装置構成は第１の実施形態と同じとしその説明は省略する。以下では、図４に代わる処理を図５のフローチャートに従って説明する。この図５のフローチャートは、図２におけるステップＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順である。また、図４と実質的に同じ処理については同符号を付した。
【００５８】
音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図５のステップＳ１８に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ１９でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行い（ステップＳ２０）、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ２１’）。なお、この報知処理は行なわないようにしてもよい。
【００５９】
その後、シャッターボタンの全押しが検出された場合（ステップＳ２２でＹＥＳ）、動画撮影処理を中断し、静止画処理を行うことによって欠落する動画フレーム数のカウント処理を開始する（ステップＳ２４）。ステップＳ２５では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する（ステップＳ２５）。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記憶する（ステップＳ２６）。これにより静止画撮影記録を終了する。
【００６０】
この後、処理はステップＳ２８に進み、動画像撮影記録を中断してから、再開するまでの間に何フレームが欠落したのかに応じて、そのフレーム数分のオフセットを設定する。このオフセット設定処理の詳細を示すのが、図７のフローチャートである。
【００６１】
実施形態では、動画像撮影記録が中断し、再開されるまでの間に本来存在するはずであったフレーム（欠落フレーム）を、静止画撮影記録する直前の動画像フレームを指し示すようにする。
【００６２】
動画撮影記録時では、或る時点で撮像された動画フレームのサイズをオフセットに足し込むことで、次の動画像フレームの格納位置を指し示すようにしている。そのため、先ず、このオフセットの値を、静止画撮影記録の直前のオフセットに戻す必要がある。
【００６３】
そこで、先ず、ステップＳ３００では、最後に得られた動画画像フレームのサイズ分だけ、現オフセット値から減算じることで、オフセットを修正する。
【００６４】
この後、初期値として変数ｉに“０”を格納する（ステップＳ３０１）。次いで、変数ｉが静止画処理により欠落したフレーム数未満である限り、現在のオフセットの値をセットする処理を繰り返す（ステップＳ３０２乃至Ｓ３０４）。セットするオフセット値は、先のステップＳ３００で得られたオフセット値である。従って、結局のところ、欠落フレームの最後のフレームを除く、各フレームのオフセットは、静止画撮影記録する直前の動画像フレームのデータを指し示すことになる。そして、変数ｉが欠落した最後のフレームになった場合（ステップＳ３０４がＹｅｓ）、ステップＳ３０５進み、先のステップＳ３００で減じたフレームのサイズをオフセットに加算することで、動画像撮影記録の再開に備える。
【００６５】
以上のようにして、動画像撮影記録の再開が行われることになり、図２のステップＳ１４に戻る。
【００６６】
先に説明した第１、第２の実施形態では、動画像撮影記録中に静止画撮影記録が行われると、その静止画撮影した画像データを動画像データのフレームとしてメモリカード１２に書き込んだ。本第３の実施形態によれば、動画像撮影記録中に静止画撮影記録が行わると、その静止画撮影記録の直前の動画像のフレームを、各欠落フレームが参照するようにし、欠落フレームのための動画像フレームの生成、書き込みは行なわない。従って、ＤＳＰ／ＣＰＵ１にかかる負担は更に軽減させることが可能になる。
【００６７】
上記をより分かりやすく説明すると次の通りである。
【００６８】
図１２は、動画フレーム４の時点で静止画撮影を施した場合、動画撮影中断による欠落するフレーム数が３フレームの例を示している。オフセット４〜６の全てが、動画撮影中の静止画処理を施す直前の動画フレーム３の参照アドレスを指定するオフセット３のオフセット値に設定している。図１１と比較し、欠落フレーム４乃至６用の静止画フレームを利用することがないので、その分だけ動画像ファイルのサイズを少なくできる。
【００６９】
なお、本第３の実施の形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影に本発明を適用してもよい。
【００７０】
また、本第３の実施の形態では、動画処理再開（図５のステップＳ２８）の後にオフセット値設定処理（ステップＳ２９）を行っている。しかし、シャッター全押し操作がなされ（ステップＳ２２）、あらかじめ静止画処理の直前の動画フレームの位置（オフセット値）が決まっているような場合には、第２の実施形態と同様に処理しても良い。すなわち、図９で示したように静止画処理（ステップＳ２５）を開始する前に、欠落するフレーム周期に同期しながら、静止画処理の直前のフレームデータのオフセット値を設定し始めてもよい（ステップＳ２４’）。
【００７１】
また、オフセット値設定処理（図５のステップＳ２９）は、フレームデータのサイズからオフセット値を設定することも可能なことから、動画撮影終了後に設定してもよい。このようにオフセット値設定処理（ステップＳ２９）は、動画ファイルを作成するまでに設定しておけばよいので、動画撮影処理中及び動画撮影処理終了時など、前後してもよい。
【００７２】
＜第４の実施形態＞
次に第４の実施の形態を説明する。上記第３の実施形態ではオフセット値を設定するフレームデータは、動画撮影を中断する直前のフレームデータを用いていた。本第４の実施形態では、あらかじめ用意された任意の動画フレーム（たとえば、モーションＪＰＥＧ形式の動画フレームＮとする）のオフセット値を指定するものである。そのため、オフセット値設定処理の図８のフローチャートのみを用いて説明する。
【００７３】
本第４の実施形態では、動画ファイルにあらかじめ用意された任意の動画フレームを記憶し、次に示すオフセット値設定処理で得られたインデックスを生成し、メモリ・カード１２に記憶する。
【００７４】
インデックスには、音声や動画フレームなどのデータを参照するためのオフセット値やデータサイズが記録されている。
【００７５】
図８のオフセット値設定処理は動画フレームＮのオフセット値を示すようにインデックスを作成するためのものである。
【００７６】
まず、それまで静止画処理により欠落したフレームをカウントした回数分、繰り返しオフセット値をセットするために初期値として変数ｉ＝０とする（ステップＳ３０１）。そして、欠落したフレームデータの固定のオフセットを示す値をセットする（ステップＳ３０２）。それを欠落した動画フレーム数分、繰り返しセットするためにｉをカウントアップする（ステップＳ３０３）。そして、欠落した動画フレーム数分、カウントアップしたと判断されるまで（ステップＳ３０４でＮｏである限り）、この処理を繰り返す。なお、このオフセット値設定処理は動画フレームＮのオフセット値を指定するものであるので、録画終了後に設定してもよい。
【００７７】
しかる後、前述した図２のステップＳ１４へ戻り、録画終了ボタンが操作されるまでＥＶＦスルー画像表示処理、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。そして、録画終了ボタンが操作されたら（ステップＳ１６でＹＥＳ）、書き込み用バッファに格納されていた未書き込みデータのメモリカードへの書き込みと、バッファメモリに蓄積されている前述したオフセットの書き込みを行なう（ステップＳ１７）。
【００７８】
これにより、動画撮影処理をいったん終了してステップＳ１へ戻り、以後、同様の動作を撮影モードが解除されるまで繰り返す。
【００７９】
以上のように本実施の形態においては、割り込みによる静止画処理によって動画フレームの撮像動作が中断している期間に、フレームデータの記録が必要なく、ファイルサイズの削減やメモリ・カード１２への書き込み負担も軽減されるという利点がある。
【００８０】
なお、本実施の形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影に本発明を適用してもよい。
【００８１】
また、本実施の形態では、動画処理再開後の後にオフセット値設定処理を行う。しかし、シャッター全押し操作がなされ、動画フレームＮの位置（オフセット値）が決まっているような場合、第２の実施形態の図９で示したような処理を行なっても良い。すなわち、静止画処理（ステップＳ２５）を開始する前に、欠落するフレーム周期に同期しながら、動画フレームＮのオフセット値を設定し始めてもよい（ステップＳ２４）。
【００８２】
また、オフセット値設定処理（ステップＳ２８）は、フレームデータのサイズからオフセット値を設定することも可能なことから、動画撮影終了後に任意のオフセット値を設定してもよい。このようにオフセット値設定処理（ステップＳ２８）は、動画ファイルを作成するまでに設定しておけばよいので、動画撮影処理中及び動画撮影処理終了時など、前後してもよい。
【００８３】
本第４の実施形態における動画ファイル上のフレームデータを参照するための値（オフセット値）と動画フレームの関係は図１３に示すようになる。図示は、動画撮影中に、図１０の動画フレーム４の時点で静止画撮影を施した場合、動画撮影中断による欠落したフレーム数が３フレームの場合を示している。オフセット４〜６を、あらかじめ用意された動画フレームＮ（たとえば動画ファイルの先頭０に動画フレームをはめ込まれた動画フレーム）の参照アドレスを指定するオフセット０のオフセット値に設定する。これによって、動画フレーム４の同じデータを参照することになり、動画フレーム４〜６のフレームデータは不要となる。図１３のように、動画フレームＮ、１〜３と７〜９のフレームデータのみメモリ・カード１２に記録するので、動画撮影中断中のフレームデータの削減ができ、メモリ・カード１２への書き込みによる負荷がなくなる。
【００８４】
＜第５の実施形態＞
次に第５の実施の形態を説明する。本第５の実施形態では、動画撮影中に静止画撮影を行うときの動画フレームと音声データがインターリーブされた動画ファイルの生成方法について説明する。
【００８５】
本第５の実施形態では、生成される動画ファイルは編集単位に音声データと動画フレームがインターリーブされている。例えば図１７（ａ）の従来例では、編集単位を１秒とすると、５ｆｐｓの動画では１秒分の音声データと５フレーム分の動画フレームがインターリーブされた動画ファイルなる。つまり、１つの音声データと５つの動画フレームを１セットして、動画ファイルに格納されることになる。図１７（ｂ）、（ｃ）に示す、本第５の実施形態、及び、後述する第６の実施形態でも編集単位を１秒とする音声データと動画フレームがインターリーブされた動画ファイルとなっている。なお、ここでは、編集単位を１秒とし、その中に１つの音声データと、５つの動画フレームが含まれる例を説明する。但し、これらの数字は説明を簡単にするためのものであり、これらの数字によって本発明が限定されるものではない。
【００８６】
さて、本第５の実施形態では、各音声データのオフセット番号を編集単位の最初の番号とする。そして、ＤＳＰ／ＣＰＵ１が編集単位の最初の番号かどうかの判定を行うために、動画撮影開始から動画撮影終了まで、各音声データと各動画フレームのオフセット番号をＤＳＰ／ＣＰＵ１がカウントする。
【００８７】
図１８（ａ）は従来例、同図（ｂ）は第５の実施形態、同図（ｃ）は第６の実施形態の各動画フレームと音声データを参照するためのオフセット値とデータサイズを示すインデックスを表している。
【００８８】
５ｆｐｓの動画では最初の音声データのオフセット番号を１とし、１番目の動画フレームのオフセット番号を２とする。従って、２番目の音声データのオフセット番号は１＋６＝７となる。すなわち、音声データは６Ｎ＋１（Ｎ＝０、１、２…、）が編集単位の最初のオフセット番号となる。
【００８９】
本第５の実施形態を説明するために、図１４のフローチャートを用いて説明する。この図１４の処理は、第１の実施形態における図４に代わる処理である。すなわち、図１４のフローチャートは、図２におけるステップＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順である。
【００９０】
音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図１４のステップＳ４０１に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ４０２でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行う（ステップＳ４０３）。その後、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ４０４）。なお、この報知処理は行なわないようにしてもよい。その後、シャッターボタンの全押しが検出された場合（ステップＳ４０５でＹＥＳ）、動画撮影処理を中断し、静止画処理とオフセット値設定処理を開始する（ステップＳ４０６）。但し、音声入力及びそのデータの格納処理は継続している。なお、このとき、前述した通常の静止画撮影処理のステップＳ１０における疑似シャッター音の出力処理は行なっても、行わなくてもよい。
【００９１】
ステップＳ４０６の静止画撮影処理では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記録する。これにより静止画撮影記録を終了する。
【００９２】
また、ステップＳ４０６におけるオフセット値設定処理については、図１５のフローチャートに従って更に詳しく説明する。
【００９３】
まず、ステップＳ４１０にて、静止画処理が終了したか否かを判断する。終了したと判断した場合には、本オフセット値設定処理を終了し、図１４のステップＳ４０７で、動画撮影のフレーム周期到来による動画撮影の再開を行う。
【００９４】
また、ステップＳ４１０にて、静止画処理が未完であると判断した場合には、ステップＳ４１１に進み、静止画撮影のために動画像記録中断している期間において、生成すべきデータのオフセット番号が編集単位の最初の番号であるか否かを判断する。つまり、生成しようとするオフセット番号が「６Ｎ＋１」であるか否かを判断する。
【００９５】
このステップＳ４１１の判断結果がＹｅｓの場合、現在のオフセット値にオーディオデータサイズ分を加算し、オーディオデータを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ４１２）。これにより、オーディオデータのバッファ領域が確保される。
【００９６】
次に、ステップＳ４１３において、現在のオフセット番号に１を加算し、静止画処理が終了したかどうかのステップＳ４１０の判定処理に戻る。
【００９７】
また、ステップＳ４１１で、生成すべきデータのオフセットが６Ｎ＋１以外、つまり、動画像フレームであると判断した場合、処理はステップＳ４１４に進み、動画撮影のフレーム周期となるのを待つ。そして、その動画像フレームの生成タイミングなったと判断した場合には、次のステップＳ４１５にて、編集単位内に代替フレームがあるか否かを判断する。オフセットが６Ｎ＋２である場合、編集単位の最初の動画像フレームであるので、代替フレーム無しと判断し、ステップＳ４１７に進んで、動画像記録が中断される直前の、符号化済みの動画フレームデータを、代替フレームとして出力バッファメモリに格納する。
【００９８】
そして、ステップＳ４１５において、動画フレームを生成するタイミングでのオフセットの６Ｎ＋２以外であると判断した場合、又は、ステップＳ４１７の処理を終えたと判断した場合、処理はステップＳ４１６に進む。このステップＳ４１６に処理が進むと、既に代替フレームが出力バッファに格納済みであるので、その代替フレームを参照するためのオフセット値とデータサイズを示すインデックスを作成する。
【００９９】
そして、ステップＳ４１３に進んで、現在のオフセット番号に１を加算し、静止画処理が終了したかの判定に戻る。
【０１００】
なお、図１４のステップＳ４０５でシャッターボタンの全押し操作がなく（ステップＳ４０５でＮＯ）、シャッターボタンの半押しが継続されているならば（ステップＳ４０８でＹＥＳ）、ステップＳ４０５に戻り、ＥＶＦスルー画像表示する。
【０１０１】
シャッターボタンの半押しが継続していないならば（ステップＳ４０８でＮＯ）、前述した図２のステップＳ１４へ戻る。この結果、録画終了ボタンが操作されるまでＥＶＦスルー画像表示処理、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。そして、録画終了ボタンが操作されたら（ステップＳ１６でＹＥＳ）、書き込み用バッファに格納されていた未書き込みデータのメモリカードへの書き込を行なう。また、このとき、バッファメモリに蓄積されている前述したインデックスの書き込みを行なう（ステップＳ１７）。
【０１０２】
これにより、動画撮影処理をいったん終了してステップＳ１へ戻り、以後、同様の動作を撮影モードが解除されるまで繰り返す。
【０１０３】
なお、各音声データはステップＳ４１２で確保したデータ領域を音声バッファとして随時記録してもよい。
【０１０４】
以上の結果、動画像記録中に静止画を撮影指示した場合、その静止画撮影開始時から静止画データのメモリカードへの書き込みが完了するまでの期間、動画像記録は中断することになる。この期間でのオフセット番号とオフセット値との関係は、図１８（ｂ）に示すようになる。
【０１０５】
図示の如く、編集単位である１つの音声データと５つの動画フレームでは、実質的に１つの音声データと１つの動画フレームのみが生成されることになり、５つある動画フレームは共通な１つの動画フレームを参照するように、そのオフセット値を設定できる。
【０１０６】
本第５の実施形態では、オフセット値設定処理を静止画処理と並行して行っているが、静止画処理を行っている間は、欠落フレームのカウントを行い、静止画処理を終了後に欠落フレームのカウント数をもとにオフセット値設定処理を行ってもよい。
【０１０７】
以上のように本第５の実施の形態においては、図１７（ｂ）のように、割り込みによる静止画処理を行なって動画フレームの撮像処理が中断している期間に、フレームデータの記録が従来と比べて大幅に軽減される。また、ファイルサイズの小さなものとなり、尚且つ、メモリ・カード１２への書き込み負担も軽減されるという利点がある。
【０１０８】
なお、図１７（ｂ）において、動画像のフレーム３の次には、実はフレーム４、５が存在する。フレーム４、５の再生時には、フレーム３をそのまま再生することを意味する。従って、図１７（ｂ）では、フレーム４、５については図示してない。
【０１０９】
＜第６の実施形態＞
次に第６の実施の形態を説明する。上記第５の実施形態では、動画撮影中に静止画撮影を行うときの動画フレームと音声データがインターリーブされた動画ファイルの生成方法について説明した。これに対し、本第６の実施形態では、動画撮影中に静止画撮影が行われた場合の臨場感を残すために、ブラックアウトフレームと前記記載の擬似的な動画像用のフレームを含んだ動画ファイルの生成方法を説明する。
【０１１０】
ブラックアウトフレームとは、シャッターが切られたときの撮像素子２の状態を擬似的に表した黒画像のフレームのことである。また、このブラックアウトフレームは、予め符号化されたデータとして、不揮発性メモリに格納されている。
【０１１１】
本第６の実施形態が第５の実施形態と異なる点は、ステップＳ４０６のオフセット値設定処理である。これ以外は、第５の実施形態と同じとして説明は省略する。
【０１１２】
説明を簡単なものとするため、本第６の実施形態でも、編集単位は１つの音声データと、５つの動画フレームで構成されるものとする。
【０１１３】
本第６の実施形態におけるステップＳ４０６におけるオフセット値設定処理の詳細を図１６のフローチャートに従って説明する。
【０１１４】
まず、ステップＳ５０１にて、静止画処理が終了したか否か（静止画ファイルとしてメモリカード１２への格納が完了したか否か）を判断する。終了したと判断した場合には、本オフセット値設定処理を終了し、図１４のステップＳ４０７で、動画撮影のフレーム周期到来による動画撮影の再開を行う。
【０１１５】
また、ステップＳ５０１にて、静止画処理が未完であると判断した場合には、ステップＳ５０２に進み、静止画撮影のために動画像記録中断している期間において、生成すべきデータのオフセット番号が編集単位の最初の番号であるか否かを判断する。つまり、生成しようとするオフセット番号が「６Ｎ＋１」であるか否かを判断する。
【０１１６】
このステップＳ５０１の判断結果がＹｅｓの場合、現在のオフセット値にオーディオデータサイズ分を加算し、オーディオデータを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ５０３）。これにより、オーディオデータのバッファ領域が確保される。
【０１１７】
次に、ステップＳ５０４において、現在のオフセット番号に１を加算し、静止画処理が終了したかどうかのステップＳ５０１の判定処理に戻る。
【０１１８】
また、ステップＳ５０２で、生成すべきデータのオフセットが６Ｎ＋１以外、つまり、動画像フレームであると判断した場合、処理はステップＳ５０５に進み、動画撮影のフレーム周期となるのを待つ。
【０１１９】
そして、その動画像フレームの生成タイミングなったと判断した場合には、次のステップＳ５０６にて、編集単位内に挿入する擬似フレームが生成されたか否かを判断する。より詳しくは、静止画撮影して得られた静止画像データを間引きしてＶＧＡクラスの画像を生成し、更に、その間引きした画像データの符号化処理が完了したか否かを判断する。このタイミングは、静止画ファイルをメモリカード１２に格納する前となる。
【０１２０】
このステップＳ５０６の判定がＮｏの場合には、ステップＳ５１０に処理を進め、編集単位内にブラックアウトフレームはあるか否かを判断する。否の場合には、ステップＳ５１２に進み、ブラックアウトフレームを代替フレームとして出力バッファにコピーする。また、ステップＳ５１０にて、編集単位内にブラックアウトフレームが既に存在すると判断した場合、又は、ステップＳ５１２にてブラックアウトフレームを生成した場合には、ステップＳ５１１に処理を進める。このステップＳ５１１では、現動画フレームのオフセット値を、生成したブラックアウトフレームを参照するように設定する。
【０１２１】
例えば、図１７（ａ）に示す「フレーム３」の直後のタイミングで静止画撮影を開始したことにより動画像撮影が中断した場合、注目している編集単位は、オーディオ１、動画フレーム１乃至３であり、残りの動画フレーム４、５の２つが不足する。また、注目している編集単位内には、ブラックアウトフレームが存在しない。そこで、動画フレーム４に相当する代替フレームには、ブラックアウトフレームを１つ挿入する。後続する動画フレーム５の挿入タイミングでは、ブラックアウトフレーム（動画フレーム４）を参照するようにオフセット値を設定する。この結果、図１７（ｃ）の「オーディオ２」の直前にブラックアウトフレームが挿入される。
【０１２２】
さて、動画フレーム５に相当するインデックスが作成されると、ステップＳ５０４に進み、オフセット番号が１つ増加することになる。この結果、オフセット番号は６Ｎ＋１となり、次の編集単位を着目することになり、先に説明したステップＳ５０３の処理が行われる。また、この後、ステップＳ５０４にて、オフセット番号が“１”だけ増加することで、６Ｎ＋２となる。
【０１２３】
従って、オフセット番号が６Ｎ＋２のときに、ステップＳ５０６にて、擬似フレームが生成されていないと判断した場合にも、ステップＳ５１０に進む。この場合、注目している編集単位内には、ブラックアウトフレームが存在しないことになるので、ステップＳ５１２にて、ブラックアウトフレームを出力バッファにコピーすることになる。この結果、図１７（ｃ）の「オーディオ２」の直後にブラックアウトフレームが挿入されることになる。また、オフセット番号が６Ｎ＋３になっても、擬似フレームが生成されていないと判断した場合には、ステップＳ５１０での判断はＹｅｓとなる。従って、この場合には、ステップＳ５１１にて、ブラックアウトフレームの出力バッファへのコピーは行なわず、既にコピー済みのブラックアウトフレームを指し示すオフセットインデックス値を設定する。
【０１２４】
こうして、ブラックアウトフレーム又はそれを参照するフレーム、並びに、オフセットインデックスを生成している最中に、静止画撮影処理で得られた静止画から擬似フレームの生成が完了すると、ステップＳ５０６の判断はＹｅｓとなる。この結果、処理はステップＳ５０７に進み、編集単位内に擬似フレームがあるか否かを判断する。擬似フレームが存在しないと判断した場合には、ステップＳ５０９に進んで、擬似フレームを代替フレームとして出力バッファに格納する。この結果、図１７（ｃ）に示すように、オフセット「５４０」の位置に、擬似フレームが挿入されることになる。そして、出力バッファ上に記録された代替フレームを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ５０８）。
【０１２５】
なお、注目編集単位内に、一度擬似フレームが挿入された場合、残りの動画フレームは、その擬似フレームを指し示すようにオフセットインデックスを生成することになる。
【０１２６】
また、各音声データはステップＳ５０３で確保したデータ領域を音声バッファとして随時記録してもよい。
【０１２７】
本第６の実施形態では、オフセット値設定処理を静止画処理と並行して行っているが、静止画処理を行っている間は、欠落フレームのカウントを行い、静止画処理を終了後に欠落フレームのカウント数をもとにオフセット値設定処理を行ってもよい。
【０１２８】
また、本実施形態では、擬似的な動画像用のフレームが生成されるまで代替フレームとしてブラックアウトフレームを用いている。しかし、ブラックアウトフレームを用いずに、動画撮影を中断したときの欠落フレームは前記記載の擬似的な動画像用のフレームを代替フレームとしてもよいし、任意の動画フレームとしてもよい。
【０１２９】
以上のように本第６の実施の形態においては、図１７（ｃ）に示すように、割り込みによる静止画処理によって動画フレームの撮像動作が中断している期間のフレームデータの記録に係るＣＰＵに係る負担が従来と比べて大幅に軽減される。また、ファイルサイズをより小さなものとすることができ、且つ、メモリ・カード１２への書き込みによる、メモリカードの負担も軽減されるという利点がある。また、ブラックアウトフレームの画像を挿入することによって、動画撮影中に静止画撮影されたときの臨場感が得られる。
【０１３０】
また、上記第１〜第６の実施形態では、動画撮影中にシャッターボタンが半押しされた場合にＡＦ・ＡＥ処理を実行し、その後、シャッターボタンが全押しされた場合に割り込みによる静止画処理を実行する構成にした。しかし、シャッターボタンの半押し操作（ＡＦトリガ）を検出せずに、全押し操作（シャッタートリガ）のみを検出し、単純に動画撮影中にシャッターボタンが押下された時点でＡＦ・ＡＥ処理及び静止画処理を実行する構成にしてもよい。
【０１３１】
また、上記第１〜第６の実施の形態では、動画撮影処理を中断する直前のフレームデータ又は静止画撮影で得られた代替フレームを動画データのオフセット値を欠落箇所に挿入するようにした。しかし、動画撮影処理を再開した直後のフレームデータのオフセット値を欠落箇所に挿入するようにしたり、複数のフレームデータを所定の比率で合成して生成したフレームデータのオフセット値を動画データの欠落箇所に挿入するようにしても良い。また、欠落箇所に挿入するフレームデータのオフセット値を段階的に異なる他のフレームデータに変更していくようにしてもよい。
【０１３２】
また、上記第１〜第６の実施の形態では、動画撮影機能付き電子スチルカメラに本発明を適用した。しかしながら、静止画撮影機能付きムービーカメラ、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン等でもよい。要は、動画撮影機能と静止画撮影機能を兼ね備えた機器であれば本発明を適用することができる。
【０１３３】
また、上記第１〜第４の実施の形態では、上記第１〜第４の実施の形態を組み合わせることで動画に変化をもたらすことも可能である。たとえば、動画撮影処理が中断される間にユーザのお気に入りの動画フレームを挿入したりすることも可能であるとする。
【０１３４】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１３５】
【図１】実施形態におけるデジタルカメラのブロック構成図である。
【図２】第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図３】第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図４】第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図５】第３の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図６】第１の実施の形態におけるオフセット値設定処理を示すフローチャートである。
【図７】第３の実施形態におけるオフセット値設定処理を示すフローチャートである。
【図８】第４の実施形態におけるオフセット値設定処理を示すフローチャートである。
【図９】第２の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図１０】通常の動画像ファイルのオフセット値と動画フレームの関係を示す図である。
【図１１】第１の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。
【図１２】第３の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。
【図１３】第４の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。
【図１４】第５の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図１５】第５の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図１６】第６の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図１７】従来例と第５、６の実施形態における動画像ファイルの動画フレーム及び音声データを示す図である。
【図１８】従来例と第５、６の実施形態における動画像ファイルインデックスの一例を示す図である。
【図１】
0004777180.tif 000002
【図２】
0004777180.tif 000003
【図３】
0004777180.tif 000004
【図４】
0004777180.tif 000005
【図５】
0004777180.tif 000006
【図６】
0004777180.tif 000007
【図７】
0004777180.tif 000008
【図８】
0004777180.tif 000009
【図９】
0004777180.tif 000010
【図１０】
0004777180.tif 000011
【図１１】
0004777180.tif 000012
【図１２】
0004777180.tif 000013
【図１３】
0004777180.tif 000014
【図１４】
0004777180.tif 000015
【図１５】
0004777180.tif 000016
【図１６】
0004777180.tif 000017
【図１７】
0004777180.tif 000018
【図１８】
0004777180.tif 000019