(57)【要約】      （修正有）【課題】ユーザが簡単な操作で、静止画と動画とから生成する動画と音楽とを合成して保存することが可能な記録装置を提供する。【解決手段】制御手段は、記録媒体に記録された静止画ファイルと動画ファイルのうち、指定された静止画ファイルと動画ファイルから生成される一つの動画データの保存指示に応じて、保存用の動画データを生成し、一つの指定された静止画ファイル及び動画ファイルからそれぞれ生成された保存用の動画データと不揮発性メモリに記憶された圧縮された音楽データとを合成し、動画ファイルとして記録媒体に記録すると共に、一つの静止画ファイル及び動画ファイルから生成された保存用の動画データと圧縮された音楽データとを含む動画ファイルが記録される度に、既に記録媒体に記録されている、保存用の動画データと圧縮された音楽データとを含む動画ファイルに結合するように記録再生手段を制御する。【選択図】図８
2017108224.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により得られた静止画データを含む静止画ファイルと、前記撮像手段により得られた動画データを含む動画ファイルとを記録媒体に記録し、前記記録媒体から静止画ファイルと動画ファイルとを再生する記録再生手段と、
処理手段と、
圧縮された音楽データを記憶する不揮発性メモリと、
制御手段とを備え、
前記制御手段は、前記記録媒体に記録された静止画ファイルと動画ファイルのうち、指定された静止画ファイルと動画ファイルから生成される一つの動画データの保存指示に応じて、
前記指定された静止画ファイルと動画ファイルからそれぞれ保存用の動画データを生成して、一つの前記指定された静止画ファイル及び動画ファイルからそれぞれ生成された前記保存用の動画データと前記不揮発性メモリに記憶された前記圧縮された音楽データとを合成するように前記処理手段を制御し、動画ファイルとして前記記録媒体に記録するように前記記録再生手段を制御すると共に、
一つの前記静止画ファイル及び動画ファイルから生成された前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルが記録される度に、既に前記記録媒体に記録されている、前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルに結合するように前記記録再生手段を制御することを特徴とする記録装置。
【請求項２】
前記制御手段は、前記既に前記記録媒体に記録されている、前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルに結合するごとに、該動画ファイルの管理情報を、前記一つの前記静止画ファイル及び動画ファイルから生成された前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルの管理情報を用いて更新することを特徴とする請求項１に記載の記録装置。
【請求項３】
前記制御手段は、先頭となる、前記一つの前記静止画ファイル及び動画ファイルから生成された前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルの管理情報のサイズが再生時間に応じて増加する場合、該動画ファイルの管理情報の領域を、所定の最大再生時間分の動画ファイルにおける管理情報のサイズとなるように予め確保することを特徴とする請求項２に記載の記録装置。
【請求項４】
前記管理情報は、所定のコンテナ形式の動画ファイルにおける管理情報であり、
前記制御手段は、前記一つの前記指定された静止画ファイル及び動画ファイルからそれぞれ生成された前記保存用の動画データと前記不揮発性メモリに記憶された前記圧縮された音楽データとを合成するごとに前記所定のコンテナ形式の動画ファイルとして生成するように前記記録再生手段を制御することを特徴とする請求項２または３に記載の記録装置。
【請求項５】
前記制御手段は、前記既に前記記録媒体に記録されている、前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルへの結合において、ファイルシステムにおいて連続するデータ領域を示す情報を変更するように前記記録再生手段を制御することを特徴とする請求項１から４のいずれか１項に記載の記録装置。
【請求項６】
前記制御手段は、前記既に前記記録媒体に記録されている、前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルが、ＤＣＦディレクトリとは異なるディレクトリに記録されるように前記記録再生手段を制御することを特徴とする請求項１から５のいずれか１項に記載の記録装置。
【請求項７】
前記制御手段は、前記一つの指定された静止画ファイルから生成される保存用の動画データに前記不揮発性メモリに記憶された前記圧縮された音楽データを合成しないことが指定されたことに応じて、該音楽データの代わりに無音の音声データを合成するように前記処理手段を制御することを特徴とする請求項１から６のいずれか１項に記載の記録装置。
【請求項８】
前記不揮発性メモリは、更に前記無音の音声データを記憶することを特徴とする請求項７に記載の記録装置。
【請求項９】
前記処理手段は、前記生成された保存用の動画データを圧縮し、前記不揮発性メモリに記憶された前記圧縮された音楽データを、圧縮された状態で前記圧縮された前記保存用の動画データに合成することを特徴とする請求項１に記載の記録装置。
【請求項１０】
撮像手段と、処理手段と、圧縮された音楽データを記憶する不揮発性メモリと、制御手段とを有する記録装置の制御方法であって、
記録再生手段が、前記撮像手段により得られた静止画データを含む静止画ファイルと、前記撮像手段により得られた動画データを含む動画ファイルとを記録媒体に記録し、前記記録媒体から静止画ファイルと動画ファイルとを再生する記録再生工程と、
前記制御手段が、前記記録媒体に記録された静止画ファイルと動画ファイルのうち、指定された静止画ファイルと動画ファイルから生成される一つの動画データの保存指示に応じて、
前記指定された静止画ファイルと動画ファイルからそれぞれ保存用の動画データを生成し、一つの前記指定された静止画ファイル及び動画ファイルからそれぞれ生成された前記保存用の動画データと前記不揮発性メモリに記憶された前記圧縮された音楽データとを合成するように前記処理手段を制御し、動画ファイルとして前記記録媒体に記録するように前記記録再生手段を制御すると共に、
一つの前記静止画ファイル及び動画ファイルから生成された前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルが記録される度に、既に前記記録媒体に記録されている、前記保存用の動画データと前記圧縮された音楽データとを含む動画ファイルに結合するように前記記録再生手段を制御する制御工程と、
を有することを特徴とする記録装置の制御方法。
【請求項１１】
コンピュータに、請求項１０に記載の記録装置の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録装置に関する。
【背景技術】
【０００２】
従来、静止画や動画に対してＢＧＭ（ＢａｃｋＧｒｏｕｎｄＭｕｓｉｃ）としての音楽を合成して表示、或いは記録する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１２４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、デジタルカメラのように民生用の携帯機器においては、一般に処理能力が低いこと、メモリ容量が限られていること等の制約があり、負荷の大きい処理を行うことが難しいことが知られている。特に、静止画と動画を組み合わせた動画にＢＧＭとしての音楽を合成する場合、圧縮して記録されている動画、静止画、音楽の伸長処理をし、信号形式を変換し、合成し、再び圧縮するといった一連の処理を同時に行おうとすると処理の負荷が大きい。一方、処理能力等の制約によって静止画と動画にＢＧＭを合成する操作が簡単に行えなければ、ＢＧＭを合成できるという機能自体の価値を低下させてしまう。このため、動画の生成手順等を工夫するなどして処理の負荷を低減することにより、ユーザはワンタッチ操作等の簡単な操作で機能を実現できることが望まれる。特許文献１は、静止画のみにＢＧＭを合成した動画を生成するものであり、上述した処理能力等の制約やＢＧＭを合成する動画自体の生成手順については考慮していない。
【０００５】
本発明は、ユーザが簡単な操作で、静止画と動画とから生成する動画と音楽とを合成して保存することが可能な記録装置およびその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の記録装置は、撮像手段と、撮像手段により得られた静止画データを含む静止画ファイルと、撮像手段により得られた動画データを含む動画ファイルとを記録媒体に記録し、記録媒体から静止画ファイルと動画ファイルとを再生する記録再生手段と、処理手段と、圧縮された音楽データを記憶する不揮発性メモリと、制御手段とを備え、制御手段は、記録媒体に記録された静止画ファイルと動画ファイルのうち、指定された静止画ファイルと動画ファイルから生成される一つの動画データの保存指示に応じて、指定された静止画ファイルと動画ファイルからそれぞれ保存用の動画データを生成し、一つの指定された静止画ファイル及び動画ファイルからそれぞれ生成された保存用の動画データと不揮発性メモリに記憶された圧縮された音楽データとを合成するように前記処理手段を制御し、動画ファイルとして記録媒体に記録するように記録再生手段を制御すると共に、一つの静止画ファイル及び動画ファイルから生成された保存用の動画データと圧縮された音楽データとを含む動画ファイルが記録される度に、既に記録媒体に記録されている、保存用の動画データと圧縮された音楽データとを含む動画ファイルに結合するように記録再生手段を制御する、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが簡単な操作で、静止画と動画とから生成する動画と音楽とを合成して保存することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】動画ファイルのフォーマットを示す図である。
【図３】再生モードの処理を示すフローチャートである。
【図４】アルバム作成処理を示すフローチャートである。
【図５】空き容量の判定処理を示すフローチャートである。
【図６】アルバムの種類の選択画面、及び、警告画面を示す図である。
【図７】プレビュー再生処理を示すフローチャートである。
【図８】アルバム動画の保存処理を示すフローチャートである。
【図９】静止画から動画への変換処理を示すフローチャートである。
【図１０】動画から動画への変換処理を示すフローチャートである。
【図１１】動画ファイルの結合処理を示すフローチャートである。
【図１２】アルバムの設定に関するメニュー画面を示す図である。
【図１３】アルバム作成処理により処理されるデータを示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について説明する。図１は本発明の実施形態としての撮像装置１００の構成を示す図である。図１において、撮像部１０１はレンズ等の光学系、ＣＭＯＳ等の撮像素子、ＡＤ変換部、画像処理部等を有し、被写体の画像を撮影して画像データを出力する。撮像部１０１は、例えば、１フレームが横１９２０画素×縦１０８０画素、３０フレーム毎秒（３０ｆｐｓ）の動画データを出力することができる。撮像部１０１は、後述のように、制御部１０９からの指示により、３０ｆｐｓの動画データと、２５ｆｐｓの動画データの何れかを出力する。また、撮像部１０１は、制御部１０９から静止画記録の指示があった場合、１画面の静止画データを出力する。
【００１０】
画像処理部１０２は、動画データの記録時においては、撮像部１０１により得られた動画データをＨ．２６４等の所定の符号化方式に従って符号化し、その情報量を圧縮する。また、画像処理部１０２は、静止画の記録時においては、撮像部１０１により得られた静止画データをＪＰＥＧ等の符号化方式に従って符号化し、その情報量を圧縮する。また、画像処理部１０２は、動画、或いは静止画データの再生時においては、再生された動画データや静止画データを復号し、その情報量を伸長する。また、画像処理部１０２は、後述のように、アルバムモードにおいて、記録媒体１０８から読み出された動画データや静止画データを一旦復号し、再度、符号化する処理を行う。
【００１１】
音声入力部１０３は、マイクロフォンやアンプ、ＡＤ変換器等を有し、撮像装置１００の周囲の音声を取得し、音声データを出力する。音声処理部１０４は、記録時においては、音声入力部１０３により得られた音声データのレベルを適正なレベルに変換する処理やノイズの低減処理等を行う。また、音声処理部１０４は、記録時においては、音声入力部１０３より得られた音声データを所定の符号化方式に従って符号化してその情報量を圧縮し、再生時においては、再生された音声データを復号し、その情報量を伸長する。また、音声処理部１０４は、後述のように、アルバムモードにおけるプレビュー再生時に、不揮発性メモリ１１２に記憶されたＢＧＭ用の音楽ファイルに含まれる音声データを伸長する処理を行う。
【００１２】
表示制御部１０５は、撮像部１０１により得られた動画データに係る動画や、撮像装置１００の操作のための操作画面（メニュー画面）等を表示部１０６に表示させる。表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
【００１３】
記録再生部１０７は、動画データ、音声データ、或いは、静止画データ等の各種のデータを着脱可能な記録媒体１０８に記録して、記録したデータを読み出す記録制御を行うとともに、これらのデータを記録媒体から読み出して再生する再生制御を行う。記録媒体１０８は、メモリカード等の、大容量のランダムアクセス可能な記録媒体である。記録媒体１０８は、不図示の装着、排出機構により、撮像装置１００に対してユーザが容易に装着し、また、取り外すことが可能となっている。また、本実施形態では、記録媒体１０８に記録される各種のデータは、ＦＡＴ等の所定のファイルシステムに従い、制御部１０９によりファイルとして管理される。
【００１４】
制御部１０９は、例えば、ＣＰＵ（ＭＰＵ）、メモリ等を有し、不揮発性メモリ１１２に記憶されたプログラムを実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０９は、ユーザからの操作を受け付ける操作部１１０からの操作信号に応じて、撮像装置１００の各ブロックを制御する。操作部１１０は、例えば、電源ボタン、静止画記録ボタン、動画記録開始、停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、操作部１１０は、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を有し、ユーザによりこれらのキーやボタンが操作されると制御部１０９に操作信号を送信する。
【００１５】
メモリ１１１は、動画データや静止画データ、音声データ等の各種のデータ、或いは、制御部１０９の処理に必要なデータ等を記憶する。メモリ１１１は、ＳＤＲＡＭなどの揮発メモリである。不揮発性メモリ１１２は、制御部１０９におけるＣＰＵのためのプログラムや、動作用の定数などを記憶する。また、不揮発性メモリ１１２は、後述のアルバムモードにおいてＢＧＭ（ＢａｃｋＧｒｏｕｎｄＭｕｓｉｃ）として使用される音楽ファイルを記憶する。本実施形態では、所定数、例えば三つの音楽ファイルが不揮発性メモリ１１２に記憶される。各音楽ファイルに格納される音楽データは所定の符号化方式により符号化され、圧縮された状態で不揮発性メモリ１１２に記憶されている。各音楽ファイルは、例えば、ＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）方式により、情報量が圧縮されているが、これ以外の圧縮方式を用いることも可能である。
【００１６】
出力部１１３は、撮像部１０１により得られた動画データや音声入力部１０３により得られた音声データ、或いは再生された動画、音声データ等を外部の表示装置等に出力する。スピーカ１１４は、動画の再生時、或いは、アルバムモードにおけるプレビュー時において、音声を出力する。通信部１１５は、撮像装置１００と外部装置との間で通信を行う。通信部１１５は、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。通信部１１５は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。また、バス１１６は、撮像装置１００の各部の間で、データやコマンド等を転送する。
【００１７】
次に、撮像装置１００の記録動作について説明する。ユーザが操作部１１０を操作して電源オンの指示を出力すると、操作部１１０から制御部１０９に起動の指示が出される。この指示を受けて、制御部１０９は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
【００１８】
電源が供給されると、制御部１０９は、撮像装置１００の各ブロックを記録待機状態に設定させる。記録待機状態では、制御部１０９は、撮像部１０１により動画データの撮影処理を行わせる。撮像部１０１から出力された動画データは一旦メモリ１１１に記憶され、画像処理部１０２によりそのサイズが表示部１０６のサイズに合わせて変更され、表示制御部１０５に出力される。表示制御部１０５は、画像処理部１０２からの動画データを表示部１０６に表示させる。ユーザはこの様に、表示部１０６に表示された画面を見ながら撮影の準備を行う。
【００１９】
ユーザは記録待機状態において操作部１１０を操作することにより、記録される動画の画素数やフレームレート、或いは記録される静止画の画素数などを変更することができる。なお、記録待機状態においては、撮像部１０１は所定のフレームレート、例えば３０ｆｐｓの動画データを出力する。
【００２０】
記録待機状態で、ユーザが操作部１１０の静止画記録ボタンを操作することにより静止画の記録指示が出力されると、制御部１０９は制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
【００２１】
撮像部１０１は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、デジタル信号に変換し、１フレームの静止画データを取得する。撮像部１０１は更に、この静止画データに対して、各種の画質調整処理（ホワイトバランスや色、明るさなど）を行い、メモリ１１１及び、表示制御部１０５に送る。画像処理部１０２は、メモリ１１１に記憶された静止画データを読み出して圧縮し、圧縮された静止画データをメモリ１１１に記憶する。記録再生部１０７は、メモリ１１１から１画面の静止画データを読み出し、この静止画データを含む静止画ファイルを記録媒体１０８に記録する。また、画像処理部１０２は、メモリ１１１より静止画データを読み出し、そのサイズを縮小することによりサムネイル用の画像データを生成する。記録再生部１０７は、サムネイル用の画像データを読み出し、記録媒体１０８に記録された静止画ファイルに格納する。
【００２２】
また、表示制御部１０５は、メモリ１１１より静止画データを読み出し、所定期間、表示部１０６に表示する。表示部１０６に表示された静止画を見ることで、ユーザは撮影した静止画を確認することができる。このように、１画面の静止画の記録処理が終了すると、制御部１０９は、記録待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、記録待機状態に戻る。
【００２３】
また、記録待機状態において、ユーザが操作部１１０の動画記録ボタンを操作することにより動画の記録開始の指示が出力されると、制御部１０９は動画の記録を指示する制御信号を撮像装置１００の各ブロックに送信する。
【００２４】
撮像部１０１は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、デジタル信号に変換し、動画データを取得する。このとき、撮像部１０１は、制御部１０９からの制御信号に従い、ユーザにより設定された画素数、フレームレートの動画データを取得する。撮像部１０１は更に、動画データに対して所定の画質調整処理を行い、メモリ１１１に順次記憶する。
【００２５】
一方、音声入力部１０３は、音声データを取得してレベル調整等の処理を施して出力する。制御部１０９は、音声入力部１０３により得られた音声データをメモリ１１１に順次記憶する。
【００２６】
画像処理部１０２は、メモリ１１１に一時的に記憶された動画データを読み出して符号化し、圧縮された動画データを生成してメモリ１１１に記憶する。また、音声処理部１０４は、メモリ１１１に一時的に記憶された音声データを読み出して符号化し、圧縮された音声データを生成してメモリ１１１に記憶する。記録再生部１０７は、これらの圧縮された動画データと音声データとを所定のタイミングで読み出して多重し、一つの動画ファイルとして記録媒体１０８に記録する。前述したように、記録媒体１０８に記録された動画データと音声データは、一つの動画ファイルとして管理される。
【００２７】
また、表示制御部１０５は、メモリ１１１より動画データを順次読み出してその画面サイズを表示部１０６に合わせて変更し、表示部１０６に表示する。
【００２８】
制御部１０９は、動画ファイルの記録中、この動画ファイルに格納される管理情報を生成し、順次メモリ１１１に記憶する。
【００２９】
このように動画の記録が行われているときに、ユーザが操作部１１０を操作して、記録停止が指示された場合、制御部１０９は各部に対して動画の記録を停止するための制御信号を出力する。画像処理部１０２は記録停止の指示に応じて、動画データの符号化を停止し、また、音声処理部１０４は、記録停止の指示に応じて音声データの符号化を停止する。
【００３０】
そして、記録再生部１０７は、記録停止の指示までの間に符号化された動画データと音声データをメモリ１１１より読み出し、記録媒体１０８に記録する。制御部１０９は、動画データと音声データの記録停止後、記録再生部１０７を制御して、動画データの先頭のフレームを読み出す。そして、制御部１０９は、この先頭フレームを画像処理部１０２により復号し、更に、そのサイズを縮小することによりサムネイル用の画像データを生成する。記録再生部１０７は、このサムネイル用の画像データを、記録媒体１０８に記録された動画ファイルの所定の位置に格納する。
【００３１】
制御部１０９は更に、記録停止の指示に応じて、この動画ファイルの管理情報をメモリ１１１より読み出し、動画ファイルに格納するように記録再生部１０７を制御する。記録再生部１０７は、記録媒体１０８に記録された動画ファイルの所定の位置に管理情報を格納する。このようにサムネイル用画像データと、管理情報の記録が完了すると、制御部１０９は、記録再生部１０７を制御し、動画ファイルをクローズして記録を終了する。
【００３２】
動画ファイルの記録が終了すると、制御部１０９は、撮像装置１００を記録待機状態に設定する。なお、記録媒体１０８に記録される静止画ファイルおよび動画ファイルは、ＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）に従って記録されるものとする。
【００３３】
次に、記録媒体１０８に記録された動画ファイルと静止画ファイルの再生処理について説明する。ユーザが操作部１１０を操作して、再生モードを指示すると、制御部１０９は、各部を制御して再生モードに設定する。
【００３４】
制御部１０９は、記録再生部１０７を制御して、記録媒体１０８に記録された各静止画ファイル、及び動画ファイルのサムネイル用の画像データを読み出す。読み出されたサムネイル用の画像データは、一旦、メモリ１１１に記憶される。表示制御部１０５は、メモリ１１１よりサムネイル用の画像データを読み出し、複数のサムネイル画像を含むインデックス画面を生成して表示部１０６に表示する。ユーザが操作部１１０を操作して、いずれかのサムネイル画像を選択し、再生を指示すると、制御部１０９は、選択されたサムネイル画像に対応する静止画ファイル、或いは動画ファイルを再生するように、記録再生部１０７に指示する。
【００３５】
記録再生部１０７は、指定された静止画ファイル或いは動画ファイルを記録媒体１０８より読み出し、メモリ１１１に記憶する。画像処理部１０２は、静止画ファイルの再生が指示された場合には、メモリ１１１より静止画データを読み出して復号し、メモリ１１１に記憶する。また、画像処理部１０２は、動画ファイルの再生が指示された場合、メモリ１１１より動画データを順次読み出して復号し、復号された動画データをメモリ１１１に記憶する。また、音声処理部１０４は、動画ファイルの再生が指示された場合、メモリ１１１より、動画データと共に再生された音声データを復号し、復号された音声データをメモリ１１１に記憶する。
【００３６】
表示制御部１０５は、メモリ１１１より、復号された静止画データ、或いは動画データを読み出し、これらを表示部１０６に表示する。また、制御部１０９は、メモリ１１１より復号された音声データを読み出し、スピーカ１１４から出力する。
【００３７】
静止画再生中において、操作部１１０よりインデックス表示の指示があった場合、制御部１０９は静止画の再生を停止して、再度、インデックス画面を表示部１０６に表示させる。また、動画再生中に操作部１１０より再生停止の指示があった場合、制御部１０９は、動画の再生を停止して、再度、インデックス画面を表示部１０６に表示させる。
【００３８】
次に、図２を用いて動画ファイルのフォーマットについて説明する。本実施形態で扱う動画ファイルの形式（コンテナ形式）はＭＰ４とする。また、動画データはＨ．２６４方式で符号化され、音声データはＡＡＣ方式で圧縮される。
【００３９】
ＭＰ４では、ファイルに格納されるデータはボックスと呼ばれるデータ構造の内部に記述され、ボックスを単位としてファイルに記録される。ボックスは次のようなフィールドから構成される。
Ｓｉｚｅ：Ｓｉｚｅフィールドを含む、ボックス全体のデータサイズを表す４バイトのフィールド。
Ｔｙｐｅ：ボックスの種類を表す４バイトのタイプ識別子。
【００４０】
Ｔｙｐｅフィールド以降のフィールドはボックスによってはオプションであるため、ここでは説明を省略する。また、ボックス内にボックスを包含することが可能であり、それにより入れ子構造を実現している。
【００４１】
ｆｔｙｐ（ファイルタイプボックス）２０１はファイルの種別を表すボックスである。ｍｏｏｖ（ムービーボックス）２０２は音声や映像に関する管理情報を格納するためのボックスである。ｍｏｏｖ２０２には、後述のｍｖｈｄ（ムービーヘッダボックス）やｔｒａｋ（トラックボックス）などを含む、音声や映像に関する情報が格納されている。ｍｄａｔ（ムービーデータボックス）２０３には音声データや動画データ、テキストなどの実データが格納されている。
【００４２】
ｍｏｏｖ２０２の代表的なボックスについて述べる。ｕｕｉｄ（汎用一意識別子ボックス）ボックス２０４には任意の識別子やデータが格納される。ｕｄｔａ（ユーザーデータボックス）２０５には撮像装置１００のモデル名や通信部１１５で受信した撮像装置１００の位置情報やＵＴＣ時刻などのメタデータが格納される。ｍｖｈｄボックス２０６には動画の作成日時や修正日時、タイムスケール、Ｄｕｒａｉｏｎ（時間長）などが記載されている。
【００４３】
２０７は動画用のｔｒａｋ（映像トラック）であり、動画データの符号化の種類や後述のｓｔｔｓ（時間サンプルボックス）やｓｔｓｃ（サンプルチャンクボックス）やｓｔｓｓ（同期サンプルボックス）、ｓｔｓｚ（サンプルサイズボックス）、ｓｔｃｏ（チャンクオフセット）などｍｄａｔ内の動画データに関する情報が格納される。２０８は音声用のｔｒａｋであり、サンプリング周波数やビット数、チャンネル数などのｍｄａｔ内の音声データに関する情報が格納されている。２０９はテキスト用のｔｒａｋであり、ｍｄａｔ内のテキストデータに関する情報が格納されている。
【００４４】
２１０はｔｋｈｄであり、そのトラックの作成日時やＤｕｒａｔｉｏｎ、そしてＩＤなどが格納されている。本実施形態では、映像トラックのＩＤは１、音声トラックのＩＤは２、テキストトラックのＩＤは３、とする。
【００４５】
２１１はｅｄｔｓ（エディットボックス）であり、トラックの再生開始時間が記載されている。例えば、動画の再生開始よりも音声の再生開始を後ろにずらしたい場合には、音声のｅｄｔｓに値を記載することで実現することが可能である。２１２はｔｒｅｆであり、トラック間の参照情報が記載されている。本実施形態では、映像トラックがテキストトラックをチャプタとして参照するため、映像トラックのｔｒｅｆには、テキストトラックのＩＤである３が記載され、それをチャプタとして参照するため、識別子として‘ｃｈａｐ’と記載されている。音声トラックも同様である。テキストトラックにはｔｒｅｆは存在しない。
【００４６】
２１３はｓｔｓｃであり、１チャンクがいくつのサンプル（動画の場合はフレーム）数で構成されているかを表している。２１４はｓｔｔｓであり、サンプル数と各サンプルのＤｕｒａｔｉｏｎ（時間長）が格納されている。２１５はｓｔｓｓであり、キーフレーム番号が記載されており、映像ｔｒａｋにのみ存在する。たとえば、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）が３の場合は、１、４、７・・・と記載されており、ＧＯＰが１２の場合は、１、１３、２５・・・・、ＧＯＰが１５の場合は、１、１６、３１・・・と記載されている。２１６はｓｔｓｚであり、各サンプルのデータサイズが格納されている。２１７はｓｔｃｏであり、動画データにおける各チャンクのファイル先頭からのオフセットが格納されている。
【００４７】
２１８はＷｉｄｅであり、動画ファイルサイズが４ＧＢ以上の場合の６４Ｂｉｔ拡張用のボックスである。２１９、２２０はｍｄａｔ内に格納されているテキストチャンクであり、各チャプタのタイトルがテキストデータとして記載されている。２２１および２２２はｍｄａｔ内に格納されている音声チャンクデータを表している。２２３および２２４はｍｄａｔ内に格納されている映像チャンクデータを表している。２２５はｆｒｅｅであり、独自の用途のためにデータを格納することができる。例えば動画ファイルのｍｏｏｖデータのデータ量が所定のデータ量となるように調整するために用いられる。
【００４８】
以上のように、映像用のｓｔｓｚおよびｓｔｃｏに格納されている情報を用いることで、ｍｄａｔ内の任意の動画フレームや音声データ、チャプタにアクセスすることが可能である。
【００４９】
（アルバムモードの説明）
次に、アルバムモード処理について説明する。撮像装置１００は、記録媒体１０８に記録された静止画ファイルと動画ファイルが所定の順序で再生されるように合成し、一つの動画を生成する機能を持つ。このように生成される一つの動画を本実施形態ではアルバムと呼ぶ。本実施形態では、記録媒体１０８に記録された静止画ファイル或いは動画ファイルから所定の条件に従って制御部１０９が自動的に選択したファイル、或いは、ユーザの指示により選択されたファイルから、一つのアルバムを生成する。
【００５０】
また、本実施形態では、アルバムの動画に対し、不揮発性メモリ１１２に記憶されたＢＧＭの音楽データを合成することができる。そのため、記録媒体１０８に記録された静止画ファイルと動画ファイルをアルバムの動画データに変換し、更に、ＢＧＭの音楽データと合成し、記録媒体１０８に記録する。
【００５１】
図３は、このようなアルバムモード処理を含む、再生モードの処理を示すフローチャートである。図３の処理は、制御部１０９が各部を制御することにより実行される。前述のように、ユーザが操作部１１０を操作して、再生モードを指示した場合に、図３の処理が開始される。
【００５２】
再生モードが指示された場合、制御部１０９は、記録再生部１０７を制御し、記録媒体１０８に記録された静止画ファイル、動画ファイルの情報を取得し（Ｓ３０１）、前述のようにインデックス画面を表示部１０６に表示する（Ｓ３０２）。
【００５３】
この状態で、制御部１０９は、アルバムモードへの切り替えが指示されたか否かを判別する（Ｓ３０３）。ユーザは操作部１１０を操作し、メニュー画面を表示部１０６に表示させることにより、アルバムモードへの切り替えを指示することができる。アルバムモードへの切り替え指示がない場合、再生モードにおける他の処理を行う（Ｓ３１１）。
【００５４】
また、アルバムモードへの切り替え指示があった場合、制御部１０９は、Ｓ３０１で取得した情報を用いて、アルバム生成のために使うことができる静止画、或いは動画ファイルが記録媒体１０８に記録されているか否かを判別する（Ｓ３０４）。本実施形態では、図１の撮像装置１００自身により記録された静止画ファイル、或いは動画ファイルをアルバム生成のために使用し、他の装置により記録されたファイルを使用しないものとする。アルバム生成のために用いることができるファイルが記録媒体１０８に記録されていない場合、アルバムモードでの対象画像を選択するメニューをグレーアウト表示する（Ｓ３１０）。このときに表示されるメニュー画面６０１を図６（ａ）に示す。これにより、ユーザに対し、アルバム生成の対象となる画像が記録媒体１０８に記録されていない旨を知らせることができる。
【００５５】
また、アルバム生成のために使用することができるファイルが記録媒体１０８に記録されていた場合、制御部１０９は、アルバム生成のための条件をユーザに選択させるためのメニュー画面を表示部１０６に表示する。本実施形態では、条件として、イベント、日付、人物、及び、カスタムが用意される。ここで、イベントが選択された場合、ユーザが指定した日付の期間に記録された画像からアルバムが生成される。また、日付が選択された場合、ユーザが指定した日付に記録された画像からアルバムが生成される。また、人物が選択された場合、予めユーザが撮像装置に登録した人物の顔の情報に基づいてアルバムを生成するために使用する画像が選択される。また、カスタムが選択された場合、ユーザが自分でアルバムを生成するために使用する画像を選択する。
【００５６】
制御部１０９は、いずれかの種類が選択されたか否かを判別し（Ｓ３０５）、アルバムの種類が選択された場合、アルバムの作成処理を実行する（Ｓ３０６）。アルバムの作成処理については、図４を用いて説明する。次に、制御部１０９は、アルバムモードを終了するか否かを判別する（Ｓ３０７）。アルバムモードを終了しない場合、Ｓ３０４に戻る。また、アルバムモードを終了する場合、制御部１０９は、再度、インデックス画面を表示部１０６に表示し（Ｓ３０８）、再生モードを終了するか否かを判別する（Ｓ３０９）。再生モード終了する場合、再生モード処理を終了し、再生モードを終了しない場合Ｓ３０３に戻る。
【００５７】
（アルバム作成処理）
次に、アルバムの作成処理について説明する。図４は、アルバムの作成処理を示すフローチャートである。まず、制御部１０９は、図６（ａ）のアルバム選択画面を表示部１０６に表示し、ユーザにより選択された所定の条件に従ってシナリオを生成する（Ｓ４０１）。ここで、シナリオとは、記録媒体１０８に記録された静止画ファイルや動画ファイルのうち、アルバムを生成するために使用されるファイルとその再生順序、各ファイルから生成される動画のフレーム数等を示す情報である。アルバムの種類としてイベント、或いは、日付が選択された場合、制御部１０９は、指定された日付に記録された画像から、所定の条件に従ってファイルを選択する。例えば、制御部１０９は、各静止画や動画を画像処理部１０２により解析した結果や、一つのアルバムを生成するために使用する静止画、動画の数等の条件に従い、アルバムを生成するために用いるファイルを選択し、シナリオを生成する。
【００５８】
以下、アルバムにおいて、一つの静止画ファイル、或いは、動画ファイルから生成された一部の動画の期間をチャプタという。また、制御部１０９は、アルバム中でのチャプタ間のフェード処理等の画像効果等の情報もシナリオに記述する。また、ユーザが、生成されるアルバムのフレームレートを設定できるように構成してもよい。この場合、制御部１０９は、アルバムのフレームレートの情報もシナリオに記述する。本実施形態では、記録されている動画のフレームレートにかかわらず、アルバムのフレームレートは３０ｆｐｓとする。制御部１０９は、生成したシナリオ情報をメモリ１１１に記憶する。
【００５９】
次に、制御部１０９は、記録媒体１０８が、書き込み禁止（ライトプロテクト）の状態に設定されているか否かを判別する（Ｓ４０２）。例えば、記録媒体１０８がメモリカードである場合、書き込み禁止を設定するための部材の状態を検出することにより、書き込み禁止の状態となっているか否かを判別することができる。記録媒体１０８が書き込み禁止の状態でない場合、制御部１０９は、生成したアルバムの動画ファイルに対して付加されるファイル名を作成可能であるか否かを判別する（Ｓ４０３）。
【００６０】
本実施形態では、生成されたアルバムの動画ファイルを記録媒体１０８に記録する。制御部１０９は、アルバムの動画ファイルに対して所定のルールに従うファイル名を付加することができるか否かを判別する。前述のように、本実施形態では、ＤＣＦに従い動画ファイルと静止画ファイルを管理する。ＤＣＦでは、ＤＣＦディレクトリに格納可能なディレクトリ数の上限（９９９まで）、及び、一つのディレクトリに格納可能なファイル数の上限（９９９９まで）が規定されている。ここでは、上限の番号のディレクトリ（ディレクトリ番号９９９）に、上限のファイル（ファイル名に含まれるファイル番号が９９９９）が格納されている場合、ファイル名が作成できないと判別する。
【００６１】
アルバムの動画ファイルのファイル名が作成可能である場合、制御部１０９は、空き容量の判定処理を行う（Ｓ４０４）。空き容量の判定処理については、図５を用いて説明する。そして、制御部１０９は、アルバムを保存するために必要な容量の空き容量が記録媒体１０８に存在するか否かを判別する（Ｓ４０５）。
【００６２】
記録媒体１０８が書き込み禁止である場合（Ｓ４０２）、ファイル名を作成可能でない場合（Ｓ４０３）、及び、空き容量が不足していると判別した場合（Ｓ４０５）、制御部１０９は、プレビュー再生の確認画面を表示部１０６に表示させる（Ｓ４０６）。例えば、Ｓ４０２で記録媒体が書き込み禁止の状態に設定されていた場合、図６（ｂ）の確認画面６０２が表示部１０６に表示される。また、Ｓ４０３でファイル名を作成できないと判別された場合、図６（ｃ）の確認画面６０３が表示部１０６に表示される。また、Ｓ４０５で空き容量が不足していると判別された場合、図６（ｄ）の確認画面６０４が表示部１０６に表示される。
【００６３】
制御部１０９は、確認画面を表示した後、プレビュー再生が指示されたか否かを判別する（Ｓ４０７）。プレビュー再生が指示された場合、制御部１０９は、Ｓ４０１で生成したシナリオに従い、プレビュー再生処理を行う（Ｓ４０８）。プレビュー再生処理については、図７を用いて後述する。
【００６４】
プレビュー再生のキャンセルが選択された場合、及び、プレビュー再生が終了した場合、制御部１０９は、アルバム設定のメニュー画面に表示される、アルバム動画作成の項目とＢＧＭ設定の項目を共にグレーアウト表示するように設定する（Ｓ４０９）。そして、制御部１０９は、アルバム設定のメニュー画面を表示部１０６に表示する（Ｓ４０９）。ここでは、図１２（ｂ）に示すように、アルバム動画作成の項目１２０７と、ＢＧＭ設定の項目１２０８が共にグレーアウト表示され、ユーザが選択できないように設定される。 
この状態で、制御部１０９は、ユーザによりアルバムモードの終了が指示されたか否かを判別し（Ｓ４１０）、アルバムモードの終了が指示された場合、アルバム作成処理が終了する。また、アルバムモード終了指示がない場合、Ｓ４０７に戻る。
【００６５】
一方、Ｓ４０５で空き容量ありと判別された場合、制御部１０９は、Ｓ４０１で生成したシナリオに従い、プレビュー再生処理を行う（Ｓ４１１）。ここで、空き容量ありと判別した場合は、ユーザに対してプレビュー再生を行うか否かを確認すること無く、プレビュー再生処理が実行される。なお、Ｓ４１３以降で説明するＢＧＭ設定処理がシナリオに対して行われていない場合、当該プレビュー再生は静止画および動画について行われる。
【００６６】
プレビュー再生処理が終了した後、制御部１０９は、アルバム設定のためのメニュー画面を表示部１０６に表示する（Ｓ４１２）。Ｓ４１５で全ての設定項目を通常表示することが設定された場合、図１２（ａ）のメニュー画面１２０１が表示される。メニュー画面１２０１は、四つの項目１２０２−１２０５を含む。メニュー画面１２０１は、何れの設定項目も有効な場合を示している。メニュー画面１２０１において、項目１２０２はプレビュー再生を指示するための項目、項目１２０３はアルバム動画の作成を指示するための項目である。また、項目１２０４は、アルバムの動画に合成されるＢＧＭに関する設定を指示するための項目、項目１２０５はアルバムの動画に付加する色の効果の変更を指示するための項目である。
【００６７】
次に、制御部１０９は、メニュー画面において、ＢＧＭ設定の項目が選択されたか否かを判別する（Ｓ４１３）。ＢＧＭ設定の項目が選択された場合、制御部１０９は、ＢＧＭの設定用画面を表示部１０６に表示する（Ｓ４１４）。図１２（ｃ）は、ＢＧＭの設定用画面１６１２を示している。ユーザはこの設定用画面を見ながら操作部１１０を操作して、ＢＧＭの設定を行う（Ｓ４１５）。
【００６８】
次に、制御部１０９は、ユーザによりアルバム保存の指示があったか否かを判別する（Ｓ４１６）。アルバム保存の指示があった場合、制御部１０９は各部を制御して、シナリオに従いアルバムの動画を生成し、記録媒体１０８に記録する処理を行う（Ｓ４１７）。アルバムの保存処理については、図８−図１１を用いて後述する。
【００６９】
また、Ｓ４１６で保存指示が無い場合、制御部１０９は、プレビュー再生が指示されたか否かを判別する（Ｓ４１８）。プレビュー再生が指示された場合、Ｓ４１１に戻り、プレビュー再生処理が行われる。また、プレビュー再生が指示されない場合はＳ４１２に戻る。
【００７０】
次に、Ｓ４０４の空き容量の判定処理を説明する。図５は空き容量の判定処理を示すフローチャートである。制御部１０９は、まず、Ｓ４０１で生成されたシナリオにより、再生順序が先頭のチャプタを選択する（Ｓ５０１）。そして、制御部１０９は、選択されたチャプタを構成するインデックス数と、各インデックスのフレーム数を取得する。本実施形態では、アルバムに対して設定された各チャプタの画像効果に基づいて、１チャプタ当たりに使用される静止画ファイルの数と、各静止画当たりの動画データのフレーム数とが決められている。例えば、チャプタに対して第１の画像効果が設定された場合は、一つのチャプタが一つの静止画ファイルから作成され、そのときの動画のフレーム数がｎフレームに設定される。また、第２の画像効果が設定された場合には、一つのチャプタがｍ個の静止画ファイルから作成され、各静止画ファイルから生成される動画データのフレーム数がｋフレームに設定される。また、動画ファイルについては、画像効果にかかわらず、一つの動画ファイルが一つのチャプタとなる。このように、一つのチャプタを生成するために使用される静止画ファイル或いは動画ファイルの数がインデックスである。
【００７１】
制御部１０９は、各チャプタを構成するインデックス数と、一つのインデックス当たりのフレーム数から、チャプタ内のフレーム数を求め、加算する（Ｓ５０２）。そして、インデックス番号が最大となったか否かを判別し（Ｓ５０３）、最大でない場合にはチャプタ内のインデックス番号を更新し、Ｓ５０２に戻る。
【００７２】
また、チャプタ内のインデックス番号が最大となった場合、チャプタのフレーム数と、生成されるアルバムの動画のデータレート（ビットレート）とから、各チャプタのデータ量を求める（Ｓ５０５）。次に、制御部１０９は、得られたチャプタのデータ量を、記録媒体１０８の書き込み単位であるクラスタ数に変換する（Ｓ５０６）。例えば、メモリカードにおいては、クラスタと呼ばれる所定の書き込み単位に基づいてデータの書き込みが行われる。次に、制御部１０９は、合計のフレーム数とクラスタ数に対し、新たに取得されたチャプタのフレーム数とクラスタ数を加算することによりこれらを更新する（Ｓ５０７）。
【００７３】
そして、制御部１０９は、シナリオに指定された残りのチャプタがあるか否かを判別し（Ｓ５０８）、残りのチャプタがある場合は、次のチャプタを選択してＳ５０２に戻り処理を続ける（Ｓ５１０）。また、シナリオに記述された全てのチャプタについて処理が終了した場合、制御部１０９は、生成されるアルバムの動画ファイルのヘッダ（ｍｏｏｖ）のサイズを求める。そして、ヘッダのサイズをクラスタ数に変換し、合計のクラスタ数に加算する（Ｓ５０９）。ここで、制御部１０９は、Ｓ５０７で取得された合計のフレーム数に基づいて、アルバムの動画ファイルのヘッダサイズを求める。即ち、Ｓ５０７で取得された合計フレーム数は、生成されるアルバムの動画ファイルに含まれる動画のフレーム数である。また、図２を用いて説明したように、ヘッダ（ｍｏｏｖ）のサイズは、動画データのフレーム数に対応したサイズとなる。そのため、制御部１０９は、合計のフレーム数に基づいて、ヘッダのサイズを算出する。
【００７４】
更に、制御部１０９は、不揮発性メモリ１１２に記憶されている、圧縮されたＢＧＭ用の音楽データを記録媒体１０８に記録するために必要なサイズをクラスタ数に変換し、合計クラスタ数に加算する。ここでは、一つの音楽ファイルについて所定のサイズとして必要なクラスタ数を求める。
【００７５】
次に、制御部１０９は、記録媒体１０８の空きクラスタ数（未記録であるクラスタ数）を検出し（Ｓ５１１）、空きクラスタ数が、Ｓ５０９で得られた合計のクラスタ数より大きいか否かを判別する（Ｓ５１２）。そして、制御部１０９は、空きクラスタ数が、合計のクラスタ数より大きい場合は、空き容量ありと判定する（Ｓ５１３）。また、空きクラスタ数が、合計のクラスタ数より大きくない場合は、制御部１０９は、空き容量不足と判定する（Ｓ５１４）。
【００７６】
このように、図５の処理によれば、シナリオに指定された静止画ファイルと動画ファイルから生成されるアルバムの動画データのデータ量を算出する。また、アルバムに対してＢＧＭを合成する際に、一時的に生成される動画データのデータ量と、ＢＧＭの音楽ファイルを記録するのに必要なデータ量を求める。そして、これらの合計のデータ量に基づいて、アルバムを生成するために必要な分の空き容量が、記録媒体１０８に残っているかを判別する。
【００７７】
次に、Ｓ４０８、Ｓ４１２におけるプレビュー再生処理を説明する。図７はプレビュー再生処理を示すフローチャートである。制御部１０９はまず、ＢＧＭを合成する設定となっているか否かを判別する（Ｓ７０１）。ＢＧＭ合成が設定されていた場合、制御部１０９は、記録再生部１０７により、ＢＧＭとして選択された音楽データを不揮発性メモリ１１２から読み出し、メモリ１１１に記憶する（Ｓ７０２）。
【００７８】
次に、制御部１０９は、シナリオにより指定されたファイルのうち、再生順が先頭のファイルを選択し（Ｓ７０３）、このファイルが静止画ファイルと動画ファイルの何れであるかを判別する（Ｓ７０４）。静止画ファイルである場合、制御部１０９は、記録媒体１０８より選択された静止画ファイルを再生する。そして、画像処理部１０２により、再生された静止画データを復号し、ＹＵＶ形式の画像データに変換してメモリ１１１に記憶する（Ｓ７０５）。次に、制御部１０９は、ＢＧＭを合成する設定となっているか否かを判別し（Ｓ７０６）、ＢＧＭ合成の設定である場合は、音声処理部１０４によりメモリ１１１より音楽データを読み出して復号し、復号された音声データをスピーカ１１４から出力する（Ｓ７０７）。
【００７９】
また、制御部１０９は、復号された１画面の静止画データをメモリ１１１から読み出し、画像処理部１０２により所定の処理を施す（Ｓ７０８）。ここでは、静止画データの画素数を表示部１０６の画素数に合わせて変更する処理や、記録日時等の各種の情報を静止画に合成する処理、或いは、各種の画像効果の処理等を行う。そして、制御部１０９は、表示部１０６に１フレーム分の静止画を表示し（Ｓ７０９）、静止画ファイルの１チャプタ当たりに設定されたフレーム数の静止画を表示したか否かを判別する（Ｓ７１０）。設定されたフレーム数の静止画を表示していない場合はＳ９０６に戻る。また、設定されたフレーム数の静止画を表示済みの場合、制御部１０９は、シナリオに指定された全てのファイルの再生が終了したか否かを判別する（Ｓ７１１）。
【００８０】
全てのファイルの再生が終了した場合、制御部１０９は、ＢＧＭを合成する設定となっているか否かを判別し、ＢＧＭを再生する設定の場合は、音声処理部１０４による音楽データの復号を停止する（Ｓ７１４）。なお、本実施形態では、各ＢＧＭ用の音楽ファイルに格納された音声データの再生時間は数秒から数十秒程度としている。そのため、プレビュー再生中、及び、後述のＢＧＭ合成処理中は、一つの音楽データを繰り返しメモリ１１１から読み出し、音声処理部１０４により復号して出力する。
【００８１】
Ｓ７１１で、シナリオに指定された全ファイルの再生が終了していない場合、制御部１０９は、シナリオの再生順で、次のファイルを選択し、Ｓ７０４に移行する。
【００８２】
また、Ｓ７０４で、選択されたファイルが動画ファイルである場合、制御部１０９は、選択された動画ファイルを記録媒体１０８より再生する。そして、再生された動画データを画像処理部１０２により復号し、ＹＵＶ形式の画像データに変換してメモリ１１１に記憶する（Ｓ７１５）。また、制御部１０９は、ＢＧＭを合成する設定となっているか否かを判別する（Ｓ７１６）。ＢＧＭ合成の設定である場合は、音声処理部１０４により、メモリ１１１から音楽データを読み出して復号し、スピーカ１１４から出力する（Ｓ７１７）。また、ＢＧＭを合成する設定でない場合、動画と共に再生された音声データをスピーカ１１４から出力する（Ｓ７１８）。
【００８３】
また、制御部１０９は、復号された動画データの１画面をメモリ１１１から読み出し、画像処理部１０２により所定の処理を施す（Ｓ７１９）。ここでは、静止画のときと同様に、データの画素数を表示部１０６の画素数に合わせて変更する処理や、記録日時等の各種の情報を静止画に合成する処理、或いは、各種の画像効果の処理等を行う。また、動画データの場合、アルバムの動画のフレームレートと動画データのフレームレートが異なる場合は、フレームレートの変換処理も行う。
【００８４】
そして、制御部１０９は、表示部１０６に１フレーム分の動画を表示し（Ｓ７２０）、１チャプタ当たりに設定された表示フレーム数の動画を表示したか否かを判別する（Ｓ７２１）。動画ファイルについては、一つのファイルに含まれる動画データを全て表示する。設定されたフレーム数の動画データを表示していない場合はＳ７１５に戻る。動画データの全てのフレームの表示が終了した場合、動画ファイルの再生を停止して（Ｓ７２２）、Ｓ７１１に移行する。
【００８５】
（アルバム保存処理）
次に、Ｓ４１７のアルバム保存処理を説明する。図８はアルバムの保存処理を示すフローチャートである。アルバムの保存処理においては、シナリオに指定された各静止画ファイル、動画ファイルがそれぞれシナリオの１チャプタの動画（一時的な保存用の動画ファイル）に変換され、各チャプタが一つの動画ファイルとして記録媒体１０８に記録される。このとき、ＢＧＭを合成する場合、変換された動画データと、不揮発性メモリ１１２に記憶されたＢＧＭの音楽データとが合成され、記録媒体１０８に記録される。そして、一つのチャプタの動画ファイルが記録媒体１０８に記録される度に、既に記録済みのアルバムの動画ファイルに結合される（すなわち最終的なアルバム動画ファイルとなる）。
【００８６】
図８において、制御部１０９は、シナリオにより指定されたファイルのうち、再生順が先頭のファイルを選択し（Ｓ８０１）、このファイルが静止画ファイルと動画ファイルの何れであるかを判別する（Ｓ８０２）。静止画ファイルである場合、制御部１０９は、静止画から動画への変換処理を行う（Ｓ８０３）。また、動画ファイルの場合、動画から動画への変換処理を行う（Ｓ８０４）。
【００８７】
一つのファイルについての処理が完了すると、制御部１０９は、記録媒体１０８に記録済みのアルバムの動画ファイルと、新たに記録されたチャプタの動画ファイルとを結合する（Ｓ８０５）。そして、制御部１０９は、シナリオに指定された全てのファイルについて、動画への変換処理が終了したか否かを判別し（Ｓ８０６）、終了していない場合には、次のファイルを選択してＳ８０２に戻る（Ｓ８０７）。全てのファイルの変換、記録処理が完了した場合、結合されたアルバム動画ファイルのファイル名、ここでは拡張子を、ＭＰ４形式を示す拡張子である「ＭＰ４」に変更する（Ｓ８０８）。
【００８８】
次に、静止画から動画への変換処理を説明する。図９は静止画から動画への変換処理を示すフローチャートである。まず、制御部１０９は、変換された動画データを記録するためのファイルを記録媒体１０８に作成する（Ｓ９０１）。本実施形態では、一つの静止画ファイル、或いは動画ファイルから生成される１チャプタの動画データを一つのファイルとして記録媒体１０８に記録する。そのため、ここでは、変換された動画データを記録するためのファイルを記録媒体１０８にオープンする。また、ここでは、ＤＣＦディレクトリとは異なるディレクトリに、変換された動画用のファイルを作成する。また、各チャプタの動画ファイルの形式はＭＰ４形式とするが、これ以外の形式としてもよい。
【００８９】
次に、制御部１０９は、選択された静止画ファイルを記録再生部１０７により記録媒体１０８から読み出す。そして、画像処理部１０２により、読み出された静止画データを復号し、ＹＵＶ形式の画像データに変換してメモリ１１１に記憶する（Ｓ９０２）。復号された１画面の静止画データをメモリ１１１から読み出し、画像処理部１０２により所定の処理を施す（Ｓ９０３）。ここでは、画像データの画素数を所定の画素数、ここでは横１２８０画素×縦７２０画素に変換する処理や、先頭からのチャプタ数等の各種の情報を画像データに合成する処理、或いは、各種の画像効果の処理等を行う。
【００９０】
そして、画像処理部１０２により１フレーム分の静止画データを符号化する（Ｓ９０４）。次に、制御部１０９は、ＢＧＭを合成する設定となっているか否かを判別する（Ｓ９０５）。ＢＧＭを合成する設定となっている場合、制御部１０９は、不揮発性メモリ１１２からＢＧＭの動画データを読み出し、メモリ１１１における、記録用の音声データのための所定の記憶領域に記憶する（Ｓ９０６）。また、ＢＧＭを合成する設定でない場合、制御部１０９は、不揮発性メモリ１１２から、無音の音声データを読み出し、メモリ１１１における、記録用の音声データのための所定の記憶領域に記憶する（Ｓ９０７）。
【００９１】
次に、記録再生部１０７は、メモリ１１１より符号化された画像データと音声データとを読み出し、記録媒体１０８に記録する（Ｓ９０８）。なお、記録再生部１０７は、１フレームの画像データが符号化される度に記録するのではなく、所定量の符号化された画像データと音声データとがメモリ１１１に記憶されたことに応じて、符号化された画像データと音声データとを記録媒体１０８に記録する構成としてもよい。
【００９２】
次に、制御部１０９は、静止画ファイルの１チャプタ当たりに設定されたフレーム数の画像データを符号化し、記録したか否かを判別する（Ｓ９０９）。設定されたフレーム数の画像データを記録していない場合はＳ９０３に戻る。また、設定されたフレーム数の静止画を記録済みの場合、制御部１０９は、画像データの記録を停止して、動画ファイルの管理情報（ｍｏｏｖ）を生成し、記録再生部１０７により記録媒体１０８に記録する（Ｓ９１０）。そして、制御部１０９は、このチャプタの動画ファイルをクローズし、終了する（Ｓ９１１）。なお、ここで記録される動画ファイルが、アルバムの先頭のチャプタの動画ファイルである場合、所定の最大再生時間分に対応したｍｏｏｖデータのサイズを予め確保する。具体的には、本実施形態では一つの動画ファイルの最大の再生時間を２９分５９秒とすれば、上述したようにｍｏｏｖのサイズは動画データのフレーム数に対応したサイズとなるため動画ファイルの最大再生時間におけるｍｏｏｖのサイズを特定可能である。このため、例えば、図２のｆｒｅｅボックス２２５のサイズを適切なサイズに調整して、この最大の再生時間分に対応したｍｏｏｖを格納する領域を記録媒体１０８に確保する。
【００９３】
そして、後述の結合処理においては、新たなチャプタの動画ファイルが記録される度に、この先頭のチャプタの動画ファイルに対し、新たに記録された動画ファイルが結合され、アルバムの動画として記録される。
【００９４】
次に、動画ファイルの変換処理を説明する。図１０は動画ファイルの変換処理を示すフローチャートである。まず、制御部１０９は、変換された動画データを記録するためのファイルを記録媒体１０８に作成する（Ｓ１００１）。次に、制御部１０９は、選択された動画ファイルを記録再生部１０７により記録媒体１０８から読み出す。そして、画像処理部１０２により、読み出された動画データを復号し、ＹＵＶ形式の画像データに変換してメモリ１１１に記憶する（Ｓ１００２）。次に、制御部１０９は、ＢＧＭを合成する設定となっているか否かを判別する（Ｓ１００３）。ＢＧＭを合成する場合、制御部１０９は、不揮発性メモリ１１２からＢＧＭの動画データを読み出し、メモリ１１１における、記録用の音声データのための所定の記憶領域に記憶する（Ｓ１００４）。また、ＢＧＭを合成する設定でない場合、制御部１０９は、再生されている動画ファイルの音声データを復号せずに、記録用の音声データのための所定の記憶領域に記憶する（Ｓ１００５）。
【００９５】
次に、制御部１０９は、復号された１画面の動画データをメモリ１１１から読み出し、画像処理部１０２により所定の処理を施す（Ｓ１００６）。ここでは、画像データの画素数を所定の画素数、ここでは横１２８０画素×縦７２０画素に変換する処理や、先頭からのチャプタ数等の各種の情報を画像データに合成する処理、或いは、各種の画像効果の処理等を行う。
【００９６】
そして、画像処理部１０２により１フレーム分の動画データを符号化し（Ｓ１００７）、符号化された動画データと音声データとをメモリ１１１より読み出して記録媒体１０８に記録する（Ｓ１００８）。なお、記録再生部１０７は、１フレームの画像データが符号化される度に記録するのではなく、所定量の符号化された画像データと音声データとがメモリ１１１に記憶されたことに応じて、符号化された画像データと音声データとを記録媒体１０８に記録する構成としてもよい。
【００９７】
次に、制御部１０９は、動画ファイルの１チャプタ当たりに設定されたフレーム数の画像データを符号化し、記録したか否かを判別する（Ｓ１００９）。設定されたフレーム数の画像データを記録していない場合はＳ１００２に戻る。また、設定されたフレーム数の静止画を記録済みの場合、制御部１０９は、画像データの記録を停止して、動画ファイルの管理情報（ｍｏｏｖ）を生成し、記録再生部１０７により記録媒体１０８に記録する（Ｓ１０１０）。そして、制御部１０９は、このチャプタの動画ファイルをクローズし、終了する（Ｓ１０１１）。また、前述のように、ここで記録される動画ファイルが、アルバムの先頭のチャプタの動画ファイルである場合、所定の最大再生時間分に対応したｍｏｏｖデータのサイズを予め確保する。
【００９８】
このように、シナリオより指定された静止画ファイルと動画ファイルがそれぞれ、アルバムにおける１チャプタの動画に変換され、動画ファイルとして記録媒体１０８に記録される。
【００９９】
次に、Ｓ８０５の動画ファイル結合処理を説明する。Ｓ８０３或いはＳ８０４の処理により、一つのチャプタの動画ファイルが記録媒体１０８に記録される度に、結合処理が行われる。
【０１００】
図１１は結合処理を示すフローチャートである。まず、制御部１０９は、記録媒体１０８に、アルバム保存処理により作成された二つの動画ファイルが記録されているか否かを判別する（Ｓ１１０１）。先頭のチャプタの動画ファイルが記録された直後では、動画ファイルは一つしか記録されていないので、ここでの判定は否となる。それ以外の場合においては、直前までに記録された動画ファイルと、今回新たに記録されたチャプタの動画ファイルとが記録媒体１０８に記録されていることになる。
【０１０１】
このように、二つの動画ファイルが記録されている場合、制御部１０９は、先に記録されている動画ファイルに対し、今回記録されたチャプタの動画ファイルを結合するため、次のチャプタの動画ファイルに基づいて、先頭のチャプタの動画ファイルの管理情報を変更する（Ｓ１１０２）。このとき、例えばｆｒｅｅボックス２２５の領域を使って、結合して増加する分のデータ（例えば結合して増加する動画ファイルの管理情報）を追記する。そして、記録済みの動画ファイルに対し、今回記録したチャプタの動画データ及び音声データを追加する（Ｓ１１０３）。ここでは、ＦＡＴファイルシステムにおける、ＦＡＴチェーンを変更（連続するデータ領域を示すクラスタチェインを変更）することにより、動画データと音声データとを追加するが、動画データと音声データの記録位置を移動してもよい。
【０１０２】
このように、シナリオに指定された各ファイルに対応した動画が一つの動画に結合される。本実施形態では、結合されたファイルのファイル名として、所定のファイル名を付加する。また、この結合後の動画ファイルは、ＤＣＦディレクトリとは別のディレクトリに格納される。
【０１０３】
そして、図８のＳ８０８において、全てのチャプタの動画ファイルが一つに結合されると、結合後の動画ファイルのファイル名を変更すると共に、ＤＣＦディレクトリに移動する。
【０１０４】
以上のように、アルバムモードでは、図１３に示すように、シナリオにより指定された静止画ファイル１３０１と動画ファイル１３０２がそれぞれ１チャプタの動画データに変換される。変換された動画データに対し、不揮発性メモリ１１２に記憶されたＢＧＭの音楽データ１３０３が合成され、それぞれ動画ファイル１３０４、１３０５として記録媒体１０８に記録される。更に、各チャプタの動画ファイルを結合し、アルバムの動画ファイル１３０６として記録される。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０５】
１０１…撮像部、１０２…画像処理部、１０３…音声入力部、１０４…音声処理部、１０７…記録再生部、１０８…記録媒体、１０９…制御部、１１０…操作部、１１１…メモリ、１１２…不揮発性メモリ
【図１】
2017108224.tif 000003
【図２】
2017108224.tif 000004
【図３】
2017108224.tif 000005
【図４】
2017108224.tif 000006
【図５】
2017108224.tif 000007
【図６】
2017108224.tif 000008
【図７】
2017108224.tif 000009
【図８】
2017108224.tif 000010
【図９】
2017108224.tif 000011
【図１０】
2017108224.tif 000012
【図１１】
2017108224.tif 000013
【図１２】
2017108224.tif 000014
【図１３】
2017108224.tif 000015