(57)【要約】【課題】動画と音声との同期のとれた音声付動画を容易かつ自在に作成することができる画像処理装置を提供する。【解決手段】データ処理部１３は、動画記憶部７４に記憶された動画に含まれるフレーム画像データに対して、音声記憶部７２に記憶された音声データを割り付けて割付音声記憶部７３に登録する割付条件決定部６２と、割付音声記憶部７３に登録された音声データの再生時間に基づいて、この動画を再生する際のフレームの画像データの表示時間を設定可能とする割付処理部６３と、を備える。【選択図】図２
2012054757.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録手段と、
前記登録手段によって登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定手段と、
を備えたことを特徴とする、画像処理装置。
【請求項２】
前記登録手段は、前記音声データを２以上のフレーム画像データに登録することを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記設定手段は、前記登録手段によって登録された音声データの再生時間よりも長くなるように当該音声データが登録されたフレーム画像データの表示時間を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前景動画を構成する複数のフレーム画像データと、背景動画を構成する複数のフレーム画像データの各フレーム画像データを各々に合成して合成動画を生成する合成手段と、
をさらに備え、
前記登録手段は、前景動画に含まれる少なくとも１つのフレーム画像データに対して、音声データを登録し、
前記設定手段は、前記合成動画の各フレームの画像データの表示時間を、前記前景動画の各フレームに設定された表示時間に基づいて設定する設定制御手段と、
ことを特徴とする、請求項１から３の何れかに記載の画像処理装置。
【請求項５】
動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録ステップと、
この登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定ステップと、を含むことを特徴とする、画像処理方法。
【請求項６】
コンピュータを、
動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録手段と、
前記登録手段によって登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定手段と、して機能させるための、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、被写体と音声との同期のとれた合成動画を容易かつ自在に作成することを可能にする技術に関する。
【背景技術】
【０００２】
従来より、被写体を撮影した前景画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば特許文献１参照）。一方、撮影した静止画や動画に対して後に別途音声を録音するアフレコ（アフターレコーディング）なども行われている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【特許文献２】特開平０７−３２２１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影した静止画や動画のみならず、特許文献１のように前景画像と背景画像とを合成して生成した合成動画などにも特許文献２のようなアフレコ機能を設けることにより音声を付加することが望まれている。しかしながら、撮影された動画に対し、例えば効果音のような予め用意された音声データを付加する場合、編集作業により動画に含まれる主要被写体の動きのタイミングと音声データの出力タイミングとを同期させることは難しく、付加した音声データによる演出効果が半減してしまう可能性があった。
【０００５】
本発明は、上記の状況に鑑みてなされたものであり、動画に含まれる被写体と音声との同期のとれた音声割付動画を容易かつ自在に作成することができる画像処理装置及び方法、及び画像処理プログラムを提供することを目的とする。
【０００６】
本発明の第１の態様によると、動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録手段と、前記登録手段によって登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定手段と、を備えたことを特徴とする、画像処理装置が提供される。
【０００７】
本発明の第２の態様によると、動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録ステップと、この登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定ステップと、を含むことを特徴とする、画像処理方法が提供される。
【０００８】
本発明の第３の態様によると、コンピュータを、動画に含まれる少なくとも１つのフレーム画像データに対して、当該フレーム画像データの表示中に出力すべき音声データを登録する登録手段と、前記登録手段によって登録された前記音声データの再生時間に基づいて、前記動画を再生する際の当該音声データが登録されたフレーム画像データの表示時間を設定する設定手段と、して機能させるための、画像処理プログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、例えば、異なる動画を合成して生成した合成動画に音声を付加するような場合に、音声と合成動画に含まれる被写体との同期のとれた音声付き動画を容易かつ自在に作成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置の第１実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。
【図２】図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。
【図３】図２のデータ処理部が実行する音声割付及び再生処理の例を示す図である。
【図４】図２のデータ処理部が実行する音声割付処理の流れの一例を示すフローチャートである。
【図５】図２のデータ処理部が実行する音声割付動画の再生処理の流れの一例を示すフローチャートである。
【図６】本発明の画像処理装置の第２実施形態に係るデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
＜第１実施形態＞
図１は、本発明の画像処理装置の第１実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。
【００１３】
デジタルカメラ１は、撮像部１１と、音声入力部１２と、データ処理部１３と、ユーザインタフェース部１４と、を備える。
【００１４】
撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。
【００１５】
光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
【００１６】
イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のデジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１３に供給される。
【００１７】
音声入力部１２は、マイクロフォンなどで構成される。マイクロフォンは、撮像部１１による撮影時などに音声を入力し、アナログの音声信号として出力する。音声入力部１２から出力された音声信号は後述する音声処理部６１（図２を参照）によって、Ａ／Ｄ変換などの信号処理が実行されてデジタル信号に変換される。以下、音声信号のデジタル信号を、「音声データ」と呼ぶ。このように呼称すると、音声入力部１２から音声処理部６１（図２を参照）を介して音声データが出力されて、データ処理部１３に供給される。
【００１８】
データ処理部１３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、信号処理部３６と、を備えている。
【００１９】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００２０】
本実施形態では、後述する図２の音声処理部６１乃至ファイル化部６４の各機能を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、音声処理部６１乃至ファイル化部６４の各機能を実現することができる。
【００２１】
メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データや、音声入力部１２から音声処理部６１（図２を参照）を介して出力された音声データを一時記憶する。また、メモリ３４は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、音声データ、動画データ又は音声データに関連する各種メタ情報なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。
【００２２】
出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１４の表示部４２に表示させる。例えば、出力制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４２に供給することにより、表示画像を表示部４２に表示させる。
【００２３】
出力制御部３５はまた、メモリ３４に記憶された音声データを読み出し、音声処理部６１（図２を参照）によって、Ｄ／Ａ変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部４１に供給することにより、当該音声信号により表現される音声を音声出力部４１から出力させる。
【００２４】
なお、出力制御部３５により生成されたＲＧＢ信号及び音声信号は、ユーザインタフェース部１４の通信部４４によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタ、スピーカなどでも、表示画像の表示、及び音声出力が可能になる。
【００２５】
信号処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などで構成され、ＣＰＵ３１の制御に従って、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。さらに、信号処理部３６は、音声入力部１２から音声処理部６１（図２を参照）を介して供給され音声のデータに対して各種信号処理を実行する。なお、信号処理部１９が実行する音声割付処理及び音声割付動画の再生処理の具体例については、図３以降の図面を参照して後述する。
【００２６】
本実施形態では、後述する図２の音声処理部６１乃至ファイル化部６４が実行する各種画像処理のうち少なくとも一部が、信号処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図２の音声処理部６１乃至ファイル化部６４は、ＣＰＵ３１及び信号処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
【００２７】
また、信号処理部３６は、撮像部１１により撮像された動画の画像データを取得する。例えば、信号処理部３６は、所定のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から順次供給される、正規の画角を有する複数の画像の画像データを取得する。即ち、本実施形態では、このようにして信号処理部３６により取得された複数の画像の画像データが、正規の画角を有し所定のフレームレートを有する動画の画像データとして取得される。なお、このように動画を構成する複数の画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。
【００２８】
信号処理部３６は、このようにして取得した動画の画像データを、ファイル化して、動画記憶部７４（図２を参照）に記憶させる。即ち、動画の画像データを含む動画ファイルが生成され、動画記憶部７４に記憶される。信号処理部３６は、動画に関するメタ情報を生成し、当該動画ファイルに含めて動画記憶部７４に記憶させる。動画に関するメタ情報とは、例えば、各フレームの表示時間、及び、各フレームに音声が割り付けられているか否か、又、割り付けられている場合は、割り付けられている音声とその再生時間を特定する特定する情報などが含まれる。さらに、かかるメタ情報は、同一の音声がグループ化された複数のフレームに割り付けられているか否か、同一の音声がグループ化されて割り付けられている場合は、同一グループとして指定されている他のフレームを特定する情報などを含んでもよい。
【００２９】
ここで、各フレームの表示時間を特定する情報を、以下、「表示時間情報」と呼ぶ。また、各フレームに音声が割り付けられているか否か、又、割り付けられている場合は、割り付けられている音声とその再生時間を特定する特定する情報を、以下、「割付情報」と呼ぶ。なお、本実施形態では、音声がグループ化されて割り付けられているか否か、グループ化されて割り付けられている場合は、同一グループとしてグループ化されているフレームを特定する情報も割付情報に含まれるものとする。即ち、動画記憶部７４に記憶される動画ファイルには、動画の画像データとともに、表示時間情報などのメタ情報が含まれている。
【００３０】
表示時間情報には基準表示時間として、３０ミリ秒、５０ミリ秒、１００ミリ秒又は２００ミリ秒が設定されている。各フレームの表示時間情報には、デフォルト値として、基準表示時間が含まれている。本実施形態では、音声を動画に割り付ける場合、音声の再生時間にフレームの表示時間を合わせるようにする。あるいは、同一の音声フレーズを複数のフレームに共有して割り付けることができ、この場合は、当該音声フレーズの再生時間に割り付けるフレームの合計の表示時間を合わせるようにする。詳細については後述するが、動画ファイルに含まれる表示時間情報及び割付情報に基づいて、各フレームの表示時間を検出又は変更することができるので、ユーザが撮影した動画に音声を割り付けて、動画に含まれる被写体と音声との同期のとれた音声割付動画を容易かつ自在に作成することが可能になる。
【００３１】
また、信号処理部３６は、当該動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する割付条件決定の際にユーザに提示するインデックス画像データを生成し、これを動画記憶部７４に記憶される各動画に含まれるフレームの画像データと対応付けるように、インデックス画像記憶部７１（図２を参照）に記憶させる。
【００３２】
なお、本実施形態では、撮像部１１により撮像された動画の画像データの他に、複数の動画を合成して生成した合成動画の画像データなど、様々な動画の画像データが、予め与えられているものとする。換言すると、本実施形態では、撮像部１１により撮像された動画以外の動画の画像データが、所定の動画ファイルの形式で動画記憶部７４に予め記憶されている。また、当該所定の動画ファイルには、メタ情報として、各フレームの表示時間を特定する表示時間情報なども含まれているものとする。当該動画のインデックス画像データも、メタ情報などと対応付けて、インデックス画像記憶部７１に記憶させる。
【００３３】
ユーザインタフェース部１４は、スピーカなどで構成される音声出力部４１と、液晶ディスプレイなどで構成される表示部４２と、ユーザの指示操作を受け付ける操作部４３と、外部機器との間での通信を制御する通信部４４と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４５と、を備えている。
【００３４】
このような構成を有するデジタルカメラ１は、動画記憶部７４に記憶された動画の画像データに音声フレーズを割り付ける音声割付処理を実行する。
【００３５】
図２は、このような音声割付処理を実行するためのデータ処理部１３の機能的構成を示す機能ブロック図である。データ処理部１３は、本発明の画像処理装置として機能する。
【００３６】
データ処理部１３は、音声処理部６１と、割付条件決定部６２と、割付処理部６３と、ファイル化部６４と、を備えている。
【００３７】
また、データ処理部１３のＲＯＭ３２（図１を参照）、ＲＡＭ３３（図１を参照）、又はメモリ３４（図１を参照）内には、インデックス画像記憶部７１と、音声記憶部７２と、割付音声記憶部７３と、動画記憶部７４と、音声割付動画記憶部７５と、が設けられている。
【００３８】
音声処理部６１は、音声入力部１２から出力されたアナログの音声信号に対して、例えば、ＣＥＬＰ符号化などの各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、音声入力部１２の出力信号として出力される。また、音声処理部６１は、出力制御部３５に入力された音声データを音声信号に変換して、音声出力部４１により出力させる。
【００３９】
割付条件決定部６２は、動画記憶部７４に記憶された動画の画像データに割り付ける音声（以下、「割付音声」と呼ぶ）と、動画の画像データに音声を割り付ける条件（以下、「割付条件」と呼ぶ）を決定する。割付条件決定部６２によって生成される割付音声は割付音声記憶部７３に記憶される。割付条件決定部６２は、音声再生部６２Ａと、画像再生部６２Ｂと、割付音声生成部６２Ｃと、を備えている。割付条件決定部６２が決定する割付条件としては、各フレームの表示時間を表す表示時間情報と、割付情報があげられる。
【００４０】
割付処理部６３は、動画記憶部７４に記憶された動画の画像データに、割付条件決定部６２で決定され、割付音声記憶部７３に記憶された割付音声を、割付条件決定部６２で決定された割付条件に従って、割り付ける処理を行う。
【００４１】
本実施形態では、割付条件の多くはユーザによる設定が可能になっている。このようなユーザによる設定を支援すべく、インデックス画像記憶部７１には複数のインデックス画像データが記憶されている。
【００４２】
ユーザによる操作部４３の操作により、音声再生部６２Ａは、指定された音声データを音声記憶部７２から読み出して、音声出力部４１に供給する。すると、音声出力部４１は、当該指定された音声データを、音声処理部６１によって音声信号に変換した後、当該指定された音声データにより表現される音声を、音声出力部４１から出力させる。
【００４３】
さらに、ユーザによる操作部４３の操作により、画像再生部６２Ｂは、指定されたインデックス画像データをインデックス画像記憶部７１から読み出して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を表示部４２に表示させる。
【００４４】
なお、画像再生部６２Ｂは、動画記憶部７４に記憶されている動画の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス画像記憶部７１は省略してもよい。
【００４５】
ユーザは、このインデックス画像データの画像を見ながら、また音声出力部４１から出力される音声を聞きながら、操作部４３を操作することで、音声割り付けを行う画像と画像に割り付ける割付音声の選択、及び、割付条件に対する指示操作を行うことができる。なお、割付音声とインデックス画像データの具体例や、割付条件の決定手法の具体例については、図３以降の図面を参照して後述する。
【００４６】
ファイル化部６４は、割付処理部６３により生成された音声を割り付けられた動画の画像データと、表示時間情報及び割付情報などの各種メタ情報とを含むファイル（以下「音声割付動画ファイル」と呼ぶ）を生成し、音声割付動画記憶部７５に記憶させる。即ち、ファイル化部６４は、割付条件決定部６２で決定され、割付音声記憶部７３に記憶された割付音声と、割付処理部６３により割り付けが行われた動画の画像データとを、割付条件決定部６２で決定された割付条件、即ち、表示時間情報及び割付情報などの各種メタ情報とともにファイル化して、音声割付動画ファイルを生成し、音声割付動画記憶部７５に記憶させる。
【００４７】
図３は、本実施形態に係るデジタルカメラ１によって実行される、音声割付及び再生の例を示す図である。
【００４８】
まず、図３を参照して、音声が割り付けられたフレームと音声との関係を示しながら、上述の機能的構成を有するデータ処理部１３が実行する音声割付及び再生処理の概要についても説明する。
【００４９】
本実施形態で、音声又は音声フレーズとは、人間が発する音声に限定されず、この他にも、例えば、効果音や、音楽など、人間が動画を視聴する際に適切と考えられる任意の音を含むことができる。
【００５０】
図３において、１区間は、１フレーム分の表示時間を示している。１フレームの基準表示時間は、例えば、３０ミリ秒、５０ミリ秒、１００ミリ秒、又は２００ミリ秒である。“○”は、音声フレーズが割り付けられた時間を示している。“＋”は、音声の割り付けられていない無音の時間を示している。
【００５１】
図３（Ａ）は、音声が割り付けられていない動画の例で、各フレームの画像は、いずれも同一の基準表示時間で表示され、音声は再生されない。
【００５２】
図３（Ｂ）は、フレームごとに音声を割り付けた動画の例で、割り付ける音声フレーズ一つ分の再生時間（“○”で三つ分）は何れも画像１フレーム分の表示時間を下回っている。このため、各フレームは、同一の基準表示時間で表示される。各フレームの表示時間は音声フレーズの再生時間を上回っているため、音声が割り付けられたフレームはどれも、「ポコ」、「ポコ」、「ポコ」、「パッ」、「パッ」、「パッ」という、“○”で三つ分の時間の比較的短い音声フレーズが再生された後、無音（“＋”で一つ分）の僅かな時間を有する。
【００５３】
図３（Ｃ）及び図３（Ｄ）は、フレームごとに音声を割り付けられた動画の場合であるが、一部の音声フレーズ、例えば、「オメデトウゴザイマス」、「キーン」は画像１フレーム分の基準表示時間を上回る再生時間を有している。
【００５４】
このような音声フレーズについては、当該音声フレーズが割り付けられるフレームの表示時間を、当該音声フレーズの再生時間以上となるように変更している。
【００５５】
図３（Ｃ）においては、「オメデトウゴザイマス」に対応するフレームの表示時間が基準表示時間より長く設定されている。図３（Ｄ）においては、「キーン」に対応するフレームの表示時間が基準表示時間より長く設定されている。他の音声については、フレームの基準表示時間が音声の再生時間を上回っているので、各フレームは基準表示時間だけ表示される。これらのフレームでは、割付音声が再生された後でも、僅かな時間だけ無音でフレームの画像が表示される。
【００５６】
図３（Ｅ）は、音声フレーズを割り付けた動画の場合であるが、画像１フレーム分の基準表示時間を上回る再生時間を有する一部の音声フレーズについては、２〜３コマのフレームをグループ化し、このグループ化したフレーム全体に音声を割り付けることにより、グループ化されたフレーム全体の表示時間が、音声フレーズの再生時間以上となるようにしている。
【００５７】
具体的には、図３（Ｅ）において、「タンジョウビ」には、３コマのフレームが、「オメデトウ」には、２コマのフレームがグループ化されて音声が割り付けられている。
【００５８】
このようにして、「タンジョウビ」という音声フレーズでは３コマのフレームがグループ化され、３コマのフレームの合計の表示時間が「タンジョウビ」という音声フレーズの再生時間以上となるようにしている。「オメデトウ」という音声フレーズでは２コマのフレームがグループ化され、２コマのフレームの合計の表示時間が「オメデトウ」という音声フレーズの再生時間以上となるようにしている。
【００５９】
次に、図４のフローチャートを参照して、このような機能的構成を有するデータ処理部１３が実行する音声割付処理について説明する。その際、音声割付処理の理解を容易なものとすべく、図３に示す割付及び再生の例を適宜参照する。
【００６０】
図４は、音声割付処理の流れの一例を示すフローチャートである。
【００６１】
本音声割付処理は、データ処理部１３の割付条件決定部６２が、ユーザの操作部４３の操作により、音声割付処理の選択操作が検出されたか否かを判定し、音声割付処理の選択操作が検出されると開始する。この段階で既に、動画記憶部７４に記憶された動画の画像データの中から、音声割付処理を行う動画の画像データは選択されているものとする。また、本音声割付処理中、割付条件決定部６２の音声再生部６２Ａは音声記憶部７２に記憶された音声データから、ユーザの操作部４３の操作に応じて、逐次、適当な音声を選択して再生するものとする。ここで、処理対象の動画を構成する各フレームの各々には再生順に番号が付されているものとし、ｎを再生対象のフレームの番号を表す自然数とする。
【００６２】
まず、割付条件決定部６２の音声再生部６２Ａは音声記憶部７２に記憶された音声データから音声フレーズを再生し、画像再生部６２Ｂはｎを１に設定し、処理対象の動画を最初のフレームから再生を開始する（Ｓ１０１）。
【００６３】
続いて、割付音声生成部６２Ｃは、音声フレーズの割り付けを行う指示操作が検出されたか否かを判定する（Ｓ１０２）。
【００６４】
この時、音声再生部６２Ａにより再生される音声フレーズを聴いているユーザが操作部４３を操作して、現在表示されているフレームの画像に対して音声フレーズを割り付けるという指示操作を行と、割付音声生成部６２Ｃは、音声フレーズの割り付けを行う指示操作を検出して、割り付ける音声フレーズの選択を行う（Ｓ１０３）。
【００６５】
具体的には、ステップＳ１０３において、ユーザが操作部４３を操作して、現在表示されているフレームの画像に対して割り付ける音声フレーズ、即ち、割付音声の選択を行ったとすると、割付音声生成部６２Ｃは、ユーザによって指定された音声フレーズを割付音声として、割付音声記憶部７３に記憶する。この時、割付音声生成部６２Ｃは指定された音声フレーズの再生時間も割付情報として、音声フレーズとともに割付音声記憶部７３に記憶する。例えば、ユーザが、「タンジョウビオメデトウ」という音声フレーズを選択したとすると、「タンジョウビオメデトウ」という音声フレーズが割付音声として、さらにその再生時間が割付条件として割付音声記憶部７３に記憶される。割付処理部６３は、割付音声記憶部７３に記憶された割付音声を選択されたフレームの画像データに割り付ける。併せて、割付処理部６３は、当該フレームの画像に対応する割付情報に、音声がグループ化されていないという情報を書き込む。このように１フレームごとに音声フレーズを割り付けた場合のフレームと音声フレーズとの関係は例えば図３（Ｂ）、（Ｃ）、（Ｄ）のようになる。
【００６６】
続いて、割付音声生成部６２Ｃは、ｎ＋１番目のフレームの画像を音声を割り付ける対象画像として選択するかを判定する。即ち、ｎ番目のフレームの画像と、続くｎ＋１フレームとを、音声フレーズを割り付ける対象画像としてグループ化するか否かを判定する（Ｓ１０４）。
【００６７】
具体的には、割付音声生成部６２Ｃは、ユーザによる操作部４３の指示操作の有無を検出して、続くフレームとのグループ化を判定する。ユーザによる操作部４３の指示操作によって、続くフレームも、音声を割り付ける画像としてグループ化するという指示が検出されると、割付処理部６３は、ｎ番目のフレームとともにグループ化されたｎ＋１番目のフレームの画像も、割付音声記憶部７３に記憶された音声を割り付ける画像として対応付ける（Ｓ１０５）。
【００６８】
割付処理部６３は、併せて、グループ化されたフレーム、即ち、ｎ番目のフレームとｎ＋１番目のフレームとに対応する割付情報に、音声がグループ化されて割り付けられているという情報と、グループ化されている画像を特定する情報、例えば、ｎ番目のフレームとｎ＋１番目のフレームがグループ化されているという情報を書き込む。このようにグループ化されたフレームと音声フレーズとの関係は例えば図３（Ｅ）のようになる。
【００６９】
続いて、割付音声生成部６２Ｃは、ｎに１をインクリメントする（Ｓ１０６）。
【００７０】
割付音声生成部６２Ｃは、ｎが処理対象の動画を構成する全フレームの総数を超えたか否かを判定する（Ｓ１０７）。
【００７１】
ｎが処理対象の動画の全フレームの総数を超えていない判定された場合、即ち、処理対象の動画に再生するフレームの画像が存在する判定されると、処理はステップＳ１０４に戻り、ステップＳ１０４からステップＳ１０７迄の処理を繰り返す。
【００７２】
一方で、ステップＳ１０２において、所定の時間、例えば、１フレーム分の画像の基準表示時間を超えて、現在されているフレームの画像に対して割り付ける音声フレーズを選択する操作が検出されなかった場合、割付音声生成部６２Ｃは音声フレーズの割り付けはなしと判定する。割付処理部６３は、当該フレームの画像には音声フレーズの割り付けは行なわず（Ｓ１０８）、ステップＳ１０９に進む。この時、割付処理部６３は、当該フレームの画像に対応する割付情報に、音声が割り付けられていないという情報を書き込む。フレームと音声フレーズとの関係は図３（Ａ）のようになる。
【００７３】
また、ステップＳ１０４において、（ｎ＋１）番目のフレームの画像をグループ化しないと判定された場合、割付処理部６３は、当該フレームの画像の割付情報にグループ化なしと書き込み、ステップＳ１０９に進む。ステップＳ１０９において、割付音声生成部６２Ｃはｎに１をインクリメントして、ｎが処理対象の動画を構成する全フレームの総数を超えたか否かを判定する（Ｓ１１０）。
【００７４】
ステップＳ１１０において、ｎが処理対象の動画の全フレームの総数を超えていないと判定された場合、即ち、処理対象の動画に再生するフレームの画像が存在する判定されると、処理はステップＳ１０２に戻り、ステップＳ１０２からステップＳ１１０迄の処理を繰り返す。
【００７５】
一方で、ステップＳ１０７又はステップＳ１１０において、ｎが処理対象の動画の全フレームの総数を超えたと判定された場合、即ち、処理対象の動画にこれ以上再生するフレームの画像がないと判定されると、ファイル化部６４はファイル化を行う。即ち、ファイル化部６４は、このようにして割付条件決定部６２で決定され、割付音声記憶部７３に記憶された割付音声と、割付処理部６３により割り付けらが行われた動画の画像データとを、割付条件決定部６２で決定された割付条件、即ち、表示時間情報及び割付情報などの各種メタ情報とともにファイル化して、音声割付動画ファイルを生成し、音声割付動画記憶部７５に記憶させる。ファイル化部６４はファイル化を行うと、本音声割付処理は終了する。
【００７６】
このようにして生成される音声割付動画ファイルには、動画の画像データと、割付音声生成部６２Ｃによって生成されて割付音声記憶部７３に記憶された割付音声の音声データと、割付条件決定部６２によって決定された割付条件、即ち、各フレームの表示時間情報と割付情報と、が含まれる。割付条件決定部６２によって決定された割付条件、即ち、各フレームの表示時間情報と割付情報が、後述する再生処理で、各フレームの表示時間を設定する情報となる。
【００７７】
次に、図５のフローチャートを参照して、このようにして生成された音声割付動画を再生するためにデータ処理部１３が実行する音声割付動画再生処理について説明する。その際、音声割付動画再生処理の理解を容易なものとすべく、図３に示す割付及び再生の例を適宜参照する。
【００７８】
まず、データ処理部１３の割付条件決定部６２は、ユーザの操作部４３の操作により、音声割付動画再生処理の選択操作が検出されたか否かを判定する。図４及び図３を参照して説明した音声割付処理によって音声割付動画ファイルが生成されているものとする。ユーザの操作部４３の操作による再生処理の選択操作が検出されると、本音声割付動画再生処理を開始する。この段階で、音声割付動画ファイルはメモリ３４、又は、音声割付動画記憶部７５に記憶されているものとする。ここで、処理対象の音声割付動画ファイルを構成する各フレームの各々には再生順に番号が付されているものとし、ｎを再生対象のフレームの番号を表す自然数とする。
【００７９】
まず、出力制御部３５はｎを１に設定し、メモリ３４に記憶された音声割付動画ファイルに含まれる音声割付動画の最初のフレームの画像から再生を開始する（Ｓ２０１）。
【００８０】
続いて、出力制御部３５は、当該ｎ番目の１フレームの画像の基準表示時間（ｓｅｃ）Ｔｓを読み出し（Ｓ２０２）、割付情報を参照して、割付音声、例えば、音声フレーズが割り付けられているか否かを判定する（Ｓ２０３）。
【００８１】
ステップＳ２０３において、割付音声が割り付けられていると判定されると、さらに割付情報から、出力制御部３５は、割り付けられた音声フレーズ、即ち、割付音声の再生時間（ｓｅｃ）ｔａを読み出す（Ｓ２０４）。
【００８２】
続いて、出力制御部３５は、割付情報を参照して、当該ｎ番目のフレームの画像がグループ指定されているか否かを判定する（Ｓ２０５）。
【００８３】
ステップＳ２０５において、グループ指定されていると判定された場合、出力制御部３５は、割付情報を参照して、グループ化されているフレームの画像の合計の表示時間ｔｄを算出する（Ｓ２０６）。具体的には、出力制御部３５は、グループ化されているフレームの総数にそれぞれの表示時間、ここでは、基準表示時間ｔｓを掛け合わせて、表示時間ｔｄを算出する。
【００８４】
続いて、出力制御部３５は、音声の再生時間ｔａがグループ化されたフレームの画像の合計の表示時間ｔｄより長いか否フレーズかを判定する（Ｓ２０７）。
【００８５】
ステップＳ２０７において、音声フレーズの再生時間ｔａがグループ化されたフレームの画像の合計の表示時間ｔｄより長いと判定された場合は、ステップＳ２０９に進む。
【００８６】
ステップＳ２０７において、グループ化されたフレームの画像の合計の表示時間ｔｄが音声フレーズの再生時間ｔａ以下であると判定された場合は、出力制御部３５は、フレームの画像の合計の表示時間ｔｄを音声フレーズの再生時間ｔａの長さに設定する。その後、ステップＳ２０９に進む。
【００８７】
ステップＳ２０９において、出力制御部３５は、音声フレーズの再生を開始し、同時に、グループ化されたフレームの画像を、表示時間ｔｄの間、順次表示する（Ｓ２１０）。
【００８８】
この場合のフレームと音声フレーズとの関係は図３（Ｅ）の「タンジョウビ」、「オメデトウ」ようになる。図３（Ｅ）の場合、フレームの合計の表示時間ｔｄが音声フレーズの再生時間ｔａを下回っているので、フレームの合計の表示時間ｔｄは延長されていない。
【００８９】
但し、Ｓ２０７において、グループ化されたフレームの画像の合計の表示時間ｔｄが音声フレーズの再生時間ｔａ以下であると判定された場合は、フレームの画像の合計の表示時間ｔｄを音声フレーズの再生時間ｔａの長さに設定するので、「タンジョウビ」、「オメデトウ」に対応するグループ化されたフレームの合計の表示時間ｔｄはｔａに延長されることになる。
【００９０】
ステップＳ２０９において、出力制御部３５は、音声フレーズの再生を開始し、同時に、グループ化されたフレームの画像を、表示時間ｔｄの間、順次表示する（Ｓ２１０）。
【００９１】
続いて、出力制御部３５は、ｎにグループ化されたフレームの画像のコマ数分だけインクリメントする（Ｓ２１１）し、ｎが、処理対象の音声割付動画を構成する全フレームの総数を超えたか否かを判定する（Ｓ２１２）。
【００９２】
ｎが処理対象の音声割付動画の全フレームの総数を超えていない判定された場合、即ち、処理対象の音声割付動画に再生するフレームの画像が存在する判定されると、処理はステップＳ２０３に戻る。
【００９３】
一方で、ｎが処理対象の音声割付動画の全フレームの総数を超えたと判定された場合、即ち、処理対象の音声割付動画に再生するフレームの画像が存在しない判定されると、本音声割付動画再生処理は終了する。
【００９４】
ステップＳ２０５において、当該フレームの画像がグループ指定されていないと判定された場合は、出力制御部３５は、音声フレーズの再生時間ｔａが当該フレームの画像の基準表示時間Ｔｓより長いか否かを判定する（Ｓ２１３）。
【００９５】
ステップＳ２１３において、音声フレーズの再生時間ｔａが当該フレームの画像の基準表示時間Ｔｓ長いと判定された場合は、出力制御部３５は、当該フレームの画像の表示時間ｔｄを音声フレーズの再生時間ｔａの長さに設定する（Ｓ２１４）。この場合のフレームと音声フレーズとの関係は図３（Ｃ）の「オメデトウございます」又は、３（Ｃ）の「キーン」のようになる。
【００９６】
一方で、音声フレーズの再生時間ｔａが当該フレームの画像の基準表示時間Ｔｓ以下であると判定された場合は、出力制御部３５は、当該フレームの画像の表示時間ｔｄを当該フレームの画像の基準表示時間Ｔｓの長さに設定する（Ｓ２１５）。この場合のフレームと音声フレーズとの関係は図３（Ｂ）の「ポコ」、「ポコ」、「ポコ」、「パッ」、「パッ」、「パッ」、又は図３（Ｃ）の「トン」、「トン」、「トン」、・・・又は図３（Ｄ）の「ピ」「ピ」「ピ」・・・のようになる。
【００９７】
続いて、出力制御部３５は、音声フレーズの再生を開始し（Ｓ２１６）、同時に、当該フレームフレームの画像を、表示時間ｔｄの間、表示する（Ｓ２１８）。
【００９８】
一方で、ステップＳ２０３において、割付音声が割り付けられていないと判定された場合、出力制御部３５は、当該フレームの画像の表示時間ｔｄを当該フレームの画像の基準表示時間Ｔｓの長さに設定し（Ｓ２１７）、当該フレームの画像を、表示時間ｔｄの間、表示する（Ｓ２１８）。この場合のフレームと音声フレーズとの関係は図３（Ａ）のようになる。
【００９９】
続いて、ｎに１をインクリメントして（Ｓ２１９）、出力制御部３５は、ｎが処理対象の音声割付動画を構成する全フレームの総数を超えたか否かを判定する（Ｓ２２０）。
【０１００】
ｎが処理対象の音声割付動画の全フレームの総数を超えていない判定された場合、即ち、処理対象の音声割付動画に再生するフレームの画像が存在する判定されると、処理はステップＳ２０３に戻る。
【０１０１】
一方で、ｎが処理対象の音声割付動画の全フレームの総数を超えたと判定された場合、即ち、処理対象の音声割付動画に再生するフレームの画像が存在しない判定されると、本音声割付動画再生処理は終了する。
【０１０２】
このように、本実施形態の音声割付処理では、音声フレーズを動画に割り付ける際に、動画ファイルに含まれたフレームの表示時間情報に用いて、各フレームの表示時間を検出又は変更することができる。又は、動画ファイルに含まれたフレームの割付情報を用いて、音声フレームを割り付けるフレームをグループ化することができる。このため、本実施形態の音声割付処理では、割り付ける音声フレーズの長さに応じて、処理対象とする動画のフレームの画像データの表示時間を変更することができ、さらに、必要に応じて、音声フレーズを、複数のフレームの画像に割り付けることができる。
【０１０３】
また、また、本実施形態の音声割付処理及び音声割付動画再生処理の対象は、自らが撮像した画像のみならず、メタ情報を付加した、所定の動画ファイルの形式で容易された動画ファイルであればよいので、例えば、複数の動画を合成して生成した合成動画の画像データなど、様々な動画の画像データに対して適用することができる。したがって、例えば、異なる動画を合成して生成した合成動画などの、同期をとることの難しい動画であっても、動画に含まれる被写体と音声との同期のとれた音声割付き動画を容易かつ自在に作成することができる。
【０１０４】
割付処理部６３は、動画の画像データに、割付条件決定部６２で決定された割付音声を、割付条件決定部６２で決定された割付条件に従って、割り付ける処理を行う。割付条件決定部６２は、割付条件、即ち、各フレームの割付情報と表示時間情報とを動画ファイルに付加する。このようにして決定された各フレームの割付情報と表示時間情報は、再生時に、各フレームの表示時間情報となる。このため、割付条件決定部６２は、各フレームの画像データの表示時間を設定する設定手段として機能する。また、割付処理部６３は、動画に含まれるフレームの画像データに対して、音声データを登録する登録手段として機能する。
【０１０５】
以上説明したように、本実施形態に係る画像処理装置として機能するデータ処理部１３では、動画に含まれるフレームの画像データに対して、音声データを登録する登録手段として機能する割付処理部６３と、登録された音声データの再生時間に基づいて、画像データの表示時間を設定する設定手段として機能する割付条件決定部６２と、を備えるので、再生時間の長い音声データであっても、フレームの画像の表示時間を延長することによって、余裕をもって、動画に割り付けることができる。したがって、例えば、異なる動画を合成して生成した合成動画などの、同期をとることの難しい動画であっても、動画に含まれる被写体と音声との同期のとれた音声割付き動画を容易かつ自在に作成することができる。
【０１０６】
また、動画に含まれるフレームの画像データに対して、音声データを登録する登録手段として機能する割付処理部６３は、音声データを２以上のフレームをグループ化した画像データに登録することができる。このため、個々のフレームの画像データの基準表示時間を上回る再生時間を有する音声データを、２以上のフレームをグループ化した画像データに登録することができる。再生時間の長い音声データであっても、余裕をもって、対応する複数のフレームの画像に割り付けることができる。さらに、音声データが表す音声フレーズが２以上のフレームの画像に対応する場合は一層効果的である。
【０１０７】
動画に含まれるフレームの画像データは、動画から被写体領域を切り抜いた、前景動画を構成するフレームの画像データとしてもよい。前景動画を構成するフレームの画像データを別の動画を構成するフレームの画像データに合成する合成手段を備え、合成後の動画の各フレームの画像データの表示時間を、前景動画データの各フレームに設定された表示時間に基づいて設定することもできる。これについて次の実施形態で説明する。
【０１０８】
＜第２実施形態＞
図２は、本発明の画像処理装置の第２実施形態に係るデジタルカメラ１Ｂのハードウェアの構成を示す図である。
【０１０９】
本実施形態に係るデジタルカメラ１Ｂは第１実施形態に係るデジタルカメラ１と同様のハードウェア構成で実現することができる。本実施形態では、第１実施形態のデータ処理部１３に代えて、割付処理部６３とファイル化部６４の間に合成条件決定部８１とフレーム合成部８２とをさらに備えたデータ処理部１３Ｂを備えた点が、第１実施形態とは異なる。
【０１１０】
合成条件決定部８１は、合成動画を生成するための各種合成条件を決定する。合成条件としては、例えば、複数の動画のうちの何れの動画を前景動画として合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を背景動画として合成対象とするのかという条件、前景動画の主要被写体像の領域及び前景動画の主要被写体像合成サイズなどが存在する。
【０１１１】
合成条件の多くはユーザによる設定が可能になっており、このようなユーザによる設定を支援すべく、合成条件決定部８１は、動画記憶部７４に記憶されている動画の画像データからインデックス画像データを生成して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を、表示部４２に表示させる。さらに、対象が音声割付動画で、音声が割り付けられている場合は、出力制御部３５は、当該音声データにより表現される音声を、音声出力部４１から出力させる。
【０１１２】
ユーザは、このインデックス画像データの画像を見ながら、動画に音声が割り付けられている場合は、さらに、音声を聞きながら、操作部４３を操作することで、所定の合成条件に対する指示操作を行うことができる。合成条件決定部８１は、当該指示操作に従って、複数の動画のうちの何れの動画を前景動画として合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を背景動画として合成対象とするのかという条件、前景動画の主要被写体像の領域及び前景動画の主要被写体像合成サイズなどの当該所定の合成条件を決定する。
【０１１３】
動画記憶部７４には、第１実施形態で説明した、割付処理部６３によって音声を割り付けられた音声割付動画のデータと、音声の割り付けられていない通常の動画のデータとが記憶されている。本実施形態では、動画記憶部７４には、例えば被写体を含む動画のフレーム画像データから被写体領域を切り抜いたフレーム画像データによって構成される前景動画が記憶されており、この前景動画に割付処理部６３によって音声が割り付けられているものとする。ユーザは操作部４３を操作して、上述した動画記憶部７４に記憶されている割付処理部６３により生成された音声を割り付けられた前景動画の中から背景動画に合成する動画を指定する。さらに、ユーザは、表示部５２に表示される画像を見ながら、必要に応じて、音声出力部４１から出力される音声を聞きながら、当該前景動画の合成サイズなどの所定の合成条件を決定する。次に、ユーザは操作部４３を操作して、動画記憶部７４から音声の割り付けられていない他の動画を背景画像として指定する。
【０１１４】
フレーム合成部８２は、ユーザが指定した前景動画の画像データと背景動画の画像データとをフレーム単位で、順次合成する。この場合、フレーム合成部８２は、合成条件決定部８１によって決定された合成条件を適宜参照して、背景動画の各フレームの表示時間を前景動画の各フレームの表示時間情報と一致させながら、フレームの画像データを合成する処理を実行する。また、合成条件決定部８１は、前景動画の画像データと背景動画の画像データとをフレーム単位で合成する際に、前景動画として指定された音声割付動画の各フレームのメタ情報、即ち、表示時間情報と割付情報を、合成後の合成動画の各フレームのメタ情報として継承させる。これにより、前景動画と背景動画が合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。また、合成後の動画の各フレームの画像データの表示時間は、元となる音声割付動画の各フレームの画像データの表示時間に基づいて設定され、割付音声記憶部７３に記憶された音声との割付情報も継承することができる。フレーム合成部８２は、前景動画を構成するフレームの画像データを別の動画を構成するフレームの画像データに合成する合成手段として機能する。
【０１１５】
ファイル化部６４は、フレーム合成部８２によって合成された合成動画をファイル化する。具体的には、ファイル化部６４は、フレーム合成部８２により生成された合成動画の画像データ、即ち、割付処理部６３により生成された音声を割り付けられた前景動画の画像データと、割付条件決定部６２で決定され、割付音声記憶部７３に記憶された割付音声と、割付条件決定部６２で決定された音声割付条件、即ち、各フレームの表示時間情報及び割付情報と、合成条件決定部８１で指定された背景動画の画像データと、指定された合成条件と、をファイル化して、合成動画ファイルを生成し、音声割付動画記憶部７５に記憶させる。
【０１１６】
このようにして、音声割付動画を用いて動画から被写体領域を切り抜いた、前景動画を構成するフレームの画像データを別の動画を構成するフレームの画像データに合成することができる。合成条件決定部８１は、前景動画の画像データと背景動画の画像データとをフレーム単位で合成する際に、前景動画として指定された音声割付動画の各フレームのメタ情報、即ち、表示時間情報と割付情報を、合成後の合成動画の各フレームのメタ情報として継承させる。換言すると、合成条件決定部８１は、合成後の動画の各フレームの画像データの表示時間を、前景動画データの各フレームに設定された表示時間に基づいて設定する設定制御手段として機能する。
【０１１７】
以上説明したように、本実施形態に係る画像処理装置として機能するデータ処理部１３では、動画に含まれるフレームの画像データに対して、音声データを登録する登録手段として機能する割付処理部６３と、登録された音声データの再生時間に基づいて、画像データの表示時間を設定する設定手段として機能する割付条件決定部６２と、前景動画を構成するフレームの画像データを背景動画を構成するフレームの画像データに合成する合成手段として機能するフレーム合成部８２と、合成後の合成動画の各フレームの画像データの表示時間を、前景動画データの各フレームに設定された表示時間に基づいて設定する設定制御手段として機能する合成条件決定部８１と、を備えるので、例えば、背景動画を合成して生成した合成動画などの、同期をとることの難しい動画であっても、動画に含まれる被写体と音声との同期のとれた音声割付き動画を容易かつ自在に作成することができる。
【０１１８】
なお、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
【０１１９】
例えば、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
【０１２０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１２１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１２２】
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。
【０１２３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０１２４】
１・・・デジタルカメラ、１１・・・撮像部、１２・・・音声入力部、１３・・・データ処理部、１４・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・信号処理部、６１・・・音声処理部、６２・・・割付条件決定部（設定手段）、６３・・・割付処理部、６４・・・ファイル化部（登録手段）、７１・・・インデックス画像記憶部、７２・・・音声記憶部、７３・・・割付音声記憶部、７４・・・動画記憶部、７５・・・音声割付動画記憶部、８１・・・合成条件決定部（設定制御手段）、８２・・・フレーム合成部（合成手段）
【図１】
2012054757.tif 000003
【図２】
2012054757.tif 000004
【図３】
2012054757.tif 000005
【図４】
2012054757.tif 000006
【図５】
2012054757.tif 000007
【図６】
2012054757.tif 000008