(57)【要約】【課題】動画像を見やすく加工する。【解決手段】動画像データＭ０のインデックス画像をモニタ５に表示し、加工する動画像データＭ１を選択する。選択された動画像データＭ１から抽出された静止画像のサムネイル画像をモニタ５に表示し、合成に用いる静止画像を選択する。選択された静止画像を表す静止画像データＳ０と、動画像データＭ１に含まれる音声データＶ０とを合成し、静止画像を切り替え表示しつつＢＧＭに動画像データＭ１に含まれる音声データＶ０を再生する合成画像データＧ０を生成する。【選択図】          図１
2004166127.tif 000002
【特許請求の範囲】
【請求項１】
音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データを抽出し、
該抽出された少なくとも１つの静止画像データおよび前記動画像データに含まれる音声を表す音声データを合成して合成画像データを生成することを特徴とする動画像加工方法。
【請求項２】
前記静止画像が縦長の状態で正視可能である場合、該静止画像の回転の指示に基づいて前記静止画像を回転し、
該回転された静止画像を表す静止画像データおよび前記音声データを合成して前記合成画像データを生成することを特徴とする請求項１記載の動画像加工方法。
【請求項３】
前記動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付け、
該選択された少なくとも１つのシーンに基づいて前記少なくとも１つの静止画像データを前記動画像データから抽出することを特徴とする請求項１または２記載の動画像加工方法。
【請求項４】
前記動画像上における前記選択されたシーンの再生時間と対応付けられて前記静止画像データが再生されるよう、前記合成画像データを生成することを特徴とする請求項３記載の動画像加工方法。
【請求項５】
前記選択されたシーンが複数であり、前記動画像上における各シーン間の時間差が所定のしきい値以下である場合には、その各シーンに基づく静止画像データに代えて、その各シーン間の動画像を表すシーン動画像データを前記動画像データから抽出し、
前記シーン動画像データを前記合成画像データに含めることにより該合成画像データを生成することを特徴とする請求項４記載の動画像加工方法。
【請求項６】
音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データを抽出する抽出手段と、
該抽出された少なくとも１つの静止画像データおよび前記動画像データに含まれる音声を表す音声データを合成して合成画像データを生成する合成手段とを備えたことを特徴とする動画像加工装置。
【請求項７】
前記静止画像が縦長の状態で正視可能である場合、該静止画像の回転の指示に基づいて前記静止画像を回転する回転手段をさらに備え、
前記合成手段は、該回転された静止画像を表す静止画像データおよび前記音声データを合成して前記合成画像データを生成する手段であることを特徴とする請求項６記載の動画像加工装置。
【請求項８】
前記動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付ける選択手段をさらに備え、
前記抽出手段は、該選択された少なくとも１つのシーンに基づいて前記少なくとも１つの静止画像データを前記動画像データから抽出する手段であることを特徴とする請求項６または７記載の動画像加工装置。
【請求項９】
前記合成手段は、前記動画像上における前記選択されたシーンの再生時間と対応付けられて前記静止画像データが再生されるよう、前記合成画像データを生成する手段であることを特徴とする請求項８記載の動画像加工装置。
【請求項１０】
前記抽出手段は、前記選択されたシーンが複数であり、前記動画像上における各シーン間の時間差が所定のしきい値以下である場合には、その各シーンに基づく静止画像データに代えて、その各シーン間の動画像を表すシーン動画像データを前記動画像データから抽出する手段であり、
前記合成手段は、前記シーン動画像データを前記合成画像データに含めることにより該合成画像データを生成する手段であることを特徴とする請求項９記載の動画像加工装置。
【請求項１１】
音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データを抽出する手順と、
該抽出された少なくとも１つの静止画像データおよび前記動画像データに含まれる音声を表す音声データを合成して合成画像データを生成する手順とを有することを特徴とする動画像加工方法をコンピュータに実行させるためのプログラム。
【請求項１２】
前記静止画像が縦長の状態で正視可能である場合、該静止画像の回転の指示に基づいて前記静止画像を回転する手順をさらに有し、
前記合成画像データを生成する手順は、該回転された静止画像を表す静止画像データおよび前記音声データを合成して前記合成画像データを生成する手順であることを特徴とする請求項１１記載のプログラム。
【請求項１３】
前記動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付ける手順をさらに備え、
前記抽出する手順は、該選択された少なくとも１つのシーンに基づいて前記少なくとも１つの静止画像データを前記動画像データから抽出する手順であることを特徴とする請求項１１または１２記載のプログラム。
【請求項１４】
前記合成画像データを生成する手順は、前記動画像上における前記選択されたシーンの再生時間と対応付けられて前記静止画像データが再生されるよう、前記合成画像データを生成する手順であることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記抽出する手順は、前記選択されたシーンが複数であり、前記動画像上における各シーン間の時間差が所定のしきい値以下である場合には、その各シーンに基づく静止画像データに代えて、その各シーン間の動画像を表すシーン動画像データを前記動画像データから抽出する手順であり、
前記合成画像データを生成する手順は、前記シーン動画像データを前記合成画像データに含めることにより前記合成画像データを生成する手順であることを特徴とする請求項１４記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データを加工する動画像加工方法および装置並びに動画像加工方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
デジタルビデオカメラや動画像を撮影可能なデジタルスチルカメラの普及により、様々なシーンを手軽に撮影して家庭のテレビやパソコンにおいて動画像を楽しむことができるようになっている。
【０００３】
また、背景となる静止画像の所定部分を他の静止画像と置き換えた静止画像を複数作成し、それを連続して再生することにより、新しい動画像を作成する方法も提案されている（特許文献１）
【０００４】
【特許文献１】
特開平１１−２１９４４６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記デジタルビデオカメラやデジタルスチルカメラ（以下カメラとする）を用いて撮影を行う場合、撮影に慣れていないと録画中にカメラの向きを大きく変更することが多く、また手ぶれも発生するため、得られる動画像が非常に見づらいものとなる。
【０００６】
本発明は上記事情に鑑みなされたものであり、動画像を見やすく加工することを目的とする。
【０００７】
【課題を解決するための手段】
本発明による動画像加工方法は、音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データを抽出し、
該抽出された少なくとも１つの静止画像データおよび前記動画像データに含まれる音声を表す音声データを合成して合成画像データを生成することを特徴とするものである。
【０００８】
「合成する」とは、合成画像データを再生した際に、動画像データから抽出した静止画像データが再生されるとともに、ＢＧＭとして動画像データに含まれる音声が再生されるように静止画像データおよび音声データとを組み合わせることをいう。とくに静止画像データが複数抽出された場合には、複数の静止画像データが動画像に含まれる順序にて切り替え表示されつつ音声データが再生されるように、静止画像データと音声データとを組み合わせることをいう。
【０００９】
なお、本発明による動画像加工方法においては、前記静止画像が縦長の状態で正視可能である場合、該静止画像の回転の指示に基づいて前記静止画像を回転し、
該回転された静止画像を表す静止画像データおよび前記音声データを合成して前記合成画像データを生成してもよい。
【００１０】
「静止画像が縦長の状態で正視可能である」とは、カメラを縦向きに構えて撮像することにより取得された動画像から抽出されることにより、横長のモニタに再生すると画像が横向きに再生されてしまい、モニタを縦長にしないと正視できないことをいう。
【００１１】
また、本発明による動画像加工方法においては、前記動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付け、
該選択された少なくとも１つのシーンに基づいて前記少なくとも１つの静止画像データを前記動画像データから抽出するようにしてもよい。
【００１２】
また、本発明による動画像加工方法においては、前記動画像上における前記選択されたシーンの再生時間と対応付けられて前記静止画像データが再生されるよう、前記合成画像データを生成するようにしてもよい。
【００１３】
この場合、前記選択されたシーンが複数であり、前記動画像上における各シーン間の時間差が所定のしきい値以下である場合には、その各シーンに基づく静止画像データに代えて、その各シーン間の動画像を表すシーン動画像データを前記動画像データから抽出し、
前記シーン動画像データを前記合成画像データに含めるようにしてもよい。
【００１４】
本発明による動画像加工装置は、音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データを抽出する抽出手段と、
該抽出された少なくとも１つの静止画像データおよび前記動画像データに含まれる音声を表す音声データを合成して合成画像データを生成する合成手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明による動画像加工装置においては、前記静止画像が縦長の状態で正視可能である場合、該静止画像の回転の指示に基づいて前記静止画像を回転する回転手段をさらに備えるものとし、
前記合成手段を、該回転された静止画像を表す静止画像データおよび前記音声データを合成して前記合成画像データを生成する手段としてもよい。
【００１６】
また、本発明による動画像加工装置においては、前記動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付ける選択手段をさらに備えるものとし、
前記抽出手段を、該選択された少なくとも１つのシーンに基づいて前記少なくとも１つの静止画像データを前記動画像データから抽出する手段としてもよい。
【００１７】
また、本発明による動画像加工装置においては、前記合成手段を、前記動画像上における前記選択されたシーンの再生時間と対応付けられて前記静止画像データが再生されるよう、前記合成画像データを生成する手段としてもよい。
【００１８】
この場合、前記抽出手段を、前記選択されたシーンが複数であり、前記動画像上における各シーン間の時間差が所定のしきい値以下である場合には、その各シーンに基づく静止画像データに代えて、その各シーン間の動画像を表すシーン動画像データを前記動画像データから抽出する手段とし、
前記合成手段を、前記シーン動画像データを前記合成画像データに含めることにより該合成画像データを生成する手段としてもよい。
【００１９】
なお、本発明による動画像加工方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２０】
【発明の効果】
本発明によれば、音声を含む動画像を表す動画像データから少なくとも１つの静止画像を表す静止画像データが抽出され、抽出された少なくとも１つの静止画像データおよび動画像データに含まれる音声を表す音声データが合成されて合成画像データが生成される。このように生成された合成画像データを再生すると、動画像データから抽出された静止画像データが動画像に含まれる音声をＢＧＭとして再生されることとなる。とくに、複数の静止画像データを抽出した場合には、静止画像が動画像に含まれる順序にて切り替え表示されつつ音声データがＢＧＭとして再生される。
【００２１】
ここで、大きくカメラを移動して撮影した動画像や手ぶれが多い動画像であっても、動画像から静止画像を抽出してそれを再生すれば、大きな動きや手ぶれは分からなくなる。したがって、大きくカメラを移動して撮影した動画像や手ぶれが多い動画像を、動画像ではないものの動画像の雰囲気を維持しつつ見やすくすることができる。
【００２２】
また、静止画像が縦長の状態で正視可能である場合、静止画像の回転の指示に基づいて静止画像を回転し、回転された静止画像を表す静止画像データと音声データとを合成して合成画像データを生成することにより、カメラを縦向きにして撮影することにより動画像データを取得した場合であっても、再生される合成画像データに含まれる静止画像はそのまま正視可能な状態となっている。したがって、合成画像を見やすくすることができる。
【００２３】
また、動画像データに含まれる複数のシーンから少なくとも１つのシーンの選択を受け付け、選択されたシーンに基づいて合成画像データを生成する少なくとも１つの静止画像データを動画像データから抽出することにより、選択する者が所望とするシーンを合成画像データに含めることができるため、選択する者にとってより好ましい静止画像を含む合成画像を再生可能な合成画像データを生成することができる。
【００２４】
また、動画像上における選択されたシーンの再生時間と対応付けられて静止画像データが再生されるよう、合成画像データを生成することにより、音声と静止画像とのタイミングを一致させて合成画像を再生することができるため、合成画像に動画像の雰囲気をより多く残すことができる。
【００２５】
この場合において、複数のシーンを選択し、シーン間の時間差が所定のしきい値以下であると、そのシーンに基づく静止画像は表示時間が短くなるため、表示された静止画像がどのようなシーンであるかが分かりにくく、また合成画像も見にくくなる。このため、静止画像データに代えて、各シーン間の動画像を表すシーン動画像データを動画像データから抽出し、シーン動画像データを合成画像データに含めることにより、静止画像が素早く切り替わることがなくなり、これにより合成画像を見やすくすることができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像加工装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による動画像加工装置は、例えば写真店の店頭に設置され、動画像データが記録されたメディアから動画像データを読み取って、動画像データをＣＤ−Ｒに記録するサービスを提供する店頭受け付けマシン１に設けられるものであり、デジタルスチルカメラを用いてユーザが撮影を行って取得した複数の動画像データＭ０が記録されたメモリカード１０から複数の動画像データＭ０を読み出すカードドライブ２と、後述するようにして選択された動画像データＭ１を加工して合成画像データＧ０を生成する合成手段３と、合成画像データＧ０をＣＤ−Ｒ１１に記録するＣＤ−Ｒドライブ４と、種々の表示を行うモニタ５と、ユーザによる種々の操作を受け付けるキーボード、マウス等からなる入力手段６と、音声を出力するスピーカ７と、種々の情報を記憶したり作業領域となるメモリ８と、カードドライブ２、合成手段３、ＣＤ−Ｒドライブ４、モニタ５、入力手段６、スピーカ７およびメモリ８の制御を行う制御手段９とを備える。
【００２７】
なお、入力手段６はモニタ５と一体となったタッチパネル方式の入力手段であってもよい。
【００２８】
合成手段３は、カードドライブ２によりメモリカード１０から読み出された複数の動画像データＭ０の先頭フレームを用いて複数のインデックス画像を生成し、モニタ５に表示する。
【００２９】
ユーザはモニタ５に表示されたインデックス画像を見て、ＣＤ−Ｒ１１に記録したい動画像データＭ１を入力手段６を用いて選択する。そしてユーザが選択を行うと、合成手段３は選択された動画像データＭ１により表される動画像の各シーンを静止画像に分割し、各静止画像のサムネイル画像を生成してモニタ５に表示する。
【００３０】
この際、動画像データＭ１に含まれる全てのシーンを表示するとサムネイル画像の数が多くなりすぎて選択が困難となるため、例えば１０秒毎にその１０秒間の静止画像を表す複数の静止画像データを保管するフォルダを作成し、フォルダに保管された複数の静止画像データを代表する代表静止画像データのサムネイル画像を表示することが好ましい。また、図２に示すように１０秒間の静止画像データを保管するフォルダの上位に例えば３０秒間の静止画像データを保管するフォルダを作成する等、フォルダを階層化し、最上位のフォルダを代表する代表静止画像のサムネイル画像を表示するようにしてもよい。
【００３１】
また、予め定められた間隔（例えば３秒）で動画像データＭ０から静止画像データを抽出して、抽出した静止画像データからサムネイル画像を生成してもよい。
【００３２】
また、動画像データＭ１を構成するフレーム間の色差や動ベクトルに基づいて、動画像データＭ１におけるシーンの切り換わる部分を求め、シーンが切り換わる部分におけるフレームからサムネイル画像を生成してもよい。
【００３３】
さらに、人物が含まれる静止画像を表す静止画像データＳ０のみ、風景のみが含まれる（すなわち人物が含まれない）静止画像を表す静止画像データＳ０のみを動画像データＭ１から抽出してサムネイル画像を生成してもよい。
【００３４】
ユーザは、モニタ５に表示されたサムネイル画像から合成画像データＧ０に加えたい静止画像を選択する。なお、フォルダが階層化されている場合には、最上位のフォルダの選択後、入力手段６からの指示によりさらに下位のフォルダに保管された静止画像データの代表画像やフォルダに保管された全ての静止画像データのサムネイル画像を表示して、合成画像データＧ０に加えたい静止画像を選択する。
【００３５】
静止画像は１つのみ選択してもよいが、本実施形態においては複数の静止画像を選択するものとして説明する。なお、複数の静止画像を選択した場合には、後述するように合成画像データＧ０の再生時における静止画像が切り換わる際のトランジットの種類を選択してもよい。この場合、選択可能なトランジットの種類がモニタ５に表示され、ユーザは入力手段６を用いてトランジットの種類を選択する。
【００３６】
ここで、本実施形態においては動画像データＭ０がデジタルスチルカメラにより取得されているため、デジタルスチルカメラを縦長に構えて撮影を行った場合には、縦長の状態で正視可能な動画像データＭ０が取得されている。また、横長で正視可能なインデックス画像やサムネイル画像が横長の状態でモニタ５に表示される。さらに、このような動画像データＭ０は通常横長の状態で再生されるため、動画像データＭ１から抽出された縦長の状態で正視可能なシーンの静止画像データＳ０を用いて合成画像データＧ０を生成すると、合成画像が見づらいものとなる。
【００３７】
このため、縦長の状態で正視可能な動画像データＭ０から静止画像を選択する場合には、ユーザは縦長で正視可能な状態となるようにサムネイル画像を９０度回転する。この操作は、合成画像データＧ０に加えたい静止画像のサムネイル画像の選択後、そのサムネイル画像を入力手段６からの操作により回転することにより行うことができる。このように回転された縦長で静止可能な静止画像のサムネイル画像は、図３に示すように横長の枠内の左右に何も表示されない部分（図３における斜線部）が設けられて表示される。このようにサムネイル画像を回転することにより、選択されたサムネイル画像に対応する静止画像が回転されて合成画像データＧ０が生成されることとなる。
【００３８】
そして、選択が完了すると、選択された静止画像を表す静止画像データＳ０と、動画像データＭ１に含まれる音声を表す音声データＶ０とが合成されて合成画像データＧ０が生成される。合成画像データＧ０は、これを再生したときに選択された複数の静止画像が動画像に含まれる順序にて切り換わりつつ、ＢＧＭに動画像データＭ０に含まれる音声が再生されるものである。
【００３９】
なお、選択された静止画像は音声の再生時間（すなわち動画像データＭ０の再生時間）を表す時間軸上において等時間間隔で表示される。すなわち、図４に示すように音声の再生時間が１０秒であり、選択された静止画像が５個であった場合には、２秒間隔で静止画像が表示される。
【００４０】
また、選択された静止画像と音声のタイミングとを一致させるように静止画像が表示される時間を調整して合成画像データＧ０を生成してもよい。
【００４１】
なお、生成された合成画像データＧ０はＣＤ−Ｒドライブ４によりＣＤ−Ｒ１１に記録されるが、この際、合成画像データＧ０を生成した動画像データＭ１も同時にＣＤ−Ｒ１１に記録される。
【００４２】
次いで、第１の本実施形態において行われる処理について説明する。図５は第１の実施形態において行われる処理を示すフローチャートである。まず、カードドライブ２によりメモリカード１０に記録された動画像データＭ０が読み出され（ステップＳ１）、動画像データＭ０のインデックス画像がモニタ５に表示される（ステップＳ２）。
【００４３】
続いて、ユーザが入力手段６を操作してインデックス画像を選択することにより合成画像データＧ０を生成する動画像データＭ１の選択がなされると（ステップＳ３肯定）、選択されたインデックス画像に対応する動画像データＭ１から静止画像のサムネイル画像が生成されてモニタ５に表示される（ステップＳ４）。
【００４４】
そして、ユーザが入力手段６を操作してサムネイル画像を選択することにより合成画像データＧ０に含める静止画像の選択がなされると（ステップＳ５肯定）、選択されたサムネイル画像に対応する静止画像を表す静止画像データＳ０および動画像データＭ１に含まれる音声を表す音声データＶ０とが合成されて合成画像データＧ０が生成される（ステップＳ６）。
【００４５】
続いて、合成画像データＧ０の確認指示がなされたか否かが判定され（ステップＳ７）、ステップＳ７が肯定されると生成された合成画像データＧ０がモニタ５に再生される（ステップＳ８）。なお、音声はスピーカ７から発せられる。これにより、ユーザは生成された合成画像データＧ０の内容を確認することができる。
【００４６】
そして、合成画像データＧ０の修正指示がなされたか否かが判定される（ステップＳ９）。なお、ステップＳ７が否定された場合はステップＳ９に進む。そして、ステップＳ９が肯定されると、合成画像データＧ０に含める静止画像を選択し直すべくステップＳ４に戻り、ステップＳ４以降の処理が繰り返される。ステップＳ９が否定されると、合成画像データＧ０のＣＤ−Ｒ１１への記録指示がなされたか否かが判定され（ステップＳ１０）、ステップＳ１９が肯定されるとＣＤ−Ｒドライブ４により合成画像データＧ０および合成画像データＧ０を生成した動画像データＭ１がＣＤ−Ｒに記録される（ステップＳ１１）。なお、ステップＳ１０が否定されるとステップＳ７に戻り、ステップＳ７以降の処理が繰り返される。
【００４７】
続いて、他の動画像データＭ０の加工の指示がなされたか否かが判定され（ステップＳ１２）、ステップＳ１２が否定されると処理を終了する。なお、ステップＳ１２が肯定されると、ステップＳ２に戻りそれ以降の処理が繰り返される。
【００４８】
このように、本実施形態においては、音声を含む動画像を表す動画像データＭ１から複数の静止画像を表す静止画像データＳ０を抽出し、抽出された静止画像データＳ０および動画像データＭ１に含まれる音声を表す音声データＶ０を合成して、動画像から抽出された静止画像が動画像に含まれる音声をＢＧＭとして再生される合成画像データＧ０を生成するようにしたものである。
【００４９】
ここで、大きくカメラを移動して撮影した動画像や手ぶれが多い動画像であっても、動画像から静止画像を抽出してそれを順次再生すれば、大きな動きや手ぶれは分からなくなる。したがって、本実施形態によれば、大きくカメラを移動して撮影した動画像や手ぶれが多い動画像を表す動画像データＭ０を、動画像ではないものの動画像の雰囲気を維持しつつ、見やすくすることができる。
【００５０】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による動画像加工装置を用いたＤＶＤプレーヤの構成を示す概略ブロック図である。図６に示すように第２の実施形態による動画像加工装置を用いたＤＶＤプレーヤ２０は、テレビ４０に接続されてなるものであり、デジタルスチルカメラにより取得された複数の動画像データＭ０が記録されたＣＤ−ＲやＤＶＤ−Ｒ等のメディア３１から複数の動画像データＭ０を読み出すメディアドライブ２１と、ＤＶＤプレーヤ２０を操作するべくリモコン２２から発信される赤外線を受信する赤外線受信部２３と、後述するように選択された動画像データＭ１を加工して合成画像データＧ０を生成する合成手段２４と、テレビ４０が接続されるインターフェース２５と、種々の情報を記憶したり作業領域となるメモリ２６と、メディアドライブ２１、赤外線受信部２３、合成手段２４、インターフェース２５およびメモリ２６を制御する制御手段２７とを備える。
【００５１】
なお、ユーザがリモコン２２を操作することにより、その指示を表す赤外線の信号が赤外線受信部２３に送信される。赤外線受信部２３は、リモコン２２から送信された信号に基づいて、ＤＶＤプレーヤ２０の操作を行う。
【００５２】
合成手段２４は、第１の実施形態における合成手段３と同様に、選択された動画像データＭ１から合成画像データＧ０を生成する。
【００５３】
次いで、第２の実施形態において行われる処理について説明する。図７は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、ユーザがデジタルスチルカメラにより撮影を行って取得した複数の動画像データＭ０が記録されたメディア３１がメディアドライブ２１にセットされているものとする。まず、メディアドライブ２１によりメディア３１に記録された動画像データＭ０が読み出され（ステップＳ２１）、動画像データＭ０のインデックス画像がテレビ４０に表示される（ステップＳ２２）。
【００５４】
続いて、ユーザがリモコン２を操作してインデックス画像を選択することにより合成画像データＧ０を生成する動画像データＭ１の選択がなされると（ステップＳ２３肯定）、選択されたインデックス画像に対応する動画像データＭ１から静止画像のサムネイル画像が生成されてテレビ４０に表示される（ステップＳ２４）。
【００５５】
そして、ユーザがリモコン２２を操作してサムネイル画像を選択することにより合成画像データＧ０に含める静止画像の選択がなされると（ステップＳ２５肯定）、選択されたサムネイル画像に対応する静止画像を表す静止画像データＳ０および動画像データＭ１に含まれる音声を表す音声データＶ０とが合成されて合成画像データＧ０が生成される（ステップＳ２６）。
【００５６】
続いて、ユーザがリモコン２を操作することにより合成画像データＧ０の確認指示がなされたか否かが判定され（ステップＳ２７）、ステップＳ２７が肯定されると生成された合成画像データＧ０がテレビ４０に再生される（ステップＳ２８）。これにより、ユーザは生成された合成画像データＧ０の内容を確認することができる。
【００５７】
そして、合成画像データＧ０の修正指示がなされたか否かが判定される（ステップＳ２９）。なお、ステップＳ２７が否定された場合はステップＳ２９に進む。そして、ステップＳ２９が肯定されると、合成画像データＧ０に含める静止画像を選択し直すべくステップＳ２４に戻り、ステップＳ２４以降の処理が繰り返される。ステップＳ２９が否定されると、他の動画像データＭ０の加工の指示がなされたか否かが判定され（ステップＳ３０）、ステップＳ３０が否定されると処理を終了する。なお、ステップＳ３０が肯定されると、ステップＳ２２に戻り、ステップＳ２２以降の処理が繰り返される。
【００５８】
なお、上記第１および第２の実施形態においては、デジタルスチルカメラにより取得された動画像データＭ０から合成画像データＧ０を生成しているが、デジタルビデオカメラから取得された動画像データＭ０からも同様に合成画像データＧ０を生成することができる。
【００５９】
また、上記第１および第２の実施形態において、静止画像と音声とのタイミングを一致させるように合成画像データＧ０を生成した場合、静止画像と静止画像との間の時間が短くなる場合がある。例えば、図８に示すように１００秒の動画像から８枚の静止画像を選択し、選択した静止画像を時間軸上に配置すると、静止画像３と静止画像６との間の時間が１０秒しかないような場合がある。このような場合に、静止画像３から６を順次切り替え表示すると、静止画像が表示される時間は約３．３秒となるため、再生された静止画像がどのようなシーンのものであるかが分かりにくくなる。
【００６０】
このため、静止画像３から静止画像６に代えて、静止画像３のシーンと静止画像６のシーンとの間の動画像を合成画像データＧ０に含めるようにしてもよい。これにより、合成画像データＧ０を再生すると、最初の６０秒は静止画像１，２が再生され、これに続いて動画像データＭ０における６０秒から７０秒までの間の動画像が再生され、これに続いて静止画像７，８が再生されることとなる。
【００６１】
なお、静止画像に代えて動画像を合成画像データＧ０に含めるか否かの判断は、選択された静止画像を時間軸上に配置したときに、隣接する静止画像のシーン間の時間差が所定のしきい値（例えば５秒）以内であるか否かを判断し、しきい値以内である場合に静止画像に代えて動画像を含めるものとすればよい。さらに、この判断に加えて、時間差がしきい値以内の静止画像が例えば３以上続いた場合に、静止画像に代えて動画像を合成画像データＧ０に含めるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像加工装置の構成を示す概略ブロック図
【図２】階層化したフォルダを示す図
【図３】縦長に回転された静止画像を示す図
【図４】音声データおよび静止画像データの時間軸上の配置を示す図
【図５】第１の実施形態において行われる処理を示すフローチャート
【図６】本発明の第２の実施形態による動画像加工装置の構成を示す概略ブロック図
【図７】第２の実施形態において行われる処理を示すフローチャート
【図８】静止画像データの時間軸上の配置を示す図
【符号の説明】
１    店頭受け付けマシン
２    カードドライブ
３，２４    合成手段
４    ＣＤ−Ｒドライブ
５    モニタ
６    入力手段
７    スピーカ
８，２６    メモリ
９，２７    制御手段
１０    メモリカード
１１，３１    メディア
２０    ＤＶＤプレーヤ
２１    メディアドライブ
２２    リモコン
２３    赤外線受信部
２５    インターフェース
４０    テレビ
【図１】
2004166127.tif 000003
【図２】
2004166127.tif 000004
【図３】
2004166127.tif 000005
【図４】
2004166127.tif 000006
【図５】
2004166127.tif 000007
【図６】
2004166127.tif 000008
【図７】
2004166127.tif 000009
【図８】
2004166127.tif 000010