(57)【特許請求の範囲】
【請求項１】
動画および音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生するための動画編集再生プログラムであって、
動画音声ファイルの編集に際し、格納されている動画中での、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を特定する入力をユーザから受け付けるステップと、
特定された第１時点および第２時点を含む関連情報を、動画音声ファイル中にまたは独立した関連情報ファイルとして記録するステップとを有することを特徴とする動画編集再生プログラム。
【請求項２】
前記第１時点および第２時点の特定を、動画を構成するフレームを指定する番号により行うことを特徴とする請求項１に記載の動画編集再生プログラム。
【請求項３】
編集後の動画音声ファイルから動画および音声を再生するステップと、
記録されている関連情報を読み出すステップと、
読み出された関連情報に含まれる第１時点から第２時点まで、動画音声ファイルによる音声に代えて、音声ファイルに対応する音声を再生するステップとをさらに有することを特徴とする請求項１または請求項２に記載の動画編集再生プログラム。
【請求項４】
前記動画の再生に際し、所定の間隔のフレームまたはあらかじめ指定されたフレームのみを間欠的に再生することを特徴とする請求項１から請求項３のいずれかに記載の動画編集再生プログラム。
【請求項５】
音声ファイルに対応する音声のみの再生、動画音声ファイル中の動画および音声の通常の再生、音声ファイルに対応する音声の第１時点から第２時点までの再生を伴う前記動画および音声の再生、ならびに、音声ファイルに対応する音声の第１時点から第２時点までの再生を伴う前記間欠的な動画および音声の再生のいずれかを指定する入力を受け付けるステップをさらに含み、
関連情報の前記記録を、前記指定がさらに含まれるように行うことを特徴とする請求項４に記載の動画編集再生プログラム。
【請求項６】
インストールされ実行されることにより、動画および音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生するための動画編集再生プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画音声ファイルの編集に際し、格納されている動画中での、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を特定する入力をユーザから受け付けるステップと、
特定された第１時点および第２時点を含む関連情報を、動画音声ファイル中にまたは独立した関連情報ファイルとして記録するステップと、
編集後の動画音声ファイルから動画および音声を再生するステップと、
記録されている関連情報を読み出すステップと、
読み出された関連情報に含まれる第１時点から第２時点まで、動画音声ファイルによる音声に代えて、音声ファイルに対応する音声を再生するステップとを有することを特徴とする動画編集再生プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
動画および音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生する動画編集再生装置であって、
動画音声ファイルの編集に際し、格納されている動画中での、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を特定する入力をユーザから受け付ける入力手段と、
特定された第１時点および第２時点を含む関連情報を、動画音声ファイル中にまたは独立した関連情報ファイルとして記録する記録手段と、
編集後の動画音声ファイルから動画および音声を再生する第１再生手段と、
記録されている関連情報を読み出す読み出し手段と、
読み出された関連情報に含まれる第１時点から第２時点まで、動画音声ファイルによる音声に代えて、音声ファイルに対応する音声を再生する第２再生手段とを有することを特徴とする動画編集再生装置。
【請求項８】
動画および音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生する動画編集再生方法であって、
動画音声ファイルの編集に際し、格納されている動画中での、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を特定する入力をユーザから受け付けるステップと、
特定された第１時点および第２時点を含む関連情報を、動画音声ファイル中にまたは独立した関連情報ファイルとして記録するステップと、
編集後の動画音声ファイルから動画および音声を再生するステップと、
記録されている関連情報を読み出すステップと、
読み出された関連情報に含まれる第１時点から第２時点まで、動画音声ファイルによる音声に代えて、音声ファイルに対応する音声を再生するステップとを有することを特徴とする動画編集再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画およひ音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生する動画および音声の編集および再生の技術に関する。
【０００２】
【従来の技術】
従来より、ＰＣ（パーソナルコンピュータ）、ＤＶＣ（デジタルビデオカメラ）等で、所定のエンコーダにより、撮像された動画から動画データを生成して動画ファイルに格納し、さらに、一度作成された動画ファイル中の動画データをデコードして動画を再生する技術が知られている。通常これらの動画データは所定の時間間隔（１／３０秒間隔等）のフレームごとに音声データとともに格納されており、動画の再生には音声の再生が伴われる。
【０００３】
近年これらの動画ファイルをＰＣ上にて編集するためのソフトウェアが広く流通しており、ユーザは、ＰＣ上でこれらの動画編集用ソフトウェアを用いることによって、すでに生成されている動画ファイルによる動画を簡便に編集することができることとなっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ユーザはこれら従来の編集用ソフトウェアでの編集に完全に満足しているわけではない。
【０００５】
従来の動画編集用ソフトウェアでは、動画が編集され、ユーザが別途作成した所定の形式の音声が、所望のタイミングで再生されるように動画に関連付けられ、これらの動画、音声のデータから、ＰＣ上のデコーダにて再生可能な形式、たとえばＭＰＥＧ、ＡＶＩ等の１つの動画ファイルが生成されることとなっている。
【０００６】
ところが、これら従来の編集用ソフトウェアにて生成された動画ファイルでは、動画に対する音声の関連付けは固定的で不可逆なものであり、一度、動画ファイルに対する編集を終えてしまうと、動画に別の音声を関連付けたいとき等には、元の動画ファイルに対する、所定の形式へのコーディングに時間を要する煩雑な編集処理を一から行わなくてはならない。
【０００７】
本発明はこれらに着眼してなされたものであり、その目的は、既存の動画ファイルを有効に用いつつ、１つの動画に対する音声の多様な関連付けをより簡便に行うことのできる動画編集および再生の技術を提供することである。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明に係る動画編集再生プログラムは、動画および音声を格納する動画音声ファイルを編集させ、編集された動画音声ファイルを再生するための動画編集再生プログラムである。
【０００９】
本動画編集再生プログラムでは、動画音声ファイルの編集に際し、格納されている動画中での、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を特定する入力がユーザから受け付けられ、特定された第１時点および第２時点を含む関連情報が、動画音声ファイル中にまたは独立した関連情報ファイルとして記録される。
【００１０】
この動画編集再生プログラムでは、前記第１時点および第２時点の特定が、動画を構成するフレームを指定する番号により行われるものとすることができる。
【００１１】
また、これらの動画編集再生プログラムでは、さらに、編集後の動画音声ファイルから動画および音声が再生され、記録されている関連情報が読み出され、読み出された関連情報に含まれる第１時点から第２時点まで、動画音声ファイルによる音声に代えて、音声ファイルに対応する音声が再生されるものとすることができる。
【００１２】
以上のような動画編集再生プログラムでは、前記動画の再生に際しては、所定の間隔のフレームまたはあらかじめ指定されたフレームのみが間欠的に再生されるものとすることができ、加えて、音声ファイルに対応する音声のみの再生、動画音声ファイル中の動画および音声の通常の再生、音声ファイルに対応する音声の第１時点から第２時点までの再生を伴う前記動画および音声の再生、ならびに、音声ファイルに対応する音声の第１時点から第２時点までの再生を伴う前記間欠的な動画および音声の再生の４種の再生のうちのいずれかを指定する入力が受け付けられ、４種の再生のうちのいずれかの指定がさらに含まれるように、関連情報の前記記録が行われるものとすることができる。
【００１３】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態の１つである動画編集再生装置について説明する。
【００１４】
図１は本発明の実施の形態の１つである動画編集再生装置の正面からの外観を示す図であり、図２は本動画編集再生装置内部のハードウェア構成を示すブロック図である。
【００１５】
本動画編集再生装置は、通常用いられるプログラム記憶式コンピュータであり、キーボード１３１、マウス１３２を含みユーザからの入力を受け付ける入力部１３と、ユーザに対して表示を行う表示部１１と、プログラムファイル、動画ファイルなどを記録するＨＤＤ１６１、ＦＤＤ１６２、ＣＤ−ＲＯＭドライブ１６３を含む補助記憶部１６と、プログラムおよび用いられるデータをプログラムの実行に際し一時的に記憶する主記憶部（ＲＡＭ）１２と、入力部１３、表示部１１、補助記憶部１６等を制御しつつ主記憶部１２上にロードされているプログラムを実行する中央演算部（ＣＰＵ）１４とを含んでいる。
【００１６】
本動画編集再生装置では、デジタルカメラ、デジタルビデオカメラ等に着脱可能なメモリカード１５をメモリカード用スロット１５１に挿入させ、このメモリカード１５から、デジタルカメラ、デジタルビデオカメラ等にて生成された動画ファイル（音声データを伴う、以下動画ファイルは音声を伴うものとする）を読み出すこと、あるいは、後述のようにして関連情報の付与された動画ファイルを書き込むことが可能であり、また、ＣＤ−ＲＯＭ１６４上に格納されたプログラム（後に示す動画編集再生処理を実行するプログラムを含む）を、ＨＤＤ１６１上にインストールすることができる。
【００１７】
本動画編集再生装置では、動画編集再生処理プログラムの実行により、ユーザは、メモリカード１５またはＨＤＤ１６１に格納されている動画ファイルを編集し、別途入手された音声ファイルによる音声（音楽を含む）を動画再生の所望のタイミングにて関連付けることができ、本動画編集再生装置は、編集に際しての動画と音声との関連付けに伴う関連情報の生成、および、再生に際しての関連情報の利用に特徴を有するものである。
【００１８】
図３は本動画編集再生装置での、動画ファイル中の動画と音声ファイル中の音声との関連付けの例を示す図であり、図４は図３に示す関連付けに伴い生成される関連情報の内容を示す図である。
【００１９】
本動画編集再生装置での編集処理によると、図３に示すように、ファイル名が”ｍｏｖｉｅ０１”の動画ファイル中の第ａフレームから第ｂ（ここでａ＜ｂ＜Ｌ（最終フレーム））フレームまでの再生に伴い、これらのフレームに対応する元の音声に代えて、ユーザが別途入手して新たに付加した、ファイル名が”ａｕｄｉｏ０１”の音声ファイルを再生するように指定することができ、これらの指定に応じて関連情報が生成される。生成された関連情報は、動画ファイル内に、付加される音声ファイルに対応する音声データとともに格納される。
【００２０】
この関連情報には、図４に示すように、動画ファイル名”ｍｏｖｉｅ０１”、音声ファイ名”ａｕｄｉｏ０１”、付加音声を伴う動画再生の指定を示す再生モード”ｍｏｄｅ２”、および、付加音声再生の開始フレーム”ａ”、付加音声再生の終了フレーム”ｂ”が含まれている。
【００２１】
ここでは付加音声を伴う動画再生を指示する再生モード”ｍｏｄｅ２”が指定されるものとしているが、本動画編集再生装置では、他に、付加音声のみの再生を指示する再生モード”ｍｏｄｅ０”、（付加音声を用いない）動画の通常再生を指示する再生モード”ｍｏｄｅ１”、付加音声を伴うスライドショーの再生を指示する再生モード”ｍｏｄｅ３”の設定が可能であり、特に、スライドショー再生の指示に際しては、関連情報に、各フレーム（スライドショーに用いられるフレームは所定のフレーム間隔とすることができ、また、任意のフレームを指定することができる）の表示時間が含まれることとなる。
【００２２】
これらのような動画編集、動画再生は実際次に示すような手順によるものとすることができる。
【００２３】
図５は本動画編集再生装置にて実行される動画編集再生処理の手順を示すフローチャートである。図６は図５に示す動画編集再生処理の＃２での編集処理のより詳細な手順を示すフローチャートであり、図７は編集処理の＃２４、＃２５での処理に際しての表示画面の例を示す図である。
【００２４】
図５に示すように、動画編集再生処理では、表示部１１（図２等）への所定の画面表示を伴いつつ、入力部１３を介しての編集指示、再生指示および終了指示の入力が受け付けられており、編集指示が受け付けられると（＃１にてＹＥＳ）、＃２にて編集処理が行われ、また、再生指示が受け付けられると（＃３にてＹＥＳ）、＃４にて再生処理が行われる。終了が指示されると（＃５にてＹＥＳ）、本動画編集再生処理は終了することとなる。
【００２５】
編集処理では、図６に示すように、まず、動画ファイル名、音声ファイル名等が入力部１３を介して指定され（＃２１）、再生モードが上述の４種のうちから指定される（＃２２）。
【００２６】
再生モード２または再生モード３が指定されれば（＃２３にてＹＥＳ）、動画ファイルの元音声から、ユーザが新たに付加する、音声ファイル中の音声への切り替えタイミングとなるフレーム（付加音声再生開始フレーム、図３の第ａフレーム）が設定され（＃２４）、付加音声から元音声への切り替えタイミングとなるフレーム（付加音声再生終了フレーム、第ｂフレーム）が設定される（＃２５）。
【００２７】
実際、これら付加音声再生開始フレーム、付加音声再生終了フレームの設定には、図７に示すような編集画面１１０を伴わせることができる。ここでは、フレーム表示領域１１２中に表示されている動画ファイル”ｍｏｖｉｅ０３”の第２０１フレームまでの再生が、音声波形表示領域１１３に表示されている元音声の再生を伴うものとして指定され、動画ファイル”ｍｏｖｉｅ０３”の第２０２フレームからの再生が、付加音声波形表示領域１１１に表示されている音声ファイル”ａｕｄｉｏ０１”の再生を伴うものとして指定されている。
（また、この編集画面１１０にて、動画ファイル指示アイコン１１４〜１１７のいずれかをマウス１３２等にて指示することにより、編集の対象とする動画ファイルを指定することができ、音声ファイル指示アイコン１１８、１１９のいずれかを指示することにより、動画に新たに付加する音声を指定することができる。）
さらに、再生モード３が指定されているときには（図６の＃２６にてＹＥＳ）、スライドショー再生のための設定、すなわちスライドショーに用いるフレームの指定および各フレームの表示時間等の設定が行われ（＃２７）、これらの後、＃２１、＃２２、＃２４、＃２５、＃２７での設定、入力等に基づく関連情報（図４）が生成され、生成された関連情報が、音声ファイル中の音声データとともに、動画ファイルの一部として格納され（＃２８）、本編集処理は終了することとなる。
【００２８】
図８は図５に示す動画編集再生処理の＃４の処理として行われる再生処理の手順を示すフローチャートであり、図９は再生処理の＃４５での付加音声を伴う動画の再生のより詳細な手順を示すフローチャートである。
【００２９】
図８に示すように、再生処理では、（図６に示すような編集処理後の）動画ファイル中の関連情報が読み込まれ（＃４１）、再生モードがモード０〜モード３のいずれであるかが判定される（＃４２）。関連情報中で再生モード０が指定されていれば、付加音声のみの再生が行われ（＃４３）、再生モード１が指定されていれば、動画の通常再生が行われる（＃４４）。再生モード２が指定されていれば、付加音声を伴う動画の再生が行われ（＃４５、次に図９にて詳述）、また、再生モード３が指定されていれば、（関連情報中で指定されるフレームと表示時間とに従いつつ、図９の処理に準じた処理が行われて）スライドショー再生が行われ（＃４６）、これらの後、本再生処理は終了することとなる。
【００３０】
付加音声を伴う動画の再生に際しては、より詳細には、図９に示すように、まず、動画の通常再生の開始が（並列して動作するプログラムとして構成される）デコーダに指示される（＃４５１）。
【００３１】
この指示の後には、動画終了が検知されて（＃４５６にてＹＥＳ）、本処理が終了するまで動画の再生が続けられ、動画再生中、付加音声への切り替えタイミング（付加音声再生開始フレーム、図３の第ａフレーム）となったことが検知されると（＃４５２にてＹＥＳ）、元音声から付加音声への切り替えが（上記のデコーダに）指示され（＃４５３）、その後動画音声への切り替えタイミング（付加音声再生終了フレーム、第ｂフレーム）となったことが検知されると（＃４５４にてＹＥＳ）、付加音声から元音声への切り替えが指示されることとなる（＃４５５）。
【００３２】
以上のような動画編集再生処理によると、動画編集に際し、動画再生に伴う、動画ファイルによる元音声から、新たに付加される、音声ファイルによる付加音声への切り替えの第１タイミング、および、付加音声から元音声への切り替えの第２タイミングがユーザにより任意に指定され、これらが関連情報として動画ファイル中に記録され、また、動画再生に際し、関連情報が読み出されて、読み出された第１タイミングおよび第２タイミングまで、元音声に代えて、動画ファイルの一部として格納されている、ユーザが新たに付加した音声ファイルに対応する音声が再生されつつ、動画ファイル中の動画および音声が再生されるため、（音声を伴う）動画ファイル自体の内容を変更することなく関連情報によって動画と音声とを関連付けることが可能となり、従来のように（固定的で不可逆な動画ファイルのコーディングを伴う）煩わしい編集処理を繰り返すことがなく、既存の動画ファイルが有効に用いられつつ、１つの動画に対する音声の多様な関連付けが簡便に行われることとなる。
【００３３】
さらに、上述のような４種の再生モードのいずれかを指定することができるものとし、動画編集に際し、スライドショー再生が指定された際、スライドショー再生に必要な関連情報を動画ファイル中に格納することにより、付加音声の再生を伴う、より多様な動画再生が既存の動画ファイルが有効に用いられつつ行われることとなる。
【００３４】
なお、上記の実施の形態の動画編集再生装置では、元音声から付加音声への切り替えタイミングまた付加音声から元音声への切り替えタイミングが動画のフレーム番号により指定されるものとしたが、動画再生開始からの時間等により指定されるものとすることができる。
【００３５】
また、上記の実施の形態の動画編集再生装置では、１つの付加音声が動画再生中の１つの時間（第ａフレームから第ｂフレームまで）に対応付けられるものとしたが、１つの音声が動画再生中の互いに重ならない２つの時間にて再生されること、異なる複数の音声が１つの動画に対応付けられること、また、１つの動画の再生に際して複数の音声が重ねて再生されること等を想定し、これらに対応する関連情報が生成されるものとすることができる。
【００３６】
上記の実施の形態の動画編集再生装置では、動画ファイル、（付加音声を格納する）音声ファイルおよび関連情報から、これらのデータを含む新たな１つの動画ファイルが生成されることを想定したが、独立した関連情報ファイルが関連情報から生成され、また、関連情報が音声ファイル中に記録され、関連情報（ファイル）中で指示される動画ファイル名、音声ファイル名により動画ファイル、音声ファイルの関連付けが識別されるものとすることができる。
【００３７】
【発明の効果】
請求項１に記載の発明によると、ユーザによって特定された、動画中の、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を含む関連情報が、動画音声ファイル中にまたは独立した関連情報ファイルとして記録されるため、動画再生に伴い、記録された関連情報を読み出し、音声ファイルに対応する音声と、動画音声ファイル中の音声とを切り替えるものとすることにより、動画音声ファイル自体の内容を変更することなく関連情報によって動画と音声とを関連付けることが可能となって、既存の動画音声ファイルが有効に用いられつつ、１つの動画に対する音声の多様な関連付けが簡便に行われることとなる。
【００３８】
請求項２に記載の発明によると、請求項１に記載の発明での第１時点および第２時点がフレームを指定する番号により特定されるため、ユーザは動画と音声とを簡便に特定することができるといえる。
【００３９】
請求項３に記載の発明によると、関連情報中の第１時点および第２時点に基づき、適切に２種の音声が切り替えられつつ動画が再生されるため、編集の際のユーザの第１時点および第２時点の指定に基づく、円滑な動画および音声の再生が行われることとなる。
【００４０】
請求項４に記載の発明によると、特にスライドショーとして動画を再生することができることとなるため、より多様に動画および音声を関連付けて再生させることができるといえる。
【００４１】
請求項５に記載の発明によると、編集の際に指定された４種の再生（モード）のうちのいずれかに従って動画および音声の再生が行われるため、動画の編集者の意図した通りの、音声ファイルに対応する音声（付加音声）の再生を伴う多様な動画再生が、既存の動画ファイルが有効に用いられつつ行われることとなる。
【００４２】
請求項６、請求項７また請求項８に記載の発明によると、ユーザによって特定された、動画中の、所定の音声ファイルの、再生開始に対応する第１時点および再生終了に対応する第２時点を含む関連情報が、動画音声ファイル中にまたは独立した関連情報ファイルとして記録され、記録されている関連情報に基づき、適切に２種の音声が切り替えられつつ動画が再生されるため、既存の動画音声ファイルが有効に用いられつつ、１つの動画に対する音声の多様な関連付けが簡便に行われ、この後、動画音声ファイルが読み出されて、編集の際のユーザの指定に基づく円滑な動画および音声の再生が行なわれることとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つである動画編集再生装置の正面からの外観を示す図である。
【図２】本動画編集再生装置内部のハードウェア構成を示すブロック図である。
【図３】本動画編集再生装置での、動画ファイル中の動画と音声ファイル中の音声との関連付けの例を示す図である。
【図４】図３に示す関連付けに伴い生成される関連情報の内容を示す図である。
【図５】本動画編集再生装置にて実行される動画編集再生処理の手順を示すフローチャートである。
【図６】図５に示す動画編集再生処理の＃２での編集処理のより詳細な手順を示すフローチャートである。
【図７】編集処理の＃２４、＃２５での処理に際しての表示画面の例を示す図である。
【図８】図５に示す動画編集再生処理の＃４の処理として行われる再生処理の手順を示すフローチャートである。
【図９】再生処理の＃４５での付加音声を伴う動画の再生のより詳細な手順を示すフローチャートである。
【符号の説明】
１１  表示部
１２  主記憶部（ＲＡＭ）
１３  入力部
１３１  キーボード
１３２  マウス
１４  中央演算部（ＣＰＵ）
１５  メモリカード
１５１  メモリカード用スロット
１６  補助記憶部
１６１  ＨＤＤ
１６２  ＦＤＤ
１６３  ＣＤ−ＲＯＭドライブ
１６４  ＣＤ−ＲＯＭ
１１０  編集画面
１１１  付加音声波形表示領域
１１２  フレーム表示領域
１１３  音声波形表示領域
１１４〜１１７  動画ファイル指示アイコン
１１８、１１９  音声ファイル指示アイコン
【図１】
0003558051.tif 000002
【図２】
0003558051.tif 000003
【図３】
0003558051.tif 000004
【図４】
0003558051.tif 000005
【図５】
0003558051.tif 000006
【図６】
0003558051.tif 000007
【図７】
0003558051.tif 000008
【図８】
0003558051.tif 000009
【図９】
0003558051.tif 000010