(57)【要約】【課題】ビデオとオーディオで異なる時間長のフレームサイズを持ち多重化された２つのシステムストリーム間で、トランジション効果をかける場合にトランジションの開始点及び終了点で音声が無音になる、あるいは途切れてしまう問題があった。【解決手段】トランジションシステムストリームの先頭ビデオフレームとオーディオフレームにおいて、ビデオフレームとオーディオフレームの再生時間にギャップを設ける。ギャップの幅は、システムストリーム１の終了点におけるビデオフレームとオーディオフレームの時間幅をトランジションシステムストリームの先頭のビデオフレームとオーディオフレームで同じにする。  トランジションシステムストリームの末端のビデオフレームとオーディオフレームにおいてビデオフレームの再生終了時間における音声レベルをシステムストリーム２の同時刻のオーディオストリームの音声レベルと同じにする。【選択図】図６
2007180692.tif 000002
【特許請求の範囲】
【請求項１】
第１のビデオストリームと、第２のビデオストリームを重畳し、第３のビデオストリームを生成する映像効果作成ステップと、第１のオーディオストリームと、第２のオーディオストリームを重畳し、第３のオーディオストリームを生成する音声効果作成ステップと、第３のビデオストリームと第３のオーディオストリームを多重化し、第３のシステムストリームを作成する多重化ステップを有し、前記音声効果作成ステップは、第１のオーディオストリームに含まれるオーディオフレームの再生終了時間が映像効果開始時刻を超えるかどうか判断する判断ステップと、前記判断ステップにおいて再生終了時間が映像効果開始時刻を超えると判断した場合には、第３のシステムストリームの最初のオーディオフレームとして、第１のオーディオストリームに含まれるオーディオフレームのコピーを行うコピーステップを有することを特徴とする映像音声編集方法。
【請求項２】
第１のビデオストリームと、第２のビデオストリームを重畳し、第３のビデオストリームを生成する映像効果作成ステップと、第１のオーディオストリームと、第２のオーディオストリームを重畳し、第３のオーディオストリームを生成する音声効果作成ステップとを有し、前記音声効果作成ステップは、第１のオーディオストリーム、第２のオーディオストリームのオーディオフレームの再生開始時間がともに映像効果終端時刻を超えるかどうかの判断を行う判断ステップと、前記判断ステップにおいて、第１のオーディオストリーム、第２のオーディオストリームのオーディオフレームの再生開始時間がともに映像効果終端時刻を超えると判断した場合には、第３のオーディオストリームの末端のオーディオフレームの映像効果終端時刻の音声レベルが、第２のオーディオストリームの前記映像効果終端時刻を含むオーディオフレームの前記時刻の音声レベルと同じになるようにする処理ステップを有することを特徴とする映像音声編集方法。
【請求項３】
第１のビデオストリームと、第２のビデオストリームを重畳し、第３のビデオストリームを生成する映像効果作成ステップと、第１のオーディオストリームと、第２のオーディオストリームを重畳し、第３のオーディオストリームを生成する音声効果作成ステップとを有し、前記音声効果作成ステップは、第１のオーディオストリーム、第２のオーディオストリームのオーディオフレームの再生開始時間がともに映像効果終端時刻を超えるかどうかの判断を行う判断ステップと、前記判断ステップにおいて、第１のオーディオストリーム、第２のオーディオストリームのオーディオフレームの再生開始時間がともに映像効果終端時刻を超えると判断した場合には、第３のオーディオストリームの末端のオーディオフレームの末端の音声レベルが、第２のオーディオストリームの映像効果終端時刻を含むオーディオフレームの末端の音声レベルと一致させる処理ステップを有することを特徴とする映像音声編集方法。
【請求項４】
請求項１から請求項３のいずれかに記載の編集方法を用いて、システムストリームを生成する映像音声編集装置。
【請求項５】
請求項１から請求項３のいずれかに記載の編集方法を実行させるプログラム。
【請求項６】
請求項５に記載したプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声が多重化された２本の映像音声ストリームの間で映像・音声効果をかける場合に、映像・音声が途切れることがないように映像音声ストリームの再構築を行うことが可能な映像音声編集装置に関するものである。
【背景技術】
【０００２】
近年、映像、音声のコンテンツをデジタルデータとして取り扱うようになってきた。映像、音声が持つデジタルデータは膨大であるのに対して、記憶媒体や伝送経路は限られている。この限られた記憶媒体や伝送経路に対して効率的に映像音声素材を格納するために、動画像信号圧縮の国際規格として、ＭＰＥＧ方式などの符号化方式が策定されている。
【０００３】
ＩＳＯ／ＩＥＣ  １３８１８規格（以下、ＭＰＥＧ−２規格）は、ＩＳＯ／ＩＥＣ  １３８１８−１規格（以下、システム規格）、ＩＳＯ／ＩＥＣ  １３８１８−２規格（以下、ビデオ規格）、ＩＳＯ／ＩＥＣ  １３８１８−３規格（以下、オーディオ規格）などからなり、システム規格によりオーディオ規格とビデオ規格のストリームが多重化されたシステムストリームで構成されている。ここで、ストリームとは符号化された映像または音声が連続するデータのことを言う。
【０００４】
図１はＭＰＥＧ−２規格によって符号化されたデータ列を時間軸に沿って模式的に示したものである。映像データおよび音声データはフレームと呼ばれる均一の時間長を持った映像または音声の単位で格納される。１フレームで構成される映像をビデオフレーム（１０２）、１フレームで構成される音声をオーディオフレーム（１０３）と呼ぶ。ＭＰＥＧ−２規格によって符号化されたビデオフレーム及びオーディオフレームはそれぞれ独立した時間長ｔ１、ｔ２を持つ。
【０００５】
ＭＰＥＧ−２規格などの動画像信号圧縮形式はデジタルビデオカメラ等で撮影された映像音声素材の格納形式に用いられるようになっている。これらの映像音声素材をハードディスクやＳＤメモリーカード、ＤＶＤ−ＲＡＭメディアなどのランダムアクセス可能な記憶媒体に格納し、ユーザの好みに応じて、自由に長さを調整したり、複数の映像音声素材を組み合わせたりして映像効果を作成することがコンピュータやＤＶＤレコーダなどを用いて可能になってきている。
【０００６】
一方、二つのシステムストリームの間でビデオ、オーディオストリームの圧縮をほどくことなく、シームレスに結合する方法として、オーディオフレームとビデオフレームの再生時刻のギャップを無音パケットで置換するような方法が考えられている（例えば、特許文献１参照。）。
【０００７】
２つのシステムストリームの間に生成されるトランジションストリームをこのような方法で実施した場合、オーディオフレームとビデオフレームの再生時間のギャップの区間だけ音声が無音になってしまい、音声の連続性が失われてしまう。そのためにシステムストリーム１全体、システムストリーム２全体、トランジションをかける区間のトランジションシステムストリームの３つのシステムストリームから一旦圧縮を解いた映像音声素材を生成し、再度、ひとつのシステムストリームとして再度圧縮を行うという方法でしか、映像、音声の連続性を保つができなかった。
【特許文献１】特開２００４−１０４７２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ビデオとオーディオで異なる時間長のフレームサイズを持ち多重化された２つのシステムストリーム間で、トランジション映像効果をかける場合にトランジションの開始点及び終了点で音声が無音になる、あるいは途切れてしまう問題があった。また、途切れないようにするために、すべての映像及び音声素材の圧縮をほどき、トランジション効果をかけた後、ＭＰＥＧ−２などの符号化方式で圧縮を行った場合、映像、音声の圧縮及び展開に時間がかかり、圧縮、展開後の映像及び音声が元と同じには戻らない非可逆圧縮のため圧縮、展開を繰り返すたびに画質及び音質が劣化していくという問題点があった。
【課題を解決するための手段】
【０００９】
この本発明は、システムストリーム１及びシステムストリーム２の間で作成するトランジションシステムストリームの開始点及び終了点において、時間と音声レベルを適切に調整することによって音声が途切れないようにすることである。
【００１０】
トランジションシステムストリームの先頭ビデオフレームとオーディオフレームにおいて、ビデオフレームとオーディオフレームの再生時間にギャップを設ける。ギャップの幅は、システムストリーム１の終了点におけるビデオフレームとオーディオフレームの時間幅をトランジションシステムストリームの先頭のビデオフレームとオーディオフレームで同じにする。
【００１１】
トランジションシステムストリームの末端のビデオフレームとオーディオフレームにおいてビデオフレームの再生終了時間における音声レベルをシステムストリーム２の同時刻のオーディオストリームの音声レベルと同じにする。
【００１２】
また、トランジションシステムストリームの末端のビデオフレームとオーディオフレームにおいて、オーディオフレームの再生終了時間の音声レベルをシステムストリーム２のオーディオストリームの終了点での音声レベルと同じにする。
【００１３】
上記を備えることで音声が途切れないようにすることを最も主要な特徴とする。
【発明の効果】
【００１４】
本発明の映像音声編集装置は、トランジション効果をかける区間以外の区間で、ビデオ、オーディオの再圧縮を行うことなく、ビデオ、オーディオそれぞれのフレームサイズ単位でのシステムストリームの再構築が可能となると同時に、各システムストリームを個別再生する場合においてもシームレスに接続することが可能となり、高品質の映像音声編集を可能にする。
【発明を実施するための最良の形態】
【００１５】
映像、音声それぞれのフレームサイズに基づきシステムストリームの再構築を行うため、映像、音声の再圧縮を最小限に抑え高品質の映像音声編集を実現した。
【００１６】
（実施の形態）
図２は本発明の実施形態のひとつであるＳＤカードなどのランダムアクセス可能な記録媒体に映像音声を蓄積し、編集して出力する映像音声編集装置について示したものである。ＰＣ等の映像音声編集装置（２０１）はＳＤカード（２０２）などのランダムアクセス可能な記憶媒体に格納された映像、音声データを映像音声記憶装置のＳＤメモリーカードスロット（２０３）に装着し、ユーザがキーボード（２０４）やマウス（２０５）を用いて指定した開始点、終了点の設定や映像効果に従い、所定のプログラムによって映像、音声データを加工することができるものである。
【００１７】
図３は映像音声編集装置（２０１）において、ユーザが映像、音声データを編集する方法の中でトランジション効果を作成する方法を記載したものである。トランジション効果とは、２つのシステムストリームの終了点と開始点をある一定時間重ね合わせ、一つ目のシステムストリームの末端から漸近的に映像を変化させるとともに、音声の混成割合を漸近的に変化させていき、二つ目のシステムストリームの開始点に映像、音声ともにあわさるようにスムーズに映像、音声を重ね合わせるものである。
【００１８】
ユーザはシステムストリーム１（３０１）の左右に設けられた開始点設定グリップ（３０２）及び終了点設定グリップ（３０３）によって、システムストリーム１（３０１）中の任意の時間から映像を開始し、終了することができるようになる。システムストリーム２（３０５）についても、左右に設けられた開始点設定グリップ（３０６）及び終了点設定グリップ（３０７）によって、システムストリーム２（３０５）中の任意の時間から映像を開始し、終了することができるようになる。システムストリーム１（３０１）とシステムストリーム２（３０２）が時間的に重複する時間にトランジション効果（３０４）を設定することができる。ユーザがトランジション効果（３０４）を選択すると、図４に記載されたトランジション効果選択画面（４０１）が表示され、効果パターン（４０２）のいずれかを選択するとともに、時間の重複時間をエディットボックス（４０３）の中に入力して設定を行う。これらによって、任意のトランジション効果を決められた時間、システムストリーム１（３０１）の任意の時間区間と、システムストリーム２（３０５）の任意の時間区間に設定をすることが可能となる。
【００１９】
本発明では、オーディオフレーム、ビデオフレームの格納にパケットを用いる。図５はパケットの構成を示したものである。パケット（５０１）の中にはオーディオ信号ないしはビデオ信号が符号化されて格納されるとともに、その再生開始時刻も格納されている。パケット（５０１）は、ヘッダ（５０２）とペイロード（５０３）で構成され、ヘッダ（５０２）には再生開始時刻などの再生に必要な付加データが記載されている。また、ペイロード（５０３）にはオーディオ信号ないしはビデオ信号が符号化されて格納されている。
【００２０】
図６は本発明によって生成されるシステムストリームの実施例を示したものである。トランジションシステムストリーム（６０３）はシステムストリーム１（６０１）及びシステムストリーム２（６０２）から生成される。ここでは開始時刻ｔ１（６０４）から終端時刻ｔ２（６０５）までの区間で二つのシステムストリーム１（６０１）、システムストリーム２（６０２）から生成する場合を例に示す。再生開始時刻ｔ１（６０４）から始まるシステムストリーム１（６０１）のビデオフレーム１（６０６）と同じｔ１に始まるシステムストリーム２（６０２）のビデオフレーム２（６０７）のそれぞれのビデオ信号を図４の映像効果パターン（４０２）に従って合成を行い、再度符号化を行い、ペイロードを生成し、ヘッダにシステムストリーム１（６０１）のビデオフレーム１（６０６）と同じ時刻の再生開始時間を付与して、新たなビデオフレーム３（６０８）を生成する。以降、ビデオフレームに関しては、終端時刻ｔ２にいたるまでこれを繰り返す。
【００２１】
一方、トランジションシステムストリーム（６０３）内に最初に生成されるオーディオフレーム（６０９）に関して、開始時刻ｔ１（６０４）と同じ時刻を再生開始時間のオーディオフレームはせず、ｔ１に時刻差分ｔ３（６１０）を減算した時刻にオーディオ再生開始時刻が存在する。オーディオフレーム（６０９）の再生開始時間をビデオフレームの再生開始時間ｔ１（６０４）から時間差分ｔ３（６１０）だけ減算した時間にすることで、トランジションシステムストリーム（６０３）の先頭フレームにおけるビデオフレーム、オーディオフレームの連続性を維持する。以降、トランジションシステムストリーム（６０３）のオーディオフレームはオーディオフレームの再生時間長ずつ再生時間を加算し、システムストリーム１（６０１）のオーディオフレームとシステムストリーム２（６０２）のオーディオフレームを用いて、定められた音声効果パターンに従って合成を行う。
【００２２】
オーディオフレーム１及びオーディオフレーム２の再生開始時刻は最大でオーディオフレームの時間長だけずれることになるが、ＭＰＥＧなどの符号化を用いた場合、オーディオフレームのサイズは０．０２４秒程度であり、映像と音声のずれが人間の感覚に比べて許容できる範囲に収まっている。
【００２３】
トランジションシステムストリーム（６０３）のオーディオフレームに関しては、終端時刻ｔ２（６０５）を超えない範囲でシステムストリーム１のオーディオフレームとシステムストリーム２のオーディオフレームを順次定められた音声効果パターンに従って合成を行う。
【００２４】
トランジションシステムストリーム（６０３）において、生成すべきオーディオフレーム（６１５）の再生開始時間が終端時刻ｔ２（６０５）を超えず、再生終了時間が終端時刻ｔ２（６０５）を超えている場合、終端時刻ｔ２における、システムストリーム２（６０２）のオーディオフレーム（６１６）の音声レベル（６１２）と、トランジションシステムストリーム（６０３）のオーディオフレーム（６１１）の音声レベルは同一になるようにする。
【００２５】
オーディオフレーム（６１６）末端のオーディオレベル（６１４）とトランジションシステムストリーム（６０３）のオーディオフレーム（６１５）の末端のオーディオレベル（６１３）は同一になるようにオーディオフレーム（６１５）を生成する。
【００２６】
このようにすることで、トランジション区間を除くオーディオフレームの再生成を行うことなく、且つ音途切れが発生することのない、トランジションシステムストリームを生成することができる。
【００２７】
図７は、図１で示されるようなユーザが設定した編集シーケンスに基づいて、再生を行う場合と、トランジションシステムストリーム、システムストリーム１及びシステムストリーム２をひとつのシステムストリームに再構築する場合を記載したものである。
【００２８】
再生順序（７０１）で示すように、各フレームの先頭に記載された再生開始時間に基づいて、再生を行った場合、音声が途切れることなく再生可能である。また、ひとつのシステムストリーム（７５１）を生成する場合、システムストリーム２のオーディオフレームの各再生開始時間をトランジションシステムストリームのオーディオフレームと連続するように時間差分ｔ５（７５２）だけ増分させることで、音途切れのないシステムストリームを作成することも可能である。
【００２９】
図８は図６で示したトランジションシステムストリーム（６０３）を生成することが可能な映像音声編集装置（２０１）の内部構成を示すブロック図である。データ読み込み手段（８０１）はＳＤメモリーカード（２０２）より映像効果を加えるべき２本のシステムストリームの読み出しを行い、図１及び図３で記載したユーザが指定された時間軸に応じて、システムストリーム１を第１の映像音声分離手段（８０２）に渡す。同様に及びシステムストリーム２を第２の映像音声分離手段（８０３）に渡す。
【００３０】
第１の映像音声分離手段（８０２）はシステムストリーム１からビデオストリーム１及びオーディオストリーム１を分離し、ビデオストリーム１を映像効果作成手段（８０４）に、オーディオストリーム１を音声効果作成手段（８０５）に渡す。
【００３１】
同様に、第２の映像音声分離手段（８０３）はシステムストリーム２からビデオストリーム２及びオーディオストリーム２を分離し、ビデオストリーム２を映像効果作成手段（８０４）に、オーディオストリーム２を音声効果作成手段（８０５）に渡す。
【００３２】
映像効果作成手段（８０４）はビデオストリーム１から、各フレームの映像を再生開始時間が含まれたヘッダと符号化された映像データが含まれるペイロードに分離した上で、再生開始時間に沿って復号化された映像データ１を生成し、同様に、ビデオストリーム２から、各フレームの映像を再生開始時間が含まれたヘッダと符号化された映像データが含まれるペイロードに分離した上で、再生開始時間に沿って複合化された映像データ２を生成し、同一再生時間の映像データ１と映像データ２を図４の映像効果パターン（４０２）に従って合成を行い、再生開始時間を付与した上で符号化を行い、新たなビデオフレーム３として、映像音声多重化手段（８０６）に送出する。
【００３３】
一方、音声効果作成手段（８０５）はオーディオストリーム１から各オーディオフレームを再生開始時間が含まれたヘッダと符号化された音声データが含まれるペイロードに分離した上で、再生開始時間に沿って復号化された音声データを生成し、また、オーディオストリーム２から各オーディオフレームを再生開始時間が含まれたヘッダと符号化された音声データが含まれるペイロードに分離した上で、再生開始時間に沿って復号化された音声データ２を生成し、音声データ１と音声データ２を定められた割合で混合を行い、音声データ３を生成し、決められた再生開始時間を付与し、オーディオフレーム３を生成する。
【００３４】
図９は音声効果作成手段（８０５）の処理を示すフローチャートの詳細を述べたものである。
【００３５】
ステップ９０１において、第１の映像音声分離手段（８０２）からオーディオストリーム１を受け取る。
【００３６】
次に、ステップ９０２において、オーディオストリーム１に含まれるオーディオフレーム１をヘッダとペイロードに分離し、ヘッダよりオーディオフレーム１の再生開始時刻を取得し、ペイロードの符号化された音声データ１を復号化する。
【００３７】
ステップ９０３において、ステップ９０２で取得したオーディオフレーム１の再生開始時刻が、トランジション開始時刻ｔ１を超えるかどうか判断し、ｔ１より手前の場合はステップ９０４において、オーディオフレーム１の再生終了時間がトランジション開始時刻ｔ１を超えるかどうか判断し、オーディオフレーム１が再生時刻ｔ１を超えない場合は、ステップ９０１に戻って、オーディオフレーム１が再生開始時刻に到達するまで入力を繰り返す。
【００３８】
ステップ９０４において、オーディオフレーム１の再生終了時間がトランジション開始時刻ｔ１を超える場合は、ステップ９０５において、トランジションシステムストリームの最初のオーディオフレームとして、オーディオフレーム１のコピーを行う。ステップ９１４において、オーディオフレーム３を映像音声多重化手段８０６に送出を行う。
【００３９】
ステップ９０６において、オーディオフレーム３の再生開始時間を記憶し、次のオーディオ入力を受けるためにステップ９０１を繰り返す。ステップ９０３において、トランジション開始時刻ｔ１をオーディオフレーム１の再生開始時間が超えた場合、次にステップ９０７において第２の映像音声分離手段８０３よりオーディオストリームを順次受け取る。
【００４０】
ステップ９０８において、オーディオストリーム２に含まれるオーディオフレーム２をヘッダとペイロードに分離し、ヘッダよりオーディオフレーム２の再生開始時刻を取得し、ペイロードの符号化された音声データ２を復号化する。
【００４１】
ステップ９０９において、ステップ９０８で取得したオーディオフレーム２の再生開始時刻が、トランジション開始時刻ｔ１を超えるかどうか判断し、オーディオフレーム２が再生時刻ｔ１を超えない場合は、ステップ９０８に戻って、オーディオフレーム２が再生開始時刻に到達するまで入力を繰り返す。
【００４２】
ステップ９１０においてオーディオストリーム１、オーディオストリーム２のオーディオフレームの再生開始時間がともにトランジション終端時刻ｔ２を超えるかどうかの判断を行い、いずれかが到達していない時点では、ステップ９１１以降を実行する。終端点に到達した場合はステップ９１５を実行する。
【００４３】
ステップ９１１において、音声データ１、音声データ２を定められた割合で混合を行い、トランジション用音声データ３を生成する。
【００４４】
ステップ９１２において、ステップ９０６で記憶したオーディオフレームの再生開始時間にオーディオフレームの再生時間長を加えたものをオーディオフレームにオーディオフレームの再生時間長を加えたものを新たな再生開始時間として、ヘッダを作成する。
【００４５】
ステップ９１３において、音声データ３を符号化してペイロードを生成し、ステップ９１２で生成されたヘッダとペイロードを結合し、オーディオフレーム３を生成し、ステップ９１４以降を実行する。
【００４６】
ステップ９１５において、オーディオストリーム１、オーディオストリーム２のオーディオフレームの再生開始時間がともにトランジション終端時刻ｔ２を超えた場合、音声データ３のトランジション終端時刻ｔ２の音声レベルが、音声データ２のｔ２時刻の音声レベルと同じになるようにするとともに、音声データ３の末端の音声レベルが、音声データ２の末端の音声レベルと一致するように音声データ３を生成する。
【００４７】
ステップ９１６において、ステップ９０６で記憶したオーディオフレームの再生開始時間にオーディオフレームの再生時間長を加えたものを新たな再生開始時間として、ヘッダを作成する。
【００４８】
ステップ９１７において、音声データ３を符号化してペイロードを生成し、ステップ９１６で生成されたヘッダとペイロードを結合し、オーディオフレーム３を生成する。
【００４９】
ステップ９１８において、オーディオフレーム３を映像音声多重化手段８０６に送出を行い、トランジション用のオーディオストリームの生成を終了する。
【００５０】
映像音声多重化手段（８０６）はビデオストリーム、オーディオストリームの多重化を行い、システムストリームを生成する。生成されたシステムストリームはファイル出力手段（８０７）によって記憶媒体（２０２）に記録される。このようにすることで、図５で示したトランジションシステムストリームが生成される。
【産業上の利用可能性】
【００５１】
図１に示す例では映像音声編集装置（２０１）の上で編集を行うシステムストリームを格納する記憶媒体としてＳＤメモリーカードを用いたが、ランダムアクセス可能な記憶媒体、すなわちＤＶＤ−ＲＡＭやＤＶＤ−ＲＷといった光メディアやメモリースティックといった他の半導体メモリ、ハードディスクドライブなどの固定メディアにも適用できる。
【００５２】
ユーザが開始点、終了点や映像効果を設定するために用いるキーボード（２０４）、マウス（２０５）といった機器のかわりに、リモコンなどのデバイスや、映像や音声中の特徴点を抽出することで開始点、終了点、映像効果を自動設定するような場合にも適用できる。
【００５３】
ステップ９１３、ステップ９１７において、音声データの符号化がフレーム内で完結する場合を記載しているが、ＭＰＥＧ等の圧縮技術で用いられるフレーム間をまたいだ相関関係をつかった場合にも適用できる。
【００５４】
２つのシステムストリームを合成する例として、トランジション映像効果を用いて説明を行ったが、映像の中に映像を埋め込むピクチャーインピクチャー映像効果など、２つのシステムストリームを合成するような映像効果にも適用できる。
【図面の簡単な説明】
【００５５】
【図１】ＭＰＥＧ−２規格によって符号化されたデータ列を時間軸に沿って模式的に示した図
【図２】本発明の実施の形態に於けるシステムの概観図
【図３】本発明の実施の形態に於いて、ストリームの開始点、終了点を設定するユーザの操作例を記載した図
【図４】図３で示したユーザ操作において、トランジション効果を設定する操作例を記載した図
【図５】１パケットに含まれるデータ構成を記載した図
【図６】本発明の実施の形態において、２つのシステムストリームからトランジション用のシステムストリームを生成する一例図
【図７】図６で示した３つのシステムストリームを時間軸に沿って再生を行う、あるいはひとつのシステムストリームに再構築を行った場合を示した一例図
【図８】本発明の実施の形態に於ける内部構成を表すブロック図
【図９】本発明の実施の形態に於いてオーディオストリームを生成するためのフローチャート
【符号の説明】
【００５６】
１０１    システムストリーム
１０２    ビデオフレーム
１０３    オーディオフレーム
２０１    映像音声編集装置
２０２    ＳＤメモリーカード
２０３    ＳＤメモリーカードスロット
２０４    キーボード
２０５    マウス
３０１    システムストリーム１
３０２    システムストリーム１の開始点を設定するためのグリップ
３０３    システムストリーム１の終了点を設定するためのグリップ
３０４    トランジション映像効果
３０５    システムストリーム２
３０６    システムストリーム２の開始点を設定するためのグリップ
３０７    システムストリーム２の終了点を設定するためのグリップ
４０１    トランジション効果設定画面
４０２    トランジション効果のひとつ
４０３    トランジション効果を設定する時間を入力する箇所
５０１    パケット
５０２    ヘッダ
５０３    ペイロード
６０１    システムストリーム１
６０２    システムストリーム２
６０３    トランジションシステムストリーム
６０４    トランジション映像効果開始時間ｔ１
６０５    トランジション映像効果終了時間ｔ２
６０６    ビデオフレーム１
６０７    ビデオフレーム２
６０８    ビデオフレーム３
６０９    オーディオフレーム３
６１０    オーディオフレーム３の再生開始時間とトランジション効果開始時間の時間差分
６１１    トランジション映像効果終了時間ｔ２を有するトランジションシステムストリームのオーディオフレームにおける音声レベル
６１２    トランジション映像効果終了時間ｔ２を有するシステムストリーム２のオーディオフレームにおける音声レベル
６１３    トランジション映像効果終了時間ｔ２を有するトランジションシステムストリームのオーディオフレーム末端における音声レベル
６１４    トランジション映像効果終了時間ｔ２を有するシステムストリーム２のオーディオフレーム末端における音声レベル
６１５    トランジション映像効果終了時間ｔ２を有するトランジションシステムストリームのオーディオフレーム
６１６    トランジション映像効果終了時間ｔ２を有するシステムストリーム２のオーディオフレーム
７０１    編集シーケンスに沿って再生を行う場合の再生の流れ
７５１    編集シーケンスに沿って再構築されたシステムストリーム
７５２    再構築されたシステムストリームにおいて、オーディオフレームの再生開始時間をずらず時間長
８０１    データ読み込み手段
８０２    第１の映像音声分離手段
８０３    第２の映像音声分離手段
８０４    映像効果作成手段
８０５    音声効果作成手段
８０６    映像音声多重化手段
８０７    ファイル出力手段
【図１】
2007180692.tif 000003
【図２】
2007180692.tif 000004
【図３】
2007180692.tif 000005
【図４】
2007180692.tif 000006
【図５】
2007180692.tif 000007
【図６】
2007180692.tif 000008
【図７】
2007180692.tif 000009
【図８】
2007180692.tif 000010
【図９】
2007180692.tif 000011