(57)【要約】【課題】簡単な構成により、時分割多重化圧縮されたＭＰＥＧ−２ストリーム中の部分ストリームを独立、もしくはその部分ストリームを他のストリームに結合でき、しかも、再生する際にはＭＰＥＧ規格の制約条件を満たしていれば、実質的に正常な映像・音声信号の再生を可能にする。【解決手段】２つのＭＰＥＧ−２ストリーム１００、２００それぞれの一部分を結合し、新たなストリーム３００する際には、それぞれの部分ストリームの先頭位置にシーケンス開始情報パケット、終了位置にシーケンス終了情報パケットを挿入し、その結果を結合する。【選択図】  図１
2004357240.tif 000002
【特許請求の範囲】
【請求項１】
映像・音声が多重化されたＭＰＥＧ−２ストリームを編集する映像・音声編集装置であって、
ランダムアクセス可能な所定の記憶媒体に記憶されたＭＰＥＧ−２ストリームの一部分である部分ストリームを独立したストリームにするため、もしくは他の部分ストリームと結合するために、前記部分ストリームの開始位置と終了位置が指定された場合、前記開始位置近傍のシーケンス開始情報を検索する検索手段と、
該検索手段による検索により取得したシーケンス開始情報に基づいて、分離後の部分ストリームの先頭位置にシーケンス開始情報パケットデータを生成し、挿入する第１の挿入手段と、
所定のシーケンス終了パケットデータを生成し、前記終了位置の直後に挿入する第２の挿入手段とを備え、
前記第１、第２の挿入手段で挿入後の部分パケットを独立したＭＰＥＧ−２ストリームとして記録、もしくは、他のストリームに結合して記録することを特徴とする映像・音声編集装置。
【請求項２】
前記検索手段は、開始位置直後のＧＯＰ開始情報パケットデータにおいて、該パケットデータ内にシーケンス開始情報が含まれるか否かを判断する手段を含むことを特徴とする請求項１に記載の映像・音声編集装置。
【請求項３】
前記検索手段は、前記開始位置から終了位置までの間にシーケンス開始情報をもつパケットデータが存在するか否かを判断することを特徴とする請求項１に記載の映像・音声編集装置。
【請求項４】
前記第１の挿入手段は、
前記開始位置から終了位置までの間に存在するシーケンス開始情報を一時的に記憶し、再度ＰＥＳパケットデータ形式に変換する第１の変換手段と、
注目している部分ストリームがＴＳパケット形式或いはＰＳパック形式のいずれであるのかを判断結果に応じて、前記第１の変換手段で得られたＰＥＳパケットデータを、それぞれに対応するデータ形式に変換する第２の変換手段と、
該第２の変換手段で得られたデータを挿入することを特徴とする請求項１に記載の映像・音声編集装置。
【請求項５】
更に、ＭＰＥＧ−２ストリームを再生する再生手段を備え、当該再生手段は、
ＭＰＥＧ−２ストリームを復号再生する際、シーケンススタート情報パケットが入力された場合、フレームメモリバッファに蓄積されている圧縮データを逐次復号する処理し、
シーケンスエンド情報パケットが入力された場合は、その時点までフレームメモリバッファに蓄積されている圧縮データをすべて復号再生し、一旦フレームメモリバッファ内の蓄積データをクリアする
ことを特徴とする請求項１に記載の映像・音声編集装置。
【請求項６】
前記再生手段で再生中、一度シーケンスエンド情報パケットの入力を検知した場合には、新たなシーケンススタート情報パケットが入力されない限り、フレームメモリへ転送された圧縮データを次段の復号処理へ転送せず、破棄し続ける手段を備えることを特徴とする請求項５に記載の映像・音声編集装置。
【請求項７】
前記再生手段で再生中、シーケンスエンド情報パケットの入力を検知した後、フレームメモリへの圧縮データの転送及び蓄積が一定時間無い場合は復号再生すべきＭＰＥＧ−２ストリームがデータ終端まで達したものとして、復号器回路の初期化及び省電力モードへ移行する手段を備えることを特徴とする請求項５に記載の映像・音声編集装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の映像・音声信号復号再生装置を有することを特徴とするデジタルビデオカメラ装置。
【請求項９】
映像・音声が多重化されたＭＰＥＧ−２ストリームを編集する映像・音声編集装置の制御方法であって、
ランダムアクセス可能な所定の記憶媒体に記憶されたＭＰＥＧ−２ストリームの一部分である部分ストリームを独立したストリームにするため、もしくは他の部分ストリームと結合するために、前記部分ストリームの開始位置と終了位置が指定された場合、前記開始位置近傍のシーケンス開始情報を検索する検索工程と、
該検索工程による検索により取得したシーケンス開始情報に基づいて、分離後の部分ストリームの先頭位置にシーケンス開始情報パケットデータを生成し、挿入する第１の挿入工程と、
所定のシーケンス終了パケットデータを生成し、前記終了位置の直後に挿入する第２の挿入工程とを備え、
前記第１、第２の挿入工程で挿入後の部分パケットを独立したＭＰＥＧ−２ストリームとして記録、もしくは、他のストリームに結合して記録することを特徴とする映像・音声編集装置の制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル動画音声圧縮技術規格（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ：以下ＭＰＥＧと呼称）を用いて、符号化ディジタル動画像データとディジタル音声データを時分割多重化したＭＰＥＧ−２ストリームデータを処理する技術に関するものである。
【０００２】
【従来の技術】
現在、ＩＥＣ／ＩＳＯ  １３８１８において規定されるＭＰＥＧ規格は、日本国内及び欧米における衛星ディジタル放送や地上波ディジタル放送等においての映像及び音声信号を伝送するデータ方式としてのＭＰＥＧ−２ＴＳ（トランスポートストリーム）方式、及び、読み出し専用のディジタル多用途ディスク（ＤＶＤ−ＲＯＭ等の記憶メディア）や半導体メモリカード（ＳＤカード）に記録される映像及び音声信号データ方式としてのＭＰＥＧ−２ＰＳ（プログラムストリーム）方式が用いられている。
【０００３】
このようなＭＰＥＧ−２方式で情報圧縮されたデータを、そのままのディジタル信号状態で、例えばハードディスクや光ディスク、高速読み書きが可能な半導体メモリ等のランダムアクセス可能な記録媒体に、書き込み記録やユーザーがアクセス可能なデータファイルとして保存することができれば、画質や音質をまったく劣化させることなく、高品質のＡＶプログラムを随時繰り返して視聴することや、即応性が高いランダムアクセス再生及び自由度の高いプログラム編集が可能となり得る。
【０００４】
以下に、ＭＰＥＧ−２ストリームのデータ構造及び運用方法に関して概略を述べることとする。
【０００５】
＜ＭＰＥＧ−２ＴＳのデータ構造＞
図１４に示すようにＭＰＥＧ−２ＴＳストリームは、「ＴＳパケット」と呼ばれる１８８バイトの固定長パケットの連続したストリームで構成される。ＴＳパケットは、固定長のヘッダとアダプテーションフィールド、ペイロード部から構成される。ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）は、一つまたは複数のＴＳパケットのペイロード部に分割して配置される。ＴＳは、放送や通信のように伝送誤りが発生しやすい応用環境で使用することが想定されていて、このためＴＳパケットは誤りからの回復が早くて容易な固定長パケットとなっている。パケット長は、ＭＰＥＧビデオ信号の多重化を想定した効率性、ＡＴＭセル長との整合性、リードソロモン符号などの訂正符号との整合性を考慮して決められている。この他ＴＳでは、後述する時刻同期に使用する基準時間を番組ごとにもつことが可能である。
【０００６】
図１５に示した、１８８バイト固定長のデータで構成されるＴＳパケットの構造は、図中に示した４バイト固定長のパケットヘッダ（図示の数字の単位はビットである）、固定長のアダプテーションフィールド、ペイロードで構成されている。パケットヘッダ以下のアダプテーションフィールド、ペイロードの有無は、ヘッダ内のアダプテーションフィールドフラグ（２ビット）により指示される。ヘッダ部には、このほか、ＰＩＤ（１３ビット）やペイロード部のスクランブルの有無を示すトランスポートスクランブル制御（２ビット）、連続性指標（４ビット）などが含まれる。アダプテーションフィールド部には、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）等の時間情報の伝送及びスタッフィング機能がある。一つのＰＥＳパケットは、同じＰＩＤをもつ複数のＴＳパケットのペイロードに分割して伝送されるが、このときＰＥＳパケット先頭は、ＴＳパケットのペイロードの先頭から開始するように配置される。またＰＥＳパケットの先頭を含んでいるＴＳパケットはペイロードユニット開始インジケータを用いて識別することができる。
【０００７】
＜ＭＰＥＧ−２  ＰＳのデータ構造＞
図１６に示すように、プログラムストリームＰＳは「パック」と呼ばれる可変長ブロックを単位とする連続したストリームで、パックはパックヘッダと複数のＰＥＳで構成される。一つのパックに含まれるＰＥＳのデータは、各構成要素の概ね同じ時間範囲で再生される情報が集まったものである。ＰＳは、ＤＶＤなどのローカルディスクのように伝送誤りが発生しない（ディスクドライブ側での誤り処理を行う蓄積メディアを含む）応用環境で使用することが想定されている。このため可変長のフォーマットとしている。このほか、ＰＳでは後述する時刻同期に使用する基準時刻はただ一つとなる。パックヘッダには図中に示すような時間情報ＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）が含まれている。
【０００８】
以上、ＭＰＥＧ−２ＴＳ、ＰＳのデータ構造について説明した。
【０００９】
＜ＭＰＥＧ−２ストリーム結合処理＞
上述の技術を用いた従来例として、ランダムアクセス可能な記録媒体等に記録した図１０のデータ構造をもつ、異なる２つのＭＰＥＧ−２ストリームデータを一つのＭＰＥＧ−２ストリームとして結合編集する処理を図１１に従って説明する。
【００１０】
図中に示すように既に記録媒体上に記録された２つのＭＰＥＧ−２ストリームそれぞれに、結合対象となるストリーム１００と００２が存在するものとする。結合ストリーム１００は結合開始位置１０１から結合終了位置１０２までの映像及び音声信号データ部分で構成され、結合ストリーム２００は結合開始位置２０１から結合終了位置２０２までの映像及び音声信号データ部分とで構成される。そして、これらを結合し、新たなＭＰＥＧストリーム３００として作成するものである。
【００１１】
今、かかる結合指示をユーザーから要求された場合、従来までは各ＭＰＥＧ−２ストリームの編集位置が、ＧＯＰ開始情報を含むデータパケット単位であるか否か、すなわちＴＳの場合は１８８バイトのパケット単位であるか、ＰＳの場合はパックデータ単位であるかを条件判断し、要求位置が該条件を満たさない場合は、編集処理に失敗したものとして終了しユーザーにその結果を通知する。
【００１２】
また、該条件を満たす編集位置である場合は、第１に結合元ストリーム１００の結合開始位置１０１から結合終了位置１０２までのＭＰＥＧ−２データをコピー（抜き出し）し、結合後ストリーム３００の先頭から所定の記憶装置（例えば書き込み可能な光ディスクやハードディスク等）に記録する。第２に結合元ストリーム２００の結合開始位置２０１から結合終了位置２０２までのＭＰＥＧ−２データをコピーし、結合後ストリームのデータ終端に追加記録する。以上の処理を以って結合処理を終了し、ユーザーにその結果を通知する。
【００１３】
尚、ここでは、編集元のＭＰＥＧ−２ストリームデータをコピーし、新規ＭＰＥＧ−２ストリームデータを編集後先データとして新規作成する方法を前提としており、編集元ＭＰＥＧ−２ストリームのデータ削除あるいはデータサイズやストリームデータ開始位置、ストリームデータ終了位置を変更等の処理は考慮していない。
【００１４】
＜ＭＰＥＧ−２ストリームの分割処理＞
次に、これまでのランダムアクセス可能な記録媒体等に記録したＭＰＥＧ−２ストリームの分割処理について説明する。
【００１５】
今、図１２に示す様なデータ構造をもつ、１つのＭＰＥＧ−２ストリームデータを２つのＭＰＥＧ−２ストリームとして分割編集する際の処理手順を図１３のフローチャートに従って説明する。
【００１６】
図中に示すように既に記録媒体上に記録された分割元ＭＰＥＧ−２ストリーム１００に対して、分割位置でＭＰＥＧ−２データを二つに分割し、新たに分割先ＭＰＥＧ−２ストリーム２００と３００を新規作成することを、ユーザーから要求された場合、従来まではＭＰＥＧ−２ストリームの編集位置が、ＧＯＰ開始情報を含むデータパケット単位であるか否か、すなわちＴＳの場合は１８８バイトのパケット単位であるか、ＰＳの場合はパックデータ単位であるかを条件判断し、要求位置が該条件を満たさない場合は、編集処理に失敗したものとして終了しユーザーにその結果を通知する。
【００１７】
また、この条件を満たす編集位置である場合は、分割元ストリーム１００のデータ先頭から分割位置までのＭＰＥＧ−２データをコピーし、分割先ストリーム２００として新規記録作成する。続いて、分割元ストリーム１００の分割位置からデータ終端までのＭＰＥＧ−２データをコピーし、分割先ストリーム３００として新規記録作成する。以上の処理を以って分割処理を終了し、ユーザーにその結果を通知する。
【００１８】
尚、ここでは、編集元のＭＰＥＧ−２ストリームデータをコピーし、新規ＭＰＥＧ−２ストリームデータを編集後先データとして新規作成する方法を前提としており、編集元ＭＰＥＧ−２ストリームのデータ削除あるいはデータサイズやストリームデータ開始位置、ストリームデータ終了位置を変更等の処理は考慮していない。
【００１９】
また、ＭＰＥＧ−２ストリームの結合、分割処理の手法については特許文献１にも開示されている。
【００２０】
【特許文献１】
特開平１１−２６１９５８号公報
【００２１】
【発明が解決しようとする課題】
しかしながら、上記ＭＰＥＧ−２方式で圧縮符号化された映像音声信号を編集処理方法及び該処理方法を具備するシステムにおいては、次の課題が存在する。
【００２２】
ＭＰＥＧ−２ストリームは、ＭＰＥＧ−２データの先頭に以降に続くＭＰＥＧ−２データを、一連のシーケンスとして復号再生するために不可欠なビットレート値や復号時の画像サイズ、圧縮方式などのシステム情報を持っていなければならない。これら一連のシーケンスを復号再生するためのシステム情報（以後、シーケンス開始情報と呼称）が、データ先頭に持たないようなＭＰＥＧ−２ストリームデータが復号再生器に転送された場合、その復号器では復号あるいは再生処理を安定して動作させることを保証できない。
【００２３】
すなわち、図１１に示す如く、これまでの結合処理においては、結合元ストリーム１００の結合開始位置１０１が、ＧＯＰ開始情報を含むパケット単位を満たすことのみを条件にしていたので、そのまま結合位置から結合終了位置をコピーして、結合先ストリーム３００を作成できたとしても、そのコピーした中のパケット内にシーケンス開始情報が含まれていない場合は、同ストリーム３００のＭＰＥＧ−２データを先頭から復号再生を行う場合にも、復号あるいは再生処理ができない虞れがある。
【００２４】
同様のことは、これまでの分割処理についても同様である。すなわち、分割位置直後のＧＯＰ開始情報を含むパケットがシーケンス開始情報を持っていない場合、分割先ストリーム３００に関してＭＰＥＧ−２データの復号再生処理ができない虞れがある。
【００２５】
また、もう一つの課題として、ＭＰＥＧ−２規格では復号再生器について、転送されるデータ量及びデータ転送時間に関して厳密に制約条件が設けられていることに起因する、編集後ストリームのＭＰＥＧ規格への適合性の課題がある。
【００２６】
図１７（ａ）（ｂ）に、ＭＰＥＧ−２規格で規定されるＭＰＥＧ多重化ストリーム復号器の構成概略図を示した。図で示すようにＭＰＥＧ−２データ多重化方式ＰＳ、ＴＳによって、若干構成に違いがあるものの復号器へのデータ入力前に、復号器に入力された圧縮データの種別を判断し、データ種別による転送経路の選択を行うデマルチプレックス部、そして複数のバッファメモリを用意し、復号時間或いは再生時間の遅延を制御する仕組みになっている。
【００２７】
ＭＰＥＧ規格では、これら複数の処理部すべてに関し、転送データ量及びデータ転送時間の制約条件を規定し、いずれのバッファメモリ内のデータもオーバーフローあるいはアンダーフローせず、ＭＰＥＧ−２ストリームを入力及び転送しなければならない。
【００２８】
そのため、従来の結合処理において結合処理後のストリーム３００（図１０）を復号再生器にそのまま伝送した場合、図１８に示すように、２つのＭＰＥＧ−２データの結合位置近傍で、結合位置以前の圧縮データがフレームメモリ内に多く蓄積されたまま、後続するストリームの圧縮データをさらにフレームメモリに転送・蓄積し続けてしまい、バッファオーバーフローを起こし、復号再生器が停止してしまう可能性がある。
【００２９】
【課題を解決するための手段】
本発明は上記の課題に鑑みてなされたものであり、簡単な構成により、時分割多重化圧縮されたＭＰＥＧ−２ストリーム中の部分ストリームを独立、もしくはその部分ストリームを他のストリームに結合でき、しかも、再生する際にはＭＰＥＧ規格の制約条件を満たしていれば、実質的に正常な映像・音声信号の再生が可能とする技術を提供しようとするものである。
【００３０】
この課題を解決するため、例えば、本発明の映像・音声編集装置は以下の構成を備える。すなわち、
映像・音声が多重化されたＭＰＥＧ−２ストリームを編集する映像・音声編集装置であって、
ランダムアクセス可能な所定の記憶媒体に記憶されたＭＰＥＧ−２ストリームの一部分である部分ストリームを独立したストリームにするため、もしくは他の部分ストリームと結合するために、前記部分ストリームの開始位置と終了位置が指定された場合、前記開始位置近傍のシーケンス開始情報を検索する検索手段と、
該検索手段による検索により取得したシーケンス開始情報に基づいて、分離後の部分ストリームの先頭位置にシーケンス開始情報パケットデータを生成し、挿入する第１の挿入手段と、
所定のシーケンス終了パケットデータを生成し、前記終了位置の直後に挿入する第２の挿入手段とを備え、
前記第１、第２の挿入手段で挿入後の部分パケットを独立したＭＰＥＧ−２ストリームとして記録、もしくは、他のストリームに結合して記録することを特徴とする。
【００３１】
【発明の実施の形態】
以下、添付図面に従って本発明に係る各実施形態を説明する。
【００３２】
＜装置構成の説明＞
図１９は実施形態が適用するデジタルビデオカメラのブロック構成図である。図示において、１は装置全体の制御を司るＣＰＵ、２はＣＰＵ１の制御処理プログラムを記憶しているＲＯＭ、３はＣＰＵ１のワークエリアとして使用するＲＡＭである。４はランダムアクセス可能な記憶媒体である、書き込み可能な光ディスク５（例えばＤＶＤ−ＲＡＭ、−Ｒ／−ＲＷ、＋Ｒ／ＲＷ等）に対して読み書きするディスクコントローラである。
【００３３】
６は外部インタフェースであって、光ディスク５に記憶された映像データを出力するためのＡＶ端子、及び、ＡＶ入力端子、並びに、パーソナルコンピュータ等の外部装置とデジタルデータのまま通信するためのＩＥＥＥ１３９４インタフェースで構成される。７は光学部であって、８は撮像素子であるＣＣＤ、９は光学部７のフーカシングやズーム、絞り等を制御するドライバである。１０はＭＰＥＧ−２の圧縮符号化及び復号処理を行うＭＰＥＧ符号・復号部であり、１１は各種操作スイッチやボタン、ダイヤル等で構成される操作部である。１２は撮像画像を表示したり、各種メニュー等を表示する表示部である。
【００３４】
上記構成において、操作部１２において録画スイッチをＯＮにすると、ＣＣＤ８で撮像された画像がＭＰＥＧ符号・復号部１０でＭＰＥＧ−２符号化を行ない、その符号化ストリームがディスクコントローラ４を介して光ディスク５に書き込まれることになる。なお、既に書き込まれた画像を再生する際には、ディスクコントローラ４を介して指示されたＭＰＥＧ−２ストリームを読出し、ＭＰＥＧ符号・復号部１０で復号処理を行ない、その結果を表示部１２に表示することも可能である。
【００３５】
以下、実施形態におけるＭＰＥＧ−２ストリームの結合、分割について説明するが、編集対象のＭＰＥＧ−２ストリームは光ディスク５に既に保存されているものを対象としている。結合処理であれば少なくとも２つのストリームを指定し、尚且つ、個々のストリームの結合しようとする部分ストリームを指定することが必要になる。その際の指定方法は、例えば、再生中に、所望とするタイミングで部分ストリームの開始位置と終了位置をそれじれ操作部１２で指定することでその部分ストリームを決定するものとする。結合する場合には、その操作を２回行ない、１回めに設定した部分ストリームに、２回めに設定した部分ストリームを結合し、光ディスク５に記録することになる。
【００３６】
ただし、この設定方法によって本願発明が限定されるものではないことを付言しておく。
【００３７】
＜ＭＥＰＧ−２ストリーム結合処理＞
先ず、実施形態におけるＭＰＥＧ−２ストリームの結合処理を説明する。
【００３８】
実施形態では、記録媒体（光ディスク５）に記録した図１に示すのデータ構造をもつ、異なる２つのＭＰＥＧ−２ストリームデータを一つのＭＰＥＧ−２ストリームとして結合編集し、その記録媒体に書き込む方法について説明する。
【００３９】
実施形態における結合処理の手順を図２に示すフローチャートに従って以下に説明する。
【００４０】
図中に示すように既に記録媒体上に記録された２つのＭＰＥＧ−２ストリームがあるとする。今、結合ストリーム１００においては結合開始位置１０１から結合終了位置１０２までの映像及び音声信号データ部分と、結合ストリーム２００においては結合開始位置２０１から結合終了位置２０２までの映像及び音声信号データ部分とを結合し、新たなＭＰＥＧストリーム３００として作成することを、ユーザーから要求された場合、各ＭＰＥＧ−２ストリームの編集位置が、ＧＯＰ開始情報を含むデータパケット単位であるか否か判断する（ステップＳ１）。すなわちＴＳの場合はＧＯＰ開始情報を含むデータパケットが、１８８バイトのパケット単位であるか、ＰＳの場合はＧＯＰ開始情報を含むデータパケットが、パックデータ単位であるかを条件判断する。要求位置が該条件を満たさない場合は、編集処理に失敗したものとして本終了し、ユーザーにその結果を通知する。
【００４１】
該条件を満たす編集位置である場合は、結合開始位置１０１直後のＧＯＰ開始情報を含むパケットデータにシーケンス開始情報が存在するか検索し、該パケットデータ内にシーケンス開始情報が存在するか否かを判断する（ステップＳ２）。シーケンス開始情報が存在しない場合には、後述のシーケンス開始情報パケットデータを光ディスク５上に新規作成し（新規書き込みを行い）、結合先ストリーム３００のデータ先頭に挿入する（ステップＳ４）。シーケンス開始情報パケットデータの挿入に失敗した場合（ステップＳ５）は、編集処理に失敗したものとして終了し、ユーザーにその結果を通知する。
【００４２】
続いてシーケンス開始パケットデータ挿入処理の成功後、或いはシーケンス開始情報の検索により同ＧＯＰ開始情報パケットデータにシーケンス開始情報が含まれていた場合は、結合開始位置１０１から結合終了位置１０２までのデータを結合先ストリーム３００のＭＰＥＧ−２データとしてコピーし記録する（ステップＳ３）。
【００４３】
結合元ストリーム１００のデータのコピー記録終了後、結合先ストリーム３００のデータ終端に、シーケンス終了情報パケットデータを新規作成し追加する（ステップＳ６）。該シーケンス終了パケットデータを挿入することによって、結合先ストリーム３００のデータ先頭から、該シーケンス終了パケットデータ位置までのＭＰＥＧ−２データが一連のシーケンスとして完了することを明示的にストリーム中に記録する。
【００４４】
これ以降、上記の結合元ストリーム１００に関する処理を、以下に説明する如く、結合元ストリーム２００に対しても同様に行う。
【００４５】
結合開始位置２０１直後のＧＯＰ開始情報を含むパケットデータにシーケンス開始情報が存在するか検索し、該パケットデータ内にシーケンス開始情報が存在するか否かを判断する（ステップＳ７）。
【００４６】
シーケンス開始情報が存在しない場合には、後述のシーケンス開始情報パケットデータを新規作成し、結合先ストリーム３００のデータ終端位置に挿入する（ステップＳ１０）。シーケンス開始情報パケットデータの挿入に失敗した場合は（ステップＳ１１）、編集処理に失敗したものとして本処理を終了し、ユーザーにその結果を通知する。
【００４７】
続いてシーケンス開始パケットデータ挿入処理の成功後、或いはシーケンス開始情報の検索により同ＧＯＰ開始情報パケットデータにシーケンス開始情報が含まれていた場合は、結合開始位置２０１から結合終了位置２０２までのデータを結合先ストリーム３００のＭＰＥＧ−２データとしてコピーしデータ終端に追加記録する（ステップＳ８）。
【００４８】
結合元ストリーム２００のデータのコピー記録終了後、結合先ストリーム３００のデータ終端に、シーケンス終了情報パケットデータを新規作成し追加する（ステップＳ９）。該シーケンス終了パケットデータを挿入することによって、結合先ストリーム３００の結合位置から、データ終端に向かう所定範囲内にシーケンス終了パケットデータ位置までのＭＰＥＧ−２データが一連のシーケンスとして完了することを明示的にストリーム中に記録する。
【００４９】
以上の処理を以って結合処理を終了し、ユーザーにその結果を通知する。
【００５０】
＜ＭＥＰＧ−２ストリーム分割処理＞
次に、実施形態におけるランダムアクセス可能な記録媒体等に記録した図３のデータ構造をもつ、１つのＭＰＥＧ−２ストリームデータを２つのＭＰＥＧ−２ストリームとして分割編集する方法について説明する。図４はその際の処理手順を示すフローチャートである。
【００５１】
図中に示すように既に記録媒体上に記録された分割元ＭＰＥＧ−２ストリーム１００が存在するものとする。ここでユーザが、分割位置でＭＰＥＧ−２データを２つに分割し、新たに分割先ＭＰＥＧ−２ストリーム２００と３００を新規作成することを要求（指示）した場合、ＭＰＥＧ−２ストリームの編集位置が、ＧＯＰ開始情報を含むデータパケット単位であるか否かを判断する（ステップＳ２１）。すなわち、すなわちＴＳの場合はＧＯＰ開始情報を含むデータパケットが、１８８バイトのパケット単位であるか、ＰＳの場合はＧＯＰ開始情報を含むデータパケットが、パックデータ単位であるかを判断する。この条件を満たさない場合は、編集処理に失敗したものとして終了しユーザーにその結果を通知する。
【００５２】
また、この条件を満たす編集位置であると判断した場合には、分割元ストリーム１００のデータ先頭から分割位置までのＭＰＥＧ−２データをコピーし、分割先ストリーム２００として新規記録作成する（ステップＳ２２）。また、分割元ストリーム１００のデータの分割先ストリーム２００へのコピー記録終了後、分割先ストリーム２００のデータ終端に、シーケンス終了情報パケットデータを新規作成し追加する（ステップＳ２３）。該シーケンス終了パケットデータを挿入することによって、分割先ストリーム２００のデータ先頭から、該シーケンス終了パケットデータ位置までのＭＰＥＧ−２データが一連のシーケンスとして完了することを明示的にストリーム中に記録する。
【００５３】
続いて、分割元ストリーム１００の分割位置直後のＧＯＰ開始情報を含むパケットデータにシーケンス開始情報が存在するか検索し、判断する（ステップＳ２４）。このパケットデータ内にシーケンス開始情報が存在しないと判断した場合には、後述のシーケンス開始情報パケットデータを新規作成し、分割先ストリーム３００のデータ先頭に挿入記録する（ステップＳ２５）。シーケンス開始情報パケットデータの挿入に失敗した場合（ステップＳ２６）は、編集処理に失敗したものとして終了し、ユーザーにその結果を通知する。
【００５４】
続いてシーケンス開始パケットデータ挿入処理の成功後、或いはシーケンス開始情報の検索により同ＧＯＰ開始情報パケットデータにシーケンス開始情報が含まれていた場合は、分割編集位置から分割元ストリーム１００のデータ終端までのＭＰＥＧ−２データを分割先ストリーム３００のＭＰＥＧ−２データとしてコピーし記録する（ステップＳ２７）。
【００５５】
以上の処理を以って分割処理を終了し、ユーザーにその結果を通知する。
【００５６】
なお、上記の分割処理では、オリジナルストリームの後半部分を分割する例を示した。従って、その後半部分の終端には、最初からシーケンス終了パケットデータが存在することになるので、新たなシーケンス終了パケットデータを挿入する処理は不要になる。しかし、オリジナルストリーム中の途中の部分的なストリームを分割する際には、先に説明した結合処理と同様、抜き出す部分ストリームの終端位置にシーケンス終了パケットデータを挿入することになる。
【００５７】
＜シーケンス開始情報パケット生成方法＞
続いて上記結合、分割処理におけるシーケンス開始情報パケットの生成処理方法について説明する。
【００５８】
図５は、生成処理方法を示し、図６のフローチャートはその処理手順を示している。
【００５９】
はじめに図中に示すように結合開始位置あるいは分割位置から、結合終端位置までの間にシーケンス開始情報の開始コード３２ビットを検索する。上記検索範囲の中でシーケンス情報の開始コードを検出できなかった場合（ステップＳ３１）は、編集処理に失敗したものとして、ユーザーにその結果を通知する。
【００６０】
編集元ストリームの検索位置から３２ビット分のＭＰＥＧ−２データを読み込み（ステップＳ３２）、該３２ビットデータ列が１６進数のシーケンス開始コード“００  ００  ０１  Ｂ３”に一致するか否かを判断する（ステップＳ３３）。一致した場合には、シーケンス開始情報が検出されたものとして、該検出位置に続くシーケンス情報データ部及びシーケンス拡張情報データ部を取得する（ステップＳ３５）。また、該データ列がシーケンス開始コードに一致しなかった場合は、まだシーケンス開始情報が検出できなかったものとして、検出位置を続く８ビット先に進め（ステップＳ３４）、検索範囲内で再度シーケンス開始コードの検索を行う。
【００６１】
シーケンス開始情報の取得後、該情報に対して適切なＰＥＳパケットスタートコード及び、ＰＥＳパケットデータ長、ＰＥＳパケットヘッダ情報を付加し、シーケンス開始情報を持つＰＥＳパケットデータの作成を行う（ステップＳ３６）。
【００６２】
上記シーケンス開始情報を持つＰＥＳパケットの作成終了後、現在編集対象となっているＭＰＥＧ−２ストリームの多重化方式がＭＰＥＧ−２ＰＳかＭＰＥＧ−２ＴＳかを判断する（ステップＳ３７）。
【００６３】
ＭＰＥＧ−２ＰＳの場合は、該ＰＥＳパケットに対して適切なパックスタートコード及びパックヘッダ情報を付加し（ステップＳ３８）、シーケンス開始情報を持つＰＳパックデータを作成する（ステップＳ３９）。
【００６４】
また、ＭＰＥＧ−２ＴＳの場合は、該ＰＥＳパケットに対して適切な同期バイト、ＴＳパケットヘダー、アダプテーションフィールドを付加し（ステップＳ０４）、シーケンス開始情報を持つＴＳパケットデータを作成する（ステップＳ４１）。
【００６５】
以上の処理によって作成した、シーケンス開始情報を持つＰＳパック或いはＴＳパケットを検索開始位置直前に挿入し、シーケンス開始情報パケット処理を終了する。
【００６６】
なお、上記を図１に従って説明すると、次の通りである。
【００６７】
図１に示す如く、結合対象として結合ストリーム１００、２００の２つがあって、それらを結合する際には、それぞれの部分的なストリーム中でシーケンス開始情報を検索する。この際の検索する際の起点は、それぞれの編集開始位置とする。そして、その編集開始位置に後続する中で最も編集開始位置に近いシーケンス開始情報を検索し、それに基づいて部分ストリームの先頭にシーケンス開始情報パケットデータを挿入する。
【００６８】
以上のようにすると、結合しようとする部分的なストリームのみに注目すれば良いので、追加するシーケンス開始情報パケットデータを簡単にしかも短時間で生成することが可能になる。
【００６９】
なお、高画質を維持する場合には、図１における結合ストリーム１００における結合開始位置１０１を起点とし、それより時間的に前（図示では左側）に遡るパケット単位に、起点位置に最も近いシーケンス情報データ部及びシーケンス拡張情報データ部を検索し、取得することである。
【００７０】
要するに、結合開始位置１０１に最も近い位置に存在するシーケンス情報データ部及びシーケンス拡張情報データ部の取得し、更に望ましくは、結合開始位置１０１よりも時間的に前のデータから取得し、それに従ってシーケンス開始情報パケットデータを生成し、先頭に挿入することである。
【００７１】
ただし、実施形態の如く、デジタルビデオカメラの如く、装置のハードウェアの制約が大きい場合には、結合しようとする部分的なストリーム、もしくは起点から時間的に後ろ方向の所定範囲のみについて行うと、処理が単純化できるので都合が良い。
【００７２】
＜シーケンス終了情報パケット生成方法＞
次に、実施形態におけるシーケンス終了情報パケットの生成処理方法及び処理手順を、図７及び図８を参照して説明する。
【００７３】
はじめに図７に示すように、シーケンス終了情報パケットの作成では、シーケンスエンドコードのデータ列、１６進数で“００  ００  ０１  Ｂ７”を実効的なＰＥＳデータとしてもつＰＥＳパケットデータを作成する（ステップＳ５１）。
【００７４】
上記シーケンス終了情報を持つＰＥＳパケットの作成終了後、現在編集対象となっているＭＰＥＧ−２ストリームの多重化方式がＭＰＥＧ−２  ＰＳかＭＰＥＧ−２  ＴＳかを判断する（ステップＳ５２）。
【００７５】
ＭＰＥＧ−２ＰＳであると判断した場合は、該ＰＥＳパケットに対して適切なパックスタートコード及びパックヘッダ情報を付加し、シーケンス終了情報を持つＰＳパックデータを作成する（ステップＳ５３）。そして、作成したパックデータを編集終了位置に挿入する（ステップＳ５４）。
【００７６】
一方、編集中のストリムがＭＰＥＧ−２ＴＳであると判断した場合は、該ＰＥＳパケットに対して適切な同期バイト、ＴＳパケットヘダー、アダプテーションフィールドを付加し、シーケンス終了情報を持つＴＳパケットデータを作成する（ステップＳ５５）。そして、作成したパケットを編集終了位置に挿入する（ステップＳ５６）。
【００７７】
以上の処理によって作成した、シーケンス終了情報を持つＰＳパック或いはＴＳパケットを結合終了位置あるいは分割位置の編集位置直後に挿入し、シーケンス終了情報パケット処理を終了する。
【００７８】
＜編集後ストリームの復号再生＞
上記実施形態により作成される編集後のＭＰＥＧ−２ストリームの復号再生が安定動作することを保証するには、ＭＰＥＧ−２規格の制約条件を満たしつつ、次に示す機能をＭＰＥＧ−２データ復号器が持たなければならない。
１．ＭＰＥＧ−２ストリーム復号器内にシーケンススタート情報パケットが入力された場合、フレームメモリバッファに蓄積されている圧縮データを逐次復号する機能。
２．ＭＰＥＧ−２ストリーム復号器内にシーケンスエンド情報パケットが入力された場合は、その時点でフレームメモリバッファに蓄積されている圧縮データをすべて復号再生し、フレームメモリバッファ内の蓄積データをクリアする機能。３．一度シーケンスエンド情報パケットの入力を検知した複号器では、新たなシーケンススタート情報パケットが入力されない限り、フレームメモリへ転送された圧縮データを次段の復号器へ転送せず、破棄し続ける機能。
４．シーケンスエンド情報パケットの入力を検知した後の復号器において、フレームメモリへの圧縮データの転送及び蓄積が、一定時間無い場合は復号再生すべきＭＰＥＧ−２ストリームがデータ終端まで達したものとして、復号器回路の初期化及び省電力モードへ移行する機能。
【００７９】
上記機能をＭＰＥＧ−２データ復号器において実現することができれば、例えば先に説明した結合編集処理で作成された結合先ストリーム３００を復号再生した時、図９に示したように復号器内のフレームメモリのデータ量遷移は、結合位置近傍において、シーケンス終了情報パケットによりバッファデータの破棄を行い、続けてシーケンス開始情報パケットから始まる新しいシーケンスの復号再生をフレームメモリのオーバーフロー或いはアンダーフローが発生しないよう制御することが実現される。
【００８０】
以上のように本実施形態によれば、時分割多重化圧縮された映像音声信号データに対して、ＧＯＰを構成するパケットデータの境界位置で結合あるいは分割編集した場合に、編集位置前後にシーケンス開始情報パケットデータ或いはシーケンス終了情報パケットデータを新たに作成し挿入することによって、該編集処理によって作成された新たなＭＰＥＧ−２ストリームを復号再生する復号器においてＭＰＥＧ規格の制約条件を満たした、好適な映像・音声信号の視聴覚を保証することが実現できる。
【００８１】
【発明の効果】
以上のように本発明によれば、簡単な構成により、時分割多重化圧縮されたＭＰＥＧ−２ストリーム中の部分ストリームを独立、もしくはその部分ストリームを他のストリームに結合でき、しかも、再生する際にはＭＰＥＧ規格の制約条件を満たしていれば、実質的に正常な映像・音声信号の再生が可能となる。
【図面の簡単な説明】
【図１】実施形態によるＭＰＥＧ−２ストリーム結合処理の概要を示す図である。
【図２】実施形態によるＭＰＥＧ−２ストリーム結合処理フローチャートである。
【図３】実施形態によるＭＰＥＧ−２ストリーム分割処理図である。
【図４】実施形態によるＭＰＥＧ−２ストリーム分割処理フローチャートである。
【図５】実施形態によるＭＰＥＧ−２シーケンス開始パケットデータ挿入処理の概要を示す図である。
【図６】実施形態によるＭＰＥＧ−２シーケンス開始パケットデータ挿入処理フローチャートである。
【図７】実施形態によるＭＰＥＧ−２シーケンス終了パケットデータ挿入処理の概要を示す図である。
【図８】実施形態によるＭＰＥＧ−２シーケンス終了パケットデータ挿入処理フローチャートである。
【図９】実施形態における結合処理したストリームの再生時のバッファ量遷移図である。
【図１０】従来例によるＭＰＥＧ−２ストリーム結合処理を示す図である。
【図１１】従来例によるＭＰＥＧ−２ストリーム結合処理フローチャートである。
【図１２】従来例によるＭＰＥＧ−２ストリーム分割処理を示す図である。
【図１３】従来例によるＭＰＥＧ−２ストリーム分割処理フローチャートである。
【図１４】従来例及び実施形態に関わるＭＰＥＧ−２ＴＳストリームのデータ構造概略図である。
【図１５】従来例及び実施形態に関わるＭＰＥＧ−２ＴＳパケットのデータ構造概略図である。
【図１６】従来例及び実施形態に関わるＭＰＥＧ−２ＰＳストリームのデータ構造概略図である。
【図１７】従来例及び実施形態に関わるＭＰＥＧ−２多重化ストリーム復号再生器のブロック構成図である。
【図１８】従来例による結合処理後のストリームの再生処理時における結合位置近傍におけるバッファ量遷移図である。
【図１９】実施形態における装置のブロック構成図である。
【図１】
2004357240.tif 000003
【図２】
2004357240.tif 000004
【図３】
2004357240.tif 000005
【図４】
2004357240.tif 000006
【図５】
2004357240.tif 000007
【図６】
2004357240.tif 000008
【図７】
2004357240.tif 000009
【図８】
2004357240.tif 000010
【図９】
2004357240.tif 000011
【図１０】
2004357240.tif 000012
【図１１】
2004357240.tif 000013
【図１２】
2004357240.tif 000014
【図１３】
2004357240.tif 000015
【図１４】
2004357240.tif 000016
【図１５】
2004357240.tif 000017
【図１６】
2004357240.tif 000018
【図１７】
2004357240.tif 000019
【図１８】
2004357240.tif 000020
【図１９】
2004357240.tif 000021