(57)【要約】【課題】  オーディオエレメンタリストリームの連続性を確保することを可能にする装置および方法を提供する。【解決手段】  データストリームを処理する装置１は、外部デバイスからデータストリームを受け取るインタフェース部１０と、インタフェース部１０によって受け取られたデータストリームに含まれるオーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、オーディオエレメンタリストリームからエラーが検出されたフレームを削除し、かつ、エラーが検出されたフレームの前後のフレームを連結することにより、データストリームに対して修正処理を行う修正処理部２０と、修正処理が行われたデータストリームを格納する格納部３０とを備えている。【選択図】  図３Ｃ
2006091595.tif 000002
【特許請求の範囲】
【請求項１】
データストリームを処理する装置であって、
前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、
前記装置は、
外部デバイスから前記データストリームを受け取るインタフェース部と、
前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行う修正処理部と、
前記修正処理が行われたデータストリームを格納する格納部と
を備えた、装置。
【請求項２】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、
前記修正処理部は、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加する、請求項１に記載の装置。
【請求項３】
インタフェース部と修正処理部と格納部とを備えたコンピュータを用いて、処理を実行する方法であって、
前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、
前記処理は、
前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、
前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、
前記格納部が、前記修正処理が行われたデータストリームを格納するステップと
を包含する、方法。
【請求項４】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、
前記処理は、
前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含する、請求項３に記載の方法。
【請求項５】
インタフェース部と修正処理部と格納部とを備えたコンピュータに処理を実行させるためのプログラムであって、
前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、
前記処理は、
前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、
前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、
前記格納部が、前記修正処理が行われたデータストリームを格納するステップと
を包含する、プログラム。
【請求項６】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、
前記処理は、
前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含する、請求項５に記載のプログラム。
【請求項７】
インタフェース部と修正処理部と格納部とを備えたコンピュータに処理を実行させるためのプログラムを記録した記録媒体であって、
前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、
前記処理は、
前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、
前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、
前記格納部が、前記修正処理が行われたデータストリームを格納するステップと
を包含する、記録媒体。
【請求項８】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、
前記処理は、
前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含する、請求項７に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データストリームを処理する装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）は、通信用のトランスポートストリーム（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）の規格として、ＭＰＥＧ−ＴＳという規格を規定している。ＭＰＥＧ−ＴＳは、ＩＳＯの規格である。以下の説明では、ＭＰＥＧ−ＴＳに準拠したストリームを「ＭＰＥＧ−ＴＳストリーム」と略記する。
【０００３】
従来、外部デバイス（例えば、ハンディビデオカメラ）からＭＰＥＧ−ＴＳストリームを受け取り、そのＭＰＥＧ−ＴＳストリームをファイルに保存する装置が知られている。この装置は、外部デバイスから受け取ったＭＰＥＧ−ＴＳストリームの中にエラーが存在することを検出した場合には、そのエラーが存在する位置でＭＰＥＧ−ＴＳストリームを分割し、その分割点から後に続くＭＰＥＧ−ＴＳストリームを、その分割点に至るまでのＭＰＥＧ−ＴＳストリームが保存されたファイルとは別のファイルに保存する。例えば、その分割点より前のＭＰＥＧ−ＴＳストリームはファイル＃１に保存され、その分割点より後のＭＰＥＧ−ＴＳストリームはファイル＃２に保存される。このように、ＭＰＥＧ−ＴＳストリームの分割点の前後でファイルを別にする理由は、単一のファイル中のデータの連続性を確保するためである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
単一のファイル中のデータの連続性を確保することは、ＭＰＥＧ−ＴＳに適合するために必要であるわけではない。ＭＰＥＧ−ＴＳは、通信媒体で利用されることを前提としている（ＢＳデジタル、地上波デジタルはいずれもＭＰＥＧ−ＴＳで放送されている）ことから、仮に単一のファイル中にエラーが存在したとしてもそのエラーを検出することができるからである。ただし、ＭＰＥＧ−ＴＳに適合したファイルがコンピュータ上で標準的に取り扱うことができるファイルであるとはいえない。エラーを検出した後にそのエラーをどのように取り扱うかについては、ＭＰＥＧ−ＴＳに規定されていないため、エラーの取り扱い方法がクライアントによってまちまちだからである。実際に、市販のソフトウェアの中には、単一のファイル中にエラーが存在するものを処理すると、そのファイルの編集処理が途中で不正終了したり、アプリケーションがハングアップしたりするものが少なからず存在する。従って、コンピュータ上で問題なく標準的に取り扱うことができるファイルとするためには、ＭＰＥＧ−ＴＳストリームの連続性を単一のファイルの最初から最後まで確保しなければならない。
【０００５】
また、上述したエラーは必ずしもユーザが納得しうる箇所で発生するとは限らない。例えば、ハンディビデオカメラでテープに録画する場合を想定する。この場合、録画の繋ぎ目でファイルが分割されることは多くのユーザにとって許容しうる状況であるのに対して、テープの表面状態やコンピュータの動作状況を原因とするエラーが発生することによりファイルが分割されることは多くのユーザにとって理解し難い状況である。
【０００６】
本発明は、データストリームに含まれるオーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合であっても、そのオーディオエレメンタリストリームの連続性を確保することを可能にする装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【０００７】
また、本発明は、音ずれ防止処理を実現することができる装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の装置は、データストリームを処理する装置であって、前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、前記装置は、外部デバイスから前記データストリームを受け取るインタフェース部と、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行う修正処理部と、前記修正処理が行われたデータストリームを格納する格納部とを備え、そのことにより上記目的が達成される。
【０００９】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、前記修正処理部は、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加してもよい。
【００１０】
本発明の方法は、インタフェース部と修正処理部と格納部とを備えたコンピュータを用いて、処理を実行する方法であって、前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、前記処理は、前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、前記格納部が、前記修正処理が行われたデータストリームを格納するステップとを包含し、そのことにより上記目的が達成される。
【００１１】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、前記処理は、前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含してもよい。
【００１２】
本発明のプログラムは、インタフェース部と修正処理部と格納部とを備えたコンピュータに処理を実行させるためのプログラムであって、前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、前記処理は、前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、前記格納部が、前記修正処理が行われたデータストリームを格納するステップとを包含し、そのことにより上記目的が達成される。
【００１３】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、前記処理は、前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含してもよい。
【００１４】
本発明の記録媒体は、インタフェース部と修正処理部と格納部とを備えたコンピュータに処理を実行させるためのプログラムを記録した記録媒体であって、前記データストリームは、音声情報を格納しているオーディオエレメンタリストリームを含み、前記オーディオエレメンタリストリームは、少なくとも１つのフレームを含み、１フレームは音声情報の最小再生可能単位であり、前記処理は、前記インタフェース部が、外部デバイスから前記データストリームを受け取るステップと、前記修正処理部が、前記インタフェース部によって受け取られた前記データストリームに含まれる前記オーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、前記オーディオエレメンタリストリームから前記エラーが検出されたフレームを削除し、かつ、前記エラーが検出されたフレームの前後のフレームを連結することにより、前記データストリームに対して修正処理を行うステップと、前記格納部が、前記修正処理が行われたデータストリームを格納するステップとを包含し、そのことにより上記目的が達成される。
【００１５】
前記データストリームは、映像情報を格納しているビデオエレメンタリストリームをさらに含み、前記処理は、前記修正処理部が、前記ビデオエレメンタリストリームから削除された映像情報の時間量と前記オーディオエレメンタリストリームから削除された音声情報の時間量との微小なずれが前記修正処理を行う度に増大しないように前記音声情報の１以上のフレームを削除しまたは追加するステップをさらに包含してもよい。
【発明の効果】
【００１６】
本発明によれば、データストリームに含まれるオーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合に、オーディオエレメンタリストリームからエラーが検出されたフレームを削除し、かつ、エラーが検出されたフレームの前後のフレームを連結することにより、そのデータストリームに対して修正処理を行うことができる。これにより、オーディオエレメンタリストリームの連続性を確保することが可能になる。
【００１７】
さらに、本発明によれば、音ずれ防止処理を実現することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施の形態を説明する。
【００１９】
１．ＭＰＥＧ−ＴＳストリームの構造
図１Ａは、ＭＰＥＧ−ＴＳストリームの構造を示す。ＭＰＥＧ−ＴＳストリームは、ビット誤りのような誤りの発生する環境における伝送（蓄積）に使用される（例えば、ＡＴＭ通信、デジタル放送（衛星、地上波）など）。
【００２０】
ＭＰＥＧ−ＴＳストリームは、複数のＴＳパケットに分割されている。各ＴＳパケットは、１８８バイトの固定長パケットである。各ＴＳパケットにはパケット識別子ＰＩＤが割り当てられている。
【００２１】
ＴＳパケットは、ＴＳヘッダとＴＳペイロードとを含む。あるいは、ＴＳパケットは、ＴＳペイロードの代わりにアダプテーションフィールドを含んでいてもよいし、ＴＳペイロードに加えてアダプテーションフィールドを含んでいてもよい。アダプテーションフィールド、ペイロードの有無は、ＴＳヘッダ内のアダプテーションフィールドフラグにより指示される。
【００２２】
パケッタイズドエレメンタリストリーム（ＰＥＳ）は、ＰＥＳヘッダとＰＥＳペイロード（可変長）とを含む。以下の説明では、パケッタイズドエレメンタリストリーム（ＰＥＳ）を略して「エレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）」という。
【００２３】
エレメンタリストリームは、ＭＰＥＧ−ＴＳストリームに含まれる同一のＰＩＤを有するＴＳパケットを結合したものに対応している。なお、エレメンタリストリームの先頭は、ＴＳパケットのペイロードの先頭から開始するように構成される。このように、ＭＰＥＧ−ＴＳストリームは、１以上の任意の数のエレメンタリストリームを含むように構成される。
【００２４】
ＰＥＳペイロードには、映像情報が格納され得る。ＰＥＳペイロードに格納される映像情報は、１個のＧＯＰの一部もしくは全部、または、複数のＧＯＰの形式で表現される。ここで、ＧＯＰとは、複数枚のピクチャ（Ｐｉｃｔｕｒｅ）をまとめたものである。ピクチャは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれかである。１ＧＯＰは、映像情報の最小再生可能単位である。このように、ＰＥＳペイロードに映像情報が格納されているエレメンタリストリームを「ビデオエレメンタリストリーム（Ｖｉｄｅｏ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）」という。
【００２５】
また、ＰＥＳペイロードには、音声情報が格納され得る。ＰＥＳペイロードに格納される音声情報は、１個のフレームの一部もしくは全部、または、複数のフレームの形式で表現される。ここで、１フレームは、音声情報の最小再生可能単位である。このように、ＰＥＳペイロードに音声情報が格納されているエレメンタリストリームを「オーディオエレメンタリストリーム（Ａｕｄｉｏ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）」という。
【００２６】
エレメンタリストリームは、映像情報を格納しているビデオエレメンタリストリームであってもよいし、音声情報を格納しているオーディオエレメンタリストリームであってもよいし、その他のエレメンタリストリームであってもよい。ＭＰＥＧ−ＴＳストリームは、１以上のビデオエレメンタリストリームと、１以上のオーディオエレメンタリストリームとを多重化した形式で含み得る。
【００２７】
図１Ｂは、ビデオエレメンタリストリームの一例を示す。この例では、複数のＧＯＰがビデオエレメンタリストリームに含まれている。
【００２８】
図１Ｃは、オーディオエレメンタリストリームの一例を示す。この例では、複数のフレームがオーディオエレメンタリストリームに含まれている。
【００２９】
以下、ＭＰＥＧ−ＴＳストリームを例にとり説明するが、本発明は、ＭＰＥＧ−ＴＳストリームと同等の構造を有する任意のデータストリームに適用され得ることはいうまでもない。
【００３０】
２．本発明の装置の構成
図２は、本発明の装置の一例として、パーソナルコンピュータ（ＰＣ）１の構成の一例を示す。
【００３１】
ＰＣ１は、外部デバイスからＭＰＥＧ−ＴＳストリームを受け取るインタフェース部１０と、ＭＰＥＧ−ＴＳストリームの中にエラーが存在することを検出した場合にそのＭＰＥＧ−ＴＳストリームからそのエラーを取り除くようにそのＭＰＥＧ−ＴＳストリームに対して修正処理を行う修正処理部として機能するＣＰＵ２０と、修正処理が行われたＭＰＥＧ−ＴＳストリームを格納する格納部として機能するメモリ３０とを含む。インタフェース部１０とＣＰＵ２０とメモリ３０とは、内部バス４０によって相互に接続されている。
【００３２】
インタフェース部１０としては、例えば、Ｍｉｃｒｏｓｏｆｔ社の標準ドライバを使用することができる。ＭＰＥＧ−ＴＳストリームは、例えば、ＩＥＥＥ１３９４規格に準拠したプロトコルに従って外部デバイスからＰＣ１に伝送される。外部デバイスは、例えば、ハンディビデオカメラであるが、それに限定されない。外部デバイスは、ＭＰＥＧ−ＴＳストリームを提供し得る任意のデバイスであり得る。
【００３３】
ＣＰＵ２０は、ＭＰＥＧ−ＴＳストリーム中にエラーが存在することを検出したことに応答して、ＭＰＥＧ−ＴＳストリームを修正する修正処理を行う。
【００３４】
メモリ３０は、例えば、ハードディスクドライブ（ＨＤＤ）である。
【００３５】
なお、本発明の装置はパーソナルコンピュータに限定されない。本発明の装置は、上述したインタフェース部、修正処理部および格納部の機能を有する装置である限り任意の装置であり得る。
【００３６】
３．「エラー」の定義
本明細書では、データに異常がある場合、データに不連続な箇所がある場合、データに欠落がある場合（すなわち、在るべきところにデータがない場合）のすべての場合を含めて、そのデータ中に「エラー」が存在すると表現することにする。
【００３７】
ＭＰＥＧ−ＴＳストリームに不連続な箇所があることは、例えば、ｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒを参照することによって検出することができる。ｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒは、エレメンタリストリームの連続性を記述するためのものであり、エレメンタリストリームに添付される（ＩＳＯ／ＩＥＣ  １３８１８−１）。例えば、値”１”を有するｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒの次に値”２”以外の値を有するｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒが発見された場合には、それらのｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒが添付された２つのエレメンタリストリームが連続している可能性がない。従って、この場合には、ＭＰＥＧ−ＴＳストリーム中に存在する「エラー」がが検出されたとみなす。
【００３８】
あるいは、ＭＰＥＧ−ＴＳストリームに不連続な箇所があることは、ＤＩＴ（Ｄｉｓｃｏｎｔｉｎｕｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）を参照することによって検出するようにしてもよい。ＤＩＴは、ＭＰＥＧ−ＴＳストリームの作成者によってＭＰＥＧ−ＴＳストリームの不連続部分に意図的に挿入されるものである（ＩＳＯ／ＩＥＣ  １３８１８−１  ＡＲＩＢ  ＳＴＤ−Ｂ１，Ｂ２１）。従って、ＭＰＥＧ−ＴＳストリーム中にＤＩＴが発見された場合には、ＭＰＥＧ−ＴＳストリーム中に存在する「エラー」が検出されたとみなす。
【００３９】
また、ＭＰＥＧ−ＴＳストリームがたとえ連続であっても、その中に含まれるエレメンタリストリームの途中でその性質が変更された場合（例えば、映像情報の解像度が変更された場合）にも、ＭＰＥＧ−ＴＳストリーム中に存在する「エラー」が検出されたとみなす。
【００４０】
さらに、ＭＰＥＧ−ＴＳストリーム中のデータが破壊されていると認められた場合（例えば、規格で認められていないようなデータを発見した場合、在るべき場所にデータが存在しない場合など）にも、ＭＰＥＧ−ＴＳストリーム中に存在する「エラー」が検出されたとみなす。
【００４１】
４．ＣＰＵによって実行される処理
図３Ａは、ＣＰＵ２０によって実行される処理の手順を示す。
【００４２】
ステップＳ１：ＣＰＵ２０は、外部デバイスからＭＰＥＧ−ＴＳストリームを受け取り、ＭＰＥＧ−ＴＳストリームに対して修正処理を行うことなく、ＭＰＥＧ−ＴＳストリームをメモリ３０に書き込む。
【００４３】
ステップＳ２：ＣＰＵ２０は、メモリ３０からＭＰＥＧ−ＴＳストリームを読み出す。
【００４４】
ステップＳ３：ＣＰＵ２０は、読み出されたＭＰＥＧ−ＴＳストリームに対して修正処理を行う。
【００４５】
ステップＳ４：ＣＰＵ２０は、修正処理が行われたＭＰＥＧ−ＴＳストリームをメモリ３０内の単一のファイルに書き込む。
【００４６】
ＣＰＵ２０は、ステップＳ１〜Ｓ４の処理を逐次的に実行してもよいが、ステップＳ１の処理とステップＳ２〜Ｓ４の処理とを並列的に実行することが好ましい。ステップＳ１の処理とステップＳ２〜Ｓ４の処理とを並列的に実行するためのインプリメンテーションについては後述する。
【００４７】
図３Ａに示される処理は、プログラムの形式で表現され得る。そのプログラムは、メモリ３０に格納され得る。そのプログラムは、そのプログラムを記録した記録媒体から読み出すことによってＰＣ１にインストールされてもよいし、インターネットなどの任意のネットワークを介してダウンロードするすることによってＰＣ１にインストールされてもよい。そのプログラムを記録した記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＭＯなどの任意の媒体が使用され得る。
【００４８】
４．１  修正処理
図３Ｂは、ＭＰＥＧ−ＴＳストリームに含まれるビデオエレメンタリストリームに対する修正処理（図３ＡのステップＳ３）の手順を示す。
【００４９】
ステップＳ３１：ＣＰＵ２０は、ビデオエレメンタリストリーム中にエラーが存在するか否かを判定する。エラーが検出された場合には、処理はステップＳ３２に進む。
【００５０】
ステップＳ３２：ＣＰＵ２０は、検出されたエラーを含むＧＯＰをビデオエレメンタリストリームから削除する。
【００５１】
ステップＳ３３：ＣＰＵ２０は、削除されたＧＯＰの前後のＧＯＰを連結する（例えば、削除されたＧＯＰ以降のＧＯＰを前詰めする）。
【００５２】
図３Ｂに示される修正処理により、ビデオエレメンタリストリームの連続性が確保される。検出されたエラーを含むＧＯＰは、その一部または全部が正常再生不可能となるからである。
【００５３】
図３Ｃは、ＭＰＥＧ−ＴＳストリームに含まれるオーディオエレメンタリストリームに対する修正処理（図３ＡのステップＳ３）の手順を示す。
【００５４】
ステップＳ３４：ＣＰＵ２０は、オーディオエレメンタリストリーム中にエラーが存在するか否かを判定する。エラーが検出された場合には、処理はステップＳ３５に進む。
【００５５】
ステップＳ３５：ＣＰＵ２０は、検出されたエラーを含むフレームをオーディオエレメンタリストリームから削除する。
【００５６】
ステップＳ３６：ＣＰＵ２０は、削除されたフレームの前後のフレームを連結する（例えば、削除されたフレーム以降のフレームを前詰めする）。
【００５７】
図３Ｃに示される修正処理により、オーディオエレメンタリストリームの連続性が確保される。検出されたエラーを含むフレームは、その一部または全部が正常再生不可能となるからである。
【００５８】
このようにして、ＭＰＥＧ−ＴＳストリームに含まれるすべてのエレメンタリストリームについて、その連続性を確保することにより、ＭＰＥＧ−ＴＳストリームの連続性を確保することが可能になる。
【００５９】
なお、図３Ａに示されるステップＳ１の処理と、図３Ａに示されるステップＳ２〜Ｓ４の処理とを並列に実行させることにより、図３Ａに示されるステップＳ１〜Ｓ４の処理に要する時間を短縮することができる。このような並列処理は、ＭＰＥＧ−ＴＳストリームに含まれる任意の一部分を１単位として行われる。例えば、このような並列処理をエレメンタリストリームを１単位として行うようにしてもよい。
【００６０】
４．２  リアルタイム処理（並列処理）
図４は、エレメンタリストリームを１単位として並列処理を行う場合のタイムフローの一例を示す。
【００６１】
図４に示されるように、エレメンタリストリーム＃２に対して図３Ａに示されるステップＳ１の処理を実行している間に、エレメンタリストリーム＃１に対して図３Ａに示されるステップＳ２〜Ｓ４の処理を実行することができる。同様に、エレメンタリストリーム＃３に対して図３Ａに示されるステップＳ１の処理を実行している間に、エレメンタリストリーム＃２に対して図３Ａに示されるステップＳ２〜Ｓ４の処理を実行することができる。
【００６２】
従って、すべてのエレメンタリストリーム＃１〜＃Ｎに対して図３Ａに示されるステップＳ１〜Ｓ４の処理に要する時間は、すべてのエレメンタリストリーム＃１〜＃Ｎに対して図３Ａに示されるステップＳ１の処理に要する時間にほぼ等しい。このことは、修正処理という新たな処理を追加したにもかかわらず、全体の処理時間はほぼ変わらないことを意味する。
【００６３】
このような並列処理は、例えば、Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）というオペレーティングシステム（ＯＳ）に搭載されているスレッド（Ｔｈｒｅａｄ）という機能を用いることによって達成され得る。スレッドとは、１個のアプリケーションの中で複数のタスクを並列処理する仕組みのことである。１個のアプリケーションに対して複数のスレッドを作成することができ、複数のスレッドのそれぞれに１つのタスクを割り当てることにより、複数のタスクを並列的に処理することができる。
【００６４】
例えば、図３Ａに示されるステップＳ１の処理を１つのタスクとしてスレッド＃１に割り当て、図３Ａに示されるステップＳ２〜Ｓ４の処理をもう１つのタスクとしてスレッド＃２に割り当てることにより、それらの２つのタスクを並列処理することが可能になる。
【００６５】
なお、Ｗｉｎｄｏｗｓ（登録商標）ＯＳ以外のマルチタスクＯＳを用いて、Ｗｉｎｄｏｗｓ（登録商標）ＯＳと同様の並列処理を行うことができることはいうまでもない。また、マルチタスクＯＳを用いて並列処理を行うためには、ＣＰＵ２０、メモリ３０がマルチタスクを実行するのに十分な処理速度を有していることが必要とされる。ただし、現在入手可能なＣＰＵ、メモリの処理速度は十分に大きいのでマルチタスクを実行する上で問題になることはない。ＣＰＵ２０としては、例えば、現在入手可能な任意のＣＰＵを使用することができる。メモリ３０としては、例えば、現在入手可能な任意のハードディスクドライブ（ＨＤＤ）を使用することができる。
【００６６】
このような並列処理を行うことにより、図３Ａに示されるステップＳ１〜Ｓ４の処理をリアルタイムに行うことが可能になる（リアルタイム処理）。ここで、本明細書では、「リアルタイム処理」とは、図３Ａに示されるステップＳ１の処理に要する時間を（Ａ）、図３Ａに示されるステップＳ２〜Ｓ４の処理に要する時間を（Ｂ）とするとき、図３Ａに示されるステップＳ１〜Ｓ４の処理に要する時間が、（Ａ）以上（Ａ）＋（Ｂ）以下となる処理をいう。このことは、「リアルタイム処理」が、図３Ａに示されるステップＳ１〜Ｓ４の処理を逐次的に実行する場合と同等か、それ以上の処理能力を有することを意味する。
【００６７】
４．３  音ずれ防止処理
上述したように、本発明によれば、ビデオエレメンタリストリームの連続性を確保することができるとともに、オーディオエレメンタリストリームの連続性を確保することができる。しかし、ビデオエレメンタリストリームの連続性とオーディオエレメンタリストリームの連続性とを独立に確保するだけでは、ビデオエレメンタリストリームおよびオーディオエレメンタリストリームを再生する際に「音ずれ」が生じるおそれがある。なぜなら、一般に、ビデオエレメンタリストリームに含まれるＧＯＰ１個分の時間量とオーディオエレメンタリストリームに含まれるフレーム１個分の時間量が全く異なるため、ビデオエレメンタリストリームから削除された映像情報の時間量とオーディオエレメンタリストリームから削除された音声情報の時間量とが同じである保証はないからである。
【００６８】
ここで、「音ずれ」とは、映像情報を基準とした場合に、その映像情報に関連する音声情報がずれて再生されることをいう。
【００６９】
「音ずれ」の防止は、例えば、図３Ａに示されるステップＳ３において行われる修正処理の後に「音ずれ防止処理」を挿入し、図３Ａに示されるステップＳ４において修正処理および音ずれ防止処理が行われたＭＰＥＧ−ＴＳストリームをメモリ３０内の単一のファイルに書き込むことによって達成される。
【００７０】
「音ずれ防止処理」は、例えば、ビデオエレメンタリストリームから削除された映像情報の時間量に最も近くなるように、オーディオエレメンタリストリームのフレームを削除しまたは追加することによって達成される。ここで、フレームの削除とは、１以上のフレームをフレーム単位で削除することを意味する。フレームの追加とは、無音もしくは視聴に違和感のないような内容の１以上のフレームをフレーム単位で追加することを意味する。
【００７１】
しかし、上述したようにフレーム数の調整を行ったとしても、「音ずれ」の防止にはまだ十分であるとはいえない。一般に、ビデオエレメンタリストリームに含まれるＧＯＰ１個分の時間量とオーディオエレメンタリストリームに含まれるフレーム１個分の時間量とは倍数関係にはないためである。このため、「微小なずれ」が残存することになる。この「微小なずれ」は、通常、人間の視聴覚で認識可能な時間量ではない。しかし、この「微小なずれ」が修正処理を行う度に増大する方向に蓄積されつづけると、人間の視聴覚で認識可能な時間量になってしまうおそれがある。
【００７２】
そこで、本発明では、この「微小なずれ」をメモリ３０内の所定の領域に格納しておき、次回の修正処理の際に「微小なずれ」をメモリ３０から読み出し、「微小なずれ」が増大しないように１以上のフレームを削除しまたは追加する。例えば、「微小なずれ」が前回の修正処理の際にオーディオエレメンタリストリームから削除すべき時間量がｔだけ不足していたことを示す場合には、今回の修正処理の際にオーディオエレメンタリストリームから１フレーム分だけ余分に削除するようにし、「微小なずれ」を更新し、更新された「微小なずれ」をメモリ３０内の所定の領域に格納しておく。更新された「微小なずれ」は、次回の修正処理の際に参照される。
【００７３】
このような「音ずれ防止処理」を行うことにより、ビデオエレメンタリストリームおよびオーディオエレメンタリストリームの連続性の確保するとともに、映像情報と音声情報との同期を確保することが可能になる。
【００７４】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。
【産業上の利用可能性】
【００７５】
本発明は、データストリームに含まれるオーディオエレメンタリストリームのフレーム中にエラーが存在することを検出した場合であっても、そのオーディオエレメンタリストリームの連続性を確保することを可能にする装置、方法、プログラムおよび記録媒体等として有用である。
【００７６】
また、本発明は、音ずれ防止処理を実現することができる装置、方法、プログラムおよび記録媒体等として有用である。
【図面の簡単な説明】
【００７７】
【図１Ａ】ＭＰＥＧ−ＴＳストリームの構造を示す図
【図１Ｂ】ビデオエレメンタリストリームの一例を示す図
【図１Ｃ】オーディオエレメンタリストリームの一例を示す図
【図２】本発明の装置の一例として、パーソナルコンピュータ（ＰＣ）１の構成の一例を示す図
【図３Ａ】ＣＰＵ２０によって実行される処理の手順を示すフローチャート
【図３Ｂ】ＭＰＥＧ−ＴＳストリームに含まれるビデオエレメンタリストリームに対する修正処理（図３ＡのステップＳ３）の手順を示すフローチャート
【図３Ｃ】ＭＰＥＧ−ＴＳストリームに含まれるオーディオエレメンタリストリームに対する修正処理（図３ＡのステップＳ３）の手順を示すフローチャート
【図４】エレメンタリストリームを１単位として並列処理を行う場合のタイムフローの一例を示す図
【符号の説明】
【００７８】
１  パーソナルコンピュータ（ＰＣ）
１０  インタフェース部
２０  ＣＰＵ
３０  メモリ
４０  内部バス
【図１Ａ】
2006091595.tif 000003
【図１Ｂ】
2006091595.tif 000004
【図１Ｃ】
2006091595.tif 000005
【図２】
2006091595.tif 000006
【図３Ａ】
2006091595.tif 000007
【図３Ｂ】
2006091595.tif 000008
【図３Ｃ】
2006091595.tif 000009
【図４】
2006091595.tif 000010