(57)【要約】      （修正有）【課題】動画像および音声の符号化データをパケット多重化する際に、予め決められたタイミングで音声符号化データが得られない場合であっても、多重化されたデータを基に、音声符号化データに対しての編集等の処理を容易に行うことができる動画像符号化装置を提供する。【解決手段】オーディオデータについて、オーディオＰＥＳが取得できない場合はＮＵＬＬ処理を行わず、ダミーデータ１１４で用意されたダミーデータを用いてダミーオーディオＰＥＳ生成部１１５にて予め作成されているダミーオーディオＰＥＳを選択し、正規のオーディオＰＥＳが取得された場合と同様のパケット多重化を行う。そのため、パケット多重化されたストリームのオーディオパケットの出現パターンは、ダミーオーディオＰＥＳが混ざっていても、正規のオーディオＰＥＳのみで多重化された場合と同じになる。【選択図】図１
2009100303.tif 000002
【特許請求の範囲】
【請求項１】
符号化データが構成するストリームを示す第１のヘッダと前記符号化データとを含む第１のパケットを、第２のヘッダを各々が含む複数の第２のパケットに分割し、当該第２のパケットを多重化する動画像符号化装置であって、
入力した動画像ストリームの符号化データに、前記動画像ストリームを示す前記第１のヘッダを付加して動画像の前記第１のパケットを生成する動画像パケット生成手段と、
入力した音声ストリームの符号化データに、前記音声ストリームを示す前記第１のヘッダを付加して音声の前記第１のパケットを生成する音声パケット生成手段と、
予め決められたダミーデータに、前記音声ストリームを示す前記第１のヘッダを付加してダミー音声の前記第１のパケットを生成するダミー音声パケット生成手段と、
前記音声パケット生成手段が予め決められたタイミングまでに当該タイミングに対応した前記音声の第１のパケットを生成可能であるという条件を満たした場合に、前記音声パケット生成手段が生成する音声の前記第１のパケットを選択し、当該条件を満たさない場合に、前記ダミー音声パケット生成手段が生成したダミー音声の前記第１のパケットを選択する音声パケット選択手段と、
前記動画像パケット生成手段が生成した動画像の前記第１のパケットと、前記音声パケット選択手段が選択した前記第１のパケットとの各々を前記複数の第２のパケットに分割し、当該第２のパケットを多重化する分割多重化手段と
を有する動画像符号化装置。
【請求項２】
前記符号化データを復号して再生する処理に用いられるプログラム仕様情報およびその属性を示す情報を格納したプログラム仕様パケットを生成するプログラム仕様パケット生成手段
をさらに有し、
前記分割多重化手段は、前記プログラム仕様パケット生成手段が生成した前記プログラム仕様パケットと前記第２のパケットとをさらに前記多重化する
請求項１に記載の動画像符号化装置。
【請求項３】
前記パケット選択手段において、前記タイミングの各々における前記条件を判断する前に、当該タイミングにおいて前記音声パケット生成手段が生成すべき音声の前記第１のパケットの前記第１のヘッダの生成処理と、当該タイミングで選択される可能性がある前記ダミー音声の前記第１のパケットを前記ダミー音声パケット生成手段が生成する処理とを行う
請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
前記ダミーデータは、無音データであり、
前記分割多重化手段は、前記第２のパケットの前記第２のヘッダに、前記符号化データがオリジナルおよび編集済みの何れであるかを示すフラグと、前記符号化データが無音データであるか否かを示すフラグとのうち少なくとも一つを付加する
請求項１〜３のいずれかに記載の動画像符号化装置。
【請求項５】
符号化データが構成するストリームを示す第１のヘッダと前記符号化データとを含む第１のパケットを、第２のヘッダを各々が含む複数の第２のパケットに分割し、当該第２のパケットを多重化する動画像符号化方法であって、
入力した動画像ストリームの符号化データに、前記動画像ストリームを示す前記第１のヘッダを付加して動画像の前記第１のパケットを生成する動画像パケット生成工程と、
入力した音声ストリームの符号化データに、前記音声ストリームを示す前記第１のヘッダを付加して音声の前記第１のパケットを生成する音声パケット生成工程と、
予め決められたダミーデータに、前記音声ストリームを示す前記第１のヘッダを付加してダミー音声の前記第１のパケットを生成するダミー音声パケット生成工程と、
前記音声パケット生成工程が予め決められたタイミングまでに当該タイミングに対応した前記音声の第１のパケットを生成可能であるという条件を満たした場合に、前記音声パケット生成工程が生成する音声の前記第１のパケットを選択し、当該条件を満たさない場合に、前記ダミー音声パケット生成工程が生成したダミー音声の前記第１のパケットを選択する音声パケット選択工程と、
前記動画像パケット生成工程が生成した動画像の前記第１のパケットと、前記音声パケット選択工程が選択した前記第１のパケットとの各々を前記複数の第２のパケットに分割する分割工程と、前記分割工程で分割した前記第２のパケットを多重化する分割多重化工程と
を有する動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データや音声データをデジタルストリームに符号化して多重化する動画像符号化装置および動画像符号化方法に関する。
【背景技術】
【０００２】
現在、ムービーカメラ等では動画像（映像）データおよび音声データをそれぞれ符号化した後にパケット化し、これらを多重化してデジタルストリームを得て、当該デジタルストリームを記録媒体に記録する方式が採用されている。
従来の動画像符号化装置では、パケット多重化の時点で音声符号化データが得られない場合、音声符号化データを除くか、あるいはＮＵＬＬパケットを用いてパケット多重化を行っていた。
また、音声符号化データが得られない場合、音声符号化データに代えて挿入されるダミーデータとして無音を表すデータを用いることも提案されている。
【０００３】
【特許文献１】特開２００２−９４９３８号公報
【０００４】
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら従来の技術では、音声符号化データを除いて、あるいはＮＵＬＬパケットを用いてパケット多重化を行うことで得られたデジタルストリームに対して音声符号化データを差し替えたり加工する場合は、音声符号化データが欠落した場所以降をすべてパケット多重化しなおす必要があり、時間と労力を要していた。
また、音声符号化データに代えて挿入されるダミーデータとして無音を表すデータを用いる案も、切り替え方法、タイミングに関しては規定されていない。
また、オリジナルの音声データか、差し替え等の編集により更新された音声データかどうかを区別するための情報が定義されないため、編集時にオリジナルのデータを保護する等の機能はなかった。
【０００６】
本発明は、上述した従来技術の問題に鑑みてなされ、動画像および音声の符号化データをパケット多重化する際に、予め決められたタイミングで音声符号化データが得られない場合であっても、多重化されたデータを基に、音声符号化データに対しての編集等の処理を容易に行うことができる動画像符号化装置および動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の動画像符号化装置は、符号化データが構成するストリームを示す第１のヘッダと前記符号化データとを含む第１のパケットを、第２のヘッダを各々が含む複数の第２のパケットに分割し、当該第２のパケットを多重化する動画像符号化装置であって、入力した動画像ストリームの符号化データに、前記動画像ストリームを示す前記第１のヘッダを付加して動画像の前記第１のパケットを生成する動画像パケット生成手段と、入力した音声ストリームの符号化データに、前記音声ストリームを示す前記第１のヘッダを付加して音声の前記第１のパケットを生成する音声パケット生成手段と、予め決められたダミーデータに、前記音声ストリームを示す前記第１のヘッダを付加してダミー音声の前記第１のパケットを生成するダミー音声パケット生成手段とを有する。
なお、前記音声ストリームを示す前記第１のヘッダは復号側での再生タイミングを示すタイムスタンプを格納する。このため、前記音声ストリームを示す前記第１のヘッダの生成部では前記再生タイミングを示すタイムスタンプを適宜付与して前記音声ストリームを示す前記第１のヘッダを生成する。
さらに、本発明の動画像符号化装置は、前記音声パケット生成手段が予め決められたタイミングまでに当該タイミングに対応した前記音声の第１のパケットを生成可能であるという条件を満たした場合に、前記音声パケット生成手段が生成する音声の前記第１のパケットを選択し、当該条件を満たさない場合に、前記ダミー音声パケット生成手段が生成したダミー音声の前記第１のパケットを選択する音声パケット選択手段と、前記動画像パケット生成手段が生成した動画像の前記第１のパケットと、前記音声パケット選択手段が選択した前記第１のパケットとの各々を前記複数の第２のパケットに分割し、当該第２のパケットを多重化する分割多重化手段とを有する。
多重化されたデータに対して音声データの差し替えを行う場合は、音声データの前記第1のヘッダ、および前記第２のヘッダを新たに作り直すことなく、また多重化されたパケットのパターンも再度分割多重し直すことなく、音声符号化データのみを検索してデータを入れ替えていけばよい。
また、多重化されたデータはダミー音声パケットが挿入されている場合であっても、音声データを入れ替えられている場合であっても、再生タイミングを示すタイムスタンプの整合性が保たれているので、復号側での再生タイミングの管理に不都合を生じない。
【０００８】
好適には、本発明の動画像符号化装置では、プログラム仕様パケット生成手段が、前記符号化データを復号して再生する処理に用いられるプログラム仕様情報およびその属性を示す情報を格納したプログラム仕様パケットを生成する。
そして、前記分割多重化手段は、前記プログラム仕様パケット生成手段が生成した前記プログラム仕様パケットと前記第２のパケットとをさらに前記多重化する
【０００９】
好適には、本発明の動画像符号化装置では、前記パケット選択手段において、前記タイミングの各々における前記条件を判断する前に、当該タイミングにおいて前記音声パケット生成手段が生成すべき音声の前記第１のパケットの前記第１のヘッダの生成処理と、当該タイミングで選択される可能性がある前記ダミー音声の前記第１のパケットを前記ダミー音声パケット生成手段が生成する処理とを行う。
【００１０】
好適には、本発明の動画像符号化装置では、前記分割多重化手段が、前記第２のパケットの前記第２のヘッダに、前記符号化データがオリジナルおよび編集済みの何れであるかを示すフラグと、前記符号化データが無音データであるか否かを示すフラグとのうち少なくとも一つを付加する。
または前記第２のヘッダ中に用いる代わりに、前記第1のパケットの前記第1のヘッダに前記符号化データがオリジナルおよび編集済みのいずれかであるかを示すフラグと、前記符号化データが無音データであるか否かを示すフラグとのうち少なくとも一つを付加することで実施してもよい。
【００１１】
また、本発明の動画像符号化方法では、符号化データが構成するストリームを示す第１のヘッダと前記符号化データとを含む第１のパケットを、第２のヘッダを各々が含む複数の第２のパケットに分割し、当該第２のパケットを多重化する動画像符号化方法であって、入力した動画像ストリームの符号化データに、前記動画像ストリームを示す前記第１のヘッダを付加して動画像の前記第１のパケットを生成する動画像パケット生成工程と、入力した音声ストリームの符号化データに、前記音声ストリームを示す前記第１のヘッダを付加して音声の前記第１のパケットを生成する音声パケット生成工程と、予め決められたダミーデータに、前記音声ストリームを示す前記第１のヘッダを付加してダミー音声の前記第１のパケットを生成するダミー音声パケット生成工程と、前記音声パケット生成工程が予め決められたタイミングまでに当該タイミングに対応した前記音声の第１のパケットを生成可能であるという条件を満たした場合に、前記音声パケット生成工程が生成する音声の前記第１のパケットを選択し、当該条件を満たさない場合に、前記ダミー音声パケット生成工程が生成したダミー音声の前記第１のパケットを選択する音声パケット選択工程と、前記動画像パケット生成工程が生成した動画像の前記第１のパケットと、前記音声パケット選択工程が選択した前記第１のパケットとの各々を前記複数の第２のパケットに分割する分割工程と、前記分割工程で分割した前記第２のパケットを多重化する分割多重化工程とを有する。
【発明の効果】
【００１２】
本発明によれば、動画像および音声の符号化データをパケット多重化する際に、予め決められたタイミングで音声符号化データが得られない場合であっても、多重化されたデータを基に、音声符号化データに対しての編集等の処理を容易に行うことができる動画像符号化装置および動画像符号化方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について図面を参照し説明する。
図１は、本発明の実施形態の機能ブロック図である。
図１に示すように、動画像符号化装置１０は、ビデオ符号化部１０１、ビデオＰＥＳ生成部１０２、ビデオＰＥＳヘッダ生成部１０３、オーディオ符号化部１１１、オーディオＰＥＳ生成部１１２、オーディオＰＥＳヘッダ生成部１１３、ダミーオーディオＰＥＳ生成部１１５、オーディオＰＥＳ選択部１１６、ＰＣＲ生成部１２２、ＰＳＩ生成部１３２、ＮＵＬＬパケット生成部１４２、パケット分割多重化部１５０を有しており、また、ＳＴＣ１２１はＳＴＣ値をもち、ダミーデータ１１４はダミーデータを用意し保持している。
【００１４】
ここで、動画像符号化装置１０が本発明の動画像符号化装置に相当し、ビデオＰＥＳ生成部１０２が本発明の画像パケット生成手段、オーディオＰＥＳ生成部１１２が本発明の音声パケット生成手段、ダミーオーディオＰＥＳ生成部１１５が本発明のダミー音声パケット生成手段、オーディオＰＥＳ選択部１１６が本発明の音声パケット選択手段、ＰＳＩ生成部１３２が本発明の第３のプログラム仕様パケット生成手段、ＴＳパケット分割多重化装置１５０が本発明の分割多重化手段にそれぞれ相当する。また、ＰＥＳヘッダが本発明の第１のヘッダ、ＰＥＳが第１のパケット、ＴＳヘッダが本発明の第２のヘッダ、ＴＳパケットが第２のパケット、ビデオ・エレメンタリ・ストリームが本発明の画像ストリームの符号化データ、オーディオ・エレメンタリ・ストリームが本発明の音声ストリームの符号化データ、ダミーオーディオＰＥＳが本発明のダミー音声の第１のパケット、ＰＳＩが本発明のプログラム仕様、ＰＩＤが本発明の第２のパケットの属性を示す情報、２ビットのフラグが本発明のフラグにそれぞれ相当する。さらに、ダミーデータ１１４で予め用意されているダミーデータが本発明のダミーデータに相当する。
【００１５】
以下、図１に示す各構成要素を詳細に説明する。
動画像符号化装置１０は、ＭＰＥＧ−２  ＴＳ多重化方式により、ビデオデータやオーディオデータをデジタルストリームに符号化し、当該符号化データをＰＥＳ（Packetized Elementary Stream）パケット、さらにＴＳ（Transport）パケットに分割し、さらにＴＳパケットを多重化し蓄積媒体に記録する装置である。例えば、ムービーカメラ等がある。
上記多重化の対象となるデータには、符号化されたビデオデータやオーディオデータの他に、当該オーディオデータやビデオデータの再生に用いるプログラム情報、再生動作の同期基準となる参照時計がある。これらのデータはそれぞれ、ＴＳパケットと呼ばれる１８８バイト固定長の単位で時分割多重され、図２のように多重化ストリームを得る。
例えば、ＴＳパケットＴＳＶ０１はビデオ、ＴＳパケットＴＳＡ０２はオーディオ、ＴＳパケットＴＳＴ０３は参照時計、ＴＳパケットＴＳＰプログラム情報がそれぞれＴＳパケットに分割多重化されたデータを示す。
【００１６】
ビデオ符号化部１０１は、入力されたビデオデータを基に、ビデオ・エレメンタリ・ストリームを生成し、ビデオＰＥＳ生成部１０２へ出力する。
【００１７】
ビデオＰＥＳ生成部１０２は、ビデオ符号化部１０１の生成したビデオ・エレメンタリ・ストリームを所定の長さ、例えば、画像１フレームごとに分割してビデオＰＥＳのペイロードデータを生成する。
さらに、ビデオＰＥＳ生成部１０２は、ビデオＰＥＳヘッダ生成部１０３によって生成されるビデオＰＥＳヘッダと、上記ビデオＰＥＳのペイロードデータを多重化してビデオＰＥＳを生成し、当該ビデオＰＥＳをＴＳパケット分割多重化部１５０へ出力する。
【００１８】
ビデオＰＥＳヘッダ生成部１０３は、上記ビデオＰＥＳのペイロードデータに対応するビデオＰＥＳヘッダを生成し、ビデオＰＥＳ生成部１０２へ出力する。
上記ビデオＰＥＳヘッダの生成では、ビデオＰＥＳのペイロードデータの長さや、再生に必要な管理情報、例えばＰＥＳを復号する時刻を示す時刻基準参照値（ＤＴＳ: Decoding Time Stamp）や復号して得たデータを再生出力する時刻を示す時刻基準参照値（ＰＴＳ:Presentation  Time  Stamp）を算出しヘッダに格納する。ＤＴＳやＰＴＳは、基準となる時計（ＳＴＣ:System  Time  Clock）に基づいて生成される。当該ＳＴＣ値は、ＳＴＣ１２１で参照可能である。
また、ビデオＰＥＳヘッダには、それが対応するビデオ・エレメンタリ・ストリームを示すストリームＩＤが含まれている。
【００１９】
オーディオ符号化部１１１は、入力されたオーディオデータを基に、オーディオ・エレメンタリ・ストリームを生成し、オーディオＰＥＳ生成部１１２へ出力する。
【００２０】
オーディオＰＥＳ生成部１１２は、オーディオ符号化部１１１の生成したオーディオ・エレメンタリ・ストリームを所定の長さ、例えば、オーディオ・アクセス・ユニット（ＡＡＵ）と呼ばれる有意な数のオーディオサンプル数ごとに分割してオーディオＰＥＳのペイロードデータを生成する。
さらに、オーディオＰＥＳ生成部１１２は、オーディオＰＥＳヘッダ生成部１１３によって予め生成されているオーディオＰＥＳヘッダと、上記オーディオＰＥＳのペイロードデータを多重化してオーディオＰＥＳを生成し、当該オーディオＰＥＳをオーディオＰＥＳ選択部１１６へ出力する。
【００２１】
オーディオＰＥＳヘッダ生成部１１３は、上記オーディオＰＥＳのペイロードデータに対応するオーディオＰＥＳヘッダを生成し、オーディオＰＥＳ生成部１１２およびダミーオーディオＰＥＳ生成部１１５へ出力する。
上記オーディオＰＥＳヘッダの生成では、ビデオＰＥＳ生成と同様に、オーディオＰＥＳのペイロードデータの長さや、例えばＰＴＳを算出しヘッダに格納する。ＰＴＳはＳＴＣに基づいて生成される。当該ＳＴＣ値は、ＳＴＣ１２１で参照可能である。
また、オーディオデータは転送順序が変わることはないため、オーディオパケットにＤＴＳは含まれない。
また、オーディオＰＥＳヘッダには、それが対応するオーディオ・エレメンタリ・ストリームを示すストリームＩＤが含まれている。
また、生成する各種ヘッダデータに関して、上記ＰＴＳ以外は最初の多重化時までに固定値で決定できる。またオーディオ符号化レートが一定のため、オーディオＰＴＳの変化量も一定であり、次回のオーディオＰＴＳ値を予め算出可能であるため、次回に使用するオーディオＰＥＳヘッダを予め生成しておく。
【００２２】
ダミーデータ１１４は、ＰＥＳ１個分のペイロードに相当する量のダミーのオーディオ符号化データを準備しておく。ダミーデータは復号再生の際に不具合とならないような、例えば、無音となるオーディオ符号化データでよい。
【００２３】
ダミーオーディオＰＥＳ生成部１１５は、ダミーデータ１１４が予め準備してあるダミーデータを用い、オーディオＰＥＳヘッダ生成部１１３によって予め生成されているオーディオＰＥＳヘッダと、上記ダミーデータを多重化してダミーオーディオＰＥＳを生成し、当該ダミーオーディオＰＥＳをオーディオＰＥＳ選択部１１６へ出力する。
【００２４】
オーディオＰＥＳ選択部１１６は、ＴＳパケット分割多重化部１５０でオーディオＰＥＳが必要となる時刻にオーディオＰＥＳが実際に用意されるかどうかを判定する。
オーディオＰＥＳが得られる場合は「オーディオＰＥＳ取得可」と判定する。オーディオ符号化部１１１、オーディオＰＥＳ生成部１１２、オーディオＰＥＳヘッダ生成部１１３あるいはデータを転送するバスで障害が発生するなどしてオーディオＰＥＳが得られないと判断した場合、「オーディオＰＥＳ取得不可」と判定する。
オーディオＰＥＳ選択部１１６は、「オーディオＰＥＳ取得可」の場合、オーディオＰＥＳ生成部１１２の生成したオーディオＰＥＳを選択してＴＳパケット分割多重化部１５０に出力する。「オーディオＰＥＳ取得不可」の場合、ダミーオーディオＰＥＳ生成部１１５の生成したダミーオーディオＰＥＳを選択してＴＳパケット分割多重化部１５０に出力する。
【００２５】
ＰＣＲ生成部１２２は、ＤＴＳ，ＰＴＳ同様にＳＴＣに基づいて再生用の参照時計ＰＣＲ(Program  Clock  Reference)を生成する。
再生時にはＰＣＲを基準にしてＤＴＳ、ＰＴＳが参照される。ＰＣＲは動画像符号化装置の基準時刻と復号化装置の基準時刻の同期をとるために存在し、所定の間隔でパケット多重化ストリームに挿入する。挿入する際の形式としては、例えばＰＣＲを独立のＴＳパケットに生成してＴＳパケット分割多重化部１５０に出力する。
【００２６】
ＰＳＩ生成部１３２は、ＰＡＴ（Program Association Table）やＰＭＴ（Program
Map Table）といったＰＳＩ(Program Specific Information）を、それぞれ独立したＴＳパケットに生成し、ＴＳパケット分割多重化部１５０に出力する。
ＰＡＴには各プログラムに対応したＰＭＴのＰＩＤ等が記述されており、ＰＭＴには対応するプログラムに含まれる映像、音声、ＰＣＲ等のＰＩＤが記述されるので、ＰＡＴとＰＭＴを参照することによりストリームの中から目的のプログラムを構成するＴＳパケットだけを取り出すことができる。
【００２７】
ＳＴＣ１２１はＳＴＣ値をもち、当該ＳＴＣ値は、ＰＥＳヘッダに格納されるＤＴＳやＰＴＳが生成される際に参照される。
ＤＴＳ、ＰＴＳと２種類の参照値があるのは復号化順番と再生順番が異なる場合に対応するためである。ＩＳＯ／ＩＥＣ１３８１８−２、通称ＭＰＥＧ−２ビデオなどの動画像符号化方式では、時間軸上未来の画像を参照して符号化を行う場合があり、画像の符号化順番を再生順番と入れ替えて符号化を行う。これを図４に示す。
【００２８】
図４の（Ａ）で示されるように、符号化のもととなる原画像はＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，・・・の順番で入力される。ここでＢは双方向予測符号化フレーム、Ｉは面内予測符号化フレーム、Ｐは順方向予測符号化フレームを表し、それぞれの符番は原画像の通し番号を表す。Ｂ０,Ｂ１・・・で表される双方向予測符号化ピクチャは時間軸上未来の画像と過去の画像両方を参照して符号化を行う。
Ｂ０，Ｂ１の符号化で参照する未来の画像をＩ２とし、Ｂ３，Ｂ４の符号化で参照する未来の画像をＰ５とするとき、Ｂ０，Ｂ１の符号化に先行してＩ２を、Ｂ３，Ｂ４に先行してＰ５を符号化する。図４の（Ｂ）で示されるように、符号化して得られる符号化フレームデータの順番はもとのフレームの順番と異なり、これを復号装置で復号するために復号する順番と画像出力する順番を通知する必要がある。この順番を基準時計の時刻で表したものがＤＴＳとＰＴＳである。
【００２９】
ＴＳパケット分割多重化部１５０は、ビデオＰＥＳおよびオーディオＰＥＳをＴＳパケット化し、さらに、ＰＣＲや各種ＰＳＩの挿入間隔、ビデオＰＥＳやオーディオＰＥＳの多重化レートといった条件を基に、次に多重化すべきデータを判断し、ビデオ、オーディオ、ＰＣＲ、ＰＳＩのＴＳパケット多重化を行う。
また、前述した符号化データである（Ａ）エレメンタリ・ストリーム（ＥＳ）から（Ｂ）ＰＥＳパケットを経て、（Ｃ）ＴＳパケットまでの分割の工程を図３に示す。
【００３０】
ＴＳパケットは、１８８バイトの固定長パケットであり、４バイト固定長のヘッダ部と、可変長のアダプテーションフィールド部、およびヘッダとアダプテーションフィールドを除いた実データ部であるペイロード部で構成される。
ヘッダ部であるＴＳヘッダにはＰＩＤと呼ばれる１３ビットの識別子や各種フラグが格納され、当該識別子によりペイロード部の内容を特定できる。各プログラムを構成する画像や音声等のＰＩＤはＰＭＴに格納されており、それらＰＩＤのついたＴＳパケットを抽出することでプログラムを再生が可能となる。
アダプテーションフィールドと部とペイロード部はどちらかだけが存在する場合と両方が存在する場合があり、その有無はＴＳヘッダ内のフラグにより示される。
【００３１】
ＰＣＲや各種ＰＳＩの挿入間隔はアプリケーションの規定により予め規定されている場合がある。
表１にＴＳパケットの種類と対応するＰＩＤおよび挿入周期の一例を示す。
【００３２】
【表１】
2009100303.tif 000003
【００３３】
ビデオＰＥＳの多重化レートについては、仮想の復号装置を想定し、仮想の復号装置に供給するビデオ・エレメンタリ・ストリームについて、バッファがアンダフローもオーバフローもしないように生成ストリームを制御する。つまり仮想の復号装置でビデオ・エレメンタリ・ストリームがＤＴＳ時刻に復号され瞬時にバッファから取り除かれても、バッファがアンダフローもオーバフローも起こさないようなレートでストリーム供給を行う（仮想デコーダモデル）。
【００３４】
オーディオＰＥＳの多重化レートについては、符号化レート固定、また本実施形態ではオーディオＰＥＳ固定長とする。従って、オーディオＰＥＳの周期は、１オーディオＰＥＳを１１５２サンプル（１ＡＡＵ）、標本化周波数を４８ｋＨｚとする場合、１１５２÷４８＝２４ｍｓｅｃとなる。さらにオーディオ符号化レートを３８４ｋｂｓとする場合、１オーディオＰＥＳの大きさは１１５２×３８４÷４８＝９２１６ｂｉｔ＝１１５２ｂｙｔｅとなる。これはＴＳパケット７個に分割される。オーディオＴＳパケット７個の挿入間隔を均等にとると、挿入周期は２４／７＝３．４３ｍｓｅｃとなる。
【００３５】
ビデオＰＥＳおよびオーディオＰＥＳをＴＳパケット化する場合は、所定の長さでＰＥＳのデータを分割してＴＳペイロードデータとする。通常はＴＳペイロードの大きさ１８４バイトで分割するが、ＰＥＳの終わり部分で１８４バイトに満たない場合はＰＥＳの終わりまでとする。
ＴＳパケットの内容に応じて４バイトのＴＳヘッダを生成し、上記ＴＳペイロードと結合してＴＳパケットを生成する。ＴＳペイロードが余る場合は、アダプテーションフィールドで余りの部分を埋め、ＴＳパケットを１８８バイト固定長にする。
【００３６】
ＴＳパケット分割多重化部１５０は、ＴＳパケット多重化については、初期化の段階で、ＴＳパケットの送信間隔を決定し、各ＴＳパケットの挿入間隔を決定し、ＳＴＣ初期値を決定する。
ＴＳパケット分割多重化部１５０は、上記ＴＳパケットの送信間隔については、例えば、ＴＳパケットの送信レートを３０ＭｂｐｓとするとＴＳパケットの送信間隔は１８８×８／３０Ｍｂｐｓ＝５０μｓｅｃとなる。この場合、ビデオ符号化データのレートは最大２８Ｍｂｐｓなどと設定し、各データのレートの合計がＴＳパケットの送信レートを超えないように決める。
【００３７】
ＴＳパケット分割多重化部１５０は、各ＴＳパケットの挿入間隔については、例えば、オーディオＴＳパケットの挿入間隔は前述したように３．４３ｍｓと決められる。また、ＰＳＩについてはＰＡＴ，ＰＭＴとも１００ｍｓｅｃ、ＰＣＲについては５０ｍｓｅｃなどと決める。
【００３８】
ＴＳパケット分割多重化部１５０は、上記初期化を終えると、各データの挿入間隔など所定のルールに基づき、次に多重化すべきデータを選択し、多重化可能であれば選択したデータをＴＳパケット化する。当該ＴＳパケットを多重化したらＳＴＣを加算し、次のパケット多重化処理に備える。
ＴＳパケット分割多重化部１５０は、上記生成して得たＴＳパケットを順次多重化することにより多重化ストリームを生成する。ムービーカメラなどの記録装置の場合、ＴＳは所定の手順で記録媒体に記録していく。
【００３９】
ＴＳパケット分割多重化部１５０は、上記多重化の際に、パケット出力できない時刻が生じる場合があるが、オーディオ以外であれば、ＮＵＬＬと呼ばれる無効データを挿入するか、もしくは実際には挿入せずにＮＵＬＬの量だけＳＴＣの時刻を進めるというようなＮＵＬＬ処理を行う。
オーディオＰＥＳが取得できない場合は上記ＮＵＬＬ処理は行わず、ダミーオーディオＰＥＳ生成部１１５にて予め作成されているダミーオーディオＰＥＳを、オーディオＰＥＳ選択部１１６が選択し、ＴＳパケット分割多重化部１５０へ出力することにより、取得された場合と同様のパケット多重化を行う。
【００４０】
オーディオＰＥＳが取得できない場合の多重化について、従来技術のようなＮＵＬＬ処理、例えばデータを挿入せずに多重化を行った場合に生成される多重化ストリームを図５の（Ａ）に、本実施形態で述べているようにダミーオーディオＰＥＳを生成し多重化を行った場合に生成される多重化ストリームを図５の（Ｂ）に示す。
図５の（Ａ）に示される従来の多重化ストリームのように、オーディオデータを除いてパケット多重化を行うと、オーディオデータを差し替えたり加工する場合は、データが欠落した場所以降をすべて多重化しなおす必要があった。本実施形態では、図５の（Ｂ）に示されるように、ダミーデータを用いて多重化を行うことにより、データの差し替えや加工の作業を容易に行うことができ、作業効率が向上する。
【００４１】
さらに、オーディオＴＳパケットを生成する際に、ＴＳヘッダ内にＰＩＤ等のヘッダ情報以外に、２ビットのフラグを追加してもよい。これは、例えば、最初の１ビットでオーディオデータがオリジナルのものなのか編集されたものかを表し、残りの１ビットで有音か無音かを表す。
下記表２にフラグの内容の一例を示す。
【００４２】
【表２】
2009100303.tif 000004
【００４３】
フラグが“１１”であれば、例えば、録音した際のオリジナルのデータであり音声データが有るということを示す。“１０”であれば、例えば、前述したようにダミーデータを用いて生成したパケットでありオリジナルではあるが無音のデータがはいているということを示す。“０１”であれば、例えば、編集してアフレコを行った場合等に、オリジナルのデータではなくなるが音声データがあるということを示す。さらに“００”であれば、例えば、編集して音を削除してしまった場合等を示す。
【００４４】
このフラグにより、オーディオデータがオリジナルのものか編集されたものか、有音か無音か等を判断することができ、例えば“１１”のデータは編集対象にせず“１０”、“０１”、“００”に関しては編集対象とする等の編集の操作性の向上に活用することができる。
【００４５】
以下、本発明の動作例について説明する。
本動作例では、取り込んだオーディオデータを符号化し、当該オーディオ符号化データからオーディオＰＥＳパケットを生成し、正規のＰＥＳが取得できない場合はダミーオーディオＰＥＳを生成し多重化を行う動作を説明する。
【００４６】
図６は、上記動作について説明するためのフローチャートである。
オーディオＰＥＳヘッダ生成部１１３は、最初のオーディオＴＳパケットをパケット多重化するまでにオーディオＰＴＳの初期値を決定しておく（ステップＳＴ０１）。
また、オーディオＰＥＳヘッダ生成部１１３は、上記決定したＰＴＳを使用し、次回使用すべきオーディオＰＥＳヘッダを予め生成しておく（ステップＳＴ０２）。
【００４７】
ダミーオーディオＰＥＳ生成部１１５は、ダミーデータ１１４が予め用意していたダミーデータを取得し、上記生成されたオーディオＰＥＳヘッダとダミーデータを結合してダミーオーディオＰＥＳを生成し用意しておく（ステップＳＴ０３）。
【００４８】
ひとかたまりのＰＥＳの全データを準備し（ステップＳＴ０４）、オーディオＰＥＳ選択部１１６は、多重化すべき時間までにオーディオＰＥＳが準備可能かどうかを判定する（ステップＳＴ０５）。
このとき、「多重化すべき時間までに」とは請求項に記載の「予め決められたタイミング」を示しており、また、「オーディオＰＥＳが準備可能かどうか」とは「第１のパケットを生成可能であるという条件を満たした場合」を示している。
オーディオＰＥＳ生成部１１２は、オーディオ符号化データが十分そろっていてオーディオＰＥＳを生成可能ならば、オーディオ符号化データから１ＡＡＵ分のデータを切り出し、予め生成しておいたオーディオＰＥＳヘッダと結合して、オーディオＰＥＳを生成する（ステップＳＴ０６）。
オーディオＰＥＳ選択部１１６は、上記正規に作成されたオーディオＰＥＳをＴＳパケット分割多重化部１５０に出力し、ＴＳパケット分割多重化部１５０は当該オーディオＰＥＳを使用して多重化を行う（ステップＳＴ０７）。
【００４９】
一方、オーディオＰＥＳ選択部１１６は、ＴＳパケット多重化に使用すべきオーディオ符号化データが用意できないと判断した場合には、予め用意してあるダミーオーディオＰＥＳを選択しＴＳパケット分割多重化部１５０に出力する。ＴＳパケット分割多重化部１５０は当該ダミーオーディオＰＥＳを使用して多重化を行う（ステップＳＴ０８）
【００５０】
多重化すべきストリームが終了したかどうかを判定し（ステップＳＴ０９）、終了であればフローは終了する。終了でなければオーディオＰＴＳを加算し（ステップＳＴ１０）、次に多重化すべきＰＥＳの処理を開始する（ステップＳＴ０２へもどる）。
【００５１】
上記動作例で多重化され生成された多重化ストリームは、受信側で復号化される。
まず復号化装置は、例えば、ＰＩＤがすべて“０”のＰＡＴが含まれるパケットを確認し当該ＰＡＴを読み取り、ＰＭＴのＰＩＤを取得する。
ＰＭＴには各プログラムに対応するビデオ、オーディオ等のＰＩＤが定義されているため、ＰＭＴに基づいて各プログラムのエレメンタリ・ストリームのＰＩＤをみつけることができ、プログラムを復号することができる。
また、前述したとおり、再生時には動画像符号化装置の基準時刻と復号化装置の基準時刻の同期をとるために存在するＰＣＲを基準にしてＤＴＳ、ＰＴＳが参照され再生される。ここで、オーディオデータは転送順序が変わることはないため、オーディオパケットにＤＴＳは含まれない。
【００５２】
また、上記動作例で多重化され蓄積媒体に記録された多重化ストリームのオーディオデータを、アフレコ機能で差し替える等の編集を行う場合、ＰＩＤがオーディオのＴＳパケットを検索して該当するＴＳパケットのペイロード部のみを差し替えればよい。
オーディオＴＳパケットは、オリジナルのオーディオデータかどうか、有音か無音のデータかを示す２ビットのフラグをもち、これを参照することにより、例えば、オリジナルでかつ有音のオーディオデータには上書きできないというような保護機能等をもつことが可能である。
【００５３】
従来の技術では、パケット多重化の際に、多重化すべきオーディオ符号化データが用意できない場合は、音声符号化データを除いて、あるいはＮＵＬＬパケットを用いてパケット多重化を行っていた。そのため、音声符号化データを差し替えたり加工する場合は、音声符号化データが欠落した場所以降をすべてパケット多重化しなおす必要があり、時間と労力を要していた。
これに対し、本実施形態の動画像符号化装置１０では、以上により、パケット多重化に用いるオーディオＰＥＳは正規のオーディオＰＥＳかダミーオーディオＰＥＳかを一意に決めてパケット多重化が可能である。
上述のようにパケット多重化されたストリームのオーディオパケットの出現パターンは、ダミーオーディオＰＥＳが混ざっていても、正規のオーディオＰＥＳのみで多重化された場合と同じになる。従ってオーディオデータを差し替える等の編集を行う場合、ＰＩＤがオーディオのＴＳパケットを検索して該当するＴＳパケットのペイロード部のみを差し替えればよく、ＴＳパケットを生成し直す必要はない。またストリーム中のオーディオＰＴＳの変更も必要ない。
また、ダミーオーディオＰＥＳを予め用意しておけるので、切り替え時に生じる遅延は判定と切り替え動作で済む。
また、本実施形態の動画像符号化装置１０は、オリジナルの音声データか、差し替え等の編集により更新された音声データかどうかを区別するためのフラグをＴＳパケット内に定義するため、当該フラグを用い、編集時にオリジナルのデータを保護する等の機能をもつことが可能となる。
【００５４】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【００５５】
上述した実施形態では、動画像符号化装置の一例としてムービーカメラを挙げているが、映像データや音声データをデジタルストリームに符号化して多重化を行うものであれば、特に限定されない。例えば、蓄積媒体に記録する装置の他に、多重化ストリームを送信する送信装置にも本発明を適用可能である。
【００５６】
また、データ符号化の規格としてＭＰＥＧ−２を挙げているが、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣや、それ以降の規格に対しても本発明を適用可能である。
【００５７】
また、前述した表２に示すフラグはオリジナルのデータか編集済みのデータか、有音か無音か、を表す２ビットのフラグであるが、これは１ビットのフラグでオリジナルのデータか編集済みのデータかどうかを表すフラグでもよいし、また他の状態を表すフラグでもよい。また、３ビット以上のフラグであってもよいし、複数のフラグであってもよく、様々な状態を表すフラグであってもよい。
【００５８】
また、前述した表２に示すフラグをＴＳパケットのどの部分に格納すべきか具体的に指定していないが、ヘッダ内に格納するということでもよいし、ヘッダ拡張部であるアダプテーションフィールド部にもつということでもよいし、また、それ以外の部分に格納してもよい。
【００５９】
また、前述した表２に示すフラグを差し替え等の編集作業に活用しているが、他のいかなる作業で活用してもかまわない。
【００６０】
また、オーディオ符号化データが多重化の際に得られない場合、ダミーデータを用いて無音となるダミーオーディオＰＥＳを作成するとしているが、再生時に不具合とならないものであれば、無音を表すデータに限らずいかなるデータもダミーデータとして使用してもよい。
【産業上の利用可能性】
【００６１】
本発明は、映像データや音声データをデジタルストリームに符号化して多重化を行い蓄積媒体に記録する装置に適用可能である。
【図面の簡単な説明】
【００６２】
【図１】動画像符号化装置の主要な機能ブロックを説明するために示す機能ブロック図である。
【図２】ＴＳパケット構造を説明するために示す図である。
【図３】エレメンタリストリームからＴＳパケット分割までの流れを説明するために示す図である。
【図４】ＰＴＳとＤＴＳを用いた復号と再生の流れを示す図である。
【図５】正規のオーディオＰＥＳが取得できない場合において、従来技術で生成された多重ストリームと本実施形態で生成された多重ストリームの違いを示す図である。
【図６】主要な機能のフローを説明するために示すフローチャートである。
【符号の説明】
【００６３】
１０…動画像符号化装置、１０１…ビデオ符号化部、１０２…ビデオＰＥＳ生成部、１０３…ビデオＰＥＳヘッダ生成部、１１１…オーディオ符号化部、１１２…オーディオＰＥＳ生成部、１１３…オーディオＰＥＳヘッダ生成部、１１４…ダミーデータ、１１５…ダミーオーディオＰＥＳ生成部、１１６…オーディオＰＥＳ選択部、１２１…ＳＴＣ、１２２…ＰＣＲ生成部、１３２…ＰＳＩ生成部、１４２…ＮＵＬＬパケット生成部、１５０…ＴＳパケット分割多重化部
【図１】
2009100303.tif 000005
【図２】
2009100303.tif 000006
【図３】
2009100303.tif 000007
【図４】
2009100303.tif 000008
【図５】
2009100303.tif 000009
【図６】
2009100303.tif 000010