(57)【要約】【課題】  音声や画像等の符号化データを多重化するにあたって、多重化ストリーム伝送時の伝送効率を向上させるとともに、再生装置の資源を無駄なく活用する。【解決手段】  複数の符号化データを再生装置側で各符号化データを同期して再生するための多重化ストリームを生成するにあたって、デコーダバッファサイズ入力部１０９を介して各符号化データのブロックサイズを指定し、複数の符号化データの一方から、ブロックサイズを超えない最大数のフレームを読み込み、複数の符号化データの他方から、一方の符号化データと同時刻性を有するフレームを読み込むにあたって、他方の符号化データがブロックサイズを超えない範囲でフレームを読み込む。同時刻性を有するフレームを多重化にあたっては、一方の符号化データの最後のフレームの終端時刻よりもタイムスタンプ値が小さいフレームを読み込むようにすることができる。【選択図】  図１
2005236719.tif 000002
【特許請求の範囲】
【請求項１】
複数の符号化データを再生装置側で各符号化データを同期して再生するための多重化ストリームを生成するにあたって、各符号化データのブロックサイズを指定するデコーダバッファサイズ入力部を備えることを特徴とする符号多重化装置。
【請求項２】
前記複数の符号化データは、音声データ及び画像データを含むことを特徴とする請求項１記載の符号多重化装置。
【請求項３】
複数の符号化データを再生装置側で各符号化データを同期して再生するための多重化ストリームを生成するにあたって、
各符号化データのブロックサイズを指定し、
前記複数の符号化データの一方から、前記ブロックサイズを超えない最大数のフレームを読み込み、
前記複数の符号化データの他方から、前記一方の符号化データと同時刻性を有するフレームを読み込むにあたって、該他方の符号化データが前記ブロックサイズを超えない範囲でフレームを読み込むことを特徴とする符号多重化方法。
【請求項４】
前記複数の符号化データの他方から、前記一方の符号化データと同時刻性を有するフレームを読み込むにあたって、該他方の符号化データが前記ブロックサイズを超えない範囲で、前記一方の符号化データの最後のフレームの終端時刻よりもタイムスタンプ値が小さいフレームを読み込むことを特徴とする請求項３記載の符号多重化方法。
【請求項５】
前記複数の符号化データは、音声データ及び画像データを含むことを特徴とする請求項３または４記載の符号多重化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号多重化装置及び多重化方法に関し、特に、音声や画像等の符号情報を効率よく多重化する装置及び方法に関する。
【背景技術】
【０００２】
近年、インターネットを利用したストリーミング配信サービスが普及している。ストリーミングとは、サーバに記録されている動画や音楽をダウンロードしながら順次再生することであり、これを利用すれば、ダウンロードの完了まで待たなくとも再生することができる。
【０００３】
ストリーミングサービスにおける重要な技術として、多重化技術がある。多重化にあたっては、図２に示すように、再生装置で動画や音声等のマルチメディアデータを同期して再生できるように、同時刻に再生すべき複数のメディアデータを配置した多重化ストリームを生成する必要がある。通常、上記マルチメディアデータは、圧縮符号化される。符号化されたメディアデータが固定のビットレートであれば、多重化は比較的容易であるが、広く普及している符号化方式であるＭＰＥＧ等では、ビットレートは可変となるため、多重化を容易に行うことができない。
【０００４】
これを解決する技術の一つとして、特許文献１に記載の符号記録装置、符号多重方法では、ビデオデータの再生時刻を示すタイムスタンプと、オーディオデータの再生時刻を示すタイムスタンプとを比較し、各々のデータが同時刻性を有するように多重化することで可変ビットレートに対応している。
【０００５】
【特許文献１】特開平１０−３２０９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に記載の従来の符号多重化装置等においては、符号化データを可能な限り細分化して多重化しているため、パケットヘッダ等の符号化データ以外のデータが増加し、マルチメディア（音声や画像）符号化データを同期して再生できるような多重化ストリームを伝送する際に、伝送効率が低下するという問題があった。これは、携帯電話等の低帯域通信端末等では、伝送効率を少しでも向上させることが重要であるため、特に問題である。
【０００７】
また、上述のように、符号化データを可能な限り細分化して多重化するため、デコーダの前段に配置される一時保存用の領域であるデコーダ入力バッファの容量が大きすぎると、装置が無駄になるという問題があった。
【０００８】
そこで、本発明は、上記従来の符号多重化装置等における問題点に鑑みてなされたものであって、音声や画像等の符号化データを多重化するにあたって、多重化ストリーム伝送時の伝送効率を向上させるとともに、再生装置の資源を無駄なく活用することのできる符号多重化装置及び多重化方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、符号多重化装置であって、複数の符号化データを再生装置側で各符号化データを同期して再生するための多重化ストリームを生成するにあたって、各符号化データのブロックサイズを指定するデコーダバッファサイズ入力部を備えることを特徴とする。
【００１０】
そして、本発明によれば、音声や画像等の符号化データを再生装置側で各符号化データを同期して再生できるような多重化ストリームを生成する際、各符号化データのブロックサイズを指定することができるデコーダバッファサイズ入力部を備えるため、多重化される符号化データ以外のオーバーヘッドを低減することができ、伝送効率の向上を図ることができるとともに、再生装置側の入力バッファサイズを考慮しているため、デコーダバッファモデルに適合するように最適化された多重化ストリームを生成することができ、再生装置の資源を無駄なく活用することが可能となる。前記複数の符号化データは、音声データ及び画像データを含むようにすることができる。
【００１１】
また、本発明は、符号多重化方法であって、複数の符号化データを再生装置側で各符号化データを同期して再生するための多重化ストリームを生成するにあたって、各符号化データのブロックサイズを指定し、前記複数の符号化データの一方から、前記ブロックサイズを超えない最大数のフレームを読み込み、前記複数の符号化データの他方から、前記一方の符号化データと同時刻性を有するフレームを読み込むにあたって、該他方の符号化データが前記ブロックサイズを超えない範囲でフレームを読み込むことを特徴とする。これによって、上述のように、多重化される符号化データ以外のオーバーヘッドを低減して伝送効率の向上を図り、再生装置の資源を無駄なく活用することができる。
【００１２】
前記符号多重化方法において、前記複数の符号化データの他方から、前記一方の符号化データと同時刻性を有するフレームを読み込むにあたって、該他方の符号化データが前記ブロックサイズを超えない範囲で、前記一方の符号化データの最後のフレームの終端時刻よりもタイムスタンプ値が小さいフレームを読み込むようにすることができる。また、前記複数の符号化データを、音声データ及び画像データを含むデータとすることができる。
【発明の効果】
【００１３】
本発明によれば、音声や画像等の符号化データを多重化するにあたって、多重化ストリーム伝送時の伝送効率を向上させるとともに、再生装置の資源を無駄なく活用することが可能となる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明にかかる符号多重化装置の一実施の形態を示し、この符号多重化装置は、オーディオ符号データが格納されたオーディオ符号化ファイル１０１と、ビデオ符号データが格納されたビデオ符号化ファイル１０２と、アプリケーション１０３と、各符号データを多重化する多重化処理部１０４と、多重化ストリームを格納する多重化ファイル１０５とで構成され、多重化処理部１０４には、オーディオ出力バッファ１０６と、ビデオ出力バッファ１０７と、システム情報バッファ１０８とが含まれ、各バッファは、多重化ストリームを出力する際の一時的な保存領域として使用される。また、アプリケーション１０３には、デコーダバッファサイズ入力部１０９が含まれる。
【００１５】
次に、上記構成を有する符号多重化装置の動作について説明する。
【００１６】
図３は、本発明によって複数のメディアデータを多重化する形式であるＭＰＥＧ−４ファイルフォーマット（以下「ＭＰ４」という）の概略構成を示す。ＭＰ４は、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ  １４４９６）で標準化されているファイルフォーマットであり、ＭＰＥＧ−４等の符号化データを格納するための汎用的なフォーマットである。ＭＰ４構造は、階層化されたbox（またはatom）と呼ばれる基本データ単位の集合によって表現される。音声や画像の符号化データは、「media data」box３０１内にチャンクと呼ばれる単位で格納される。
【００１７】
メディアデータに関する情報を格納するために「track」box３０２／３０３が用意され、メディアの種類毎に必要になる。「track」box３０２／３０３は、該当メディアがファイル内のどこに存在するかを示す「chunk offset」box３０４と、各チャンクにいくつのサンプルが含まれているかを示す「sample to chunk」box３０５と、各サンプルのサイズを示す「sample size」box３０６と、各サンプルの時間長を示す「time to sample」box３０７等で構成される。
【００１８】
本発明では、再生装置側のデコード入力バッファサイズを意識した多重化を行う。そのため、予め、アプリケーション１０３にデコード入力バッファサイズを指定する。アプリケーション１０３は、オーディオ符号化ファイル１０１（または、ビデオ符号化ファイル１０２）から、デコード入力バッファサイズを超えない最大数のフレームを読み込む。続いて、他方の符号化ファイルから同時刻性を有するフレームをすべて読み込む。この時、デコード入力バッファサイズを超えていなければ、先に読み込んだ符号化データを併せて多重化を行うが、デコード入力バッファサイズを超えている場合には、超えない範囲で最大数のフレームと、先に読み込んだ符号化データのうち、同時刻性を有するフレームだけを多重化する。実際の多重化処理は、多重化処理部１０４が行い、各出力バッファに含まれるすべてのサンプルを１つのチャンクとなるように多重化ファイル１０５へ追加する。
【００１９】
次に、本発明にかかる符号多重化装置の動作の具体例について説明する。
【００２０】
図４に示すビデオシーケンス４０１がビデオ符号化ファイル１０２（図１参照）に、オーディオシーケンス４０２がオーディオ符号化ファイル１０１に各々格納されているものとする。ここでは、約１秒分のストリームを示す。尚、オーディオシーケンス４０２に含まれる各フレーム周期（時間長）は固定としているが、可変であってもよい。
【００２１】
デコード入力バッファサイズは、図９に示すようなユーザインタフェースを用いて指定され、デコーダバッファサイズ入力部１０９にて処理・記憶する。ここでは、デコード入力バッファサイズを、ビデオ入力バッファ＝３０００バイト、オーディオ入力バッファ＝１５００バイトと仮定する。
【００２２】
次に、図１、図４及び図７を中心に参照しながら、本発明にかかる符号多重化装置による処理フローについて説明する。
【００２３】
まず、ビデオ符号化ファイル１０２から、ビデオ入力バッファサイズを超えない最大数のフレーム、すなわちビデオフレーム１〜ビデオフレーム６を読み込む（７０１）と同時に、各フレームのサイズ及びタイムスタンプを記憶する（７０２／７０３）。引き続き、オーディオ符号化ファイル１０１からオーディオフレームを１フレームずつ読み込むが（７０４）、次の２つの条件が満たされる間は、読み込みを継続する。
（ａ）先に読み込んだ最後のビデオフレーム（ここではビデオフレーム６）の終端時刻よりもタイムスタンプ（ＴＳ）値が小さい（７０５）。
（ｂ）読み込んだオーディオフレームサイズの合計が、オーディオ用デコード入力バッファサイズよりも小さい（７０６）。
【００２４】
ここでは、オーディオフレーム７のタイムスタンプ（３８４ｍｓ）がビデオフレーム６の終端時刻（３７０ｍｓ）よりも大きくなる（（ａ）の条件が満たされなくなる）ため、読み込みを停止する。
【００２５】
続いて、ビデオフレーム１〜６及びオーディオフレーム１〜６を各々のビデオ出力バッファ１０７及びオーディオ出力バッファ１０６に書き込み（７０７／７０８）、多重化処理部１０４へ多重化指示を行う。多重化指示を受けた多重化処理部１０４は、ビデオ出力バッファ１０７内に蓄積されているデータを１つのチャンクとなるように、同様にオーディオ出力バッファ１０６内に蓄積されているデータを１つのチャンクとなるように多重化ファイルへ出力する（７０９／７１０）。この時の「track」boxなので、ヘッダ情報は、システム情報バッファ１０８に保持しておき（７１１）、すべての符号化データを多重化及びファイル出力した後にファイル出力し最終的な多重化ファイルが生成される（７１２）。
【００２６】
続いて、符号化データ読み込み処理へ戻る。ビデオ符号化ファイル１０２から、ビデオ入力バッファサイズを超えない最大数のフレーム、すなわちビデオフレーム７〜ビデオフレーム１３を読み込む。続けてオーディオ符号化ファイル１０１からオーディオフレームを前述の条件を満たす間、１フレームずつ読み込みを行う。ここでは、オーディオフレーム７〜オーディオフレーム１３のサイズの合計（１６５０バイト）がオーディオ入力バッファサイズを超える（（ｂ）の条件が満たされなくなる）ため、読み込みを停止する。但し、ここでは、ビデオフレーム１３の終端時刻（９００ｍｓ）がオーディオフレーム１２の終端時刻（７６８ｍｓ）よりも大きいので、ビデオフレーム７〜１２及びオーディオフレーム７〜１２を出力バッファに書き込み、多重化処理部１０４へ多重化指示を行い、ビデオフレーム１３は、アプリケーション１０３内に保持しておく。多重化指示を受けた多重化処理部１０４は、前述と同様の多重化処理を行う。
【００２７】
上記と同様の手順で、ビデオフレーム１３〜１５及びオーディオフレーム１３〜１６を各々の符号化ファイルから読み込み、多重化処理部１０４にて多重化処理を行う。このようにして図５に示す多重化ストリームが得られる。
【００２８】
一方、図４に示したビデオシーケンス及びオーディオシーケンスを従来技術を適用して多重化処理した場合には、図６に示す多重化ストリームとなる。
【００２９】
従来技術を適用して図６の多重化ストリームが生成される過程について補足説明する。
まず、ビデオフレーム１を多重化ストリームへ出力する。続いて、ビデオフレーム１と同時刻性を有するオーディオフレームを多重化ストリームへ出力する。同時刻性を有するフレームとは、一方の符号化データの一つのフレーム周期（時間長）の間に他方の符号化データのタイムスタンプ（開始時刻）が含まれているフレームを指し、ここでは、ビデオフレーム１（０〜８０ｍｓ）と同時刻性を有するオーディオフレームは、オーディオフレーム１（０ｍｓ）及びオーディオフレーム２（６４ｍｓ）となる。続いて、オーディオフレーム２（６４ｍｓ〜１２８ｍｓ）と同時刻性を有するビデオフレーム２（８０ｍｓ）及びビデオフレーム３（１２０ｍｓ）を多重化ストリームへ出力する。同様の判定処理及び多重化処理を繰り返すことで、図６に示す多重化ストリームが生成される。
【００３０】
ここで、図８を参照しながら、両者のヘッダ情報量を比較する。ここでは、データ量に差分の内boxについては省略することとし、「sample to chunk」boxと「chunk offset」boxの合計サイズを使用して比較する。
【００３１】
従来技術を適用して多重化した際の「sample to chunk」boxと「chunk offset」boxの合計サイズは、３２０バイト（チャンクNo，サンプル数，ｉｄｘ及びオフセットアドレスは、各４バイト）となり、本発明により多重化した際の「sample to chunk」boxと「chunk offset」boxの合計サイズは、７２バイトとなり、約１秒分の符号化データあたり２４８バイト削減されている。これを伝送時間に換算すると、通信速度が６４０００ｂｐｓ（ｂｉｔ／ｓｅｃ）とした場合、約３０ミリ秒となり、例えば、６０秒分のデータが多重化されている場合には、約１．８秒転送時間を短縮することができる。ストリーミング再生では、符号化データに先立って送信されるシステム（ヘッダ）情報が少なければ少ない程、再生開始までの待ち時間が短くて済むことになる。
【図面の簡単な説明】
【００３２】
【図１】本発明にかかる符号多重化装置のシステム構成図である。
【図２】復号装置に入力される多重化ストリームを示す図である。
【図３】ＭＰＥＧ−４ファイルのフォーマットの概略図である。
【図４】ビデオ及びオーディオ符号化シーケンスを示す図である。
【図５】本発明による多重化ストリームを示す図である。
【図６】従来技術による多重化ストリームを示す図である。
【図７】本発明による多重化処理フロー図である。
【図８】本発明と従来技術とでヘッダ情報量を比較した図である。
【図９】本発明によるデコーダバッファサイズ入力図である。
【符号の説明】
【００３３】
１０１  オーディオ符号化ファイル
１０２  ビデオ符号化ファイル
１０３  アプリケーション
１０４  多重化処理部
１０５  多重化ファイル
１０６  オーディオ出力バッファ
１０７  ビデオ出力バッファ
１０８  システム情報バッファ
１０９  デコーダバッファサイズ入力部
３０１  Media Data Box
３０２  Track Box(Video)
３０３  Track Box(Audio)
３０４  Chunk Offset Box
３０５  Sample to Chunk Box
３０６  Sample Size Box
３０７  Time to Sample Box
４０１  ビデオシーケンス
４０２  オーディオシーケンス
７０１  ビデオフレーム読み込み処理
７０２  ビデオフレームサイズ記憶処理
７０３  ビデオフレーム・タイムスタンプ記憶処理
７０４  オーディオフレーム読み込み処理
７０５  タイムスタンプ比較処理
７０６  オーディオデータサイズ比較処理
７０７  ビデオ出力バッファ書き込み処理
７０８  オーディオ出力バッファ書き込み処理
７０９  多重化ファイル書き込み処理（ビデオ出力バッファから）
７１０  多重化ファイル書き込み処理（オーディオ出力バッファから）
７１１  システム情報出力バッファ書き込み処理
７１２  多重化ファイル書き込み処理（システム情報出力バッファから）
【図１】
2005236719.tif 000003
【図２】
2005236719.tif 000004
【図３】
2005236719.tif 000005
【図７】
2005236719.tif 000006
【図８】
2005236719.tif 000007
【図９】
2005236719.tif 000008
【図４】
2005236719.tif 000009
【図５】
2005236719.tif 000010
【図６】
2005236719.tif 000011