(57)【特許請求の範囲】
【請求項１】
画像、音声または文字であるＮ（Ｎは自然数）個のデジタルデータを入力して多重し、多重データを出力するデータ多重方法であって、
前記Ｎ個のデジタルデータを復号するために必要な復号バッファの量を入力する入力ステップと、
前記入力ステップで入力された復号バッファの量とあらかじめ定めた値とを比較する比較ステップと、
前記Ｎ個のデジタルデータの中からＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個の各デジタルデータの復号バッファの量の和が前記あらかじめ定めた値以下になるように、前記Ｍ個のデジタルデータを選択する選択ステップと、
前記選択ステップで選択された前記Ｍ個のデジタルデータを多重し、多重データとして出力する出力ステップとを有することを特徴とするデータ多重方法。
【請求項２】
あらかじめ定めた値は、多重した多重データを入力して復号する復号装置における復号バッファの量であることを特徴とする請求項１記載のデータ多重方法。
【請求項３】
画像、音声、または文字であるＮ（Ｎは自然数）個の符号化デジタルデータを作成する作成ステップと、
Ｎ個の前記符号化デジタルデータを全て復号するために必要な第１の復号バッファ量を算出する算出ステップと、
復号の際に用意されている第２の復号バッファ量を設定する設定ステップと、
前記第１、第２の復号バッファ量を比較する比較ステップと、
前記第１のバッファ量が前記第２のバッファ量を越えている場合には前記Ｎ個の符号化デジタルデータの内、優先度の高い順に選択したＭ個（Ｍは自然数、１≦Ｍ≦Ｎ）の符号化デジタルデータを抽出する抽出ステップと、
前記抽出ステップで抽出した符号化デジタルデータを多重化する多重化ステップとを有するデータ多重方法。
【請求項４】
選択ステップにおいて、各デジタルデータに定められた優先度にしたがって選択することを特徴とする請求項１に記載のデータ多重方法。
【請求項５】
選択ステップにおいて、各デジタルデータを一定時間毎に選択することを特徴とする請求項１に記載のデータ多重方法。
【請求項６】
選択ステップにおいて、音声データを画像データより優先して選択することを特徴とする請求項１記載のデータ多重方法。
【請求項７】
選択ステップにおいて、再生画像または文字が再生フレーム中の後方に配置されるデジタルデータを一定時間選択し、前記一定時間の後に前記再生フレーム中の前方に配置されるデジタルデータを選択することを特徴とする請求項１に記載のデータ多重方法。
【請求項８】
選択ステップにおいて、音声データを画像データより優先して選択することを特徴とする請求項４に記載のデータ多重方法。
【請求項９】
選択ステップにおいて再生画像または文字が再生フレーム中の後方に配置されるデジタルデータを一定時間選択し、前記一定時間の後に、前記再生フレーム中の前方に配置されるデジタルデータを選択することを特徴とする請求項４に記載のデータ多重方法。
【請求項１０】
画像、音声または文字であるＮ（Ｎは自然数）個のデジタルデータを多重して入力する入力ステップと、
前記入力ステップで入力された多重データから第１の復号バッファ量を分離取得する分離取得ステップと、
前記Ｎ個のデジタルデータそれぞれの復号バッファ量を取得する取得ステップと、
前記Ｎ個のデジタルデータそれぞれの復号バッファ量の和を計算して第２の復号バッファ量を得る演算ステップと、
前記第１の復号バッファ量が前記第２復号バッファ量を越えるかどうかを調べる比較ステップと、
前記第１の復号バッファ量が前記第２復号バッファ量を越える場合には前記多重データからＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個のデジタルデータを選択して出力する出力ステップとを有することを特徴とする多重データ復号方法。
【請求項１１】
画像、音声または文字であるＮ（Ｎは自然数）個のデジタルデータと、多重するデジタルデータの数、前記デジタルデータの復号バッファの量、前記デジタルデータの符号化レート、前記デジタルデータの優先度、前記デジタルデータが画像、音声または文字であることを示す識別子のうち、少なくとも１つを記述したテーブルデータとを多重した多重データを入力する分離器と、
前記分離器で分離された多重データを格納する第１のバッファと、
前記分離器で分離された前記テーブルデータを格納する第２のバッファと、
前記第２のバッファから前記テーブルデータを取得し、前記テーブルデータを解析して
前記多重データからＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個のデジタルデータを選択し、選択する多重データを指示する信号を発生し、前記テーブルデータを生成して第３のバッファに出力するセレクタと、
前記第１のバッファに格納された多重データと前記第３のバッファに格納されたテーブルデータを多重する多重化器を備えることを特徴とする多重データ中継装置。
【請求項１２】
画像、音声または文字であるＮ（Ｎは自然数）個のデジタルデータと、多重するデジタルデータの数、前記デジタルデータの復号バッファの量、前記デジタルデータの符号化レート、前記デジタルデータの優先度、前記デジタルデータが画像、音声、または文字であることを示す識別子のうち、少なくとも１つを記述したテーブルデータとを多重した多重データを入力する分離器と、
前記分離器で分離された多重データを格納する復号バッファと、
前記分離器で分離されたテーブルデータを格納するテーブルバッファと、
前記テーブルバッファからテーブルデータを取得し、テーブルデータを解析して前記多重データからＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個のデジタルデータを選択し、選択する多重データを指示する信号を発生し、前記復号バッファをＭ個の復号バッファに分割するセレクタと、
前記Ｍ個のデジタルデータを入力して復号データを出力する復号器と、
前記復号データを合成して再生画像を出力する合成器とを備えることを特徴とする多重データ復号装置。
【請求項１３】
画像、音声または文字であるＮ（Ｎは自然数）個のデジタルデータを多重した多重データを格納するための復号バッファの量を、前記多重データを出力する多重装置に伝送するための伝送部を備えることを特徴とする請求項１２に記載の多重データ復号装置。
【発明の詳細な説明】
発明の名称
データ多重方法、その方法を用いたデータ多重装置、多重データ中継装置、及び多重データ復号方法、その方法を用いた多重データ復号装置、及びそれらの方法を記録した記録媒体
技術分野
本発明は、画像、音声あるいは文字などのデジタルデータを多重して伝送または記録する際のデータ多重方法、および多重データを復号する多重データ復号方法、その方法を用いた多重データ復号装置、多重装置と復号装置間の多重データを中継する多重データ中継装置、及びそれらの方法を記録した記録媒体に関するものである。
背景技術
画像、音声あるいは文字などのデジタルデータの多重方式の国際標準規格としてＭＰＥＧ２（参考文献：ISO/IEC JTC1/SC29/WG11 N801,"ISO/IEC 13818-1 International Standard:INFORMATION TECHNOLOGY-GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION:SYSTEMS",1994.11）がある。
図１３は、ＭＰＥＧ２における画像、音声データを多重するための多重装置のブロック図であり、画像符号化装置１３０１、音声符号化装置１３０３、破線の内側は多重装置であり、画像データバッファ１３０５、音声データバッファ１３０６、パケット化器１３０７、パディングパケットバッファ１３０９、多重化器１３１１、タイミング生成器１３１４から構成される。
図１４はセレクタ１３１１の動作を示すフローチャートである。図１５はＭＰＥＧ２のデータ構造の概略を示す。図１６はＭＰＥＧ２のデータ多重方法を説明したものである。以上、図１３、１４、１５、１６を用いて従来のＭＰＥＧ２における画像、音声データの多重方法について説明する。
図１５はＭＰＥＧ２のデータ構造の概略である。図15（ａ）に示すような画像、あるいは音声データは、一定のサイズで切り出され、図15（ｂ）に示すようにヘッダを付与されてパケット化される。これはＰＥＳパケットと呼ばれる。ヘッダは、図15（ｃ）に示すように、データの種類を識別するための識別子や、画像、音声フレームの復号されるべき時間と再生されるべき時間が含まれる。画像フレームは１枚の画面であり、音声フレームは例えば１１５２個のオーディオサンプルを１フレームとする。さらに、図15（ｄ）、図15（ｅ）に示すように、復号装置において生成される基準時間を再生するために用いる基準時間サンプル値を含むヘッダが付与される。これはパックヘッダと呼ばれる。
図１３の多重装置の動作について説明する。１３０１の画像符号化器は、１画像フレームを圧縮符号化し、画像データ１３０２を出力する。１３０２の音声符号化器は、１フレームを圧縮符号化し、音声データ１３０４を出力する。多重装置に入力された画像データおよび音声データは、各々バッファ１３０５、１３０６に格納される。タイミング生成器１３１４はパケットを出力すべきタイミングを生成し、パケット生成信号１３１５を多重化器１３１１に入力する。
多重化器は図１４に示すフローチャートに従って動作する。ステップ１４０１においてパケット生成信号１３１５を入力した場合、パケットを１つ選択して出力する処理を行なう。処理においては復号装置を仮想し、仮想復号装置における画像、音声のバッファがオーバーフロー、アンダーフローしないようにパケットの選択を行なう。仮想復号装置の画像、音声バッファの容量はＭＰＥＧ２で規格化されており、例えば画像では約１．８メガビット、音声では４０９６バイトなどである。まず、ステップ１４０２において仮想復号装置の音声データバッファに１パケット分の空き容量があれば、ステップ１４０３において音声パケット生成信号１３１３をパケット化器１３０７に対して出力する。パケット化器はバッファ１３０５から１パケット分の音声データを入力し、音声パケット１３０８を出力する。仮想復号装置の音声データバッファに１パケット分の空き容量がなく、ステップ１４０４において、仮想復号装置の画像データバッファに１パケット分の空き容量があれば、ステップ１４０５において画像パケット生成信号１３１３をパケット化器に対して出力する。パケット化器はバッファ１３０６から１パケット分の画像データを入力し、画像パケット１３０８を出力する。ステップ１４０７において、多重化器が音声パケット、あるいは画像パケットを入力した際は、パケットに基準時間信号を付与する。仮想復号装置の音声データバッファおよび画像データバッファとも、１パケット分の空き容量がない場合、ステップ１４０６においてパディングパケットバッファ１３０９からパディングパケット１３１０を入力する。ステップ１４０８において、多重化器は入力したパケット１３１２を出力する。
図１６は、図１４のフローチャートに示した多重化器１３１１において使用される仮想復号装置の画像データ、音声データの各バッファの占有量の推移の例を示す。図１６（ｂ）は音声データバッファについて示している。横軸は時間ｔであり、図１５で示した基準時間サンプル値から再生された基準時間である。時刻ｔａ１、ｔａ２、・・・において１音声フレームのデータが復号されて、バッファから消去される。時刻ｔａ１、ｔａ２、・・・は図１５（ｃ）で示したパケットのヘッダ部に含まれる復号時間である。縦軸はデータ占有量であり、破線はバッファのサイズＳａを示す。図１６（ｃ）は画像データバッファについて示している。横軸は時間ｔであり、時刻ｔｖ１、ｔｖ２、・・・において１画像フレームのデータが復号されて、バッファから消去される。縦軸はデータ占有量であり、破線はバッファのサイズＳｖを示す。図１６（ａ）はセレクタ１３１１が出力するパケット列１３１２を示す。時刻ｔａ１までは音声データバッファに１パケット分の空き容量がなく、一方、画像データバッファには１パケット分の空き容量があるため、画像パケットを多重する。時刻ｔａ１で音声フレームが復号されるため、音声パケットを多重する。また、時刻ｔｖ４の直前においては、音声データバッファ、画像データバッファともに１パケット分の空き容量がないため、パディングパケットを多重する。
図１７は、ＭＰＥＧ２における多重データ復号装置の従来例を示した図であり、分離部１７０２、画像データバッファ１７０４、音声データバッファ１７０６、基準時間再生部１７０８、画像データ復号器１７１０、音声データ復号器１７１２から構成される。
分離部１７０２は入力された多重データ１７０１をパケットのヘッダ部の識別子を参照して画像パケットデータ１７０３、音声パケットデータ１７０５に分離し、各々をバッファ１７０４、１７０６に格納するとともに、基準時間のサンプル値１７０７を抽出して基準時間再生部１７０８に出力する。基準時間再生部は復号装置の基準クロックを生成し、基準時間信号１７０９を画像復号装置１７１０、音声復号装置１７１２に出力する。画像復号装置１７１０は、バッファ１７０４に格納されている画像パケットのヘッダ部の復号時間と基準時間信号を比較し、復号時間に至った時、画像データを復号し、画像フレーム１７１１を再生する。同様に、音声復号装置１７１２は、バッファ１７０６に格納されている音声パケットのヘッダ部の復号時間と基準時間信号を比較し、復号時間に至った時、音声データを復号し、音声フレーム１７１３を再生する。
一方、新しい符号化の方式として、オブジェクト符号化が注目されている。オブジェクト符号化の特徴は、ＭＰＥＧ２など従来の画像、音声符号化方式では１枚の画像、および画像に付随する音声として扱ってきた画像および音声データを、背景画像と前景の複数の物理的な物体、背景に付随する音声と前景の物体に付随する音声、というようにオブジェクトに分解して符号化を行なう点にある。オブジェクト符号化の利点としては、原画像の背景とは違う背景で置き換える、ある物体を自由に消去あるいは追加する、特定の物体を選択して伝送することによって伝送レートを低くできる、などがあげられる。
しかしながら、従来例に示したＭＰＥＧ２のようなフレームを単位とした多重方法では、種々の問題が生ずる。例えば、上記のようにオブジェクト毎に分割されたオブジェクトデータを多重した多重データを入力する多重データ復号装置において、多重データを分離し、画像データや音声データを復号する際に、各オブジェクトを格納するデータバッファの管理が困難であるという課題がある。
復号装置において、データバッファを各オブジェクトに対するオブジェクトデータバッファとして適当に割り当てる必要があるが、この管理方法がない。また、各オブジェクトが要求するデータバッファ量の総和が、復号装置のデータバッファの量を越えてしまう場合もあり、全てあるいは一部のオブジェクトを正しく復号することができなくなり、重要な情報を含むオブジェクトが欠落してしまう可能性がある。
さらに、多重装置と復号装置間の伝送路において、全てのオブジェクトを多重することが不可能な場合のオブジェクトの選択方法がない、多重装置と復号装置間の伝送路が途中の中継点で変更される場合は、中継点に到着した全てのオブジェクトを伝送することが不可能となり、復号装置で正しい復号結果が得られなくなる等の問題がある
発明の開示
上記課題を解決するための第１の本発明のデータ多重方法は、画像、音声あるいは文字などのＮ（Ｎは自然数）個のデジタルデータを入力して多重し、１つの多重データを出力する際に、Ｎ個の各デジタルデータを復号するために必要な復号バッファの量を入力し、あらかじめ定めた値と比較し、Ｎ個のデジタルデータの中からＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個の各デジタルデータの復号バッファの量の和が前記あらかじめ定めた値以下になるように選択して、前記Ｍ個のデジタルデータを多重し、１つの多重データとして出力するデータ多重方法である。これにより、復号装置の復号バッファ量が異なるシステム間でも、符号化データをやり取りする場合に、各送り先の復号装置の復号バッファ量をあらかじめ情報として入手しておき、送り先に応じてあらかじめ定めた値として設定するバッファ量を切替えることにより、オブジェクトデータの復号が確実に行われると共に、重要なオブジェクトの欠落がない伝送を可能とする。
第２の本発明のデータ多重方法は、画像、音声あるいは文字などのＮ個のオブジェクトデータを入力して多重し、１つの多重データを出力する際に、各オブジェクトデータが必要とする伝送レートの値を入力し、そのオブジェクトデータが必要とする伝送レートの値の和として第1の伝送レートを求め、多重装置の出力を伝送する伝送路の伝送レートである第2の伝送レートの値を入力し、Ｎ個のオブジェクトデータの中からＭ個を選択し、Ｍ個の各オブジェクトデータの伝送レートの総和である第1の伝送レートが、伝送路の伝送レートである第2の伝送レートを越えないように選択して多重するものである。
第３の本発明のデータ多重方法は、画像、音声あるいは文字などのＮ個のオブジェクトデータを入力して多重し、１つの多重データを出力する際に、多重するデジタルデータの数、各デジタルデータの復号バッファの量、各デジタルデータの符号化レート、各デジタルデータの優先度、各デジタルデータが画像、音声、文字あるいはその他であることを示す識別子のいずれか１つ以上を記述したテーブルデータを生成し、前記多重データに多重することによって、復号装置における復号バッファの各オブジェクトに対する割り当てを容易にするものである。
第4の発明の多重データ復号方法は、画像、音声あるいは文字などのＮ（Ｎは自然数）個のデジタルデータをオブジェクトなど所定の単位で多重した多重データ入力し、復号装置が備えた復号バッファの復号バッファ量である第1の復号バッファ量を調べ、そしてＮ個のデジタルデータそれぞれを復号するために必要な復号バッファ量を取得し、このＮ個のデジタルデータそれぞれの復号バッファ量の和を計算して第2の復号バッファ量を得る。そして、第1の復号バッファ量が第２復号バッファ量を越えるかどうかを調べ、第1の復号バッファ量が前記第２復号バッファ量を越える場合には前記多重データからＭ（Ｍは自然数、１≦Ｍ≦Ｎ）個のデジタルデータを選択して出力するものある。これにより、送り手側の送りたいデータを確実に復号して再生することが出来る。なお、伝送レートについても上記復号バッファ量についての上記処理と同様な処理を行うことにより、同様の効果を有することは言うまでもない。
第５の本発明の多重データ中継装置は、画像、音声あるいは文字などのＮ個のデジタルデータを多重した多重データを入力し、多重データから一部のデータを選択し、出力する多重データの伝送レートを変更することによって、多重装置と復号装置間の伝送レートが途中で変更された場合でも、確実に伝送することを可能とするものである。
第６の本発明の多重データ復号装置は、画像、音声あるいは文字などのＮ個のオブジェクトデータを多重した多重データを入力し、復号装置の復号バッファを各オブジェクト毎に割り当ててＮ個の副復号バッファに分割し、分離した各オブジェクトデータを、該当する副復号バッファに格納するものである。
第７の本発明の記録媒体は、上述のデータ多重方法、あるいは多重データ復号方法を記録した記録媒体であり、この記録媒体とコンピュータシステムと組み合わせることにより容易に本願発明の多重データ装置、多重データ中継装置、及び多重データ復号装置を実施することが出来る。
以上のように、本願発明のデータ多重方法、多重データ復号方法及びこれらの方法を用いた装置を用いることにより、復号装置の復号バッファ量が異なるシステム間でも、符号化データをやり取りする場合に、各送り先の復号装置の復号バッファ量をあらかじめ情報として入手しておき、送り先に応じてあらかじめ設定するバッファ量を切替えて設定することにより、オブジェクトデータの復号が確実に行われると共に、重要なオブジェクトの欠落がない伝送を可能とする。又、逆に復号装置側で、受信した多重データを復号するには復号バッファ量が不足していることが分かったときは、送り手の各オブジェクトなどのデータ単位ごとの優先度情報を取得して、その優先度に応じてデータ単位を選択して復号することにより、重要なデータは確実に復号できる効果を有することになる。
又、システム内の復号装置における復号バッファ量を設定することにより、オブジェクト符号化データ量を気にすることなく伝送しても、オブジェクトデータの主要な部分が欠落することなく、復号が確実に行われる。
【図面の簡単な説明】
第1図は本発明の第１の実施例におけるデータ多重装置を説明するためのブロック図、第2図は本発明の第１の実施例におけるデータ多重方法の説明図、第3図は本発明の第１の実施例における記録装置１０１が記録するデータの記録内容を示す説明図、第4図は本発明の第１の実施例におけるセレクタ１１４の動作を示すフローチャート、第5図は本発明の第１の実施例における多重化器１２２の動作を示すフローチャート、第6図は本発明の第２の実施例におけるセレクタ１１４の動作を示すフローチャート、第7図は本発明の第２の実施例における多重化器１２２の動作の説明図、第8図は本発明の第３の実施例におけるデータ多重方法で多重したパケット列の説明図であり、（ａ）はデータ多重したパケット列、（ｂ）はパケット、（ｃ）はパケットヘッダ、（ｄ）はＩＤパケット、（ｅ）はテーブルデータの内容、（ｆ）はオブジェクトごとのテーブルデータの内容である。第9図は本発明の第４の実施例におけるデータ中継装置を説明するためのブロック図、第10図は本発明の第４の実施例におけるセレクタ９０５の動作を示すフローチャート、第11図は本発明の第５の実施例における多重データ復号装置を説明するためのブロック図、第12図は本発明の第５の実施例におけるＣＰＵ１１０６の動作を示すフローチャート、第13図は従来例のＭＰＥＧ２における多重装置を説明するためのブロック図、第14図は従来例の多重化器１３１１の動作を示すフローチャート、第15図は従来例のＭＰＥＧ２におけるデータ多重方法の説明図であり、（ａ）は画像データ、音声データなどからなるＭＰＥＧ−２データ、（ｂ）は画像データパケット、（ｃ）はヘッダの内容、（ｄ）は音声データ、（ｅ）はパックヘッダである。第16図は従来例のＭＰＥＧ２におけるデータ多重方法の説明図であり、（ａ）は画像データ、音声データなどからなるパケット列、（ｂ）は仮想音声データバッファのデータ占有変化状態、（ｃ）は仮想画像データバッファのデータ占有変化状態である。第17図は従来例のＭＰＥＧ２における多重データ復号装置の動作を説明するためのブロック図、第18図は記録媒体の一例であり、（ａ）はフロッピーデイスクの外観図、（ｂ）はフロッピーデイスクドライブ装置の外観図である。
発明を実施する最良の形態
（実施例１）
本発明のデータ多重方法の第１の実施例について、図１から図５を用いて説明する。
図１は本発明のデータ多重方法を説明するための第１の実施例におけるデータ多重装置のブロック図であり、記録装置１０１、スイッチ１０８、１０９、１１０、バッファ１１１、１１２、１１３、セレクタ１１４、パケット化器１１７、パディングパケットバッファ１２０、多重化器１２２、タイミング発生器１２４から構成される。図２はデータ多重方法の説明図、図３は記録装置１０１が記録する符号化データの記録内容を示す説明図、図４はセレクタ１１４の動作を示すフローチャート、図５は多重化器１２２の動作を示すフローチャートである。
オブジェクト符号化では図２に示すように、１枚の画像フレームをオブジェクト単位に分解し、それぞれを符号化する。２０１に示す画像は、背景オブジェクト２０２、家オブジェクト２０３、車オブジェクト２０４の３つで構成される。分解された各オブジェクトは各々符号化されて、記録装置１０１に記録される。記録装置１０１は、図３に示すような形式で符号化データを記録する。
図３は、１つの符号化されたオブジェクトの記録装置における記録形式を示しており、符号化オブジェクトデータ３０２と、ヘッダ３０１からなる。ヘッダは、識別子３０３、復号バッファ量３０４、符号化レート３０５、優先度情報３０６などを含む。識別子３０３は、オブジェクトデータが画像、音声あるいは文字などのいずれのデータであるかを識別するためのものである。復号バッファ量は、オブジェクトデータを復号する際に必要な復号バッファの量である。符号化レートは、オブジェクトデータを伝送する際に必要なビットレートである。優先度情報は、オブジェクトデータの伝送の優先の度合を示す。記録装置に記録された各オブジェクトのヘッダ１０２、１０４、１０６はセレクタ１１４に入力される。
セレクタは、図４のフローチャートに従って動作する。まず、ステップ４０１において各オブジェクト（総数をＮとする。Ｎは自然数）のヘッダに記述されている復号バッファ量を入力し、これをＢ（１）〜Ｂ（Ｎ）とする。ステップ４０２において、復号装置の復号バッファの量１１５を入力し、これをＢ（Ｄ）とする。ステップ４０３において、Ｂ（１）〜Ｂ（Ｎ）の総和を求め、Ｂ（Ｄ）と比較する。Ｂ（１）〜Ｂ（Ｎ）の総和がＢ（Ｄ）を越えない場合、Ｎ個のオブジェクトを全て選択する。Ｂ（１）〜Ｂ（Ｎ）の総和がＢ（Ｄ）を越えた場合、ステップ４０４において、各オブジェクトのヘッダに記録されている優先度情報を参照して、優先度の高いものから順にオブジェクトを選択し、選択したオブジェクトの復号バッファの総和がＢ（Ｄ）以下になるようにする。さらにステップ４０６において、選択したオブジェクトを指示するスイッチ制御信号１１６を出力する。スイッチ１０８、１０９、１１０は、スイッチ制御信号１１６に指示されたスイッチのみ接続され、記録装置に記録されたオブジェクトデータ１０３、１０５、１０７をバッファ１１１、１１２、１１３に入力する。
タイミング発生器１２４は、パケットを出力すべき時間にパケット生成信号１２５を多重化器１２２に出力する。多重化器は図５のフローチャートに従って動作する。まず、ステップ５０１においてパケット生成信号１２５を入力した場合、ステップ５０２において出力オブジェクトの選択を行なう。各オブジェクトデータ毎に復号装置を仮想し、各仮想復号装置においてオブジェクトデータを格納する仮想復号バッファの量Ｂ（ｎ）（１≦ｎ≦Ｎ）に対してオーバーフロー、アンダーフローしないようにオブジェクトを選択する。いずれかのオブジェクトデータの仮想復号装置の復号バッファに１パケット分の空き容量があれば、ステップ５０３においてオブジェクト選択信号１１９をパケット化器１１７に出力する。パケット化器は、オブジェクト選択信号を入力し、該当するオブジェクトデータを該当するバッファから１パケット分入力してパケット化し、パケット１１８を出力する。
またパケット化器は、オブジェクトデータが復号装置において復号されるべき時間の情報を適宜付与する。パケット化器が出力するパケット１１８は、ステップ５０４において多重化器に入力され、適切なタイミング毎に基準時間情報が付与される。基準時間情報は、復号装置において再生される基準時間を生成するために用いる基準時間のサンプル値である。全てのオブジェクトの仮想復号バッファに１パケット分の空き容量がない場合、ステップ５０５において、パディングパケットバッファ１２０からパディングパケット１２１を選択する。ステップ５０６において、多重化器は選択したパケットを出力し、オブジェクトが多重されたパケット列１２３が多重化器から出力される。
以上のように本発明の第１の実施例によれば、複数のオブジェクトデータを多重して出力する多重化装置において、Ｎ個のオブジェクトデータの復号に必要な復号バッファの量Ｂ（１）〜Ｂ（Ｎ）と、出力先の復号装置の復号バッファの量Ｂ（Ｄ）とを入力し、Ｂ（１）〜Ｂ（Ｎ）の総和がＢ（Ｄ）を越える場合は、記録装置に記録されたヘッダの優先度情報を参照して多重するオブジェクトデータを選択し、選択したオブジェクトデータの復号に必要な復号バッファの量の総和がＢ（Ｄ）を越えないようにするため、復号の際に復号バッファがオーバーフローすることがない。従って多重化装置は、同一のデータを要求する複数の復号装置に対して、各復号装置の構成に適したオブジェクトデータを多重して出力できるという効果がある。
なお、本実施例では、セレクタに入力する各オブジェクトの復号バッファの量を記録装置から入力することとしたが、これに限るものではなく、例えば、各符号化オブジェクトデータに復号バッファの量を示す数値を予め多重し、セレクタはオブジェクトデータの該当部を参照することによって、各オブジェクトの復号バッファの量を得るようにしても、同様の効果が得られる。
さらに、本実施例では、セレクタにおける多重オブジェクトの選択の際、記録装置に記録されているヘッダに含まれる優先度情報に従って選択することとしたが、これに限るものではなく、選択するオブジェクトを一定時間毎に切替える、あるいは後方に配置されるオブジェクトを一定時間選択した後、前方のオブジェクトを選択する方法なども効果的である。
また、データの選択単位としてオブジェクトデータを用いて説明したが、選択するデータ単位はオブジェクトに限ることなく、ブロック単位など所定の単位で処理することにより同様の効果を有することは言うまでもない。
（実施例２）
本発明のデータ多重方法の第２の実施例について、図１、図６、図７を用いて説明する。図６は、第２の実施例におけるセレクタ１１４の動作を示すフローチャートである。図７は多重化器１２２の動作の説明図である。
図１において、セレクタ１１４は記録装置１０１に記録された各オブジェクトのヘッダ１０２、１０４、１０６を入力するとともに、伝送レート１１５を入力する。セレクタ１１４は図６のフローチャートに従って動作する。まず、ステップ６０１において各オブジェクト（総数をＮとする。Ｎは自然数）のヘッダに記述されている符号化レートを入力し、これをＲ（１）〜Ｒ（Ｎ）とする。ステップ６０２において、伝送レート１１５を入力し、これをＲ（Ｔ）とする。ステップ６０３において、Ｒ（１）〜Ｒ（Ｎ）の総和を求め、Ｒ（Ｔ）と比較する。Ｒ（１）〜Ｒ（Ｎ）の総和がＲ（Ｔ）を越えない場合、Ｎ個のオブジェクトを全て選択する。Ｒ（１）〜Ｒ（Ｎ）の総和がＲ（Ｔ）を越えた場合、ステップ６０４において、各オブジェクトのヘッダに記録されている優先度情報を参照して、優先度の高いものから順にオブジェクトを選択し、選択したオブジェクトの伝送レートの総和がＲ（Ｔ）以下になるようにする。さらにステップ６０６において、選択したオブジェクトを指示するスイッチ制御信号１１６を出力する。
スイッチ１０８、１０９、１１０は、スイッチ制御信号１１６に従って選択されたスイッチのみ接続され、記録装置に記録されたオブジェクトデータ１０３、１０５、１０７をバッファ１１１、１１２、１１３に入力する。
タイミング発生器１２４は、パケットを出力すべき時間にパケット生成信号１２５を多重化器１２２に出力する。多重化器は、各オブジェクトの符号化レートと伝送レートの比に従って多重すべきオブジェクトを選択する。図７は、符号化レートがそれぞれ３ｋｂｉｔ／ｓ、２ｋｂｉｔ／ｓ、１ｋｂｉｔ／ｓである３つのオブジェクトデータａ、ｂ、ｃを多重して、伝送レート７ｋｂｉｔ／ｓで出力する際の例を示す。７０１に示すオブジェクトデータは、７０２に示すように各々パケット化し、オブジェクトデータａはａ０、ａ１、ａ２にパケット化し、オブジェクトデータｂはｂ０、ｂ１にパケット化し、オブジェクトデータｃはｃ０にパケット化する。スイッチ７０３により、今７個のパケットを多重する場合、７０５に示すように、オブジェクトデータａの３つのパケットａ０、ａ１、ａ２、オブジェクトデータｂの２つのパケットｂ０、ｂ１、オブジェクトデータｃの１つのパケットｃ０を多重し、伝送レート７ｋｂｉｔ／ｓにするために７０４に示すパディングパケットｐで調整される。このように、多重化器１２２からオブジェクトデータが多重されたパケット列１２３が出力される。
以上のように本発明の第２の実施例によれば、複数のオブジェクトデータを多重して出力する多重化装置において、Ｎ個のオブジェクトデータの復号に必要な符号化レートＲ（１）〜Ｒ（Ｎ）と、伝送レートＲ（Ｔ）とを入力し、Ｒ（１）〜Ｒ（Ｎ）の総和がＲ（Ｔ）を越える場合は、記録装置に記録されたヘッダの優先度情報を参照して多重するオブジェクトデータを選択し、選択したオブジェクトデータの伝送に必要な符号化レートの総和がＲ（Ｔ）を越えないようにするため、伝送レート内で正しくオブジェクトデータを多重して伝送することが可能となる。従って多重化装置は、同一データを要求する複数の復号装置に対して、各復号装置に対する伝送レートに適したオブジェクトデータを出力できるという効果がある。
なお、本実施例では、セレクタに入力する各オブジェクトの符号化レートを記録装置から入力することとしたが、これに限るものではなく、例えば、各符号化オブジェクトデータに符号化レートを示す数値を予め多重し、セレクタはオブジェクトデータの該当部を参照することによって、各オブジェクトの符号化レートを得るようにしても、同様の効果が得られる。
さらに、本実施例では、セレクタにおける多重するオブジェクトの選択の際、記録装置に記録されているヘッダに含まれる優先度情報に従って選択することとしたが、これに限るものではなく、選択するオブジェクトを一定時間毎に切替える、あるいは後方に配置されるオブジェクトを一定時間選択した後、前方のオブジェクトを選択する、あるいは音声オブジェクトを画像オブジェクトより優先して選択する方法なども効果的である。
（実施例３）
本発明のデータ多重方法の第３の実施例について、図８を用いて説明する。図８は本発明の第３の実施例であるデータ多重方法で多重したパケット列の説明図である。
パケット列を示す図８（ａ）は、図８（ｂ）に示すように、ヘッダ部とデータ部に分かれる。ヘッダは図８（ｃ）に示すように、データ部に含まれるオブジェクトの種類を識別するためのＩＤを含む。また、図８（ｄ）に示すように、特定のＩＤのパケットは、テーブルデータを含む。テーブルデータの内容は図８（ｅ）に示すように、多重データが含むオブジェクトの数を記述し、各オブジェクトに対して図８（ｆ）に示すように、パケットのヘッダに指定するＩＤ、オブジェクトの種類を識別するためのタイプ、オブジェクトの優先度情報、オブジェクトの符号化レート、オブジェクトの復号バッファ量などを含む。
このテーブルパケットを多重データ中に少なくとも１回、より好ましくは一定時間毎に多重することによって、多重データの多重状態をさらに変更する、あるいは復号装置において、多重データの数や優先度の度合を容易に得ることができる。
（実施例４）
本発明の第４の実施例であるデータ中継装置について、図９、図１０を用いて説明する。図９はデータ中継装置のブロック図であり、分離器９０１、バッファ９０３、第１のテーブルバッファ９０４、セレクタ９０５、第２のテーブルバッファ９０８、多重化器９０９、出力バッファ９１０から構成される。図１０は、セレクタ９０５の動作を示すフローチャートである。
分離部９０１に入力された多重データ９０２は、テーブルパケットとその他のパケットに分離され、テーブルパケットは第１のテーブルバッファ９０４に格納される。テーブルパケットは、本発明の実施例３に示すような内容を含むものとする。セレクタ９０５は、図１０に示すフローチャートに従って動作する。まずステップ１００１において、出力すべき伝送レート９０６を入力し、これをＲ（Ｔ）とする。
次に、ステップ１００２において第１のテーブルバッファ９０４からテーブルパケットを入力解析して、多重データに多重されるＮ（Ｎは自然数）個のオブジェクトデータの符号化レートを取得し、これをＲ（１）〜Ｒ（Ｎ）とする。ステップ１００３においてＲ（１）〜Ｒ（Ｎ）の総和を求め、Ｒ（Ｔ）と比較する。
Ｒ（１）〜Ｒ（Ｎ）の総和がＲ（Ｔ）を越えない場合、ステップ１００７において、第１のテーブルバッファ９０４に格納されているテーブルパケットを、第２のテーブルバッファ９０８に格納する。
Ｒ（１）〜Ｒ（Ｎ）の総和がＲ（Ｔ）を越えた場合、ステップ１００４において、テーブルパケットに記述されている優先度情報を参照して、優先度の高いものから順にオブジェクトを選択し、選択したオブジェクトの伝送レートの総和がＲ（Ｔ）以下になるようにし、ステップ１００５において、選択するパケットのＩＤを示す信号９０７を分離器９０１に出力する。
さらに、ステップ１００６において、第１のテーブルバッファ９０４に入力されたテーブルパケットから、選択しなかったパケットに関する情報を削除した、あるいは選択しなかったパケットに対して選択しないことを示すフラグを付与したテーブルパケットを生成し、第２のテーブルバッファ９０８に格納する。
分離器９０１は、選択パケットＩＤ信号９０７で指定されたＩＤをもつパケットのみをバッファ９０３に出力し、指定されないＩＤをもつパケットを棄却する。多重化器９０９は、バッファ９０３に入力されたパケットと、第２のテーブルバッファ９０８に入力されたテーブルパケットを多重して、出力バッファ９１０に出力する。出力バッファからは出力すべき伝送レートにしたがった多重データ９１１が出力される。
以上のように本発明の第４の実施例によれば、複数のオブジェクトデータを多重した多重データを中継する多重データ中継装置において、入力多重データと出力多重データの伝送レートが異なる場合であっても、テーブルパケットに記録された優先度情報を参照して、多重データから重要なオブジェクトのみを含みかつ出力伝送レートに合わせた多重データを出力することができる。従って、複数のオブジェクトデータを多重して多重データを出力する多重化装置において、復号装置にいたるまでの伝送レートを考慮することなく多重化を行なうことが可能となり、また、復号装置においても重要なオブジェクトの欠落なしに、多重データを復号することが可能となる。
（実施例５）
本発明の第５の実施例である多重データ復号装置について図１１に示し、その多重データ復号方法を図１２を用いて説明する。図１１は多重データ復号装置のブロック図であり、分離器１１０１、テーブルバッファ１１０５、ＣＰＵ１１０６、復号バッファ１１０８、オブジェクト復号部１１０９、合成部１１１０からなる。図１２はＣＰＵ１１０６の動作の一例を示すフローチャートである。
多重データ１１０２は、記録メディア１１０３あるいは伝送路１１０４により出力あるいは伝送される。分離器１１０１に入力された多重データは、テーブルパケットとその他のパケットに分離され、テーブルパケットはテーブルバッファ１１０５に格納される。テーブルパケットは、本発明の実施例３に示すような内容を含むものとする。
ＣＰＵ１１０６は、図１２に示すフローチャートに従って動作する。まず、ステップ１２０１において図11の復号バッファ１１０８のバッファ量を入力し、これをＢ（Ｄ）とする。
次に、ステップ１２０２においてテーブルバッファ１１０５からテーブルパケットを入力し解析して、多重データに多重されるＮ（Ｎは自然数）個のオブジェクトデータの復号バッファの必要量を取得し、これをＢ（１）〜Ｂ（Ｎ）とする。
ステップ１２０３において、Ｂ（１）〜Ｂ（Ｎ）の総和を求め、Ｂ（Ｄ）と比較する。Ｂ（１）〜Ｂ（Ｎ）の総和がＢ（Ｄ）を越えない場合、全てのオブジェクトを選択する。Ｂ（１）〜Ｂ（Ｎ）の総和がＢ（Ｄ）を越える場合、ステップ１２０４において、テーブルパケットに記述される優先度情報を参照して、優先度の高いものから順にオブジェクトを選択し、選択したオブジェクトの復号バッファの必要量の総和がＢ（Ｄ）以下になるようにする。
ステップ１２０６において、選択したパケットのＩＤを示す信号１１０７を分離器１１０１に出力する。さらに、ステップ１２０７において、復号バッファを、選択した各オブジェクトの復号バッファの必要量に従って割り当て、オブジェクト毎の副復号バッファに分割する。
分離器１１０１は、選択パケットＩＤ信号１１０７で指定されたＩＤをもつパケットのみをバッファ１１０８の該当する副復号バッファに出力し、指定されないＩＤをもつパケットを棄却する。オブジェクト復号部１１０９は、各オブジェクトを復号する。合成部１１１０は、各オブジェクトの復号結果を合成し、合成された再生データ１１１１を出力する。
以上のように本発明の第５の実施例によれば、複数のオブジェクトデータを多重した多重データを入力し、復号する多重データ復号装置において、入力多重データに複数のオブジェクトが多重されている場合、復号バッファの量に従って復号するオブジェクトを選択し、選択オブジェクトの復号に必要な各オブジェクト毎の復号バッファの量に従って復号バッファを副復号バッファに分割するため、選択したオブジェクトの復号再生を確実に行なうことが可能となる。
なお、本実施例では、ＣＰＵが復号するオブジェクトを選択することとしたが、ＣＰＵが、復号装置の復号バッファの量を、例えばモデムなどを介して、本発明の第１あるいは第２の実施例で説明したようなデータ多重装置、あるいは本発明の第４の実施例で説明したような多重データ中継装置に伝送し、データ多重装置あるいは多重データ中継装置において、予め出力するオブジェクトを選択して多重あるいは中継するようにすれば、本実施例におけるオブジェクトの選択処理が不要となり、さらに効果的である。
さらに、本実施例では、ＣＰＵにおける復号するオブジェクトの選択の際、テーブルパケットに記述された優先度情報に従って選択することとしたが、これに限るものではなく、選択するオブジェクトを一定時間毎に切替える、あるいは後方に配置されるオブジェクトを一定時間選択した後、前方のオブジェクトを選択する、あるいは音声オブジェクトを画像オブジェクトより優先して選択する方法なども効果的である。
（実施例６）
本発明の第６の実施例であるデータ多重方法、多重データ復号方法を記録した記録媒体について説明する。本願発明のデータ多重方法、その方法を用いたデータ多重装置、多重データ中継装置、及び多重データ復号方法、その方法を用いた多重データ復号装置を実施する場合に、データ多重方法、多重データ復号方法を実現するためのプログラムをフロッピーデイスク等のデータ記録媒体に記録するようにすることにより、上記実施例で示した処理を独立したコンピュータシステムにおいて、簡単に実施することが可能となる。
上記プログラムをフロッピーデイスクに記録する場合は、図18（ａ）に示すフロッピーデイスク１８０１に内蔵された磁気デイスクシートに、プログラムとしてのデータを図１８（ｂ）に示すフロッピーデイスクドライブ装置１８０２を介して書き込む。フロッピーデイスクドライブ装置１８０２にはフロッピーデイスクドライブ１８０３（この例では２セット）が組み込まれており、その入出力信号は信号線１８０４を介してコンピュータシステム等に伝達されている。フロッピーデイスク１８０１は図１８（ｂ）の様に、フロッピーデイスクドライブ１８０３の挿入穴に装着されて、プログラムデータが記録される。
また、フロッピーデイスク１８０１内に記録されたプログラムにより上記データ多重方法、あるいは多重データ復号方法の実施、又はそれらの方法を用いた装置をコンピュータシステム内に構築する場合は、フロッピーデイスクドライブ１８０３によりプログラムをフロッピーデイスク１８０１から読み出し、信号線１８０４を介してコンピュータシステム等にに転送することにより実現できる。
これにより、データ多重方法、多重データ復号方法を記録した記録媒体を用いることにより、コンピュータシステムと組み合わせることにより容易にデータ多重装置、多重データ復号装置を構築することが出来る。
なお、上記説明では、データ記録媒体としてフロッピーデイスクを用いて説明を行ったが、光デイスクを用いても同様に行うことが出来る。又、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することが出来る。
産業上の利用可能性
第１の本発明のデータ多重方法は、複数のオブジェクトデータを多重して出力する際に、各オブジェクトデータの復号に必要な復号バッファの量が、復号装置の復号バッファの量を越えないように多重するため、復号装置の復号バッファ量が異なるシステム間でも、符号化データをやり取りする場合に、各送り先の復号装置の復号バッファ量をあらかじめ情報として入手しておき、送り先に応じてバッファ量を切替えて設定することにより、オブジェクトデータの復号が確実に行われると共に、重要なオブジェクトの欠落がない伝送を可能とする。
第２の本発明のデータ多重方法は、複数のオブジェクトデータを多重して出力する際に、各オブジェクトデータの伝送に必要な符号化レートが、伝送路の伝送レートを越えないように多重するため、多重データを確実に伝送することが可能となる。
第３の本発明のデータ多重方法は、多重するオブジェクトの復号に必要な復号バッファの量、伝送に必要な符号化レート、優先度情報などをテーブルパケットとして多重するため、途中での多重オブジェクトの変更や、復号の際のオブジェクトの選択を容易に行なうことが可能になる。又、復号装置側で、受信した多重データを復号するには復号バッファ量が不足していることが分かったときは、送り手の各オブジェクトなどのデータ単位ごとの優先度情報を取得して、その優先度に応じてデータ単位を選択して復号することにより、重要なデータは確実に復号できる効果を有することになる。
第4の本発明の多重データ復号方法は、画像、音声あるいは文字などのデジタルデータをオブジェクトなど所定の単位で多重した多重データを入力し、このデジタルデータを復号するために必要な復号総バッファ量を取得する共に、復号装置が備えた復号バッファの復号バッファ量を調べ、復号総バッファ量が復号バッファの復号バッファ量を越える場合にはデジタルデータを選択して出力する多重データ復号方法を用いることにより、復号バッファ量が不足する場合にも送り手側の送りたいデータを優先して復号して再生することが可能となる。なお、伝送レートについても上記復号バッファ量についてと同様の処理により、同様の効果を有することは言うまでもない。
第５の本発明の多重データ中継装置は、中継する多重データの入力と出力のレートが異なる場合において、出力の伝送レートに従って多重するオブジェクトを適切に選択するため、確実な多重データの伝送が可能となる。
第６の本発明の多重データ復号装置は、復号装置の復号バッファの量以内で、復号するオブジェクトに対して適切な量の副復号バッファを割り当てるため、選択したオブジェクトを確実に復号、再生することが可能となる。
第７の本発明の記録媒体は、コンピュータシステムと組み合わせることにより容易に本願発明の多重データ装置、多重データ中継装置、及び多重データ復号装置を実施することが可能となる。
【図１】
0003729865.tif 000002
【図２】
0003729865.tif 000003
【図３】
0003729865.tif 000004
【図４】
0003729865.tif 000005
【図５】
0003729865.tif 000006
【図６】
0003729865.tif 000007
【図７】
0003729865.tif 000008
【図８】
0003729865.tif 000009
【図９】
0003729865.tif 000010
【図１０】
0003729865.tif 000011
【図１１】
0003729865.tif 000012
【図１２】
0003729865.tif 000013
【図１３】
0003729865.tif 000014
【図１４】
0003729865.tif 000015
【図１５】
0003729865.tif 000016
【図１６】
0003729865.tif 000017
【図１７】
0003729865.tif 000018
【図１８】
0003729865.tif 000019
0003729865.tif 000020
0003729865.tif 000021