(57)【要約】【課題】伝送路状態の変動にかかわらず実時間で連続的に復号を可能とする。【解決手段】ディジタル信号を高い優先度（ベーレイヤ）の符号Ａと低い優先度（エンハンストレイヤ）の符号Ｂとに符号化し、伝送速度が十分な場合１タイミングごとに各フレームのＡとＢを交互に送信し、伝送速度が遅くなると符号を２タイミングごとに送信し（図８はこの状態になる所から示している）、受信側では受信符号を受信バッファに順次蓄積し、フレームごとにバッファからそのフレームの全符号を取出して復号化し、バッファの蓄積量が所定値４以下になると残量情報を送信側に送り（タイミング（２））、送信側は残量情報を受信するまではフレームごとにＡ，Ｂを符号化するが、受信するとＡのみを符号化する（Ｔ（４））。受信側はＴ（８）からフレームごとにＡのみが取出され、これが復号化される。【選択図】      図８
2004165776.tif 000002
【特許請求の範囲】
【請求項１】
単位時間ごとに受信したバッファ残量情報に応じて、各単位時間ごとのディジタル信号の圧縮符号列としてバッファ残量が多ければ優先度が最も高い符号列から優先度が低い符号列までを送信し、バッファ残量が少なければ少なくとも最も優先度が高い符号列を送信することを特徴とする符号送信方法。
【請求項２】
単位時間ごとに入力ディジタル信号を第１圧縮手段で符号化して第１符号列と、その符号化残差を第１符号化残差信号として求め、
第Ｎ−１符号化残差信号を第Ｎ圧縮手段で符号化して第Ｎ符号列を求め（Ｎは２以上の自然数）、
受信したバッファ残量情報に基づいてＭの値を決定し（ＭはＮ以下の自然数）、
第１ないし第Ｍ符号列を送信することを特徴とする符号送信方法。
【請求項３】
単位時間ごとに入力ディジタル信号を第１圧縮手段で符号化して第１符号列と、その符号化残差を第１符号化残差信号として求め、
受信したバッファ残量情報に基づいてＭの値を決定し（Ｍは２以上の自然数）、
第Ｎ−１符号化残差信号を第Ｎ圧縮手段で符号化して第Ｎ符号列を求め（Ｎ＝２，３，…，Ｍ）、
第１ないし第Ｍ符号列を送信することを特徴とする符号送信方法。
【請求項４】
入力ディジタル信号を単位時間ごとに圧縮した第１符号列と、その符号化残差信号を圧縮して符号列とすることをＮＭ  −１回行って得られた第２ないし第ＮＭ  符号列とが蓄積された符号列蓄積部を用い（ＮＭ  は２以上の自然数）、
受信したバッファ残量情報に基づいてＭの値を決定し（Ｍは２以上ＮＭ  以下の自然数）、
単位時間ごとに上記符号列蓄積部から第１ないし第Ｍ符号列を取り出して送信することを特徴とする符号送信方法。
【請求項５】
受信した符号列を受信バッファに蓄積し、
単位時間ごとに受信バッファからその単位時間に相当するすべての符号列を取り出し、
その取り出されたすべての符号列を用いてディジタル信号を復号し、
上記取り出した符号列を受信バッファから消去し、
単位時間ごとに受信バッファの蓄積符号列量と対応したバッファ残量情報を生成、出力することを特徴とする符号受信方法。
【請求項６】
単位時間ごとに単位時間と対応する少くとも第１符号列を受信バッファから取り出し第１符号列を第１伸張手段で復号して第１復号信号を生成し、
第２ないし第Ｌ符号列をそれぞれ第２ないし第Ｌ伸張手段で復号して第１ないし第Ｌ−１符号化残差信号を復号し（Ｌは２以上、ＮＭ  以下の自然数）、
これら第１ないし第Ｌ−１符号化残差信号と上記第１復号信号を加算してディジタル信号を復号し、
上記単位時間と対応して取り出した符号列を上記受信バッファから消去し、受信した単位時間と対応する第１ないし第Ｍ符号列を上記受信バッファに蓄積し（ＭはＮＭ  以下の自然数）、
上記受信バッファに蓄積されている符号列情報量と対応するバッファ残量情報を送信する
ことを特徴とする符号受信方法。
【請求項７】
単位時間ごとに受信したバッファ残量情報からバッファ残量が多ければ最も優先度が高い符号列から優先度が低い符号列までを、バッファ残量が少なければ少くとも最も優先度が高い符号列を送信するように送信すべき符号列を決定する送信符号列決定部と、
単位時間ごとに、ディジタル信号に対する圧縮符号化の上記決定された送信符号列を送信する伝送路送信部と
を具備する符号送信装置。
【請求項８】
受信した符号列が何番目の単位時間に対するものであるかを識別できるように蓄積され、単位時間ごとにその順に対応するすべての符号列が取り出される受信バッファと、
単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、
上記受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部と
を具備する符号受信装置。
【請求項９】
請求項１ないし４の何れかに記載した符号送信方法の各手順をコンピュータに実行させるための符号送信プログラム。
【請求項１０】
請求項５又は６に記載した符号受信方法の各手順をコンピュータに実行させるための符号受信プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、インターネットを通じてオーディオ信号をダウンロードしながら再生する、いわゆるストリーミングに適用される符号送信方法、符号受信方法、これらの装置、及びこれらのプログラムに関するものである。
【０００２】
【従来の技術】
近年、インターネットを用いてオーディオやビデオなどのディジタル信号の圧縮符号を一部ずつ順次ダウンロードしながら、復号、再生を実時間で実施する、つまりストリーミングが行われるようになってきている。
このストリーミングに用いる従来の符号伝送方法は、オーディオやビデオなどのディジタル信号を圧縮符号化した符号列をサーバから、例えばインターネット経由で受信して伝送速度の変動等を吸収するためのバッファに蓄積し、このバッファから時間順に符号列を取り出し、この符号列を復号化してオーディオやビデオの信号を再生するものである（例えば特許文献１）。この場合の符号伝送方法の構成を図１に簡単に示す。
【０００３】
送信側、例えばサーバの送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号をフレーム単位で符号化した符号列が蓄積されていて、時間順にフレーム毎の送信符号列が伝送路送信部２に出力される。伝送路送信部２と伝送路受信部３の間は一般のインターネットなどを通じる伝送路４であり、受信されたフレーム毎の受信符号列が受信バッファ５に入力され、一旦受信バッファ５に蓄積される。受信バッファ５より古い符号列から時間順に復号符号列として復号化部６に伝えられる。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【０００４】
伝送路４におけるトラフィックの輻輳状態による通常の伝送速度変動や受信符号列の到着遅延に対しある程度耐性が得られるように受信バッファ５のサイズ（蓄積容量）が選定されている。しかし送信側の送信基準時刻（タイミング）と受信側の復号基準時刻（タイミング）とにずれがあると、復号できないフレームが生じ、音切れやコマ飛びが生じる。この点より前記特許文献１では受信バッファ５の空き容量が１／２以上になるとデータ送信要求を送信側へ送り、送信側はその送信要求を受信すると、受信バッファ５の蓄積容量の１／２以下のデータを受信側に送信する。また受信側で受信バッファ５の空き容量に応じた送信要求を送信側に送り、送信側でその要求量に応じた量のデータを送信することも示されている。この場合送信データ量の増減を、１フレーム内のディジタル信号の一部を落して行ってはいない。以上のようにして音切れやコマ飛びが生じないようにしている。
【０００５】
しかし、伝送路４のトラフィック量が大幅に変動し、可成りひどい輻輳状態になると、復号化部６で連続して復号化することができなくなり、音切れやコマ飛びが生じる。
このような問題を解決するためにディジタル信号を階層符号化し、上位（高品質）の条件の符号列が下位（低品質）の条件の符号列を包含するようにし、伝送速度が十分であれば、上位の条件の符号列を伝送して、高品質のディジタル信号の再生を可能とし、伝送速度が不十分になると下位の条件の符号列を伝送して品質が低下するがディジタル信号の再生を可能にして、音切れやコマ飛びなく実時間連続復号再生、つまりストリーミングを可能とすることが提案されている（例えば非特許文献１）。
【０００６】
即ち図２に示すように、音源４１よりの振幅語長が２４ビット、標本化周波数が９６ｋＨｚのディジタル信号が右シフト部４２により各サンプルが８ビット右へシフトされ、つまり下位８桁が除去され、振幅語長が１６ビットとされ、その後左シフト部４３で８ビット左へシフトされ、各サンプルの振幅語長が２４ビットで下位８ビットが０の信号とされ、この信号が減算部４４で入力ディジタル信号より差し引かれ、下位８ビットが符号Ｄとして出力される。右シフト部４２よりの信号はダウンサンプル部４５で標本化周波数が４８ｋＨｚにダウンサンプリングされ、このダウンサンプリングされた信号がアップサンプル部４６で標本化周波数９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号と、右シフト部４２よりの信号との誤差信号が減算部４７で生成され、この誤差信号が可逆圧縮部４８で可逆圧縮符号化され、その符号Ｃが出力される。
【０００７】
ダウンサンプル部４５より１６ビット４８ｋＨｚのディジタル信号は非可逆符号化部４９で符号化方法ＭＰＥＧ−４により圧縮符号化され、その圧縮符号Ａが出力される。この圧縮符号は局部復号部５０で復号され、局部復号信号が生成され、この局部復号信号と、ダウンサンプル部４５よりの１６ビット４８ｋＨｚディジタル信号との誤差信号が減算部５１で生成され、その誤差信号は可逆圧縮部５２で可逆圧縮符号化され、その符号Ｂが出力される。
可逆圧縮部４８，５２は予測符号化した後、可逆符号化をするとよい。つまり図３に示すように、誤差信号は線形予測部６１で線形予測分析され、その予測係数と入力誤差信号とから予測値を求め、その予測値を整数化部６２で整数値とし、その整数値とされた予測値を誤差信号から減算部６３で差し引き、その残差信号を可逆圧縮部６４で可逆圧縮符号化する。なお、線形予測係数も符号化して出力する。
【０００８】
この場合上位の符号列はＡ〜Ｄであり、最下位の符号列はＡである。伝送路の状態に応じて送信情報量を動的に制御し、受信側では通常は上位の符号列Ａ〜Ｄを受信して、高品質なディジタル信号を再生し、伝送路状態が悪い場合でも下位の符号Ａを受信して、品質が低下するが、連続的に再生信号を得ることができる。
可逆圧縮部４８，５２，６４での可逆圧縮法は非特許文献１にも説明されているが、特許文献２に詳細に説明されている。この特許文献２に示す可逆圧縮法とその可逆伸張法を簡単に説明する。
【０００９】
図４に示すように、符号器では、入力端子１００よりのディジタル入力信号の時系列（以下「ディジタル入力信号系列」と称する）が、フレーム分割部１１０で、例えば１０２４個のディジタル入力信号（即ち、１０２４点のサンプル）からなるフレーム単位に順次分割され、このフレーム単位ごとにディジタル信号が非可逆量子化部１２０で非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記ディジタル入力信号が音声であればＩＴＵ−Ｔの音声符号化などが利用でき、音楽であればＭＰＥＧまたはＴｗｉｎＶＱなどが利用でき、映像であればＭＰＥＧなどを利用できる。この非可逆圧縮符号Ｉ（ｎ）は逆量子化部１３０で局部復号され、この局部復号信号と元のディジタル信号との誤差信号が差回路１４０で生成される。この誤差信号の振幅は通常は元のディジタル信号の振幅よりもかなり小さい。よって、ディジタル信号を可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【００１０】
この可逆圧縮符号化の効率を上げるために、誤差信号即ち、ディジタルのサンプル列をならびかえ部１６０でならびかえる。即ちこの誤差信号を、２の補数表現によるサンプル列から、符号絶対値表現（極性と絶対値の２進数）によるサンプル列へ変換し、その各サンプルのビット位置、つまりＭＳＢ，第２ＭＳＢ，…，ＬＳＢ毎に、サンプルを跨いだ、フレーム内のビットからなるビット列として、可逆符号化部１５０で可逆圧縮符号化して符号Ｉ（ｅ）を出力する。つまり誤差信号の各サンプルＶ（ｋ）は例えば図５Ａに示すように、ＬＳＢ〜極性ビットより、サンプル数が１０２４個であり、ならびかえられたビット列の１つＤＨ（ｉ）は図５Ｂに示すように、図５Ａの各サンプルの同一桁位置のビットよりなる１０２４個ビット列である。誤差信号は振幅が小さいので、上位のビットは全て“０”となることが多く、その結果、ならびかえたビット列ＤＨ（ｉ）は“０”が連続することによって、誤差信号の可逆圧縮符号化効率を上げることができる。この可逆圧縮符号化としては、例えば、同一符号（１又は０）が連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などを用いることができる。
【００１１】
復号化器では、可逆復号化部２１０で可逆圧縮符号Ｉ（ｅ）が復号化され、その復号信号に対し、ならびかえ部２２０でならびかえ部１６０と逆の処理が行われ、誤差信号がフレーム単位で順次再生される。また、逆量子化部２３０で、非可逆圧縮符号Ｉ（ｎ）が復号化され、この復号信号と再生された誤差信号とが加算部２４０で加算され、最後に、フレーム合成部２５０でフレームごとの各加算信号が順次連結されて、元のディジタル信号系列が再生される。
非特許文献１には非可逆圧縮符号Ｉ（ｎ）を優先度１番のパケットＰ１として、誤差信号のＭＳＢに対する可逆圧縮符号Ｉ（ｅ５）を優先度２番のパケットＰ２として、誤差信号のＭＳＢのすぐ下位桁位置（例えば第１５桁位置）のビットに対する可逆圧縮符号Ｉ（ｅ１５）を優先度３番のパケットＰ３として、以下桁位置が下る程対応可逆圧縮符号Ｉ（ｅ１４），…，Ｉ（ｅ１）を順次優先度の順位を下げたパケットＰ４，…，Ｐ１７とすることが示されている。
【００１２】
【特許文献１】
特開平１１−１０３３１７号公報（段落番号［００６９］〜［００７８］、図８、図９、図１６、図２０）
【特許文献２】
特開２００１−１４４８７号公報（第６〜８頁、図３）
【非特許文献１】
Ｔ．Ｍｏｒｉｙａ他４名著”Ｓａｍｐｌｉｎｇ  Ｒａｔｅ  Ｓｃａｌａｂｌｅ  Ｌｏｓｓｌｅｓｓ  Ａｕｄｉｏ  ｃｏｄｉｎｇ”２００２  ＩＥＥＥ  Ｓｐｅｅｃｈ  Ｃｏｄｉｎｇ  Ｗｏｒｋｓｈｏｐ  ｐｒｏｃｅｅｄｉｎｇｓ  ２００２，１０月
【００１３】
【発明が解決しようとする課題】
階層符号列を用い、伝送路状態に応じて動的に送信する符号列情報量を増減することによりストリーミングを実現することが非特許文献１に示されている。伝送路状態をどのように検出して、送信する符号列情報量をどのように制御するかは示されていない。送信したパケットが受信側で受信されたことを確認し、送信したパケットを必ず受信側に受信させる伝送プロトコルを用いれば、受信確認情報の遅れから、伝送路の輻輳状態を推定でき、その場合は、符号列の送信タイミング間隔を大とすると共に優先度の高い符号列のみを送信することが考えられるが、その場合、音切れやコマ飛びなしにストリーミングができるか保証はない。この発明の目的は、伝送路状態に応じて、送信符号情報量を制御し、ストリーミングを保証する具体的符号送信方法、符号受信方法、それらの装置及びそれらのプログラムを提供することにある。
【００１４】
【課題を解決するための手段】
（１）この発明の符号送信方法によれば単位時間ごとに受信したバッファ残量情報に応じて、各単位時間ごとのディジタル信号の圧縮符号列としてバッファ残量が多ければ優先度が最も高い符号列から優先度が低い符号列までを送信し、バッファ残量が少なければ少くとも最も優先度が高い符号列を送信する。
（２）この発明の符号送信方法の別の観点によれば単位時間ごとに入力ディジタル信号を第１圧縮手段で符号化して第１符号列と、その符号化残差を第１符号化残差信号として求め、第Ｎ−１符号化残差信号を第Ｎ圧縮手段で符号化して第Ｎ符号列を求め（Ｎは２以上の自然数）、受信したバッファ残量情報に基づいてＭの値を決定し（ＭはＮ以下の自然数）、第１ないし第Ｍ符号列を送信する。
【００１５】
（３）更に別の観点によれば単位時間ごとに入力ディジタル信号を第１圧縮手段で符号化して第１符号列と、その符号化残差を第１符号化残差信号として求め、受信したバッファ残量情報に基づいてＭの値を決定し（Ｍは２以上の自然数）、第Ｎ−１符号化残差信号を第Ｎ圧縮手段で符号化して第Ｎ符号列を求め（Ｎ＝２，３，…，Ｍ）、第１ないし第Ｍ符号列を送信する。
（４）更に別の観点によれば入力ディジタル信号を単位時間ごとに圧縮した第１符号列と、その符号化残差信号を圧縮して符号列とすることをＮＭ  −１回行って得られた第２ないし第ＮＭ  符号列とが蓄積された符号列蓄積部を用い（ＮＭ  は２以上の自然数）、受信したバッファ残量情報に基づいてＭの値を決定し（Ｍは２以上ＮＭ  以下の自然数）、単位時間ごとに上記符号列蓄積部から第１ないし第Ｍ符号列を取り出して送信する。
【００１６】
（５）この発明の符号受信方法によれば受信した符号列を受信バッファに蓄積し、単位時間ごとに受信バッファからその単位時間に相当するすべての符号列を取り出し、その取り出されたすべての符号列を用いてディジタル信号を復号し、上記取り出した符号列を受信バッファから消去し、単位時間ごとに受信バッファの蓄積符号列量と対応したバッファ残量情報を生成、出力する。
（６）この発明の符号受信方法の別の観点によれば単位時間ごとに単位時間と対応する少くとも第１符号列を受信バッファから取り出し第１符号列を第１伸張手段で復号して第１復号信号を生成し、第２ないし第Ｌ符号列をそれぞれ第２ないし第Ｌ伸張手段で復号して第１ないし第Ｌ−１符号化残差信号を復号し（Ｌは２以上、ＮＭ  以下の自然数）、これら第１ないし第Ｌ−１符号化残差信号と上記第１復号信号を加算してディジタル信号を復号し、上記単位時間と対応して取り出した符号列を上記受信バッファから消去し、受信した単位時間と対応する第１ないし第１Ｍ符号列を上記受信バッファに蓄積し（ＭはＮＭ  以下の自然数）、上記受信バッファに蓄積されている符号列情報量と対応するバッファ残量情報を送信する。
【００１７】
この発明の符号送信装置によれば単位時間ごとに受信したバッファ残量情報からバッファ残量が多ければ最も優先度が高い符号列から優先度が低い符号列までを、バッファ残量が少なければ少くとも最も優先度が高い符号列を送信するように送信すべき符号列を決定する送信符号列決定部と、単位時間ごとに、ディジタル信号に対する圧縮符号化の上記決定された送信符号列を送信する伝送路送信部とを具備する。
この発明の符号受信装置によれば受信した符号列が何番目の単位時間に対するものであるかを識別できるように蓄積され、単位時間ごとにその順に対応するすべての符号列が取り出される受信バッファと、単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、上記受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成、出力する残量情報生成部とを具備する。
【００１８】
【発明の実施の形態】
以下、図面を用いてこの発明の実施の形態を説明する。
第１実施形態
第１実施形態は、ディジタル信号から優先度の異なる複数の符号列を得るために２階層符号化を用いる場合である。この２階層符号化方法により、ディジタル信号は、復号化に必ず必要とし、低ビットレート伝送が可能で品質は落ちるがディジタル信号を再生することができるベースレイヤの符号列＃１Ａ，＃２Ａ，…と、高品質な復号のために必要なエンハンストレイヤの符号列＃１Ｂ，＃２Ｂ，…とに変換されるものとする。つまり、符号列＃１Ｂ，＃２Ｂ，…の復号信号と符号列＃１Ａ，＃２Ａ，…の復号信号を加算して高品質の再生ディジタル信号が得られ、符号列＃１Ａ，＃２Ａ，…だけを復号して低品質の再生ディジタル信号が得られ、＃１Ａ，＃２Ａ，…は下位（低品質）の条件の符号列であり、符号列（＃１Ａ，＃１Ｂ），（＃２Ａ，＃２Ｂ），…は上位（高品質）の条件の符号列である。
【００１９】
ここでは簡単に説明するために２階層符号化方法を用いるが、ここで用いる符号化方法は３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図６は、この第１実施形態の符号送信装置３００、符号受信装置４００の機能の構成を示し、図１と対応する部分に同一参照番号を付けてある。
符号送信装置３００において、送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号を前記の２階層符号化方法で符号化した符号列が蓄積されていて、時間順にフレーム毎のすべて（ベースレイヤとエンハンストレイヤとの符号列）または１つ（ベースレイヤ）の符号列が符号列送出制御部７からの送出符号列指定情報に従って伝送路送信部２に出力される。符号列送出制御部７では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には送信符号列蓄積部１が各フレーム毎のすべての符号列を、受信バッファの残量が減少している場合には送信符号列蓄積部１が各フレーム毎の優先度の高い符号列のみを出力するように、送出符号列指定情報を生成して送信符号列蓄積部１に出力する。例えば符号列送出制御部７にはバッファ残量情報と送出符号列指定情報との関係を示すテーブル７ａが設けられ、受信されたバッファ残量情報によりテーブル７ａを参照して対応する送出符号列指定情報を送信符号列蓄積部１に出力する。符号送信装置３００の伝送路送信部２と符号受信装置４００の伝送路受信部３との間は一般のインターネットなどを通じて互いに接続することができる伝送路４があり、ここではデータを確実に伝送できる、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）のようなデータ転送プロトコルでデータの送受信が行われ、送信データは結果として必ず受信される。
【００２０】
伝送路受信部３に受信された受信符号列はフレーム毎に一旦受信バッファ５に蓄積される。また、この受信バッファ５に蓄積されている受信符号列は古いものから時間順にフレーム毎に復号符号列として復号化部６に伝えられる。さらに、残量情報生成部８は受信バッファ５に蓄積されているフレーム毎の符号列の個数を常に監視していて、蓄積されている符号列が減少した場合には符号送信装置の符号列送出制御部７にバッファ残量情報を伝える。ここでバッファ残量情報としては、バッファ残量が所定値以下に減少したことを示す情報、結果として送信側の符号列送出制御部７に対し、受信バッファ５に蓄積されている符号列の残量が十分であるか減少しているかを伝えることができるようにすればよく、バッファ残量が所定値以上である場合のみそのことを示す情報をバッファ残量情報として出力してもよい、またバッファ残量のおおよその量、つまりバッファ蓄積容量の１／２，１／４，などや、またバッファ容量に対する蓄積量の予め決めたいくつかのパーセンテージなどにバッファ残量（又はバッファ空き量）がなったことをそれぞれ示す情報、あるいはバッファ残量（あるいは空き量）の個数そのものを示す情報をバッファ残量情報としてもよい。更に、バッファ残量の減少傾向、例えば各フレームごとに受信バッファに入力された符号列の数に対する出力された符号列の数の差を示す情報をバッファ残量情報としてもよい。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【００２１】
なお、復号化部６は受信バッファ５にある程度符号列が蓄積されると復号を開始するが、バッファ残量の監視も復号の開始と同時、またはそれよりある程度遅れて開始する。
８フレームのディジタル信号を伝送する際に、伝送路４の伝送速度が十分な場合の送信符号、受信符号列、バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図７に示す。ここでは、各フレームの符号列をベースレイヤ、エンハンストレイヤの順に伝送されるものとし、また符号受信装置４００でフレーム＃１を復号する状態以後について示してある。送信符号列蓄積部１では常は例えばフレーム時間ごとにそのフレームのすべてレイヤの符号列を出力する。伝送路送信部２では前述したようにＴＣＰのようなデータ転送プロトコルを用いており、復号受信装置４００でデータが受信されたことを確認して、送るべきデータは必ず着信するようにしている。この確認は、一般に１つの符号列の送信から、いくつかの遅れたタイミングになってできる。この確認の遅れ状態から伝送路の輻輳状態、つまり符号送信装置３００から符号受信装置４００に到る伝送路の伝送速度を推定でき、これに応じて符号列の送信速度を変更するようにされている。なお送信符号蓄積部１と伝送路送信部２とは通常はその処理の同期をとっていない。
【００２２】
図７の最初のタイミングＴ（０）では、符号送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが１フレーム分として出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積され、バッファ残量が所定数、５以上であるため、残差情報生成部８はバッファ残量情報を出力しない。このことは図７では×印で示している。
次のタイミングＴ（１）では、伝送速度が十分であると推定されているため、送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列は出力されず、受信バッファには６個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。バッファ残量情報は送出されない。
【００２３】
タイミングＴ（２）では、送信装置３００から符号列＃５Ａが送信され、受信バッファには受信符号列＃５Ａが入力され、復号符号列＃２Ａ，＃２Ｂが１フレーム分として出力され、受信バッファには５個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。
このように、伝送速度が十分な場合には、最後のフレーム＃８の符号列＃８Ｂが受信バッファに蓄積されるまで受信バッファの蓄積符号列数は５個または６個であり、伝送が行なわれている間には減少することはなく、バッファ残量情報はすべてのタイミングで出力されない。また、すべてのフレームを復号するタイミングで、そのフレームのすべての符号列、つまりベースレイヤとエンハンスメントレイヤの各符号を復号符号列として復号化部に入力することができる。従って、すべてのフレームで高品質の復号ディジタル信号を得ることができる。
【００２４】
伝送路４の伝送速度が不十分な場合の送信符号列、受信符号列、バッファに蓄積されている符号列、バッファ残量情報出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図８に示す。この図では、タイミングＴ（０）の前は伝送速度は十分であると推定され、各タイミングごとに符号ＡとＢが交互に送信されていたが、伝送速度が不十分になったと推定され、タイミングＴ（０）から符号列の送信速度をそれまでの１／２にした場合である。
図８の最初のタイミングＴ（０）では、送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、１フレーム分の復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は、４個より多く、十分であるため、残量情報生成部８はバッファ残量情報を出力しない。
【００２５】
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファ５には４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数４以下に減少しているため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
符号列送出制御部７はタイミングＴ（４）では、バッファ残量情報が伝えられたことにより、次のフレーム中の優先度の高いベースレイヤの符号列＃５Ａを出力する。受信バッファ５には受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが１フレーム分として出力され、受信バッファ５には３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数以下であるため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
【００２６】
符号列送出制御部７はタイミングＴ（６）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストストレイヤ＃５Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃６Ａを出力する。受信バッファ５には受信符号列＃６Ａが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファ５には２個の符号列＃５Ａ，＃６Ａが蓄積されている。これまでは各フレームごとにエンハンストレイヤとベースレイヤの符号列が復号化部６に入力されるため、高品質の復号ディジタル信号を得ることができる。
符号列送出制御部７はタイミングＴ（８）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃６Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃７Ａを出力する。受信バッファ５には受信符号列＃７Ａが入力され、復号符号列＃５Ａが１フレーム分として出力され、受信バッファ５には２個の符号列＃６Ａ，＃７Ａが蓄積されている。このフレームでは復号符号列として５Ａのみしか復号化部６に入力されない、しかし品質は低下するがディジタル信号を復号することができる。この説明から理解されるように、受信した各符号列は、フレームごとにそのフレームに属するすべての符号列を受信バッファ５から取り出すことができるように、受信バッファ５に蓄積される。
【００２７】
符号送出制御部７はタイミングＴ（１０）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃７Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃８Ａを出力する。受信バッファ５には受信符号列＃８Ａが入力され、復号符号列＃６Ａが１フレーム分として出力され、受信バッファには２個の符号列＃７Ａ，＃８Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファ５から復号符号列＃７Ａ，＃８Ａがそれぞれ１フレーム分として出力されることから、復号化部６ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができる。つまりタイミングＴ（８）以後は各フレームごとにベースレイヤの符号Ａのみによる復号ディジタル信号となり、エンハンストレイヤを含む場合より品質は低下するが、従来の符号伝送方法で生じていた復号ディジタル信号の途切れは発生することなく、ストリーミングを行うことができる。なお上述ではバッファ残量情報として受信バッファ５の蓄積残量が所定値以下の時のみ生成出力する例としたが、先に述べたように、例えば受信バッファ５の蓄積残量を示す情報をバッファ残量情報として用いる場合は、バッファ残量情報をフレームごとに生成送信する。また図６中に破線で示すように送出符号列指定情報を伝送路送信部２へ入力し、伝送路送信部２でこれにより送信する符号列を図８中の送信符号列になるように制御してもよい。この場合は送信符号列蓄積部１からは各フレームごとにすべての符号列、この例ではＡとＢを伝送路送信部２に供給する。
【００２８】
第２実施形態
この発明の第２実施形態において２階層符号化を用いて８フレームのディジタル信号を伝送する場合を例として説明する。ベースレイヤの符号列を＃１Ａ，＃２Ａ，…とし、エンハンストレイヤの符号列を＃１Ｂ，＃２Ｂ，…とする。
この場合も３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図９に第２実施形態の機能構成例を示す。符号送信装置３００の符号化部９では、オーディオやビデオなどのディジタル信号が時間順に入力され、前記の２階層符号化方法によって符号化される。ここで、符号化クラス指定部９０から符号化クラス指定情報により２階層両方の符号列を出力するように指定された場合には２階層両方、つまりベースレイヤ及びエンハンストレイヤの符号化が行われて２階層両方の符号列が出力され、符号化クラス指定情報によりベースレイヤのみの符号列を出力するように指定された場合にはベースレイヤのみの符号化が行われてベースレイヤの符号列が出力される。フレーム毎のすべてまたは１つの符号列は伝送路送信部２に出力される。符号化クラス指定部９０では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には符号化部９で２階層すべての符号化を行い、受信バッファの残量が減少している場合には符号化部９でベースレイヤのみを符号化するように、例えば残量情報と符号化クラス指定情報の関係を格納したテーブル９０ａが設けられ、バッファ残量情報に応じた符号化クラス指定情報を生成して符号化部９に出力する。符号化部９よりの符号列は伝送路送信部２により、伝送路４を通じて符号受信装置４００へ送信される。この伝送路４での伝送は第１実施例と同様にデータを確実に伝送できる、例えばＴＣＰのようなデータ転送プロトコルで行われる。
【００２９】
符号受信装置４００は第１実施形態の符号受信装置４００と同様の機能構成を備え、符号受信装置４００から符号送信装置３００へ送信されるバッファ残量情報も、第１実施形態で定義したものと同様のものである。
伝送路４の伝送速度が十分な場合の送信符号列、受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号のタイミングは、第１実施形態で説明した図７と全く同じであるため、ここでは説明を省略する。
伝送路４の伝送速度が不十分な場合の受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図１０に示す。この場合も推定伝送速度の低下によりタイミングＴ（０）から送信速度を２分の１にした状態を示す。
【００３０】
図１０の最初のタイミングＴ（０）では、送信装置３００でフレーム＃４の符号化が行われて符号化符号列＃４Ａおよび＃４Ｂが得られ、受信装置４００に向けて符号列＃４Ａが送信され、受信バッファには受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファには５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は十分であるため、ここではバッファ残量情報を出力されない。
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信側ではフレーム＃５の符号化が行われて符号化符号列＃５Ａおよび＃５Ｂが得られると共に、送信装置３００から符号列＃４Ｂが送信され、受信バッファには受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファには４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号化クラス指定部９０に向けて出力する。
【００３１】
タイミングＴ（４）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃６の符号化はベースレイヤのみが行われて符号列＃６Ａが得られる。送出される符号列は先のタイミングＴ（２）で送信した符号列＃４Ｂの次の＃５Ａである。受信バッファには受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが出力され、受信バッファには３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号クラス指定部９０に向けて出力する。
【００３２】
タイミングＴ（６）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃７の符号化はベースレイヤのみが行われて符号列＃７Ａが得られる。送出される符号列は先のタイミングＴ（４）で送出した符号列＃５Ａの次の＃５Ｂである。受信バッファには受信符号列＃５Ｂが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファには２個の符号列＃５Ａ，＃５Ｂが蓄積されている。
タイミングＴ（８）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃８の符号化はベースレイヤのみが行われて符号列＃８Ａが得られる。送出される符号列は先のタイミングＴ（６）で送出した符号列＃５Ｂの次の＃６Ａである。受信バッファには受信符号列＃６Ａが入力され、復号符号列＃５Ａが出力され、受信バッファには１個の符号列＃６Ａが蓄積されている。
【００３３】
タイミングＴ（１０）では、送出装置３００では、先のタイミングＴ（８）で送出した符号列＃６Ａの次の符号列＃７Ａが出力される。受信バッファには受信符号列＃７Ａが入力され、復号符号列＃６Ａが出力され、受信バッファには１個の符号列＃７Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファから復号符号列＃７Ａ，＃８Ａがそれぞれ出力されることから、復号化部ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができ、従来の符号伝送方法で生じていた復号ディジタル信号の途切れはこの第２実施形態では発生しない。
【００３４】
なお図６中の符号列送出制御部７、図９中の符号化クラス指定部９０は、以上の説明から理解されるように１フレームにおける送信すべき符号列を決定しており、これらを総称して送信符号列決定部とする。図９において符号化部９は各フレームごとにすべてのレイヤの符号化を行い、第１実施形態中の符号列送出制御部７と同様な送出符号列指定情報を入力されたバッファ残量情報に応じて生成出力し、この送出符号列指定情報に従って符号化部９では生成した符号列中の、この例ではベースレイヤおよびエンハンストレイヤの各符号列、またはベースレイヤの符号列のみを出力するようにしてもよい。送出符号列指定情報を用いる場合は、第１実施形態と同様に、送出符号列指定情報を伝送路送信部２に供給して、図１０中に示す送信符号列を送信するようにしてもよい。
【００３５】
上述した実施形態では説明を簡単にするために２階層符号化を用いたので、伝送速度が元の符号化速度の半分のベースレイヤの符号化速度を下回ると音切れやコマ飛びが発生するが、例えばベースレイヤに全体の符号化速度の何十分の１というような非常に符号化速度の遅い高圧縮な符号化を用いることにより、伝送速度が大きく変動して著しく劣化するようなインターネットにおけるストリーミングに用いた場合でも音切れやコマ飛びが発生しないという大きな特徴がある。
また、上述の実施形態では説明を簡単にするために受信バッファの最大サイズを５または６としているが、実際には数十から数百といった大きなバッファサイズとすることにより、速度変動や到着遅延への耐性を大きく高めることができる。
【００３６】
階層符号化、復号化
この発明は各種階層符号化法、復号化法を用いることができる。階層符号化方法の一般的な手法を図１１を参照して説明する。信号源１０からのディジタル信号は圧縮部１１−１により圧縮符号化されて第１符号列が生成される。この第１符号列はベースレイヤの符号列であって最も下位（低品質）の条件の符号列であり、この圧縮部１１−１は一般に高圧縮の非可逆圧縮符号化され、図４中の非可逆量子化部１２０で用いる圧縮符号化法と同様な手法が用いられる。
【００３７】
第１符号列の符号化残差が残差生成部９１−１で第１符号化残差信号として生成され、この第１符号化残差信号は圧縮部１１−２で圧縮符号化されて第２符号列が生成される。以下同様に圧縮符号化された符号列の符号化残差が残差生成部で残差信号として生成され、この残差信号が圧縮符号化されて符号列が生成されることが順次行われ、ＮＭ  階層符号化においては第ＮＭ  −１符号列の符号化残差が残差生成部９１−ＮＭ  −１で第ＮＭ  −１残差信号として生成され（ＮＭ  は２以上の自然数）、その第ＮＭ  −１残差信号が圧縮部１１−ＮＭ  で圧縮符号化され、第ＮＭ  符号列が生成される。残差信号に対する圧縮符号化を行う圧縮部１１−２〜１１−ＮＭ  は、可逆圧縮符号化が好ましい。
【００３８】
図６中の符号列送出制御部７ａよりの送出符号列指定情報や図９中の符号化クラス指定部９０よりの符号化クラス指定情報の生成は、例えば入力されたバッファ残量情報に応じた値Ｍが決定され（ＭはＮＭ  以下の自然数）、第１符号列ないし第Ｍ符号列を出力する情報である。つまり第１符号列ないし第ＮＭ  符号列の優先度はそれぞれ１番ないしＮＭ  番になる。
この階層符号化方法による第１ないし第ＮＭ  符号列の復号方法を図１２を参照して説明する。第１符号列ないし第ＮＭ  符号列はそれぞれ伸張部３０−１ないし伸張部３０−ＮＭ  で伸張復号化される。伸張部３０−１は図１１中の圧縮部１１−１の圧縮符号化と対応する伸張復号化を行うものであり、一般に非可逆伸張復号化を行い、第１復号信号を生成する。伸張部３０−２〜３０−ＮＭ  は図１１中の圧縮部１１−２〜１１−ＮＭ  の圧縮符号化と対応する伸張復号化を行うものであり、一般に可逆伸張復号化を行い、それぞれ第１符号化残差信号〜第ＮＭ  −１符号化残差信号を生成する。
【００３９】
伸張部３０−１よりの第１復号信号と伸張部３０−２よりの第１符号化残差信号とが加算部３２−２で加算されて第２復号信号が復号される。以下順次、伸張部３０−Ｌよりの第Ｌ−１符号化残差信号と加算部３２−Ｌ−１よりの第Ｌ−１復号信号とが加算部３２−Ｌで加算されて第Ｌ復号信号が生成される。Ｌ＝２，…，ＮＭ  、伸張部３０−２〜３０−ＮＭ  は図１１中の圧縮部１１−２〜１１−ＮＭ  の圧縮符号化と対応した伸張符号化とされ、一般には可逆伸張復号化が行われる。受信バッファ５から１フレーム分として第１〜第Ｍ符号列が取り出された場合は、第Ｍ復号信号が得られる。この場合のＭはＮＭ  以下の自然数である。
【００４０】
次に階層符号化、復号化の具体例を説明する。
図１３に標本化周波数が１９２ｋＨｚの音楽信号を３階層符号化する具体例を示す。音源１０から標本化周波数が１９２ｋＨｚのディジタル信号（以下１９２ｋＨｚディジタル信号と表記する）がダウンサンプル部２２３  でダウンサンプリングされて標本化周波数が９６ｋＨｚのディジタル信号とされ、この信号はダウンサンプル部２２２  で更にダウンサンプリングされて４８ｋＨｚディジタル信号とされ、この４８ｋＨｚディジタル信号は圧縮部１１１  で非可逆圧縮符号化されて第１符号Ａとして出力される。
【００４１】
ダウンサンプル部２２２  よりの４８ｋＨｚディジタル信号はアップサンプル部２６２  で９６ｋＨｚディジタル信号にアップサンプリングされ、この９６ｋＨｚディジタル信号とダウンサンプル部２２３  よりの９６ｋＨｚディジタル信号との差が減算部１３３  でとられその９６ｋＨｚ差信号が圧縮部１１２  で圧縮符号化されて第２符号Ｂが出力される。またダウンサンプル部２２３  よりの９６ｋＨｚがアップサンプル部２６３  でアップサンプリングされた１９２ｋＨｚディジタル信号と音源１０より１９２ｋＨｚディジタル信号との差が減算部１３３  でとられ、その１９２ｋＨｚ差信号が圧縮部１１３  で圧縮符号化されて第３符号Ｃが出力される。
【００４２】
減算部１３２  及びアップサンプル部２６２  は残差生成部９１−１に相当し、第１符号Ａの符号化残差信号が減算部１３２  より得られ、減算部１３３  及びアップサンプル部２６３  は残差生成部９１−２に相当し、減算部１３３  より第２符号Ｂの符号化残差信号が出力される。圧縮部１１２  ，１１３  は図４中の可逆符号化部１５０での処理と同様な処理により可逆圧縮符号化を行う。
バッファ残量情報に応じ、例えば残量が十分な場合は第１〜第３符号Ａ，Ｂ，Ｃの符号を送信し、残量が１／２になれば、第２及び第１符号Ａ，Ｂの符号を送信し、残量が１／４になれば第１符号Ａのみを送信する。バッファ残量情報が受信バッファ５に蓄積されている符号列の量（残量）の減少傾向を表わす場合は、減少傾向がそれ程急でなければ第１及び第２符号Ａ，Ｂを送信し、減少傾向が急であれば第１符号Ａのみを送信する。このように符号化の階層が３以上であればバッファ残量情報に応じて送信符号をどの優先度までとするか、段階的に制御することができる。その際、図９に示した実施例においては符号化クラス、指定情報が例えば第２優先度までであれば、圧縮部１１−１，１１−２、残差生成部９１−１のみが動作し、第１、第２符号列が出力される。
【００４３】
図１３に示した符号化部と対応する復号化部を図１４に示す。第１、第２、第３符号Ａ，Ｂ，Ｃはそれぞれ伸張部３０１  ，３０２  ，３０３  で伸張復号化され、標本化周波数４８ｋＨｚの第１復号信号、標本化周波数９６ｋＨｚの第１符号化残差信号、標本化周波数１９２ｋＨｚの第２符号化残差信号がそれぞれ生成される。第１復号信号はアップサンプル部３３１  により標本化周波数９６ｋＨｚにアップサンプリングされ、加算部３２２  で第２符号化残差信号と加算されて９６ｋＨｚディジタル信号が復号され、この９６ｋＨｚディジタル信号がアップサンプル部３３２  で標本化周波数が１９２ｋＨｚにアップサンプリングされ、加算部３２３  で第２符号化残差信号と加算されて１９２ｋＨｚディジタル信号が復号される。
【００４４】
複数種類の標本化周波数に対応する階層的統合したディジタル信号の符号化のみならず、複数種類の標本化周波数と複数種類の振幅分解能（量子化精度乃至振幅語長）とに対応する２次元階層的なディジタル信号の圧縮符号化を行ってもよい。その例として、１６ビット、２０ビット、２４ビットの３種類の振幅語長と、４８ｋＨｚ、９６ｋＨｚ、１９２ｋＨｚの３種類の標本化周波数（サンプリングレート）との組み合せの全てのディジタル信号の生成を可能とする、ディジタル信号の２次元的階層符号化について説明する。
２次元的階層符号化のための２４ビット１９２ｋＨｚのディジタル信号の部分信号への分解とその各符号の例を図１５Ａに示す。振幅語長が２４ビットのディジタル信号中の下位８ビットを除いた上位１６ビットについて、標本化周波数が４８ｋＨｚで符号化した符号Ａと、符号Ａにより符号化された成分以上の周波数成分について標本化周波数９６ｋＨｚで符号化した符号Ｂと、更に符号Ｂにより符号化された成分以上の周波数成分について標本化周波数１９２ｋＨｚで符号化した符号Ｃとに標本化周波数方向に階層化される。つまり周波数方向のスケーラビリティは１６ビット語長の信号で実現される。
【００４５】
１６ビット語長に対し下位４ビットを含む２０ビット語長の信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｄ、その符号Ｄの符号化成分以上の周波数成分を９６ｋＨｚで符号化した符号Ｅと更に符号Ｅで符号化された成分以上の周波数成分について１９２ｋＨｚで符号化した符号Ｆとに階層化する。２０ビット語長に対し下位４ビットを含む２４ビット語長信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｇ、その周波数成分以上を９６ｋＨｚで符号化した符号Ｈと、その成分以上を１９２ｋＨｚで符号化した符号Ｉとに階層化する。
【００４６】
このように振幅語長（振幅分解能，量子化精度）と標本化周波数との二次元階層的９種類の符号化条件により符号化された符号Ａ〜Ｉを用いることにより、３種類の振幅語長と３種類の標本化周波数の組み合せの全てである９種類のディジタル信号を出力することができる。つまり各標本化周波数と振幅語長との各組み合せについて図１５Ｂに示す使用符号（１）を用いればよい。例えば、標本化周波数９６ｋＨｚ、振幅語長２４ビットの場合、符号ＡとＢとＤとＥとＧとＨを用いればよい。
この図１５に示した２次元階層符号化を行う符号化部の機能機構を図１６に示す。音源１０よりの振幅語長が２４ビット標本化周波数が１９２ｋＨｚのディジタル信号はまず、ビット分割部２０で各サンプルの２４ビットの振幅語長は上位１６ビットと、その下位の４ビットと、更に下位の４ビットとに分割される。上位１６ビットはダウンサンプル部２２１，３  で標本化周波数が９６ｋＨｚにダウンサンプリングされ、その出力が、更にダウンサンプル部２２１，２  で標本化周波数が４８ｋＨｚにダウンサンプリングされて、圧縮部１１１，１  に供給されて、可逆圧縮符号化され、符号Ａが出力される。
【００４７】
ダウンサンプル部２２１，２  の出力はアップサンプル部２６１，１  により標本化周波数が９６ｋＨｚにアップサンプリングされ、そのアップサンプリング出力と、ダウンサンプル部２２１，３  の出力との差分が減算部１３１，２  でとられ、その差分信号が圧縮部１１１，２  で可逆圧縮符号化され、符号Ｂが出力される。
ダウンサンプル部２２１，３  の出力はアップサンプル部２６１，２  で標本化周波数が１９２ｋＨｚにアップサンプリングされ、このアップサンプル部２６１，２  の出力とビット分割部２０よりの分割された１６ビットの信号との差分が減算部１３１，３  でとられ、その差分出力が圧縮部１１１，３  で可逆圧縮符号化されて符号Ｃが出力される。
【００４８】
分割部２０よりの上位１６ビットの下位４ビットはダウンサンプル部２２２，３  ，４５２，２  により標本化周波数が４８ｋＨｚの信号とされ、圧縮部１１２，１  により可逆圧縮符号化されて符号Ｄが出力され、ダウンサンプル部２２２，３  の出力と、ダウンサンプル部２２２，２  の出力のアップサンプル部２６２，１  によるアップサンプリング出力との減算部１３２，２  での差分を圧縮部１１２，２  で可逆圧縮符号化することにより符号Ｅを出力し、ダウンサンプリング部２２２，３  の出力のアップサンプリング部２６２，２  によるアップサンプリング出力と、ビット分割部２０よりの４ビット信号の減算部１３２，３  での差分を圧縮部１１２，３  で可逆圧縮符号化して符号Ｆを出力する。
【００４９】
更に同様にして、ビット分割部２０の最下位４ビットが、ダウンサンプリング部２２３，３  ，２２３，２  、アップサンプル部２６３，１  ，２６３，２  、減算部１３３，２  ，１３３，３  、圧縮部１１３，１  ，１１３，２  ，１１３，３  により符号Ｇ，Ｈ，Ｉを生成出力する。
なお図１６において各アップサンプル部は、その入力信号に対し、不足するサンプル時点を０とし、その０を挿入したサンプル列を補間フィルタで処理することにより、対応する減算部の出力差分信号の振幅がなるべく小さなものとなるようにされる。
【００５０】
例えば減算部４７１，３  の出力は振幅語長が１６ビット、標本化周波数が１９２ｋＨｚの信号であり、最大９６ｋＨｚの成分を含む。しかし、振幅が小さく、特に０〜４８ｋＨｚの成分はほとんど０である。このため圧縮部１１２，１  では例えば図３に示した予測符号化などを用いることによって効率よく圧縮することができる。その他の圧縮部も同様に予測符号化などを用いて効率的に圧縮できる。
符号化の手順として、上述ではまず振幅語長（振幅分解能）で信号を分割し、それら各分割された信号を、標本化周波数で階層化したが、先ず標本化周波数で階層化し、その後、各階層の誤差信号について、振幅語長を分割してもよい。
【００５１】
この場合は優先度の決め方により、送信符号列が異なり、またそれと対応する残差生成部の構成が異なる。仮に図１５Ｂにおいて、最下行の符号Ａを第１優先度とし（これは常にそうなる）、第１行目の符号Ａ〜Ｉを最も低い優先度とする。第１符号列は符号Ａ、第２符号列は符号Ｄで、第１符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２２，３  ，２２２，２  となり、第３符号列は符号で、第２符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２３，３  ，２２３，２  よりなり、第４符号列は符号Ｂでその第３符号化残差信号の生成部は減算部１３１，２  及びアップサンプル部２６１，１  であるが、この符号化残差信号は２４ｂ，１９２ｋＨｚディジタル信号に対し、符号Ａ，Ｄ及びＧ（第３符号列）で符号化した残差信号であり、これを圧縮部１１１，２  は振幅語長１６ビット標本化周波数９６ｋＨｚで圧縮符号化した符号がＢであると云える。第５符号列は符号Ｄ及びＥであり、その第４符号化残差信号、生成部はビット分割部２０、ダウンサンプル部２２２，３  ，２２２，２  、減算部１３２，２  及びアップサンプル部２６２，１  よりなる。第６符号列は符号Ｇ及びＨであり、その第５符号化残差信号生成部はビット分割部２０、ダウンサンプル部２２３，３  ，２２３，２  、減算部１３３，２  及びアップサンプル部２６３，１  よりなる。以下同様である。
【００５２】
図１６に示した符号化部と対応する復号化部を図１７に示す。
符号Ａ，Ｂ，…，Ｉは伸張部３０１，１  ，３０１，２  ，３０１，３  ，３０２，１  ，３０２，２  ，３０２，３  ，３０３，１  ，３０３，２  ，３０３，３  でそれぞれ伸張復号化され、符号化部の対応する圧縮部の入力部分信号がそれぞれ得られる。伸張部３０１，１  は、図４中の復号器逆量子化部２３０と同様に非可逆復号化を行い、伸張部３０１，２  ，…，３０３，３  は可逆復号化部２１０及びならびかえ部２２０と同様の手法で可逆復号化を行うことができる。伸張部３０１，１  よりの復号信号は振幅語長が１６ビット、標本化周波数が４８ｋＨｚのディジタル信号（以下、１６ｂ，４８ｋＨｚディジタル信号と書く）の再生信号として出力されると共にアップサンプル部３３１，１  で標本化周波数が９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号は伸張部３０１，２  よりの復号（残差）信号と加算部３２１，２  で加算されて再生１６ｂ，９６ｋＨｚディジタル信号として出力される。この１６ｂ，９６ｋＨｚディジタル信号はアップサンプル部３３１，２  で標本化周波数が１９２ｋＨｚにアップサンプリングされて、伸張部３０１，３  よりの復号（残差）信号と加算部３２１，３  で加算され、再生１６ｂ，１９２ｋＨｚディジタル信号として出力される。再生１６ｂ，４８ｋＨｚディジタル信号は伸張部３０２，１  より復号（残差）信号と加算部３２２，１  で加算されて、再生２０ｂ，４８ｋＨｚディジタル信号として出力される。
【００５３】
以下同様に復号された部分信号を組み合せて各ディジタル信号が再生される。その標本化周波数が異なる場合はアップサンプリングにより標本化周波数を合せて加算する。アップサンプル部３３の添字の２番目の数字１は標本化周波数を４８ｋＨｚから９６ｋＨｚにアップサンプリングすることを、数字２は標本化周波数を９６ｋＨｚから１９２ｋＨｚにアップサンプリングすることを示す。要するに、部分信号をアップサンプリングと、振幅方向のビットをつなぐことにより精度の高い信号を再構成する。
前述したように優先度が１番高い第１符号列はＡであり、これが１６ｂ，４８ｋＨｚ第１復号信号に復号され、伸張部３０１，２  で第２符号列Ｄより第１符号化残差信号が復号され、同様に第２符号化残差信号は伸張部３０３，１  よりの復号信号であり、伸張部３０１，２  で第４符号列Ｂより第３符号化残差信号が復号され、アップサンプル部３３１，１  及び加算部３２１，２  は図１２中の加算部３２−４に相当する。第５符号列はＤ及びＥであり、これより復号される第４符号化残差信号は、符号Ｄ，Ｅの各伸張部３０２，１  ，３０２，２  、アップサンプル部３３２，１  及び加算部３２２，２  により生成され、これらの構成は図１２中の伸張部３０−５に相当し、加算部３２２，２  は図１２中の加算部３２−５に相当する。第６符号列はＧ及びＨであり、第５符号化残差信号の復号は伸張部３０３，１  ，３０３，２  、アップサンプル部３３３，１  及び加算部３２３，２  により生成され、これらの構成は伸張部３３−６に相当し、加算部３２３，２  ´は加算部３２−６に相当する。以下も同様である。
【００５４】
先に述べたように、この発明は階層符号に限らず、例えば１フレームのディジタル信号を、その各種のパラメータについてそれぞれ符号化した複数の符号を、そのフレームの圧縮符号とする場合に、その構成する複数の符号中の１ないし複数がなくても、ある程度の品質のディジタル信号を再生できる符号化方法がある。そのような符号に対し、その重要なもの、ある程度の品質を得るため必要なものに高い優先度を与え、他の符号に低い優先度を与えて、受信バッファ５の残量が十分な場合は各フレームについてすべての符号を送信し、残量が不十分になると各フレームについて最も優先度が高い符号のみを送信するようにしてもよい。例えばＴｗｉｎ  ＶＱ符号化方法においては、スペクトル包絡の線形予測係数の符号、ピッチ成分の符号、バーク尺度スペクトル包絡の符号、パワーの符号、ベクトル量子化符号の６つの符号が用いられるが、ベクトル量子化符号は優先度を低くし、線形予測係数符号やパワー符号は優先度を高くする。同様にエンベッデッドＡＤＰＣＭ（Ｇ．７２７）において、入力ディジタル信号をサンプル当たり５ビットで予測誤差を量子化し、符号化部、復号化部で共通に行う内部状態の更新にはすべて上位２ビットの量子化符号を使い、この上位２ビットを最優先度とし、下位３ビットの優先度を低くする。Ｔｗｉｎ  ＶＱ、エンベッデッドＡＤＰＣＭ（Ｇ．７２７）について例えば守谷健弘著「音声符号化」電子情報通信学会、平成１０年１０月２０日発行、８８〜９０頁、１２６〜１２８頁をそれぞれ参照されたい。
【００５５】
バッファ残量情報は先に定義したが、あらためて注意すべき点を述べる。つまり、フレームごとに受信バッファ５内の符号列量の蓄積量又は空き量を検出するが、例えば蓄積量が所定値以下になった場合のみバッファ残量情報を生成送信し、蓄積量が所定値以上ではバッファ残量情報を生成送信しないが、このバッファ残量情報を送信しないことは、符号送信装置ではバッファ残量情報が受信されないということは、バッファ残量が所定値以上であると認識でき、従って、この明細書では符号受信装置はバッファ残量情報を実質的には送信したとみなすものである。更に受信バッファ５の符号列蓄積量の減少傾向をバッファ残量情報とする場合でも、符号受信装置は通常は受信バッファ５の符号列蓄積量が所定値になってから復号を開始するため、蓄積量の減少が急であれば、受信バッファの蓄積量がどんどん減り、蓄積量が少ないことにより、蓄積量の減少がゆるやかであれば、バッファの蓄積量が比較的多いことになり、つまり減少傾向を積分しなくても、蓄積量をほぼ推定しているということができ、この明細書では蓄積量の減少傾向を示す情報もバッファ残量情報とするものである。
【００５６】
上述した各実施形態にそれぞれ示した各符号送信装置、各符号受信装置を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば符号送信装置について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して符号送信プログラムをコンピュータ内にダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
【００５７】
【発明の効果】
以上説明したように、この発明によれば、受信バッファに蓄積されている符号列が減少した場合に、送信側に優先度の高いクラスの符号列のみを送出させ、受信側では受信バッファに優先度の高いクラスの符号列のみが蓄積されている場合には優先度の高いクラスの符号列のみを復号化して復号ディジタル信号を得る。これにより、伝送路送信部と伝送路受信部の間の伝送速度がすべての符号列を伝送するには不十分な場合であっても、優先度の高いクラスの符号列のみを伝送して復号化して復号ディジタル信号を得ることで、音切れやコマ飛びが発生しない符号伝送を実現できる。
【図面の簡単な説明】
【図１】従来の符号伝送方式を簡略に示すブロック図。
【図２】従来の階層的分割符号化の機能構成を示す図。
【図３】図２中の可逆圧縮部の具体的機能構成を示す図。
【図４】従来の可逆圧縮符号化、復号化器の機能構成を示す図。
【図５】図４中のならびかえ部１６０の処理を説明するための図。
【図６】この発明の第１実施形態の符号送信装置及び符号受信装置の各機能構成を示す図。
【図７】第１実施形態の伝送速度が十分な場合における伝送状態の例を示すタイムチャート。
【図８】第１実施形態の伝送速度が不十分な場合における伝送状態の例を示すタイムチャート。
【図９】この発明の第２実施形態の符号送信装置及び符号受信装置の機能構成例を示す図。
【図１０】第２実施形態の伝送速度が不十分な場合における伝送状態の例を示す図。
【図１１】階層符号化部の一般的機能構成例を示す図。
【図１２】階層符号復号化部の一般的機能構成の例を示す図。
【図１３】１次元階層符号化部の具体例を示す図。
【図１４】図１４に示した符号化部と対応する復号化部の具体例を示す図。
【図１５】Ａは２次元階層的分割符号の例を示す図、Ｂは図１５Ａに示した階層的分割された符号と各種標本化周波数及び各種振幅分解能の組み合せ信号との関係を示す図である。
【図１６】図１５Ａに示した２次元階層的分割符号の符号化部の機能構成例を示す図。
【図１７】図１６に示した符号化部と対応する復号化部の機能構成例を示す図。
【図１】
2004165776.tif 000003
【図２】
2004165776.tif 000004
【図３】
2004165776.tif 000005
【図４】
2004165776.tif 000006
【図５】
2004165776.tif 000007
【図６】
2004165776.tif 000008
【図７】
2004165776.tif 000009
【図８】
2004165776.tif 000010
【図９】
2004165776.tif 000011
【図１０】
2004165776.tif 000012
【図１１】
2004165776.tif 000013
【図１２】
2004165776.tif 000014
【図１３】
2004165776.tif 000015
【図１４】
2004165776.tif 000016
【図１５】
2004165776.tif 000017
【図１６】
2004165776.tif 000018
【図１７】
2004165776.tif 000019