(57)【特許請求の範囲】
【請求項１】
ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号を符号化するディジタル信号符号化方法であり、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 符号化する信号より属性の階層が下位の信号又はその変形信号を生成し符号化するステップと、
(b) 符号化する信号と上記属性の階層が下位の信号又はその変形信号との誤差信号を可逆符号化するステップ、
とを含むことを特徴とするディジタル信号符号化方法。
【請求項２】
請求項１に記載のディジタル信号符号化方法において、
上記ステップ(a) は、フレームごとに第１サンプリング周波数のディジタル信号を、第１サンプリング周波数より低い第２サンプリング周波数のディジタル信号に変換し、
その第２サンプリング周波数のディジタル信号を圧縮符号化して主符号を出力し、
上記ステップ(b) はその主符号に対応した局部信号を第１サンプリング周波数の局部信号に変換し、
上記誤差信号としてその第１サンプリング周波数の局部信号と上記第１サンプリング周波数のディジタル信号との誤差信号を算出し、
上記誤差信号の予測誤差信号を生成し、
その予測誤差信号をその各サンプルの振幅を表わすビット位置のうち少くとも１ビット位置ごとにサンプルを跨いだ等位ビット列を可逆符号化して誤差符号として出力することを特徴とする。
【請求項３】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(b) は上記誤差信号を周波数軸反転した誤差信号についての予測誤差信号を可逆符号化することを特徴とする。
【請求項４】
請求項２に記載のディジタル信号符号化方法において、
上記ステップ(b) は、上記誤差信号を第１サンプリング周波数よりも低いサンプリング周波数の誤差信号に変換するステップと、
その変換された誤差信号についての予測信号を生成し、その予測信号を第１サンプリング周波数の予測信号に変換するステップと、
その変換した予測信号と第１サンプリング周波数の上記誤差信号とから上記予測誤差信号を求めるステップとを含む。
【請求項５】
請求項２に記載のディジタル信号符号化方法において、
上記ステップ(b) は、上記誤差信号を線形予測分析し、その予測係数により上記誤差信号を処理して予測信号を生成するステップと、
その予測信号と上記誤差信号との差を求めて上記予測誤差信号を生成し、上記予測係数を符号化して係数符号を出力するステップとを含む。
【請求項６】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(a) は、m=1, n=1の組に付いて、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化して第m,n符号を出力するステップであり、
上記ステップ(b) は、
m=1, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成し、
第ｍ量子化精度、第n+1サンプリング周波数でサンプリングされた第m,n+1ディジタル信号と上記第m,n+1アップサンプリング信号との誤差信号である第m,n+1誤差信号を上記誤差信号として圧縮符号化して第m,n+1符号を出力し、
1≦m≦M-1, 1≦n≦Nの範囲でm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成し、
第m+1量子化精度、第ｎサンプリング周波数でサンプリングされた第m+1,nディジタル信号と第m+1,n精度変換信号との誤差信号である第m+1,n誤差信号を圧縮符号化して第m+1,n符号を出力することを特徴とする。
【請求項７】
請求項６に記載のディジタル信号符号化方法において、上記ステップ(b) は、調整パラメータに基づき調整された上記第m,n+1アップサンプリング信号との上記第m,n+1誤差信号のパワーが最小となる調整パラメータを表わす第m,n+1補助情報を符号化して第m,n+1補助符号を出力するステップを含む。
【請求項８】
請求項６に記載のディジタル信号符号化方法において、上記ステップ(b) は、調整パラメータに基づき調整された上記m+1,n精度変換信号との上記第m,n誤差信号のパワーが最小となる調整パラメータを表わす第m+1,n補助情報を符号化して第m+1,n補助符号を出力するステップを含む。
【請求項９】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(a) は、m=1, n=1の組について第m,n誤差信号を圧縮符号化して第m,n符号を生成し、
上記ステップ(b) は、2≦m≦M, 1≦n≦Nの範囲のm,nの組について第m-1,nディジタル信号を圧縮符号化して、第m-1,n符号を生成し、
2≦m≦M, 1≦n≦N-1の範囲のm,nについて第m-1,nディジタル信号と、第m-1量子化精度、第ｎサンプリング周波数より高い第n+1サンプリング周波数の第m-1,n+1ディジタル信号との誤差である第m-1,n+1誤差信号を生成するステップと、
その第m-1,n+1誤差信号を圧縮符号化して第m-1,n+1符号を生成することを特徴とする。
【請求項１０】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(a) は、m=1, n=1の組について、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化し、
上記ステップ(b) は、2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、
第ｍ量子化精度m、第n+1サンプリング周波数の第m,n+1ディジタル信号と、上記第m,nディジタル信号及び上記第m-1,n+1ディジタル信号との各誤差である第m,n誤差信号及び第m-1,n+1誤差信号を上記誤差信号として生成し、
これら第m,n誤差信号と第m-1,n+1誤差信号との歪が小さい誤差信号を選択して可逆圧縮符号化して第m,n+1符号を生成し、かつ上記何れを選択したかを示す第m,n+1補助符号を生成することを特徴とする。
【請求項１１】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(a) は、m=1, n=1の組について、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化し、
上記ステップ(b) は、2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、
上記第m,nディジタル信号及び上記第m-1,n+1ディジタル信号を重み付き加算して第m,n+1加算信号を生成し、第m,n+1ディジタル信号との差分を上記誤差信号として生成し、
上記誤差信号を可逆圧縮符号化して第m,n+1符号を生成することを特徴とする。
【請求項１２】
請求項１に記載のディジタル信号符号化方法において、上記ステップ(a) は、m=1, n=1の組に付いて第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化して第m,n符号を出力し、
上記ステップ(b) は、1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成し、
第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1ディジタル信号と上記第m,n+1アップサンプリング信号との誤差信号である第m,n+1誤差信号を上記誤差信号として圧縮符号化して第m,n+1符号を出力し、
m=1, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成し、
第m+1量子化精度、第ｎサンプリング周波数の第m+1,nディジタル信号と第m+1,n精度変換信号との上記誤差信号として誤差信号である第m+1,n誤差信号を圧縮符号化して第m+1,n符号を出力することを特徴とする。
【請求項１３】
請求項１２に記載のディジタル信号符号化方法において、上記ステップ(b) は、調整パラメータに基いて調整された上記第m,n+1アップサンプリング信号との上記第m,n+1誤差信号のパワーが最小になる調整パラメータを符号化して第m,n+1補助符号を出力するステップ又は、
調整パラメータに基いて調整された上記第m+1,n精度変換信号との上記第m+1,n誤差信号が最小となる調整パラメータを符号化して第m+1,n補助符号を出力するステップとを含む。
【請求項１４】
ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号を符号化するディジタル信号符号化装置であり、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
符号化する信号より属性の階層が下位の信号又はその変形信号を生成し、符号化する主符号生成手段と、
上記符号化する信号と上記属性の階層が下位の信号又はその変形信号との誤差信号を可逆符号化する誤差信号符号化手段、
とを含むことを特徴とするディジタル信号符号化装置。
【請求項１５】
請求項１４に記載のディジタル信号符号化装置において、
上記主符号生成手段は、フレームごとに第１サンプリング周波数のディジタル信号を、第１サンプリング周波数より低い第２サンプリング周波数のディジタル信号に変換するダウンサンプリング部と、
上記第２サンプリング周波数のディジタル信号を圧縮符号化して主符号を出力する符号化部とからなり、
上記誤差信号符号化手段は、上記主符号に対応した局部信号を第１サンプリング周波数の局部信号に変換するアップサンプリング部と、
上記誤差信号として上記第１サンプリング周波数の局部信号と上記第１サンプリング周波数のディジタル信号との誤差信号を算出する誤差算出部と、
上記誤差信号の予測誤差信号を生成する予測誤差生成部からなり、
上記予測誤差信号をその各サンプルの振幅を表わすビット位置のうち少くとも１ビット位置ごとにサンプルを跨いだ等位ビット列を可逆符号化して誤差符号として出力する配列変換部を有することを特徴とする。
【請求項１６】
請求項１４に記載のディジタル信号符号化装置において、上記主符号生成手段は、m=1, n=1のm,nの組について、上記第m,nディジタル信号を圧縮符号化して第m,n符号を出力する第m,n符号化部からなり、
上記誤差信号符号化手段は、m=1, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成する第m,n+1アップサンプリング部と、
m=1, 1≦n≦N-1の範囲のm,nの組について、上記第m,n+1アップサンプリング信号と上記第m,n+1ディジタル信号との誤差信号である第m,n+1誤差信号を上記誤差信号として圧縮符号化して第m,n+1符号を出力する第m,n+1符号化部と、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成する第m+1,n精度変換部からなる。
【請求項１７】
請求項１４に記載のディジタル信号符号化装置において、上記主符号生成手段は、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を、第ｍ量子化精度より低い第m-1量子化精度、第ｎサンプリング周波数の第m-1,nディジタル信号と、第m-1,nディジタル信号と第m,nディジタル信号との誤差である第m,n誤差信号とに分割する分割部と、
m=1, n=1の組について、その第m,n誤差信号を可逆圧縮符号化して第m,n符号を生成する第m,n圧縮部と、
2≦m≦M, 1≦n≦N-1の範囲のm,nの組について上記第m-1,nディジタル信号又は入力された第m-1,nディジタル信号を圧縮符号化して、第m-1,n符号を生成する第m-1,n圧縮部からなり、
上記誤差信号符号化手段は、上記第m-1,n符号の生成に用いた第m-1,nディジタル信号と、第m-1量子化精度、第ｎサンプリング周波数より高い第n+1サンプリング周波数の第m-1,n+1ディジタル信号との誤差である第m-1,n+1誤差信号を生成する第m-1,n+1誤差生成部と、
その第m-1,n+1誤差信号を可逆圧縮符号化して第m-1,n+1符号を生成する第m-1,n+1圧縮部、
からなる。
【請求項１８】
請求項１４に記載のディジタル信号符号化装置において、上記主符号生成手段は、m=1, n=1の組について、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化する第m,n符号化手段からなり、
上記誤差信号符号化手段は、1≦m≦M, 1≦n≦N-1の範囲のm,nの組について第ｍ量子化精度より低い第m-1量子化精度、第ｎサンプリング周波数より高い第n+1サンプリング周波数の第m-1,n+1ディジタル信号を圧縮符号化する第m-1,n+1符号化手段と、
第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1ディジタル信号と、上記第m,nディジタル信号及び上記第m-1,n+1ディジタル信号との各誤差である第m,n誤差信号及び第m-1,n+1誤差信号を生成する誤差信号生成手段と、
これら第m,n誤差信号と第m-1,n+1誤差信号との歪が小さい誤差信号を選択して可逆圧縮符号化して第m,n+1符号を生成する第m,n+1圧縮部と、
上記何れを選択したかを示す第m,n+1補助符号を生成する第m,n+1補助符号化部、
からなる。
【請求項１９】
請求項１４に記載のディジタル信号符号化装置において、上記主符号生成手段は、m=1, n=1の組について、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を圧縮符号化する第m,n符号化手段からなり、
上記誤差信号符号化手段は、2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号及び上記第m-1,n+1ディジタル信号を重み付き加算して第m,n+1加算信号を生成し、第m,n+1ディジタル信号との差分を誤差信号として生成する第m,n+1混合部と、
上記誤差信号を可逆圧縮符号化して第m,n+1符号を生成する第m,n+1圧縮部、
からなる。
【請求項２０】
請求項１４に記載のディジタル信号符号化装置において、上記主符号生成手段は、m=1, n=1の組について第ｍ量子化精度、第ｎサンプリング周波数でサンプリングされた第m,nディジタル信号を圧縮符号化して第m,n符号を出力する第m,n圧縮部からなり、
上記誤差信号符号化手段は、1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成する第m,n+1アップサンプル部と、
第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1ディジタル信号と上記第m,n+1アップサンプリング信号との誤差信号である第m,n+1誤差信号を上記誤差信号として圧縮符号化して第m,n+1符号を出力する第m,n+1圧縮部と、
1≦m≦M-1, 1≦n≦Nの範囲いのm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成する第m+1,n精度変換部と、
第m+1量子化精度、第ｎサンプリング周波数の第m+1,nディジタル信号と上記第m+1,n精度変換信号との上記誤差信号として第m+1,n誤差信号を圧縮符号化して第m+1,n符号を出力する第m+1,n圧縮部、
からなる。
【請求項２１】
ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の符号を復号化する復号化方法であり、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 入力符号を復号化して誤差信号を生成するステップと、
(b) 上記誤差信号と、主符号を復号して生成した復号信号としてその誤差信号より属性の階層が下位の復号信号又はその変形信号とを合成して復号化信号を生成するステップ、
とを含むことを特徴とする復号化方法。
【請求項２２】
請求項２１に記載の復号化方法において、
上記ステップ(a) は、上記入力符号として入力誤差符号を復号してビット位置のうち少なくとも１ビット位置ごとにサンプルを跨いだ同一ビット位置のビット列からなる第１サンプリング周波数の予測誤差信号を再生し、
上記ステップ(b) は、上記予測誤差信号を合成して上記誤差信号を再生し、主符号を復号した復号信号を、そのサンプリング周波数より高い上記第１サンプリング周波数の復号信号に変換し、その変換された復号信号と上記誤差信号とを加算して再生ディジタル信号を得ることを特徴とする。
【請求項２３】
請求項２１に記載の復号化方法において、上記ステップ(b) は、上記誤差信号を周波数軸反転して上記変換された復号信号と加算することを特徴とする。
【請求項２４】
請求項２２に記載の復号化方法において、上記ステップ(b) は、
上記予測誤差信号を第１サンプリング周波数より低い第２サンプリング周波数の予測誤差信号に変換し、
その第２サンプリング周波数の予測誤差信号に対する予測信号を上記第１サンプリング周波数の予測信号に変換し、
その第１サンプリング周波数の予測信号と上記第１サンプリング周波数の予測誤差信号とを加算して上記誤差信号を生成することを特徴とする。
【請求項２５】
請求項２２に記載の復号化方法において、
上記ステップ(b) は、入力係数符号を復号した線形予測係数により上記予測誤差信号を線形予測して予測信号を生成し、
この予測信号と上記予測誤差信号を加算して上記誤差信号を得ることを特徴とする。
【請求項２６】
請求項２１に記載のディジタル信号復号化方法において、上記ステップ(a) は、
m=1, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成し、
1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記入力符号として第m,n+1符号を復号して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成し、上記第m,n+1誤差信号と上記第m,n+1アップサンプリング信号を加算して第m,n+1再生信号を生成する第１手順と、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記属性の階層が下位の信号として上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成し、上記入力符号として第m+1,n符号を復号して第m+1量子化精度、第ｎサンプリング周波数の第m+1,n誤差信号を生成し、上記第m+1,n誤差信号と上記m+1,n精度変換信号を加算して第m+1,nディジタル信号を生成する第２手順、
との少なくとも一方の手順からなり、
上記ステップ(b) は、m=1, n=1の組について第m,n符号を復号して上記第m,nディジタル信号を生成することを特徴とする。
【請求項２７】
請求項２６に記載の復号化方法において、上記ステップ(a) は、
1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1補助情報を復号して上記第m,n+1アップサンプリング信号の調整パラメータを生成するステップと、
上記第m,n+1誤差信号と上記調整パラメータに基づいて調整した第m,n+1アップサンプリング信号を加算して第m,n+1再生信号を生成することを特徴とする。
【請求項２８】
請求項２６に記載の復号化方法において、上記ステップ(a) は、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、第m+1,n補助符号を復号して上記m+1,n精度変換信号の調整パラメータを生成し、
上記第m+1,n誤差信号と上記調整パラメータに基づいて調整したm+1,n精度変換信号を加算して第m+1,nディジタル信号を生成することを特徴とする。
【請求項２９】
請求項２１に記載の復号化方法において、上記ステップ(a) は、
1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第m,n+1符号を可逆伸張復号化して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成し、
2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第m,nディジタル信号及び第m-1,n+1ディジタル信号中の第m,n+1補助符号を復号した選択情報により指示された一方の信号と上記第m,n+1誤差信号を加算して第m,n+1ディジタル信号を再生し、
上記ステップ(b) は、m=1, n=1の組について第m,n符号を復号して上記第m,nディジタル信号を生成することを特徴とする。
【請求項３０】
請求項２１に記載の復号化方法において、上記ステップ(a) は、
m=1, n=1の組を除く1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1符号を可逆伸張復号化して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成し、
2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第m,nディジタル信号と第m-1,n+1ディジタル信号を、第m,n+1補助符号を復号した情報により重み付き加算して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1加算信号を生成し、
その第m,n+1加算信号と上記第m,n+1誤差信号とを加算して第m,n+1ディジタル信号を再生し、
上記ステップ(b) は、m=1, n=1の組について第m,n符号を復号して上記第m,nディジタル信号を生成することを特徴とする。
【請求項３１】
請求項２１に記載の復号化方法において、上記ステップ(a) は、1≦m≦M, 1≦n≦N-1の範囲のm,nの組に付いて、上記属性の階層が下位の信号として第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成し、
上記入力符号として第m,n+1符号を復号して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成し、
上記ステップ(a) は更に、1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成し、
1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記第m,n+1誤差信号と上記属性の階層が下位の変形信号として上記第m,n+1アップサンプリング信号を加算して第m,n+1ディジタル信号を生成する第1手順と、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記第m+1,n誤差信号と上記属性の階層が下位の変形信号として上記第m+1,n精度変換信号を加算して第m+1,nディジタル信号を生成する第２手順、
とのいずれかの手順により上記復号化信号を生成し、
上記ステップ(b) は、m=1, n=1の組について第m,n符号を復号して上記第m,nディジタル信号を生成することを特徴とする。
【請求項３２】
請求項３１に記載の復号化方法において、上記第1手順は、第m,n+1補助符号を復号した調整パラメータに基づいて加算する上記第m,n+1アップサンプリング信号を調整し、上記第２手順は生成した調整パラメータに基づいて第m+1,n補助符号を復号して上記第m+1,n精度変換信号を調整することを特徴とする。
【請求項３３】
ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の復号化装置であり、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
入力符号を復号して誤差信号を生成する誤差信号生成手段と、
上記誤差信号と、その誤差信号より属性の階層が下位の復号化信号又はその変形信号とを合成して復号化信号を生成する信号合成手段、
とを含むことを特徴とするディジタル信号復号化装置。
【請求項３４】
請求項３３に記載の復号化装置において、上記誤差信号生成手段は、
入力誤差符号を復号してビット列を得て、得られたビット列の１フレーム分から、その各ビット配列方向における同一ビット位置のビットを抽出して第１サンプリング周波数の予測誤差信号を再生する配列変換部と、
上記予測誤差信号を予測合成して誤差信号を再生する予測合成部とからなり、
上記信号合成手段は、
入力主符号を復号して復号信号を得る復号部と、
上記復号信号を、そのサンプリング周波数より高い上記第１サンプリング周波数の復号信号に変換するアップサンプリング部と、
上記変換された復号信号と上記誤差信号とを加算して再生ディジタル信号を得る加算部、とからなる。
【請求項３５】
請求項３３に記載の復号化装置において、上記信号合成手段は、m=1, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして第m,n+1アップサンプリング信号を生成するアップサンプリング部と、
1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1符号を復号して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成する第m,n+1復号部と、
上記第m,n+1誤差信号と上記第m,n+1アップサンプリング信号を加算して第m,n+1再生信号を生成する加算部とを備える第m,n+1再生手段と、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記属性の階層が下位の信号として上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成する精度変換部と、
第m+1,n符号を復号して第m+1量子化精度、第ｎサンプリング周波数の第m+1,n誤差信号を生成する第m+1,n復号部と、
上記第m+1,n誤差信号と上記m+1,n精度変換信号を加算して第m+1,nディジタル信号を生成する加算部とを備える第m+1,n再生手段との何れかの再生手段とからなり、
上記信号合成手段は、m=1, n=1の組について、第m,n符号を復号して上記第m,nディジタル信号を生成する第m,n復号部からなる。
【請求項３６】
請求項３３に記載の復号化装置において、上記誤差信号生成手段は、
m=1, n=1の組を除く2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、入力された複数の符号を復号化して第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号及び第ｍ量子化精度より低い第m-1量子化精度、第ｎサンプリング周波数より高い第n+1サンプリング周波数の第m-1,n+1ディジタル信号を再生する再生手段と、
第m,n+1符号を可逆伸張復号化して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成する第m,n+1伸張部と、
2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として、第m,nディジタル信号及び第m-1,n+1ディジタル信号中の、第m,n+1補助符号を復号した選択情報により指示された一方の信号と上記第m,n+1誤差信号を加算して第m,n+1ディジタル信号を再生する第m,n+1加算部、
とからなり、
上記信号合成手段は、m=1, n=1の組について、第m,n符号を復号して上記第m,nディジタル信号を生成する第m,n復号部からなる。
【請求項３７】
請求項３３に記載の復号化装置において、上記誤差信号生成手段は、
m=1,n=1の組を除く1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1符号を可逆伸張復号化して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成する第m,n+1伸張部と、
第m,n+1補助符号を復号して加算法を指定する補助情報を求める第m,n+1補助復号部と、
2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記補助情報に基づいて上記属性の階層が下位の信号としての第m,nディジタル信号と第m-1,n+1ディジタル信号を重み付き加算して上記属性の階層が下位の変形信号として第m,n+1加算信号を生成する第m,n+1混合部と、
その第m,n+1加算信号と上記第m,n+1誤差信号とを加算して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1ディジタル信号を再生する第m,n+1加算部、
とからなる。
【請求項３８】
請求項３３に記載の復号化装置において、上記誤差信号生成合成手段は、1≦m≦M, 1≦n≦N-1の範囲のm,nの組について、上記属性の階層が下位の信号として第m,nディジタル信号を第ｎサンプリング周波数よりも高い第n+1サンプリング周波数にアップサンプリングして上記属性の階層が下位の変形信号として第m,n+1アップサンプリング信号を生成する第m,n+1アップサンプル部と、
上記入力符号として第m,n+1符号を復号して第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号を生成する第m,n+1伸張部と、
1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、上記第m,n+1誤差信号と上記属性の階層が下位の変形信号としての上記第m,n+1アップサンプリング信号を加算して第m,n+1ディジタル信号を生成する加算部とからなる第m,n+1再生手段と、
1≦m≦M-1, n=1の範囲のm,nの組について、上記第m,nディジタル信号を第ｍ量子化精度よりも高い第m+1量子化精度に精度変換して第m+1,n精度変換信号を生成する第m+1,n精度変換部と、
第m+1,n符号を復号して第m+1量子化精度、第Ｎサンプリング周波数の第m+1,n誤差信号を生成する第m+1,n伸張部と、
上記第m+1,n誤差信号と上記第m+1,n精度変換信号を加算して第m+1,nディジタル信号を生成する加算部とを備える第m+1,n再生手段と、
上記第m,n+1再生手段と、上記第m+1,n再生手段と、上記第m+1,n再生手段及び上記第m+1,n+1再生手段との少くとも１つからなり、
上記信号合成手段は、m=1,n=1の組について、第m,n符号を復号して上記第m,nディジタル信号を生成する第m,n伸張部とからなる。
【請求項３９】
請求項１に記載のディジタル信号符号化方法において、上記符号化する信号は複数のチャンネルからなる第1のグループのうち1チャンネルのディジタル信号であり、
上記属性の階層が下位の信号又はその変形信号は、上記第1のグループより少ないチャンネル数からなる第２のグループのうち1チャンネルのディジタル信号または複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項４０】
請求項３９記載のディジタル信号符号化方法において、上記第2のグループのディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第1のグループのディジタル信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号を含み、
上記ステップ(a) は上記モノラル信号を符号化するステップを含み、
上記ステップ(b) は、
(b-1) 上記モノラル信号を上記第２量子化精度と第２サンプリング周波数に属性の階層をグレードアップした変換信号を生成するステップと、
(b-2) 上記変換信号と上記第２グループのチャンネル信号間の差分を第２グループの誤差信号として生成して符号化するステップと、
(b-3) 上記第２グループのチャンネル信号と上記第１グループのチャンネル信号間でそれぞれ誤差信号を生成して符号化するステップ、
とからなる。
【請求項４１】
請求項４０に記載の符号化方法において、上記第２グループは左チャンネル信号と右チャンネル信号を含み、上記ステップ(b-2)は上記左チャンネル信号と右チャンネル信号間の差信号を上記第２グループの上記誤差信号の１つとして生成して符号化するステップと、
上記左チャンネル信号と右チャンネル信号の和信号を生成し、上記変換信号と上記和信号との差信号を上記誤差信号の他の１つとして生成して符号化するステップとからなる。
【請求項４２】
請求項１４に記載の符号化装置において、上記符号化する信号は複数のチャンネルからなる第1のグループのうち1チャンネルのディジタル信号であり、
上記属性の階層が下位の信号又はその変形信号は、上記第1のグループより少ないチャンネル数からなる第２のグループのうち1チャンネルのディジタル信号または以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項４３】
請求項４２に記載の符号化装置において、上記第２のグループのディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループのディジタル信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号からなる第１グループとからなり、
上記主符号生成手段は、上記モノラル信号を圧縮符号化する手段であり、
上記誤差信号符号化手段は、
上記モノラル信号を上記第２量子化精度と第２サンプリング周波数の信号にグレードアップした変換信号を生成するグレードアップ手段と、
上記変換信号と上記第２グループのチャンネル信号間の誤差を求め、複数の第１誤差信号を出力する複数の第２グループ減算部と、
上記第２グループの誤差信号をそれぞれ可逆符号化する圧縮符号化部と、
上記第２グループのチャンネル信号と上記第１グループのチャンネル信号間の複数の第１グループ誤差信号を生成する複数の第１グループ減算部と、
上記複数の第１グループ誤差信号を可逆符号化する複数の第１グループ圧縮符号化部、
とを含む。
【請求項４４】
請求項４３に記載の符号化装置において、上記第２グループのチャンネル信号は左チャンネル信号と右チャンネル信号からなり、上記第１グループのチャンネル信号は２つ以上のマルチチャンネル信号からなり、
上記第２グループの誤差信号を生成する上記第２グループ減算部は、
上記左右チャンネル信号間の差信号を上記第２グループの誤差信号の１つとして生成する減算器と、
上記左右チャンネル信号間の和信号と生成する加算部と、その和信号と上記変換信号との差分を上記第２グループの誤差信号として生成する減算器、
とからなる。
【請求項４５】
請求項２１に記載の復号化方法において、
上記誤差信号は複数のチャンネルからなる第１のグループのうち、１チャンネルのディジタル誤差信号であり、
上記属性の階層が下位の復号信号又はその復号信号は、上記第１のグループより少ないチャンネル数からなる第２のグループのうち１チャンネルのディジタル復号信号又は２以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項４６】
請求項４５に記載の復号化方法において、上記第２のグループの上記ディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループのディジタル誤差信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号を含み、
上記ステップ(a) は、上記第２グループのチャンネル信号の誤差符号および第１グループのチャンネル信号の誤差符号をそれぞれ復号し、第２グループ誤差信号および第１グループ誤差信号を生成するステップとからなり、
上記ステップ(b) は、
(b-1) 主符号を復号して上記モノラル信号を再生するステップと、
(b-2) 上記モノラル信号を第２量子化精度及び第２サンプリング周波数に属性の階層をグレードアップした変換信号を生成するステップと、
(b-3) 上記変換信号と上記第１誤差信号とを加算して第２グループのチャンネル信号を再生するステップと、
(b-4) 上記再生された第２グループのチャンネル信号と上記第１グループの誤差信号を加算して第１グループのチャンネル信号を再生するステップ、
とからなる。
【請求項４７】
請求項４６に記載の復号化方法において、上記第２グループのチャンネル信号は左チャンネル信号と右チャンネル信号であり、上記ステップ(b-3)は上記第２グループの誤差符号を復号して第２グループの左右チャンネル信号の和信号と差信号を生成するステップと、上記和信号と差信号を互いに加算及び減算して左チャンネル信号及び右チャンネル信号を再生するステップとを含む。
【請求項４８】
請求項３３に記載の復号化装置において、
上記誤差信号は複数のチャンネルからなる第１のグループのうち、１チャンネルのディジタル誤差信号であり、
上記属性の階層が下位の復号信号又はその復号信号は、上記第１のグループより少ないチャンネル数からなる第２のグループのうち１チャンネルのディジタル復号信号又は２以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項４９】
請求項４８に記載の復号化装置において、上記第２のグループの上記ディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループの誤差信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号からなり、
上記誤差信号生成手段は、第２グループの誤差符号を復号して第２グループ誤差信号を得る第２グループ復号部と、第１グループの誤差符号を復号して第１グループ誤差信号を得る第１グループ復号部とからなり、
上記信号合成手段は、主符号を復号してモノラル信号を再生するモノラル信号復号部と、上記モノラル信号を上記第２グループのチャンネル信号と同じ第２量子化精度と第２サンプリング周波数の信号にグレードアップした変換信号を生成するグレードアップ部と、上記変換信号と上記第２グループの誤差信号とを加算して第２グループのチャンネル信号を再生する第２グループ加算部と、再生された上記第２グループのチャンネル信号と上記第１グループの誤差信号を加算して第１グループのチャンネル信号を再生する第１グループ加算部、とからなる。
【請求項５０】
請求項４９に記載の復号化装置において、上記第１グループのチャンネル信号は左チャンネル信号と右チャンネル信号であり、上記第２グループの復号された上記誤差信号の１つは上記左右チャンネル信号間の差信号であり、上記第２グループの加算部は、上記変換信号と上記第２グループの復号されたもう１つの上記誤差信号とを加算して左右チャンネル信号の和信号を生成する第１加算器と、上記差信号と上記和信号を互いに加算及び減算してそれぞれ左チャンネル信号及び右チャンネル信号を再生する第２加算器と減算器とからなる。
【請求項５１】
請求項１に記載のディジタル信号符号化方法において、上記符号化する信号は複数のチャンネルからなる第1のグループのうち1チャンネルのディジタル信号であり、
上記属性の階層が下位の信号又はその変形信号は、上記第1のグループより少ないチャンネル数からなる第２のグループのうち1チャンネルのディジタル信号または以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項５２】
請求項５１に記載の符号化方法において、上記第２のグループの上記ディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループのディジタル信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号を含み、
上記ステップ(a) は、第１量子化精度と第１サンプリング周波数のモノラル信号を圧縮符号化するステップをからなり、
上記ステップ(b) は、
上記モノラル信号の属性の階層を上記第２量子化精度と第２サンプリング周波数の信号にグレードアップした変換信号を生成するステップと、
上記変換信号と上記第２グループのチャンネル信号の成分との差分を第２グループの誤差信号として生成して符号化するステップと、
上記第１グループのチャンネル信号をチャンネル間直交変換して周波数領域信号を生成するステップと、
上記周波数領域信号の少なくとも１つと上記変換信号成分間の差分を上記第１グループの誤差信号として生成するステップと、
これら第１グループの誤差信号及び周波数領域信号をそれぞれ圧縮符号化するステップ、
とからなる。
【請求項５３】
請求項２１に記載の復号化方法において、
上記誤差信号は複数のチャンネルからなる第１のグループのうち、１チャンネルのディジタル誤差信号であり、
上記属性の階層が下位の復号信号又はその復号信号は、上記第１のグループより少ないチャンネル数からなる第２のグループのうち１チャンネルのディジタル復号信号又は２以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項５４】
請求項５３に記載の復号化方法において、上記第２のグループの上記ディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループのディジタル誤差信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号からなる第１グループとを含み、
上記ステップ(b) は主符号を復号してモノラル信号を再生し、
上記ステップ(a) は上記モノラル信号を上記第２量子化精度と第２サンプリング周波数にグレードアップした変換信号を生成し、第２グループの誤差符号を復号して第２グループの誤差信号を生成し、上記第1グループの１つの誤差信号と上記変換信号と加算して第２グループのチャンネル信号を再生し、
その加算結果と残りの周波数領域信号とを直行逆変換して時間領域信号の第２グループのチャンネル信号として再生することを特徴とする。
【請求項５５】
請求項１４に記載のディジタル信号符号化装置において、上記符号化する信号は複数のチャンネルからなる第1のグループのうち1チャンネルのディジタル信号であり、
上記属性の階層が下位の信号又はその変形信号は、上記第1のグループより少ないチャンネル数からなる第２のグループのうち1チャンネルのディジタル信号または以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項５６】
請求項５５に記載の符号化装置において、上記第２のグループの上記ディジタル信号は、第１量子化精度及び第１サンプリング周波数を有するモノラル信号と、上記モノラル信号より属性の階層が上位の第２量子化精度及び第２サンプリング周波数を有する複数のチャンネル信号とを含み、上記第１のグループのディジタル信号は上記第２量子化精度と第２サンプリング周波数を有し、上記第２グループのチャンネル信号の数と等しいかそれより多いチャンネル信号とを含み、
上記主符号生成手段は、第１量子化精度と第１サンプリング周波数のモノラル信号を圧縮符号化して主符号を生成する手段であり、
上記誤差信号符号化手段は、
上記モノラル信号をそれより属性の階層が上位の上記第２量子化精度と上記第２サンプリング周波数の信号にグレードアップした変換信号を生成するグレードアップ部と、
上記第２グループのチャンネル信号の成分と上記変換信号間の差分を第２グループの誤差信号として生成する第２グループ減算部と、
上記第２グループの誤差信号を圧縮符号化して誤差符号を出力する第１圧縮符号化部と、第１グループのチャンネル信号をチャンネル間直交変換して周波数領域信号を生成するチャンネル間直交変換部と、
上記周波数領域信号の少なくとも１つと、上記変換信号との間の差分を第２グループの誤差信号として生成する第１グループ減算部と、
上記周波数領域信号及び上記第２グループの誤差信号との間の誤差信号を第１グループの誤差信号として生成する第１グループの減算部、とからなる。
【請求項５７】
請求項３３に記載の復号化装置において、
上記誤差信号は複数のチャンネルからなる第１のグループのうち、１チャンネルのディジタル誤差信号であり、
上記属性の階層が下位の復号信号又はその復号信号は、上記第１のグループより少ないチャンネル数からなる第２のグループのうち１チャンネルのディジタル復号信号又は２以上の複数チャンネルのディジタル信号の線形結合であることを特徴とする。
【請求項５８】
請求項５７に記載の復号化装置において、上記信号合成手段は主符号を復号して上記モノラル信号を再生する主符号復号部と、
第２グループの誤差符号を復号して第２グループ誤差信号を生成する第２部ループ復号部と、
少なくとも１つの誤差符号を含む第１グループの符号を復号して周波数領域信号と第１グループ誤差信号とを生成する第１グループ復号部と、
上記モノラル信号を第２量子化精度と第２サンプリング周波数にグレードアップした変換信号を生成するグレードアップ部と、
上記変換信号と上記第２グループの誤差信号とを加算して第２グループのチャンネル信号を再生する第２グループの加算部と、
上記変換信号と上記第１グループの誤差信号とを加算し、その加算結果と上記周波数領域を直交逆変換して時間領域信号に変換し、第１グループのチャンネル信号として再生する直交逆変換部、
とからなる。
【請求項５９】
請求項１乃至１３、３９、４０、４１、５１、５２のいずれかに記載のディジタル信号の符号化方法の処理手順を記述したコンピュータで実行可能な符号化プログラム。
【請求項６０】
請求項２１乃至３２、４５、４６、４７、５３、５４のいずれかに記載のディジタル信号の符号を復号化する復号化方法の処理手順を記述したコンピュータで実行可能な復号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は音声、音楽、画像などのディジタル信号をより低い情報量に圧縮された符号に変換する符号化方法、その復号化方法、符号化装置、復号化装置、これらのプログラムに関する。
【０００２】
【従来の技術】
音声、画像などの情報を圧縮する方法として歪を許す非可逆な符号化と、歪を許さない可逆な符号化がある。非可逆な圧縮としてはITU-T(International Telecommunications Union-Telecom Standardization)やISO/IEC MPEG (International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group)の標準として種々の方法が知られている。これらの非可逆圧縮方法を使うとわずかの歪に押さえつつ、もとのディジタル信号を1/10以下までに圧縮することが可能である。しかし、その歪は符号化条件や入力信号に依存し、用途によっては再生信号の劣化が問題となる場合がある。
【０００３】
一方、もとの信号を完全に再現できる可逆な圧縮方法として、コンピュータのファイルやテキストの圧縮によく使われているユニバーサルな圧縮符号化が知られている。これはどのような信号に対しても圧縮が可能で、テキストなどには1/2程度まで圧縮できるが、音声や画像のデータに直接適用しても圧縮効果は２割程度にとどまる。
圧縮率の高い非可逆の符号化を行い、その再生信号と原信号の誤差を可逆に圧縮することを組み合わせることで高い圧縮率で可逆な圧縮が可能となる。この組み合わせ圧縮方法が特許文献１に提案されている。この方法は前記文献に詳細に示されているが、以下に簡単に説明する。
【０００４】
符号器では、ディジタル入力信号（以下、入力信号サンプル系列とも呼ぶ）が、フレーム分割部で、その入力信号サンプル系列が、例えば1024個の入力信号サンプルからなるフレーム単位に、順次分割され、このフレーム単位ごとにディジタル信号が非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記ディジタル入力信号が音声であればITU-TのG.729標準として勧告されている音声符号化などが利用でき、音楽であればMPEG-4で採用されているＴwin VQ (Transform-Domain Weighted Interleaved Vector Quantization)符号化などが利用でき、その他、前記文献で示す非可逆符号化法を用いることもできる。この非可逆圧縮符号は局部復号され、この局部信号と元のディジタル信号との誤差信号が生成される。なお、実際的には、局部復号はする必要なく、非可逆圧縮符号を生成する際に得られる量子化信号と元のディジタル信号との誤差を求めればよい。この誤差信号の振幅は通常は元のディジタル信号の振幅よりもかなり小さい。よって、もとのディジタル信号を可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【０００５】
この可逆圧縮符号化の効率を上げるために、この誤差信号の符号絶対値表現（極性と絶対値の２進数）されたサンプル列のフレーム内の全サンプルに対しそれらの各ビット位置、つまりＭＳＢ，第２ＭＳＢ，…，ＬＳＢ毎に、サンプル系列方向（時間方向）にビットを連結したビット列を生成する。即ち、ビット配列の変換が行われる。この各連結した同じビット位置の1024個のビットからなるビット列をここでは便宜上「等位ビット列」と呼ぶことにする。これに対し、各サンプルの極性も含む振幅値を表す１ワードのビット列を便宜上「振幅ビット列」と呼ぶことにする。誤差信号は振幅が小さいので、各サンプルの最上位から１つ又は連続する複数のビットは全て"０"となることが多い。そこで、それらのビット位置で連結して生成した等位ビット列を予め決めた符号で表すことによって、誤差信号の可逆圧縮符号化効率を上げることができる。
【０００６】
これら等位ビット列が可逆圧縮符号化される。可逆圧縮符号化としては、例えば、同一符号（１又は０）が連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などを用いることができる。
復号化側では、可逆圧縮符号が復号化され、その復号信号に対し、ビット配列の逆変換が行われ、即ち、フレーム毎に等位ビット列を振幅ビット列に変換し、得られた誤差信号が順次再生される。また、非可逆圧縮符号が復号化され、この復号信号と再生された誤差信号とが加算され、最後に、フレームごとの各加算信号が順次連結されて、元のディジタル信号系列が再生される。
【０００７】
【特許文献１】
特許出願公開2001-44847号公報
【０００８】
【発明が解決しようとする課題】
この発明の目的はディジタル信号を歪なく情報圧縮することと、階層化されたサンプルレートの選択を可能とする符号化方法、復号化方法、符号化装置、復号化装置、そのプログラムを提供することにある。
【０００９】
【課題を解決するための手段】
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号を符号化するディジタル信号符号化方法は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 符号化する信号と、その信号より属性の階層が下位の信号又はその変形信号との差分信号を生成するステップと、
(b) 上記差分信号を可逆符号化するステップと、
を含む。
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号を符号化するディジタル信号の符号化装置は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
符号化する信号と、その信号より属性の階層が下位の信号又はその変形信号との差分信号を生成する差分信号生成手段と、
上記差分信号を可逆符号化する差分信号可逆符号化手段、
とを含む。
【００１０】
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の符号を復号化する復号化方法は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 入力符号を復号化して差分信号を生成するステップと、
(b) 上記差分信号と、その差分信号より属性の階層が下位の復号信号又はその変形信号とを合成して復号化された信号を生成するステップ、
とを含む。
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の復号化装置は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
入力符号を復号して差分信号を生成する差分信号復号化手段と、
上記差分信号と、その差分信号より属性の階層が下位の復号化信号又はその変形信号とを合成して復号化信号を生成する信号合成手段、
とを含む。
【００１１】
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の符号化処理手順を記述したコンピュータで実行可能な符号化プログラムであり、上記処理手順は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 符号化する信号と、その信号より属性の階層が下位の信号又はその変形信号との差分信号を生成するステップと、
(b) 上記差分信号を可逆符号化するステップと、
を含む。
この発明によれば、ディジタル信号の属性であるサンプリング周波数の段階的な階層と量子化精度の段階的な階層の少なくとも一方が予め決められたディジタル信号の符号を復号化する復号化処理手順を記述したコンピュータで実行可能なプログラムであり、上記処理手順は、周波数の高いほうを上位、低いほうを下位とし、量子化精度の高いほうを上位、低いほうを下位とすると、
(a) 入力符号を復号化して差分信号を生成するステップと、
(b) 上記差分信号と、その差分信号より属性の階層が下位の復号信号又はその変形信号とを合成して復号化された信号を生成するステップ、
とを含む。
【００１２】
【発明の実施の形態】
第１実施例
この発明の第１実施例を図１を参照して説明する。図中には信号のサンプリングレート（周波数）も記号で示している。入力端子１１よりのディジタル信号はフレーム分割部１２でフレーム単位、例えば１０２４サンプルごとに分割され、フレームごとのディジタル信号はダウンサンプリング部１３で第１サンプリング周波数F1のディジタル信号からこれよりも低い第２サンプリング周波数F2のディジタル信号に変換される。この場合、その第２サンプリング周波数F2のサンプリングにより折り返し信号が生じないように低域通過フィルタ処理により高くとも周波数F2/2以上の高域成分が除去される。
【００１３】
第２サンプリング周波数F2のディジタル信号は、符号化部１４で非可逆又は可逆の圧縮符号化が行われ、主符号Imとして出力される。符号化部１４で非可逆の圧縮符号化を行う場合は、例えばこの主符号Imは局部復号部１５で復号され、復号された局部信号はアップサンプリング部１６で第２サンプリング周波数F2の局部信号から第１サンプリング周波数F1の局部信号に変換される。あるいは符号化部１４で量子化誤差が最小となるように非可逆符号化を行う場合は、そのとき得られる量子化信号が局部復号部１５の出力信号と同じなので、その量子化信号を一点鎖線で示すようにアップサンプリング部１６に与えてもよく、その場合は局部復号部１５は不要である。また、符号化部１４で可逆符号化を行う場合は、局部復号部１５の出力は符号化部１４の入力信号と同じになるので、局部復号部１５を省略し、図に二点鎖線で示すように符号化部１４の入力信号をアップサンプリング部１６に与えてもよい。いずれの場合も、アップサンプリング部１６に与える信号は主符号Imに対応したものであり、以下の実施例の説明においても便宜上局部信号と呼ぶことにするが、このように局部復号部を使用しないでもよいことは他の実施例についても当てはまる。
【００１４】
誤差算出部１７はこの第１サンプリング周波数F1の局部信号と、フレーム分割部１２よりの分岐された第１サンプリング周波数のディジタル信号との差分を誤差信号として算出し、配列変換・符号化部１８へ供給する。配列変換・符号化部１８の処理は後で述べるが、ビット配列変換部と可逆符号化部を備え、誤差信号を正しく、つまり可逆に復元することができる誤差符号Peに符号化する。この配列変換・符号化部１８よりの誤差符号Peと主符号Imは出力部１９で必要な形式にフォーマットされ、出力端子２１に出力される。
【００１５】
この発明による符号化装置１０から出力される符号系列信号は、伝送路を通して復号装置４０に送信してもよいし、あるいは一旦記録媒体に蓄積し、後に記録媒体から読み出された符号系列信号が復号化装置４０に与えられてもよい。伝送路を通して符号系列信号を送信する場合は、例えば出力部１９は主符号Imと誤差符号Peをそれぞれ所定の長さ（例えば１乃至複数フレーム分の長さ）ごとに必要に応じて優先度を付けてパケット化し、順次出力する。符号系列を記録媒体に蓄積する場合は、例えばフレームごとに主符号Imと誤差符号Peを結合して一連の結合符号列を形成し、接続されている装置のインタフェースに応じて複数並列ビットとして出力するか、シングルビット列として出力する。以下の説明では、主符号Imと誤差符号Peをパケットとして出力する場合を例に説明する。
【００１６】
復号化装置４０においては入力端子４１よりの受信パケットは入力部４２において主符号Imと誤差符号Peとに分離され、主符号Imは復号部４３で符号化装置１０の符号化部１４と対応した復号処理により非可逆又は可逆復号されて第２サンプリング周波数F2の復号信号が得られる。この第２サンプリング周波数の復号信号はアップサンプリング部４４でアップサンプリングされて第１サンプリング周波数F1の復号信号に変換される。この際、サンプリング周波数をF2より高くするために補間処理が行われ局部信号が得られる。
【００１７】
分離された誤差符号Peは復号・配列逆変換部４５で誤差信号を再生する処理が行われる。この復号・配列逆変換部４５の具体的構成及び処理については後で述べる。再生された誤差信号のサンプリング周波数は第１のサンプリング周波数F1であり、この誤差信号とアップサンプリング部４４からの局部信号とが加算部４６で加算され、再生ディジタル信号としてフレーム合成部４７へ供給される。フレーム合成部４７では各再生されたフレームごとのディジタル信号が順次結合されて出力端子４８に供給される。より現実的な構成では、破線で示すように誤差符号Peのパケットの欠落を検出する欠落検出部４９と、そのパケット欠落検出に基づいて復号誤差信号サンプルを補正する欠落補正部５８が復号・配列逆変換部４５の出力側に設けられているが、これらについては後で図６、７及び８を参照して詳細に説明する。
【００１８】
この構成によれば、主符号Imと誤差符号Peの両方を使用して原ディジタル信号と同一サンプリング周波数の高品質の信号を再生することができる。またパケットで符号化出力する場合に、主符号Imのパケットに高い優先度を与えることにより、誤差符号Peのパケットが失われた場合でも比較的品質の高い信号を再生することができる。また利用者によってはそれ程高品質のデータ信号を要望しない場合は、サンプリング周波数が原ディジタル信号より低い信号に基づく主符号Imのみを提供することにより少ない情報で、その割合に高い品質の信号を提供することができる。例えばネットワークでディジタル信号を送信する場合に、即ち、送信側においてはネットワークの条件（経路の通信容量やトラヒック）に応じて、あるいは受信側の要求に応じて主符号Imのみ又は主符号Imと誤差符号Peの両方を送るか選択の自由度がある。
符号化部１４として可逆符号化を行う場合は後で具体的に述べるが、配列変換・符号化部１８で行う処理と同様の処理を行ってもよい。その場合は復号部４３においても復号・配列逆変換部４５と同様な手法で復号処理を行う。
【００１９】
第２実施例
この発明の第２実施例は、データ信号のサンプリング周波数を多段階に階層化し、より多くの種類の品質の信号を選択的に提供することを可能としたものである。
図２に図１と対応する部分に同一参照符号を付けて示すように、この第２実施例では誤差算出部１７よりの第１サンプリング周波数F1の誤差信号はダウンサンプリング部２２でダウンサンプリングされて、第１サンプリング周波数F1より低いが第２サンプリング周波数より高い第３サンプリング周波数F3の誤差信号に変換される。例えばダウンサンプリング部１３では入力信号のサンプリング周波数F1を４分の１に下げてサンプリング周波数F2の信号を得る。ダウンサンプリング部２２では誤差信号のサンプリング周波数F1を２分の１に下げてサンプリング周波数F3の誤差信号を得る。即ち、サンプリング周波数をF1=4F2及びF1=2F3の関係に決める。
【００２０】
ダウンサンプリング部２２よりの第３サンプリング周波数F3の誤差信号は符号化部２３で非可逆又は可逆圧縮符号化され、従符号Ieとして出力される。この従符号Ieは局部復号部２４で復号され、第３サンプリング周波数F3の局部信号が出力され、この第３サンプリング周波数の局部信号はアップサンプリング部２５でアップサンプリングされ、第１サンプリング周波数F1の局部信号に変換される。この第１サンプリング周波数の局部信号と誤差算出部１７よりの第１サンプリング周波数の誤差信号との誤差が誤差算出部２６で誤差信号として算出され、この誤差信号は配列変換・符号化部１８へ供給され、後述の配列変換・符号化部により誤差符号Peが生成される。局部復号部２４も局部復号部１５と同様に省略することができ、例えば、符号化部２３で非可逆符号化を行う場合は、誤差が最小となるように符号化部２３の入力信号を量子化する処理で得られる量子化信号をアップサンプリング部２５に与えればよい。または、符号化部２３で可逆符号化を行う場合は、その符号化部２３の入力信号をアップサンプリング部２５に与えればよい。以下の他の実施例においても同様に、局部復号部１５、２４を省略した構成が可能な場合はそれらのブロックを破線で示す。出力部１９は主符号Imと従符号Ieと誤差符号Peをパケット化し、必要に応じて情報データに優先度をつけて出力する。
【００２１】
復号化装置４０においては入力部４２で受信パケットから主符号Imと従符号Ieと誤差符号Peを分離し、主符号Imは復号部４３に供給され、誤差符号Peは復号・配列逆変換部４５へ供給され、それぞれ図１に示した復号部４３及び復号・配列逆変換部４５における主符号Imと誤差符号Peに対する処理と同様な処理が行われ、サンプリング周波数F2の主信号とサンプリング周波数F1の誤差信号が得られる。
従符号Ieは復号部２７で復号され、第３サンプリング周波数F3の復号従信号が再生される。この復号部２７は符号化装置１０の符号化部２３の符号化方法と対応した復号処理を行うものである。第３サンプリング周波数F3の復号信号はアップサンプリング部５２で第１サンプリング周波数F1の復号信号に変換され、この第１サンプリング周波数の復号信号とアップサンプリング部４４よりの第１サンプリング周波数の復号信号とが加算部４３で加算され、この加算された第１サンプリング周波数F1の復号信号と復号・配列逆変換部４５よりの第１サンプリング周波数F1の誤差信号とが加算部４６で加算されて、再生ディジタル信号としてフレーム合成部４７へ供給される。
【００２２】
アップサンプリング部４４では前記符号化装置でのサンプリング周波数の関係の場合、サンプリング周波数F2を４倍にしてサンプリング周波数F1にし、アップサンプリング部５２ではサンプリング周波数F3を２倍に変換してサンプリング周波数F1にする。
この構成によればすべての情報、つまりIm，Ie，Peが正しく得られれば高いサンプリング周波数F1の原ディジタル信号を得ることができる。再生誤差信号を得ることができない場合においては、図中破線で示すように復号部４３よりの第２サンプリング周波数F2の復号信号をアップサンプリング部５４で第３サンプリング周波数F3の復号信号に変換し、この信号と復号部２７よりの復号信号とを加算部５５で加算して再生ディジタル信号としてフレーム合成部４７へ供給することにより原ディジタル信号よりは、わずか品質が低下するが、サンプリング周波数F3の品質のディジタル信号を高能率圧縮符号化した符号から得ることができる。
【００２３】
更に符号化効率を上げる場合は主符号Imの復号信号、つまり復号部４３からの第２サンプリング周波数F2の復号信号のみを再生ディジタル信号としてフレーム合成部４７へ供給することができる。
例えば原ディジタル信号として第１サンプリング周波数F1が192kHzの音楽信号とし、第３サンプリング周波数F3を96kHzとし、第２サンプリング周波数F2を48kHzとすると、一般にはサンプリング周波数48kHzの再生ディジタル信号でもコンパクトディスク（ＣＤ）並の高い品質が得られ、これで良いとする利用者の復号化装置４０には主符号Imのみを用いて、つまり少ない情報量で高品質の情報を提供することができ、サンプリング周波数がより高い96kHzの再生ディジタル信号を望む利用者には主符号Imと従符号Ieを用いることにより高い圧縮率でＣＤより高品質の信号を提供することができる。更に高いサンプリング周波数の信号が欲しい利用者の復号化装置４０にはImとIeとPeを用いることにより192kHzの原ディジタル信号を再生することができる。
【００２４】
第２実施例の変形
サンプリング周波数を多段に変更する第２実施例の変形例を図３を参照して説明する。図３において図２と対応する部分に同一参照符号をつけてある。符号化装置１０においてこの例ではフレームごとのディジタル信号は複数段のダウンサンプリング部を経て符号化部１４へ供給する。図ではダウンサンプリング部１３とダウンサンプリング部２７を用いた２段構成とした場合で、第１サンプリング周波数F1の信号が入力されるダウンサンプリング部１３の出力信号のサンプリング周波数は前記例の第３サンプリング周波数F3であり、その第３サンプリング周波数F3の信号が入力されるダウンサンプリング部２７の出力信号のサンプリング周波数は第２サンプリング周波数F2である。符号化部１４よりの主符号Imを復号して得た局部信号のサンプリング周波数F2がアップサンプリング部１６で符号化部１４の直前のダウンサンプリング部２７の入力信号のサンプリング周波数つまり第３サンプリング周波数F3の局部信号に変換される。前記サンプリング周波数の関係の場合はダウンサンプリング部１３及び２７でそれぞれサンプリング周波数を２分の１に変換する。この第３サンプリング周波数F3の局部信号とダウンサンプリング部２７の入力信号との誤差が誤差算出部５２で誤差信号として算出され、この誤差信号は符号化部２３で非可逆又は可逆の好ましくは高圧縮符号化により符号化されて従符号Ieとして出力される。
【００２５】
この従符号Ieは局部復号部２４で復号され第３サンプリング周波数F3の局部信号が得られる。この局部信号とダウンサンプリング部２７の入力信号とが加算部２９で加算され、この加算された第３サンプリング周波数の局部信号はアップサンプリング部２５で第１サンプリング周波数の加算局部信号に変換される。この加算局部信号とフレーム分割部１２からの出力より分岐されたディジタル信号との誤差が誤差算出部１７で誤差信号として算出され、この誤差信号が配列変換・符号化部１８へ供給され誤差符号Peが生成される。誤差符号Peと主符号Imと従符号Ieが出力部１９で結合されて出力される。
【００２６】
なお、この図３に示した変形実施例の符号化装置１０においても、図１及び２の符号化装置の場合と同様に局部復号部１５及び２４を使用しないで、それぞれ符号化部１４、２３における量子化信号をアップサンプリング部１６、加算部２９に与える（符号化部１４、２３が非可逆符号化を行う場合）か、または符号化部１４、２４の入力信号をそれぞれアップサンプリング部１６、加算部２９に与える（符号化部１４、２３が可逆符号化を行う場合）ように構成してもよい。
【００２７】
復号化装置４０においては入力部４２で端子４１からの入力パケットは主符号Im、従符号Ie、誤差符号Peに分離され、それぞれ復号部４３、復号部５１、復号・配列逆変換部４５で各局部信号と誤差信号が再生されることは図２に示した場合と同様である。復号部４３よりの第２サンプリング周波数F2の復号信号はアップサンプリング部４４でこの例では第３サンプリング周波数F3の復号信号に変換され復号部５１よりの第３サンプリング周波数F3の復号信号と加算部５３で加算される。この加算復号信号はアップサンプリング部５２で第１サンプリング周波数の復号信号に変換され、この復号信号と復号・配列逆変換部４５よりの第１サンプリング周波数F1の誤差信号と加算部４６で加算され再生ディジタル信号としてフレーム合成部４７へ供給される。
【００２８】
なお誤差信号を再生するに十分な情報が得られない場合、あるいは誤差符号Peが入力されない場合は加算部５３よりの第３サンプリング周波数F3の加算復号信号が再生ディジタル信号としてフレーム合成部４７へ供給される。さらに主符号Imのみしか得られない場合は復号部４３よりの第２サンプリング周波数F2の復号信号が再生ディジタル信号としてフレーム合成部４７へ供給される。
図２及び図３に示した第２実施例では２段階にサンプリング周波数を変換したが更に３段階以上サンプリング周波数を変換して同様な符号化及び復号化をすることもできる。
【００２９】
配列変換・符号化部
上述の図１、２及び３に示した各符号化装置の実施例中の配列変換・符号化部１８の具体例を図４を参照して説明する。誤差算出部１７（図２では２６）よりの誤差信号は補助情報生成部１８Ｅへ供給される。補助情報生成部１８Ｅ内の有効桁数検出部18E5でフレームごとに、そのフレーム内の誤差信号サンプルの絶対値の最大値を表現する桁数が有効桁数Feとして検出される。また各誤差信号サンプルはその有効桁数以内の部分のみがビット配列変換部１８Ａによりそれぞれのサンプルにおける同一ビット位置のビットが、等位ビット列として取り出される。
【００３０】
ビット配列変換部１８Ａよりの等位ビット列は伝送記録単位分割部１８Ｂで伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは必要に応じて、可逆圧縮符号化部１８Ｃにより可逆圧縮符号化され、誤差データ符号Ineとして補助符号付加部１８Ｄに与えられる。補助符号付加部１８Ｄは後述の補助情報符号化部１８Ｆからの補助符号Inxを誤差データ符号Ineに付加して誤差符号Peとして出力する。
ビット配列変換の例を図５Ａに示す。極性符号と絶対値表現された各誤差信号サンプルの振幅ビット列は図５Ａ中の左側の各縦の列で示されており、それらの振幅ビット列の１フレーム分がサンプル方向に順次配列されている。１つの振幅ビット列の様子を理解し易いように、振幅を跨いだ振幅ビット列DV(k)を太線で囲んで示す、ｋはフレーム内の時刻を表わし、例えばk=1, 2, …, 1024である。この例では各振幅ビット列DV(k)の極性符号を絶対値のＭＳＢと隣接させ、図ではＭＳＢ（Most Significant Bit：最上位ビット）の直上に極性符号を位置させている。
【００３１】
極性絶対値表現された誤差信号が有効桁数検出部18E5へ供給され、その誤差信号の振幅ビット列の１フレーム内で最もＭＳＢに近い桁に"1"がある所を検出、ＬＳＢ（Least Significant Bit：最下位ビット）からその桁までの桁数が有効桁数Feとして求まる。この１フレームの誤差信号中のこの有効桁数以内の部分LBPのみと極性符号とを等位ビット列に変換する。つまり有効桁数より上の桁からＭＳＢまでの部分HBPは等位ビット列に変換する必要はない。
このようなサンプル配列データを、図５Ａの右側に示すようにこの例ではまず各サンプル（振幅ビット列）の振幅の数値の極性ビット（符号）のみをフレーム内で時間方向に連結したビット列を等位ビット列として抽出する。次に有効桁数Fe以内の最も上位の桁のみをフレーム内で連結した等位ビット列を抽出し、同様にして、順次、各桁（対応ビット位置）ごとに時間方向に連結した等位ビット列を抽出し、最後にＬＳＢのみをフレーム内で連結した等位ビット列を抽出する。これら抽出した等位ビット列の１つの例を図５Ａ中右側の水平配列において太枠でDH(i)として示す。ｉは等位ビット列を構成するビットの、配列変換前の振幅ビット列におけるビット位置を示す。以上のビット配列変換ではビット列を構成する各ビットの内容は全く変らない。
【００３２】
なお各誤差信号サンプルが２の補数で正負の整数で表現されている場合のサンプル列のビット配列変換を行う場合は、例えば図５Ｂに１フレーム分の振幅ビット列を示すように、サンプルの絶対値の最大値を表現する桁より上位の桁の部分（図５Ｂ中の部分HBPで示す）は、振幅ビット列が正の値であれば、全て"０"となり、負の値であれば全て"１"となる。それ以外の部分LBPの桁数が有効桁数Feとして図４の有効桁数検出部18E5で検出される。この有効桁部分LBPとこれと隣接したビット位置（桁）、つまり極性符号についてのみ、等位ビット列への変換を行えばよい。
【００３３】
伝送記録単位分割部１８Ｂで、各等位ビット列DH(i)ごとに又は互いに隣接する複数の等位ビット列DH(i)ごとに伝送記録単位データに分割する。この場合、１フレーム中において、伝送記録単位データとして１つの等位ビット列で構成されるものと複数の等位ビット列で構成されるものとが混在してもよい。このように分割された各伝送記録単位データは可逆圧縮部１８Ｃで可逆圧縮符号化され、誤差データ符号Ineとして補助符号付加部１８Ｄに与える。
出力部１９は、例えば図５Ｃに示すようにその伝送記録単位データの誤差符号をペイロードPYLに格納し、そのペイロードPYLにヘッダHDを付加する。ヘッダHDは例えばフレーム番号とフレーム内の伝送記録単位データの番号（出力順の番号）よりなるパケット番号PKTNと、必要に応じてそのパケットの優先度PRIO及びデータ長DTLが設けられ、復号側で各フレームごとに誤差信号サンプル列を再構成できるようにされる。
【００３４】
データ長DTLは伝送記録単位データ（ペイロード）PYLのデータ長が固定であれば必要ないが、可逆圧縮部１８Ｃで圧縮された場合などはデータ長がパケットにより異なるため必要となる。更に一般にはパケット全体に誤りが生じているか否かを検出するためのＣＲＣ符号などの誤り検出符号EDが最後に付加されて１つのパケットPKTが構成される。主符号Im及び従符号Ieについても同様にしてパケット化を行い、これら誤差符号Pe、主符号Im及び従符号IeのパケットPKTは順次出力端子２１に出力される。
パケットPKTに優先順位がつけられる場合は、ＭＳＢ側に近い対応伝送記録単位データを含むもの程高い優先度を与える。優先度は例えば２〜５段階程度に設定される。極性符号の等位ビット列に最も高い優先度を与え、次に主符号Imを表すビット列、従符号Ieを表わすビット列の順に優先度を与える。
【００３５】
図４の説明に戻って、有効桁数検出部18E5で検出した有効桁数Feが補助情報符号化部１８Ｆで符号化されて送出される。図４の例では更に、フレームごとに誤差信号のサンプル列からスペクトル包絡算出部18E4でスペクトル包絡を表現するパラメータ列LPCが、例えば線形予測分析により線形予測係数として求められ、またパワー算出部18E1でフレームごとの誤差信号の平均パワーPWが算出される。あるいはスペクトル包絡算出部18E4で求めた線形予測係数列に基づき構成した逆フィルタ18E2に誤差信号を入力してそのスペクトル包絡で正規化することにより平坦化処理し、その平坦化された信号の平均パワーがパワー算出部18E3で求められる。これら線形予測係数LPC及び平均パワーPWも補助情報符号化部１８Ｆにより、例えば３０〜５０ビット/秒程度の低ビットで量子化し、それらの量子化値を代表する符号を補助符号Inxとして出力する。この有効桁数Fe、スペクトル包絡のパラメータ列LPC、平均パワーPWを符号化した補助符号Inxは出力部１９へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。
【００３６】
上述の配列変換・符号化部は、フレームごとにサンプルの最大有効桁数を検出して、その有効桁内のビットを配列変換する場合を説明したが、それよりも多少は効率が劣るが、有効桁を検出せず、サンプル列の最下位ビットから最上位ビットまでの全ビットをビット配列変換処理して符号化してもよい。
【００３７】
復号・配列逆変換部
前述の配列変換・符号化部１８と対応する復号・配列逆変換部４５の具体例を欠落補正部５８の具体例とともに図６に示す。復号・配列逆変換部４５は、分離部４５Ａと、可逆伸張部４５Ｂと、伝送記録単位統合部４５Ｃと、ビット配列逆変換部４５Ｄとから構成されている。また、欠落補正部５８は補助情報復号部５８Ｄと、スイッチ５８Ａと、欠落情報補正部５８Ｂと、桁合わせ部５８Ｃとから構成されている。
【００３８】
入力部４２で分離された誤差符号Peのパケットは分離部４５Ａにおいて誤差データ符号Ineと、補助符号Inxとに分離される。誤差データ符号Ineは可逆伸張部４５Ｂへ供給され、補助符号Inxは欠落補正部５８の補助情報復号部５８Ｄへ供給される。補助情報復号部５８Ｄは当該フレームの有効桁数Fe、スペクトル包絡を表すパラメータ列LPC及び平均パワーPWを示す符号を復号し、有効桁数Feを桁合せ部５８Ｃへ供給し、スペクトル包絡パラメータ列LPC及び平均パワーPWを欠落情報補正部５８Ｂへ供給する。
【００３９】
誤差データ符号Ineは可逆伸張部４５Ｂで可逆復号され、得られた伝送記録単位の誤差データは伝送記録単位統合部４５Ｃでそのパケット番号に基づき、複数のパケットから１フレーム分の誤差データが、例えば図５Ａの右側の等位ビット列の配列に示すように統合される。この統合された等位ビット列はビット配列逆変換部４５Ｄで振幅ビット列、つまりサンプル列（波形）に変換される。この際、各サンプルが極性符号と絶対値で表現したものから伝送記録単位データが作られたものである場合はビット配列逆変換部４５Ｄで、図５Ａで説明したビット配列変換と逆に図５の右側に示す等位ビット列を図５Ａの左側に示すように振幅ビット列に配列変換して誤差信号サンプル列として出力する。この配列逆変換は、伝送記憶単位統合部４５Ｃからのそれぞれの誤差データ等位ビット列中の、符号化装置１０における同一サンプルに属するビットを抽出して一サンプルの振幅ビット列を構成することである。
【００４０】
なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接配列変換したものに基づくものである場合は、図５Ｂにおいて右側に示す等位ビット列の配列を左側に示す振幅ビット列の配列に変換するが、その処理は上述の極性値と絶対値から構成されたサンプルの場合の配列逆変換と同じである。ビット配列逆変換部４５Ｄからの誤差信号サンプルは桁合わせ部５８Ｃに与えられる。桁合せ部５８Ｃでは各振幅ビット列に対し、復号有効桁数Feに応じた桁合せをする。つまり本来の振幅ビット列のビット数（桁数）になるように、その振幅ビット列の上位に図５Ａの桁部分HBPに対応して"0"を加える。サンプルが２の補数で表現されている場合は、例えば図５Ｂにおける桁部分HBPに対し、極性符号が正であれば"0"を、負であれば"1"を付け加える。このようにして桁合せされた振幅ビット列は、再生誤差信号サンプル列（即ち復号誤差信号サンプル列）として出力される。
【００４１】
パケット欠落が生じている場合は、受信されたパケットのパケット番号から欠落パケット番号が欠落検出部４９で検出され、これによりスイッチ５８Ａが切替えられてビット配列逆変換部４５Ｄよりの振幅ビット列は桁合せ部５８Ｃへ直接供給されることなく、欠落情報補正部５８Ｂへ供給され、欠落情報に対する補正が振幅ビット列（サンプル）に対し行われて、その後、桁合せ部５８Ｃへ供給される。
【００４２】
欠落情報補正部５８Ｂにおける補正は既知の情報から欠落した情報を推定して行う。一部のパケット、通常優先度の低いＬＳＢ側のビットのパケットが欠落した場合、その欠落部分に対応する数値が確定できないので小さい数値、例えば０か、その欠落部分のとり得る最小値と最大値の中央値を使って波形を再生せざるを得ない。この場合ＭＳＢ側の確定したビット数の精度は保てるが、聴覚的ひずみは大きい。この理由は原音のスペクトルは低域にエネルギーが偏る場合が多く、これに対してビットの欠落によるひずみ成分は平坦に近いスペクトル形状となるので、その高域成分が原音より大きく、再生すると受聴者は雑音として聞こえてしまう。そこで不確定の成分のスペクトルが平均的なスペクトルまたはフレーム毎に確定したスペクトルに近似するように不確定な波形の値を補正する。これにより、補正後の歪み成分のスペクトルは高域成分が小さくなり、ひずみが原音にマスクされて品質が改善される。
【００４３】
つまり、過去の数フレームの平均的スペクトル、又は後で述べるように補助情報の復号結果として得られたそのフレームにおける確定したスペクトルに、当該フレームの欠落情報以外の情報から得られるスペクトルが近似するように、欠落情報に対する補正を行う。この補正の好ましい手法は後で述べる。簡単な補正法としては、欠落情報補正部５８Ｂでその入力再生サンプル列を低域通過フィルタに通して平滑化して高域の雑音成分を除去すればよい。その低域通過フィルタの遮断特性は、原信号のスペクトル形状（包絡）が予め知られていれば、その特性に応じてカットオフ周波数より高域成分を減衰させるように選定する。あるいは、前述のように平均的なスペクトルを求め又はフレームごとの確定したスペクトルの形状に合せて遮断特性を適応的に変更してもよい。
【００４４】
このように復号・配列逆変換部４５でパケット欠落にもとづく情報欠落を補正できるため、必要に応じてＬＳＢ側パケットを意図的に送らず、符号化圧縮効率を大としても、復号・配列逆変換部４５で可逆復号が可能となる、あるいは聴感上問題にならない程度の誤差を持った再生を行うことができる。
あるいは欠落情報（ビット）のとり得る値の総ての組み合せを、各サンプル値に加算し、補正サンプル列（波形）の候補を作り、これら候補のスペクトル包絡を求め、そのスペクトル包絡が補助情報の復号スペクトル包絡と最も近いものと対応する補正サンプル列（波形）候補を、補正サンプル列として桁合せ部５８Ｃへ出力する。なお図４、図６において可逆圧縮部１８Ｃ、可逆伸張部４５Ｂを省略してもよい。
上述の復号・配列逆変換部の説明は、符号化装置１０側でサンプルの有効桁を検出して有効桁内のビットを配列変換した場合に対応した処理について説明したが、符号化装置１０で有効桁を検出せず、サンプル列の全ビットを配列変換する場合は、復号化装置４０において桁合わせは不要となる。
【００４５】
補助情報による補正
欠落情報のとり得る値の総ての組み合せを用いて補正サンプル列の候補を作る場合、欠落情報（ビット）が多くなると、補正サンプル列（波形）候補が著しく多くなることにより処理量が増大し、非現実的になるおそれがある。このような問題がないようにする欠落情報補正部５８Ｂの処理、及びその機能構成について以下に説明する。
【００４６】
図７にその処理手順の一例を、図８に機能構成の一例をそれぞれ示す。まず暫定波形生成部58B1に配列変換部４５Ｄから入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る最小値と最大値の中間値とする。例えば下位４ビットが欠落しているとすると、０〜１５までのレベルのどれかが正しい値であるが、仮に８または７に設定する。
【００４７】
次にこの暫定波形のスペクトル包絡をスペクトル包絡算出部58B2で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡を推定できる。誤差計算部58B3で、この推定したスペクトル包絡と補助情報として送られた原音のスペクトル包絡、つまり補助情報復号部５８Ｄで復号されたスペクトル包絡とを比較して誤差が予め決めた許容範囲内であればスイッチSW1を制御して暫定波形を補正された再生誤差信号として出力する（Ｓ３）。
【００４８】
ステップＳ３において、推定スペクトル包絡形状と復号スペクトル包絡波形状との誤差が許容範囲より大きいときには、まず推定したスペクトル包絡の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めたスペクトル包絡を表すパラメータを例えば全極型の線形予測の逆フィルタ（全零型）58B4に設定し、暫定波形生成部58B1からスイッチSW2を通して与えられた暫定波形を逆フィルタ58B4に通すことで暫定波形のスペクトルを平坦化して平坦化信号を得る。この平坦化信号の平均パワーをパワー計算部58B5で計算し、この平均パワーと、補助情報復号部５８Ｄからの復号された平均パワーPW（図４における平坦化パワー算出部18E1の出力）とから補正量を補正量計算部58B6で計算し、例えば両者の比又は差をとり、その補正量により、パワー補正部58B7で逆フィルタ58B4の出力パワー値に対し振幅補正を行う。つまり、逆フィルタ58B4の出力に対し補正量を乗算又は加算して、パワー補正部58B7の出力パワー値を復号パワー値に合せる（Ｓ５）。
【００４９】
次にこの振幅補正された平坦化信号に対して補助情報のスペクトル包絡の特性を与えてスペクトル包絡を補正する（Ｓ６）。すなわち補助情報の復号スペクトル包絡を表わすパラメータLPCを用いた全極型の合成フィルタ58B8にパワー補正部58B7の出力を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原誤差信号に近いものになる。
ただしこのスペクトル補正波形はすでに確定している桁のビットと矛盾する可能性があるので、正しい値に修正部58B9で修正する（Ｓ７）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各サンプルのとりうる値には１６の範囲の不確定があるが、スペクトル補正波形と最も近い値に修正する。つまり各サンプルにおいて補正したサンプル値がとり得る範囲から外れた場合はとり得る範囲の限界値に修正する。たとえば上位１２ビットの補正サンプル値が正しい１２ビットのサンプル値より大きければ、補正サンプル値の上位１２ビットを正しいサンプル値に修正して補正サンプル値の下位４ビットを全て"1"（上限）にし、小さければ全て"0"（下限）にする。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原誤差信号に近い波形が再生できる。
【００５０】
この修正波形をステップＳ１の暫定波形としてステップＳ２以後の処理を繰り返すことができる。なお復号有効桁数がフレーム毎に異なる場合で、スペクトル包絡算出部58B2の線形予測分析、逆フィルタ58B4、合成フィルタ58B8の各処理の対象となるサンプルが現在のフレームと過去のフレームにまたがる場合がある。この場合には処理の対象は現在のフレームであっても、一つ過去のフレームの有効桁数を現在のフレームの有効桁数をそろえたうえで分析やフィルタ処理を行う必要がある。一つ過去のフレームの有効桁数が現在のフレームの有効桁数よりＮ桁小さい場合には、一つ過去のフレームのサンプルを例えばＮ桁下位にシフトさせて振幅値を縮小させてその有効桁数を現在のフレームの有効桁数に合わせる。逆に一つ過去のフレームの有効桁数が現在のフレームの有効桁数よりＭ桁大きい場合には、過去のフレームのサンプルを例えば浮動小数点表示などで一時的にＭ桁上位にシフトして振幅値を拡大させてその有効桁数を現在のフレームの有効桁数に合わせる。この場合、上位シフトによりレジスタから溢れ出て情報の欠落が大きいときにはその過去のフレームのサンプルの振幅値の精度が落ちているので、過去のフレームのサンプルを使わない、あるいは現在のフレームのサンプルに対する補正処理を省略してもよい。
【００５１】
このような有効桁数の補正は図７中に破線で示すように、ステップＳ２の分析処理に必要な場合はその前に、前述した有効桁数補正を行い（Ｓ２′）、ステップＳ４の逆フィルタ処理に必要な場合は、その前に有効桁数補正を行い（Ｓ４′）、ステップＳ６の合成フィルタ処理に必要な場合は、その前に有効桁数補正を行う（Ｓ６′）。また図８において、スペクトル包絡算出部58B2、逆フィルタ58B4、合成フィルタ58B8中の過去のフレームのサンプルを必要とするものに対しては破線で示すように補助情報復号部５８Ｄから復号された有効桁数Feも供給され、これらスペクトル包絡算出部58B2、逆フィルタ58B4、合成フィルタ58B8において、過去のフレームのサンプルに対する有効桁数を現在フレームの有効桁数に合せる処理を行った後、その本来の処理を行うようにされる。
【００５２】
なお波形（サンプル値）は整数値が前提であるが、フィルタ計算では実数扱いとなり、フィルタの出力値の整数化が必要になる。合成フィルタの場合にはサンプルごとに整数化するか、フレーム毎にあとで一括して整数化するかで結果は異なるが、どちらも可能である。
図７及び図８中に破線で示すように、ステップＳ４で暫定波形を平坦化した後、まずこの平坦化された暫定波形（平坦化信号）を合成フィルタ58B8へ通して、スペクトル包絡補正した再構成サンプル系列（波形）を得（Ｓ５′）、そのスペクトル包絡補正された波形に対しパワー補正部58B7'で振幅補正をして（Ｓ７′）ステップＳ７に移るようにしてもよい。この場合は、合成フィルタ58B8よりのスペクトル包絡補正された波形の平均パワーがパワー計算部58B5'で計算され、この平均パワーと、補助情報の復号パワーPW（図４中のパワー計算部１８Ｅの出力に対応）とにより補正量計算部58B6'で補正量が求められ、その補正量により合成フィルタ58B8の出力に対してパワー補正部58B7'で振幅補正が行われる。
【００５３】
図７に示した処理中のステップＳ３の後、ステップＳ２において推定したスペクトル包絡の逆フィルタ58B4と、補助情報の復号スペクトル包絡の合成フィルタ58B8とを組み合わせたひとつの合成フィルタ58B8'のフィルタ係数を合成スペクトル包絡計算部58B10で計算し、その係数を設定した合成フィルタ58B8'に暫定波形を通してスペクトル包絡を補正した波形を合成し、そのスペクトル包絡が補正された波形に対し振幅補正を行ってもよい。また符号化装置１０におけるビット配列変換部１８Ａが図５Ａ及び５Ｂで示した有効桁数Feを検出せず、全振幅ビット列を等位ビット列に配列変換する場合は、有効桁数検出部18E5と、それに関連する復号化装置４０における桁合せ部５８Ｃを省略してもよい。更に必ずしも伝送記録単位に分割しなくてもよく、パケット化しなくてもよい。パケット化する場合は第１〜第３実施例における主符号Im、従符号Ie、その他の符号もパケット化する。
【００５４】
なおこの明細書においては情報量を調整するために意図的に１フレーム中のパケットを除去したために、復号化器において１フレーム中のパケットが全て入力されない場合、あるいは通信網のトラヒック輻輳による交換局などで一部パケットを送出しないために基づく、又は伝送路障害、記録再生装置の異常などに基づくパケット欠落の場合、あるいは入力されたパケット中に誤りがあり、その伝送記録単位データを解読できず、使用することができない場合、またあるパケットが異常に遅延した場合などを総称してパケット欠落と記す。
以上説明した第１及び第２実施例によれば原ディジタル信号をそのサンプリング周波数を変換して符号化し、誤差信号は原信号のサンプリング周波数として少くとも等位ビット列として出力するため各種要求に応じた品質の信号を再生することができる。
【００５５】
第３実施例
前述の図１、２及び３の実施例では、配列変換・符号化部１８において誤差算出部１７又は２６からの誤差信号を配列変換・符号化した例を説明したが、誤差信号の予測誤差を配列変換・符号化してもよい。その例を図１の符号化装置１０に適用した構成と、それに対応する復号化装置４０の構成を図９に示す。
この構成は図１の符号化装置１０における誤差算出部１７と配列変換・符号化部１８との間に予測誤差生成部３１を設け、復号化装置４０における復号・配列逆変換部４５と加算部４６との間に予測合成部５６を設けた構成であり、その他の部分の構成は図１の場合と同様である。
【００５６】
予測誤差生成部３１は例えば図１０Ａに示すように、予測分析部31Aと、サンプルレジスタ31Bと、線形予測部31Cと、整数化部31Dと、減算部31Eとから構成されている。例えば誤差算出部１７よりの直前の過去の誤差信号の複数サンプルがサンプルレジスタ31Bより線形予測部31Cへ供給され、これらサンプルに対し、予測分析部31Aよりのスペクトル包絡パラメータ列に基づく線形予測係数LPCが畳み込み演算されて線形予測値が求められる。この線形予測値は整数化部31Dで整数値とされ、整数の予測値と誤差算出部１７からの誤差信号の現サンプルとの差が減算部31Eで求められて、予測誤差信号Speが得られ、この予測誤差信号Speは配列変換・符号化部１８に入力される。
【００５７】
あるいは図１０Ｂに示すように、予測誤差生成部３１を予測分析部31Aと線形予測部31Cと、整数化部31Dと、減算部31Eとにより構成し、誤差算出部１７からの誤差信号を予測分析部31Aで線形予測分析してその予測係数LPCを求め、線形予測部31Cでその予測係数LPCと誤差信号の対応するサンプルを畳み込み演算して予測信号を得る。その予測信号を整数化部31Dで整数化し、減算器31Eにより整数化予測信号と入力誤差信号との差を予測誤差信号Speとして求める。得られた予測誤差信号Speは配列変換・符号化部１８に与えられる。また、予測分析部31Aで求められた予測係数LPCの量子化値に対応する係数符号Icを図９の破線で示すように出力部１９に与える。
【００５８】
上述した各実施例において符号化装置１０、復号化装置４０はそれぞれコンピュータにより符号化プログラム、復号化プログラムを実行させて機能させることもできる。これらの場合は、そのコンピュータのプログラムメモリに、可逆符号化プログラム、可逆復号化プログラムを、ＣＤ−ＲＯＭ、可撓性磁気ディスクなどから、又は通信回線を通じてダウンロードして利用することになる。
このようにして得られた予測誤差信号Speは配列変換・符号化部１８において前述したと同様にビットの配列変換を行い、符号化して誤差符号Peを生成し、出力部１９に与える。出力部１９は誤差符号Peを主符号Im及び必要に応じて係数符号Icをパケット化し、出力端子２１より出力する。
【００５９】
復号化装置４０においては入力部４２よりの分離された誤差符号Peは復号・配列逆変換部４５で復号化され、等位ビット列が得られ、それら等位ビット列の1フレーム分が振幅ビット列に配列変換され、予測誤差信号が再生される。この予測誤差信号から予測合成部５６で予測合成により誤差信号が再生される。この予測合成部５６は符号化装置１０の予測誤差生成部３１の構成と対応したものとされる。すなわち予測誤差生成部３１が図１０Ａに示した構成をとる場合の復号化装置４０における予測合成部５６は、例えば図１１Ａに示すように、線形予測部５６Ａと、加算部５６Ｂと、予測分析部５６Ｃと、整数化部５６Ｄとから構成されている。
【００６０】
線形予測部５６Ａで生成した予測信号と加算部５６Ｂよりの再生誤差信号との誤差のパワーが最小になるように予測分析部５６Ｃにより予測係数が決定され、その予測係数が線形予測部５６Ａで加算部５６Ｂよりの過去の複数の再生誤差信号サンプルに対し畳み込み演算されて予測信号が予測信号生成部５６Ａより出力される。この予測信号は整数化部５６Ｄで整数値とされ、この整数値の予測信号と復号・配列逆変換部４５よりの予測誤差信号とが加算部５６Ｂで加算されて誤差信号が再生出力される。
符号化装置１０の予測誤差生成部３１が図１０Ｂに示した構成の場合の復号化装置４０における予測誤差生成部５６は、例えば図１１Ｂに示すように、予測信号生成部５６Ａと、加算部５６Ｂと、整数化部５６Ｄと、係数復号部５６Ｅとから構成されている。
【００６１】
入力部４２で分離された係数符号Icが係数復号部５６Ｅで復号され、この復号により得られた線形予測係数が予測信号生成部５６Ａにおいて復号・配列逆変換部４５よりの予測誤差信号に対し畳み込み演算されることにより予測信号を生成し、得られた予測信号は整数化部５６Ｄで整数値とされこの整数値の予測信号と復号・配列逆変換部４５よりの予測誤差信号とが加算部５６Ｂで加算されて誤差信号が出力される。
このようにして再生した誤差信号のサンプリング周波数は第１サンプリング周波数F1であり、この誤差信号とアップサンプリング部４４よりの第１サンプリング周波数F1の復号信号とが加算部４６で加算されてディジタル信号が再生され、フレーム合成部４７へ供給される。フレーム合成部４７では順次フレームごとに再生されたディジタル信号をつなぎ合わせて出力端子４８へ出力する。
【００６２】
この構成によれば例えば入力端子１１に入力されるディジタル信号のサンプリング周波数F1が96kHzの音楽信号の場合、復号化装置４０に主符号Im、パケットPe、場合によっては係数符号Pcのすべての情報が入力される場合はサンプリング周波数が96kHzのディジタル信号として原信号に忠実なものを再生することができる。利用者によっては例えばサンプリング周波数が48kHzの信号で十分とする場合はダウンサンプリング部１３においてサンプリング周波数を２分の１とし、その時の主符号Imを提供すれば高い圧縮率の符号として供給することができる。つまり符号化効率を高くすることができる。この場合、復号化装置４０では復号部４３よりの第２サンプリング周波数の復号信号を再生ディジタル信号としてフレーム合成部４７へ供給すればよい。
【００６３】
このように利用者の要求に応じた品質の符号化信号を提供できる。しかしダウンサンプリング部１３で高域成分が除去されており、従って誤差算出部１７よりの誤差信号は比較的大きなものであり、この誤差信号をそのまま配列変換・符号化部１８へ供給して符号化するとその情報量が多いものとなる。しかし図９に示した第３実施例では誤差信号の予測誤差信号を生成し、これを配列変換・符号化部１８へ供給しているため、かなり少ない情報量で誤差信号の成分を出力することができる。
【００６４】
誤差算出部１７よりのサンプリング周波数F1の誤差信号は、入力信号をダウンサンプリング部１３でダウンサンプリングして周波数F1/4よりも高い成分を除去した信号を、アップサンプリング部１６でもとのサンプリング周波数F1にアップサンプリングし、原入力信号から減算して生成される。その結果、低域成分が除去され、高域成分が残り、例えば図１２Ａに示すような高域成分が大きなスペクトル形状となる。なお、サンプリング周波数F1の誤差信号の帯域はF1/2としている。そこで図９中に破線で示すように誤差算出部１７の出力側に周波数軸反転部３２を挿入して周波数F1/4を中心に周波数軸を反転して、例えば図１２Ｂに示すように低域成分が大きな誤差となるようにする。この周波数軸反転を時間領域で行うには、誤差信号のサンプルに、＋１，−１と交互に極性反転する系列をかければよい。このように周波数軸反転された誤差信号を予測誤差生成部３１へ供給する。
【００６５】
上記周波数軸反転においては反転対象となる誤差信号e(t)の各サンプル振幅値に対して(-1)n（ｎはサンプル番号を示す整数値）を乗ずる。そのために、１サンプルごとの振幅値の正負符号を反転すればよい。その場合、周波数領域係数E(f)（ｆは周波数）が周波数軸上で反転してE(F1/2−ｆ)となる。ここで、F1は入力信号のサンプリング周波数である。ダウンサンプル後のサンプリング周波数がF1/2であり、非可逆符号化の対象とする周波数帯域が０からF1/4までであれば、誤差信号の高域（F1/4からF1/2）は非可逆圧縮の影響を受けないため、周波数軸反転を受けた誤差信号成分は低域（０からF1/4）が主となる。そのため、高域成分がランダム性に寄与しにくい低域成分に変換される。これを線形予測した予測誤差を可逆圧縮することにより圧縮効率が向上する。ここで可逆圧縮符号化による可逆圧縮符号を出力する。線形予測による線形予測係数は量子化して、対応する予測係数符号を出力する。
【００６６】
復号化装置４０においては破線で示すように予測合成部５６の後段に周波数軸反転部５７を挿入して上述の周波数軸反転部３２と同じ手法で周波数軸の反転を時間領域で行い、例えば図１２Ｂに示した誤差信号スペクトルを図１２Ａに示す誤差信号スペクトルに変換し、つまり符号化装置１０の誤差算出部１７よりの誤差信号と同様な誤差信号として加算部４６へ供給する。
【００６７】
即ち、復号側においては入力した可逆圧縮符号Peを復号・配列逆変換部４５で可逆復号して予測誤差Speを復号し、入力部４２で分離した予測係数符号Icを係数復号部５６Ｅで対応する予測係数LPCを再生する。予測誤差を再生した予測係数LPCで線形予測して予測信号を求め、この予測信号を時間軸反転部５７で反転して誤差信号を再生する。周波数軸反転においては、やはり反転対象となる予測信号p(t)の各サンプル振幅値に対して(-1)n（ｎはサンプル番号を示す整数値）を乗ずる。そのために、１サンプルごとに振幅値の正負符号を反転すればよい。周波数領域係数P(f)（ｆは周波数）が周波数軸上で反転してP(F1/2−f)となる。その場合、予測信号は低域（０からF1/4）が主となるため、周波数軸反転によって得られた誤差信号は高域（F1/4からF1/2）が主となる。
このようにサンプリング周波数を高くした誤差信号を周波数軸反転して予測誤差信号を生成する場合は周波数軸反転を行わない場合よりも性能がよくなることが実験的に確認された。
【００６８】
第４実施例
図１３にこの発明の第４実施例を示し、図９と対応する部分には同一参照番号を付けてある。図９と異なる点は符号化装置１０においては予測誤差生成部３１に供給する誤差信号をダウンサンプリング部３３で第３サンプリング周波数F3の誤差信号に変換し、つまりサンプリング周波数を低くして予測誤差生成部３１に供給する点である。この第３サンプリング周波数F3は第２サンプリング周波数F2と等しくすることが望ましい。この場合ダウンサンプリング部３３に供給する誤差信号は周波数軸反転部３２で周波数軸反転して供給する。
【００６９】
予測誤差生成部３１においては例えば図１０Ｂに示したように入力されたダウンサンプリング部３３よりの誤差信号を予測分析部３１Ａで線形予測分析し、その線形予測係数を用いてダウンサンプリング部３３よりの誤差信号を線形予測部３１Ｃで処理して得られた予測信号を整数化部３１Ｄで整数値とする。この場合はさらにその整数とされた予測信号をアップサンプリング部３１Ｆで第１サンプリング周波数F1の予測信号に変換し、その第１サンプリング周波数F1の予測信号と周波数軸反転部３２からの誤差信号との差が減算部３１Ｅでとられて、予測誤差信号として配列変換・符号化部１８へ供給される。
【００７０】
復号化装置４０においては予測合成部５６の構成が変更され、復号・配列逆変換部４５よりの第１サンプリング周波数F1の再生予測誤差信号はダウンサンプリング部５６Ｆで第３サンプリング周波数F3の予測誤差信号に変換され、この信号は係数復号部５６Ｅで復号された線形予測係数と予測信号生成部５６Ａで畳み込み演算されて予測信号が生成され、これが整数化部５６Ｄで整数値とされる。この整数の予測信号はアップサンプリング部５６Ｇで第１サンプリング周波数F1の予測信号に変換され、加算部５６Ｂで復号・配列逆変換部４５よりの再生予測誤差と加算されて誤差信号とされる。この誤差信号は周波数軸反転部５７で周波数軸反転されて加算部４６へ供給される。
【００７１】
符号化装置１０の予測誤差生成部３１としては図１０Ａに示したものを用いてもよく、その場合は、アップサンプリング部３１Ｆが整数化部３１Ｄの出力側に設けられることは当然のことである。またこの変更を行った場合は復号化装置４０の予測合成部５６は図１１Ａに示す構成を用い、かつこれにダウンサンプリング部５６Ｆが予測信号生成部５６Ａの信号入力側に設けられ、アップサンプリング部５６Ｇが整数化部５６Ｄの出力側に設けられることになる。
このように予測誤差信号の生成を誤差信号のサンプリング周波数を低くして行うことにより、誤差信号は低域成分つまり図１２Ｂに示した誤差信号中の主としてレベルの大きな成分のみとなり、この帯域の狭い信号の予測誤差信号を作るため、それだけ演算処理量が少なくあるいは求めた予測信号の精度は高いものとなる。
【００７２】
上述した各実施例において符号化装置１０、復号化装置４０はそれぞれコンピュータにより符号化プログラム、復号化プログラムを実行させて機能させることもできる。これらの場合は、そのコンピュータのプログラムメモリに、可逆符号化プログラム、可逆復号化プログラムを、ＣＤ−ＲＯＭ、可撓性磁気ディスクなどから、又は通信回線を通じてダウンロードして利用することになる。
以上述べたようにこの発明の第３及び第４実施例によれば、主符号Imを正しく復号できかつ正しく誤差信号を再生できればサンプリング周波数の高い高帯域の高品質な信号を再生することができ、誤差信号が得られなかったり、良好に再生することができない場合でも、主符号の復号により、比較的高い品質の信号を再生することが出来る。利用者によってはそれほど高品質の信号を要求しない場合は主符号Imのみを提供することによって符号化効率を向上させることができる。しかも超高品質の信号を要求する利用者には誤差信号をも提供することにより、要求を満たすことができるが、その際に誤差信号を予測誤差信号として提供することにより符号化効率を高くすることができる。
【００７３】
第５実施例
２次元階層化
前述した第１から第４実施例では、入力ディジタル信号をそれより低いサンプリング周波数にダウンサンプリングした信号の符号（主符号Im）と、その符号化による原音信号との誤差を表す、原音信号と同じサンプリング周波数の誤差符号Peを出力し、利用者は必要とする品質に応じて主符号Imのみを復号に使用するか、主符号Imと誤差符号Peの両方を復号に使用するかを選択可能にした例を示した。即ち、これらの実施例は、符号化する信号としては２階層化されたサンプリング周波数の信号を使用した場合を示す。
【００７４】
以下この第５実施例では、信号を、そのサンプルのＭ種類の振幅分解能（振幅語長あるいは量子化精度とも呼び、ビット数で表す）と、Ｎ種類のサンプリング周波数（サンプリングレート）との組み合せでＭ×Ｎの２次元階層化し、全ての階層のディジタル信号の符号化及び生成を可能とする。このディジタル信号の２次元的階層符号化の場合の符号化ディジタル信号の組み合せ例を図１４Ａに示す。この例ではＭ＝３種類の振幅語長１６ビット、２０ビット、２４ビットと、Ｎ＝３種類のサンプリング周波数48kHz, 96kHz, 192kHzにより３×３階層化した場合を示す。図１４Ａにおいてサンプルワードの最上位ビットMSBを基準として下方向に振幅語長（ビット数）を示し、横方向にサンプリング周波数を示している。
【００７５】
図１４Ｂに示すように振幅語長が２４ビットのディジタル信号中の下位８ビットを除いた上位１６ビットについて、サンプリング周波数が48kHzで符号化した符号Ａと、符号Ａにより符号化された成分以上の周波数成分についてサンプリング周波数96kHzで符号化した符号Ｂと、更に符号Ｂにより符号化された成分以上の周波数成分についてサンプリング周波数192kHzで符号化した符号Ｃとに階層化される。
１６ビット語長に対し更に下位４ビットが付加された２０ビット語長の信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分について、サンプリング周波数48kHz、96kHzと192kHzの残差信号をそれぞれ符号化した符号Ｄ，Ｅ，Ｆに階層化する。２０ビット語長に対し更に下位４ビットが付加された２４ビット語長信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分について、サンプリング周波数48kHz、96kHz、192kHzの残差信号をそれぞれ符号化した符号Ｇ，ＨとＩに階層化する。つまり１６ビット以上の語長の信号に対し、符号の階層化は各サンプリング周波数ごとに行う。
【００７６】
このように振幅語長（振幅分解能，量子化精度）とサンプリング周波数との二次元階層的９種類の符号化条件により符号化された符号Ａ〜Ｉを用いることにより、３種類の振幅語長と３種類のサンプリング周波数の組み合せの全てである９種類のディジタル信号を出力することができる。一般に、Ｍ種類の振幅語長とＮ種類のサンプリング周波数の組み合わせによりＭ×Ｎ種類に階層化されたディジタル信号を生成することができる。つまり各サンプリング周波数と振幅語長との各組み合せについて図１５に示す符号を用いればよい。例えば、サンプリング周波数96kHz、振幅語長２４ビットの場合、符号ＡとＢとＥとＨを用いればよい。
【００７７】
次にこれら符号Ａ〜Ｉを作る符号化方法を図１６に示す機能構成を参照して説明する。以下の実施例の説明においては、Ｍ種類の振幅分解能に対し、分解能が低いものから順に第1、第２、…、第Ｍ振幅分解能と呼び、それらのうちの任意の１つを第ｍ振幅分解能と呼ぶ。ｍは１≦ｍ≦Ｍの範囲の整数である。同様に、Ｎ種類のサンプリング周波数に対し、周波数が低いものから順に第１、第２、…、第Ｎサンプリング周波数と呼ぶ。ｎは１≦ｎ≦Ｎの範囲の整数である。更に、第ｍ振幅分解能で、第ｎサンプリング周波数のディジタル信号を第m,nディジタル信号と呼ぶ。
【００７８】
符号Ａ〜Ｉを作るに必要とするサンプリング周波数と振幅語長の組み合せのそれぞれ原音の第m,nディジタル信号Sm,nが第m,n音源60m,n に格納されているとするm=1, 2, 3であり、第ｍ振幅語長（量子化精度）と対応し、この例ではm=1は１６ビット、m=2は２０ビット、m=3は２４ビットの場合であり、n=1, 2, 3であり、第ｎサンプリング周波数（サンプリングレート）と対応し、この例ではn=1は48kHz、n=2は96kHz、n=3は192kHzである。
ある条件のディジタル信号が用意されていない場合は、その上位のディジタル信号から作成する。少くとも第3,3ディジタル信号S3,3、つまり振幅語長が２４ビット、サンプリング周波数が192kHzのディジタル信号音源603,3 が用意され、この第3,3ディジタル信号S3,3から、ダウンサンプリングや下位ビット（この例では下位４ビット又は８ビット）の切り捨てなどにより、他の音源60m,n （m≠3、n≠3）のディジタル信号を生成する。
【００７９】
第1,1音源601,1 よりの第1,1ディジタル信号S1,1は第1,1圧縮部611,1 により圧縮符号化され、第1,1符号Ａが生成出力される。また第1,1ディジタル信号S1,1は精度変換部621,1 でその第１量子化精度がこれよりも高い第２量子化精度に精度変換される。例えば第1,1ディジタル信号S1,1が符号絶対値表現の場合その下位に０が所定ビット数、この例では４ビット付加され、第2,1音源602,1 の第2,1ディジタル信号S2,1と同一量子化精度（同一振幅語長）の第2,1精度変換信号とされる。第2,1音源602,1 よりの第2,1ディジタル信号S2,1は第2,1減算部632,1 でこの第2,1精度変換信号が減算され、第2,1誤差信号Δ2,1が生成され、この第2,1誤差信号Δ2,1が第2,1圧縮部612,1 で圧縮符号化されて第2,1符号Ｄが生成出力される。
【００８０】
また第1,1ディジタル信号S1,1は第1,1アップサンプリング部641,1 により、そのサンプリング周波数が第１サンプリング周波数より高い第２サンプリング周波数の第1,2アップサンプリング信号に変換生成される。この例ではサンプリング周波数が48kHzから96kHzに変換される場合であり、例えば図１７Ａに示すように第1,1ディジタル信号S1,1の実線で示すサンプル列における各隣接サンプル間の真中に破線で示すサンプルが挿入される。これら破線で示すサンプルが、原信号を第２サンプリング周波数でサンプリングし、第１振幅語長のディジタル信号とした場合のサンプルになるべく近いものとなるようにする。例えば図１７Ｂに示すように、第1,1ディジタル信号S1,1をそのサンプリング周期で遅延部Ｄ１，Ｄ２により順次遅延し、これらの各入力サンプルと遅延部Ｄ２の出力サンプルにそれぞれ乗算部641, 642, 643で重みＷ１，Ｗ２，Ｗ３を乗算し、これら乗算結果を加算部644で加算して挿入するサンプルUS1を得る。つまり第1,1ディジタル信号S1,1に対し、例えば図１７Ｂに示す補間フィルタにより線形補間を行って第1,2アップサンプリング信号US1を生成する。
【００８１】
第1,2音源601,2 よりの第1,2ディジタル信号S1,2は第1,2減算部631,2 において第1,2アップサンプリング信号US1が差し引かれ、第1,2誤差信号Δ1,2が生成される。この第1,2誤差信号Δ1,2は第1,2圧縮部611,2 により圧縮符号化され、第1,2符号Ｂが生成、出力される。
符号Ｅは、第1,2音源601,2からの第1,2ディジタル信号S1,2の下位に４ビットの"0"を第1,2精度変換部621,2により付加することで振幅語長が２０ビットの第2,2精度変換信号を生成し、その第2,2精度変換信号を第2,2減算器632,2において第2,2音源602,2からの第2,2ディジタル信号S2,2から減算して第2,2誤差信号Δ2,2を生成し、その第2,2誤差信号Δ2,2を第2,2圧縮部612,2により圧縮符号化することにより得られる。
【００８２】
符号Ｈは、第3,2音源603,2からの第3,2ディジタル信号S3,2と、第2,2音源602,2からの第2,2ディジタル信号S2,2を精度変換した信号との誤差信号Δ3,2を圧縮符号化して得られる。符号Ｃは、第1,3音源601,3からの第1,3ディジタル信号S3,1と、第1,2音源601,2からの第1,2ディジタル信号S1,2をアップサンプリングした信号US2との誤差である第1,3誤差信号Δ1,3を圧縮符号化して得られる。符号Ｆは第2,3音源602,3からの第2,3ディジタル信号S2,3と、第1,3音源601,3からの第1,3ディジタル信号S1,3を精度変換した信号との誤差信号Δ2,3を圧縮符号化して得られる。符号Ｉは、同様に第3,3音源603,3からの第3,3ディジタル信号S3,3と、第2,3音源602,3からの第2,3ディジタル信号S2,3を精度変換した信号との誤差信号Δ3,3を圧縮符号化して得られる。
【００８３】
これら符号Ａ〜Ｉの生成を一般的に述べる。m=1とn=1の組み合せについてのみ、第1,1音源601,1 から第1,1ディジタル信号S1,1を第1,1圧縮部611,1で圧縮符号化して、第1,1符号Ａを生成する。1≦m≦M-1,1≦n≦Nの範囲のm,nの組み合わせについて、第m,nディジタル信号Sm,nを第ｍ量子化精度より高い第m+1量子化精度の第m+1,n精度変換信号に第m,n精度変換部62m,nで変換生成し、第m+1,n音源60m+1,n よりの第m+1,nディジタル信号Sm+1,nから第m+1,n精度変換信号を第m+1,n減算部63m+1,n で減算してその残りを第m+1,n誤差信号Δm+1,nとし、その第m+1,n誤差信号Δm+1,nを第m+1,n圧縮部61m+1,n で圧縮符号化して第m+1,n符号を生成する。
【００８４】
またm=1, 1≦n≦N-1の範囲のm,nの組み合わせについて、第m,nディジタル信号を第ｎサンプリング周波数より高い第n+1サンプリング周波数に第m,nアップサンプリング部64m,n でアップサンプリングして第m,n+1アップサンプリング信号を生成し、第m,n+1音源60m,n+1 よりの第m,n+1ディジタル信号から第m,n+1アップサンプリング信号を第m,n+1減算部63m,n+1 で減算し、その残りを第m,n+1誤差信号Δm,n+1として得、この第m,n+1誤差信号Δm,n+1を第m,n+1圧縮部61m,n+1 で圧縮符号化して、第m,n+1符号を生成する。
第1,1ディジタル信号S1,1はエネルギーの偏りが大きいので、第1,1圧縮部611,1 としては予測符号化や変換符号化、あるいは高圧縮の符号化と組み合せた圧縮符号化が可能である。その具体的例として、変圧縮が可能な可逆圧縮符号化器の例を図１８Ａに示す。この技術は例えば日本国特許出願公開2001-144847に示されている。
【００８５】
図１８Ａに示すように、符号化器６１では、入力ディジタル信号の時系列が、フレーム分割部６１Ａで、例えば1024個のディジタル信号（即ち、1024点のサンプル）からなるフレーム単位に順次分割され、このフレーム単位ごとにディジタル信号が非可逆量子化部６１Ｂで非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、前述のように上記ディジタル入力信号が音声であればITU-Tの音声符号化などが利用でき、音楽であればMPEG-4 AUDIOのオプションであるＴwinＶＱなどが利用でき、その他、各種非可逆符号化法を用いることもできる。この非可逆圧縮符号I(n)は逆量子化部６１Ｃで局部復号され、この局部信号と元のディジタル信号との誤差信号が差回路６１Ｄで生成される。ただし、例えば図１の局部復号部１５について説明したと同様に、非可逆量子化部６１Ｂにおいて非可逆量子化を行うことにより得られる量子化信号を用いて誤差信号を得ることができるので、逆量子化部６１Ｃは省略できる。この誤差信号は非可逆量子化部６１Ｂによる量子化誤差を表しており、その振幅は通常は元のディジタル信号の振幅よりもかなり小さい。よって、ディジタル信号を可逆圧縮符号化するよりも、量子化誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【００８６】
この可逆圧縮符号化の効率を更に上げるために、誤差信号即ち、ディジタルのサンプル列を配列変換部６１Ｅで配列変換する。この配列変換部６１Ｅの処理は図５で説明したものと同様である。ただし、ここではサンプルの有効桁を検出せず、全ビットの配列変換を行う場合について示している。差回路６１Ｄからの量子化誤差信号のそれぞれのサンプルの同じビット位置毎に、つまりＭＳＢ，第２ＭＳＢ，…，ＬＳＢそれぞれについて毎に、サンプルを跨いだ、フレーム内のビットを抽出して等位ビット列とし、可逆符号化部６１Ｆで可逆圧縮符号化して符号I(e)を、非可逆量子化部６１Ｂによる量子化符号I(n)と共に出力する。
【００８７】
第1,2圧縮部611,2 、第1,3圧縮部611,3 としては、第1,2誤差信号Δ1,2、第1,3誤差信号Δ1,3は周波数帯域の上半分にしかエネルギーがないので信号を予測したり、図１８Ａ中の配列変換部６１Ｅでの処理のような変換を行った後、圧縮符号化してもよい。圧縮部612,1 ，613,1 ,612,2 ，613,2 ，612,3 及び613,3 は例えば図１８Ａ中の符号化器から非可逆量子化部６１Ｂ、逆量子化部６１Ｃ及び差回路６１Ｄを除いた符号化器、つまり図１９Ａに示す可逆符号化器６１を用いることができる。これら圧縮部612,1 ，613,1 ,…，612,3 ，613,3 に入力される誤差信号が十分小さい場合は、雑音に近くなり、大きな圧縮は期待できないので、このフレームにおいては０のみを表わす符号に圧縮符号化してもよい。
【００８８】
第1,1アップサンプリング部641,1 、第1,2アップサンプリング部641,2 において用いる補間フィルタのタップ数（図１７Ｂ中の乗算部の数、図１７Ｂの例では３）が復号化側で予め知られていない場合は、そのタップ数を表わす補助情報を、図１６中に破線で示すように補助情報符号化部651,2 ，651,3 で第1,2補助符号、第1,3補助符号として、それぞれ第1,2符号、第1,3符号と関連付けて出力する。この補間フィルタのタップ数と補助符号の例を図２０Ａに示す。補間フィルタのタップ数は、復号側において高精度の復号を行う場合には大きな値を選択し、それほど高精度の復号を要求してない場合は小さな値を選択する。タップ係数は固定でもよく、その場合補助符号を送る必要はない。
【００８９】
次に図１６の符号化装置と対応する復号化装置を図２１を参照して説明する。第1,1符号Ａ、第2,1符号Ｄ、第3,1符号Ｇ、第1,2符号Ｂ、第2,2符号Ｅ、第3,2符号Ｈ、第1,3符号Ｃ、第2,3符号Ｆ及び第3,3符号Ｉはそれぞれ第1,1伸張部801,1 、第2,1伸張部802,1 、第3,1伸張部803,1 、第1,2伸張部801,2 、第2,2伸張部802,2 、第3,2伸張部803,2 、第1,3伸張部801,3 、第2,3伸張部802,3 及び第3,3伸張部803,3 に入力されて、それぞれ伸張復号が行われる。それにより第1,1ディジタル信号S1,1及び誤差信号Δ2,1、Δ3,1、Δ1,2、Δ2,2、Δ3,2,、Δ1,3、Δ2,3、Δ3,3が得られる。なおm=1，n=1以外の第m,n伸張部80m,n においては第ｍ量子化精度、第ｎサンプリング周波数の第m,n誤差信号Δm,nが伸張復号化される。これら第m,n伸張部80m,n は対応する第m,n圧縮部61m,n で圧縮符号化された第m,n符号を伸張復号化する構成とされている。
【００９０】
1≦m≦M-1、1≦n≦Nの範囲のm,nの組について、第m,n伸張部80m,n により伸張復号された第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号Sm,nは、第m,n精度変換部81m,n でその量子化精度（振幅語長）が第m+1量子化精度の第m+1,n精度変換信号に変換生成され、この第m+1,n精度変換信号が、第m+1,n伸張部80m+1,n よりの伸張復号化された第m+1,n誤差信号Δm+1,nに第m+1,n加算部82m+1,n で加算されて第m+1量子化精度（振幅語長）、第ｎサンプリング周波数の第m+1,nディジタル信号Sm+1,nが再生される。
例えば、第1,1伸張部801,1 よりの伸張復号化された第1,1ディジタル信号S1,1は第1,1精度変換部811,1 で下位に０が４ビット付加され、振幅語長が２０ビットとされた第2,1精度変換信号が生成される。この第2,1精度変換信号は、第2,1伸張部802,1 よりの伸張復号化された第2,1誤差信号Δ2,1と第2,1加算部822,1 で加算されて第2,1ディジタル信号S2,1が再生される。
【００９１】
またm=1, 1≦n≦N-1の範囲のm,nの組について、第1,n伸張部801,n よりの第1,nディジタル信号S1,nは第1,nアップサンプリング部831,n で第n+1サンプリング周波数の第1,n+1アップサンプリング信号に変換生成され、この第1,n+1アップサンプリング信号は第1,n+1伸張部801,n+1 よりの第１量子化精度、第n+1サンプリング周波数の第1,n+1誤差信号Δ1,n+1に第1,n+1加算部821,n+1 で加算されて、第１量子化精度、第n+1サンプリング周波数の第1,n+1ディジタル信号S1,n+1が再生される。
例えば、第1,1伸張部801,1 からの伸張復号化された第1,1ディジタル信号S1,1は第1,1アップサンプリング部831,1 でその第１サンプリング周波数が第２サンプリング周波数に変換された第1,2アップサンプリング信号に変換される。この第1,2アップサンプリング信号は第1,2伸張部801,2 よりの伸張復号化された第1,2誤差信号Δ1,2に、第1,2加算部821,2 で加算されて、第1,2ディジタル信号S1,2が再生される。
【００９２】
アップサンプリング部831,1 ，831,2 に用いる補間フィルタのタップ数が予め知られていない場合は、それぞれ第1,2符号Ｂ、第1,3符号Ｃと関連付けて入力される第1,2補助符号、第1,3補助符号がそれぞれ補助符号復号化部851,2 ，851,3 により補助情報としてのタップ数が復号され、各タップ数が対応するアップサンプル部831,1 ，831,2 に設定される。
第1,1伸張部801,1 は図１６の符号化装置における第1,1圧縮部611,1 と対応したものが用いられ、例えば圧縮部611,1 として図１８Ａに示す符号化器６１が用いられた場合は、伸張部801,1 として図１８Ｂに示す復号化器８０が用いられる。
【００９３】
復号化器８０では、可逆復号化部８０Ａで可逆圧縮符号I(e)が復号化され、その復号信号に対し、配列逆変換部８０Ｂで符号化器６１における配列変換部６１Ｅと逆の処理（例えば図５Ａ、５Ｂで説明した処理と逆の等位ビット列から振幅ビット列に配列変換する処理）が行われ、量子化誤差信号がフレーム単位で順次再生される。また、逆量子化部８０Ｂで、非可逆圧縮符号I(n)が復号化され、この復号信号と再生された量子化誤差信号とが加算部８０Ｄで加算され、最後に、フレーム合成部８０Ｆでフレームごとの各加算信号が順次連結されて、元のディジタル信号系列が再生される。
【００９４】
つまり第1,1符号Ａ中の可逆圧縮符号I(e)を可逆復号し、その復号ビット列からフレーム中の対応ビット位置よりなるビット列の符号絶対値表現した複数のサンプルを、そのフレームの量子化誤差信号として再生し、第1,1符号Ａ中の非可逆圧縮符号I(n)を非可逆復号して局部再生信号を生成し、この再生信号と前記量子化誤差信号を加算して第1,1ディジタル信号S1,1を再生する。
伸張部801,2 ，801,3 はそれぞれ圧縮部611,2 ，611,3 の符号化方法と対応した復号化方法を使用し、予測復号化法又は変換復号化法などを用いることができる。他の伸張部も対応する圧縮部で用いる符号化方法に対する復号化方法を用いる。圧縮部が図１９Ａに示した構成の場合、その伸張部としては図１８Ｂの復号化器８０から逆量子化部８０Ｃ、加算部８０Ｄを除去した構成、つまり図１９Ｂに示す構成のものとする。
【００９５】
図１６に示した符号化装置の構成によれば、各種の振幅分解能（振幅語長）と各種のサンプリング周波数（サンプリングレート）の組み合せをもつ各種のディジタル信号を、２次元階層として統一的に符号化することができ、しかも全体として高い能率で圧縮符号化でき、利用者の要求する各種組み合せのディジタル信号を、少ないデータ量で提供することができる。
図２１に示した復号化装置の構成によれば、図１６に示した符号化装置により符号化された符号から、量子化精度とサンプリング周波数の各種組み合せのディジタル信号中の所望とするものを統一的に復号化することができる。
【００９６】
なお利用者によっては必ずしも図１６中に示す全ての組み合せの第m,nディジタル信号Sm,nを必要としない。図２１に示した復号化装置中の符号ＡとＢを復号するための第1,1伸張部801,1 、第1,1アップサンプリング部831,1 、第1,2伸張部801,2 、第1,2加算部821,2と、符号Ｄ又はＥ又はＣとＦを復号するための第1,1精度変換部811,1 、第2,1伸張部802,1 及び第2,1加算部822,1 又は第1,2精度変換部811,2 、第2,2伸張部802,2 及び第2,2加算部822,2 又は第1,2アップサンプリング部831,2 、第1,3伸張部801,3 、第1,3加算部821,3 、第1,3精度変換部811,3 、第2,3伸張部802,3 及び第2,3加算部822,3 とを少くとも備えたものでもよい。
【００９７】
図１６及び２１に示した各実施例において、量子化精度の種類の数Ｍ、サンプリング周波数の種類の数Ｎは各３に限らず、Ｍの数を増減して、階層化の数を増やしても、減らしてもよい。同様にＮについても階層化の数を増やしても、減らしてもよい。
第６実施例
図１６中の量子化精度とサンプリング周波数の各種組み合せの第m,nディジタル信号Sm,nの音源60m,nは先に述べたように予め用意されたものであり、各音源のディジタル信号は第m,nディジタル信号を単純にダウンサンプリングと下位ビット切り捨てを行ったものと異なり、その作成者の好みによって、雑音（固定ディザ信号）を加えたりすることがあり、また振幅やサンプリング（標本点位置）のずれなどの種々の変換や調整が行われている可能性がある。この変換や調整はどのようなものであるか、一般的には事前に知られていない。
【００９８】
そこでこの第６実施例では図16の符号化装置において、下位の振幅分解能または下位のサンプリング周波数のディジタル信号を精度変換部62m,nまたはアップサンプリング部64m,nにより上位の振幅分解能（量子化精度、振幅語長）または上位のサンプリング周波数のディジタル信号に変換して減算部63m+1,n（または63m,n+1）に与える際に、減算部63m+1,n（または63m,n+1）の出力誤差信号Δm+1,n（またはΔm,n+1）ができるだけ小さくなるように調整部６６が設けられる。
例えば図２２に示すように、音源60m,nからの第m,nディジタル信号は精度変換部62m,n において前述したように、第ｍ量子化精度（振幅語長、振幅分解能）が第m+1量子化精度に変換され、この第m+1,n精度変換信号は、この例では調整部６６の利得調整部６６Ａによりレベル調整され、更にそのレベル（利得）調整された第m+1,n精度変換信号はタイミング調整部６６Ｂでサンプル位置が調整され、そのサンプル位置調整された第m+1,n精度変換信号により第m+1,nディジタル信号に対し減算部６３で減算が行われる。
【００９９】
この減算部６３よりの減算結果である第m+1,n誤差信号Δm+1,nは誤差最小化部６６Ｃへ分岐入力され、誤差最小化部６６Ｃは第m+1,n誤差信号Δm+1,nの圧縮後の情報量が最小となるように利得調整部６６Ａにけるレベル調整量、タイミング調整部６６Ｂにおけるサンプル位置調整量を制御する。そのためには、誤差信号を圧縮符号化し、得られた誤差符号の情報量を比較すればよい。情報量の比較を近似する簡単な１つの方法として誤差信号のパワーを比較し、パワーが最小となるように利得とサンプル位置を決めてもよい。以下の実施例においても誤差信号のパワーを最小とする例で説明する。例えば、レベル調整量及びサンプル位置調整量はそれぞれ複数の予め決めた値を誤差最小化部６６Ｃ内の図示してない記憶部に例えば図２０Ｂ，２０Ｃに示すようにそれらの値を示す補助符号と対応して表として格納しておき、これらの値から誤差信号Δm+1,nのパワーが最小となるものをそれぞれ１つずつ選択する。選択したレベル調整量及びサンプル位置調整量を表す補助符号が出力される。予め決めたレベル調整量とサンプル位置調整量は別々の表としてでなく、これらの値の組を１つの表としてそれぞれの組を補助符号に対応させて格納してもよい。
【０１００】
この誤差信号のパワー最小化が達成されると、第m+1,n圧縮部61m+1,n に対し圧縮指示信号を出力して、第m+1,n圧縮部61m+1,n は第m+1,n誤差信号Δm+1,nの圧縮符号化を行う。また誤差最小化部６６Ｃはその時のレベル調整量とサンプル位置調整量表す補助符号を補助符号生成部６９へ供給し、補助符号生成部６９は入力されたレベル調整量とサンプル位置調整量の補助符号を連結して、第m+1,n補助符号として第m+1,n符号と関連づけて出力する。
同様に、図２２中に破線で示し、かつ括弧書きで示すように、第m,nディジタル信号をアップサンプリング部64m,n でそのサンプリング周波数を第n+1サンプリング周波数にアップサンプリングし、これにより生成された第m,n+1アップサンプリング信号が先の場合と同様に利得調整部６６Ａでレベル調整され、更にタイミング調整部６６Ｂでサンプル位置が調整されて、減算部６３へ供給され、減算部６３で第m,n+1ディジタル信号Sm,n+1より第m,n+1アップサンプリング信号が減算され、その第m,n+1誤差信号Δm,n+1のパワーが最小となるように、誤差最小化部６６Ｃにより利得調整部６６Ａ、タイミング調整部６６Ｂがそれぞれ調整される。その最小化された第m,n+1誤差信号Δm,n+1が第m,n+1圧縮部61m,n+1 で圧縮され、その時の選択された利得と調整サンプルに位置量に対応する補助符号が補助符号生成部６５で符号化され、第m,n+1補助符号として第m,n+1符号と関連付けて出力される。第m,nアップサンプリング部64m,n の補間フィルタのタップ数を出力する場合は、補助情報符号化部６５で補間フィルタのタップ数も第m,n+1補助符号として符号化される。
【０１０１】
補助符号と調整利得との対応例を図２０Ｂに、補助符号と調整サンプル位置量（サンプル点移動量）との対応例を図２０Ｃにそれぞれ示す。これら補助符号は例えば図２０Ｄに示すように、補助情報の有無を示す有無符号C11、利得符号C12、移動量符号C13、タップ数符号C14の順に配列され、第m,n+1補助符号とされる。図２２において利得調整部６６Ａとタイミング調整部６６Ｂとを入れ替えてもよい。つまり利得調整と時間ずれ調整の順は何れを先に行ってもよい。あるいは、利得調整部６６Ａ、タイミング調整部６６Ｂのいずれか一方を省略してもよい。また、誤差最小化部６６Ｃにおけるこのような補助符号の生成はフレームごとに行ってもよい。なお例えば第m,nディジタル信号に固定ディザ信号が付加され、これが予め知られている時は、その固定ディザ信号を第m+1,n精度変換信号又は第m,n+1アップサンプリング信号から引き算して減算部63m,n+1（又は63m,n+1）へ供給し、またその固定ディザ信号を符号化して第m+1,n補助符号として出力する。
【０１０２】
上述したように符号化装置において、下位ディジタル信号、具体的には例えば第m+1,n精度変換信号を調整した場合、復号化装置において調整部を設け、補助符号を復号したその補助情報に基づいて同様に精度変換信号を調整する必要がある。その場合の例を、図２３に示す。これは、第m,nディジタル信号に対する精度変換信号を調整部８７により調整する場合で、第m+1,n符号と関連付けられた第m+1,n補助符号が補助情報復号部８８で復号され、得られた補助情報、この例では調整利得とサンプル位置量が生成され、これが調整部８７の変形制御部87Cへ供給される。
【０１０３】
一方伸張復号化された第m,nディジタル信号が第m,n精度変換部81m,n で第m+1量子化精度の第m+1,n精度変換信号に変換生成されるが、この第m+1,n精度変換信号は調整部８７の利得調整部87A、タイミング調整部87Bを順次経て加算部82m+1,nへ供給されるように構成される。利得調整部87Aに復号された利得が変形制御部87Cにより設定され、またタイミング調整部87Bに、復号されたサンプル位置量に応じた遅延時間が変形制御部87Cにより設定される。従って第m+1,n精度変換信号は、符号化装置における対応する利得調整部６６Ａ、タイミング調整部６６Ｂ（図２２）でそれぞれ調整されたレベル、調整されたサンプル位置とそれぞれ同一レベル、同一サンプル位置とされ、つまり符号化側と同一の変形が行われる。このようにレベル及びサンプル位置が調整された第m+1,n精度変換信号が第m+1,n伸張部80m+1,n よりの復号された第m+1,n誤差信号Δm+1,nに加算部82m+1,nで加算される。従って加算部82m+1,nからの再生第m+1,nディジタル信号Sm+1,nは、符号化装置における第m+1,n音源60m+1,n の第m+1,nディジタル信号Sm+1,nと同一のものとなる。
【０１０４】
再生された第m,nディジタル信号をアップサンプリングしたものを利用して第m,n+1ディジタル信号を再生する場合も、第m,n+1符号と関連する第m,n+1補助符号が入力される場合は図２３中に破線、及び括弧書きで示すように再生第m,nディジタル信号がアップサンプリング部83m,n で第n+1サンプリング周波数の第m,n+1アップサンプリング信号に変換生成されるが、この第m,n+1アップサンプリング信号は利得調整部87A、タイミング調整部87Bを順次通されて加算部82m,n+1へ供給される。第m,n+1補助符号が補助情報復号部８８で復号され、その復号された調整利得、サンプル位置量に応じた利得、遅延時間が変形制御部87Cにより利得調整部87A、タイミング調整部87Bにそれぞれ設定される。従ってレベル調整、サンプル位置調整された第m,n+1アップサンプリング信号が伸張復号化された第m,n+1誤差信号Δm,n+1に加算部82m,n+1で加算され、第m,n+1ディジタル信号Sm,n+1が再生される。
【０１０５】
利得調整部87Aとタイミング調整部87Bとを入れ替えてもよい。利得調整部87A、タイミング調整部87Bの一方は省略されることもある。補助符号の復号された情報として固定ディザ信号があれば、これを第m+1,n精度変換信号又は第m,n+1アップサンプリング信号から引き算する。
図２２に示した符号化装置、また符号化方法、図２３に示した復号化装置、また復号化方法はそれ自体、発明の実施例を構成し、これにより、予め用意されている量子化精度とサンプリング周波数の各種組み合せの少くとも二つの音源のディジタル信号に対する効率がよくかつ精度が高い可逆圧縮符号化が可能であり、またその符号を高い精度で可逆復号化することができる。
【０１０６】
図２２に示した符号化装置、符号化方法を図１６に示した符号化装置、符号化方法のように、量子化精度とサンプリング周波数の二次元の多階層的構成とすることもできる。同様に図２３に示した復号化装置、復号化方法を図２１に示したように二次元の多階層的構成とすることもできる。
図１６、図２２にそれぞれ示した符号化装置、また図２１、図２３にそれぞれ示した復号化装置を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば復号化装置について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して復号化プログラムをコンピュータ内にダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
【０１０７】
この発明の効果の説明のため、例えば図２４に示す３種類の楽音配信形態について比較する。つまり、サンプリング周波数や量子化精度（振幅分解能）の異なる要求に対応するために、サーバで、
Ａ．この発明を適用したスケーラブル符号化により音楽信号を符号化して蓄積しておく。即ち、例えば図１４Ａに示した符号系列Ａ〜Ｉを用意しておく。クライアント端末からの要求に応じてこれら符号を選択して組み合せてクライアント端末へ伝送する、
Ｂ．複数のサンプリング周波数及び複数の量子化精度の組み合せの各信号、例えば図１６中の９種類の音源の信号に対するクライアント端末からの要求に応じた組み合わせの符号化系列を予め用意し、クライアント端末からの要求に応じてその１つを選択してクライアント端末へ伝送する、
Ｃ．最高のサンプリング周波数と最高の量子化精度の信号の圧縮符号のみを蓄積しておき、クライアント端末からの要求に応じて復号、サンプリング周波数変換、量子化精度変換、再符号化してクライアント端末へ伝送する。
【０１０８】
クライアント端末側では受信した符号系列を復号し、この発明を使用した形態Ａでは、アップサンプリングや精度変換を行ってディジタル信号を再構成する。形態Ｂ及びＣでは復号された信号を直ちに再構成する。
形態Ｂではサーバにおける圧縮符号列の容量が相当大きくなり、形態Ｃでは演算量が大きくなってしまう。この発明を使用した形態Ａでは、例えば図１５に示したように最高サンプリング周波数と最高振幅分解能の圧縮符号が、低いサンプリング周波数や低い振幅分解能の圧縮符号を含むので、さまざまな要求仕様に簡単に対応でき、総容量も小さくできる。
【０１０９】
上述においてはこの発明を音楽ディジタル信号に適用したが画像のディジタル信号に適用することもできる。
このように、第５及び第６実施例によれば、振幅の精度とサンプリングレートの要求の異なる符号化、特に可逆な符号化が統一的に実行でき、システム全体として圧縮率を高めることができる。
第７実施例
以下この発明の第７実施例を説明する。この実施例においても、例えばＭ種類の量子化精度として１６ビット、２０ビット、２４ビットの３種類と、Ｎ種類のサンプリング周波数として48kHz、96kHz、192kHzの３種類の任意の量子化精度とサンプリング周波数の組み合せのディジタル信号の生成を可能とする、ディジタル信号の２次元的階層符号化を例に説明する。
【０１１０】
第７実施例における２次元的階層符号化のための２４ビット192kHzのディジタル信号の各階層の信号への分解とその各符号の例を図２５に示す。振幅語長が２４ビットのディジタル信号中の下位８ビットを除いた上位１６ビットについて、サンプリング周波数を48kHzとして符号化した符号Ａと、符号Ａにより符号化された成分より高い周波数成分についてサンプリング周波数を96kHzとして符号化した符号Ｂと、更に符号Ｂにより符号化された成分より高い周波数成分についてサンプリング周波数を192kHzとして符号化した符号Ｃとにサンプリング周波数方向に階層化される。
【０１１１】
１６ビット語長に対し下位４ビットを付加した２０ビット語長の信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分について、同様にサンプリング周波数を48kHzとして符号化した符号Ｄ、その符号Ｄの符号化成分より高い周波数成分についてサンプリング周波数を96kHzとして符号化した符号Ｅと、更に符号Ｅで符号化された成分より高い周波数成分についてサンプリング周波数を192kHzとして符号化した符号Ｆとに階層化する。２０ビット語長に対し下位４ビットを含む２４ビット語長信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分について、同様にサンプリング周波数を48kHzとして符号化した符号Ｇ、その符号Ｇにより符号化された成分より高い周波数成分についてサンプリング周波数を96kHzとして符号化した符号Ｈと、符号Ｈで符号化された成分より高い周波数成分についてサンプリング周波数を192kHzとして符号化した符号Ｉとに階層化する。
【０１１２】
このように振幅語長（振幅分解能，量子化精度）とサンプリング周波数との二次元階層的Ｍ×Ｎ種類の符号化条件により符号化された符号Ａ〜Ｉを用いることにより、Ｍ種類の量子化精度とＮ種類のサンプリング周波数の組み合せの全てであるＭ×Ｎ種類のディジタル信号を出力することができる。つまり各サンプリング周波数と振幅語長との各組み合せについて図２６に示す使用符号（１）を用いればよい。例えば、サンプリング周波数96kHz、量子化精度２４ビットのディジタル信号を符号化するには、符号Ａ，Ｂ，Ｄ，Ｅ，Ｇ，Ｈを用いればよい。
このようにこの実施例では量子化精度１６ビット、サンプリング周波数48kHzのディジタル信号を基本に符号化し、それより階層が上位の信号については、下位の量子化精度または下位のサンプリング周波数の信号との差分信号成分を符号化しているので、第ｍ量子化精度、第ｎサンプリング周波数の信号は、図２６の使用符号例(1)のように単純な符号の組み合わせで表現することが可能である。
【０１１３】
この図２５及び２６に示した２次元階層符号化を行う符号化装置の機能機構を図２７に示す。なお図２７中の各圧縮部61m,nの入力信号は１つの原音（この例では振幅語長が２４ビット、サンプリング周波数が192kHzのディジタル信号）を複数種類の量子化精度と複数種類のサンプリング周波数信号に階層的に分解した階層化信号である。
音源60よりの振幅語長が２４ビットサンプリング周波数が192kHzのディジタル信号はまず、ビット分割部71で各サンプルの２４ビットの振幅語長は上位１６ビットと、その下位の４ビットと、更に下位の４ビットのように複数のビット区間に分割される。上位１６ビットはダウンサンプル部721,3 でサンプリング周波数が96kHzにダウンサンプリングされ、その出力が、更にダウンサンプル部721,2 でサンプリング周波数が48kHzにダウンサンプリングされて、圧縮部611,1 に供給されて、可逆圧縮符号化され、符号Ａが出力される。１６ビットの信号として利用するときには２０ビットの下４桁を単純に除くのではなく、まるめやディザという微小雑音を加える場合がある。この場合、作られた１６ビット信号と２０ビットの信号の誤差成分信号を分離する。振幅は４ビットではなく、５〜６ビットになることもあるが、増加したままのビット数で使用する。その他の処理は同様で以下の実施例も同様である。
【０１１４】
ダウンサンプル部721,2 からの出力はアップサンプル部731,1 によりサンプリング周波数が96kHzにアップサンプリングされ、そのアップサンプリング出力と、ダウンサンプル部721,3 からの出力との差分が誤差信号Δ1,2として減算部741,2 でとられ、その差分信号Δ1,2が圧縮部611,2 で可逆圧縮符号化され、符号Ｂが出力される。
ダウンサンプル部721,3 からの出力はアップサンプル部731,2 でサンプリング周波数が192kHzにアップサンプリングされ、このアップサンプル部731,2 の出力とビット分割部71よりの分割された１６ビットの信号との差分が誤差信号Δ1,3として減算部741,3 で生成され、その誤差信号Δ1,3が圧縮部611,3 で可逆圧縮符号化されて符号Ｃが出力される。
【０１１５】
分割部71よりの信号の上位１６ビットの直下位４ビットの信号はダウンサンプル部722,3 ，722,2 によりサンプリング周波数が48kHzの信号とされ、圧縮部612,1 により可逆圧縮符号化されて符号Ｄが出力され、ダウンサンプル部722,3 の出力と、ダウンサンプル部722,2 の出力のアップサンプル部732,1 によるアップサンプリング出力との減算部742,2 での差分を誤差信号Δ2,2として得て、その誤差信号Δ2,2を圧縮部612,2 で可逆圧縮符号化することにより符号Ｅを出力し、ダウンサンプリング部722,3 の出力のアップサンプリング部732,2 によるアップサンプリング出力と、ビット分割部71よりの４ビット信号の差分を減算部742,3 で誤差信号Δ2,3としてとり、その誤差信号Δ2,3を圧縮部612,3 で可逆圧縮符号化して符号Ｆを出力する。
【０１１６】
上述と同様にして、ビット分割部71からの信号のうち最下位４ビットが、ダウンサンプリング部723,3 ，723,2 、アップサンプル部733,1 ，733,2 、減算部743,2 ，743,3 、圧縮部613,1 ，613,2 ，613,3 により符号Ｇ，Ｈ，Ｉを生成出力する。
なお図２７において各アップサンプル部は、その入力信号に対し、例えば図１７Ａ、１７Ｂで説明した補間フィルタ処理を行う。このとき、対応する減算部74m,n+1の出力誤差信号Δm,n+1のパワーが最小となるように係数W1,W2,W3が決められる。
【０１１７】
例えば減算部741,3 からの出力誤差信号Δ1,3は振幅語長が１６ビット、サンプリング周波数が192kHzの信号であり、帯域は96kHzであるが、振幅が小さく、特に０〜48kHzの成分はほとんど０である。このため圧縮部611,3 としては例えば図２８に示す予測符号化器６１を使って減算部741,3からの誤差信号を線形予測部６１Ａで線形予測分析し、得られた線形予測係数を量子化し、量子化値に対応する符号Icを出力するとともに、その予測係数を使って入力誤差信号の予測信号を生成する。その予測信号を整数化部６１Ｂで整数化して減算部６１Ｃで入力誤差信号との差分を予測誤差信号として得て、その予測誤差信号を可逆圧縮部６１Ｄで可逆圧縮符号化することによって効率よく圧縮することができる。その他の圧縮部も同様に予測符号化などを用いて効率的に圧縮できる。
【０１１８】
符号化の手順として、上述ではまず量子化精度が２４ビット、サンプリング周波数が192kHzの信号の各サンプルを１６ビット、４ビット、４ビットの３つの信号に分割して階層化し、次にそれら各分割されたビットを量子化精度とする信号を、サンプリング周波数48kHz, 96kHz, 192kHzで階層化したが、先ずサンプリング周波数で入力ディジタル信号を階層化し、その後、各階層の誤差信号について、サンプルの振幅語長を分割してもよい。即ち例えば図２９に示すように音源６０よりの振幅語長が２４ビット、サンプリング周波数が192kHzのディジタル信号をまずダウンサンプル部723 でサンプリング周波数96kHzにダウンサンプリングし、そのダウンサンプリングされた信号をアップサンプル部732 でサンプリング周波数192kHzにアップサンプリングする。このアップサンプリングされた信号と、音源60より原信号との差分を誤差信号Δ1として減算部741 で生成する。
【０１１９】
またダウンサンプル部723 からの出力をダウンサンプル部722 によりサンプリング周波数48kHzにダウンサンプリングし、このダウンサンプリングされた信号をアップサンプル部731 でサンプリング周波数96kHzにアップサンプリングする。このアップサンプリングされた信号とダウンサンプル部723 からの出力信号との差分を誤差信号Δ2として減算部742 で生成する。減算部741 ，742 からの各誤差信号、ダウンサンプル部722 の出力信号をそれぞれビット分割部711 ，712 ，713 でそれぞれ各サンプルを上位の１６ビット、そのすぐ下位の４ビット、更に下位の４ビットに分割し、これら分割された信号を圧縮部で可逆圧縮符号化する。図２９中の各圧縮部の図２７中の圧縮部と対応するものに同一参照番号を付けてある。
【０１２０】
なお図２９中の各圧縮部61m,nへの入力信号は１つの原音（この例では振幅語長が２４ビット、サンプリング周波数が192kHzのディジタル信号）を複数種類の振幅分解能（量子化精度）と複数種類のサンプリング周波数信号に階層的に分解した階層化信号である。
第７実施例の復号化装置
図３０に、第７実施例の復号化装置の機能構成を示す。これは、図２７又は図２９に示した符号化装置により符号化された、Ｍ種類の量子化精度、Ｎ種類のサンプリング周波数を組み合せたＭ×Ｎ＝９種類のディジタル信号を復号化するようにした場合である。
【０１２１】
符号Ａ，Ｂ，…，Ｉは伸張部801,1 ，801,2 ，801,3 ，802,1 ，802,2 ，802,3 ，803,1 ，803,2 ，803,3 でそれぞれ可逆伸張復号化され、符号器の各圧縮部の入力階層化信号が得られる。各伸張部80m,nでの復号化法は、前述の図１８Ｂに示した復号化器８０の可逆復号化部80A、配列逆変換部80Bと同様の手法で行うことができる。
伸張部801,1 よりの復号信号は振幅語長が１６ビット、サンプリング周波数が48kHzのディジタル信号（以下、16b,48kHzディジタル信号と書く）の再生信号S1,1として出力されると共にアップサンプル部831,1 でサンプリング周波数が96kHzにアップサンプリングされる。このアップサンプリングされた信号は伸張部801,2 よりの復号された誤差信号Δ1,2と加算部821,2 で加算されて再生16b,96kHzディジタル信号S1,2として出力される。この16b,96kHzディジタル信号S1,2はアップサンプル部831,2 でサンプリング周波数が192kHzにアップサンプリングされて、伸張部801,3 よりの復号された誤差信号Δ1,3と加算部821,3 で加算され、再生16b,192kHzディジタル信号S1,3として出力される。再生16b,48kHzディジタル信号は伸張部802,1 より復号された誤差信号Δ2,1と加算部822,1 で加算されて、再生20b,48kHzディジタル信号S2,1として出力される。
【０１２２】
以下、上述と同様に復号された階層化信号を組み合せて各ディジタル信号S2,2, S2,3, S3,1, S3,2, S3,3が再生される。加算部82m,nで加算する２つのサンプリング周波数が異なる場合は、低いほうのサンプリング周波数の信号をアップサンプリングによりサンプリング周波数を合せて加算する。アップサンプル部を表す参照記号83m,nの添字の右側のｎは第ｎサンプリング周波数を第n+1サンプリング周波数にアップサンプリングすることを意味する。例えば、右側添え字n=１はサンプリング周波数を48kHzから96kHzにアップサンプリングすることを、添え字n=2はサンプリング周波数を96kHzから192kHzにアップサンプリングすることを示す。要するに、階層化された部分信号をアップサンプリングと、振幅方向のビットの連結により精度の高い信号を再構成する。
【０１２３】
復号側において必要とする復号信号の品質が高品質（例えば量子化精度２４ビット、サンプリング周波数192kHzのディジタル信号）を必要としない場合は、必要とする品質（量子化精度とサンプリング周波数）のディジタル信号より量子化精度及びサンプリング周波数が上位の信号を省略できる。例えば最大量子化ビット数２４に対し、最下位４ビットの成分の階層化信号、またはサンプリング周波数が高い信号の再生にのみ用いる階層化信号は省略できる。
例えばネットワークで伝送する場合は、各符号Ａ，…，Ｉごとに別のパケットを割り当てて、階層の低い（即ちより下位の）符号に対しより高い優先度の情報を与えて出力すれば、ネットワーク資源を有効に使うことができる。例えば通常の状態ではすべての情報を伝送できるが、ネットワークの障害や混雑時には最低限符号Ａだけを優先的に伝送すればよい。
【０１２４】
第８実施例
この発明の第８実施例は図３１に示すように、１６ビットの量子化精度の信号により第７実施例と同様にサンプリング周波数の階層化を実現するが、１６ビット以上の量子化精度に対する階層化は各サンプリング周波数ごとに行う。つまり量子化精度２０ビットの信号についてはこれから量子化精度１６ビットの信号成分を差し引いた残差成分についてのサンプリング周波数48kHz，96kHz，192kHzの信号をそれぞれ符号化して符号Ｄ，Ｅ，Ｆを生成し、量子化精度２４ビットの信号についてはこれから量子化精度２０ビットの信号成分を差し引いた残差成分についてのサンプリング周波数48kHz，96kHz，192kHzの信号をそれぞれ符号化して符号Ｇ，Ｈ，Ｉを生成する。
【０１２５】
これらの符号Ａ，…，Ｉを用いて、各種の振幅分解能（量子化精度）、各種のサンプリング周波数のディジタル信号を再生できる。各ディジタル信号の再生に用いる符号を図２６中に使用符号（２）として示す。例えば、サンプリング周波数192kHz、量子化精度２０ビットの信号は、サンプリング周波数48kHz、量子化精度１６ビットの信号を符号化した符号Ａと、サンプリング周波数96kHz、量子化精度１６ビットの信号を符号化した符号Ｂと、サンプリング周波数192kHz、量子化精度１６ビットの信号を符号化した符号Ｃとにより表す。
図３１に示す第８実施例の符号化装置における音源６０(603,3)からの24b,192kHzディジタル信号S3,3から図２６に示す各種サンプリング周波数、振幅語長のディジタル信号を作って、符号化する場合を例として説明する。
【０１２６】
24b,192kHzディジタル信号S3,3はビット分割部713,3 で各サンプルごとに下位４ビットと、上位２０ビットに分割され、下位４ビットの信号に圧縮部613,3 で符号Ｉに生成され、上位２０ビットの信号はビット分割部712,3 で下位４ビットと上位１６ビットに再分割され、その下位４ビットの信号は圧縮部612,3 で符号Ｆに生成され、上位１６ビット区間の信号の減算部631,3へ供給される。
24b,192kHzディジタル信号S3,3はダウンサンプル部723,3 でサンプリング周波数96kHzの信号にダウンサンプリングされ、このダウンサンプリングされた信号はビット分割部713,2 ，712,2 で同様に順次ビット区間に分割され、最下位４ビットの信号と、次の下位４ビットの信号と上位１６ビットの信号に分割され、前２者の各４ビット信号は圧縮部613,2 ，612,2 でそれぞれ符号Ｈ，Ｅに生成され、後者の１６ビットの信号は減算部631,2 へ供給される。
【０１２７】
ダウンサンプル部723,2 でサンプリング周波数96kHzとされた24b,96kHzディジタル信号はダウンサンプル部723,2 で更にサンプリング周波数48kHzの信号にダウンサンプリングされ、この24b,48kHzディジタル信号はビット分割部713,1 ，712,1 で同様に順次ビット区間に分割され、最下位４ビットの信号と、次の下位４ビットの信号と、上位１６ビットの信号とされ、これら２つの４ビットの信号と、１６ビットの信号は圧縮部613,1 ，612,1 ，611,1 でそれぞれ符号Ｇ，Ｄ，Ａに生成される。
更に16b,48kHzディジタル信号はアップサンプル部731,1 でサンプリング周波数96kHzの信号にアップサンプリングされ、このアップサンプリングされた信号と、ビット分割部712,2 の１６ビットの信号との差分が誤差信号Δ1,2として減算部631,2で生成され、その誤差信号を圧縮部611,2で圧縮して符号Ｂが生成される。ビット分割部712,2からの１６ビットの信号はアップサンプル部731,2 でサンプリング周波数192kHzの信号にアップサンプリングされ、このアップサンプリングされた信号と、ビット分割部712,3よりの１６ビットの信号との差分が減算部631,3で生成され、誤差信号Δ1,3として圧縮部611,3で符号Ｃに符号化される。図３１中の各圧縮部は、図２７に示した各圧縮部と同様の手法で圧縮符号化すればよい。
【０１２８】
24b,192kHzの原音ディジタル信号からダウンサンプルにより生成された16b,48kHzディジタル信号S1,1は例えば音声信号や音楽信号の場合低い周波数帯にエネルギーが偏っているので、圧縮部611,1 としては予測符号化や変換符号化、あるいは高圧縮の符号化と組み合せた圧縮符号化が可能である。具体的には例えば図１８Ａで示した符号化器６１を使用することができる。
圧縮部611,2、圧縮部611,3としてはその入力の誤差信号Δ1,2及びΔ1,3は周波数帯域0〜48kHz及び0〜96kHzの上半分24kHz〜48kHz及び48kHz〜96kHzにしかエネルギーがないので図９の実施例で説明したように、誤差信号の周波数軸を反転して予測誤差を求め、その予測誤差を圧縮符号化してもよい。あるいは、図１８Ａ中の配列変換部６１Ｅでの処理のような変換を行った後、圧縮符号化してもよい。圧縮部612,1，613,1,612,2 ，613,2，612,3 及び613,3 は例えば図１８Ａの符号化器６１から非可逆量子化部61B、逆量子化部61C及び差回路61Dを除いた符号化器、つまり図１９Ａに示す可逆符号化器６１を用いることができる。これら圧縮部612,1, 613,1,…, 612,3，613,3 に入力される誤差信号が十分小さい場合は、雑音に近くなり、大きな圧縮は期待できないので、このフレームにおいては０のみを表わす符号に圧縮符号化してもよい。
【０１２９】
アップサンプル部731,1 、アップサンプル部731,2 において用いる補間フィルタのタップ数が復号化側で予め知られていない場合は、そのタップ数を表わす補助情報を、図３１中に破線で示すように補助情報符号化部651,2，651,3でそれぞれ符号化して第1,2補助符号、第1,3補助符号として、それぞれ第1,2符号Ｂ、第1,3符号Ｃと関連付けて出力する。この補間フィルタのタップ数と補助符号の例は図２０Ａと同様である。
なお符号化すべき各ディジタル信号の音源は図３１に破線ブロック602,3, 601,3,…, 601,1で示すように、それぞれ独立に存在していてもよい。その場合は、各ディジタル信号は対応するビット分割部713,3，712,3，713,2，712,2，712,1，712,1 又は減算部631,3，631,2、或いは圧縮部611,1 に供給すればよい。ディジタル信号S1,1〜S2,3のうち、音源が存在するものは、その存在音源からのディジタル信号を利用し、音源が存在しないものは、その上位のディジタル信号からビット分割部、ダウンサンプル部を使って作る。つまり図３１中に破線で示すように選択部752,3 ，751,3 ，753,2 ，752,2 ，751,2 ，753,1 ，752,1 ，751,1 が設けられ、各選択部は対応するディジタル信号音源が存在すれば、そのディジタル信号を選択し、なければそのすぐ上位のビット分割部又はダウンサンプル部の信号を選択する。例えば選択部752,3 は20b，192kHzディジタル信号の音源があればそのディジタル信号を選択し、存在しなければ、ビット分割部713,3 からの上位２０ビットの信号を選択してビット分割部712,3 へ供給する。選択部753,2 の場合は24b,96kHzのディジタル信号音源が存在すればその信号を選択し、存在しなければダウンサンプル部723,3 よりのダウンサンプリングされた信号を選択してビット分割部713,2 へ供給する。その他も同様である。
【０１３０】
なお、この符号化方法を前述と同様にＭ種類の量子化精度とＮ種類のサンプリング周波数により階層化した符号化法に一般化して説明すると、以下のようになる。
少なくとも第Ｍ量子化精度で第Ｎサンプリング周波数の第M,Nディジタル信号SM,Nが音源60M,Nから得られるものとする。
m=1, 2≦n≦Nの範囲のm,nの組について、入力ディジタル信号Sm,n又はディジタル信号Sm+1,nから分割して生成されたディジタル信号Sm,nと、第m,n-1ディジタル信号Sm,n-1をアップサンプルして生成した信号Sm,nとの差分を減算部63m,nで第m,n誤差信号Δm,nとして生成し、圧縮部61m,nで圧縮符号化して第m,n符号を生成する。
【０１３１】
m=M, 2≦n≦Nの範囲のm,nの組について、第m,nディジタル信号Sm,nをダウンサンプルして第m,n-1ディジタル信号Sm,n-1を生成する。2≦m≦M, 1≦n≦Nの範囲のm,nの組について、量子化精度ｍ、サンプリング周波数ｎの第m,nディジタル信号を、量子化精度がｍより低いm-1、サンプリング周波数ｎの第m-1,nディジタル信号Sm-1,nと、第m-1,nディジタル信号と第m,nディジタル信号との誤差である第m,n誤差信号Δm,nとに分割し、その第m,n誤差信号Δm,nを第m,n圧縮部61m,nにより可逆圧縮符号化して第m,n符号を生成する。
m=1, n=1の組について、第m+1,nディジタル信号から分割された第ｍ量子化精度の第m,nディジタル信号Sm,n、又は入力された第m,nディジタル信号Sm,nを圧縮符号化して、第m,n符号を生成する。
【０１３２】
この符号化方法は符号化対象の最上位の階層の信号SM,Nの振幅分解能Ｍを保ったまま、まず、サンプリング周波数が第N-1, 第N-2, …, と順次下がるディジタル信号をダウンサンプルにより生成し、次にそれぞれのサンプリング周波数毎に量子化精度を階層化している。
次に図３１に示した符号化装置と対応する復号化装置を図３２を参照して説明する。符号Ａ、符号Ｄ、符号Ｇ、符号Ｂ、符号Ｅ、符号Ｈ、符号Ｃ、符号Ｆ及び符号Ｉはそれぞれ伸張部801,1、802,1、803,1、801,2、802,2、803,2、801,3、802,3及び803,3に入力されて、それぞれ伸張復号が行われる。これら伸張部80m,nは対応する圧縮部61m,nで圧縮符号化された第m,n符号を伸張復号化する構成とされている。
【０１３３】
前述の実施例と同様に、例えば量子化精度２４ビット、サンプリング周波数192kHzのディジタル信号を24b,192kHzディジタル信号と表記する。伸張部801,1よりの伸張復号化された16b,48kHzディジタル信号S1,1はそのまま出力されると共に精度変換部811,1で下位に０が４ビット付加され、振幅語長が２０ビットとされた20b,48kHz精度変換信号が生成される。この精度変換信号は、伸張部802,1よりの伸張復号化された20b,48kHz誤差信号Δ2,1と加算部822,1で加算されて20b,48kHzディジタル信号S2,1が再生される。
伸張部801,1からの伸張復号化された16b,48kHzディジタル信号S1,1はアップサンプル部831,1でそのサンプリング周波数が96kHzに変換され、この16b,96kHzアップサンプル信号は伸張部801,2よりの伸張復号化された16b,96kHz誤差信号に、加算部821,2で加算されて、16b,96kHzディジタル信号S1,2が再生される。
【０１３４】
一般化して表現すると、1≦m≦M-1, 1≦n≦Nの範囲のm,nの組について、伸張部80m,nにより伸張復号された第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号は、精度変換部81m,nでその量子化精度（振幅語長）が第m+1量子化精度の第m+1,n精度変換信号に変換生成され、この第m+1,n精度変換信号が、伸張部80m+1,n よりの伸張復号化された第m+1,n残差信号に加算部82m+1,nで加算されて量子化精度（振幅語長）m+1、第ｎサンプリング周波数の第m+1,nディジタル信号Sm+1,nが再生される。
またm=1, 1≦n≦N-1の範囲のm,nの組について、伸張部80m,nよりの第m,nディジタル信号はアップサンプル部83m,nで第n+1サンプリング周波数の第m,n+1アップサンプル信号に変換生成され、この第m,n+1アップサンプル信号は伸張部80m,n+1よりの第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1誤差信号に加算部82m,n+1で加算されて、第ｍ量子化精度、第n+1サンプリング周波数の第m,n+1ディジタル信号Sm,n+1が再生される。なおm=1，n=1以外の伸張部80m,nにおいては第ｍ量子化精度、第ｎサンプリング周波数の第m,n誤差信号が伸張復号化される。
【０１３５】
アップサンプル部831,1，831,2に用いる補間フィルタのタップ数が予め知られていない場合は、それぞれ符号Ｂ、符号Ｃとそれぞれ関連付けて入力される第1,2補助符号、第1,3補助符号がそれぞれ補助符号復号化部851,2，851,3により補助情報としてのタップ数が復号され、各タップ数が対応するアップサンプル部831,1，831,2に設定される。
伸張部801,1は圧縮部611,1と対応したものが用いられ、例えば圧縮部611,1として図１８Ａの符号化器６１が用いられた場合は、伸張部801,1として図１８Ｂの復号化器８０が用いられる。
【０１３６】
伸張部801,2，801,3はそれぞれ圧縮部611,2，611,3 の符号化方法と対応した復号化方法を使用し、予測復号化法又は変換復号化法などを用いることができる。他の伸張部も対応する圧縮部で用いる符号化方法に対応する復号化方法を用いる。圧縮部が図１９Ａに示した構成の場合、その伸張部としては図１９Ｂに示す構成を使用する。
図３１に示した構成によれば、各種の量子化精度（振幅分解能、振幅語長）と各種のサンプリング周波数（サンプリングレート）の組み合せをもつ各種のディジタル信号を、２次元階層として統一的に符号化することができ、しかも全体として高い能率で圧縮符号化でき、利用者の要求する各種組み合せのディジタル信号を、少ないデータ量で提供することができる。
【０１３７】
図３２に示した構成によれば、図３１に示した符号化装置により符号化された符号から、量子化精度とサンプリング周波数の各種組み合せのディジタル信号中の所望とするものを統一的に復号化することができる。
なお利用者によっては必ずしも図３１中に示した全ての組み合せの第m,nディジタル信号を必要としない。図３２に示した復号化装置において
伸張部801,1、アップサンプル部831,1、伸張部801,2、加算部821,2と、
｛精度変換部811,1、伸張部802,1及び加算部822,1｝及び｛精度変換部811,2、伸張部802,2 及び加算部822,2｝及び｛アップサンプル部831,2、伸張部801,3、加算部821,3、精度変換部811,3、伸張部802,3及び加算部822,3 ｝の少なくとも１つの組を備えたものでもよい。
【０１３８】
第９実施例
この第９実施例はＭ種の振幅語長（量子化精度）、Ｎ種のサンプリング周波数（サンプリングレート）が組み合せられた第m,nディジタル信号を出力する音源が存在することを前提とする。ただし、いずれかの音源が存在しない場合は、図３１に示した符号化装置の場合と同様に上位の階層のディジタル信号から作成してもよい。
【０１３９】
図３３に示すように最も短かい振幅語長、この例では１６ビットのディジタル信号についてはサンプリング周波数の階層化は下位のサンプリングレート、つまり低いサンプリング周波数のディジタル信号を、当該ディジタル信号と同一サンプリング周波数になるようにアップサンプリングした後、そのアップサンプリングした信号との誤差信号を符号化して符号Ｂ，Ｃを求め、また最もサンプリング周波数が低い、この例では48kHzのディジタル信号は例えば１６ビット信号と２０ビット信号の誤差信号、２０ビット信号と２４ビット信号の誤差信号を順次用いて符号Ｄ，Ｇを構成する。
【０１４０】
当該ディジタル信号に対し、サンプリング周波数方向でも、振幅分解能方向でも下位の信号、つまりサンプリング周波数が低い、又は振幅語長が短かい信号が存在する場合は、２種類の選択の余地がある。つまり、当該ディジタル信号と、下位のサンプリング周波数のディジタル信号との誤差及び下位の振幅語長（振幅分解能）のディジタル信号との誤差の両誤差信号を比較し、誤差信号のパワーが小さい属性の誤差信号を選択して符号化し、それとともにその選択された属性を指定する補助情報を符号化する。例えば、20b,96kHzディジタル信号S2,2に対しては精度変換部621,2で16b,96kHzディジタル信号S1,2の各サンプルの下位に０を４ビット付加した信号との誤差信号、または20b,48kHzディジタル信号S2,1をアップサンプル部642,1で96kHzにアップサンプリングした信号との誤差信号を生成し、これら誤差信号のパワーが小さい方を選択し、その誤差信号Δ2,2を圧縮部612,2で符号化して符号Ｅとすると共に、その選択された属性を表す補助情報を補助符号化部772,2で符号化し、符号Ｅと関連付けて出力する。
【０１４１】
あるいは当該ディジタル信号S2,2の下位のサンプリング周波数のディジタル信号S2,1と下位の振幅分解能（量子化精度）のディジタル信号S1,2との重み付け加算信号を作成し、この加算信号と当該ディジタル信号S2,2との誤差信号のパワーが最小となるように重み付け係数を補助情報として決定し、その重み付け係数である補助情報と、誤差信号Δ2,2を符号化する。
図３３において20b,96kHzディジタル信号の再生は、符号Ａ，Ｂ，Ｅの組を使って行うこともできるし、符号Ｂ，Ｄ，Ｅの組を使って行うこともできることを示す。つまり選択を表す補助情報はディジタル信号の再生の際に図３３中の白矢印と黒矢印の何れの復号経路を選択するかを示す。このように下位のディジタル信号を選択して誤差信号を生成して符号化すると、各ディジタル信号の再生に必要とする符号は図３４の表に示すようになる。
【０１４２】
符号化装置
この第９実施例の符号化装置の実施例を図３５に示す。符号Ａ〜Ｉを作るのに必要とするサンプリング周波数と量子化精度の組み合せのそれぞれ原音の第m,nディジタル信号Sm,nが音源60m,n に格納されているとする。あるいは、外部から第m,nディジタル信号が入力されてもよい。m=1, 2, 3の場合であり、第ｍ振幅語長（量子化精度）と対応し、この例ではm=1は１６ビット、m=2は２０ビット、m=3は２４ビットの場合であり、n=1, 2, 3であり、第ｎサンプリング周波数（サンプリングレート）と対応し、この例ではn=1は48kHz、n=2は96kHz、n=3は192kHzである。m,nはいずれもその値が大きいほど上位の階層を表す。第m,nディジタル信号は第ｍ量子化精度で、第ｎサンプリング周波数のディジタル信号を表す。またこれら第ｍ量子化精度と第ｎサンプリング周波数の値を直接使って、例えば16b,96kHzディジタル信号と表現する場合もある。
【０１４３】
ある条件のディジタル信号が用意されていない場合は、その上位のディジタル信号から作成する。少くとも第3,3ディジタル信号S3,3、つまり振幅語長が２４ビットサンプリング周波数が192kHzのディジタル信号音源603,3は用意され、この第3,3ディジタル信号S3,3から、ダウンサンプリングや下位ビット（この例では下位４ビット又は８ビット）の切り捨てなどにより、他の音源60m,n (m≠3, n≠3）のディジタル信号Sm,nを生成する。
音源601,1よりの16b,48kHzディジタル信号S1,1は圧縮部611,1により圧縮符号化され、符号Ａが生成出力される。また16b,48kHzディジタル信号は精度変換部621,1でその第１量子化精度（１６ビット）がこれよりも高い第２量子化精度（２０ビット）に精度変換される。例えば16b,48kHzディジタル信号が符号絶対値表現の場合その下位に０が所定ビット、この例では４ビット付加され、音源602,1 からの20b,48kHzディジタル信号S2,1と同一量子化精度（同一振幅語長）の20b,48kHz精度変換信号とされる。音源602,1よりの20b,48kHzディジタル信号S2,1は減算部632,1でこの20b,48kHz精度変換信号が減算され、20b,48kHz誤差信号Δ2,1が生成され、この誤差信号Δ2,1が圧縮部612,1で圧縮符号化されて符号Ｄが生成出力される。
【０１４４】
また16b,48kHzディジタル信号S1,1はアップサンプル部641,1により、そのサンプリング周波数が第１サンプリング周波数（48kHz）より高い第２サンプリング周波数（96kHz）の16b,96kHzアップサンプリング信号に変換生成される。音源601,2よりの16b,96kHzディジタル信号S1,2は減算部631,2において16b,96kHzアップサンプリング信号との差分を16b,96kHz誤差信号Δ1,2として生成される。この16b,96kHz誤差信号Δ1,2は圧縮部611,2により圧縮符号化され、符号Ｂが生成、出力される。
このように、それより下位のサンプリング周波数がない、つまり最も低いサンプリング周波数のディジタル信号、例えば24b,48kHzディジタル信号S3,1及び20b,48kHzディジタル信号S2,1の符号化は、同一サンプリング周波数でそのディジタル信号より１階層下位の量子化精度のディジタル信号との誤差信号を圧縮符号化することにより行う。また下位の量子化精度がないディジタル信号、例えば16b,96kHzディジタル信号S1,2、16b,192kHzディジタル信号S1,3の符号化は、同一の量子化精度で下位のサンプリング周波数のディジタル信号S1,1, S1,2との誤差信号を圧縮符号化しておこなう。
【０１４５】
しかし20b,96kHzディジタル信号S2,2のように量子化精度についてもより下位の入力ディジタル信号が存在し、サンプリング周波数についてもより下位の入力ディジタル信号が存在する場合は、これらの何れかを選択する。つまり20b,96kHzディジタル信号S2,2の場合は、そのサンプリング周波数が次に下位で同一振幅語長の20b,48kHzディジタル信号S2,1をアップサンプル部642,1でサンプリング周波数96kHzにアップサンプリングした20b,96kHzアップサンプル信号を使用するか、または振幅語長（量子化精度）が次に下位で同一サンプリング周波数の16b,96kHzディジタル信号S1,2を精度変換部621,2で下位に０を４ビット付加した、20b,96kHzの精度変換信号を使用するかの何れかを図３６を参照して後述する選択部762,2 で選択し、その選択した信号と20b,96kHzディジタル信号S2,2との差分を誤差信号Δ2,2として減算部632,2で求める。この誤差信号Δ2,2のパワーが小さい属性の下位からのディジタル信号を選択部762,2で選択し、いずれの属性の信号を選択したかを表す情報を補助符号化部７７で符号化し、補助符号を出力する。この20b,96kHz誤差信号Δ2,2が圧縮部612,2で圧縮符号化されて符号Ｅとされる。
【０１４６】
同様に24b,48kHzディジタル信号S3,1をアップサンプル部643,1で24b,96kHzのアップサンプル信号とし、また20b,96kHzディジタル信号S2,2を精度変換部622,2で下位に４ビットの"0"を付加することにより24b,96kHz精度変換信号とし、これら両信号の一方を選択部763,2で選択し、その選択した信号と24b,96kHzディジタル信号S3,2との差分を24b,96kHz誤差信号Δ3,2として減算部633,2で生成して、圧縮部613,2で符号Ｈとする。
20b,192kHzディジタル信号S2,3も同様にして20b,96kHzディジタル信号S2,2のアップサンプル信号と、16b,192kHzディジタル信号S1,3の精度変換信号との一方との誤差信号Δ2,3を圧縮符号化して符号Ｆを生成する。24b,192kHzディジタル信号S3,3も２つの下位のディジタル信号S3,2, S2,3の一方を選択部763,3で選択し、その誤差信号Δ3,3から符号Ｉを生成する。
【０１４７】
選択部762,2，763,2，762,3，763,3 の具体例を図３６に示す。この例では2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1ディジタル信号Sm,n+1を圧縮符号化する場合で、第m,nディジタル信号Sm,nがアップサンプル部64m,nで第m,n+1アップサンプル信号にアップサンプリングされ、また第m-1,n+1ディジタル信号Sm-1,n+1が精度変換部62m-1,n+1で第m,n+1精度変換信号に精度変換される。これら第m,n+1アップサンプル信号と第m,n+1ディジタル信号Sm,n+1との歪、及び第m,n+1精度変換信号と第m,n+1ディジタル信号Sm,n+1との歪が第m,n歪及び第m-1,n+1歪としてそれぞれ歪計算部７６Ａ及び７６Ｂで計算される。比較部７６Ｃはこれら第m,n歪及び第m-1,n+1歪のパワーを比較し、第m,n歪のパワーの方が小さければ第m,n+1アップサンプル信号を選択し、第m-1,n+1歪のパワーの方が小さければ、第m,n+1精度変換信号を選択するようにスイッチ７６Ｄを制御する。
【０１４８】
スイッチ７６Ｄで選択された信号が減算部63m,n+1へ供給され、第m,n+1ディジタル信号Sm,n+1との第m,n+1誤差信号Δm,n+1が生成され、これが圧縮部61m,n+1で第m,n+1符号に圧縮符号化される。このようにして第m,n+1ディジタル信号Sm,n+1と第m,nディジタル信号Sm,n及び第m-1,n+1ディジタル信号Sm-1,n+1との両誤差信号のうちパワーが小さい方の誤差信号が第m,n+1誤差信号Δm,n+1として生成される。スイッチ７６Ｄで何れの信号を選択したかを示す補助情報を補助符号化部７７で第m,n+1補助符号として第m,n+1符号に関連付けておく。この補助情報は第m,n+1ディジタル信号Sm,n+1に対し、サンプリング周波数がすぐ下位の第m,nディジタル信号Sm,nか、量子化精度がすぐ下位の第m-1,n+1ディジタル信号Sm-1,n+1の何れかを選択したかがわかればよく、第m,n+1補助符号は補助情報の有無の符号と、何れを選択したかを示す符号の計２ビットでもよく、従って、第m,n+1符号に誤差信号符号と補助情報とが区別できるように、一体化して出力してもよい。
【０１４９】
図３５の符号化装置と対応する復号化装置の実施例を図３７に示す。最下位のサンプリング周波数48kHzのディジタル信号に対する復号は図３２に示した復号化装置と同様である。復号対象ディジタル信号よりも下位の量子化精度及び下位のサンプリング周波数のディジタル信号が再生されている場合は、例えば20b,96kHzディジタル信号S2,2を再生する場合は、再生された20b,48kHzディジタル信号S2,1がアップサンプル部832,1で20b,96kHzアップサンプル信号とされて選択部872,2へ供給され、また再生された16b,96kHzディジタル信号S1,2が精度変換部811,2で20b,96kHz精度変換信号に変換されて選択部872,2 へ供給される。補助復号部862,2で第2,2補助符号が復号され、その復号された補助情報が示す選択情報に従って選択部872,2は両入力信号の一方を選択して加算部822,2 に与える。加算部822,2は伸張部802,2からの符号Ｅの復号20b,96kHz誤差信号Δ2,2と選択部872,2により選択された信号を加算して20b,96kHzディジタル信号S2,2が再生される。
【０１５０】
一般的には2≦m≦M, 1≦n≦N-1の範囲のm,nの組について、第m,n+1補助符号が補助復号部86m,n+1で復号された補助情報に従って、何れかの属性の信号、つまり再生された第m,nディジタル信号Sm,nをアップサンプル部83m,n で第m,n+1アップサンプル信号としたものか、又は再生された第m-1,n+1ディジタル信号Sm-1,n+1を精度変換部81m-1,n+1で第m,n+1精度変換信号としたもののいずれか一方が選択部87m,n+1で選択される。選択された信号は加算部82m,n+1で第m,n+1符号を伸張復号した第m,n+1誤差信号Δm,n+1と加算されて、第m,n+1ディジタル信号Sm,n+1が再生される。
なお第m,nディジタル信号Sm,n、第m-1,n+1ディジタル信号Sm-1,n+1の符号からの再生方法は、図３７に示した手法に限らない。要はこれら両ディジタル信号を再生する手段があればよい。
【０１５１】
第１０実施例
前述の第９実施例ではサンプリング周波数は同一で下位の量子化精度のディジタル信号と、量子化精度は同一で下位のサンプリング周波数のディジタル信号のうち、誤差信号のパワーが小さいほうのディジタル信号を選んで圧縮率を高めたが、これら２つの下位のディジタル信号を重み付け加算して誤差信号のパワーが小さくなるようにしてもよい。即ち図３５中で各選択部76m,n（2≦m≦M, 2≦n≦N）のブロック内に括弧書きで混合部と記すように、選択部の代りに混合部を用いて両入力信号を重み付け加算して出力するようにする。例えば混合部762,2ではアップサンプル部642,1よりの20b,96kHzアップサンプル信号と、精度変換部621,2よりの20b,96kHz精度変換信号とを重み付け加算し、その20b,96kHz加算信号と20b,96kHzディジタル信号S2,2との20b,96kHz誤差信号Δ2,2を減算部632,2で生成する。その際、20b,96kHz誤差信号Δ2,2のパワーを最小にするように、混合部762,2で用いる重み係数の組を、予め図示してない記憶部に格納された複数の組の中から選択して決定する。このようにしてパワーを最小とする20b,96kHz誤差信号Δ2,2が圧縮部612,2で圧縮符号化され、符号Ｅが出力される。
【０１５２】
混合部76m,n+1の具体例を図３８に示す。アップサンプル部64m,nからの第m,n+1アップサンプル信号、精度変換部62m-1,n+1よりの第m,n+1精度変換信号は乗算部７６Ｇ，７６Ｈでそれぞれ選択した組の重み係数W1, W2が乗算される。これら乗算結果が加算部７６Ｊで加算され、その第m,n+1加算信号と第m,n+1ディジタル信号Sm,n+1との差分が誤差信号として減算部63m,n+1で生成される。この第m,n+1誤差信号は制御部７６Ｋに分岐入力される。制御部７６Ｋは上述のように図示してない記憶部に予め決めた複数の組の重み係数W1,W2をそれらの組を表す符号と対応させた表として有しており、第m,n+1誤差信号Δm,n+1のパワーが最小となるように重み係数表から１つの組の重み係数W1とW2を選択して乗算部７６Ｇ，７６Ｈへ与える。誤差信号のパワーが最も小さい時の第m,n+1誤差信号Δm,n+1を圧縮部61m,n+1で圧縮符号化させ、またその時選択した重み係数の組(W1, W2)を指定する符号を補助符号化部７９で第m,n+1補助符号として、誤差信号Δm,n+1の第m,n+1符号と関連付けて出力する。
【０１５３】
ディジタル信号の符号化は一般にフレーム（符号化単位時間）に分割して行うが、この補助情報の決定もフレームごとに行う場合に限らず、フレームを構成するサブフレームごとに行ってもよい。
この混合部７６を用いる符号化装置と対応する復号化装置においては、図３７中に括弧書きで示すように選択部８７の代りに混合部８７を用いればよい。混合部８７は図３８に示した重み付け加算を行う構成、つまり乗算部７６Ｇ，７６Ｈと加算部７６Ｊとを有する構成と同じである。例えば補助復号部862,2に図３８の制御部７６Ｋが有するのと同じ重み係数表が図示してない記憶部に設けられており、入力された補助符号、つまり重みの組み合せを示す符号に基づいて対応する組の重み係数W1, W2を重み係数表から取り出し、アップサンプル部832,1からの20b,96kHzアップサンプル信号と精度変換部811,2からの20b,96kHz精度変換信号に対し、混合部872,2で重みW1, W2をそれぞれ乗算し、その乗算結果を加算し、その加算結果の20b,96kHz加算信号を伸張部802,2からの伸張復号された20b,96kHz誤差信号Δ2,2と加算部822,2で加算して20b,96kHzディジタル信号S2,2を再生する。
【０１５４】
一般的に表現すると、アップサンプル部83m,nよりの第m,n+1アップサンプル信号と、精度変換部81m-1,n+1 よりの第m,n+1精度変換信号に対し、第m,n+1補助符号を補助復号部86m,n+1で入力された補助符号により指定された重み係数の組W1,W2をそれぞれ混合部87m,n+1で乗算し、その乗算結果を加算し、その第m,n+1加算信号と、伸張部80m,n+1で第m,n+1符号を復号して得た第m,n+1誤差信号Δm,n+1とを加算部82m,n+1で加算して第m,n+1ディジタル信号Sm,n+1を再生する。
第１０実施例の変形例
図３５中の量子化精度とサンプリング周波数の各種組み合せの第m,nディジタル信号は同じ音場から別々に採取された信号として入力されるか、又はそれらが音源601,1〜603,3に一旦蓄積され、それらから読み出される。各音源のディジタル信号は第m,nディジタル信号Sm,nを単純にダウンサンプリングと下位ビット切り捨てを行ったものと異なり、雑音（固定ディザ信号）を加えたりすることがあり、また振幅やサンプリング（標本点位置）のずれなどの種々の変換や調整が行われている可能性がある。この変換や調整はどのようなものであるか、一般的には事前に知られていない。
【０１５５】
そこでこの変形例では図３５に示した符号化装置において、第ｎサンプリング周波数、第ｍ量子化精度のディジタル信号に対し、それより下位の第n-1サンプリング周波数のディジタル信号、又は下位の第m-1量子化精度のディジタル信号を上記と同じ階層のディジタル信号に変形して、上位のディジタル信号から下位のディジタル信号を差し引いた誤差信号のパワーが最小となるようにする。
例えば図２２に示したように、第m,nディジタル信号Sm,nは精度変換部62m,n において前述したように、量子化精度（振幅語長、振幅分解能）が第m+1量子化精度に変換され、この第m+1,n精度変換信号は、この例では利得調整部６６Ａによりレベル調整され、更にそのレベル（利得）調整された第m+1,n精度変換信号はタイミング調整部６６Ｂでサンプル位置が調整され、そのサンプル位置調整された第m+1,n精度変換信号により第m+1,nディジタル信号Sm+1,nに対し減算が減算部63m+1,nで行われる。これらの調整については図２２を参照して説明したものと同じであり、説明を省略する。
【０１５６】
また、符号化装置において、下位ディジタル信号、具体的には例えば第m+1,n精度変換信号に時間・利得調整を行った場合、復号化装置において、その時間・利得調整を対応する第m+1,n精度変換信号に行う必要がある。その場合の例も、図２３で説明したと同様の構成とすることができ、その動作についてはすでに説明したので、ここでは説明を省略する。
以上の変形例は最下位のサンプリング周波数が、図３５、図３７では48kHzのディジタル信号、最下位の量子化精度が図３５、図３７では１６ビットのディジタル信号の符号化、復号化の場合の例である。選択部や混合部を用いる場合は、図３６中及び図３８中に破線で示すように調整部７６Ｅでアップサンプル部64m,nよりの第m,n+1アップサンプル信号と、第m,n+1ディジタル信号Sm,n+1との間で図２２に示した利得調整部６６Ａによるレベル調整及びタイミング調整部６６Ｂによるサンプル位置調整の一方又は両方を行って図３６では歪計算部７６Ａ及びスイッチ部７６Ｄ（図３８では又は乗算部７６Ｇ）へ供給し、また調整部７６Ｆで、精度変換部62m-1,n+1よりの第m,n+1精度変換信号と第m,n+1ディジタル信号との間で図２２に示したレベル調整及びサンプル位置調整の何れか一方または両方を行って歪計算部７６Ｂ（又は乗算部７６Ｈ）へ供給する。またこれら調整部７６Ｅ，７６Ｆよりの調整利得及び調整サンプル位置量の一方又は両方の第m,n+1補助符号が出力される。これら第m,n+1補助符号は、補助符号化部７７よりの第m,n+1補助符号と共に１つの第m,n+1補助符号として出力してもよい。また図３８に示した例では、調整部７６Ｅ，７６Ｆでの各調整利得と、乗算部７６Ｇ，７６Ｈの各重みW1, W2をそれぞれ乗算した値を補助情報に用いてもよい。
【０１５７】
図３７に示した復号化装置において選択部又は混合部87m,nを用いる場合は、例えば図３９に示すように第m,n+1補助符号は、補助情報復号部８８により復号される。アップサンプル部83m,n 及び精度変換部81m-1,n+1と選択部（混合部）87m,n+1 との間に調整部８７Ａ及び８７Ｂがそれぞれ挿入され、これら調整部８７Ａ，８７Ｂはそれぞれ図２３中に示した調整部８７と同様の構成とされ、補助情報復号部８８からの復号された調整利得及び調整サンプル位置量の一方又は両方に対応するものが供給され、第m,n+1アップサンプル信号及び第m,n+1精度変換信号がそれぞれレベル調整及びサンプル位置調整の一方又は両方が行われて選択部（混合部）87m,n+1へ供給される。
【０１５８】
図３５に示した符号化装置においては20b,96kHzディジタル信号S2,2を符号化する場合に、図３４に示したように符号Ａ，Ｄ，Ｅの組を用いることができるし、符号Ａ，Ｂ，Ｅの組を用いることもできる。従って、これらの組による符号化のうち、最も情報量の少ない組による符号化方法を用いることができる。同様に24b,192kHzディジタル信号S3,3については符号Ａ，Ｂ，Ｃ，Ｆ，Ｉの組、符号Ａ，Ｂ，Ｅ，Ｆ，Ｉの組、符号Ａ，Ｂ，Ｅ，Ｈ，Ｉの組、符号Ａ，Ｄ，Ｅ，Ｆ，Ｉの組、符号Ａ，Ｄ，Ｅ，Ｈ，Ｉの組、符号Ａ，Ｄ，Ｇ，Ｈ，Ｉの組の６通りの符号化のうち、合計情報量が最も小さくなるものによって符号化されるため、高い圧縮率が得られる。その他のディジタル信号も、図３４に示した論理式で表されるように、例えば20b,192kHzディジタル信号の場合は、符号Ａ，Ｂ，Ｃ，Ｆの組、Ａ，Ｂ，Ｅ，Ｆの組、Ａ，Ｂ，Ｅ，Ｆの組、Ａ，Ｄ，Ｅ，Ｆの組の４通りによる符号化が可能である。また、24b,96kHzディジタル信号の場合は、Ａ，Ｂ，Ｅ，Ｈの組、Ａ，Ｄ，Ｅ，Ｈの組、Ａ，Ｄ，Ｇ，Ｈの組の３通りによる符号化が可能である。これらのうち最も合計情報量の少ない組（最も圧縮率が高くなる組）を使用することにより、伝送効率を高めることができる。
【０１５９】
なお図３５に示した符号化装置中の圧縮部も、図２７、図３１に示した符号化装置の圧縮部と同様の構成とすることができ、同様に図３７に示した復号化装置中の伸張器は図３０、図３２に示した復号化装置中の伸張器と同様の構成とすることができる。
先に述べたように、第１０実施例の符号器において、いずれかの音源が存在していない場合、あるいは最高量子化精度、最高サンプリング周波数のディジタル信号音源しかない場合は、存在する音源の信号から、他の量子化精度、サンプリング周波数のディジタル信号を作って符号化する。24b,192kHzディジタル化信号S3,3からすべてのディジタル信号を作る例を図４０に図３５と対応する部分に同一参照番号を付けて変更された部分についてのみ説明する。図４０中の左側の破線で示す音源は存在していない。
【０１６０】
24b,192kHzディジタル信号S3,3は桁落部673,3で下位４桁が除去され、20b,192kHzディジタル信号S2,3が生成される。その20b,192kHzディジタル信号は更に桁落部672,3で下位４ビットを用いずに、16b,192kHzディジタル信号S1,3が生成される。24b,192kHzディジタル信号S3,3はダウンサンプル部683,3でサンプリング周波数が96kHzにダウンサンプリングされ、24b,96kHzディジタル信号S3,2が生成される。この24b,96kHzディジタル信号S3,2は桁落部673,2，672,2により順次、下位４ビットを用いずに、それぞれ20b,96kHzディジタル信号S2,2、16b,96kHzディジタル信号S1,2が生成される。以下同様に24b,48kHzディジタル信号S3,1、20b,48kHzディジタル信号S2,1、16b,48kHzディジタル信号S1,1がダウンサンプル部683,2、桁落部673,1，672,1により生成される。
【０１６１】
これらディジタル信号の生成法の他の例を図４１に示す。この場合は、図４０と同様に桁落部673,3，672,3により20b,192kHzディジタル信号S2,3、16b,192kHzディジタル信号S1,3を生成し、ダウンサンプル部683,3，683,2により24b,96kHzディジタル信号S3,2と24b,48kHzディジタル信号S3,1を生成するが、この例では桁落部673,3よりの20b,192kHzティジタル信号S2,3、桁落部672,3よりの16b,192kHzディジタル信号S1,3がそれぞれ、ダウンサンプル部682,3，681,3によりダウンサンプリングされて20b,96kHzディジタル信号、16b,96kHzディジタル信号S1,2が生成され、更にこれらがダウンサンプル部682,2，681,2によりダウンサンプリングされて、20b,48kHzディジタル信号S2,1、16b,48kHzディジタル信号S1,1が生成される。図４０、図４１においてその他の構成は、図３５と同様である。
【０１６２】
上述した第７〜第１０実施例において、量子化精度の種類の数Ｍ、サンプリング周波数の種類の数Ｎは各３に限らず、Ｍの値を別の値にしてもよい。同様にＮの値についても３に限らず、他の値にしてもよい。また上述した各実施例にそれぞれ示した各符号器、各復号器を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば復号器について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して復号化プログラムをコンピュータ内のＣＰＵなどの制御手段によりダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
【０１６３】
第７〜第１０実施例によっても、例えば図２４を参照して説明した楽音配信システムを実行することができる。
上述の第７乃至第１０実施例によれば、振幅の量子化精度やサンプリング周波数の異なる符号化が統一的に実行でき、システム全体として圧縮率を高めることができる。
第１１実施例
まず、この第１１実施例において使用するディジタル信号の２次元階層化を図４２に示す。Ｍ種類の量子化精度として１６ビット、２０ビット、２４ビットの３種類と、Ｎ種類のサンプリング周波数として48kHz、96kHz、192kHzの３種類を使用し、Ｍ×Ｎ＝９個のの組み合せのディジタル信号の生成を可能とする。
【０１６４】
量子化精度が２４ビットのディジタル信号中の最下位ビットから下位８ビットを除いた上位１６ビットについて、サンプリング周波数が48kHzで符号化した符号Ａと、前記上位１６ビットについて符号Ａにより符号化された成分以上の周波数成分についてサンプリング周波数96kHzで符号化した符号Ｂと、更に符号Ｂにより符号化された成分以上の周波数成分についてサンプリング周波数192kHzで符号化した符号Ｃと、振幅語長１６ビット信号についてサンプリング周波数が複数に階層化される。つまりサンプリング周波数の階層化は１６ビット語長の信号で実現される。
【０１６５】
１６ビット語長に対し下位４ビットを付加して２０ビット語長とした信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分（誤差信号）について、サンプリング周波数48kHzで符号化した符号Ｄと、２０ビット語長でサンプリング周波数48kHzの信号をサンプリング周波数96kHzにアップサンプリングした信号と、２０ビットサンプリング周波数96kHzのディジタル信号との誤差信号を圧縮符号化した符号Ｊと、20b,96kHzディジタル信号をサンプリング周波数192kHzにアップサンプリングした信号と20b,192kHzディジタル信号との誤差信号を圧縮符号化した符号Ｋとにより２０ビット語長信号についてサンプリング周波数の階層化が実現される。
【０１６６】
２０ビット語長に対し更に下位４ビットを付加して２４ビット語長とした信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分（誤差信号）について、サンプリング周波数48kHzで符号化した符号Ｇと、24b,48kHzディジタル信号をサンプリング周波数96kHzにアップサンプリングした信号と、24b,96kHzディジタル信号との誤差信号を圧縮符号化した符号Ｌと、24b,96kHzディジタル信号をサンプリング周波数192kHzにアップサンプリングした信号と24b,192kHzディジタル信号との誤差信号を圧縮符号化した符号Ｍとして、周波数方向に階層符号化する。つまり１６ビット以上の量子化精度に対する階層化は各サンプリング周波数ごとに行う。この階層化における符号Ａ，Ｂ，Ｃ，Ｄ，Ｇに対応する信号の量子化精度とサンプリング周波数は、図２５における対応する符号と同じであるが、例えば本実施例では符号Ｌに対応する信号は図２５における符号Ｂ，Ｅ，Ｈに対応する信号を含んでいる。同様に、本実施例の符号Ｍは図２５における符号Ｃ、Ｆ、Ｉを含み，本実施例における符号Ｋは図２５における符号Ｃ、Ｆを含み、本実施例における符号Ｊは図２５における符号Ｂ、Ｅを含んでいる。
【０１６７】
このように振幅語長（振幅分解能，量子化精度）とサンプリング周波数との二次元階層化された９種類の符号化条件により符号化された符号Ａ〜Ｄ，Ｇ，Ｊ〜Ｍを用いることにより、図４３の表に示すようにＭ＝３種類の振幅語長とＮ＝３種類のサンプリング周波数の組み合せの全Ｍ×Ｎ＝９種類のディジタル信号を出力することができる。つまり各サンプリング周波数と量子化精度との各組み合せについて図４３に示す符号を用いればよい。例えば、サンプリング周波数96kHz、振幅語長２４ビットの場合、符号ＡとＤとＧとＬを用いればよい。
次にこれら符号Ａ〜Ｄ，Ｇ，Ｊ〜Ｍを生成する符号化方法を図４４に示す機能構成を参照して説明する。符号Ａ〜Ｄ，Ｇ，Ｊ〜Ｍを生成するのに必要とするサンプリング周波数と振幅語長の組み合せのそれぞれの原音の第m,nディジタル信号が音源60m,n に格納されているとする。m=1, 2, 3であり、第ｍ振幅語長（量子化精度）と対応し、この例ではm=1は１６ビット、m=2は２０ビット、m=3は２４ビットの場合を示し、n=1, 2, 3であり、第ｎサンプリング周波数（サンプリングレート）と対応し、この例ではn=1は48kHz、n=2は96kHz、n=3は192kHzを示す。ある条件のディジタル信号が用意されていない場合は、その上位の階層のディジタル信号から作成する。少くとも第3,3ディジタル信号S3,3、つまり振幅語長が２４ビットでサンプリング周波数が192kHzのディジタル信号音源603,3 は用意され、この第3.3ディジタル信号S3,3から、必要に応じてダウンサンプリングや下位４ビット又は８ビットの切り捨てなどにより、他の音源60m,n（m≠3、n≠3）のディジタル信号を生成する。
【０１６８】
音源601,1 よりの第1,1ディジタル信号S1,1は圧縮部611,1 により圧縮符号化され、第1,1符号Ａが生成出力される。また第1,1ディジタル信号は精度変換部621,1 でその第１量子化精度がこれよりも高い第２量子化精度に精度変換される。例えば第1,1ディジタル信号S1,1が符号絶対値表現の場合その下位に０が所定ビット数分、この例では４ビット付加され、音源602,1 の第2,1ディジタル信号S2,1と同一量子化精度（同一振幅語長）の第2,1精度変換信号とされる。音源602,1 よりの第2,1ディジタル信号S2,1は減算部632,1 でこの第2,1精度変換信号が減算され、第2,1誤差信号Δ2,1が生成され、この第2,1誤差信号Δ2,1が圧縮部612,1 で圧縮符号化されて符号Ｄが生成出力される。つまり複数のディジタル信号中のサンプリング周波数が最低のものは、そのディジタル信号より１階層下位の量子化精度のディジタル信号を、同一量子化精度（振幅語長）に精度変換した信号との誤差信号を圧縮符号化する。第3,1ディジタル信号も同様に符号化され、符号Ｇが生成される。
【０１６９】
また第1,1ディジタル信号S1,1は第1,1アップサンプル部641,1 により、そのサンプリング周波数が第１サンプリング周波数より高い第２サンプリング周波数の第1,2アップサンプリング信号に変換生成される。この例ではサンプリング周波数が48kHzから96kHzに変換される場合であり、例えば図１７Ａ，１８Ｂで説明したように第1,1ディジタル信号の実線のサンプル列における各隣接サンプルを補間する破線のサンプルが挿入される。
音源601,2 よりの第1,2ディジタル信号S1,2は減算部631,2 において第1,2アップサンプリング信号が差し引かれ、第1,2誤差信号Δ1,2が生成される。この第1,2誤差信号Δ1,2は圧縮部611,2 により圧縮符号化され、第1,2符号Ｂが生成、出力される。
【０１７０】
他の符号Ｂ，Ｃ，Ｊ，Ｋ，Ｌ，Ｍも同様に生成する。これら符号の生成を一般的に述べる。ｍとｎの組み合せについて、最下位のm=1, n=1の第m,nディジタル信号を第m,n圧縮部61m,n で圧縮符号化して、第m,n符号を生成し、出力する。
2≦m≦M, n=1の範囲のm,nの組の第m,nディジタル信号Sm,nについては第ｍ量子化精度の直ぐ下位の第m-1量子化精度の第m-1,nのディジタル信号を同一量子化精度ｍの第m,n精度変換信号に第m-1,n精度変換部62m-1,n で変換生成し、第m,nディジタル信号と第m,n精度変換信号との差を減算部63m,n で求め、その第m,n誤差信号を圧縮部61m,n で圧縮符号化して第m,n符号を生成、出力する。
【０１７１】
またサンプリング周波数が最低でない、つまりn≧2の第m,nディジタル信号については、同一量子化精度でサンプリング周波数が直ぐ下位の第m,n-1ディジタル信号を第ｎサンプリング周波数に第m,n-1アップサンプル部64m,n-1 でアップサンプリングして第m,nアップサンプリング信号を生成し、第m,nディジタル信号から第m,nアップサンプリング信号を減算部63m,n で減算し、その残りを第m,n誤差信号を、圧縮部61m,n で圧縮符号化して、第m,n符号を生成、出力する。
原音信号が音声や音楽のような場合、一般に第1,1ディジタル信号は低周波数領域にエネルギーが大きく偏っているので、第1,1圧縮部611,1 としては予測符号化や変換符号化、あるいは高圧縮の符号化と組み合せた圧縮符号化が可能である。具体的には例えば前述の図１８Ａの符号化器６１を使用することができる。
【０１７２】
圧縮部611,2 、611,3 への入力である第1,2誤差信号、第1,3誤差信号は前述したように第1,1誤差信号の帯域外である。周波数帯域の上半分にしかエネルギーがないので信号を予測したり、前述の図１８Ａ中の配列変換部６１Ｅでの処理のような変換を行った後、圧縮符号化してもよい。圧縮部612,1, 613,1, 612,2， 613,2, 612,3及び613,3は、例えば前述の図２８に示した予測符号器と可逆圧縮部との組み合せ、あるいは前述の図１８Ａ中の符号化器６１から非可逆量子化部６１Ｂ、逆量子化部６１Ｃ及び差回路６１Ｄを除いた符号化器、つまり図１９Ａに示す可逆符号化器６１を用いることができる。これら圧縮部612,1，613,1,…，612,3，613,3 に入力される誤差信号が十分小さく、雑音のように系列がランダムの場合は、圧縮率の向上が期待できないので、このフレームにおいては０のみを表わす符号に圧縮符号化してもよい。
【０１７３】
各アップサンプル部64m,n において用いる補間フィルタのタップ数（図１７Ｂ参照）が復号化側で予め知られていない場合は、そのタップ数を、図４４中に破線で示すように補助符号化部65m,n+1でそれぞれ符号化して第m,n+1補助符号として、それぞれ第m,n+1符号と関連付けて出力する。この補間フィルタのタップ数と補助符号の例は例えば図２０Ａで示した。
次に図４４と対応するディジタル信号復号化方法を図４５を参照して説明する。
符号Ａ、Ｄ、Ｇ、Ｂ、Ｊ、Ｌ、Ｃ、Ｋ及びＭはそれぞれ伸張部801,1 、802,1 、803,1 、801,2 、802,2 、803,2 、801,3 、802,3 及び803,3 に入力されて、それぞれ伸張復号が行われる。これら第m,n伸張部80m,n は対応する第m,n圧縮部61m,n で圧縮符号化された第m,n符号を伸張復号化する構成とされている。
【０１７４】
伸張部801,1 からの伸張復号化された第1,1ディジタル信号は精度変換部３１1,1 で下位に０が４ビット付加され、振幅語長が２０ビットとされた第2,1精度変換信号が生成される。この第2,1精度変換信号は、伸張部802,1 からの伸張復号化された第2,1誤差信号Δ2,1と加算部822,1で加算されて第2,1ディジタル信号S2,1が再生される。
伸張部801,1 からの伸張復号化された第1,1ディジタル信号S1,1はアップサンプル部831,1でその第１サンプリング周波数が第２サンプリング周波数に変換された第1,2アップサンプリング信号に変換される。この第1,2アップサンプリング信号は第1,2伸張部801,2 よりの伸張復号化された第1,2誤差信号Δ1,2に、加算部821,2で加算されて、第1,2ディジタル信号S1,2が再生される。
【０１７５】
伸張部80m,n により伸張復号された第m量子化精度、第ｎサンプリング周波数の第m,nディジタル信号は、そのｎが最低値、つまりn=1であれば第m,n精度変換部81m,nでその量子化精度（振幅語長）が第m+1量子化精度の第m+1,n精度変換信号に変換生成され、この第m+1,n精度変換信号が、伸張部80m+1,n よりの伸張復号化された第m+1,n誤差信号に加算部82m+1,nで加算されて第m+1量子化精度（振幅語長）、第ｎサンプリング周波数の第m+1,nディジタル信号が再生される。
また伸張部80m,n からの第m,n誤差信号のサンプリング周波数が最低値より大、つまりｎ＞１であれば、同一の第ｍ量子化精度で、サンプリング周波数が直ぐ下位の第n-1サンプリング周波数の再生第m,n-1ディジタル信号が第m,n-1アップサンプル部83m,n-1 で第ｎサンプリング周波数の第m,nアップサンプリング信号に変換生成され、この第m,nアップサンプリング信号は第m,n誤差信号に加算部82m,nで加算されて、第ｍ量子化精度、第ｎサンプリング周波数の第m,nディジタル信号が再生される。なおm=1, n=1以外の伸張部80m,n においては第ｍ量子化精度、第ｎサンプリング周波数の第m,n誤差信号が伸張復号化される。
【０１７６】
各アップサンプル部83m,n に用いる補間フィルタのタップ数が予め知られていない場合は、それぞれ符号Ｂ、Ｊ、Ｌ、Ｃ、Ｋ及びＭと関連付けて入力される第1,2補助符号、第2,2補助符号、第3,2補助符号、第1,3補助符号、第2,3補助符号及び第3,3補助符号がそれぞれ補助復号化部851,2，852,2，853,2，851,3，852,3及び853,3により、タップ数がそれぞれ復号され、各タップ数が対応するアップサンプル部831,1，832,1，833,1，831,2，832,2 及び833,2に設定される。
伸張部801,1 は圧縮部611,1 と対応したものが用いられ、例えば圧縮部611,1 として図１８Ａの符号化器６１が用いられた場合は、伸張部801,1 として図３中の復号器が用いられる。つまり符号Ａ中の可逆圧縮符号を可逆復号し、その復号ビット列からフレーム中の対応ビット位置よりなるビット列の符号絶対値表現した複数サンプルを、そのフレームの誤差信号として再生し、符号Ａ中の非可逆圧縮符号を非可逆復号して局部再生信号を生成し、この再生信号と前記誤差信号を加算して第1,1ディジタル信号を再生する。
【０１７７】
伸張部801,2 ，801,3 はそれぞれ圧縮部611,2 ，611,3 の符号化方法と対応した復号化方法を使用し、予測復号化法又は変換復号化法などを用いることができる。他の伸張部も対応する圧縮部で用いる符号化方法に対する復号化方法を用いる。圧縮部６１が図１９Ａに示した構成の場合、その伸張部８０としては図１８Ｂの復号化器８０から逆量子化部８０Ｃ、加算部８０Ｄを除去した構成、つまり図１９Ｂに示す構成のものとする。
図４４に示した符号化装置の構成によれば、各種の量子化精度（振幅分解能、振幅語長）と各種のサンプリング周波数（サンプリングレート）の組み合せをもつ各種のディジタル信号を、２次元階層として統一的に符号化することができ、しかも全体として高い能率で圧縮符号化でき、利用者の要求する品質の再生信号を与えるための各種組み合せのディジタル信号を、少ないデータ量で提供することができる。
【０１７８】
図４５に示した復号化装置の構成によれば、図４４に示した符号化装置により符号化された符号から、量子化精度とサンプリング周波数の各種組み合せのディジタル信号中の所望とするものを統一的に復号化することができる。
なお必ずしも図４４中に示す全ての組み合せの第m,nディジタル信号を必要としない。例えば図４５に示した復号器中の伸張部801,1 の他に、アップサンプリング部831,1、伸張部801,2、加算部822,1 からなる第１手段と、精度変換部811,1、伸張部802,1 及び加算部822,1からなる第２手段と、精度変換部811,2 、第2,2伸張部802,2 ，第2,2加算部822,2、アップサンプリング部832,1、伸張部802,2、加算部822,2 からなる第３手段との１つを少くとも備えたものでもよい。
【０１７９】
図４４、図４５に示した各実施例において、量子化精度の種類の数Ｍ、サンプリング周波数の種類の数Ｎは各３に限らず、他の値でもよい。
図４４中の量子化精度とサンプリング周波数の各種組み合せの第m,nディジタル信号の音源601,1 〜603,3 が予め用意されている場合、各音源の第m,nディジタル信号は第m,n+1ディジタル信号を単純にダウンサンプリングしたもの、あるいは下位ビット切り捨てを行ったものと異なり、雑音（固定ディザ信号）を加えたりすることがあり、また振幅やサンプリング（標本点位置）のずれなどの種々の変換や調整が行われている可能性がある。この変換や調整はどのようなものであるか、一般的には事前に知られていない。
【０１８０】
要するに第１１実施例の符号化方法は、各種の量子化精度（振幅分解能、振幅語長）と各種のサンプリング周波数（サンプリングレート）のディジタル信号に対する符号化において、１つの量子化精度、サンプリング周波数のディジタル信号の符号化を、これと同一の量子化精度を有し、サンプリング周波数が低いがより近いディジタル信号を同一のサンプリング周波数にアップサンプリングした信号との誤差信号を生成し、その誤差信号を圧縮符号化し、サンプリング周波数が最も低いディジタル信号を除いては、全て上記のようにアップサンプリング信号との誤差信号の圧縮符号化のみにより符号化する。サンプリング周波数が最も低いディジタル信号については、その量子化精度がそれより低いが最も近いディジタル信号を同一量子化精度（同一振幅語長）に精度変換した信号との誤差信号を圧縮符号化する。
【０１８１】
また、この第１１実施例の復号化方法は、復号したいディジタル信号に対する誤差信号の圧縮符号を伸張復号して誤差信号を生成し、前記復号したいディジタル信号と同一量子化精度で、サンプリング周波数が低いがより近い再生ディジタル信号を、復号誤差信号のサンプリング周波数と同一のサンプリング周波数にアップサンプリングして、前記復号誤差信号に加算してディジタル信号を求める。図１６、２１の実施例で適用した図２２、２３の変形をこの図４４、４５の実施例に適用し、アップサンプリング信号及び精度変換信号の一方又は両方に対し、サンプルのレベル調整、サンプル位置の調整を行ってもよい。
【０１８２】
図４４に示した符号化装置、また図４５に示した復号化装置を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば復号化装置について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して復号化プログラムをコンピュータ内にダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
上述においてはこの発明を音楽ディジタル信号に適用したが画像のディジタル信号に適用することもできる。
上述の第１１実施例によれば、振幅の精度とサンプリングレートの要求の異なる符号化、特に可逆な符号化が統一的に実行でき、個々の圧縮性能と各種符号化条件全体に対する圧縮性能を両立できる。
第１２実施例
図４６はこの発明の第１２の実施例の概念的構成を示す。この実施例では、５チャンネルの信号L5c：前左、R5c：前右、C5c：中央、LS5c：左後（サラウンド）、RS5c：右後（サラウンド）と、２チャンネルのステレオ信号Ｌ，Ｒと、１チャンネルのモノラル信号Ｍの３種類のチャンネル数の信号を階層符号化することを想定している。いずれも同一空間で収録されたものとする。５チャンネル信号に対し、チャンネル数の少ないステレオ信号Ｌ，Ｒとモノラル信号Ｍはより下位に、ステレオ信号Ｌ，Ｒに対し、チャンネル数の少ない（即ち１チャンネルの）モノラル信号Ｍは下位または予め有る規格に従って収録されたものに階層化する。
【０１８３】
まず、モノラル信号Ｍは単独で圧縮符号化を行う。この圧縮符号化は可逆符号化でも非可逆符号化でもよい。ステレオ信号Ｌ，Ｒの符号化にはモノラル信号Ｍを補正して、補正後の信号M'をＬ，Ｒから引き算してその差分信号L-M', R-M'をそれぞれ可逆圧縮符号化する。このとき、補正に関する補助情報も可逆符号化する。補助情報自体が符号として出力される場合は、更に符号化を行う必要はない。モノラル信号Ｍはステレオ信号Ｌ，Ｒとそれぞれある程度の相関があるので、多くの場合、差分信号のほうが信号Ｌ，Ｒそのものより振幅を小さくできる。
補正に関しては、図５２を参照して後述するが、信号サンプル値に係数を掛けることによる振幅調整や、サンプル位置の調整、またはこれらの組み合わせを行う。このような補正により後述の圧縮符号化する誤差信号の振幅をできるだけ小さくする。フレームごとに補助情報を使って補正を行うこともできる。決定した補正量に関する補助情報も符号化する。
【０１８４】
更に、ステレオ信号Ｌ，Ｒとモノラル信号Ｍを５チャンネルの符号化効率の改善に利用する。一般的な収録条件では５チャンネル信号中の信号L5c, LS5cとステレオ信号Ｌとの相関が強く、５チャンネル信号中の信号R5c, RS5cとステレオ信号Ｒとの相関が強く、５チャンネル信号中の信号C5cとモノラル信号Ｍとの相関が強いことを利用した差分符号化を行う。即ち、ステレオ信号Ｌから５チャンネル信号中の信号L5c又はLS5cの差分信号(L5c-L), (LS5c-L)をそれぞれ可逆圧縮符号化し、ステレオ信号Ｒから５チャンネル信号中の信号R5c又はRS5cの差分信号(R4c-R), (RS5c-R)をそれぞれ可逆圧縮符号化する。更に、モノラル信号Ｍから５チャンネル信号中の信号C5cの差分信号(C5c-M)も可逆圧縮符号化する。
【０１８５】
図４７は図４６に示した第１２実施例の概念をより具体的に構成した例を示す。ここでは、信号としてサンプリング周波数192kHz, サンプルワード長（量子化精度）24bitの５チャンネル信号C5c, L5c, R5c, LS5c, RS5cが信号源10C5, 10L5, 10R5, 10LS, 10RSによりそれぞれ供給され、サンプリング周波数192kHz, サンプルワード長24bitのステレオ信号Ｌ，Ｒが信号源10L, 10Rにより供給され、サンプリング周波数48kHz、サンプルワード長16bitのモノラル信号Ｍが信号源10Mにより供給されている場合を示している。
５チャンネル信号中の信号L5cとLS5cはそれぞれ減算器13L5, 13LSにより、図５２を参照して後述する補正部16L5, 16LSからの補正されたステレオ信号L'と減算され、得られた残差信号（誤差信号又は差分信号とも呼ぶ）は圧縮符号化部11L5, 11LSにより可逆符号化される。補正部16L5, 16LSで決定された補正情報は補助情報として補助情報符号化部15L5, 15LSで可逆符号化される。同様に、５チャンネル信号中の信号R5cとRS5cはそれぞれ減算器13R5, 13RSにより、補正部16R5, 16RSからの補正されたステレオ信号R'と減算され、得られた残差信号は圧縮符号化部11R5, 11RSにより可逆符号化される。また、補正部16R5, 16RSで決定されたパラメータは補助情報として補助情報符号化部15R5, 15RSで可逆符号化される。補正情報がそれ自体符号として出力される場合は補助情報符号化部で更に符号化する必要はない。
【０１８６】
モノラル信号Ｍはグレードアップ部６２でサンプリングレートが48kHzから192kHzにアップサンプルされ、更に各サンプルは最上位ビット方向に８ビットシフトして下位側に同数８個の、つまり８ビットの"0"が付加され24ビットのサンプルにグレードアップされる。グレードアップされたモノラル信号は補正部16C5, 16L, 16Rに与えられる。５チャンネル信号中の信号C5cとステレオ信号L, Rはそれぞれ減算器13C5, 13L, 13Rにより、補正部16C5, 16L, 16Rからの補正されたグレードアップモノラル信号M'と減算され、得られた誤差信号は圧縮符号化部11C5, 11L, 11Rにより可逆圧縮符号化される。モノラル信号Ｍは圧縮符号化部11Mにより圧縮符号化される。圧縮符号化部１１Ｍでの符号化は、可逆符号化でも非可逆符号化でもよい。
【０１８７】
図４８は図４７の符号化装置に対応する復号化装置の具体例である。図４７における圧縮符号化部11C5, 11L5, 11R5, 11LS, 11RS, 11L, 11Rによりそれぞれ可逆符号化された符号は復号伸張部30C5, 30L5, 30R5, 30LS, 30RS, 30L, 30Rによりそれぞれの符号化に対応した復号アルゴリズムにより復号され、復号信号は加算器32C5, 32L5, 32R5, 32LS, 32RS, 32L, 32Rに与えられ、補正部36C5, 36L5, 36R5, 36LS, 36RS, 36L, 36Rからの補正された信号M',L',R',L',R',M',M'と加算され、原音信号C5c, L5c, R5c, LS5c, RS5c, L, Rが生成される。符号化装置の圧縮符号化部11Mからの符号は復号伸張部30Mで図４７の符号化装置における圧縮符号化部１１Ｍの符号化に対応した復号アルゴリズムで復号され、モノラル信号Ｍとして出力される。更に、符号化装置で符号化された補助情報は補助情報復号化部35C5, 35L5, 35R5, 35LS, 35RS, 35L, 35Rによりそれぞれの符号化に対応した復号化アルゴリズムで復号され、補正部36C5, 36L5, 36R5, 36LS, 36RS, 36L, 36Rに与えられる。
【０１８８】
伸張復号化部30Mで復号されたモノラル信号はそのままワード長16bit、サンプリングレート48kHzのモノラル信号Ｍとして出力されるとともに、グレードアップ部８１によりワード長24bit、サンプリングレート192kHzにグレードアップされ、補正部36C5, 36L, 36Rに与えられる。図５３を参照して後述する補正部36C5, 36L, 36Rはそれぞれ補助情報復号化部35C5, 35L, 35Rで復号された補正パラメータ（後述の利得係数ｋ及びタイミング調整量ｐ）により、グレードアップされたモノラル信号M'を補正して加算器32C5, 32L, 32Rに与える。加算器32C5, 32L, 33Rは５チャンネル信号のセンタ信号C5c、ステレオ信号Ｌ，Ｒを出力する。
【０１８９】
補正部36L5, 36LSは加算器32Lの出力（ステレオ信号Ｌ）を補助情報復号化部35L5, 35LSで復号された補正パラメータにより補正し、補正された信号L'を加算器32L5, 32LSに与える。同様に、補正部36R5, 36RSは加算器32Rの出力（ステレオ信号Ｒ）を補助情報復号化部35R5, 35RSで復号された補正パラメータにより補正し、補正された信号R'を加算器32R5, 32RSに与える。加算器32L5, 32R5, 32LS, 32RSは５チャンネル信号L5c, R5c, LS5c, RS5cを出力する。
第１３実施例
図４９は第１３実施例の概念を示し、２チャンネルのステレオ信号Ｌ，Ｒに対して、Ｌ、Ｒの和と差を生成している。一般的な収録条件では、和信号(L+R)は差信号(L-R)より振幅が大きく、かつ１つの位置で捕らえたモノラルの信号Ｍ及び５チャンネル信号のセンタ信号C5cとの相関が大きい場合が多い。従って、和信号(L+R)とモノラル信号Ｍの差分、及び和信号(L+R)とセンタ信号C5cとの差分を可逆符号化し、同時に差信号(L-R)をそのまま可逆符号化する。モノラル信号Ｍもそのまま可逆符号化または非可逆符号化する。和信号とモノラル信号の差分をとる場合、和信号の半値もしくはモノラル信号の倍値のいずれか一方を用いる。和信号とセンタ信号の差分をとる場合、和信号の半値もしくはセンタ信号の倍値のいずれか一方を用いる。いずれの場合も、半値、倍値を得るためにその値を示すビット列を１ビットずつ下位又は上位にシフトさせてもよい。
【０１９０】
更に、一般にステレオ信号Ｌは５チャンネル信号中の信号L5c, LS5cと相関が高く、ステレオ信号Ｒは５チャンネル信号中の信号R5c, RS5cと相関が高いので、信号L5c, LS5cと信号Ｌの差分及び信号R5c, RS5cと信号Ｒの差分をそれぞれ可逆符号化する。なお、以下の説明では差信号(L-R)と和信号(L+R)を符号化する場合で説明するが、いずれか一方を２で割り算して符号化を行っても差信号(L-R)の最下位の桁のビットは、和信号(L+R)の最下位ビットと同じなので、２で割った方を復元時に２倍し（１ビット下位、つまりMSB方向にシフトし）、その最下位ビットを２で割らなかった方の最下位ビットと同じにすれば差信号(L-R)と和信号(L+R)を完全に歪なく再構成できる。信号の再構成時にはモノラル信号Ｍの復号、和信号(L+R)の復号、差信号(L-R)の復号で、５チャンネル信号、ステレオ信号、モノラル信号のすべてが再構成できる。
【０１９１】
図５０は図４９に示した概念による第１３実施例の具体的構成例を示す。５チャンネル信号のうち、信号L5c, R5c, LS5c, RS5cに対する符号化処理のための構成は図４７の場合と同じであるが、センタ信号C5cに対する符号化がモノラル信号とでなく、和信号(L+R)との差分を取って符号化される点が異なる。図５０では、ステレオ信号ＬとＲは減算器７８Ｓで減算されて差信号(L-R)を生成し、圧縮符号化部１１Ｌで可逆符号化される。また、ステレオ信号ＬとＲは加算器７８Ａで加算され、その加算出力(L+R)は減算器１３Ｍでグレードアップ部６２からのサンプルワード長24bit、サンプリングレート192kHzにグレードアップされたモノラル信号Ｍ'と減算され、その誤差信号は圧縮符号化部１１Ｒで可逆符号化される。加算器７８Ａからの出力信号(L+R)はまた、補正部16C5で補正され、減算器13C5に与えられ、５チャンネル信号中のセンタ信号C5cと減算される。各補正部の構成と動作は図４７において使用されている補正部16C5,16L5,16R5,16LS,16RS,16L,16Rと同じであり、図５２を参照して後述する。
【０１９２】
図５１は図５０の符号化装置に対応する復号化装置の構成を示す。この例では、伸張復号化部30Mで復号されたサンプルワード長16bit、サンプリングレート48kHzのモノラル信号Ｍはそのまま出力されるとともに、グレードアップ部８１によりサンプルワード長24bit、サンプリングレート192kHzの信号にグレードアップされ、加算器３２Ｍに与えられる。加算器３２Ｍは伸張復号化部30Rからの復号誤差信号とグレードアップされたモノラル信号Ｍ'とを加算し、ステレオ和信号(L+R)を生成する。この和信号(L+R)は補正部36C5で復号化部35C5からの復号された補助情報により補正され（図５３を参照して後述）、加算器32C5に与える。加算器32C5は伸張復号化部30C5からの復号誤差信号と補正された和信号(L+R)を加算して５チャンネル信号のセンタ信号C5cを出力する。
【０１９３】
伸張復号化部30Lで復号された差信号(L-R)と、加算器３２Ｍからの和信号(L+R)は加算器９７Ａで加算され、２で割り算してステレオ信号Ｌが生成され、また、減算器９７Ｓで減算され、２で割り算してステレオ信号Ｒが生成される。伸張復号化部30L5, 30R5, 30LS, 30RSで復号された誤差信号に対する処理は図５０の場合と同様であり、その処理により５チャンネル信号C5c, L5c, R5c, LS5c, RS5cが生成される。
図４７及び５０における各補正部16C5, 16L5, 16R5, 16LS, 16RS, 16L, 16Rは同じ構成であり、例えば図５２にその１つを代表して16mnで示すように、前述の図２２で示したものと基本的に同じであり、利得調整部16Aと、タイミング調整部16Bと、誤差最小化部16Cとから構成されている。信号源からのチャンネル信号は利得調整部16Aで誤差最小化部16Cから与えられた係数ｋが乗算され、タイミング調整部16Bで誤差最小化部16Cによりサンプルのタイミングが指定されたシフト量ｐだけ進み方向または遅延方向にずらされて減算器13mn（13C5, 13L5, ...を代表する）に与えられる。誤差最小化部16Cは減算器13mnの出力誤差のパワーが最小となる係数ｋ及びシフト量ｐを例えば予め決めた複数の(k,p)の値の組から選択して決定する。この決定された係数ｋとシフト量ｐの組を表すインデックスが補正情報として補助情報符号化部15mn（15C5, 15L5, ...を代表する）に与えられ、補助符号として出力される。
【０１９４】
図４８及び５１における各補正部36C5, 36L5, 36R5, 36LS, 36RS, 36Lは同じ構成であり、図５３にその１つを代表して36mnとして示すように、前述の図２３で示したものと基本的に同じであり、利得調整部36Aとタイミング調整部36Bとから構成され、補正情報復号化部35mnからの復号された補正パラメータとして利得調整係数ｋと時間シフト量ｐにより信号サンプルの振幅を利得調整部36Aでｋ倍し、サンプルのタイミングをタイミング調整部36Bでｐだけシフトし、加算器32mnに与える。
第１４実施例
図５４はこの発明による符号化方法の第１４実施例の概念を示す。この第１４実施例においては、５チャンネルの信号に対してチャンネル間直交変換を行って他チャンネルの信号との差分信号を算出する。チャンネル間直交変換とは、チャンネル間をまたいだ周波数領域への変換などが相当し、同一時刻における各チャンネル１個のサンプルを要素とするチャンネル数Ncを次元数とするベクトルに対し、Nc×Nc直交行列を乗算することと等価である。チャンネル間直交変換としては、例えばチャンネル間の主成分分析行列又はアダマール行列、ＤＣＴ（ディジタル余弦変換）行列、ＤＦＴ（ディジタルフーリエ変換）行列、を乗じることが挙げられる。
【０１９５】
この変換により入力サンプルのベクトルは周波数領域のサンプル要素からなるベクトルに変換される。以下の説明では、その変換出力サンプル要素の周波数の低いほうから順にF0, F1, F2, F3, F4とする。直交変換により最も周波数の低い成分F0は、５チャンネル入力サンプルの和となる成分であり、一般にそれより周波数の高い成分よりもパワーが大きくなる。例えば、マルチチャンネル音楽信号のようなチャンネル間の相関が高い場合、周波数の低域側にエネルギーが集中し、高域側のエネルギーは小さくなっている。従って、チャンネル間直交変換を行うと、周波数の最も低い信号F0側の振幅が大となる。
【０１９６】
チャンネル間直交変換出力F0〜F4中の振幅の一番大きい信号、例えばF0は、モノラル信号Ｍとの相関が高いことが期待される。また、２番目に振幅の大きい信号、例えばF1がステレオ差信号(L-R)と相関が高いことが期待される。そこで、モノラル信号Ｍを補正して振幅の最も大きい直交変換出力信号F0との差分を可逆符号化し、差信号(L-R)を補正して２番目に大きい振幅の直交変換出力信号F1との差分を可逆符号化する。
図５５は図５４に示した第１４実施例の符号化方法の概念を具体的に構成した符号化装置の例を示す。図５５における補正部16A, 16Bの構成も接続関係も図５２で示したものと同様であり、図を簡略化するために減算器の出力から補正部への接続と、補助情報符号化部15mnの表記を省略してある。５チャンネル信号C5c, L5c, R5c, LS5c, RS5c,に対し直交変換部１９でチャンネル間直交変換を行い、変換出力信号F0〜F4を生成する。ステレオ信号Ｌ，Ｒに対しては図５０の場合と同様に減算器７８Ｓと加算器７８Ａにより差信号(L-R)と和信号(L+R)が生成される。差信号(L-R)は圧縮符号化部11Lで可逆符号化される。
【０１９７】
モノラル信号Ｍは圧縮符号化部１１Ｍで可逆符号化または非可逆符号化されるとともに、グレードアップ部６２でサンプリング周波数が48kHzから192kHzへ、量子化精度が16bitから24bitにグレードアップされる。グレードアップされたモノラル信号Ｍは減算器１３Ｍで和信号(L+R)と減算され、誤差信号が圧縮符号化部１１Ｒで可逆圧縮される。また、グレードアップされたモノラル信号Ｍは補正部16Aで補正され、補正された信号と減算器13Aで信号F0〜F4中の最も大きな振幅の信号F0と減算されて得られた誤差信号が圧縮符号化部11C5で可逆符号化される。
【０１９８】
一方、差信号(L-R)は補正部16Bで補正され、減算器13Bで信号F0〜F4中の２番目に大きい振幅の信号F1と減算され、得られた誤差信号が圧縮符号化部11C5で符号化される。他の変換出力信号F2〜F4は圧縮符号化部11R5, 11LS, 11RSで符号化される。なお、チャンネル間直交変換部１９の出力F0, F1, …は入力信号によっては必ずしも常にF0が最大の振幅となり、F1が２番目に大きな振幅となるわけではないが、このような傾向があれば、その傾向にあわせてどの周波数について誤差信号を生成するかを予め決めておけばよい。
図５６は図５５に対応した復号化装置を示す。伸張復号化部30Mで復号された信号はそのままサンプリング周波数48kHz、量子化精度16bitのモノラル信号Ｍとして出力されるとともに、グレードアップ部８１でサンプリング周波数192kHz、量子化精度24bitの信号にグレードアップされる。伸張復号化部30Rで復号された誤差信号は加算器３２Ｍでグレードアップされたモノラル信号Ｍと加算され、和信号(L+R)が生成される。この和信号(L+R)と復号化部30Lで復号された差信号(L-R)とが加算器９７Ａと減算器９７Ｓでそれぞれ加算及び減算されてそれぞれ２で割り算されてステレオ信号ＬとＲが生成される。
【０１９９】
グレードアップされたモノラル信号Ｍと差信号(L-R)はそれぞれ補正部36A, 36Bで補正され、補正出力が加算器32A, 32Bでそれぞれ復号化部30C5, 30L5からの復号信号と加算され、信号F0, F1が生成される。これら信号F0, F1及び復号化部30R5, 30LS, 30RSで復号された信号F2, F3, F4はチャンネル間直交逆変換部３９で直交逆変換され、時間領域の５チャンネル信号C5c, L5c, R5c, LS5c, RS5cが生成される。
前述した図４７及び５０の符号化装置の実施例において、５チャンネル信号はサンプリング周波数が192kHz、振幅分解能が24bitとして説明し、これに比べてモノラル信号Ｍのサンプリング周波数は48kHz、振幅分解能は16bitと低いが、モノラル信号Ｍをグレードアップ部６２においてサンプリング周波数192kHz、振幅分解能24bitにグレードアップして５チャンネル信号のセンタ信号C5cとの差分を可逆符号化している。
【０２００】
上述した実施例に拠れば、チャンネル数の異なる可逆な符号化が統一的に実行でき、差分符号化を行わないでそれぞれのチャンネルを別々に符号化する場合に比べてシステム全体として圧縮率を高めることができる。即ち、５チャンネル信号とステレオ信号間の差分を取ることにより両者間の相関を除去できるので、５チャンネル信号とステレオ信号を独立に圧縮したときの合計よりも少ない情報量の符号ビット列となる。また、ネットワーク上の通信量を監視し、通信量が予め決めた値を超えた場合には、例えば５チャンネル信号の送信を停止し、ステレオ信号とモノラル信号のみを送信するなど、ネットワークので利用可能な帯域変動に合わせて、チャンネル数を増減することも可能である。
第１５実施例
音声、画像などの情報を圧縮する方法として歪を許さない可逆な符号化方法が知られている。用途によってはサンプリング周波数や量子化精度が異なる場合があり、前述の実施例のように異なる複数種類の組み合わせのサンプリングレートと振幅分解能の信号が予め用意されていると、用途や好みやネットワーク条件によって複数種類のサンプリング周波数の１つと複数種類の振幅分解能の１つの所望の組に対応可能な可逆圧縮符号化が可能となる。以下にそのような圧縮符号化の第１５実施例を説明する。
【０２０１】
ここでは、サンプリング周波数と振幅の量子化精度を前述の図３３で示したように２次元的に階層化して信号を符号化することにより、より上位の階層の符号化が下位の階層の符号化で表すことができるようにする。指定されたサンプリング周波数と量子化精度での原音が再現でき、複数種類の符号化に階層的に統合できる。特に下位の階層のサンプリング周波数の信号の低周波数成分と下位の振幅分解能の信号の高周波数成分を組み合わせ、選択又は合成して原音との差分をとることにより符号化効率を改善できる。
図３３に示した階層構造によりサンプリング周波数と量子化精度の２次元階層化を行う場合は、量子化精度は階層数P=3であり、それぞれ16, 20, 24ビット、サンプリングレートは階層数Q=3であり、それぞれ48, 96, 192kHzとする。P×Q=９種類の原音A, B, C, D, E, F, G, H, Iが与えられ、できるだけ少ない情報量で符号化し、元の原音を歪なく復号する。原音信号の属性はP×Q=３×３の９種類に階層され、サンプリング周波数と量子化精度が、より下位の信号を用いて上位の信号が構成できるようにする。
【０２０２】
量子化精度１６ビットの信号は、それより下位のサンプリング周波数で同じ量子化精度の信号をアップサンプルした後の信号との誤差信号を符号化する。48kHzの信号はそれより下位の量子化精度の信号を同じ上位に精度変換して、その精度変換した信号との誤差信号を符号化する。サンプリング周波数方向と、量子化精度方向にそれぞれ下位の信号が存在する場合は、２つの下位の信号のうち、いずれかを選択することができる。例えば、サンプリング周波数96kHz、量子化精度２０ビットの信号Ｅを符号化するときにサンプリング周波数96kHz、量子化精度１６ビットの信号Ｂと、サンプリング周波数48kHz、量子化精度２０ビットの信号Ｄのうち、誤差信号のパワーが最小となるほうを選択してもよい。
【０２０３】
図５７はこの第１５実施例の符号化装置である。この例では、原音としてサンプリング周波数192kHzで、量子化精度がそれぞれ24bit, 20bit, 16bitの原音信号S3,3, S2,3, S1,3,を出力する信号源103,3, 102,3, 101,3と、サンプリング周波数96kHzで量子化精度がそれぞれ24bit, 20bit, 16bitの原音信号S3,2, S2,2, S1,2を出力する信号源103,2, 102,2, 101,2と、サンプリング周波数48kHzで量子化精度がそれぞれ24bit, 20bit, 16bitの原音信号S3,1, S2,1, S1,1を出力する信号源103,1, 102,1, 101,1が設けられているものとする。それぞれの信号源103,3, 102,3, 101,3からの出力原音信号S3,3, S2,3, S1,3は差分モジュール133,3, 132,3, 131,3においてそれぞれの信号S3,3, S2,3, S1,3より下位の信号を同位にグレードアップして原音信号S3,3, S2,3, S1,3との差分を生成し、圧縮符号化部113,3, 112,3, 111,3により可逆符号化して出力する。
【０２０４】
同様に、信号源103,2, 102,2, 101,2からの原音信号S3,2, S2,2, S1,2は差分モジュール133,2, 132,2, 131,2においてそれぞれの信号S3,2, S2,2, S1,2より下位の信号を同位にグレードアップして原音信号S3,2, S2,2, S1,2との差分を生成し、圧縮符号化部113,2, 112,2, 111,2により可逆符号化して出力する。信号源103,1, 102,1からの原音信号S3,1, S2,1は差分モジュール133,1, 132,1で信号S3,1, S2,1より下位の信号を同位にグレードアップして信号S3,1, S2,1との差分を生成し、圧縮符号化部113,1, 112,1で可逆符号化して出力する。信号源101,1の原音信号S1,1に対しては、それより下位の信号がないのでそのまま圧縮符号化部111,1で可逆符号化または非可逆符号化して出力する。
【０２０５】
図５７の符号化装置における各差分モジュール133,3, 133,2, 132,3, 132,2は、信号源10m,n(m=2, 3; n=2, 3)からの原音信号Sm,nと、下位の信号Sm-1,nまたはSm,n-1との誤差を生成し、圧縮符号化部11m,nに出力する。下位の信号Sm-1,n又はSm,n-1はアップサンプル、精度調整を経て、信号源10m,nからの原音信号Sm,nにできるだけ近い信号を生成する。この際に、同じサンプリング周波数で量子化精度が下位の信号と、同じ量子化精度でサンプリング周波数が下位の信号の２種類の信号からいずれか１つを選択する。信号の選択情報は補助情報として出力される。
【０２０６】
例えば差分モジュール133,3には原音信号S3,3と同じ量子化精度24bitでサンプリング周波数は下位の、即ち96kHzの原音信号S3,2と、原音信号S3,3と同じサンプリング周波数192kHzで量子化精度が下位の、即ち20bitの原音信号S2,3が与えられ、図５８を参照して後述するように、いずれか一方を選択して原音信号S3,3との差分を生成する。下位のサンプリング周波数の信号に対しては誤差の小さいことが期待される低域（原音信号Sm,nのサンプリング周波数の半値を上限とする低周波成分）のみを使い、下位の量子化精度の信号に対しては、相対的に誤差の小さいことが期待される高域（原音信号Sm,nのサンプリング周波数の半値を下限とする高周波成分）のみを使う。
【０２０７】
あるいは、上記選択のほかに、２種類の信号を合成することが可能である。合成には、平均、重みつき加算、時間的に変動する重みつき加算などが含まれる。例えば図５９を参照して後述するように、２つの信号S3,2, S2,3の重み付け平均と原音信号S3,3との差分を生成し、出力する。差分モジュール132,3, 133,2, 132,2も同様の構成である。
差分モジュール131,3, 131,2, 133,1, 133,2についてはそれらの入力原音信号S1,3, S1,2, S3,1, S2,1より下位のサンプリング周波数の信号はないので、下位の量子化精度の原音信号S1,2, S1,1, S2,1, S1,1のみが与えられる。
【０２０８】
また、フレーム全体で選択するのではなく、サブフレームごと、又は複数フレームごとに差分パワーが小さくなるほうを選択することも可能である。差分モジュール131,3, 131,2, 133,1, 132,1では、信号源からの信号S1,3, S1,2, S3,1, S2,1に対し、それらより下位の各１つの信号との差分を取り、対応する圧縮符号化部に与える。
図５８は各差分モジュール133,3, 132,3, 133,2, 132,2のうちのいずれか１つを13m,nと表して、その入力原音信号Sm,n(m=2, 3; n=2, 3)に対し、それより下位の原音信号Sm,n-2とSm-1,nが入力され、それらはそれぞれアップサンプリング部13Aと精度変換部13Cに与えられる。アップサンプル部13Aで下位の信号Sm,n-1はアップサンプルされ原音信号Sm,nと同じサンプリングレートとされ、そのサンプリング周波数の半値を上限とするカットオフ周波数とする低域通過フィルタ13Bを通してセレクタ13Eに与えられる。精度変換部13Cで下位の信号Sm-1,nは上位ビット方向に４ビットシフトされることにより４ビットの"0"が付加されて信号Sm,nと同じ量子化精度とされ、原音信号Sm,nのサンプリング周波数の半値を下限とするカットオフ周波数とする高域通過フィルタ13Dを通してセレクタ13Eに与えられる。セレクタ13Eにより選択された信号は減算器１３Ｓで入力信号Sm,nと減算される。誤差最小化部13Fは減算器１３Ｓの出力誤差のパワーが最小となる方の信号を選択するようにセレクタ13Eを制御し、どちらの信号を選択したかを表す選択情報を補助情報として出力する。補助情報は図５７に破線で示すように対応する圧縮符号化部11m,nに与えられ、誤差信号とともに符号化される。
【０２０９】
図５９は原音信号Sm,nに対し下位の信号Sm,n-1とSm-1,nの重み付け平均を行う場合の差分モジュール13m,n(m=2, 3; n=2, 3)の構成例を示す。図５８の差分モジュールにおけるセレクタ13Eの代わりに重み乗算器13G, 13Hと加算器13Kが設けられ、誤差最小化部13Fにより設定された重み係数w1, w2と原音信号Sm,nのサンプリング周波数の半値を上限とするカットオフ周波数を持つ低域通過フィルタ13Bからの出力及び高域通過フィルタ13Dからの出力がそれぞれ乗算され、これら２つの乗算結果は加算器13Kで加算され、減算器１３Ｓに与えられる。誤差最小化部13Fには予め決められた複数の組の重み係数(w1, w2)が組ごとに符号に対応して重み係数表として記憶部（図示してない）に格納されており、誤差最小化部１３Ｆは減算器１３Ｓの出力誤差のパワーが最小となるような重み係数w1, w2の組を重み係数表から選択し、その組の重み係数w1, w2に対応する符号を補助情報として出力する。図５７における差分モジュール131,3, 131,2, 133,1, 132,1の場合は、より下位の信号はそれぞれS1,2, S1,1, S2,1, S1,1の１つずつだけなので、図５８におけるアップサンプリング部13A、低域通過フィルタ13B、セレクタ13E、誤差最小化部13Fは不要であり、高域通過フィルタ13Dの出力はそのまま減算器１３Ｓに与えられる。同様に、これらの差分モジュールは図５９の場合、高域通過フィルタ13Dからの出力はそのまま減算器１３Ｓに与えられる。
【０２１０】
図６０は図５７の符号化装置に対応する復号化装置の構成例を示す。音源信号I, F, C, H, E, B, G, D, Aに対応した入力符号はそれぞれ伸張復号化部で補助情報とともに復号され、伸張復号化部301,1からの復号出力は最下位の復号原音信号S1,1として出力されるとともに、それぞれ加算モジュール321,2, 322,1に与えられる。それ以外の復号化部303,3〜302,1の復号誤差信号は加算モジュール323,3〜322,1に与えられる。加算モジュール323,3, 3222,3, 323,2, 322,2は復号された各誤差信号と、それより下位からの２つのグレードアップした原音信号のいずれかとを加算して、あるいは２つの重み付き平均と加算して原音信号S3,3, S2,3, S3,2, S2,2を生成する。加算モジュール321,3, 323,1, 322,1は復号された誤差信号とそれより下位のグレードアップした復号原音信号を加算して原音信号S1,3, S2,3, S2,1, S3,2を生成する。
【０２１１】
図６０中の加算モジュール323,3, 322,3, 323,2, 322,2の任意の１つを32m,n(m=2, 3; n=2, 3)と表し、その構成を図６１に示す。ｍまたはｎの値が大きいほうがサンプリング周波数又は量子化精度が高い(つまり上位の属性である）。この例は図５８の差分モジュール13m,nに対応して、２つの下位信号の１つを選択して使用する場合である。下位の原音信号Sm,n-1, Sm-1,nはそれぞれアップサンプル部32A、精度変換部32CでSm,nと同じサンプリングレート、Sm,nと同じ量子化精度にグレードアップされ、それぞれ低域通過フィルタ32B、高域通過フィルタ32Dを通してセレクタ32Eに与えられる。制御部32Fは復号された補助情報として２つの下位の信号のうち、どちらを選択したかを表す選択情報に従ってセレクタ32Eを切り替えて選択された信号が加算器３２で復号誤差信号と加算されて原音信号Sm,nが生成される。他の加算モジュール321,3, 321,2, 323,1, 322,1は図示していないが、図６１においてアップサンプリング部32A、低域通過フィルタ32B、セレクタ32E、制御部32Fを除去し、高域通過フィルタ32Dからの出力を加算器３２Ｓに与える構成となる。
【０２１２】
図６２は図６０における加算モジュール32m,n(m=2, 3; n=2, 3)の、図５９の差分モジュールに対応した構成を示す。この場合は図６１におけるセレクタ32Eの代わりに係数乗算器32G, 32Hと加算器32Kが設けられる。グレードアップされた下位信号Sm,n-1, Sm-1,nに補助情報として復号された重み係数w1, w2が乗算器32G, 32Hで乗算され、乗算結果は加算器32Kで加算される。加算結果は加算器32で伸張復号化部30m,nからの復号誤差信号と加算され、原音信号Sm,nが生成される。他の加算モジュール321,3, 321,2, 323,1, 322,1は図示していないが、図６２においてアップサンプリング部32A、低域通過フィルタ32B、乗算器32G、加算器32Kを除去し、乗算器32Hの出力を加算器３２Ｓに与える構成となる。
【０２１３】
図５８、５９に示した差分モジュールにおいて、アップサンプル部13A、精度変換部13Cの出力側を図６３、６４に示すように、それぞれ低域通過フィルタ13B1, 高域通過フィルタ13B2及び低域通過フィルタ13D1, 高域通過フィルタ13D2を設け、下位のサンプリングレートの信号Sm,n-1に対しても、下位の量子化精度の信号Sm-1,nに対しても、上位にグレードアップ後、カットオフ周波数としてその上位のサンプリング周波数の半値より低周波成分と高周波成分に分離し、それらフィルタ出力のうち、減算器１３からの出力誤差のパワーが小さい方のフィルタ出力の組を誤差最小化部F13で判定し、セレクタ13Eで選択する（図６３）。または、図６４に示すようにすべてのフィルタ13B1, 13B2, 13D1, 13D2の出力を乗算器13G1, 13G2, 13H1, 13H2で重み係数w11, w12, w21, w22を乗算し、それらの乗算結果を加算器13Kで加算することにより重み付け平均し、減算器13の出力誤差のパワーが最小となるよう誤差最小化部13Fで重み係数w11, w12, w21, w22を決めることも可能である。この場合、誤差最小化部１３Ｆには記憶部（図示してない）が設けられ、複数の組の重み係数(w11, w12, w21, w22)の値がそれぞれの組を表す符号に対応して表として記憶部に格納されており、それらの組から誤差信号のパワーが最小となる組を探索して決定し、その組に対応する符号を出力してもよい。
【０２１４】
図６１、６２に示した復号化装置における加算モジュール32m,nについても図６３、６４で示したと同様に図６５、６６に示すようにアップサンプル部32Aの出力を低域通過フィルタ32B1と高域通過フィルタ32B2で信号Sm,nのカットオフ周波数としてサンプリング周波数の半値より高周波成分と低周波成分の２つの成分に分離し、同様に精度変換部32Cからの出力も低域通過フィルタ32D1と高域通過フィルタ32D2により信号Sm,nのカットオフ周波数としてサンプリング周波数の半値より高周波成分と低周波成分の２つの成分に分離し、セレクタ32Eでこれらのフィルタの出力を復号された選択情報に従って選択（図６５）するか、重み係数乗算器32G11, 32G12, 32G21, 32G22で入力符号が表す重み係数w11, w12, w21, w22をそれぞれのフィルタ出力に乗算して加算器32Kで加算することにより、重み付き平均を求める（図６６）ように構成することができる。
【０２１５】
図６７は、下位のサンプリング周波数の信号Sm,n-1のカットオフ周波数より低域成分と、下位の量子化精度の信号Sm-1,nの高域成分を簡易に合成する実施例を示す。図６７Ａに示す下位のサンプリング周波数の信号Sm,n-1のＮ番目(N=0, 1, 2, …)のサンプルの振幅値をそのまま図６７Ｂに示す倍のサンプリング周波数の偶数番2Nのサンプル位置に配置する。次に図６７Ｃの下位の量子化精度の信号Sm-1,nはサンプル位置を合わせてそのまま奇数番目のサンプルを対応する位置に配置する。
または、偶数番目のサンプルは上記と同様に配置し、奇数番目のサンプルは下位のサンプル周波数の信号Sm,n-1をアップサンプルした信号と下位の量子化精度の信号の重み付け加算又はいずれか一方を選択して得た信号のサンプルを配置することが可能である。
第１６実施例
前述の第１５実施例では図３３、３４に示した量子化精度とサンプリング周波数の２次元階層化を利用した場合の符号化と復号化について説明したが、この第１６実施例では図４２、４３に示した量子化精度とサンプリング周波数の２次元階層化を使用し、かつ誤差信号を周波数領域で符号化するものである。この実施例を図６８を参照して説明する。
【０２１６】
図６８に示すように、第１６実施例による符号化装置は、図４２、４３の信号階層構造に基づく図４４に示したと同様の音源601,1〜603,3を有している。この実施例においてはサンプリング周波数96kHzと192kHzの音源601,2〜603,3の出力は、それぞれのサンプリング周波数に対応した予め決めたサンプル数（変換長）ごとに直交変換部191,2〜193,3により周波数領域のそれぞれ同数のサンプルに変換され、対応する減算部631,2〜633,3に与えられる。
減算部631,3, 632,3, 633,3には、下位のサンプリング周波数96kHzの音源601,2, 602,2, 603,2からのディジタル信号が直交変換部191,2, 192,2, 193,2で変換されて出力された周波数領域信号がそれぞれ補正部161,3, 162,3, 163,3により補正されて与えられ、直交変換部191,3, 192,3, 193,3からの周波数領域信号との差分が周波数領域の誤差信号Δ1,3, Δ2,3, Δ3,3として生成され、それらは圧縮部611,3, 612,3, 613,3により圧縮符号化され、符号Ｃ，Ｋ，Ｍとして出力される。サンプリング周波数48kHzの信号S1,1, S2,1に対する量子化精度の精度変換は時間領域で行うのが自然であり、音源601,1, 602,1からの量子化精度１６ビット及び２０ビットのディジタル信号S1,1, S2,1はそれぞれ精度変換部621,1, 622,1に与えられる。
【０２１７】
最下位のディジタル信号S1,1は直交変換部191,1に与えられ、直交変換部191,1により変換された周波数領域信号はそのまま圧縮部611,1で圧縮符号化され、符号Ａとして出力される。
精度変換部621,1は与えられたディジタル信号S1,1の各サンプルの最下位ビットに更に下位位置に４ビットの"0"を付加することにより量子化精度を１６ビットから２０ビットに変換し、減算部632,1に与える。減算部632,1は精度変換された信号と、音源602,1からのディジタル信号S2,1との差分を誤差信号として生成し、直交変換部192,1に与える。直交変換部192,1は与えられた誤差信号を周波数領域の誤差信号Δ2,1に変換して圧縮部612,1に与え、圧縮部612,1は与えられた誤差信号Δ2,1を圧縮符号化し、符号Ｄとして出力する。同様に、音源603,1からのディジタル信号S3,1は、精度変換部622,1からの量子化精度が２０ビットから２４ビットに変換された信号との差分が減算部633,1で取られ、生成された誤差信号は直交変換部193,1で周波数領域誤差信号Δ3,1に変換され、圧縮部613,1で圧縮符号化され、符号Ｇとして出力される。
【０２１８】
サンプリング周波数96kHzで量子化精度１６ビットの信号S1,2は、図４２から明らかなように、符号ＡとＢの信号成分を含み、量子化精度２０ビットの信号S2,2は符号Ａ，Ｄ，Ｊの信号成分を含み、量子化精度２４ビットの信号S3,2は符号Ａ，Ｄ，Ｇ，Ｌの信号成分を含んでいる。従って、符号Ｂ，Ｊ，Ｌのそれぞれの信号成分が得られるように減算部631,2, 632,2, 633,2において周波数領域の差分演算が行われる。即ち、量子化精度１６ビットの信号S1,1に対する直交変換部191,1による変換信号が補正部161,2を通して減算部631,2に与えられ、サンプリング周波数96kHzの信号S1,2を周波数領域に変換した信号との差分が取られ、その差分が周波数領域の誤差信号Δ1,2として圧縮部611,2に与えられ、圧縮符号化されて符号Ｂとして出力される。
【０２１９】
同様に、ディジタル信号S2,2が直交変換されて減算部632,2に与えられ、直交変換部191,1, 192,1からの周波数領域信号が補正部を介して減算部632,2に与えられ、信号S2,2の周波数領域成分から減算されることにより周波数領域の誤差信号Δ2,2が生成され、その誤差信号Δ2,2が圧縮部612,2により圧縮符号化されて符号Ｊとして出力される。更に、減算部633,2ではディジタル信号S3,2の周波数領域信号からディジタル信号S1,1の周波数領域成分及び周波数領域誤差信号Δ2,1, Δ3,1を減算することにより誤差信号Δ3,2を生成し、圧縮部613,2で圧縮符号化して符号Ｌとして出力する。
【０２２０】
直交変換部191,2, 192,2, 193,2からの周波数領域信号はそれぞれ補正部161,3, 162,3, 163,3を通して減算部631,3, 632,3, 633,3に与えられ、直交変換部191,3, 192,3, 193,3からの周波数領域信号と減算され、誤差信号Δ1,3, Δ2,3, Δ3,3が得られる。これら誤差信号は圧縮部で圧縮符号化され、符号Ｃ，Ｋ，Ｍとして出力される。
各直交変換部191,1〜193,3としては歪のない再生を行うために、例えば整数係数のＤＣＴ（離散コサイン変換）やＭＤＣＴ（変形離散コサイン変換）などを使用することができる。また、それらの変換長をサンプリング周波数に合わせて決めることにより、異なるサンプリング周波数間の誤差信号を小さくすることができる。例えばサンプリング周波数48kHz, 96kHz, 192kHzのディジタル信号に対する変換長をサンプル数でそれぞれＮ点、２Ｎ点、４Ｎ点とする。サンプリング周波数96kHzの信号の２Ｎ点のサンプルを変換して得た周波数領域の２Ｎ点の信号のうち、下位Ｎ点はサンプリング周波数48kHzの信号のＮ点のサンプルを変換して得た周波数領域のＮ点の信号と類似しており、そのまま差分を取れば誤差信号を小さくすることができる。サンプリング周波数192kHzの信号とサンプリング周波数96kHzの信号との関係も同様である。
【０２２１】
このように、この実施例で特徴的なことは、周波数領域で誤差信号を得るため、異なるサンプリング周波数の信号間でアップサンプルを行わないで誤差信号を生成できる点である。また、各補正部161,2, 162,2, 163,2, 161,3, 162,3, 163,3は、例えば周波数領域信号の利得を図５２で説明したように誤差信号のパワー（スペクトルパワー）が最小となるように調整し、その利得を表す符号を補助情報として出力する。この利得調整は周波数領域のそれぞれのサンプルに重み係数を与えて行ってもよい。
図６８の符号化装置に対応する復号化装置の例を図６９に示す。入力符号A, D, G, B, J, L, C, K, Mはそれぞれ伸張部801,1〜803,3に与えられ伸張復号が行われ、周波数領域の最下位信号と誤差信号Δ2,1〜Δ3,3が生成される。最下位の伸張部801,1からの復号信号は直交逆変換部391,1により時間領域信号に変換され最下位のディジタル信号S1,1が再生される。周波数領域の誤差信号Δ2,1は直交逆変換部392,1で時間領域の誤差信号に変換されてから加算部822,1に与えられ、精度変換部811,1で量子化精度が２０ビットに高くされた信号と加算されてディジタル信号S2,1が再生される。この再生信号S2,1は精度変換部812,1により量子化精度が２４ビットに上げられて加算部823,1に与えられる。誤差信号Δ3,1が直交逆変換部393,1により時間領域誤差信号に変換されて、加算部823,1で量子化精度が上げられた信号と加算されディジタル信号S3,1が再生される。なお、直交逆変換部391,1〜393,3は図６８における直交変換部191,1〜193,3の処理と逆の処理を行い、周波数領域信号を時間領域信号に変換する。
【０２２２】
周波数領域誤差信号Δ1,2は伸張部801,2により復号され、補正部361,2で補正された周波数領域信号が加算部821,2で加算されて、直交逆変換部391,2で時間領域信号に変換されディジタル信号S1,2が再生される。同様に周波数領域の誤差信号Δ2,2は、伸張部801,1, 802,1からの信号が補正部362,2で各々補正されてから加算部822,2で加算され、加算結果が直交逆変換部S2,2により時間領域信号に変換されてディジタル信号S2,2が再生される。また、周波数領域の誤差信号Δ3,2は、伸張部801,1, 802,1, 803,1からの信号が補正部363,2で各々補正されてから加算部823,2で加算され、加算結果が直交逆変換部393,2により時間領域信号に変換されてディジタル信号S3,2が再生される。周波数領域誤差信号Δ1,3, Δ2,3, Δ3,3は、加算部821,2, 822,2, 823,2からの周波数領域信号がそれぞれ補正部361,3, 362,3, 363,3により各々補正されて加算部821,3, 822,3, 823,3で加算され、加算結果は直交逆変換部391,3, 392,3, 393,3により時間領域信号に変換されディジタル信号S1,3, S2,3, S3,3が各々再生される。なお、各補正部361,2, 362,2, 363,2, 361,3, 362,3, 363,3は、入力された補助情報が示すパラメータを用いて図６８における補正部161,2, 162,2, 163,2, 161,3, 162,3, 163,3と同様に例えば利得の補正を行う。
【０２２３】
図６８の実施例では最下位のサンプリング周波数48kHzのディジタル信号S2,1, S3,1に対する誤差信号は時間領域で求め、それを周波数領域に変換した場合を示したが、図７０に示す変形実施例では、最下位のサンプリング周波数48kHzのディジタル信号S2,1, S3,1に対する誤差信号も周波数領域で求める場合を示す。その他の構成は図６８と同様である。
この場合は、精度変換部621,1, 622,1は、量子化精度が１６ビット及び２０ビットのディジタル信号S1,1, S2,1を直交変換部191,1, 192,1により変換した周波数領域信号が与えられ、それぞれの周波数領域サンプルの最下位に４ビットの"0"を付加することにより量子化精度を１階層向上させてそれぞれ２０ビット、２４ビットとして減算部632,1, 633,1に与える。減算部632,1, 633,1はディジタル信号S2,1, S3,1が直交変換部192,1, 193,1により周波数領域信号に変換されて与えられ、精度変換部621,1, 622,1からの精度変換された信号とそれぞれ減算され誤差信号Δ2,1, Δ3,1を生成する。
【０２２４】
また、サンプリング周波数48kHzのディジタル信号S1,1, S2,1, S3,1が周波数領域信号に変換されてそれぞれ補正部161,2, 162,2, 163,2を通して減算部631,2, 632,2, 633,2に与えられ、サンプリング周波数96kHzのディジタル信号S1,2, S2,2, S3,2が直交変換部191,2, 192,2, 193,2により変換された周波数領域信号と減算され、誤差信号Δ1,2, Δ2,2, Δ3,2が生成される。その他の構成と動作は図６８の場合と同様である。
図７０の変形実施例による符号化装置に対応する復号化装置を図７１に示す。この実施例においても最下位のサンプリング周波数についての復号信号に対する精度変換を周波数領域で行う。即ち、伸張部801,1により入力符号Ａが伸張復号されて周波数領域信号が得られ、その周波数領域信号は精度変換部811,1に与えられると共に直交逆変換部391,1で時間領域信号に変換され、ディジタル信号S1,1が再生される。その他の構成は図２０と同様である。
【０２２５】
伸張部802,1, 803,1, 801,2, 802,2, 803,2, 801,3, 802,3, 803,3は入力された符号D, G, B, J, L, C, K, Mを伸張復号してそれぞれ周波数領域誤差信号Δ2,1, Δ3,1, Δ1,2, Δ2,2, Δ3,2, Δ1,3, Δ2,3, Δ3,3が生成され、それぞれ加算部822,1, 823,1, 821,2, 822,2, 823,2, 821,3, 822,3, 823,3に与えられる。精度変換部811,1で量子化精度が１６ビットから２０ビットに変換された信号は加算部で誤差信号Δ2,1と加算され、加算結果は精度変換部に与えられると共に直交逆変換部392,1で時間領域信号に変換されディジタル信号S2,1が再生される。精度変換部812,1は与えられた量子化精度２０ビットの周波数領域信号を量子化精度２４ビットに変換し、加算部823,1に与えて誤差信号Δ3,1と加算され、加算結果は直交逆変換部393,1で時間領域信号に変換されディジタル信号S3,1が再生される。
【０２２６】
直交逆変換部391,1, 392,1, 393,1への入力信号はそれぞれ補正部361,2, 362,2, 363,2を通して加算部821,2, 822,2, 823,2に与えられ、周波数領域誤差信号Δ1,2, Δ2,2, Δ3,2と加算される。これらの加算結果はそれぞれ直交逆変換部391,2, 392,2, 393,2で時間領域信号に変換され、ディジタル信号S1,2, S2,2, S3,2が再生される。同様に、直交変換部391,2, 392,2, 393,2への入力信号はそれぞれ補正部361,3, 362,3, 363,3を通して加算部821,3, 822,3, 823,3に与えられ、周波数領域誤差信号Δ1,3, Δ2,3, Δ3,3と加算される。これらの加算結果はそれぞれ直交逆変換部391,3, 392,3, 393,3で時間領域信号に変換され、ディジタル信号S1,3, S2,3, S3,3が再生される。
【０２２７】
図６８の実施例において、補正部161,2, 162,2, 163,2, 161,3, 162,3 163,3による補正は周波数領域において行っているが、時間領域で行ってもよい。時間領域における補正も例えば誤差信号のパワーが最小となるように信号S3,2対し利得を調整する。例えば、補正部163,3において破線で示すように、直交変換部193,2の入力である時間領域のディジタル信号S3,2を補正部16'3,3で補正し、補正結果を直交変換部19'3,2で直交変換して周波数領域信号として減算部633,3に与える。他の補正部においても同様である。この場合、復号化装置では、図６９に破線で示すように直交逆変換部393,2から得られた時間領域の再生ディジタル信号S3,2を補正部36'3,3で補正し、補正結果を直交変換部39'3,2で周波数領域信号に変換して加算部823,3で周波数領域の誤差信号Δ3,3に加算すればよい。他の補正部についても同様である。あるいは、補正処理が可逆な処理であれば、図６８中に示すように単にディジタル信号S3,2を補正部16"3,3で補正して直交変換部193,2に与え、直交変換部193,2の出力をそのまま減算部633,3に与えてもよい。この場合、復号化装置では図６９中に破線で示すように加算部823,2の出力をそのまま加算部823,3に与え、対応する直交逆変換部393,2の出力時間領域信号に対し補正部36"3,3により補正を行うだけでよい。後者の変形例では符号化装置及び復号化装置とも直交変換部の数を増やす必要はない。
第１７実施例
上述したこの発明で扱う複数の原音信号は、サンプリング周波数、量子化精度、チャンネル数などの信号の属性が異なる場合があり、それらの異なる複数種類の組み合わせの信号が予め用意され、それらの複数信号系列の階層符号化により全体の圧縮効率を改善できる。ここではこのような複数信号の多様な階層構造を指定する方法について説明する。
【０２２８】
前述のようにサンプリング周波数、量子化精度、更にチャンネル数を階層化してより上位の階層の信号の符号化が下位の階層の信号の符号化を包含することができる。これにより指定されたサンプリング周波数、量子化精度、チャンネル数での原音信号が再現でき、複数種類の条件の符号化を統合できる。ここでは特に各入力信号に対し、自由度を確保した記述法を提供する。
図７２は階層の関連付けが指定された圧縮符号列の構成を示す実施例である。この実施例はサンプリング周波数（周波数方向）と量子化精度の階層化、更にチャンネル数の階層構成を想定して、階層間の誤差信号を圧縮符号化した符号列とする。ここでは符号列Ｍ，Ｌ，Ｇ，Ａの４つの圧縮符号列を示している。各圧縮符号列は、同じ階層の原音信号を圧縮符号化した一連の符号をデータ領域（後述のフィールドx9）に有しており、従って、符号列に対しても原音信号と同じ階層を定義する。各符号列にはその属性（階層情報）を記述するフィールドx1〜x7が付加されている。
【０２２９】
フィールドx1は符号列の系列番号を表し、ここでは複数の符号列M, L, G, Aに順番にそれぞれ与えられた系列番号0, 1, 2, 3が書き込まれている。フィールドx2は対応する原音信号のチャンネル構成を表し、フィールドx3は原音信号のサンプリングレートを表し、フィールドx4は原音信号の量子化精度を表し、フィールドx5は対応する音源信号の下位系列の個数を表し、フィールドx6はその下位符号列の系列番号を表し、フィールドx7は補助情報があるか否かを"1"または"0"で表す拡張フラグを表し、フィールドx9はデータ（圧縮符号化により得られた符号列）を表す。フィールドx7の拡張フラグが"1"のときにのみ符号列Ｇで示すように補助情報を表すフィールドx8が挿入される。例えば符号列Ｍのようにその符号列に対する下位系列として符号列ＬとＧの２つある場合は下位系列の数x5は２であり、フィールドx6にはその２つの下位系列の系列番号２，３が書き込まれる。最下位の系列Ａにはそれ以下の系列はない。
【０２３０】
拡張フラグx7が"1"であればフィールドx8の符号化補助情報が追加され、拡張フラグが"0"であればフィールドx9のデータ列が開始する。符号列Ｇは拡張フラグx7が１であり、補助情報のフィールドx8が挿入されている例を示している。各系列はフレーム単位でパケットに対応つけて伝送することが一般的であり、パケットの管理は例えば既存のインターネットプロトコルに従えばよい。伝送せずに蓄積するだけの場合には各符号系列の先頭位置を符号系列とは別途管理しておくことが一般的である。
図７３は量子化精度が24bitで、サンプリング周波数が192kHzと96kHzの原音信号S1,1, S1,2及びサンプリング周波数が48kHzで、量子化精度が24bitと16bitの原音信号S2,1, S2,2に対する階層符号化の例を示す。
【０２３１】
信号源102,2からの原音信号S2,2はその下位の信号S2,1をアップサンプル部13A1でサンプリング周波数96kHzから192kHzにアップサンプルして得た信号との減算を減算器132,2で行い、得られた誤差信号Δ2,2を圧縮符号化部112,2で可逆圧縮符号化して符号列Ｍを出力する。また信号源102,1からの原音信号S2,1はその下位の信号S1,2をアップサンプル部13A2でサンプリング周波数48kHzから96kHzにアップサンプルして得た信号との減算を減算器132,1で行い、得られた誤差信号Δ2,1を圧縮符号化部112,1で可逆符号化して符号列Ｌを得る。さらに、信号源101,2からの原音信号S1,2はその下位の信号S1,1を精度変換部13C1で量子化精度を16bitから24bitに変換された信号との減算を減算器131,2で行い、得られた誤差信号Δ1,2を圧縮符号化部111,2で可逆符号化して符号列Ｇを得る。信号源101,1からの最下位の信号S1,1はそのまま圧縮符号化部111,1で符号化され、符号列Ａとされる。
【０２３２】
従って、符号列Ｍは下位の符号列Ｌと関係付けられ、符号列Ｌは下位の符号列Ｇと関係付けられ、符号列Ｇは下位の符号列Ａと関係付けられている。
図７４は図７３の符号化処理により生成された符号列Ｍ，Ｌ，Ｇ，Ａに対し、階層構造を規定する情報フィールドx1〜x7が付加された符号列と符号列間の関連付けを示す。符号系列Ｍ，Ｌ，Ｇ，Ａにはそれぞれ系列番号0, 1, 2, 3がフィールドx1に書き込まれている。フィールドx2にはそれぞれの符号系列に対応する原音信号のチャンネル構成（チャンネル数）2, 2, 2, 2が書き込まれている。また、フィールドx3には対応する原音信号のサンプリングレート192, 96, 48(kHz)が書き込まれている。フィールドx4には対応する原音信号の量子化精度24, 24, 24, 16(bit)が書き込まれている。各音源信号S22, S21, S12が差分をとるのに使用する下位の音源信号は１つであり、音源信号S22は差分を取らないので、符号系列Ｍ，Ｌ，Ｇの下位の系列個数として"1"がフィールドx5に書き込まれており、フィールドx6にはそれぞれの下位の符号系列番号が書き込まれている。符号系列Ａのフィールドx5, x6には０が書き込まれている。符号系列Ｍ，Ｌ，Ｇ，Ａは補助情報を使用してないのでフィールドx7はすべて"0"とされている。
【０２３３】
図７５は３種類のサンプリング周波数192kHz, 96kHz, 48kHzと３種類の量子化精度24bit, 20bit, 16bitの組み合わせによる９種類の階層化された原音信号を符号化する構成であり、この階層構造を記述したフィールドを有する符号系列を図７６に示す。図７５の符号化においては、補助情報は使用してないのでフィールドx7の拡張フラグはすべて"0"とされている。また、最下位の信号S1,1を除く他のすべての信号S3,3, S2,3, S1,3, S3,2, S2,2, S1,2, S3,1, S2,1はそれぞれ下位の１つの信号とのみ差分を取っているので、下位系列個数のフィールドには"1"が書き込まれている。
【０２３４】
図７７は図５７に示した階層化原音信号に対する符号化により生成された符号列I, F, C, H, E, B, G, D, Aに対する階層構造の記述である。図７５の場合と同様に９種類の階層化された原音信号を圧縮符号化する。この符号化には補助情報を使用しているので、符号系列Ａを除く他のすべての符号系列の拡張フラグx7は"1"とされ、その直後に符号化された補助情報のフィールドx8が挿入されている。
図７８は図５０に示したマルチチャンネルの階層符号化による符号系列に対応する階層構造の記述を示す。これまでの実施例では符号化装置では下位の系列からは引き算、あるいは復号化装置では下位の系列からの足し算が前提であった。図７８では５番と６番の符号系列のフィールドx6に指定された系列番号７番と８番の符号系列が図５０における差信号と和信号の符号列への変換を表しており、復号化装置として解釈すると、５番目と６番目の符号系列にはフィールドx9の圧縮符号データが付加されなく、系列番号５番の補助情報は復号側に対し系列番号７番と８番の符号系列から和の信号を作ることを指定し、系列番号６番の補助情報は復号側に対し系列番号７番と８番の符号列から差信号を作ることを指定している。このため、符号系列５番と６番は後続する圧縮符号データを持っていない。
【０２３５】
図５５で説明したチャンネル間直交変換を行う符号化の場合は、例えば図７８においてチャンネル間直交変換が行われた符号系列の補助情報フィールドx8にそれぞれ直交変換を行ったことを表す情報を書き込み、必要であればその詳細を更に付加することができるように文法を予め決めておく。
上述してきた各実施例の符号化装置による基本的な処理手順を図７９に示す。この発明においては、階層化された属性を有する複数の原音信号を符号化の対象とする。属性とは、例えば第１乃至第１６実施例においてはサンプリング周波数の種類やサンプルの量子化精度の種類がそうであり、更に第１２〜第１４実施例では５チャンネル信号、ステレオ信号（２チャンネル信号）、モノラル信号（１チャンネル信号）のように、異なるチャンネル数の複数のグループの信号システムにおいて、信号が属するグループのチャンネル数もその信号の属性である。チャンネル数の減少する方向を下位の方向とする。第１５実施例においては属性は信号の予め決めた複数のサンプリング周波数及び複数の予め決めた振幅分解能である。以上の定義のもとに、符号化処理は以下のように行われる。
【０２３６】
ステップＳ１：符号化対象の原音信号に対し、それより属性が下位の原音信号があるか探す。
ステップＳ２：下位の原音信号があれば、符号化対象の原音信号と、下位の原音信号又はその変形信号との誤差信号を生成する。即ち、下位の原音信号が２つある場合は、下位の２つの信号から合成した変形信号を得て、その変形信号と符号化対象信号間の誤差信号を求める。
ステップＳ３：上記誤差信号を可逆符号化する。
ステップＳ４：すべての原音信号について符号化が終了したか判定し、終了してなければステップＳ１に戻る。
【０２３７】
ステップＳ５：ステップＳ１で符号化対象の原音信号より下位の原音信号がない場合は、その原音信号を可逆符号化する。
また、上述した実施例の復号化装置による基本的処理手順を図８０に示す。
ステップＳ１：複数の入力符号を復号し、誤差信号と原音信号を得る。
ステップＳ２：誤差信号より属性が下位の復号原音信号又はその変形信号とその誤差信号を合成して復号原音信号を生成する。
ステップＳ３：すべての入力符号について処理が終了したか判定し、終了してなければステップＳ１に戻る。
【０２３８】
このような符号化処理手順及び復号化処理手順は、コンピュータで実行可能なプログラムとして記述することができる。そのようなプログラムをインストールしたコンピュータによりこの発明による信号の符号化及び復号化を実行することができる。
図８１はプログラムに記述したこの発明による符号化方法及び復号化方法を実行するコンピュータの構成を示す。コンピュータ１００は共通データバス１６０に接続されたランダムアクセスメモリ（ＲＡＭ）１１０と、中央演算装置（ＣＰＵ）１２０と、ハードディスク（ＨＤ）１３０と、入出力インタフェース１４０と、送受信部１５０とを有している。図７９及び８０で説明した符号化処理及び復号化処理の手順を記述したプログラムはハードディスク１３０に図示してないメディアドライブ（例えばＣＤドライブ）に挿入した記録媒体から予めインストールしておく。あるいは、ネットワークＮＷからダウンロードしたプログラムをインストールしてもよい。
【０２３９】
符号化処理又は復号化処理を実行する場合は、ハードディスク１３０からプログラムをＲＡＭ１１０に読み込み、ＣＰＵ１２０の制御に従ってプログラムを実行する。例えば符号化処理を行う場合、入出力インタフェース１４０に接続されたマルチチャンネル入力装置２２０からのマルチチャンネル信号を符号化し、ハードディスク１３０に一時的に蓄積するか、送受信部１５０からネットワークＮＷに送出してもよい。復号処理を行う場合は、例えばネットワークＮＷから受信したマルチチャンネル音楽プログラムの符号を復号し、入出力インタフェース１４０からマルチチャンネル再生装置２１０に出力して再生することができる。
【０２４０】
【発明の効果】
以上説明したように、この発明によれば、階層化された属性を有する信号を、その信号より下位の属性の信号又はその変形信号との誤差信号を生成し、その誤差信号を可逆符号化することにより、効率のよい符号化が実現でき、また可逆な符号化が実現できる。
【図面の簡単な説明】
【図１】この発明による第１実施例の符号化装置と復号化装置の機能構成例を示す図。
【図２】この発明による第２実施例の符号化装置と復号化装置の機能構成例を示す図。
【図３】この発明による第３実施例の符号化装置と復号化装置の機能構成例を示す図。
【図４】配列変換・符号化部１８の機能構成例を示す図。
【図５】Ａは極性と絶対値で現されたサンプル列のビット配列変換を説明するための図、Ｂは２の補数表現されたサンプル列のビット配列変換を説明するための図、Ｃはパケットのフォーマットの例を示す図である。
【図６】復号・配列逆変換部４５と欠落補正部５８の機能構成例を示す図。
【図７】図６における欠落情報補正処理の手順の例を示す流れ図。
【図８】図６における欠落情報補正部５８Ｂの具体的機能構成例を示す図。
【図９】この発明の第３実施例の符号化装置と復号化装置の機能構成例を示す図。
【図１０】Ａは図９における予測誤差生成部３１の具体的機能構成例を示す図、Ｂは予測誤差生成部３１の他の構成例を示す図。
【図１１】Ａは図９における予測合成部５６の具体的機能構成例を示す図、Ｂは予測合成部５６の他の構成例を示す図。
【図１２】Ａは誤差信号の概念的なスペクトル特性の例を示す図、ＢはＡのスペクトル特性の周波数軸を反転して得られるスペクトル特性を示す図。
【図１３】この発明の第４実施例の符号化装置と復号化装置の機能構成例を示す図。
【図１４】Ａはこの発明による符号の階層的分割の例を示す図、Ｂは振幅分解能と振幅語長の関係例を示す図。
【図１５】図１４Ａに示した階層的分割された符号の組み合わせと各種サンプリング周波数及び各種振幅分解能との関係を示す図。
【図１６】この発明による符号化装置の第５実施例の機能構成を示す図。
【図１７】Ａはアップサンプリングにおける補間を示す図、Ｂは補間フィルタの例を示す図。
【図１８】Ａはこの発明の実施例に適用可能な可逆圧縮符号化器の例を示す機能構成図、Ｂはこの発明の実施例に適用可能な図１８Ａの可逆圧縮符号化器に対応する復号化器の機能構成図。
【図１９】Ａはこの発明の実施例に適用可能な可逆符号器の例を示す機能構成図、Ｂはこの発明の実施例に適用可能な可逆復号器の例を示す機能構成を示す図。
【図２０】Ａは補助符号とタップ数の対応例を示す図、Ｂは補助符号と利得の対応例を示す図、Ｃは補助符号とサンプル点移動の対応例を示す図、Ｄは補助符号の例を示す図。
【図２１】この発明による復号化装置の実施例の機能構成を示す図。
【図２２】この発明による符号化装置の他の実施例の機能構成を示す図。
【図２３】この発明による復号化装置の他の実施例の機能構成を示す図。
【図２４】この発明の効果を説明するための楽音配信システムを示す図。
【図２５】この発明の第７実施例による符号の階層的分割の例を示す図。
【図２６】階層的分割された符号の組み合わせと各種サンプリング周波数及び各種振幅分解能との関係を示す図。
【図２７】この発明の第７実施例による符号化装置の実施例の機能構成を示す図。
【図２８】この発明の実施例に適用可能な予測符号化器の機能構成を示す図。
【図２９】この発明の第７実施例による符号化装置の他の実施例の機能構成を示す図。
【図３０】この発明による第７実施例の復号化装置の機能構成を示す図。
【図３１】この発明の第８実施例の符号化装置の機能構成を示す図。
【図３２】この発明の第８実施例の復号化装置の機能構成を示す図。
【図３３】この発明の第９実施例の符号の階層的分割の例を示す図。
【図３４】この発明の第９実施例におけるサンプリング周波数と振幅語長と使用符号の組み合わせとの関係を示す図。
【図３５】この発明による第９及び第１０実施例の符号化装置の機能構成を示す図。
【図３６】図３５中の選択部７６の機能構成例を示す図。
【図３７】この発明による第９及び第１０実施例の復号化装置の機能構成を示す図。
【図３８】図３５中の選択部７６の他の機能構成例を示す図。
【図３９】第９実施例の復号化装置に適用した選択部８７の機能構成例を示す図。
【図４０】第９及び第１０実施例の符号化装置の他の例を示す図。
【図４１】第９及び第１０実施例の符号化装置の更に他の例を示す図。
【図４２】この発明の第１１実施例による符号の階層的分割の例を示す図。
【図４３】図４２に示した階層的分割された符号の組み合わせと各種サンプリング周波数及び各種振幅分解能との関係を示す図。
【図４４】この発明による第１１実施例の符号化装置の機能構成を示す図。
【図４５】この発明による第１１実施例の復号化装置の機能構成を示す図。
【図４６】この発明による符号化方法の第1２実施例を概念的に説明するための図。
【図４７】第１２実施例の符号化装置の具体的構成例を示すブロック図。
【図４８】第１２実施例の復号化装置の具体的構成例を示すブロック図。
【図４９】この発明による符号化方法の第１３実施例を概念的に説明するための図。
【図５０】第１３実施例の符号化装置の具体的構成例を示すブロック図。
【図５１】第１３実施例の復号化装置の具体的構成例を示すブロック図。
【図５２】第１２及び第１３実施例の符号化装置における補正部の構成を示すブロック図。
【図５３】第１２及び第１３実施例の復号化装置における補正部の構成を示すブロック図。
【図５４】この発明による符号化方法の第１４実施例を概念的に説明するための図。
【図５５】第１４実施例の符号化装置の具体的構成例を示すブロック図。
【図５６】第１４実施例の復号化装置の具体的構成例を示すブロック図。
【図５７】この発明による符号化装置の第１５実施例の構成を示すブロック図。
【図５８】第１５実施例における差分モジュールの構成例を示すブロック図。
【図５９】差分モジュールの他の構成例を示すブロック図。
【図６０】第１５実施例の復号化装置の構成を示すブロック図。
【図６１】図６０における加算モジュールの構成を示すブロック図。
【図６２】加算モジュールの他の構成例を示すブロック図。
【図６３】図５７における差分モジュールの他の構成例を示すブロック図。
【図６４】図５７における差分モジュールの更に他の構成例を示すブロック図。
【図６５】図６０における加算モジュールの他の構成例を示すブロック図。
【図６６】図６０における加算モジュールの更に他の構成例を示すブロック図。
【図６７】異なるサンプリング周波数と量子化精度の信号を合成する手順を説明する図。
【図６８】第１６実施例の符号化装置の構成を示すブロック図。
【図６９】図６８の符号化装置に対応する復号化装置の構成を示すブロック図。
【図７０】図６８の符号化装置の変形実施例を示すブロック図。
【図７１】図７０の符号化装置に対応する復号化装置を示すブロック図。
【図７２】符号列に付加する階層情報の例を示す図。
【図７３】４階層の符号化構成を示す図。
【図７４】図７３の符号化構成の場合の符号系列に付加される階層情報を示す図。
【図７５】９階層の符号化構成を示す図。
【図７６】図７５の符号化構成の場合の符号系列に付加される階層情報を示す図。
【図７７】図５７の符号化構成の場合の符号系列に付加される階層情報を示す図。
【図７８】図５０の符号化構成の場合の符号系列に付加される階層情報を示す図。
【図７９】この発明による符号化方法の処理手順を示すフロー図。
【図８０】この発明による復号化方法の処理手順を示すフロー図。
【図８１】この発明の符号化及び復号化をプログラムで実行するためのコンピュータの構成を示すブロック図。
【図１】
0003960932.tif 000002
【図２】
0003960932.tif 000003
【図３】
0003960932.tif 000004
【図４】
0003960932.tif 000005
【図５】
0003960932.tif 000006
【図６】
0003960932.tif 000007
【図７】
0003960932.tif 000008
【図８】
0003960932.tif 000009
【図９】
0003960932.tif 000010
【図１０】
0003960932.tif 000011
【図１１】
0003960932.tif 000012
【図１２】
0003960932.tif 000013
【図１３】
0003960932.tif 000014
【図１４】
0003960932.tif 000015
【図１５】
0003960932.tif 000016
【図１６】
0003960932.tif 000017
【図１７】
0003960932.tif 000018
【図１８】
0003960932.tif 000019
【図１９】
0003960932.tif 000020
【図２０】
0003960932.tif 000021
【図２１】
0003960932.tif 000022
【図２２】
0003960932.tif 000023
【図２３】
0003960932.tif 000024
【図２４】
0003960932.tif 000025
【図２５】
0003960932.tif 000026
【図２６】
0003960932.tif 000027
【図２７】
0003960932.tif 000028
【図２８】
0003960932.tif 000029
【図２９】
0003960932.tif 000030
【図３０】
0003960932.tif 000031
【図３１】
0003960932.tif 000032
【図３２】
0003960932.tif 000033
【図３３】
0003960932.tif 000034
【図３４】
0003960932.tif 000035
【図３５】
0003960932.tif 000036
【図３６】
0003960932.tif 000037
【図３７】
0003960932.tif 000038
【図３８】
0003960932.tif 000039
【図３９】
0003960932.tif 000040
【図４０】
0003960932.tif 000041
【図４１】
0003960932.tif 000042
【図４２】
0003960932.tif 000043
【図４３】
0003960932.tif 000044
【図４４】
0003960932.tif 000045
【図４５】
0003960932.tif 000046
【図４６】
0003960932.tif 000047
【図４７】
0003960932.tif 000048
【図４８】
0003960932.tif 000049
【図４９】
0003960932.tif 000050
【図５０】
0003960932.tif 000051
【図５１】
0003960932.tif 000052
【図５２】
0003960932.tif 000053
【図５３】
0003960932.tif 000054
【図５４】
0003960932.tif 000055
【図５５】
0003960932.tif 000056
【図５６】
0003960932.tif 000057
【図５７】
0003960932.tif 000058
【図５８】
0003960932.tif 000059
【図５９】
0003960932.tif 000060
【図６０】
0003960932.tif 000061
【図６１】
0003960932.tif 000062
【図６２】
0003960932.tif 000063
【図６３】
0003960932.tif 000064
【図６４】
0003960932.tif 000065
【図６５】
0003960932.tif 000066
【図６６】
0003960932.tif 000067
【図６７】
0003960932.tif 000068
【図６８】
0003960932.tif 000069
【図６９】
0003960932.tif 000070
【図７０】
0003960932.tif 000071
【図７１】
0003960932.tif 000072
【図７２】
0003960932.tif 000073
【図７３】
0003960932.tif 000074
【図７４】
0003960932.tif 000075
【図７５】
0003960932.tif 000076
【図７６】
0003960932.tif 000077
【図７７】
0003960932.tif 000078
【図７８】
0003960932.tif 000079
【図７９】
0003960932.tif 000080
【図８０】
0003960932.tif 000081
【図８１】
0003960932.tif 000082