(57)【特許請求の範囲】
【請求項１】
ダウンミックス信号であって、該ダウンミックス信号の非知覚成分に空間情報を含むデータを埋め込んだダウンミックス信号を受信するステップであって、前記ダウンミックス信号は少なくとも一つのフレームを含み、前記フレームは少なくとも二つのブロックを有し、各ブロックは複数のサンプルを有し、前記空間情報は前記ダウンミックス信号をアップミックスするための空間パラメータを含む、ステップと、
前記ブロック内の各サンプルの最下位ビットから前記データのヘッダ情報を抽出するステップであって、前記ヘッダ情報は複数の挿入ビット長値を含み、一つの挿入ビット長値は一つのブロックに適用され、各挿入ビット長値は、各ブロックに前記空間情報を埋め込む際に利用できるビット数（Ｋ）を示す、ステップと、
前記挿入ビット長に基づいて前記空間情報を抽出するステップと、
前記空間情報を前記ダウンミックス信号に適用してマルチチャンネルオーディオ信号を生成するステップと、を有し、
前記空間情報は、各ブロック内の各サンプルの低位Ｋビットに埋め込まれ、前記空間情報は、前記ヘッダが埋め込まれた部分を除く前記低位Ｋビット内の最上位ビット（ＭＳＢ）から順に埋め込まれる、オーディオ信号のデコーディング方法。
【請求項２】
前記空間情報はフレーム整列情報を含む請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記フレーム整列情報に基づいて、前記ダウンミックス信号のフレームと、前記空間情報のフレームとを整列させるステップを更に有する請求項２に記載のオーディオ信号のデコーディング方法。
【請求項４】
ダウンミックス信号であって、該ダウンミックス信号の非知覚成分に空間情報を含むデータを埋め込んだダウンミックス信号を受信する受信器であって、前記ダウンミックス信号は少なくとも一つのフレームを含み、前記フレームは少なくとも二つのブロックを有し、各ブロックは複数のサンプルを有し、前記空間情報は前記ダウンミックス信号をアップミックスするための空間パラメータを含む、受信器と、
前記ブロック内の各サンプルの最下位ビットから前記データのヘッダ情報を抽出し、前記ヘッダ情報は複数の挿入ビット長値を含み、一つの挿入ビット長値は一つのブロックに適用され、各挿入ビット長値は、各ブロックに前記空間情報を埋め込む際に利用できるビット数（Ｋ）を示す、埋め込み信号デコーディング部と、
前記挿入ビット長に基づいて前記空間情報を抽出する空間情報デコーディング部と、
前記空間情報を前記ダウンミックス信号に適用してマルチチャンネルオーディオ信号を生成するマルチチャンネル生成部と、を備え、
前記空間情報は、各ブロック内の各サンプルの低位Ｋビットに埋め込まれ、前記空間情報は、前記ヘッダが埋め込まれた部分を除く前記低位Ｋビット内の最上位ビット（ＭＳＢ）から順に埋め込まれる、オーディオ信号のデコーディング装置。
【請求項５】
前記空間情報はフレーム整列情報を含む請求項４に記載のオーディオ信号のデコーディング装置。
【請求項６】
前記マルチチャンネル生成部はさらに、前記フレーム整列情報に基づいて、前記ダウンミックス信号のフレームと、前記空間情報のフレームとを整列させる請求項５に記載のオーディオ信号のデコーディング装置。
【請求項７】
マルチチャンネルオーディオ信号をダウンミックスすることによってダウンミックス信号を生成するステップであって、前記ダウンミックス信号は少なくとも一つのフレームを含み、前記フレームは少なくとも二つのブロックを有し、各ブロックは複数のサンプルを有する、ステップと、
前記ダウンミックス信号をアップミックスするために前記マルチチャンネルオーディオ信号の属性を示す空間情報を含むデータを生成するステップと、
前記ダウンミックス信号の前記ブロック内の各サンプルの最下位ビット（ＬＳＢ）に前記データのヘッダ情報を埋め込むステップであって、前記ヘッダ情報は複数の挿入ビット長値を含み、一つの挿入ビット長値は一つのブロックに適用され、各挿入ビット長値は、各ブロックに前記空間情報を埋め込む際に利用できるビット数（Ｋ）を示す、ステップと、
前記挿入ビット長に基づいて前記空間情報を埋め込むステップと、を有し、
前記空間情報は、各ブロック内の各サンプルの低位Ｋビットに埋め込まれ、前記空間情報は、前記ヘッダが埋め込まれた部分を除く前記低位Ｋビット内の最上位ビット（ＭＳＢ）から順に埋め込まれる、オーディオ信号のエンコーディング方法。
【請求項８】
マルチチャンネルオーディオ信号をダウンミックスすることによってダウンミックス信号を生成するオーディオ信号生成部であって、前記ダウンミックス信号は少なくとも一つのフレームを含み、前記フレームは少なくとも二つのブロックを有し、各ブロックは複数のサンプルを有する、オーディオ信号生成部と、
前記ダウンミックス信号をアップミックスするために前記マルチチャンネルオーディオ信号の属性を示す空間情報を含むデータを生成する空間情報生成部と、
各ブロック内の前記空間情報を含む挿入ビット長を判定するマスキングしきい値計算部と、
前記ダウンミックス信号の前記ブロック内の各サンプルの最下位ビット（ＬＳＢ）に前記データのヘッダ情報を埋め込み、前記ヘッダ情報は複数の挿入ビット長値を含み、一つの挿入ビット長値は一つのブロックに適用され、各挿入ビット長値は、各ブロックに前記空間情報を埋め込む際に利用できるビット数（Ｋ）を示し、
前記挿入ビット長に基づいて前記空間情報を埋め込む、ビットストリーム再構成部と、を備え、
前記空間情報は、各ブロック内の各サンプルの低位Ｋビットに埋め込まれ、前記空間情報は、前記ヘッダが埋め込まれた部分を除く前記低位Ｋビット内の最上位ビット（ＭＳＢ）から順に埋め込まれる、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の符号化（ｅｎｃｏｄｉｎｇ）及び復号化（ｄｅｃｏｄｉｎｇ）方法に関する。
【背景技術】
【０００２】
近年、デジタルオーディオ信号に対する様々なコーディング技術及び方法が開発されており、これと関連した製品も生産されている。また、マルチチャネルオーディオ信号の空間情報を用いてモノまたはステレオオーディオ信号をマルチチャネルに変えるコーディング方法が開発されてきている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、オーディオ信号を保存する場合、空間情報を保存できる補助データ領域が存在しない記録媒体がある。したがって、このような場合には、モノまたはステレオオーディオ信号のみを保存または転送することによって、モノまたはステレオオーディオ信号にしか再生されず、音質が単調になる問題点があった。また、空間情報を別個に保存する、または、別個に転送する場合には、一般のモノまたはステレオオーディオ信号の再生器との互換性において問題があった。
【０００４】
本発明は、上記の問題点を解決するためのもので、その目的は、オーディオ信号のコーディングにおいて、一般のモノまたはステレオオーディオ信号の再生器と互換性を持つとともに、補助データ領域が存在しない場合にもマルチチャネルオーディオ信号に対する空間情報を保存または転送できるようにした符号化及び復号化方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明は、オーディオ信号に挿入フレーム単位に埋め込まれた付加情報を抽出するものの、前記挿入フレーム長はフレーム毎に定義される段階と、前記付加情報を用いて前記オーディオ信号をデコーディングする段階と、を含むことを特徴とする、オーディオ信号のデコーディング方法を提供する。
【０００６】
また、上記の目的を達成するために、本発明は、オーディオ信号に結合フレーム単位にアタッチされた付加情報を抽出するものの、前記結合フレーム長はフレーム毎に定義される段階と、前記付加情報を用いて前記オーディオ信号をデコーディングする段階と、を含むことを特徴とする、オーディオ信号のデコーディング方法を提供する。
【０００７】
また、上記の目的を達成するために、本発明は、オーディオ信号及び前記オーディオ信号をデコーディングするのに必要な付加情報を生成する段階と、前記付加情報を前記オーディオ信号に挿入フレーム単位に埋め込むものの、前記挿入フレーム長はフレーム毎に定義される段階と、を含むことを特徴とする、オーディオ信号のエンコーディング方法を提供する。
【０００８】
また、上記の目的を達成するために、本発明は、オーディオ信号及び前記オーディオ信号成分のうち非知覚的成分に、フレーム毎に定義された挿入フレーム長で埋め込まれた付加情報を持つデータ構造を提供する。
【０００９】
また、上記の目的を達成するために、本発明は、オーディオ信号を生成するオーディオ信号生成部と、前記オーディオ信号をデコーディングするのに必要な付加情報を生成する付加情報生成部と、前記付加情報を前記オーディオ信号に、フレーム毎に定義された挿入フレーム長で埋め込む埋め込み部と、を含むことを特徴とする、オーディオ信号のエンコーディング装置を提供する。
【００１０】
また、上記の目的を達成するために、本発明は、オーディオ信号にフレーム毎に定義された挿入フレーム長で埋め込まれた付加情報を抽出する埋め込み信号デコーダと、前記付加情報を用いて前記オーディオ信号をデコーディングするマルチチャネル生成部と、を含むことを特徴とする、オーディオ信号のデコーディング装置を提供する。
【発明の効果】
【００１１】
本発明は、マルチチャネル信号をコーディングする際に、空間情報をダウンミックス信号に埋め込むことによって、補助データ領域が存在しないストレージ媒体（例えば、ステレオＣＤ）や、補助データ領域が存在しないオーディオデータフォーマットにマルチチャネルオーディオ信号を保存し再生できるようにする方法及び装置を提供することができる。
【００１２】
また、本発明は、空間情報をダウンミックス信号に様々なフレーム長または一定のフレーム長で埋め込む方法及び装置を提供し、該空間情報を少なくとも１チャンネルを持つダウンミックス信号に埋め込む方法及び装置を提供することによって、エンコーディング及びデコーディング効率を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、上記の目的を具体的に実現できる本発明の実施例を、添付の図面を参照しつつ説明する。本発明は、オーディオ信号（ａｕｄｉｏ  ｓｉｇｎａｌ）をデコーディングするのに必要な付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）を、前記オーディオ信号に埋め込む（ｅｍｂｅｄ）方法及び装置に関する。ただし、便宜上、本明細書では前記オーディオ信号及び付加情報をそれぞれ、ダウンミックス信号（ｄｏｗｎｍｉｘ  ｓｉｇｎａｌ）及び空間情報（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）として記述するが、本発明がこれに限定されることはない。また、該オーディオ信号は、ＰＣＭ信号を含む。
【００１４】
図１は、本発明によるオーディオ信号（ａｕｄｉｏ  ｓｉｇｎａｌ）に対する空間情報（ｓｐａｔｉａｌｉｎ  ｆｏｒｍａｔｉｏｎ）を人間が認識する方法を示す。マルチチャネルオーディオ信号に対するコーディング方法は、人間がオーディオ信号を３次元的空間として認知するという事実から、複数のパラメータセット（ｐａｒａｍｅｔｅｒ  ｓｅｔｓ）を用いて前記オーディオ信号を３次元的空間情報として表現できるということを利用する。マルチチャネルオーディオ信号の空間情報を表示するための“空間パラメータ（ｓｐａｔｉａｌ  ｐａｒａｍｅｔｅｒ）”には、ＣＬＤ（Ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅｓ）、ＩＣＣ（Ｉｎｔｅｒ  Ｃｈａｎｎｅｌ  Ｃｏｈｅｒｅｎｃｅｓ）及びＣＴＤ（Ｃｈａｎｎｅｌ  Ｔｉｍｅ  Ｄｉｆｆｅｒｅｎｃｅ）等がある。ＣＬＤは、２チャンネル間のエネルギー差を表し、ＩＣＣは、２チャンネル間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を表し、ＣＴＤは、２チャンネル間の時間差を表す。
【００１５】
人間がオーディオ信号をどのように空間的に認識し、空間パラメータの概念がどのように生成されるかについて、図１に示す。遠距離にある音源（ｓｏｕｎｄ  ｓｏｕｒｃｅ）１０１からの直接的な一つの音波（ｄｉｒｅｃｔ  ｓｏｕｎｄ  ｗａｖｅ）１０３が人間の左耳１０７に到達し、他の直接的な音波１０２は頭の周囲で回折（ｄｉｆｆｒａｃｔ）して右耳１０６に到達する。これらの２つの音波１０２及び１０３は、到達時間及びエネルギーレベルでズレがあり、このようなズレによってＣＴＤ及びＣＬＤパラメータが生成されるわけである。また、もし反射された音波１０４及び１０５が両耳に到達する、または、音源１０１が分散されていると、互いに相関関係を持たない音波が両耳に到達し、これによってＩＣＣパラメータが生成される。上記のような原理から生成された空間パラメータを用いて、マルチチャネルオーディオ信号をモノまたはステレオ信号として転送した後、再びマルチチャネルとして出力することができる。本発明は、前記空間情報、すなわち、空間パラメータを前記モノまたはステレオオーディオ信号に埋め込んで転送した後、再びマルチチャネルオーディオ信号に再生できる方法を提供する。本発明は、マルチチャネルオーディオ信号に限定されるわけではないが、本明細書では便宜上、マルチチャネルオーディオ信号について述べるものとする。
【００１６】
図２は、本発明によるエンコーディング装置（ｅｎｃｏｄｉｎｇ  ａｐｐａｒａｔｕｓ）を示すブロック図である。同図で、まず、エンコーディング装置は、マルチチャネルオーディオ信号（ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｓｉｇｎａｌ）２０１を受信する。ここで、Ｎは、入力チャンネル（ｉｎｐｕｔ  ｃｈａｎｎｅｌ）の数を表す。該マルチチャネルオーディオ信号２０１は、オーディオ信号生成部（ａｕｄｉｏ  ｓｉｎｇｎａｌ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）２０３でダウンミックス信号Ｌｏ／Ｒｏ（２０５）になる。該ダウンミックス信号２０５は、モノ（ｍｏｎｏ）またはステレオ（ｓｔｅｒｅｏ）オーディオ信号を含み、また、マルチチャネルオーディオ信号になりうる。本明細書では、便宜上、ステレオオーディオ信号について説明するが、本発明がこれに限定されることはない。そして、前記マルチチャネルオーディオ信号の空間情報、すなわち、空間パラメータが付加情報生成部（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）２０４で前記マルチチャネルオーディオ信号２０１から生成される。ここで、空間情報（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）とは、マルチチャネル（例えば、Ｌｅｆｔ、Ｒｉｇｈｔ、Ｃｅｎｔｅｒ、Ｌｅｆｔ  ｓｕｒｒｏｕｎｄ、Ｒｉｇｈｔ  ｓｕｒｒｏｕｎｄ等）オーディオ信号をダウンミックスして生成されたダウンミックス信号２０５を転送し、該転送されたダウンミックス信号を再びマルチチャネルオーディオ信号にアップミックス（ｕｐｍｉｘ）する時に用いられるオーディオ信号チャンネルに対する情報のことをいう。選択的に、ダウンミックス信号２０５は、外部から直接提供されるダウンミックス信号、例えば、アーティスティックダウンミックス信号（Ａｒｔｉｓｔｉｃ  ｄｏｗｎ−ｍｉｘ  ｓｉｇｎａｌ）２０２を用いて生成されても良い。
【００１７】
付加情報生成部２０４で生成された空間情報は、付加情報エンコーディング部（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｅｎｃｏｄｉｎｇ  ｐａｒｔ）２０６で、転送（ｔｒａｎｓｍｉｓｓｉｏｎ）及び保存（ｓｔｏｒａｇｅ）のための空間情報ビットストリーム（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｂｉｔｓｔｒｅａｍ）に符号化（ｅｎｃｏｄｉｎｇ）される過程を経る。該空間情報ビットストリームは、適当に再構成（ｒｅｓｈａｐｉｎｇ）された後、埋め込み部（ｅｍｂｅｄｄｉｎｇ  ｐａｒｔ）２０７から転送する信号、すなわち、ダウンミックス信号２０５に直接挿入されるが、この時、“デジタルオーディオ埋め込み技法（Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｅｍｂｅｄｄｅｄ  Ｍｅｔｈｏｄ）”を用いれば良い。例えば、ダウンミックス信号２０５が、空間情報を保存し難いストレージ媒体（ｓｔｏｒａｇｅ  ｍｅｄｉａ）（例えば、ステレオコンパクトディスク（ｓｔｅｒｅｏ  ＣＤ））に保存される、または、ＳＰＤＩＦ（Ｓｏｎｙ／Ｐｈｉｌｉｐｓ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）のような方式で転送する元（ｒａｗ）ＰＣＭオーディオ信号である場合、ＡＡＣなどで圧縮符号化（ｃｏｍｐｒｅｓｓｉｏｎ  ｅｎｃｏｄｉｎｇ）される場合とは違い、前記空間情報を保存できる補助データ領域（Ａｎｃｉｌｌａｒｙ  Ｄａｔａ  Ｆｉｅｌｄ）が存在しない。この場合、前記“デジタルオーディオ埋め込み技法”を用いると、前記元ＰＣＭオーディオ信号に音質歪み（ｓｏｕｎｄ  ｑｕａｌｉｔｙ  ｄｉｓｔｏｒｔｉｏｎ）が生じることなく前記空間情報を埋め込むことができ、該空間情報が埋め込まれたオーディオ信号は、一般的なデコーダ側では元信号と区別されない。すなわち、空間情報が埋め込まれている出力信号（ｏｕｔｐｕｔ  ｓｉｇｎａｌ）Ｌｏ'／Ｒｏ'（２０８）は、一般的なＰＣＭデコーダから見ると入力信号Ｌｏ／Ｒｏ（２０５）と同じ信号とみなされる。
【００１８】
上記“デジタルオーディオ埋め込み技法”には、ビット置換符号化方法（Ｂｉｔ  Ｒｅｐｌａｃｅｍｅｎｔ  Ｃｏｄｉｎｇ  Ｍｅｔｈｏｄ）、反響挿入方法（Ｅｃｈｏ  Ｈｉｄｉｎｇ  Ｍｅｔｈｏｄ）、帯域拡散通信法（Ｓｐｒｅａｄ−Ｓｐｅｃｔｒｕｍ  −ｂａｓｅｄ  Ｍｅｔｈｏｄ）などがある。ビット置換符号化方法は、量子化されたオーディオサンプルの下位ビット（ｌｏｗｅｒ  ｂｉｔ）を変形して所望の情報を挿入する方法で、オーディオ信号において下位ビットの変形（ｍｏｄｉｆｉｃａｔｉｏｎ）がオーディオ信号の品質にほとんど影響を与えないという特性に基づく方法である。反響挿入方法は、人の耳に聞こえないような小さい大きさの反響（ｅｃｈｏ）をオーディオ信号に挿入する方法である。帯域拡散通信法は、離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、離散フーリエ変換（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）等を用いてオーディオ信号を周波数領域に変換した後に、２進数からなる所望の情報をＰＮ（Ｐｓｅｕｄｏ  Ｎｏｉｓｅ）シーケンス（ｓｅｑｕｅｎｃｅ）に帯域拡散（ｓｐｒｅａｄ  ｓｐｅｃｔｒｕｍ）し、周波数領域（ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ）に変換されたオーディオ信号に添加する方法である。本発明では、上記の埋め込み方法のうち、ビット置換符号化方法について説明するが、本発明がこのビット置換符号化方法に限定されることはない。
【００１９】
図３は、本発明による埋め込み部２０７を示す詳細ブロック図である。上記のビット置換符号化方法によって空間情報をダウンミックス信号成分のうち非知覚的成分に埋め込む時、該空間情報を埋め込み可能な挿入ビット長（ｉｎｓｅｒｔｉｏｎ  ｂｉｔｓ  ｌｅｎｇｔｈ）（以下、Ｋ値という。）は、下位１ビットのみを使用するのではなく、定められた方法（ｐｒｅ−ｄｅｃｉｄｅｄ  ｍｅｔｈｏｄ）によってＫ（Ｋ＞０）ビットを使用することができる。このＫビットは、ダウンミックス信号の下位ビット値を使用することができるが、下位ビット値に限定されることはない。ここで、定められた方法とは、例えば、心理音響モデル（Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ）によるマスキング限界値（Ｍａｓｋｉｎｇ  Ｔｈｒｅｓｈｏｌｄ）を求め、該マスキング限界値によって適当なビットを割り当てる（ａｌｌｏｃａｔｉｎｇ）ことをいう。図示の如く、ダウンミックス信号Ｌｏ／Ｒｏ（３０１）は、埋め込み部内のバッファ（ｂｕｆｆｅｒ）３０３を経てオーディオ信号エンコーディング部３０６に転送される。マスキング限界値計算部（ｍａｓｋｉｎｇ  ｔｈｒｅｓｈｏｌｄ  ｃｏｍｐｕｔｉｎｇ  ｐａｒｔ）３０４は、入力されたオーディオ信号を一定の区間（ｓｅｃｔｉｏｎ）（例えば、ブロック（ｂｌｏｃｋ））に分け、該当の区間に対するマスキング限界値を求める。また、マスキング限界値計算部３０４は、マスキング限界値によって、聴覚的な歪み（ａｕｒａｌ  ｄｉｓｔｏｒｔｉｏｎ）が生じることなく変更（ｍｏｄｉｆｙ）可能なダウンミックス信号の挿入ビット長、すなわち、Ｋ値を求める。すなわち、前記空間情報を前記ダウンミックス信号に埋め込むのに使用可能なビット数を、ブロック別に割り当てる。本明細書で、ブロックとは、フレーム（ｆｒａｍｅ）内に存在する一つの挿入ビット長（すなわち、Ｋ値）を用いて挿入されたデータ単位のことをいう。一つのフレームには、１個以上のブロックが存在でき、したがって、フレーム長が固定されていると、ブロック長は、ブロックの個数が増加するにつれて減少する。前記Ｋ値が決定されると、該Ｋ値を空間情報ビットストリームに含めることができる。すなわち、ビットストリーム再構成部（ｂｉｔｓｔｒｅａｍ  ｒｅｓｈａｐｉｎｇ  ｐａｒｔ）３０５は、前記Ｋ値を含むように前記空間情報ビットストリームを再構成できる。この場合、前記空間情報ビットストリームにはシンクワード（ｓｙｎｃｗｏｒｄ）、誤り検出コード（ｅｒｒｏｒ  ｄｅｔｅｃｔｉｏｎ  ｃｏｄｅ）または誤り訂正コード（ｅｒｒｏｒ  ｃｏｒｒｅｃｔｉｏｎ  ｃｏｄｅ）などを含めることができる。
【００２０】
再構成された空間情報ビットストリームは、埋め込み可能な形態に再整列（ｒｅａｒｒａｎｇｅ）されることができる。再整列された前記空間情報ビットストリームは、オーディオ信号エンコーディング部３０６で前記ダウンミックス信号に埋め込まれ、前記空間情報ビットストリームが埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（３０７）として出力される。このとき、前記空間情報ビットストリームは、前記ダウンミックス信号のＫビット内に埋め込まれることができる。前記Ｋ値は、ブロック内で固定された一つの値を持つことができる。いずれの場合においても、前記Ｋ値は前記空間情報ビットストリームの再構成過程または再整列過程で付加情報として挿入されて、デコーディング装置に転送され、デコーディング装置では、前記付加情報を用いて空間情報データを復元することができる。
【００２１】
前述の如く、前記空間情報ビットストリームは、ブロック別に前記ダウンミックス信号に埋め込まれる過程を経る。この過程には、様々な方法が用いられることができる。第１の方法は、単純に前記ダウンミックス信号の下位Ｋビットのみを０に入れ替えた（ｓｕｂｓｔｉｔｕｄｅ）後、再整列（ｒｅａｒｒａｎｇｅ）された前記空間情報ビットストリームデータを加える方法である。例えば、Ｋ値が３で、ダウンミックス信号のあるサンプルデータが１１１０１１０１で、埋め込むべき空間情報ビットストリームデータが１１１である場合、前記１１１０１１０１の下位３ビットを０に入れ替えて１１１０１０００にした後、前記空間情報ビットストリームデータ１１１を加えて１１１０１１１１にする。
【００２２】
第２の方法は、ディザリング（ｄｉｔｈｅｒｉｎｇ）方法を利用するもので、まず、再整列された空間情報ビットストリームデータを前記ダウンミックス信号の挿入領域から引いた後に、前記ダウンミックス信号を前記Ｋ値に基づいて再量子化し、再量子化された前記ダウンミックス信号に、前記再整列された空間情報ビットストリームデータを加える方法である。例えば、Ｋ値が３で、ダウンミックス信号のあるサンプルデータが１１１０１１０１で、埋め込むべき空間情報ビットストリームデータが１１１である場合、前記１１１０１１０１から１１１を引いて１１１００１１０にした後、下位３ビットに対して再量子化を行って１１１０１０００（四捨五入を適用）にし、次に、１１１を加えて１１１０１１１１にする。
【００２３】
前記ダウンミックス信号に埋め込まれる空間情報ビットストリームは任意のビットストリームであるがために白色雑音的な特性を持たないことがある。ダウンミックス信号に白色雑音形態の信号が加えられることが、音質特性の上で有利なため、前記空間情報ビットストリームを白色化（ｗｈｉｔｅｎｉｎｇ）する過程を行なってから前記ダウンミックス信号に加えると良い。前記白色化は、シンクワード以外の空間情報ビットストリームに適用されることができる。本発明で白色化とは、オーディオ信号の音量が全ての周波数領域で同一であるか、略同一な大きさを持つランダム信号にすることをいう。また、空間情報ビットストリームをダウンミックス信号に埋め込む過程で、前記空間情報ビットストリームにノイズシェーピング（Ｎｏｉｓｅ  ｓｈａｐｉｎｇ）技法を適用して聴覚的歪みを最小化することができる。本発明でノイズシェーピングとは、量子化過程で生成される量子化ノイズのエネルギーが可聴周波数帯域以上の高周波数帯域へ移動するようにノイズ特性を変形させる、または、該当のオーディオ信号からマスキング限界値を求め、該マスキング限界値に対応する時変（ｔｉｍｅ−ｖａｒｉｎｇ）フィルタを生成し、該フィルタによって量子化過程で発生するノイズの特性を変形させる過程のことをいう。
【００２４】
図４は、本発明による空間情報ビットストリームを再整列する第１の方法を示す。上述のように、前記空間情報ビットストリームは、前記Ｋ値を用いて埋め込まれることができる形態に再整列できる。このとき、前記空間情報ビットストリームは様々な方式で再整列されて、前記ダウンミックス信号に埋め込まれることができるが、図４は、上記の方式のうち、サンプルプレーン順に前記空間情報を埋め込む方式を示す。該第１の方法は、Ｋビット単位に該当のブロックに対する前記空間情報ビットストリームを分散し、これを順次に埋め込むことができるように前記空間情報ビットストリームを再整列することである。図示したように、Ｋ値が４で、１つのブロック４０５がＮ個のサンプル４０３で構成された場合、空間情報ビットストリーム４０１は、各サンプルの下位４ビットに順次に埋め込まれることができるように再整列できる。前述の如く、本発明は、各サンプルの下位４ビットにのみ空間情報ビットストリームを埋め込むことに限定されることはない。そして、各サンプルの下位Ｋビット内では、図示の如く、前記空間情報ビットストリームが最上位ビットから埋め込まれる（ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）  ｆｉｒｓｔ）、または、最下位ビットから埋め込まれる（ＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）  ｆｉｒｓｔ））。
【００２５】
図４で、矢印４０４は埋め込まれる方向を表し、括弧中の数字はデータ再整列順序を表す。また、ビットプレーン４０２は、複数のビットで構成される一定のビット階層をいう。前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数よりも埋め込むべき空間情報ビットストリームのビット数が小さい場合には、残りのビットを０で埋める（４０６）、ランダム信号（Ｒａｎｄｏｍ  ｓｉｇｎａｌ）を入れる、または、元のダウンミックス信号に置換することができる。例えば、ブロックを構成するサンプル数（Ｎ）が１００で、Ｋ値が４である場合、前記ブロックに埋め込み可能なビット数（Ｗ）は、Ｗ＝Ｎ＊Ｋ＝１００＊４＝４００ビットとなる。もし埋め込むべき空間情報ビットストリームのビット数（Ｖ）が３９０ビットである場合（すなわち、Ｖ＜Ｗである場合）、残りの１０ビットは０で埋める、ランダム信号を入れる、元のダウンミックス信号に置き換える、データの終わりを知らせるテールビット列（ｔａｉｌ  ｓｅｑｕｅｎｃｅ）で埋める、または、これらを組みわせて埋めれば良い。前記テールビット列は、該当のブロックで空間情報ビットストリームの終わりを知らせるビット列を意味する。たとえ図４ではブロック毎に残りのビットを埋めているが、上記のような方法で、挿入フレーム毎に残りのビットを埋めても良い。
【００２６】
図５は、本発明による空間情報ビットストリームを再整列する第２の方法を示す。該第２の方法は、空間情報ビットストリーム５０１をビットプレーン（Ｂｉｔ  Ｐｌａｎｅ）５０２の順に再整列する。この場合、前記空間情報ビットストリームは、ブロック毎に前記ダウンミックス信号の下位ビットから順次に埋め込まれることができるが、本発明はこれに限定されない。例えば、ブロックを構成するサンプル数（Ｎ）が１００で、Ｋ値が４である場合、まず、ビットプレーン０（５０２）を構成する最下位１００ビットをまず埋め、続いてビットプレーン１（５０２）を構成する１００ビットを埋める。
【００２７】
図５で、矢印５０５は、埋め込まれる方向を表し、括弧中の数字は、データ再整列順序を表す。この第２の方法は、特に、任意の位置でシンクワード（Ｓｙｎｃ  Ｗｏｒｄ）を抽出するのに有利である。上記のようにして再整列及び符号化された信号から、挿入された空間情報ビットストリームのシンクワードを探す時には、ＬＳＢのみを抽出してシンクワードを検索すれば良い。また、この第２の方法は、埋め込むべき空間情報ビットストリームのビット数（Ｖ）によって、最小のＬＳＢのみを使用する効果が期待できる。この時にも同様に、前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数（Ｗ）よりも埋め込むべき空間情報ビットストリームのビット数（Ｖ）が小さい場合には、上記のように残りのビットを０で埋める（５０６）、ランダム信号を入れる、元のダウンミックス信号に変える、データの終わりを知らせるテールビット列で埋める、または、これらを組み合わせて埋めれば良い。特に、上記方法のうち、前記ダウンミックス信号をそのまま利用することが有利である。図５は、ブロック毎に残りのビットを埋めているが、上記のような方法で挿入フレーム毎に残りのビットを埋めても良い。
【００２８】
図６Ａは、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むためのビットストリーム構造を示す。前述の如く、空間情報ビットストリーム６０７は、ビットストリーム再構成部３０５で、該空間情報ビットストリームに対するシンクワード（Ｓｙｎｃ  Ｗｏｒｄ）６０３とＫ値６０４を含むように再構成できる。また、再構成過程で、空間情報ビットストリーム６０７が転送または保存の際に損傷したか否かを判断できる少なくとも一つの誤り検出コードまたは誤り訂正コード６０６，６０８（以下、誤り検出コードと略す。）が、前記再構成された空間情報ビットストリームに含まれることができる。該誤り検出コードは、ＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ）を含む。前記誤り検出コードは、２段階に分けて含めることができるが、Ｋ値が含まれたヘッダ６０１に対する誤り検出コード１（６０６）と、空間情報ビットストリームのフレームデータ６０２に対する誤り検出コード２（６０８）が、前記空間情報ビットストリームに個別に含めることができる。その他情報６０５が個別に、前記埋め込みのための空間情報ビットストリームに含めることができる。このその他情報６０５には、空間情報ビットストリームの再整列方法に関する識別情報などが含めることができる。
【００２９】
図６Ｂは、図６Ａの空間情報ビットストリームを示す詳細図である。図示のように、図６Ｂは、空間情報ビットストリーム６１０の１フレームが２個のブロックで構成された実施例を示しているが、本発明はこの実施例に限定されない。図６Ｂの空間情報ビットストリームも、シンクワード６１２、Ｋ値（Ｋ1，Ｋ2，Ｋ3及びＫ4）６１３，６１４，６１５及び６１６、その他情報６１７、誤り検出コード６１８及び６２３を含んでなることができる。空間情報ビットストリーム６１０は、２ブロックで構成されているが、ステレオ信号の場合、ブロック１は左（ｌｅｆｔ）チャンネルと右（Ｒｉｇｈｔ）チャンネルに対するブロック６１９及び６２０で構成され、ブロック２も、左チャンネルと右チャンネルに対するブロック６２１及び６２２で構成されることができる。図６Ｂは、ステレオ信号について示しているが、本発明がこのステレオ信号に限定されることはない。これらのブロックに対する挿入ビット長（Ｋ値）は、ヘッダ部分に含まれる。Ｋ1６１３は、ブロック１の左チャンネルに対する挿入ビット長、Ｋ2６１４はブロック１の右チャンネルに対する挿入ビット長、Ｋ3６１５はブロック２の左チャンネルに対する挿入ビット長、Ｋ4６１６はブロック２の右チャンネルに対する挿入ビット長に該当する。また、前記誤り検出コードは２段階に分けて含まれることができるが、Ｋ値の含まれたヘッダ６０９に対する誤り検出コード１（６１８）と、前記空間情報ビットストリームのフレームデータ６１１に対する誤り検出コード２（６２３）が別個に含まれることができる。
【００３０】
図７は、本発明によるデコーディング装置を示すブロック図である。同図に示すように、本発明によるデコーディング装置は、空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（７０１）を受信する。該空間情報ビットストリームが埋め込まれたオーディオ信号は、モノ、ステレオ、またはマルチチャネル信号になり得、便宜上、ここではステレオ信号に基づいて説明するが、本発明はこれに限定されない。なお、埋め込み信号デコーディング部７０２は、オーディオ信号７０１から空間情報ビットストリームを抽出できる。埋め込み信号デコーディング部７０２で抽出された空間情報ビットストリームは、符号化された空間情報ビットストリームであり、該符号化された空間情報ビットストリームは、空間情報デコーディング部７０３への入力信号になりうる。空間情報デコーディング部７０３は、前記符号化された空間情報ビットストリームを復号化してマルチチャネル生成部７０４に出力する。マルチチャネル生成部７０４は、ダウンミックス信号７０１及び復号化より得られた空間情報を入力として受信しマルチチャネルオーディオ信号７０５として出力できる。
【００３１】
図８は、本発明によるデコーディング装置を構成する埋め込み信号デコーディング部７０２の詳細を示す。この埋め込み信号デコーディング部７０２には、空間情報の埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ'（８０１）が入力され、シンクワード探索部８０２は、該入力されたオーディオ信号８０１からシンクワード（Ｓｙｎｃ  Ｗｏｒｄ）を検出する。該シンクワードは、前記オーディオ信号の一チャンネルから検出することができる。該シンクワードが検出された後に、ヘッダデコーディング部８０３は、ヘッダ領域をデコーディングする。このとき、該ヘッダ領域からあらかじめ指定された大きさの情報を読み出し、データ逆変形部８０４は、読み出された情報のうち、シンクワード以外のヘッダ領域情報に逆白色化技法を適用することができる。次に、この逆白色化技法の適用されたヘッダ領域情報から前記ヘッダ領域の大きさ情報などを得ることができる。また、データ逆変形部８０４は、残りの空間情報ビットストリームに対しても逆白色化技法を適用できる。このヘッダデコーディングによってＫ値などの付加情報を得、該付加情報を用いて、再整列された空間情報ビットストリームを再び整列することによって本来の空間情報ビットストリーム８０５を得ることができる。また、ダウンミックス信号と空間情報ビットストリームのフレームを整列するためのシンク位置（Ｓｙｎｃ  Ｐｏｓｉｔｉｏｎ）情報、すなわち、フレーム整列情報８０６を得ることができる。
【００３２】
図９は、本発明によるオーディオ信号を一般のＰＣＭデコーディング装置で再生する様子を示す。すなわち、図９は、空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（９０１）が、一般のＰＣＭデコーディング装置の入力として印加される場合を示す。この場合、一般のＰＣＭデコーディング装置は、前記空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（９０１）を、正常なステレオオーディオ信号と認識して音声を再生する。該再生された音声は、音質の点では、空間情報の埋め込まれる前のオーディオ信号９０２と区別されない。したがって、本発明による空間情報が埋め込まれたオーディオ信号は、一般のＰＣＭデコーディング装置において正常なステレオ信号を再生する互換性を有し、マルチチャネルに復号化可能なデコーダでマルチチャネルオーディオ信号を提供できる長所を有する。
【００３３】
図１０は、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むエンコーディング方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１００１）からオーディオ信号をダウンミックス（１００２）する。このダウンミックス信号は、モノ、ステレオまたはマルチチャネル信号のうちの１つとすることができる。また、マルチチャネルオーディオ信号（１００１）から空間情報を抽出（１００３）し、該空間情報を用いて空間情報ビットストリームを生成（１００４）する。その後、前記空間情報ビットストリームを前記ダウンミックス信号に埋め込み（１００５）、前記空間情報ビットストリームの埋め込まれたダウンミックス信号を含む全体ビットストリームを転送（１００６）する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長（すなわち、Ｋ値）を求め、前記挿入領域に空間情報ビットストリームを埋め込むことができる。
【００３４】
図１１は、本発明によるダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、デコーディング装置は、空間情報ビットストリームが埋め込まれたダウンミックス信号を含む全体ビットストリームを受信（１１０１）し、該ビットストリームからダウンミックス信号を検出（１１０２）する。また、前記全体ビットストリームから空間情報ビットストリームを検出及びデコーディング（１１０３）する。このデコーディングによって空間情報を抽出（１１０４）し、抽出された空間情報を用いてダウンミックス信号をデコーディング（１１０５）する。前記ダウンミックス信号は、２チャンネルにデコーディングするか、または、マルチチャネルにデコーディングすることができる。ここで、本発明は、前記全体ビットストリームから前記空間情報ビットストリームの埋め込み方法及びＫ値に関する情報を読み出し、該読み出された埋め込み方法及びＫ値を用いて前記空間情報ビットストリームをデコーディングすることができる。
【００３５】
図１２は、本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム長を示す。本発明で“フレーム”とは、一つのヘッダを持つ一定の長さの独立した復号化が可能な単位のことをいい、本明細書では通常、“フレーム”が、後続する“挿入フレーム”を意味する。本発明で“挿入フレーム”とは、ダウンミックス信号に空間情報ビットストリームを埋め込む単位のことをいう。この挿入フレーム長は、フレーム毎に定義されるか、または、あらかじめ指定された長さを使用することができる。例えば、図示のように、前記挿入フレーム長は、空間情報を復号化して適用する単位に該当する空間情報ビットストリームのフレーム長（Ｓ）（以下、“復号化フレーム長”と略す。）と同一大きさを持つようにするか（図１２の（ａ）の場合）、Ｓの倍数になるようにするか（図１２の（ｂ）の場合）、または、ＳがＮの倍数になるようにする（図１２の（ｃ）場合）方法がある。図１２の（ａ）に示すように、Ｎ＝Ｓの場合には、復号化フレーム長（Ｓ）１２０１と前記挿入フレーム長（Ｎ）１２０２が一致するので、復号化過程が容易になる。これに対し、図１２の（ｂ）に示すように、Ｎ＞Ｓの場合では、複数の復号化フレーム１２０３を纏めて一つの挿入フレーム長（Ｎ）１２０４として転送し、これにより、ヘッダや誤り検出コード（例えば、ＣＲＣ）などによって付加されるビット数を低減することができる。図１２の（ｃ）に示すように、Ｎ＜Ｓの場合では、数個の挿入フレーム（Ｎ）１２０６を纏めて一つの復号化フレーム大きさ（Ｓ）１２０５にすることができる。前記挿入フレームヘッダ内には、空間情報が埋め込まれる挿入ビット長に関する情報、前記挿入フレーム長（Ｎ）に関する情報、または、前記挿入フレーム内に含まれるサブフレーム個数に関する情報などが付加情報として挿入されることができる。
【００３６】
図１３は、本発明によるダウンミックス信号に挿入フレーム単位で埋め込まれる空間情報ビットストリームを示す。図１２の（ａ）、（ｂ）及び（ｃ）に示す場合はいずれも、前記挿入フレームと前記復号化フレームが互いに整数倍になるように構成される。場合によっては、固定された長さのビットストリーム、例えば、トランスポートストリーム（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ：ＴＳ）１３０３と同じ形態の上位パケット（ｐａｃｋｅｔ）を構成して転送しても良い。すなわち、空間情報ビットストリームの復号化フレーム１３０１の長さによらず、前記空間情報ビットストリーム１３０１を一定長さのパケット単位に纏め、該パケットにＴＳヘッダ１３０２などの情報を入れて転送することができる。前記挿入フレーム長さは、フレーム毎に定義されても良く、フレーム内で定義せずにあらかじめ指定された長さを使用しても良い。
【００３７】
この方法は、ダウンミックス信号の特性によって、ブロック毎にマスキング限界値が異なり、これにより、前記ダウンミックス信号の音質劣化無しに割り当てうる最大ビット数（Ｋ＿ｍａｘ）が異なってくる点から、空間情報ビットストリームのデータ転送速度を可変させるために必要である。例えば、前記Ｋ＿ｍａｘが該当のブロックで必要とする空間情報ビットストリームを全て表現するに不足している場合には、Ｋ＿ｍａｘまでデータを転送し、残りは以降の他のブロックで転送すれば良い。Ｋ＿ｍａｘで十分な場合には、次のブロックに対する空間情報ビットストリームをあらかじめ取り込める。この場合、各ＴＳパケットは独立したヘッダを持ち、該ヘッダ内には、シンクワード（Ｓｙｎｃ  Ｗｏｒｄ）、ＴＳパケット長情報、ＴＳパケット内に含まれるサブフレーム数情報またはパケット内で割り当てられた挿入ビット長（Ｋ）情報などを含めることができる。
【００３８】
図１４Ａは、挿入フレーム単位に埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅ  ａｌｉｇｎ）問題を解決するための第１の方法を示す。前記挿入フレームの長さはフレーム毎に定義される、または、あらかじめ指定された長さを使用することができる。前記挿入フレーム単位に埋め込む方法は、埋め込まれた空間情報ビットストリームの挿入フレーム開始位置とダウンミックス信号との時間軸整列（ｔｉｍｅ  ａｌｉｇｎ）が合わないという問題がありうる。したがって、この時間軸整列の問題を解決する方法が必要である。図１４Ａに示す第１の方法は、空間情報の復号化フレーム１４０３に対するヘッダ１４０２（以下、“復号化フレームヘッダ”という。）を別個に置く方法である。復号化フレームヘッダ１４０２内には、前記空間情報が適用されるオーディオ信号の位置情報が存在しているか否かに関する識別情報を含めることができる。
【００３９】
ＴＳパケット１４０４及び１４０５について説明すると、ＴＳパケットヘッダ１４０４内には、現在のパケット内に復号化フレームヘッダ１４０２の存在の有無を知らせる識別情報１４０８（例えば、フラグ）を含めることができる。
【００４０】
もし識別情報１４０８が１であれば（すなわち、復号化フレームヘッダ１４０２が存在すれば）、該復号化フレームヘッダから、前記空間情報ビットストリームが適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出すことができる。次に、該読み出された識別情報によって、前記復号化フレームヘッダ１４０２から、前記空間情報ビットストリームが整列されるべきダウンミックス信号に対する位置情報１４０９（例えば、遅延（ｄｅｌａｙ）情報）を読み出すことができる。もし、識別情報１４１１が０であれば、ＴＳパケットのヘッダ内に前記位置情報を含めない。一般に、空間情報ビットストリーム１４０３は、対応するダウンミックス信号１４０１よりも先に来ることが好ましいので、位置情報１４０９は、主として遅延（ｄｅｌａｙ）に対するサンプル値となりうる。一方、遅延が過大なため、サンプル値を表現するのに必要な情報量が過大になる問題を防止すべく、サンプル単位ではなく、一定サンプルを纏めて表現するサンプル群単位（例えば、グラニュール（ｇｒａｎｕｌｅ）単位）などを定義し、該サンプル群単位に前記位置情報を表現しても良い。前述したように、前記ＴＳヘッダ内には、ＴＳシンクワード１４０６、挿入ビット長１４０７、前記復号化フレームヘッダの存在の有無に関する識別情報及びその他情報１４０９を含めることができる。
【００４１】
図１４ｂは、フレーム毎に定義された長さの挿入フレームに埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅ  ａｌｉｇｎ）問題を解決するための第２の方法を示す。ＴＳパケットで構成される場合について説明すると、第２の方法は、復号化フレームの始点１４１３、ＴＳパケットの始点、及び対応するダウンミックス信号１４１２の始点を一致させる方法である。このように一致する部分に対して、上記３つの始点が整列されたことを知らせる識別情報１４２０または１４２２（例えば、フラグ）を、前記ＴＳパケットのヘッダ１４１５内に含めることができる。図１４Ｂでは、ダウンミックス信号のｎ番目のフレーム１４１２で上記３つの識別情報が一致している。この場合、識別情報１４２２は１の値を持つ。もし上記３つの識別情報が一致しないと、識別情報１４２０は０の値を持つことができる。これら３つの始点を一致させるために、以前のＴＳパケットに続く一定部分１４１７（ｆｉｌｌ部分）は、０で埋められるか、ランダム信号を入れるか、元のダウンミックスされたオーディオ信号に変えるか、または、これらを組み合わせて埋めることができる。前述したように、ＴＳヘッダ１４１５内には、ＴＳシンクワード１４１８、挿入ビット値１４１９及びその他情報１４２１を含めることができる。
【００４２】
図１５は、本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ（ａｔｔａｃｈ）されるように生成する方法を示す。前記空間情報ビットストリームがアタッチされるフレーム（以下、“結合フレーム”という。）の長さは、フレーム毎に定義された長さ単位である、または、フレーム毎に定義されるのではなくあらかじめ指定された一定の長さ単位となりうる。例えば、前記挿入フレーム長さは、図示のように、前記空間情報の復号化フレーム１５０４の長さと互いに整数倍になる、または、固定された長さ単位とすることができる。もし、復号化フレーム長１５０４と前記挿入フレーム大きさが異なると、前記空間情報ビットストリームを任意に切って前記挿入フレームには埋め合わせるのではなく、前記空間情報ビットストリームを分離せずに、例えば、復号化フレーム１５０４と同じ長さ単位に前記挿入フレームを生成すれば良い。このとき、前記空間情報ビットストリームはダウンミックス信号に埋め込まれるように構成することができ、また、前記ダウンミックス信号に埋め込まれずに前記ダウンミックス信号にアタッチされるように構成することができる。ＰＣＭ信号のようにアナログ信号をデジタル信号に変換した信号（以下、“第１のオーディオ信号”という。）では、前記空間情報ビットストリームが前記第１のオーディオ信号に埋め込まれるように構成することができる。ＭＰ３のようにより圧縮されたデジタル信号（以下、“第２のオーディオ信号”という。）では、前記空間情報ビットストリームが前記第２のオーディオ信号にアタッチされるように構成することができる。前記第２のオーディオ信号に対する、例えば前記ダウンミックス信号も、圧縮された形態のビットストリームで表現することができる。したがって、図示のように、圧縮された形態のダウンミックス信号ビットストリーム１５０２が存在し、このダウンミックス信号ビットストリーム１５０２に、空間情報に対する復号化フレーム１５０４長でアタッチすることができる。したがって、本発明では、前記空間情報ビットストリームを一度に集中的（ｂｕｒｓｔ）に転送することができる。前記復号化フレームにはヘッダ１５０３が存在でき、前記ヘッダ１５０３には、空間情報が適用されるダウンミックス信号の位置情報を含めることができる。
【００４３】
また、本発明では、前記空間情報ビットストリームを圧縮された形態の結合フレーム（例えば、ＴＳビットストリーム１５０６）にし、前記圧縮された形態のダウンミックス信号ビットストリーム１５０２にアタッチすることができる。この場合、ＴＳビットストリーム１５０６に対するＴＳヘッダ１５０５が存在できる。前記結合フレームのヘッダ（すなわち、ＴＳヘッダ１５０５）には、結合フレームシンク情報１５０７、前記結合フレーム内に復号化フレームのヘッダが存在するか否かに関する識別情報１５０８、前記結合フレームに含まれるサブフレーム数情報またはその他情報１５０９のうち一つ以上を含めることができる。また、前記結合フレーム内には、前記結合フレームの始点及び前記復号化フレームの始点が一致しているか否かに関する識別情報を含めることができる。もし前記結合フレーム内に前記復号化フレームヘッダが存在すると、前記復号化フレームヘッダから、前記空間情報が適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出す。次に、前記識別情報によって、前記空間情報が適用されるダウンミックス信号の位置情報を読み出すことができる。
【００４４】
図１６は、本発明によるダウンミックス信号に様々な大きさの挿入フレームで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１６０１）からオーディオ信号をダウンミックス（１６０２）する。該ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、マルチチャネルオーディオ信号（１６０１）から空間情報を抽出（１６０３）し、該空間情報を用いて空間情報ビットストリームを生成（１６０４）する。生成された空間情報ビットストリームはフレーム毎に、復号化フレームと互いに整数倍に該当する長さの挿入フレーム単位に前記ダウンミックス信号に埋め込むことができる。もし、復号化フレーム長（Ｓ）が挿入フレーム長（Ｎ）よりも大きいと（１６０５）、前記挿入フレーム長（Ｎ）は、複数のＮを纏めて一つのＳと同一になるように形成（１６０７）する。もし復号化フレームの長さ（Ｓ）が、挿入フレーム長（Ｎ）よりも小さいと（１６０６）、前記挿入フレーム長（Ｎ）を、複数のＳを纏めて一つのＮと同一になるように形成（１６０８）する。もしＮとＳが同一であれば、前記挿入フレーム長（Ｎ）を、復号化フレーム長（Ｓ）と同一に形成（１６０９）する。このような方式で形成された空間情報ビットストリームは、前記ダウンミックス信号に埋め込まれ（１６１０）、次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（１６１１）する。ここで、本発明は、前記空間情報ビットストリームの挿入フレームの長に対する情報を、全体ビットストリーム内に埋め込むことができる。
【００４５】
図１７は、本発明によるダウンミックス信号に一定の長さで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１７０１）からオーディオ信号をダウンミックス（１７０２）する。前記ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、前記マルチチャネルオーディオ信号（１７０１）から空間情報を抽出（１７０３）し、前記空間情報を用いて空間情報ビットストリームを生成（１７０４）する。前記空間情報ビットストリームを一定の大きさ（パケット単位）のビットストリーム、例えば、トランスポートストリーム（ＴＳ）に纏めた後（１７０５）、前記一定の大きさの空間情報ビットストリームを前記ダウンミックス信号に埋め込む（１７０６）。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（１７０７）する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長（すなわち、Ｋ値）を求め、前記挿入領域に前記空間情報ビットストリームを埋め込むことができる。
【００４６】
図１８は、本発明による少なくとも１チャンネルにダウンミックスされたオーディオ信号に空間情報を埋め込む第１の方法を示す。ダウンミックス信号が少なくとも１チャンネルで構成された場合、空間情報は、該少なくとも１チャンネルに共通するデータとされる。したがって、前記空間情報を少なくとも１チャンネルに分けて埋め込む方法が必要である。図１８は、前記空間情報を、少なくとも１チャンネルを持つダウンミックス信号のうち、１チャンネルにのみ埋め込む方法を示す。図示のように、前記空間情報はダウンミックス信号のＫビットに埋め込まれるが、一つのチャンネルにのみ埋め込まれ、他のチャンネルには埋め込まない。該Ｋ値は、ブロック別にまたはチャンネル毎に異なってくる。前述の如く、前記Ｋ値に該当するビットはダウンミックス信号の下位ビットに該当することができるが、本発明はこれに限定されない。ここで、前記空間情報ビットストリームは、１チャンネルにＬＳＢからビットプレーン（Ｂｉｔ  Ｐｌａｎｅ）順に入れるか、または、サンプル順に入れることができる。
【００４７】
図１９は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第２の方法を示す。図１９では、便宜上、２チャンネルを持つダウンミックス信号について説明するが、本発明がこれに限定されることはない。図示のように、第２の方法は、空間情報を１チャンネル（ここでは、左チャンネル）のブロックｎにまず埋め込んだ後、他のチャンネル（ここでは、右チャンネル）のブロックｎに埋め込み、続いて元チャンネル（左チャンネル）のブロックｎ+１に再び埋め込む方式で行われる。この場合、シンク情報は一つのチャンネルにのみ埋め込まれることができる。ブロック毎に前記空間情報ビットストリームが前記ダウンミックス信号に埋め込まれることができるが、復号化過程ではブロック毎またはフレーム毎に前記空間情報ビットストリームを抽出することができる。前記ダウンミックス信号の２チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、Ｋ値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはＫ1を、他のチャンネルにはＫ2を割り当てることができる。また、前記Ｋ値は各ブロック毎に異なっても良い。この場合にも同様に、前記空間情報は各チャンネルに、ＬＳＢからビットプレーン（Ｂｉｔ  Ｐｌａｎｅ）順に埋め込まれる、または、サンプル順に埋め込まれることができる。
【００４８】
図２０は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第３の方法を示す。図２０では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第３の方法は、空間情報を２チャンネルに分けて埋め込むものの、これをサンプル単位に２チャンネルに交互に埋め込む方式で行われる。なお、２チャンネルの信号特性が異なるので、各チャンネルにおけるマスキング限界値を個別に求め、各Ｋ値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはＫ1を、他のチャンネルにはＫ2を割り当てることができる。また、前記Ｋ値は、ブロック毎に異なっても良い。例えば、前記空間情報をまず一つのチャンネル（ここでは、左チャンネル）のサンプル１の下位Ｋ１ビットにまず埋め、他のチャンネル（ここでは、右チャンネル）のサンプル１の下位Ｋ２ビットに埋める。次に、元チャンネル（左チャンネル）のサンプル２の下位Ｋ１ビットを再び埋め、他のチャンネル（右チャンネル）のサンプル２の下位Ｋ２ビットを埋める。同図で、ブロック内の数字は、空間情報ビットストリームを埋め込む順序を表す。図２０では、ＭＳＢから埋めるとしたが、ＬＳＢから埋めても良い。
【００４９】
図２１は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第４の方法を示す。図２１では、２チャンネルを持つダウンミックス信号について説明するが、本発明はこれに限定されない。図示のように、第４の方法は、空間情報を少なくとも１チャンネルに分けて埋め込むものの、それをＬＳＢからビットプレーン単位に２チャンネルに交互に埋め込む方式で行う。なお、２チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、Ｋ（Ｋ1及びＫ2）値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように一つのチャンネルにはＫ1を、他のチャンネルにはＫ2を割り当てることができる。
【００５０】
また、前記Ｋ値は各ブロック毎に異なっても良い。例えば、まず一つのチャンネル（ここでは、左チャンネル）のサンプル１の最下位１ビットを埋め、他のチャンネル（ここでは、右チャンネル）のサンプル１の最下位１ビットを埋める。次に、元チャンネル（左チャンネル）のサンプル２の最下位１ビットを再び埋め、他のチャンネル（右チャンネル）のサンプル２の最下位１ビットを再び埋める。同図で、ブロック内の数字は、空間情報を埋める順序を表す。
【００５１】
オーディオ信号が補助データ領域がないストレージ媒体（例えば、ステレオＣＤ）に保存されるか、ＳＰＤＩＦのような方式で転送される場合、Ｌ／Ｒチャンネルがサンプル単位にインタリービング（ｉｎｔｅｒｌｅａｖｉｎｇ）されるため、上記第３の方法、第４の方法で保存されている方が、デコーダの立場では受信する順に処理できるので有利である。また、上記第４の方法は、空間情報ビットストリームを再整列する過程でビットプレーン単位に再整列して保存する場合に適用できる。上述のように、２チャンネルに空間情報ビットストリームを分けて埋め込む場合に、Ｋ値を各チャンネルに異ならせて割り当てることが可能であるが、この場合、ビットストリーム内に各チャンネル別にＫ値を個別に転送することが可能である。また、前記Ｋ値を複数にして転送する場合、前記Ｋ値を符号化する時にディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）符号化方法を利用すれば良い。
【００５２】
図２２は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第５の方法を示す。図２２では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第５の方法は、前記空間情報を２チャンネルに分けて埋め込むものの、これら２チャンネルに同じ値を繰り返し挿入する方式で行われる。このとき、前記少なくとも２チャンネルに同じ符号の値を挿入するか、または、符号を反対にして挿入する。例えば、２チャンネルに１の値を挿入するか、または、１と−１の値を交互に挿入することができる。この第５の方法は、少なくとも１チャンネルの最下位挿入ビット（例えば、Ｋビット）を比較することによって、転送誤りを容易に確認できる長所を持つ。特に、モノオーディオ信号をＣＤのようなステレオ媒体に転送する場合、ダウンミックス信号のＬ（ｌｅｆｔ）チャンネルとＲ（ｒｉｇｈｔ）チャンネルが同一なため、挿入される空間情報も同一にすることによってロバスト性(ｒｏｂｕｓｔ)の向上などを図ることができる。ここでも同様に、前記空間情報は各チャンネルにＬＳＢからビットプレーン順に埋め込まれても良く、サンプル順に埋め込まれても良い。
【００５３】
図２３は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第６の方法を示す。第６の方法は、各チャンネルのフレームが複数のブロック（長さＢ）で構成された場合に、前記空間情報を少なくとも１チャンネルを持つダウンミックス信号に挿入する方法に関する。図示のように、前記挿入ビット長（すなわち、Ｋ値）は、各チャンネル毎及びブロック毎にそれぞれ異なる値を持つか、または、同じ値を持つことができる。これらの挿入ビット長（例えば、Ｋ1，Ｋ2，Ｋ3及びＫ4）は、フレーム全体に対して１回転送されるフレームヘッダ内に保存されることができ、該フレームヘッダはＬＳＢに位置することができる。この場合に、前記ヘッダはビットプレーン単位に挿入することができ、空間情報データはサンプル単位に交互に挿入されるか、または、ブロック単位に交互に挿入することができる。図２３は、フレーム内ブロック数が２である場合を示しており、したがって、前記ブロックの大きさ（Ｂ）は、Ｎ／２となる。この場合、前記フレームに挿入されたビット数は、（Ｋ1＋Ｋ2＋Ｋ3＋Ｋ4）＊Ｂとなる。
【００５４】
図２４は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第７の方法を示す。図２４では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第７の方法は、前記空間情報を少なくとも２チャンネルに分けて埋め込むものの、それをＬＳＢ（または、ＭＳＢ）からビットプレーン順に２チャンネルに交互に挿入する方法と、サンプル単位に交互に挿入する方法とを混合したものである。この方法は、フレーム単位に行われる、または、図示のようにブロック単位に行われることができる。図２４に図示のように、１〜Ｃ（ハッチング部分）はヘッダに対応する部分で、挿入フレームシンクワードの探索を容易にするためにＬＳＢ（または、ＭＳＢ）にビットプレーン順に挿入することができる。Ｃ＋１以上（非ハッチング部分）はヘッダ以外の部分で、空間情報データの読み出しを容易にするためにサンプル単位に２チャンネルに交互に挿入することができる。挿入ビット長（例えば、Ｋ値）は、各チャンネル及びブロック毎に異なる値を持つか、または、同じ値を持つことができる。前記挿入ビット長はいずれも、ヘッダ内に含まれることができる。
【００５５】
図２５は、本発明による少なくとも１チャンネルを持つダウンミックス信号に埋め込まれる空間情報をエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（２５０１）からオーディオ信号を少なくとも１チャンネルにダウンミックス（２５０２）する。また、前記マルチチャネルオーディオ信号（２５０１）から空間情報を抽出（２５０３）し、該空間情報を用いて空間情報ビットストリームを生成（２５０４）する。前記少なくとも１チャンネルを持つダウンミックス信号に前記空間情報ビットストリームを埋め込む（２５０５）。このとき、空間情報ビットストリームを少なくとも１チャンネルに埋め込む上記の７つの方法のうち、一つ以上の方法が用いられることができる。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（２５０６）する。ここで、本発明は、前記ダウンミックス信号を用いてＫ値を求め、該Ｋビットに前記空間情報ビットストリームを埋め込むことができる。
【００５６】
図２６は、本発明による少なくとも１チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、空間デコーダは、空間情報ビットストリームの埋め込まれたダウンミックス信号を含むビットストリームを受信（２６０１）し、該ビットストリームからダウンミックス信号を検出（２６０２）する。また、前記受信されたビットストリームから、少なくとも１チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームを抽出し且つデコーディング（２６０３）する。続いて、前記デコーディングから得られた空間情報を用いて、前記ダウンミックス信号をマルチチャネル信号に変換（２６０４）する。ここで、本発明は、前記空間情報ビットストリームが埋め込まれた順序に対する識別情報を抽出し、該識別情報を用いて前記空間情報ビットストリームを抽出及びデコーディングすることができる。なお、本発明は、前記ビットストリームからＫ値に対する情報を読み出し、該Ｋ値を用いて前記空間情報ビットストリームをデコーディングすることができる。
【００５７】
以上では具体的な実施例に挙げて本発明を説明してきたが、これらの実施例は、本発明を理解するための説明のために提示されたもので、本発明の範囲を制限するためのものではない。本発明の技術的思想の範囲内で本発明の様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者にとっては明らかであり、したがって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。
【図面の簡単な説明】
【００５８】
【図１】本発明によるオーディオ信号に対する空間情報を人間が認識する方法を示す図である。
【図２】本発明による空間エンコーダを示すブロック図である。
【図３】本発明による図２の空間エンコーダを構成する埋め込み部を示す詳細ブロック図である。
【図４】本発明による空間情報ビットストリームを再整列する第１の方法を示す図である。
【図５】本発明による空間情報ビットストリームを再整列する第２の方法を示す図である。
【図６Ａ】本発明による空間情報ビットストリームを再構成した形態を示す図である。
【図６Ｂ】図６Ａの空間情報ビットストリームの構成形態を示す詳細図である。
【図７】本発明による空間デコーダを示すブロック図である。
【図８】本発明による空間デコーダに含まれる埋め込み信号デコーダを示す詳細ブロック図である。
【図９】本発明によるオーディオ信号を一般的なＰＣＭデコーダで再生する様子を示す図である。
【図１０】本発明によるダウンミックス信号に空間情報を埋め込むエンコーディング方法を示すフローチャートである。
【図１１】本発明によるダウンミックス信号に埋め込まれた空間情報をデコーディングする方法を示すフローチャートである。
【図１２】本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム大きさを示す図である。
【図１３】本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームを示す図である。
【図１４Ａ】一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅ  ａｌｉｇｎ）問題を解決するための第１の方法を示す図である。
【図１４Ｂ】一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列問題を解決するための第２の方法を示す図である。
【図１５】本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ（ａｔｔａｃｈ）されるように生成される方法を示す図である。
【図１６】本発明によるダウンミックス信号に様々な大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。
【図１７】本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。
【図１８】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第１の方法を示す図である。
【図１９】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第２の方法を示す図である。
【図２０】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第３の方法を示す図である。
【図２１】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第４の方法を示す図である。
【図２２】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第５の方法を示す図である。
【図２３】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第６の方法を示す図である。
【図２４】本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第７の方法を示す図である。
【図２５】本発明による２チャンネルのダウンミックス信号に埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。
【図２６】本発明による２チャンネルのダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。
【図１】
0005452915.tif 000002
【図２】
0005452915.tif 000003
【図３】
0005452915.tif 000004
【図４】
0005452915.tif 000005
【図５】
0005452915.tif 000006
【図６Ａ】
0005452915.tif 000007
【図６Ｂ】
0005452915.tif 000008
【図７】
0005452915.tif 000009
【図８】
0005452915.tif 000010
【図９】
0005452915.tif 000011
【図１０】
0005452915.tif 000012
【図１１】
0005452915.tif 000013
【図１２】
0005452915.tif 000014
【図１３】
0005452915.tif 000015
【図１４Ａ】
0005452915.tif 000016
【図１４Ｂ】
0005452915.tif 000017
【図１５】
0005452915.tif 000018
【図１６】
0005452915.tif 000019
【図１７】
0005452915.tif 000020
【図１８】
0005452915.tif 000021
【図１９】
0005452915.tif 000022
【図２０】
0005452915.tif 000023
【図２１】
0005452915.tif 000024
【図２２】
0005452915.tif 000025
【図２３】
0005452915.tif 000026
【図２４】
0005452915.tif 000027
【図２５】
0005452915.tif 000028
【図２６】
0005452915.tif 000029