(57)【特許請求の範囲】
【請求項１】
一つ以上のダウンミックスオーディオチャンネルを表しているダウンミックスオーディオチャンネル（１１０；２１０）を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号（１２０；２１４）にアップミックスするための装置（１００；２００）であって、前記装置は、
前記アップミックスされたオーディオ信号（１２０；２１４）を得るために、前記ダウンミックスオーディオ信号（１１０；２１０）をアップミックスするために時間的に可変のアップミックスパラメータ（１５０；２６２；Ｈij）を適用するように構成されたアップミキサー（１３０；２３０）、および、
パラメータ補間器（１４０；２６０）であって、前記パラメータ補間器は、第１の複素数値のアップミックスパラメータ（１４２）および次の第２の複素数値のアップミックスパラメータ（１４４）を表している情報に基づいて、前記アップミキサー（１３０；２３０）により用いられる一つ以上の時間的に補間されたアップミックスパラメータ（１５０；２６２）を得るように構成されることを特徴とする、前記パラメータ補間器、を含み、
前記パラメータ補間器（１４０；２６０）は、前記一つ以上の時間的に補間された複素数値のアップミックスパラメータ（１５０；２６２）を得るために、
（ａ）前記第１の複素数値のアップミックスパラメータ（１４２）の強度値（２５４）と前記第２の複素数値のアップミックスパラメータ（１４４）の強度値（２５４）との間、および、
（ｂ）前記第１の複素数値のアップミックスパラメータ（１４２）の位相値（２５６）と前記第２の複素数値のアップミックスパラメータ（１４４）の位相値（２５６）との間、
を別々に補間するように構成されること、を特徴とする、装置。
【請求項２】
前記パラメータ補間器（１４０；２６０）は、前記一つ以上の時間的に補間されたアップミックスパラメータ（１５０；２６２）の強度値（２７４）を得るために、前記第１の複素数値のアップミックスパラメータ（１４２）の前記強度値（２５４）と前記第２の複素数値のアップミックスパラメータ（１４４）の前記強度値（２５４）との間を単調に時間補間するように、
前記一つ以上の時間的に補間されたアップミックスパラメータの位相値（２７６）を得るために、前記第１の複素数値のアップミックスパラメータ（１４２）の前記位相値（２５６）と前記第２の複素数値のアップミックスパラメータ（１４４）の前記位相値（２５６）との間を線形に時間補間するように、および、
前記一つ以上の複素数値の時間的に補間されたアップミックスパラメータ（１５０；２６２）を得るために、前記一つ以上の補間された強度値（２７４）を、一つ以上の対応する補間された位相値（２７６）と結合するように、構成されること、を特徴とする、請求項１に記載の装置（１００；２００）。
【請求項３】
前記パラメータ補間器（１４０；２６０）は、前記一つ以上の時間的に補間された複素数値のアップミックスパラメータ（１５０；２６２）の補間された強度値を得るために、前記第１の複素数値のアップミックスパラメータ（１４２）の前記強度値（２５４）と前記第２の複素数値のアップミックスパラメータ（１４４）の前記強度値（２５４）との間で線形に補間するように構成されること、を特徴とする、請求項１又は請求項２に記載の装置（１００；２００）。
【請求項４】
前記アップミキサー（１３０；２３０）は、前記アップミックスされたオーディオ信号（１２０；２１４）を得るために、前記複素数値の時間的に補間されたアップミックスパラメータ（１５０；２６２）に応じて、複数のアップミキサーオーディオ入力信号（ｘ（ｋ）、ｑ（ｋ））の複素数値のサブバンドパラメータの線形スケールされた重ね合わせを実行するように構成されること、
前記アップミキサー（１３０；２３０）は、前記アップミキサーオーディオ入力信号（ｘ（ｋ）、ｑ（ｋ））の次のオーディオサンプルを示している複素数値のサブバンドパラメータのシーケンスを処理するように構成されること、および、
前記パラメータ補間器（１４０；２６０）は、前記オーディオサンプルの１つの継続時間以上に時間的に間隔を置かれる、次の複素数値のアップミックスパラメータの表現（１４２、１４４；２５４、２５６）を受けるように、そして、
前記補間されたアップミックスパラメータ（１５０；２６２）をより頻繁に更新するように、構成されること、を特徴とする、請求項１〜請求項３のうちの１つに記載の装置（１００；２００）。
【請求項５】
前記アップミキサー（１３０；２３０）は、アップミキサー更新レートで、更新されたアップミキサーオーディオ入力信号（ｘ（ｋ）、ｑ（ｋ））を受けるように構成されること、そして、
前記パラメータ補間器（１４０；２６０）は、前記アップミキサー更新レートで、前記補間されたアップミックスパラメータ（１５０；２６２）を更新するように構成されること、を特徴とする、請求項４に記載の装置（１００；２００）。
【請求項６】
0005174973.tif 000010
【請求項７】
前記アップミキサー（１３０；２３０）は、実部―虚部数表現を使用して、前記マトリクス―ベクトル乗算を実行するように構成されること、を特徴とする、請求項６に記載の装置（１００；２００）。
【請求項８】
前記装置は、前記アップミックスパラメータを表している空間キュー（ＩＬＤ、ＩＣＣ、ＩＴＤ、ＩＰＤ）を受けるように構成されること、を特徴とする、請求項１〜請求項７のうちの１つに記載の装置（１００；２００）。
【請求項９】
前記パラメータ補間器（１４０；２６０）は、チャンネル間レベル差パラメータに応じて、あるいは、チャンネル間相関またはコヒーレンスパラメータに応じて、あるいは、チャンネル間レベル差パラメータおよびチャンネル間相関またはコヒーレンスパラメータに応じて、前記補間されたアップミックスパラメータ（１５０；２６２）の前記強度値（２７４）を決定するように、そして、
チャンネル間位相差パラメータまたはチャンネル間時間差パラメータに応じて、前記補間されたアップミックスパラメータ（１５０；２６２）の位相値（２７６）を得るように構成されること、を特徴とする、請求項８に記載の装置（１００；２００）。
【請求項１０】
前記アップミキサー（１３０；２３０）は、一つ以上のダウンミックスオーディオ信号（ｘ（ｋ））を、前記一つ以上のダウンミックスオーディオ信号の一つ以上の非相関なバージョン（ｑ（ｋ））と結合するために、前記時間的に可変のアップミキシングパラメータ（１５０；２６２）を適用するように構成されること、を特徴とする、請求項１〜請求項９のうちの１つに記載の装置（１００；２００）。
【請求項１１】
前記パラメータ補間器（１４０；２６０）は、前記第１の複素数値のアップミックスパラメータ（１４２）の位相値と前記第２の複素数値のアップミックスパラメータ（１４４）の位相値との間の前記補間において通過された角度範囲が１８０°より小さい、または、等しいように、次の複素数値のアップミックスパラメータの前記位相値（２５６）間の前記補間の方向を決定するように構成されること、を特徴とする、請求項１〜請求項１０のうちの１つに記載の装置（１００；２００）。
【請求項１２】
0005174973.tif 000011
【請求項１３】
前記パラメータ補間器（１４０；２６０）は、複素数値の回転を前記補間された強度値（２７４）に適用することによって、前記別々に補間された強度値（２７４）および位相値（２７６）を結合するように構成されることを特徴とし、前記複素数値の回転の角度は、前記補間された位相値（２７６）によって決定されることを特徴とする、請求項１〜請求項１２のうちの１つに記載の装置（１００；２００）。
【請求項１４】
一つ以上のダウンミックスオーディオチャンネルを表しているダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法（７００）であって、前記方法は、
第１の複素数値のアップミックスパラメータおよび次の第２の複素数値のアップミックスパラメータに基づいて、一つ以上の時間的に補間された複素数値のアップミックスパラメータを得るステップ（７１０）であって、
前記補間は、
（ａ）前記第１の複素数値のアップミックスパラメータの強度値と前記第２の複素数値のアップミックスパラメータの強度値との間、と、
（ｂ）前記第１の複素数値のアップミックスパラメータの位相値と前記第２の複素数値のアップミックスパラメータの位相値との間で、別々に実行されること、を特徴とするステップ、および、
前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号をアップミックスするために前記補間された複素数値のアップミックスパラメータを適用するステップ（７２０）、を含むこと、を特徴とする方法。
【請求項１５】
コンピュータ・プログラムが、コンピュータ上で動作するときに、請求項１４に記載の前記方法を実行するための前記コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、ダウンミックスオーディオ信号をアップミックスするための装置、方法およびコンピュータ・プログラムに関する。
【０００２】
本発明によるいくつかの実施形態は、パラメトリックマルチチャンネルオーディオ符号化のための強度を保持しているアップミックスパラメータ補間に関する。
【背景技術】
【０００３】
以下に、本発明の背景について説明する。パラメトリックオーディオ符号化の領域における最近の開発は、補助情報ストリームを加えた１つ（又はそれ以上）のダウンミックスチャンネルにマルチチャンネルオーディオ信号（例えば５．１）を一緒に符号化するための技術を供給する。これらの技術は、バイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ）、パラメトリックステレオ（Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ）およびＭＰＥＧサラウンド（ＭＰＥＧ  Ｓｕｒｒｏｕｎｄ）などとして知られる。
【０００４】
多くの刊行物は、いわゆる「バイノーラルキュー符号化」というパラメトリックマルチチャンネル符号化アプローチを説明しており、例えば参照［１］［２］［３］［４］［５］を参照されたい。
【０００５】
「パラメトリックステレオ」は、パラメータ補助情報を加えた送信されたモノフォニック信号に基づいた２チャンネルステレオ信号のパラメトリック符号化のための関連した技術である［６］［７］。
【０００６】
「ＭＰＥＧサラウンド」は、パラメトリックマルチチャンネル符号化のためのＩＳＯ基準である［８］。
【０００７】
上述した技術は、関連したモノラルまたはステレオダウンミックス信号と共に、簡潔な形で人間の空間ヒアリングのための関連した知覚キューをレシーバに送信することに基づく。典型的なキューは、チャンネル間時間差（ＩＴＤ）およびチャンネル間位相差（ＩＰＤ）の他に、チャンネル間レベル差（ＩＬＤ）、チャンネル間相関またはコヒーレンス（ＩＣＣ）でありうる。
【０００８】
これらのパラメータは、場合によっては、人の聴覚分解能に適用された、周波数および時間分解能において送信される。時間における更新間隔は、符号器により決定され、信号特性に依存する。このことは、ダウンミックス信号のサンプルごとにパラメータが送られるわけではないことを意味する。換言すれば、場合によっては、上述したキューを表しているパラメータの伝送レート（または伝送周波数、または更新レート）は、オーディオサンプル（またはオーディオサンプルのグループ）の伝送レート（または伝送周波数、または更新レート）より小さいこともある。
【０００９】
復号器が、場合によっては、ギャップのない方法で連続的に時間とともにパラメータを、例えば各サンプル（またはオーディオサンプル）に適用することができなければならないので、一般的に過去および現在のパラメータセット間の補間によって、中間のパラメータが復号器側で導き出されることを必要としうる。
【００１０】
しかし、いくつかの従来の補間アプローチは、結果として劣ったオーディオ品質になる。
【００１１】
以下に、一般的なバイノーラルキュー符号化スキームは、図７を参照して説明される。図７は、バイノーラルキュー符号化符号器８１０およびバイノーラルキュー符号化復号器８２０を含むバイノーラルキュー符号化送信システム８００のブロック略図を示す。バイノーラルキュー符号化符号器８１０は、例えば、複数のオーディオ信号８１２ａ、８１２ｂおよび８１２ｃを受けうる。更に、バイノーラルキュー符号化符号器８１０は、例えば和信号であり、「ＡＳ」又は「Ｘ」で表されうるダウンミックス信号８１６を得るために、ダウンミキサー８１４を使用してオーディオ入力信号８１２ａ〜８１２ｃをダウンミックスするように構成される。更に、バイノーラルキュー符号化符号器８１０は、補助情報信号８１９（「ＳＩ」）を得るために、解析器８１８を使用してオーディオ入力信号８１２ａ〜８１２ｃを解析するように構成される。和信号８１６および補助情報信号８１９は、バイノーラルキュー符号化符号器８１０からバイノーラルキュー符号化復号器８２０へ送られる。バイノーラルキュー符号化復号器８２０は、例えば、和信号８１６およびチャンネル間キュー８２４に基づいたオーディオチャンネルｙ１、ｙ２、…、ｙＮを含んでいるマルチチャンネルオーディオ出力信号を合成するように構成されうる。この目的のために、バイノーラルキュー符号化復号器８２０は、和信号８１６およびチャンネル間キュー８２４を受け、オーディオ信号ｙ１、ｙ２、…、ｙＮを供給するバイノーラルキュー符号化合成器８２２を含みうる。
【００１２】
バイノーラルキュー符号化復号器８２０は、補助情報８１９および、任意選択で、ユーザー入力８２７を受けるように構成される補助情報処理装置８２６を更に含む。補助情報処理装置８２６は、補助情報８１９および任意選択のユーザー入力８２７に基づいて、チャンネル間キュー８２４を供給するように構成される。
【００１３】
要約すると、オーディオ入力信号は、解析されて、ダウンミックスされる。補助情報を加えた和信号は、復号器に送信される。チャンネル間キューは、補助情報およびローカル・ユーザー入力から生成される。バイノーラルキュー符号化合成は、マルチチャンネルオーディオ出力信号を生成する。
【００１４】
詳細のために、Ｃ．ファーラー、Ｆ．バウムガルテ著の論文「バイノーラルキュー符号化  −パート２：方式及び応用例」（音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月に掲載）を参照することができる。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月（Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｕｓｉｎｇ  ｐｅｒｃｅｐｔｕａｌ  ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ”，ＩＥＥＥ  ＷＡＳＰＡＡ，Ｍｏｈｏｎｋ，ＮＹ，Ｏｃｔｏｂｅｒ  ２００１）
【非特許文献２】Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ，“Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ”，ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ  ２００２）
【非特許文献３】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｖｅｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ，”ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ  ２００２）
【非特許文献４】Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月（Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  ｆｌｅｘｉｂｌｅ  ｒｅｎｄｅｒｉｎｇ”，ＡＥＳ  １１３ｔｈ  Ｃｏｎｖｅｎｔｉｏｎ，Ｌｏｓ  Ａｎｇｅｌｅｓ，Ｐｒｅｐｒｉｎｔ  ５６８６，Ｏｃｔｏｂｅｒ  ２００２）
【非特許文献５】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化  −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、  １１巻、Ｎｏ．６、２００３年１１月（Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  −  Ｐａｒｔ  ＩＩ：  Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ  Ｔｒａｎｓ，ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．  ２００３）
【非特許文献６】Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月（Ｊ．Ｂｒｅｅｂａａｒｔ，  Ｓ．ｖａｎ  ｄｅ  Ｐａｒ，  Ａ．Ｋｏｈｌｒａｕｓｃｈ，  Ｅ．Ｓｃｈｕｉｊｅｒｓ，“Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｔ  Ｌｏｗ  Ｂｉｔｒａｔｅｓ”，  ＡＥＳ  １１６ｔｈ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂｅｒｌｉｎ，  Ｐｒｅｐｒｉｎｔ  ６０７２，  Ｍａｙ  ２００４）
【非特許文献７】Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月（Ｅ．Ｓｃｈｕｉｊｅｒｓ，  Ｊ．Ｂｒｅｅｂａａｒｔ，  Ｈ．Ｐｕｒｎｈａｇｅｎ，  Ｊ．Ｅｎｇｄｅｇａｒｄ，“Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ”，  ＡＥＳ  １１６ｔｈ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂｅｒｌｉｎ，  Ｐｒｅｐｒｉｎｔ  ６０７３，  Ｍａｙ  ２００４）
【非特許文献８】ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１、２３００３―１、ＭＰＥＧサラウンド（ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１，  ２３００３−１，  ＭＰＥＧ  Ｓｕｒｒｏｕｎｄ）
【非特許文献９】Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ  ＭＩＴ  Ｐｒｅｓｓ、１９９７（Ｊ．  Ｂｌａｕｅｒｔ，  Ｓｐａｔｉａｌ  Ｈｅａｒｉｎｇ：Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ，  Ｔｈｅ  ＭＩＴ  Ｐｒｅｓｓ，  Ｃａｍｂｒｉｄｇｅ，  ＭＡ，  ｒｅｖｉｓｅｄ  ｅｄｉｔｉｏｎ  １９９７）
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかし、補助情報がダウンミックス信号より低い更新周波数で受け取られる場合、多くの従来のバイノーラルキュー符号化復号器は、マルチチャンネル出力オーディオ信号を劣化した品質で供給することが分かっている。
【００１７】
この課題からみて、補助情報の更新周波数がダウンミックスオーディオ信号の更新周波数より小さい場合には、ヒアリング印象の劣化を低減する、アップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスする改良型の構想の必要がある。
【課題を解決するための手段】
【００１８】
本発明による実施形態は、一つ以上のダウンミックスオーディオチャンネルを表しているダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオチャンネルにアップミックスするための装置を創作する。本装置は、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするために時間的に可変のアップミキシングパラメータを適用するように構成されたアップミキサーを含む。本装置は、パラメータ補間器を更に含み、そのパラメータ補間器は、第１の複素数値のアップミックスパラメータおよび次の第２の複素数値のアップミックスパラメータに基づいてアップミキサーにより用いられる、一つ以上の時間的に補間されたアップミックスパラメータを得るように構成される。そのパラメータ補間器は、一つ以上の時間的に補間されたアップミックスパラメータを得るために、第１の複素数値のアップミックスパラメータの強度値と第２の複素数値のアップミックスパラメータの強度値との間、および、第１の複素数値のアップミックスパラメータの位相値と第２の複素数値のアップミックスパラメータの位相値との間で、別々に補間するように構成される。
【００１９】
本発明による実施形態は、補間されたアップミックスパラメータの強度の変化が非常に小さいまま保たれるので、アップミックスパラメータの強度値およびアップミックスパラメータの位相値の別々の時間的な補間が、アップミックスされたオーディオ信号の良いヒアリング印象をもたらすという発見に基づく。アップミックスパラメータの振幅の不必要に大きい変化が、結果としてアップミックスされたオーディオ信号の可聴であり憂慮すべき変調になりうることが分かっている。対照的に、複素数値のアップミックスパラメータの振幅をその位相値とは別々に補間することによって、その補間によって生じる振幅変化は、第１の（または最初の）アップミックスパラメータの複素数値と第２の（または次の）アップミックスパラメータの複素数値との間の大きい位相差がある場合でさえも、小さく保たれる（または最小化されさえする）。したがって、いくつかの他のタイプの補間と比較するとき、アップミックスされた出力オーディオ信号の可聴で憂慮すべき変調は低減される（または完全に排除されさえする）。
【００２０】
このように、補助情報がダウンミックスオーディオ信号のサンプルよりも頻繁にはバイノーラルキュー符号化符号器からバイノーラルキュー符号化復号器へ転送されない場合であっても、アップミックスされた出力オーディオ信号の良いヒアリング印象を得ることができる。
【００２１】
本発明による実施形態において、パラメータ補間器は、一つ以上の時間的に補間されたアップミックスパラメータの強度値を得るために、第１の複素数値のアップミックスパラメータの強度値と第２の（次の）複素数値のアップミックスパラメータの強度値との間で単調に時間補間されるように構成される。さらにまた、パラメータ補間器は、好ましくは、一つ以上の時間的に補間されたアップミックスパラメータの位相値を得るために、第１の複素数値のアップミックスパラメータの位相値と第２の複素数値のアップミックスパラメータの位相値との間で線形に時間補間するように構成されうる。更に、パラメータ補間器は、一つ以上の複素数値の補間されたアップミックスパラメータを得るために、補間されたアップミックスパラメータの一つ以上の強度値を、補間されたアップミックスパラメータの対応する位相値と結合するように構成されうる。
【００２２】
本発明による実施形態において、パラメータ補間器は、一つ以上の時間的に補間されたアップミックスパラメータの強度値を得るために、第１の複素数値のアップミックスパラメータの強度値と第２の次の複素数値のアップミックスパラメータの強度値との間で線形に時間補間するように構成される。
【００２３】
次の複素数値のアップミックスパラメータの強度値間で単調又は線形な時間補間を実行することによって、（他の補間方式によって生じるであろう）アップミックスされたオーディオ信号の憂慮すべき振幅変調を回避できる。この問題に関して、ヒトの聴覚系が特にオーディオ信号の振幅変調に感度が高いことが分かっている。聴覚印象（またはヒアリング印象）がこの種の寄生的な振幅変調によって著しく劣化することも分かった。したがって、アップミックスパラメータの補間がある場合、結果としてオーディオ信号振幅の滑らかで非変調な時間発展となる、アップミックスパラメータの滑らかで非変調な変化を得ることは、アップミックス信号のヒアリング印象の改良への重要な貢献である。
【００２４】
本発明の実施形態において、アップミキサーは、アップミックスされたオーディオ信号を得るために、複素数値の補間されたアップミキシングパラメータに応じて、複数のアップミキサーオーディオ入力信号の複素数値のサブバンドパラメータの線形スケールされた重ね合わせを実行するように構成される。この場合、アップミキサーは、アップミキサーオーディオ入力信号の次のオーディオサンプルを示しているサブバンドパラメータのシーケンスを処理するように構成されうる。パラメータ補間器は、サブバンドオーディオサンプルのうちの１つの継続時間以上に時間的に間隔を置かれる次の複素数値のアップミックスパラメータを受けるように、そして、頻繁に（例えばサブバンドオーディオサンプルごとに一回）補間されたアップミキシングパラメータを更新するように構成されうる。
【００２５】
このように、アップミキサーは、アップミキサー更新レートで、アップミキサーオーディオ入力信号の更新されたサンプルを受けるように構成されうる。そして、パラメータ補間器は、アップミキサー更新レートで、補間されたアップミックスパラメータを更新するように構成されうる。このようにして、アップミックスパラメータの更新レートは、アップミキサーオーディオ入力信号の更新レートであるように適用されうる。したがって、（例えばアップミキサー更新レートより小さい更新レートで）その装置によって受け取られたアップミックスパラメータの２つの次の組の間の特に滑らかな移行が得られうる。
【００２６】
本発明の好ましい実施形態において、アップミキサーは、結果としてアップミックスされたオーディオ信号の複素数値のサブバンドサンプルを含んでいるベクトルを得るために、補間されたアップミックスパラメータを含んでいるマトリクス、および、アップミキサーオーディオ入力信号の一つ以上のサブバンドパラメータを含んでいるベクトルを使用したマトリクス―ベクトル乗算を実行するように構成されうる。マトリクス―ベクトル乗算を使用することにより、特に効率的な回路実装を得ることができる。マトリクス―ベクトル乗算は、効率的に実装された形で、オーディオ入力信号のアップミックスパラメータ依存した線形な重ね合わせを定義する。マトリクスのエントリが実部と虚部に分離して示される場合、信号処理装置において（または他の適当なハードウェアまたはソフトウェア装置において）、マトリクス―ベクトル乗算を効率的に実現できる。実部／虚部の分解は複素数の乗算、そして、特に、乗算の結果の加算に非常に適しているとき、実部と虚部に分解された複素数値の処理は、比較的少ない労力で実行できる。このように、他の数表現が、乗算に関して、または、（演算の両方がマトリクス―ベクトル乗算において必要とされる）加算に関して、厳しい問題をもたらす一方で、実部／虚部数表現の使用は効率的な解決案を提供する。
【００２７】
本発明の実施形態において、本装置は、アップミックスパラメータを表している空間キューを受けるように構成される。この場合、パラメータ補間器は、チャンネル間レベル差パラメータに応じて、または、チャンネル間相関（またはコヒーレンス）パラメータに応じて、または、チャンネル間レベル差パラメータおよびチャンネル間相関（またはコヒーレンス）パラメータに応じて、アップミックスパラメータの強度値を決定するように構成されうる。更に、パラメータ補間器は、チャンネル間位相差パラメータに応じて、アップミックスパラメータの位相値を決定するように構成されうる。したがって、場合によっては、非常に効率的な方法で、別々にアップミックスパラメータの強度値および位相値を得ることが可能なことが分かる。このように、上述のパラメータ（ＩＬＤ、ＩＣＣ、ＩＰＤおよび／またはＩＴＤ）または相当するパラメータがパラメータ補間器に入力量として使用される場合、別々の補間に必要とされた入力情報は、強度値／位相値分離装置なしでさえ効率的に得ることができる。
【００２８】
本発明の実施形態において、第１の複素数値のアップミックスパラメータの位相値と（次の）第２の複素数値のアップミックスパラメータの位相値との間の補間において通過する角度範囲が１８０°より小さい、又は、等しいように、パラメータ補間器は、次の複素数値のアップミックスパラメータの位相値間の補間の方向を決定するように構成される。換言すれば、いくつかの実施形態において、補間によって生じる位相変化が十分に小さく保たれる（または最小化されさえする）ことが保証される。ヒトの聴覚性知覚が特に位相変化に感度が高くない場合であっても、位相変化を制限することは有利でありうる。例えば、アップミックスパラメータの速い位相変化は、周波数変位または周波数変調などの予測困難なディストーションを結果として生じうる。アップミックスパラメータの位相値を補間する方法を慎重に決定することによって、この種のディストーションを制限または排除できる。
【００２９】
本発明による他の実施形態は、ダウンミックスオーディオ信号をアップミックスするための方法を創作する。
【００３０】
本発明によるさらにもう一つの実施形態は、ダウンミックスオーディオ信号をアップミックスするためのコンピュータ・プログラムを創作する。
【００３１】
本発明による実施形態は、同封の図を参照して後述される。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の一実施形態による、ダウンミックスオーディオ信号をアップミックスするための装置のブロック略図を示す。
【図２ａ】図２ａは、本発明の他の実施形態による、ダウンミックスオーディオ信号をアップミックスするための装置のブロック略図を示す。
【図２ｂ】図２ｂは、本発明の他の実施形態による、ダウンミックスオーディオ信号をアップミックスするための装置のブロック略図を示す。
【図３】図３は、ダウンミックスオーディオ信号および復号器入力補助情報のサンプル間のタイミング関係の略図を示す。
【図４】図４は、復号器入力補助情報およびそれに基づいた時間的に補間されたアップミックスパラメータとの間のタイミング関係の略図を示す。
【図５】図５は、補間パスの図的表現を示す。
【図６】図６は、本発明の一実施形態による、ダウンミックスオーディオ信号をアップミックスするための方法のフローチャートを示す。
【図７】図７は、一般的なバイノーラルキュー符号化スキームを示しているブロック略図を示す。
【発明を実施するための形態】
【００３３】
「図１による実施形態」
図１は、本発明の一実施形態による、ダウンミックスオーディオ信号をアップミックスするための装置１００のブロック略図を示す。装置１００は、一つ以上のダウンミックスオーディオチャンネルを表しているダウンミックスオーディオ信号１１０を受けて、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号１２０を供給するように構成される。装置１００は、アップミックスされたオーディオ信号１２０を得るために、ダウンミックスオーディオ信号１１０をアップミックスするために、時間的に可変のアップミキシングパラメータを適用するように構成されたアップミキサー１３０を含む。装置１００はまた、複素数値のアップミックスパラメータ、例えば第１の複素数値のアップミックスパラメータ１４２および次の第２の複素数値のアップミックスパラメータ１４４のシーケンスを受けるように構成されたパラメータ補間器１４０を含む。パラメータ補間器１４０は、第１の（または最初の）複素数値のアップミックスパラメータ１４２および第２の、次の複素数値のアップミックスパラメータ１４４に基づいてアップミキサー１３０により用いられる一つ以上の時間的に補間されたアップミックスパラメータ１５０を得るように構成される。パラメータ補間器１４０は、第１の複素数値のアップミックスパラメータ１４２の強度値と第２の複素数値のアップミックスパラメータ１４４の強度値（強度値補間は、参照番号１６０で示される）との間、および、第１の複素数値のアップミックスパラメータ１４２の位相値と第２の複素数値のアップミックスパラメータ１４４の位相値（位相値補間は、参照番号１６２で示される）との間で別々に補間するように構成される。パラメータ補間器１４０は、（参照番号１６０で示される）補間された強度値（振幅値又はゲイン値としても表される）に基づいて、そして、（参照番号１６４で示される）補間された位相値（角度値としても表される）に基づいて、一つ以上の時間的に補間されたアップミックスパラメータ１５０を得るように構成される。
【００３４】
以下に、装置１００の機能に関するいくつかの詳細について説明する。例えば（ここで示されない符号器で決定される更新レートで、オーバーラップしている又はオーバーラップしていない周波数バンドまたは周波数サブバンドを表している）時間周波数領域においてダウンミックスオーディオ信号を示している複素数値の組のシーケンスの形で、ダウンミックスオーディオ信号１１０は、アップミキサー１３０に入力されうる。アップミキサー１３０は、時間的に補間されたアップミックスパラメータ１５０に応じてダウンミックスオーディオ信号１１０の複数のチャンネルを線形に結合するように、またはダウンミックスオーディオ信号１１０のチャンネルを補助信号（例えば非相関信号）と線形に結合するように構成される。（ここで、補助信号は、ダウンミックスオーディオ信号１１０の同じオーディオチャンネルから、ダウンミックスオーディオ信号１１０の一つ以上の他のオーディオチャンネルから、または、ダウンミックスオーディオ信号１１０のオーディオチャンネルの組み合わせから導き出されうる。）このように、時間的に補間されたアップミックスパラメータ１５０は、ダウンミックスオーディオ信号１１０に基づいて、アップミックスされたオーディオ信号１２０（またはそのチャンネル）の生成において使用された振幅スケーリングおよび位相回転（または時間遅延）を決定するために、アップミキサー１３０により用いられうる。
【００３５】
パラメータ補間器１４０は、一般的に、アップミックスパラメータ１４２、１４４によって表された補助情報の更新レートより高い更新レートで、時間的に補間されたアップミックスパラメータ１５０を供給するように構成される。この目的のために、次の複素数値のアップミックスパラメータは、パラメータ補間器１４０によって得られる（例えば、受けとられる、又は、計算される）。複素数値のアップミックスパラメータ１４２、１４４の強度値および位相値は、強度値補間１６０および位相値補間１６２を使用して別々に（または独立に）処理される。このように、アップミックスパラメータの時間的に補間された強度値およびアップミックスパラメータの時間的に補間された位相値は、別々に利用でき、そして、別々にアップミキサー１４０に供給されうる、または、結合された（別々の補間の後に複素数値の数に結合された）形でアップミキサー１３０に供給されうる。別々の補間は、時間的に補間されたアップミックスパラメータの振幅が、一般的に、更新された補助情報が装置１００によって受けとられる時間内の次の場合の間の滑らかで単調時間的推移を含むという効果をもたらす。他のタイプの補間によって生じる、一つ以上のサブバンドの振幅変調などの、可聴で、憂慮すべきアーチファクトは、回避される。したがって、更新されたオーディオ信号１２０の品質は、従来タイプのアップミックスパラメータ補間を使用して得られるアップミックス信号の品質より優れている。
【００３６】
「図２による実施形態」
オーディオ信号をアップミックスするための装置の構造および動作に関する詳細は、図２ａおよび図２ｂを参照として説明される。図２ａおよび図２ｂは、本発明の他の実施形態による、ダウンミックスオーディオ信号をアップミックスするための装置２００の詳細なブロック略図を示す。装置２００は、ダウンミックスオーディオ信号および補助情報ＳＩに基づいて、マルチチャンネル（例えば５．１）オーディオ信号を生成するための復号器としてみなすことができる。装置２００は、装置１００に関して説明された機能を実行する。装置２００は、例えば、いわゆる「バイノーラルキュー符号化」、いわゆる「パラメトリックステレオ」、または、いわゆる「ＭＰＥＧサラウンド」によって符号化されたマルチチャンネルオーディオ信号を復号する働きをする。当然、装置２００は、同様に、空間キューを使用した他システムにより符号化されたマルチチャンネルオーディオ信号をアップミックスするのに使用されうる。
【００３７】
説明を簡単にするため、２チャンネル信号への単一チャンネルダウンミックスオーディオ信号のアップミックスを実行する装置２００は、説明される。しかし、ここで説明された構想は、ダウンミックスオーディオ信号が一つ以上のチャンネルを含むケースに、更に、アップミックスされたオーディオ信号が２つ以上のチャンネルを含むケースに容易に拡張できる。
【００３８】
「入力信号および入力タイミング」
装置２００は、ダウンミックスオーディオ信号２１０および補助情報２１２を受けるように構成される。更に、装置２００は、例えば、複数のチャンネルを含んでいるアップミックスされたオーディオ信号２１４を供給するように構成される。
【００３９】
ダウンミックスオーディオ信号２１０は、例えば、符号器によって（例えば、図７に示されたＢＣＣ符号器８１０によって）生成された和信号でありうる。例えば複素数値の周波数分解の形で、ダウンミックスオーディオ信号２１０は、例えば、時間―周波数領域において示されうる。例えば、オーディオ信号の複数の周波数サブバンド（オーバーラップしていても、オーバーラップしていなくてもよい）のオーディオ内容は、対応する複素数値によって示されうる。一定の周波数バンドのために、ダウンミックスオーディオ信号は、次の（オーバーラップしている又はオーバーラップしていない）時間間隔を考慮した周波数サブバンドにおけるオーディオ内容を表している複素数値のシーケンスによって示されうる。次の時間間隔のための次の複素数値は、例えばフィルタバンク（例えばＱＭＦ  Ｆｉｌｔｅｒｂａｎｋ）、高速フーリエ変換等を用いて、（マルチチャンネルオーディオ信号復号器の一部でありうる）装置１００において、または、装置１００と結合された付加的なデバイスにおいて、得られうる。しかし、ここで表されたダウンミックスオーディオ信号の表現は、一般的に、マルチチャンネルオーディオ信号符号器からマルチチャンネルオーディオ信号復号器への、または、装置１００へのダウンミックスオーディオ信号の送信のために使用されたダウンミックス信号の表現と同一でない。したがって、ダウンミックスオーディオ信号２１０は、複素数値の組またはベクトルのストリームによって示されうる。
【００４０】
以下では、ダウンミックスオーディオ信号２１０の次の時間間隔が整数値のインデックスｋで示されると仮定する。装置２００がダウンミックスオーディオ信号２１０の間隔ｋごとに、および、チャンネルごとに１組または１ベクトルの複素数値を受けるとも仮定する。このように、１つのサンプル（１組または１ベクトルの複素数値）は、時間インデックスｋによって表されたオーディオサンプル更新間隔ごとに受けられる。
【００４１】
理解を容易にするために、図３は、ダウンミックスオーディオ信号２１０（「ｘ」）および対応する復号器補助情報２１２（「ＳＩ」）のサンプル間のタイミング関係の図的表現を示す。時間とともに装置２００によって受け取られたダウンミックスオーディオ信号２１０のオーディオサンプル（「ＡＳ」）は、参照番号３１０で示される。図的表現３１０から分かるように、上記の通り、単一のオーディオサンプルＡＳは、各オーディオサンプル更新間隔ｋと関連している。
【００４２】
装置２００は、アップミックスパラメータを表している補助情報２１２を更に受ける。例えば、補助情報２１２は、以下のアップミックスパラメータ、チャンネル間レベル差（ＩＬＤ）、チャンネル間相関（またはコヒーレンス）（ＩＣＣ）、チャンネル間時間差（ＩＴＤ）およびチャンネル間位相差（ＩＰＤ）の一つ以上を表しうる。一般的に、補助情報２１２は、ＩＬＤパラメータおよびパラメータＩＣＣ、ＩＴＤ、ＩＰＤのうち少なくとも１つを含む。しかし、帯域幅をセーブするために、ダウンミックスオーディオ信号２１０のオーディオサンプル更新間隔ｋごとに１回、補助情報２１２が一般的に、装置２００に送信されるだけである、又は、受け取られるだけである。（又は補助情報の１組の送信が複数のオーディオサンプル更新間隔ｋに時間的に広げられる）。このように、複数のオーディオサンプル更新間隔ｋに対して一組の補助情報パラメータしか一般的にはない。
【００４３】
このタイミング関係は、図３に示される。参照番号３２０から分かるように、例えば、補助情報は、オーディオサンプル更新間隔ｋ＝４、ｋ＝８およびｋ＝１６で装置２００に送られる（又はそれに受けられる）。対照的に、前記オーディオサンプル更新間隔の間に装置２００に送られる（またはそれに受けられる）補助情報２１２はない。
【００４４】
図３から分かるように、例えば符号器が、必要な場合（例えば補助情報が予定値以上に変動すると復号器が認識する場合）にだけ、補助情報更新を供給することを決めうるように、補助情報２１２の更新間隔は、時間とともに変動しうる。例えば、オーディオサンプル更新間隔ｋ＝４のための装置２００によって受け取られた補助情報は、オーディオサンプル更新間隔ｋ＝３、４、５と関連しうる。同様に、オーディオサンプル更新間隔ｋ＝８のための装置２００によって受け取られた補助情報は、オーディオサンプル更新間隔ｋ＝６、７、８、９、１０などと関連しうる。しかし、異なる関連は、当然可能であり、補助情報に対する更新間隔もまた、図３に示されるよりも当然大きい、又は、小さい。
【００４５】
「出力信号および出力タイミング」
しかし、装置２００は、複素数値の周波数合成においてアップミックスされたオーディオ信号を供給する働きをする。例えば、アップミックスされたオーディオ信号がダウンミックスオーディオ信号２１０として同じオーディオサンプル更新間隔またはオーディオ信号更新レートを含むように、装置２００はアップミックスされたオーディオ信号２１４を供給するように構成されうる。換言すれば、ダウンミックスオーディオ信号２１０のサンプル（またはオーディオサンプル更新間隔ｋ）ごとに、アップミックスされたオーディオ信号２１４のサンプルは、生成される。
【００４６】
「アップミックス」
以下に、復号器入力補助情報が（図３に示すように）より大きい更新間隔においてだけ更新される場合であっても、ダウンミックスオーディオ信号をアップミックスするために使用されるアップミックスパラメータの更新をどのようにオーディオサンプル更新間隔ｋごとに得ることができるかについて詳細に説明する。以下において、単一のサブバンドのための処理が説明されるが、その構想は当然複数のサブバンドまで拡張できる。
【００４７】
装置２００は、主要要素として、複素数値の線形結合器として作動するように構成されるアップミキサーを含む。アップミキサー２３０は、オーディオサンプル更新間隔ｋと関連した（例えば、特定の周波数バンドを示している）ダウンミックスオーディオ信号２１０のサンプルｘ（ｋ）を受けるように構成される。信号ｘ（ｋ）は、時々「ドライ信号（ｄｒｙ  ｓｉｇｎａｌ）」としても示される。また、アップミキサーは、ダウンミックスオーディオ信号の非相関バージョンを示しているサンプルを受けるように構成される。
【００４８】
更に、装置２００は、ダウンミックスオーディオ信号のサンプルｘ（ｋ）を受けて、それに基づいて、（ｘ（ｋ）によって示される）ダウンミックスオーディオ信号の非相関バージョンのサンプルｑ（ｋ）を供給するように構成される非相関器（例えば遅延器または反射器）２４０を含む。ダウンミックスオーディオ信号（サンプルｘ（ｋ））の非相関バージョン（サンプルｑ（ｋ））は、「ウェット信号（ｗｅｔ  ｓｉｇｎａｌ）」として表されうる。
【００４９】
0005174973.tif 000002
【００５０】
「アップミックスパラメータの更新」
上記の方程式から分かるように、オーディオサンプル更新間隔ｋごとにアップミックスパラメータマトリクスＨ（ｋ）を更新することが望ましい。オーディオサンプル更新間隔ｋごとにアップミックスパラメータマトリクスを更新することは、アップミックスパラメータマトリクスが実際の音響環境に常によく適合されるという効果をもたらす。補助情報２１２が複数のオーディオサンプル更新間隔ｋごとに一回しか更新されない場合であっても、アップミックスパラメータマトリクスの変化は複数のオーディオサンプル更新間隔にわたって分配されるので、オーディオサンプル更新間隔ｋごとにアップミックスパラメータマトリクスを更新することはまた、次のオーディオサンプル間隔間のアップミックスパラメータマトリクスＨの（またはそのエントリの）階段状の変化を小さく保つことを可能にする。
【００５１】
装置２００は、補助情報２１２に基づいて、アップミックスパラメータ、例えば、エントリＨｉｊ（ｋ）を供給するように構成される補助情報処理装置２５０を含む。補助情報２１２が複数のオーディオサンプル更新間隔ｋごとに一回しか更新されない場合であっても、補助情報処理装置２５０は、オーディオサンプル間隔ｋごとにアップミックスパラメータの更新された組を供給するように構成される。
【００５２】
補助情報処理装置２５０は、補助情報２１２を受けて、それに基づいて、一つ以上のアップミックスパラメータ（または同等に、アップミックスマトリクス係数）を導き出すように構成される、アップミックスパラメータ決定器（またはアップミックスマトリクス係数決定器）２５２を含む。例えば、アップミックスパラメータ決定器２５２は、アップミックスパラメータを得るために、複数のキュー（例えばＩＬＤ、ＩＣＣ、ＩＴＤ、ＩＰＤ）を結合しうる。アップミックスパラメータ決定器２５２は、強度値および別の位相値の形で、アップミックスパラメータを表すように構成される。強度値は、例えば複素数の絶対値を示しうる。そして、位相値は、（例えば、実部―虚部直交座標系の実部軸に対して測定された）複素数の角度値を示しうる。
【００５３】
このように、アップミックスパラメータ決定器は、アップミックスパラメータの強度値のシーケンス２５４およびアップミックスパラメータの位相値のシーケンス２５６を供給しうる。アップミックスパラメータ決定器２５２は、一組の補助情報、一式のアップミックスパラメータ（又はマトリクスＨの一式のマトリクス要素）から導き出すように構成されうる。一組の補助情報２１２および一組のアップミックスパラメータ（又は一組のマトリクス要素）間の結合体はありうる。したがって、アップミックスパラメータ決定器２５２は、アップミックスパラメータ更新間隔ごとに一回、すなわちその組の補助情報の更新ごとに一回、アップミックスパラメータ２５４、２５６（又はマトリクス要素）を更新するように構成されうる。
【００５４】
補助情報処理装置は、以下において詳述されるパラメータ補間器２６０を更に含む。パラメータ補間器２６０は、アップミックスパラメータ（またはマトリクス要素）の（実数値の）強度値のシーケンス２５４およびアップミックスパラメータ（またはマトリクス要素）の（実数値の）位相値のシーケンス２５６を受けるように構成される。更に、パラメータ補間器は、シーケンス２５４とシーケンス２５６の補間および結合に基づいて、複素数値の、時間的に補間されたアップミックスパラメータ（またはマトリクス要素）２６２のシーケンスを供給するように構成される。
【００５５】
パラメータ補間器２６０は、強度値補間器２７０と位相値補間器２７２を含む。加えて、パラメータ補間器は、強度値／位相値結合器２８０を含む。
【００５６】
強度値補間器２７０は、シーケンス２５４を受けて、それに基づいて、アップミックスパラメータ（又はマトリクス要素）の補間された強度値のシーケンス２７４を供給するように構成される。強度値補間器２７０は、例えば、シーケンス２５４の次の強度値間の線形強度補間を実行するように構成されうる。このように、シーケンス２５４がアップミックスパラメータ更新間隔ごとに一回、更新される（すなわち、特定のアップミックスパラメータまたはマトリクス要素の新しい強度値を含む）一方で、シーケンス２７４は、より頻繁に、例えばオーディオサンプル更新間隔ｋ（ここで、アップミックスパラメータ更新間隔は、一般的に、オーディオサンプル更新間隔ｋより大きい）ごとに一回更新される。
【００５７】
同様に、位相値補間器２７２は、シーケンス２５６を受けて、それに基づいて、アップミックスパラメータ（またはマトリクス要素）の補間された位相値のシーケンス２７６を供給するように構成される。位相値補間器２７２は、例えば、シーケンス２５６の次の位相値間の線形位相補間を実行するように構成されうる。このように、シーケンス２７６は、オーディオサンプル更新間隔ｋごとに一回更新される。その一方で、シーケンス２５６は、アップミックスパラメータ更新間隔ごとに一回更新される。
【００５８】
重要なことに、強度値補間器２７０および位相値補間器２７２は、別々に、または、独立して強度補間および位相補間を実行するように構成される。このように、シーケンス２５４の強度値は、位相値補間に影響を及ぼさず、そして、シーケンス２５６の位相値は、強度補間に影響を及ぼさない。しかし、シーケンス２７４、２７６が、アップミックスパラメータ（またはマトリクス要素）の補間された強度値および補間された位相値の対応する対を含むように、強度値補間器および位相値補間器が時間同期された方法で動作すると思われる。
【００５９】
強度値／位相値結合器２８０は、補間された強度値のシーケンス２７４および補間された位相値のシーケンス２７６を受けるように構成される。強度値／位相値結合器２８０は、シーケンス２７４の補間された強度値をシーケンス２７６の対応する補間された位相値と結合することによって、複素数値の補間されたアップミックスパラメータ又はマトリクス要素のシーケンス２６２を供給するように更に構成される。例えば、強度値／位相値結合器２８０は、シーケンス２７６の対応する補間された位相値で決定された角度によって、シーケンス２７４の補間された強度値の複素数値の回転を実行するように構成される。一般的に言って、強度値／位相値結合器は、複素数を供給でき、その強度は補間された強度値で決定され、その位相は対応する補間された位相値で決定される。
【００６０】
当然、パラメータ補間器２６０は、異なるアップミックスパラメータ又はマトリクス要素に別々に作用しうる。このように、パラメータ補間器２６０は、（複数のアップミックスパラメータのうちの）アップミックスパラメータ又はマトリクスＨのマトリクス要素ごとに、強度値のシーケンス２５４および位相値の対応するシーケンス２５６を受けうる。こうして、パラメータ補間器は、アップミックスパラメータマトリクス要素ごとに時間的に補間された複素数値のシーケンス２６２を供給しうる。
【００６１】
「補間タイミング関係」
図４は、補助情報処理装置２５０によって受け取られた入力情報２１２（復号器入力補助情報）と補助情報処理装置２５２によってアップミキサー２３０に供給された出力情報２６２（複素数値の時間的に補間されたアップミックスパラメータ）との間のタイミング関係の図的表現を示す。
【００６２】
図４は、復号器入力補助情報２１２の図的表現４１０を示す。図的表現４１０から分かるように、復号器入力補助情報は、オーディオサンプル更新間隔ｋごとではなく、複数のオーディオサンプル更新間隔ｋごとに一回しか更新されない。対照的に、参照番号４２０で示される、シーケンス２６２の時間的に補間されたアップミックスパラメータは、オーディオサンプル更新間隔ごとに一回更新される。換言すれば、時間的に補間されたアップミックスパラメータ２６２の更新間隔は、例えば、オーディオサンプル更新間隔ｋと同一である。このように、マトリクスＨをオーディオサンプル更新間隔ｋごとに一回更新できる。
【００６３】
従って、各オーディオサンプルは、それと関連した（又は１対１で関連した）アップミックパラメータマトリクスＨで重み付けされうる。一組の補助情報に基づく「正確な」アップミックスパラメータマトリクスが、いくつかのオーディオサンプル更新間隔（例えばｋ＝４、８、１６）に対して供給されうる一方で、２つ又はそれ以上の組の補助情報に基づく補間されたアップミックスパラメータマトリクスは他のオーディオサンプル更新間隔（例えばｋ＝５、６、７、９、１０、１１、１２、１３、１４、１５）に対して供給される。
【００６４】
「要約および更なる任意選択的な改良」
以下に、本発明による装置の動作について簡単に要約する。本発明による実施形態は、信号の強度を保持する補間によって、現在の（または従来の）補間技術を強化する。パラメータのための時間的位相変化がある場合も同様である。説明を簡単にするため、前記説明、および以下の説明は、１つから２つのチャンネルへのアップミックスにだけ限定する。当然、その構想はまた、多数のダウンミックスチャンネルまたはアップミックスされたチャンネルがある場合にも適用されうる。
【００６５】
0005174973.tif 000003
【００６６】
図２ａから分かるように、マトリクス―ベクトル乗算は、例えば、アップミキサー２３０のマトリクス―ベクトル乗算器２３２によって実行できる。
【００６７】
アップミックスマトリクスＨの係数は、空間キュー、一般的には、ＩＬＤおよびＩＣＣから導き出されうる。結果として基本的にＩＣＣに基づいたチャンネルごとにドライおよびウェット信号のミックスを実行して、ＩＬＤによって定まる両方の出力チャンネルの出力レベルを調整する実数値のマトリクス要素が生じる。
【００６８】
ＩＰＤが使用されるときに、付加的な位相シフトは、元の信号のチャンネル間の位相関係を再現するための信号に適用されなければならない。位相シフトは、アップミックスマトリクスＨの複素数値の要素を使用することにより実行され、それは結果としてサブバンド信号の複素回転、および、それによりこれらの位相シフトが生じる。複素要素の角度は、極座標でそれらを見るとき、必要な位相シフトに等しい。
【００６９】
図３および図４を参照として説明されたように、パラメータ（また「補助情報の組」とも表され、参照番号２１２で示される）が、オーディオサンプルごとにではなく（例えば、オーディオサンプル更新間隔ｋごとでなく）、パラメータの組として次のサンプルの組に対してのみ送られるので、パラメータの組の到着ごとに、新しいマトリクスＨnは算出される。
【００７０】
0005174973.tif 000004
【００７１】
マトリクス要素のこの線形補間は、実数値の要素のために完全に働く。しかし、時変角度を有する複素数値の要素を使用するとき、この種の補間にははっきりした欠点があり、結果として、出力信号エネルギーの望ましくない損失となる。２つの複素数値の線形補間は、結果として、複素数値の２つの強度の線形補間が与えるよりも小さい強度を有する値になる。このことは、図５に示される。
【００７２】
図５は、異なるタイプの２つの複素数値間の補間の図的表現５００を示す。図的表現５００は、複素平面の複素数を表す。横座標５１０は、実部の軸として働き、そして、縦座標５１２は虚部の軸として働く。第１又は最初の複素数値は、ｚ1で表され、そして、第２又は次の複素数値は、ｚ2で表される。複素数値ｚ1およびｚ2間の線形補間により、結果として、ｚlin  ＝  １／２  （ｚ1＋ｚ2）による複素数値ｚlinを生じる。以上のように、ｚlinの絶対値（または強度値）は、複素数値ｚ1の絶対値より著しく低く、また、複素数値ｚ2の絶対値より著しく低い。
【００７３】
0005174973.tif 000005
【００７４】
線形補間に関して、強度の減少は、２つの複素数（ｚ1およびｚ2）の角度の増加と共により大きくなっていき、１８０度で最悪のケースとなる。複素マトリクス要素の強度が、出力信号の振幅を決定するとき、このことは結果として、ＩＰＤを使用しないケースよりも、次のパラメータの組間のサンプルに対してより低い出力レベルを生じる。このことにより、位相角度の高速変化が生じるときはいつでも、可聴な変調またはドロップアウトアーチファクトが生じる。
【００７５】
「別々の補間アプローチに関する詳細」
以下において、強度値および位相値の別々の補間のいくつかの好ましい実施形態が説明される。そこにおいて、別々の補間は、一般的に強度値補間器２７０および位相値補間器２７２によって実行される。
【００７６】
出力エネルギーの上述の損失を回避するために、アップミックスマトリクスを補間するための異なる方法がここで提案される。この新しい方法は、チャンネル間位相差（ＩＰＤ）から得られたマトリクス係数の角度のために、および、例えばチャンネル間レベル差（ＩＬＤ）およびチャンネル間相関またはコヒーレンス（ＩＣＣ）から得られたそれらの強度のために、別々の補間を使用する。
【００７７】
最初のステップにおいて、それがチャンネル間位相差（ＩＰＤ）を使用せずになされるように、実数値のマトリクス係数は算出されて（例えばシーケンス２５４によって示され）、（例えば強度値補間器２７０を用いて）線形に補間される。
【００７８】
0005174973.tif 000006
【００７９】
0005174973.tif 000007
【００８０】
当然、補間された実数値のマトリクス係数の、そして、補間された位相シフト角の計算の順序は交換できる、又は、その計算は並列に実行できる。
【００８１】
0005174973.tif 000008
【００８２】
0005174973.tif 000009
【００８３】
上述した改良された補間法を用いることにより、マトリクス要素の正しい強度が保持される。
【００８４】
上述した線形補間アプローチとは対照的に、 図５で分かるように、複素数値ｚ1およびｚ2間の別々の強度値―位相値補間により、補間値ｚsepが生じる。例えば、補間値ｚsepの絶対値は、第１の複素数値ｚ1の絶対値および第２の複素数値ｚ2の絶対値との間の線形補間で決定される（ここで、｜．｜は、絶対値演算を表す）。加えて、図５に示すように、補間値ｚsepの角度位置が、第１の値ｚ1と第２の値ｚ2の角度位置の間に位置する。
【００８５】
したがって、図５から、補間値ｚsepの強度が、第１の値ｚ1と第２の値ｚ2の強度の間に位置するということが理解できる。このように、線形な複素数値の補間のためにはっきりと見ることができる振幅低下（ｚ1およびｚ2と比較するとき線形に補間された値ｚlinの低減された強度）は、強度および位相値の別々の補間を用いることにより回避される。
【００８６】
「結論」
上記を要約すると、時変の位相の合成がある場合に（少なくともおおよそ）強度保持している補間されたアップミックスマトリクス（例えばＨ）を生成する一般的な構想が、説明された。本発明による実施形態は、従来のシンプルな補間技術によって生じた、出力信号の振幅損失を低減することによって他の技術に取って代わる。加えて、強度を保持している補間のための計算労力は、他の技術よりわずかに高いだけである。
【００８７】
「方法」
本発明による実施形態は、一つ以上のダウンミックスオーディオチャンネルを表しているダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号に、アップミックスする方法を含む。図６は、全体として７００で表される、この種の方法のフローチャートを示す。
【００８８】
方法７００は、第１の複素数値のアップミックスパラメータ又は次の第２の複素数値のアップミックスパラメータに基づいて、一つ以上の時間的に補間されたアップミックスパラメータを得るというステップ７１０を含む。補間は、第１の複素数値のアップミックスパラメータの強度値と第２の複素数値のアップミックスパラメータの強度値との間、および、第１の複素数値のアップミックスパラメータの位相値と第２の複素数値のアップミックスパラメータの位相値との間で、別々に実行される。
【００８９】
方法７００は、アップミックスされたオーディオ信号を得るために、ダウンミックス信号をアップミックスするための補間されたアップミキシングパラメータを適用するというステップ７２０から更に含む。
【００９０】
方法７００は、本発明の装置に関して本願明細書において説明されたステップおよび機能のいずれによっても補充できる。
【００９１】
「異なる実装技術」
特定の実装要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実装できる。その実装は、各方法が実行されるように、それはプログラミング可能なコンピュータシステムと協動する（または協動できる）、それに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して、実行できる。
【００９２】
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの１つが実行されるように、プログラミング可能な計算機システムと協動することができる、電子的に読み込み可能な制御信号を有するデータキャリアを含む。
【００９３】
通常、本発明の実施形態はプログラムコードを有するコンピュータ・プログラム製品として実行できる。そして、コンピュータ・プログラム製品がコンピュータ上で動作するときに、プログラムコードは、その方法のうちの１つを実行する働きをする。プログラムコードは、例えば、機械読み取り可能キャリアに格納されうる。
【００９４】
他の実施形態は、本願明細書において説明されて、機械読み取り可能キャリアに格納された方法のうちの１つを実行するためのコンピュータ・プログラムを含む。
【００９５】
従って、換言すれば、本発明の方法の実施形態は、コンピュータ・プログラムがコンピュータ上で動作するときに、本願明細書において説明された方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。
【００９６】
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体）である。
【００９７】
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを示しているデータストリームまたは信号のシーケンスである。
【００９８】
例えば、データストリームまたは信号のシーケンスは、データ通信コネクションを介して、例えばインターネットを介して転送されるように構成できる。
【００９９】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するように構成された、又は、適用された、処理方法、例えばコンピュータまたはプログラム可能な論理回路を含む。
【０１００】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを、それにインストールしたコンピュータを含む。
【０１０１】
いくつかの実施形態において、プログラム可能論理回路（例えばフィールドプログラマブルゲートアレイ）は、本願明細書において説明された方法の機能のいくつか又は全てを実行するために使用されうる。
【０１０２】
いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書において説明された方法のうちの１つを実行するために、マイクロプロセッサと協動することができる。
【０１０３】
「参照」
［１］Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月
［２］Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［３］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［４］Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月
［５］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化  −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月
［６］Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月
［７］Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月
［８］ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１、２３００３―１、ＭＰＥＧサラウンド
［９］Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ  ＭＩＴ  Ｐｒｅｓｓ、１９９７
【図１】
0005174973.tif 000012
【図２ａ】
0005174973.tif 000013
【図２ｂ】
0005174973.tif 000014
【図３】
0005174973.tif 000015
【図４】
0005174973.tif 000016
【図５】
0005174973.tif 000017
【図６】
0005174973.tif 000018
【図７】
0005174973.tif 000019