(57)【要約】【課題】リミキシング性能を持つ改善したオーディオを提供する。【解決手段】リミックス性能を提供するために、ステレオまたはマルチチャネルオーディオ信号の１つ以上のオブジェクト（例えば、楽器）と関連した１つ以上の特性（例えば、パン、ゲインなど）を修正可能にする。【選択図】図１Ａ
2010507927.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
リミックスされるオブジェクトを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項２】
前記ミックスパラメータのセットを獲得するステップは、前記ミックスパラメータのセットを指定するユーザ入力を受信するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解するステップと、
前記ミックスパラメータのセット及び前記付加情報を用いて第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定するステップと、
前記第２サブバンド信号のセットを前記第２複数チャネルオーディオ信号に変換するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項４】
第２サブバンド信号のセットを推定するステップは、
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供するように前記付加情報をデコーディングするステップと、
前記ゲインファクタ、サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定するステップと、
少なくとも１つの重み値のセットを用いて前記第２サブバンド信号のセットを推定するステップと、
をさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
１つ以上の重み値のセットを決定するステップは、
第１重み値のセットの大きさを決定するステップと、
前記第１重み値のセットと異なる数の重み値を含む第２重み値のセットの大きさを決定するステップと、
をさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記第１及び第２重み値のセットの大きさを比較するステップと、
前記比較の結果に基づいて前記第２サブバンド信号のセットを推定するのに利用するための前記第１及び第２重み値のセットのうちの１つを選択するステップと、
をさらに含むことを特徴とする請求項５に記載の方法。
【請求項７】
１つ以上の重み値のセットを決定するステップは、
前記第１複数チャネルオーディオ信号及び前記第２複数チャネルオーディオ信号間の差を最小化する重み値のセットを決定するステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項８】
１つ以上の重み値のセットを決定するステップは、
線形方程式を形成するステップと、
前記線形方程式の解を求めることによって前記重み値を決定するステップと、を含み、
前記線形方程式で各方程式は積の和であり、各積はサブバンド信号と重み値を乗算することによって形成されることを特徴とする請求項４に記載の方法。
【請求項９】
前記線形方程式は、最小二乗法を用いて解を求めることを特徴とする請求項８に記載の方法。
【請求項１０】
【数１】
2010507927.tif 000065
【請求項１１】
【数２】
2010507927.tif 000066
【請求項１２】
【数３】
2010507927.tif 000067
【請求項１３】
【数４】
2010507927.tif 000068
【請求項１４】
前記第１サブバンド信号のセットと関連した１つ以上のレベル差キューとマッチさせるために、前記第２サブバンド信号のセットと関連した１つ以上のレベル差キューを調節するステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項１５】
前記第１複数チャネルオーディオ信号のサブバンドパワー推定値未満の臨界値と等しいか大きくなるように、前記第２複数チャネルオーディオ信号のサブバンドパワー推定値を制限するステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項１６】
前記１つ以上の重み値のセットを決定するために前記サブバンドパワー推定を用いる前に、１よりも大きい値により前記サブバンドパワー推定値をスケーリングするステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項１７】
前記第１複数チャネルオーディオ信号を獲得するステップは、
エンコーディングされた複数チャネルオーディオ信号を含むビットストリームを受信するステップと、
前記第１複数チャネルオーディオ信号を獲得するために、前記エンコーディングされた複数チャネルオーディオ信号をデコーディングするステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項１８】
前記１つ以上の重み値のセットを時間をかけてスムージングするステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項１９】
オーディオ歪みを減らすために、前記１つ以上の重み値のセットを、時間をかけてスムージングするステップをさらに含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
音調または定常的測定値に基づいて前記１つ以上の重み値のセットを時間をかけてスムージングするステップをさらに含むことを特徴とする請求項１８に記載の方法。
【請求項２１】
前記第１複数チャネルオーディオ信号の音調または定常的測定値が臨界値を超過するか否か決定するステップと、
前記測定値が前記臨界値を超過すると、前記１つ以上の重み値のセットを時間をかけてスムージングするステップと、
をさらに含むことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第１複数チャネルオーディオ信号と前記付加情報とを同期化するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項２３】
前記第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号のオーディオチャネルのサブセットにおけるオブジェクトをリミキシングするステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項２４】
前記サブバンドパワー推定値及び前記ミックスパラメータのセットを用いて前記第１複数チャネルオーディオ信号のアンビエンス値を修正するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項２５】
ミックスパラメータのセットを獲得するステップは、
ユーザ指定されたゲイン及びパン値を獲得するステップと、
前記ゲイン及びパン値及び前記付加情報から前記ミックスパラメータのセットを決定するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項２６】
オブジェクトのセットを持つオーディオを獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から付加情報を生成するステップと、を含み、
前記付加情報のうちの少なくとも一部は、前記オーディオ信号と前記ソース信号間の関係を表すことを特徴とする方法。
【請求項２７】
付加情報を生成するステップは、
１つ以上のゲインファクタを獲得するステップと、
前記オーディオ信号及び前記ソース信号のサブセットを、第１サブバンド信号のセット及び第２サブバンド信号のセットにそれぞれ分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号においてサブバンドパワーを推定するステップ、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
付加情報を生成するステップは、
前記オーディオ信号及び前記ソース信号のサブセットを、第１サブバンド信号のセット及び第２サブバンド信号のセットにそれぞれ分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、１つ以上のゲインファクタを獲得するステップ、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項２６に記載の方法。
【請求項２９】
１つ以上のゲインファクタを獲得するステップは、
前記第１サブバンド信号のセットから対応するサブバンド信号及び前記サブバンドパワーを用いて１つ以上のゲインファクタを推定するステップをさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３０】
１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップは、
付加情報を生成するように前記サブバンドパワーを量子化しエンコーディングするステップを含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３１】
サブバンドの幅は、人間音声認識に基づくことを特徴とする請求項２７または２８に記載の方法。
【請求項３２】
前記オーディオ信号及びソース信号のセットを分解するステップは、
ソース信号のサブセット及び前記オーディオ信号のサンプルとウィンド関数を乗算するステップと、
前記第１及び第２サブバンド信号のセットを生成するために、前記ウィンドされたサンプルに時間−周波数変換を適用するステップと、
をさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３３】
前記オーディオ信号及びソース信号のサブセットを分解するステップは、
スペクトル係数を作るために、時間−周波数変換を用いて、前記オーディオ信号及びソース信号のサブセットをプロセシングするステップと、
前記スペクトル係数を人間音声システムの不均一な周波数分解能を表す多くのパーティションにグルーピングするステップと、
をさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３４】
少なくとも１つのグループは、ＥＲＢ（ｅｑｕｉｖａｌｅｎｔ  ｒｅｃｔａｎｇｕｌａｒ  ｂａｎｄｗｉｄｔｈ）の約２倍の帯域幅を持つことを特徴とする請求項３３に記載の方法。
【請求項３５】
前記時間−周波数変換は、
ＳＴＦＴ（ｓｈｏｒｔ−ｔｉｍｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）、ＱＭＦ（ｑｕａｄｒａｔｕｒｅ  ｍｉｒｒｏｒ  ｆｉｌｔｅｒｂａｎｋ）、ＭＤＣＴ（ｍｏｄｉｆｉｅｄ  ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）及びウェーブレットフィルタバンクからなる変換グループのうちいずれか１つの変換であることを特徴とする請求項３３に記載の方法。
【請求項３６】
サブバンド信号においてサブバンドパワーを推定するステップは、
前記対応するソース信号を短期平均するステップをさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３７】
前記対応するソース信号を短期平均するステップは、
指数的に減少する推定ウィンドを用いて前記対応するソース信号を単極平均するステップをさらに含むことを特徴とする請求項３６に記載の方法。
【請求項３８】
前記オーディオ信号のサブバンド信号パワーに関連した前記サブバンドパワーを正規化するステップをさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項３９】
サブバンドパワーを推定するステップは、
前記推定として前記サブバンドパワーの測定を利用するステップをさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項４０】
時間の関数として前記１つ以上のゲインファクタを推定するステップをさらに含むことを特徴とする請求項２７に記載の方法。
【請求項４１】
量子化及びコーディングするステップは、
前記１つ以上のゲインファクタからゲイン及びレベル差を決定するステップと、
前記ゲイン及びレベル差を量子化するステップと、
前記量子化されたゲイン及びレベル差をエンコーディングするステップと、
をさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項４２】
量子化及びエンコーディングするステップは、
前記１つ以上のゲインファクタ及び前記オーディオ信号のサブバンドパワーに対する前記サブバンドパワーを定義するファクタを計算するステップと、
前記ファクタを量子化するステップと、
前記量子化されたファクタをエンコーディングするステップと、
をさらに含むことを特徴とする請求項２７または２８に記載の方法。
【請求項４３】
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトのサブセットを表すソース信号のサブセットを獲得するステップと、
前記ソース信号のサブセットから付加情報を生成するステップと、
を含むことを特徴とする方法。
【請求項４４】
複数チャネルオーディオ信号を獲得するステップと、
サウンドステージ上の前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定するステップと、
前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定するステップと、
前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定するステップと、
を含むことを特徴とする方法。
【請求項４５】
前記関数は、前記所定のサウンド方向においてのみ略１つのゲインファクタをリターンするサウンド方向の関数であることを特徴とする請求項４４に記載の方法。
【請求項４６】
ミックスされたオーディオ信号を獲得するステップと、
前記ミックスされたオーディオ信号をリミキシングするためのミックスパラメータのセットを獲得するステップと、
付加情報が利用可能であれば、前記付加情報及び前記ミックスパラメータのセットを用いて前記ミックスされたオーディオ信号をリミキシングするステップと、
付加情報が利用不可能であれば、前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成するステップと、
前記ブラインドパラメータ及び前記ミックスパラメータのセットを用いてリミックスされたオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項４７】
前記ブラインドパラメータまたは前記付加情報のいずれか１つからリミックスパラメータを生成するステップと、
前記リミックスパラメータが前記付加情報から生成されると、前記リミックスされたパラメータ及び前記ミックスされた信号から前記リミックスされたオーディオ信号を生成するステップと、
をさらに含むことを特徴とする請求項４６に記載の方法。
【請求項４８】
前記リミックスされたオーディオ信号が前記ミックスされたオーディオ信号よりも多くのチャネルを持つように、前記ミックスされたオーディオ信号をアップミックスするステップをさらに含むことを特徴とする請求項４６に記載の方法。
【請求項４９】
前記リミックスされたオーディオ信号に１つ以上のエフェクトを加えるステップをさらに含むことを特徴とする請求項４６に記載の方法。
【請求項５０】
スピーチソース信号を含むミックスされたオーディオ信号を獲得するステップと、
１つ以上の前記スピーチソース信号に所定の改善を指定したミックスパラメータを獲得するステップと、
前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成するステップと、
前記ブラインドパラメータ及び前記ミックスパラメータからリミックスパラメータを生成するステップと、
前記ミックスパラメータに応じて、前記１つ以上のスピーチソース信号をエンハンスする前記ミックスされた信号に前記リミックスパラメータを適用するステップと、
を含む方法。
【請求項５１】
ミックスパラメータを指定した入力を受信するためのユーザインタフェースを生成するステップと、
前記ユーザインタフェースを通じてミキシングパラメータを獲得するステップと、
ソース信号を含む第１オーディオ信号を獲得するステップと、
前記第１オーディオ信号と１つ以上のソース信号間の関係を表す少なくとも一部の付加情報を獲得するステップと、
第２オーディオ信号を生成するために前記付加情報及び前記ミックスパラメータを用いて前記１つ以上のソース信号をリミキシングするステップと、
を含む方法。
【請求項５２】
ネットワークリソースから前記第１オーディオ信号または付加情報を受信するステップをさらに含むことを特徴とする請求項５１に記載の方法。
【請求項５３】
コンピュータで読取りできる記録媒体から前記第１オーディオ信号または付加情報を受信するステップをさらに含むことを特徴とする請求項５１に記載の方法。
【請求項５４】
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
リミックスされたオブジェクトのサブセットを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項５５】
前記ミックスパラメータのセットを獲得するステップは、前記ミックスパラメータのセットを指定するユーザ入力を受信するステップをさらに含むことを特徴とする請求項５４に記載の方法。
【請求項５６】
第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて前記第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定するステップと、
前記サブバンド信号のセットを第２複数チャネルオーディオ信号に変換するステップと、
を含むことを特徴とする請求項５４に記載の方法。
【請求項５７】
第２サブバンド信号のセットを推定するステップは、
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供するために前記付加情報をデコーディングするステップと、
前記ゲインファクタ、サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定するステップと、
重み値の少なくとも１つのセットを用いて前記第２サブバンド信号のセットを推定するステップと、
をさらに含むことを特徴とする請求項５６に記載の方法。
【請求項５８】
１つ以上の重み値のセットを決定するステップは、
第１重み値のセットの大きさを決定するステップと、
第２重み値のセットの大きさを決定するステップと、をさらに含み、
前記第２重み値のセットは、前記第１重み値のセットと異なる数の重み値を含むことを特徴とする請求項５７に記載の方法。
【請求項５９】
前記第１及び第２重み値のセットの前記大きさを比較するステップと、
前記比較の結果に基づいて前記第２サブバンド信号のセットを推定する時に用いるために、前記第１及び第２重み値のセットのうちの１つを選択するステップをさらに含むことを特徴とする請求項５８に記載の方法。
【請求項６０】
ミックスされたオーディオ信号を獲得するステップと、
前記ミックスされたオーディオ信号をリミックスするためのミックスパラメータのセットを獲得するステップと、
前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成するステップと、
ｎ×ｎマトリクスを用いて前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項６１】
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から付加情報を生成するステップと、
少なくとも１つのソース信号を含む少なくとも１つの信号をエンコーディングするステップと、
前記ソース信号、前記付加情報及び前記エンコーディングされたソース信号をデコーディング部に提供するステップと、を含み、
前記付加情報のうちの少なくとも一部は、前記オーディオ信号と前記ソース信号間の関係を表すことを特徴とする方法。
【請求項６２】
ミックスされたオーディオ信号を獲得するステップと、
前記ミックスされたオーディオ信号内のオブジェクトと関連したエンコーディングされたソース信号を獲得するステップと、
前記ミックスされたオーディオ信号をリミキシングするためのミックスパラメータのセットを獲得するステップと、
前記エンコーディングされたソース信号、前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成するステップと、
前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項６３】
付加情報を受信し、前記付加情報からリミックスパラメータを獲得できるデコーディング部と、
ミックスパラメータのセットを獲得できるインタフェースと、
前記デコーディング部及び前記インタフェースに結合された、第２複数チャネルオーディオ信号を生成するために前記付加情報及び前記ミックスパラメータのセットを用いて前記ソース信号をリミキシングできるリミックスモジュールと、を含み、
前記付加情報の少なくとも一部は、第１複数チャネルオーディオ信号を生成するのに用いられる１つ以上のソース信号及び前記第１複数チャネルオーディオ信号間の関係を表すことを特徴とする装置。
【請求項６４】
前記ミックスパラメータのセットは、前記インタフェースを通じてユーザにより指定されることを特徴とする請求項６３に記載の装置。
【請求項６５】
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解できる少なくとも１つのフィルタバンクをさらに含むことを特徴とする請求項６３に記載の装置。
【請求項６６】
前記リミックスモジュールは、前記付加情報及び前記ミックスパラメータのセットを用いて前記第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定し、前記第２サブバンド信号のセットを前記第２複数チャネルオーディオ信号に変換することを特徴とする請求項６５に記載の装置。
【請求項６７】
前記デコーディング部は、リミックスされる前記ソース信号と関連したサブバンドパワー推定値及びゲインファクタを提供するために前記付加情報をデコーディングし、前記リミックスモジュールは、前記ゲインファクタ、サブバンドパワー推定及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定し、少なくとも１つの重み値のセットを用いて前記第２サブバンド信号のセットを推定することを特徴とする請求項６６に記載の装置。
【請求項６８】
前記リミックスモジュールは、第１重み値のセットの大きさを決定し、前記第１重み値のセットと異なる数の重み値を含む第２重み値のセットの大きさを決定することによって、１つ以上の重み値のセットを決定することを特徴とする請求項６７に記載の装置。
【請求項６９】
前記リミックスモジュールは、前記第１及び第２重み値のセットの前記大きさを比較し、前記比較の結果に基づいて前記第２サブバンド信号のセットを推定する時に用いるために、前記第１及び第２重み値のセットのうちの１つを選択することを特徴とする請求項６８に記載の装置。
【請求項７０】
前記リミックスモジュールは、前記第１複数チャネルオーディオ信号と前記第２複数チャネルオーディオ信号間の差を最小化する重み値のセットを決定することによって、１つ以上の重み値のセットを決定することを特徴とする請求項６７に記載の装置。
【請求項７１】
前記リミックスモジュールは、線形方程式システムの解を求めることによって、１つ以上の重み値のセットを決定するもので、前記システム内の各方程式は積の和であり、各積はサブバンド信号と重み値を乗算することによって生成されることを特徴とする請求項６７に記載の装置。
【請求項７２】
前記線形方程式システムは、最小二乗推定を用いて解が求められることを特徴とする請求項７１に記載の装置。
【請求項７３】
【数５】
2010507927.tif 000069
【請求項７４】
【数６】
2010507927.tif 000070
【請求項７５】
【数７】
2010507927.tif 000071
【請求項７６】
【数８】
2010507927.tif 000072
【請求項７７】
前記リミックスモジュールは、前記第１サブバンド信号のセットと関連した１つ以上のレベル差キューとマッチさせるために、前記第２サブバンド信号のセットと関連した１つ以上のレベル差キューを調節することを特徴とする請求項６７に記載の装置。
【請求項７８】
前記リミックスモジュールは、前記第１複数チャネルオーディオ信号のサブバンドパワー推定値未満の臨界値と等しいか大きくなるように、前記第２複数チャネルオーディオ信号のサブバンドパワー推定値を制限することを特徴とする請求項６７に記載の装置。
【請求項７９】
前記リミックスモジュールは、前記１つ以上の重み値のセットを決定するために前記サブバンドパワー推定値を用いる前に、１よりも大きい値により前記サブバンドパワー推定値をスケーリングすることを特徴とする請求項６７に記載の装置。
【請求項８０】
前記デコーディング部は、エンコーディングされた複数チャネルオーディオ信号を含むビットストリームを受信し、前記第１複数チャネルオーディオ信号を獲得するために前記エンコーディングされた複数チャネルオーディオ信号をデコーディングすることを特徴とする請求項６３に記載の装置。
【請求項８１】
前記リミックスモジュールは、前記１つ以上の重み値のセットを時間をかけてスムージングすることを特徴とする請求項６７に記載の装置。
【請求項８２】
前記リミックスモジュールは、オーディオ歪みを減らすために、前記１つ以上の重み値のセットを時間をかけてスムージングすることを制御することを特徴とする請求項８１に記載の装置。
【請求項８３】
前記リミックスモジュールは、音調または定常的測定値に基づいて、前記１つ以上の重み値のセットを時間をかけてスムージングすることを特徴とする請求項８１に記載の装置。
【請求項８４】
前記リミックスモジュールは、前記第１複数チャネルオーディオ信号の音調または定常的測定値が臨界値を超過するか否かを決定し、
前記測定値が前記臨界値を超過すると、前記１つ以上の重み値のセットを時間をかけてスムージングすることを特徴とする請求項８１に記載の装置。
【請求項８５】
前記デコーディング部は、前記第１複数チャネルオーディオ信号と前記付加情報を同期化することを特徴とする請求項６３に記載の装置。
【請求項８６】
前記リミックスモジュールは、前記第１複数チャネルオーディオ信号のオーディオチャネルのサブセットにおけるソース信号をリミックスすることを特徴とする請求項６３に記載の装置。
【請求項８７】
前記リミックスモジュールは、前記サブバンドパワー推定値及び前記ミックスパラメータセットを用いて前記第１複数チャネルオーディオ信号のアンビエンス値を修正することを特徴とする請求項６３に記載の装置。
【請求項８８】
前記インタフェースは、ユーザ指定されたゲイン及びパン値を獲得し、前記ゲイン及びパン値及び前記付加情報から前記ミックスパラメータのセットを決定することを特徴とする請求項６３に記載の装置。
【請求項８９】
オブジェクトのセット及び前記オブジェクトを表すソース信号を持つオーディオ信号を獲得できるインタフェースと、
前記インタフェースに結合され、前記ソース信号から付加情報を生成できる付加情報生成器と、を含む装置で、
前記付加情報のうちの少なくとも一部は、前記オーディオ信号及び前記ソース信号間の関係を表すことを特徴とする装置。
【請求項９０】
前記オーディオ信号及び前記ソース信号のサブセットを第１サブバンド信号のセット及び第２サブバンド信号のセットにそれぞれ分解できる少なくとも１つのフィルタバンクをさらに含むことを特徴とする請求項８９に記載の装置。
【請求項９１】
前記第２サブバンド信号のセット内の各サブバンド信号において、
前記付加情報生成器は、前記サブバンド信号におけるサブバンドパワーを推定し、１つ以上のゲインファクタ及びサブバンドパワーから前記付加情報を生成することを特徴とする請求項９０に記載の装置。
【請求項９２】
前記第２サブバンド信号のセット内の各サブバンド信号において、
前記付加情報生成器は、前記サブバンド信号におけるサブバンドパワーを推定し、１つ以上のゲインファクタを獲得し、前記１つ以上のゲインファクタ及びサブバンドパワーから前記付加情報を生成することを特徴とする請求項９０に記載の装置。
【請求項９３】
前記付加情報生成器は、前記第１サブバンド信号のセットから対応するサブバンド信号及び前記サブバンドパワーを用いて１つ以上のゲインファクタを推定することを特徴とする請求項９２に記載の装置。
【請求項９４】
前記付加情報生成器に結合され、前記付加情報を生成するために前記サブバンドパワーを量子化しエンコーディングできるエンコーディング部をさらに含むことを特徴とする請求項９３に記載の装置。
【請求項９５】
サブバンドの幅は、人間音声認識に基づくことを特徴とする請求項９０に記載の装置。
【請求項９６】
前記少なくとも１つのフィルタバンクは、ソース信号のサブセット及び前記オーディオ信号のサンプルとウィンド関数を乗算するステップを含むことによって前記オーディオ信号とソース信号のサブセットを分解し、前記第１及び第２サブバンド信号のセットを生成するために、前記ウィンドされたサンプルに時間−周波数変換を適用することを特徴とする請求項９０に記載の装置。
【請求項９７】
前記少なくとも１つのフィルタバンクは、スペクトル係数を算出するために、時間−周波数変換を用いて前記オーディオ信号及びソース信号のサブセットを処理し、前記スペクトル係数を人間音声システムの不均一な周波数分解能を表す多くのパーティションにグルーピングすることを特徴とする請求項９０に記載の装置。
【請求項９８】
少なくとも１つのグループは、ＥＲＢ（ｅｑｕｉｖａｌｅｎｔ  ｒｅｃｔａｎｇｕｌａｒ  ｂａｎｄｗｉｄｔｈ）の約２倍の帯域幅を持つことを特徴とする請求項９７に記載の装置。
【請求項９９】
前記時間−周波数変換は、
ＳＴＦＴ（ｓｈｏｒｔ−ｔｉｍｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）、ＱＭＦ（ｑｕａｄｒａｔｕｒｅ  ｍｉｒｒｏｒ  ｆｉｌｔｅｒｂａｎｋ）、ＭＤＣＴ（ｍｏｄｉｆｉｅｄ  ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）及びウェーブレットフィルタバンクからなる変換グループのうちの１つの変換であることを特徴とする請求項９７に記載の装置。
【請求項１００】
前記付加情報生成器は、前記対応するソース信号の短期平均を計算することを特徴とする請求項９３に記載の装置。
【請求項１０１】
前記短期平均は、前記対応するソース信号の単極平均であり、指数的に減少する推定ウィンドを用いて計算されることを特徴とする請求項１００に記載の装置。
【請求項１０２】
前記サブバンドパワーは、前記オーディオ信号のサブバンド信号パワーに関して正規化されることを特徴とする請求項９２に記載の装置。
【請求項１０３】
サブバンドパワーを推定することは、前記推定として前記サブバンドパワーの測定を用いることをさらに含むことを特徴とする請求項９２に記載の装置。
【請求項１０４】
時間の関数として前記１つ以上のゲインファクタが推定されることを特徴とする請求項９２に記載の装置。
【請求項１０５】
前記エンコーディング部は、前記１つ以上のゲインファクタからゲイン及びレベル差を決定し、前記ゲイン及びレベル差を量子化し、前記量子化されたゲイン及びレベル差をエンコーディングすることを特徴とする請求項９４に記載の装置。
【請求項１０６】
前記エンコーディング部は、前記１つ以上のゲインファクタ及び前記オーディオ信号のサブバンドパワーに対する前記サブバンドパワーを定義するファクタを計算し、前記ファクタを量子化し、前記量子化されたファクタをエンコーディングすることを特徴とする請求項９４に記載の装置。
【請求項１０７】
オブジェクトのセットを持つオーディオ信号及び前記オブジェクトのサブセットを表すソース信号のサブセットを獲得できるインタフェースと、
前記ソース信号のサブセットから付加情報を生成できる付加情報生成器と、
を含むことを特徴とする装置。
【請求項１０８】
複数チャネルオーディオ信号を獲得できるインタフェースと、
サウンドステージ上の前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定し、前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定し、前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定できる付加情報生成器と、
を含むことを特徴とする装置。
【請求項１０９】
前記関数は、前記所定のサウンド方向においてのみ略１つのゲインファクタをリターンするサウンド方向の関数であることを特徴とする請求項１０８に記載の装置。
【請求項１１０】
ミックスされたオーディオ信号及び前記ミックスされたオーディオ信号をリミキシングするためのミックスパラメータのセットを獲得し、付加情報が利用可能か否かを決定できるパラメータ生成器と、
前記パラメータ生成器に結合されており、付加情報が利用可能であれば、前記付加情報及び前記ミックスパラメータのセットを用いて前記ミックスされたオーディオ信号をリミキシングし、付加情報が利用不可能であれば、ブラインドパラメータのセットを受信して、前記ミックスパラメータのセット及び前記ブラインドパラメータを用いてリミックスされたオーディオ信号を生成できるリミックスレンダリング部と、
を含むことを特徴とする装置。
【請求項１１１】
前記リミックスパラメータ生成器は、前記ブラインドパラメータまたは前記付加情報のいずれかからリミックスパラメータを生成し、
前記リミックスパラメータが前記付加情報から生成されると、前記リミックスレンダリング部は、前記リミックスパラメータ及び前記ミックスされた信号から前記リミックスされたオーディオ信号を生成することを特徴とする請求項１１０に記載の装置。
【請求項１１２】
前記リミックスレンダリング部は、前記リミックスされたオーディオ信号が前記ミックスされたオーディオ信号よりも多くのチャネルを持つように、前記ミックスされたオーディオ信号をアップミックスできるアップミックスレンダリング部をさらに含むことを特徴とする請求項１１０に記載の装置。
【請求項１１３】
前記リミックスレンダリング部に結合され、前記リミックスされたオーディオ信号に１つ以上のエフェクトを加えることができるエフェクトプロセシング部をさらに含むことを特徴とする請求項１１０に記載の装置。
【請求項１１４】
スピーチソース信号を含むミックスされたオーディオ信号及び１つ以上の前記スピーチソース信号に所定の改善を指定したミックスパラメータを獲得できるインタフェースと、
前記インタフェースに結合され、前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成し、前記ブラインドパラメータ及び前記ミックスパラメータからパラメータを生成できるリミックスパラメータ生成器と、
前記ミックスパラメータに応じて、前記１つ以上のスピーチソース信号をエンハンスするように前記ミックスされた信号に前記パラメータを適用できるリミックスレンダリング部と、
を含むことを特徴とする装置。
【請求項１１５】
少なくとも１つのミックスパラメータを指定した入力を受信できるユーザインタフェースと、
第２オーディオ信号を生成するために付加情報及び前記少なくとも１つのミックスパラメータを用いて前記１つ以上のソース信号をリミキシングできるリミックスモジュールと、
を含むことを特徴とする装置。
【請求項１１６】
ネットワークリソースから前記第１オーディオ信号または付加情報を受信できるネットワークインタフェースをさらに含むことを特徴とする請求項１１５に記載の装置。
【請求項１１７】
コンピュータで読取りできる記録媒体から前記第１オーディオ信号または付加情報を受信できるインタフェースをさらに含むことを特徴とする請求項１１５に記載の装置。
【請求項１１８】
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得し、リミックスされるオブジェクトのサブセットを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得できるインタフェースと、
前記インタフェースに結合され、前記付加情報及びミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成できるリミックスモジュールと、
を含むことを特徴とする装置。
【請求項１１９】
前記ミックスパラメータのセットは、ユーザにより指定されることを特徴とする請求項１１８に記載の装置。
【請求項１２０】
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解できる少なくとも１つのフィルタバンクをさらに含み、
前記リミックスモジュールは、前記少なくとも１つのフィルタバンクに結合され、前記付加情報及び前記ミックスパラメータのセットを用いて前記第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定し、前記第２サブバンド信号のセットを第２複数チャネルオーディオ信号に変換できることを特徴とする請求項１１８に記載の装置。
【請求項１２１】
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供するために前記付加情報をデコーディングできるデコーディング部をさらに含み、
前記リミックスモジュールは、前記ゲインファクタ、サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定し、重み値の少なくとも１つのセットを用いて前記第２サブバンド信号のセットを推定することを特徴とする請求項１２０に記載の装置。
【請求項１２２】
前記リミックスモジュールは、第１重み値のセットの大きさを決定することによって、１つ以上の重み値のセットを決定し、前記第１重み値のセットと異なる数の重み値を含む第２重み値のセットの大きさを決定することを特徴とする請求項１２１に記載の装置。
【請求項１２３】
前記リミックスモジュールは、前記第１及び第２重み値のセットの前記大きさを比較し、前記比較の結果に基づいて前記第２サブバンド信号のセットを推定する時に用いるための前記第１及び第２重み値のセットのうちの１つを選択することを特徴とする請求項１２２に記載の装置。
【請求項１２４】
前記ミックスされたオーディオ信号をリミックスするためのミックスパラメータのセットを獲得できるインタフェースと、
前記インタフェースに結合され、前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成し、ｎ×ｎマトリクスを用いて前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成できるリミックスモジュールと、
を含むことを特徴とする装置。
【請求項１２５】
オブジェクトのセットを持つオーディオ信号を獲得し、前記オブジェクトを表すソース信号を獲得できるインタフェースと、
前記インタフェースに結合され、前記ソース信号のサブセットから付加情報を生成できる付加情報生成器と、
前記付加情報生成器に結合され、少なくとも１つのソース信号を含む少なくとも１つの信号をエンコーディングし、前記オーディオ信号、前記付加情報及び前記エンコーディングされたオブジェクト信号をデコーディング部に提供できるエンコーディング部と、を含み、
前記付加情報のうちの少なくとも一部は、前記オーディオ信号と前記ソース信号のサブセット間の関係を表すことを特徴とする装置。
【請求項１２６】
ミックスされたオーディオ信号を獲得し、前記ミックスされたオーディオ信号内のオブジェクトと関連したエンコーディングされたソース信号を獲得できるインタフェースと、
前記インタフェースに結合され、前記エンコーディングされたソース信号、前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成し、前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成できるリミックスモジュールと、
を含むことを特徴とする装置。
【請求項１２７】
プロセシング部により実行される場合、
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
リミックスされるオブジェクトを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項１２８】
第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解するステップと、
前記ミックスパラメータのセット及び前記付加情報を用いて第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定するステップと、
前記第２サブバンド信号のセットを前記第２複数チャネルオーディオ信号に変換するステップと、
を含むことを特徴とする請求項１２７に記載のコンピュータで読取りできる記録媒体。
【請求項１２９】
第２サブバンド信号セットを推定するステップは、
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供する前記付加情報をデコーディングするステップと、
前記ゲインファクタ、サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定するステップと、
少なくとも１つの重み値のセットを用いて前記第２サブバンド信号のセットを推定するステップと、
をさらに含むことを特徴とする請求項１２８に記載のコンピュータで読取りできる記録媒体。
【請求項１３０】
プロセッサにより実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から、少なくとも一部は前記付加情報と前記ソース信号間の関係を表す付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項１３１】
付加情報を生成するステップは、
１つ以上のゲインファクタを獲得するステップと、
前記オーディオ信号及び前記ソース信号のサブセットを第１サブバンド信号のセット及び第２サブバンド信号のセットのそれぞれに分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項１３０に記載のコンピュータで読取りできる記録媒体。
【請求項１３２】
付加情報を生成するステップは、
前記オーディオ信号及び前記ソース信号のサブセットを第１サブバンド信号のセット及び第２サブバンド信号のセットのそれぞれに分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、１つ以上のゲインファクタを獲得するステップと、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
を含むことを特徴とする請求項１３１に記載のコンピュータで読取りできる記録媒体。
【請求項１３３】
プロセシング部により実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトのサブセットを表すソース信号のサブセットを獲得するステップと、
前記ソース信号のサブセットから付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項１３４】
プロセッサにより実行される場合、
複数チャネルオーディオ信号を獲得するステップと、
サウンドステージ上で前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定するステップと、
前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定するステップと、
前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項１３５】
前記関数は、前記所定のサウンド方向においてのみ略１つのゲインファクタをリターンするサウンド方向の関数であることを特徴とする請求項１３４に記載のコンピュータで読取りできる記録媒体。
【請求項１３６】
プロセシング部と、
前記プロセシング部により実行される場合、
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
リミックスされるオブジェクトを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセッサに結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【請求項１３７】
第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解するステップと、
前記ミックスパラメータのセット及び前記付加情報を用いて前記第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定するステップと、
前記第２サブバンド信号のセットを前記第２複数チャネルオーディオ信号に変換するステップと、
を含むことを特徴とする請求項１３６に記載のシステム。
【請求項１３８】
第２サブバンド信号のセットを推定するステップは、
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供する前記付加情報をデコーディングするステップと、
前記ゲインファクタ、サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定するステップと、
少なくとも１つの重み値のセットを用いて前記第２サブバンド信号のセットを推定するステップと、
をさらに含むことを特徴とする請求項１３７に記載のシステム。
【請求項１３９】
プロセシング部と、
前記プロセシング部により実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から、少なくとも一部は前記付加情報と前記ソース信号間の関係を表す付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセシング部に結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【請求項１４０】
付加情報を生成するステップは、
１つ以上のゲインファクタを獲得するステップと、
前記オーディオ信号及び前記ソース信号のサブセットを第１サブバンド信号のセット及び第２サブバンド信号のセットのそれぞれに分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項１３９に記載のシステム。
【請求項１４１】
付加情報を生成するステップは、
前記オーディオ信号及び前記ソース信号のサブセットを第１サブバンド信号のセット及び第２サブバンド信号のセットのそれぞれに分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、１つ以上のゲインファクタを獲得するステップ、及び前記１つ以上のゲインファクタ及びサブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項１４０に記載のシステム。
【請求項１４２】
プロセシング部と、
前記プロセシング部により実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトのサブセットを表すソース信号のサブセットを獲得するステップと、
前記ソース信号のサブセットから付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセッサに結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【請求項１４３】
プロセシング部と、
前記プロセシング部により実行される場合、
複数チャネルオーディオ信号を獲得するステップと、
サウンドステージ上で前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定するステップと、
前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定するステップと、
前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセシング部に結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【請求項１４４】
前記関数は、前記所定のサウンド方向においてのみ略１つのゲインファクタをリターンするサウンド方向の関数であることを特徴とする請求項１４３に記載のシステム。
【請求項１４５】
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得する手段と、
リミックスされるオブジェクトを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号間の関係を表す少なくとも一部の付加情報を獲得する手段と、
ミックスパラメータのセットを獲得する手段と、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成する手段と、
を含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、広くは、オーディオ信号処理に関するものである。
【背景技術】
【０００２】
多くの民生用オーディオ装置（例えば、ステレオ、メディアプレーヤー、携帯電話、ゲームコンソールなど）は、イコライゼイション（ｅｑｕａｌｉｚａｔｉｏｎ）（例えば、ベース（ｂａｓｓ）、トレブル（ｔｒｅｂｌｅ））、ボリューム、音響室内効果（ａｃｏｕｓｔｉｃ  ｒｏｏｍ  ｅｆｆｅｃｔ）などにおける制御を用いてステレオオーディオ信号を修正することを許容する。しかし、これらの修正は、上記オーディオ信号を形成する個別のオーディオオブジェクト（例えば、楽器）ではなく全体のオーディオ信号に適用される。例えば、ユーザは、歌全体に影響を与えずに歌におけるギター、ドラムまたはボーカルのステレオパンニングまたはゲインを個別的に修正することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
なお、デコーディング部にミキシング柔軟性（ｍｉｘｉｎｇ  ｆｌｅｘｉｂｉｌｉｔｙ）を提供する技術が提案されてきている。これら技術は、ミックスされたデコーディング部出力信号を生成するためにバイノーラルキューコーディング（ＢＣＣ；Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ）、パラメトリック（ｐａｒａｍｅｔｒｉｃ）または空間（ｓｐａｔｉａｌ）オーディオデコーディング部に依存する。しかし、これらの技術はいずれも、音質を損傷せずに逆互換（ｂａｃｋｗａｒｄｓ  ｃｏｍｐａｔｉｂｉｌｉｔｙ）を許容するようにステレオミックス（例えば、専門的にミックスされた音楽）を直接的にエンコーディングしない。
【０００４】
チャネル間キュー（例えば、レベル差、時間差、位相差、コヒーレンス（ｃｏｈｅｒｅｎｃｅ））を用いてマルチチャネルオーディオチャネルまたはステレオを表現するために空間オーディオコーディング技術（Ｓｐａｔｉａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ）が提案されてきた。チャネル間キーは、マルチチャネル出力信号を生成する時に用いるためにデコーディング部に“付加情報”として伝達される。しかし、これらの一般的な空間オーディオコーディング技術は、幾つかの欠点を持つ。例えば、オーディオオブジェクトがデコーディング部で修正されないとしても、これらの技術の少なくとも一部は各オーディオオブジェクトに対してデコーディング部に伝達される個別信号を要求し、これは、エンコーディング部及びデコーディング部で余分な処理を招く。他の欠点は、エンコーディング部入力がステレオ（またはマルチチャネル）オーディオ信号またはオーディオソース信号のいずれかに制限されるということであり、これは、デコーディング部でのリミキシングにおける柔軟性を低下させる。結果的に、これらの一般的な技術の少なくとも一部は、これらの技術をいくつかのアプリケーションまたは装置に不適合にさせる、デコーディング部における複雑なデコリレーション（ｄｅ−ｃｏｒｒｅｌａｔｉｏｎ）処理を必要とする。
【課題を解決するための手段】
【０００５】
ステレオまたはマルチチャネルオーディオ信号の１つ以上のオブジェクト（例えば、楽器）と関連した１つ以上の特性（例えば、パン（ｐａｎ）、ゲインなど）がリミックス性能を提供するために修正されることができる。
【０００６】
一部の実施例において、方法は、オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップ；リミックスされるオブジェクトを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号との関係を表す少なくとも一部の付加情報を獲得するステップ；ミックスパラメータのセットを獲得するステップ；及び、前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップを含む。
【０００７】
一部の実施例において、方法は、オブジェクトのセットを持つオーディオ信号を獲得するステップ；前記オブジェクトのセットを表すソース信号のサブセットを獲得するステップ；及び、前記オーディオ信号と前記ソース信号のサブセットとの関係を表す前記付加情報の少なくとも一部を、前記ソース信号のサブセットから生成するステップを含む。
【０００８】
一部の実施例において、方法は、複数チャネルオーディオ信号を獲得するステップ；サウンドステージで前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定するステップ；前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定するステップ；及び、前記直接音方向及び所定のサウンド方向の関数として前記直接音方向における前記サブバンドパワーを修正することによって、ソース信号のセットでこれらソース信号の少なくとも一部におけるサブバンドパワーを推定するステップを含む。
【０００９】
一部の実施例において、方法は、ミキシングされたオーディオ信号を獲得するステップ；前記ミキシングされたオーディオ信号をリミキシングするためにミックスパラメータのセットを獲得するステップ；付加情報を利用できると、前記付加情報及びミックスパラメータのセットを用いて前記ミキシングされたオーディオ信号をリミキシングするステップ；付加情報を利用できないと、前記ミキシングされたオーディオ信号からブラインド（ｂｌｉｎｄ）パラメータのセットを生成するステップ；及び、前記ブラインドパラメータ及び前記ミックスパラメータのセットを用いてリミキシングされたオーディオ信号を生成するステップを含む。
【００１０】
一部の実施例において、方法は、スピーチ（ｓｐｅｅｃｈ）ソース信号を含むミキシングされたオーディオ信号を獲得するステップ；１つ以上の前記スピーチソース信号に所定の向上を指定するためのミックスパラメータを獲得するステップ；前記ミキシングされたオーディオ信号からブラインドパラメータのセットを獲得するステップ；前記ブラインドパラメータ及び前記ミックスパラメータからパラメータを生成するステップ；及び、前記ミックスパラメータによって前記１つ以上のスピーチソース信号をエンハンスするために前記ミキシングされた信号に前記パラメータを適用するステップを含む。
【００１１】
一部の実施例において、方法は、ミックスパラメータを指定した入力を受信するためのユーザインタフェースを生成するステップ；前記ユーザインタフェースを通じてミキシングパラメータを獲得するステップ；ソース信号を含む第１オーディオ信号を獲得するステップ；前記第１オーディオ信号と１つ以上のソース信号との関係を表す少なくとも一部の付加情報を獲得するステップ；及び、第２オーディオ信号を生成するために前記付加情報及び前記ミキシングパラメータを用いて前記１つ以上のソース信号をリミキシングするステップを含む。
【００１２】
一部の実施例において、方法は、オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップ；リミキシングされたオブジェクトのセットを表す１つ以上のソース信号と前記第１複数チャネルオーディオ信号との関係を表す付加情報の少なくとも一部を獲得するステップ；ミックスパラメータのセットを獲得するステップ；及び、前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号を生成するステップを含む。
【００１３】
一部の実施例において、方法は、ミキシングされたオーディオ信号を獲得するステップ；前記ミキシングされたオーディオ信号をリミキシングするためにミックスパラメータのセットを獲得するステップ；前記ミキシングパラメータのセット及び前記ミキシングされたオーディオ信号を用いてリミックスパラメータを生成するステップ；及び、ｎ×ｎマトリクスを用いて前記ミキシングされたオーディオ信号に前記リミックスパラメータを適用することによって、リミキシングされたオーディオ信号を生成するステップを含む。
【００１４】
システム、方法、装置、コンピュータで読取りできる記録媒体及びユーザインタフェースに関する実施例を含む他の実施例が、リミキシング性能を持つ改善したオーディオにおいて開示される。
【００１５】
本出願は、全体として本明細書に統合された２００６年５月４日に出願されたヨーロッパ特許出願第ＥＰ０６１１３５２１号の“Ｅｎｈａｎｃｉｎｇ  Ｓｔｅｒｅｏ  Ａｕｄｉｏ  Ｗｉｔｈ  Ｒｅｍｉｘ  Ｃａｐａｂｉｌｉｔｙ”から優先権の利益を請求する。
【００１６】
本出願は、全体として本明細書に統合された２００６年１０月１３日に出願された米国仮特許出願第６０／８２９，３５０号の“Ｅｎｈａｎｃｉｎｇ  Ｓｔｅｒｅｏ  Ａｕｄｉｏ  Ｗｉｔｈ  Ｒｅｍｉｘ  Ｃａｐａｂｉｌｉｔｙ”から優先権の利益を請求する。
【００１７】
本出願は、全体として本明細書に統合された２００７年１月１１日に出願された米国仮特許出願第６０／８８４，５９４号の“Ｓｅｐａｒａｔｅ  Ｄｉａｌｏｇｕｅ  Ｖｏｌｕｍｅ”から優先権の利益を請求する。
【００１８】
本出願は、全体として本明細書に統合された２００７年１月１９日に出願された米国仮特許出願第６０／８８５，７４２号の“Ｅｎｈａｎｃｉｎｇ  Ｓｔｅｒｅｏ  Ａｕｄｉｏ  Ｗｉｔｈ  Ｒｅｍｉｘ  Ｃａｐａｂｉｌｉｔｙ”から優先権の利益を請求する。
【００１９】
本出願は、全体として本明細書に統合された２００７年２月６日に出願された米国仮特許出願第６０／８８８，４１３号の“Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｓｉｇｎａｌ  Ｒｅｐｒｏｄｕｃｔｉｏｎ”から優先権の利益を請求する。
【００２０】
本出願は、全体として本明細書に統合された２００７年３月９日に出願された米国仮特許出願第６０／８９４，１６２号の“Ｂｉｔｓｔｒｅａｍ  ａｎｄ  Ｓｉｄｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｆｏｒ  ＳＡＯＣ／Ｒｅｍｉｘ”から優先権の利益を請求する。
【図面の簡単な説明】
【００２１】
【図１Ａ】デコーディング部でリミックスされるオブジェクトに対応するステレオ信号及びＭ個のソース信号をエンコーディングするためのエンコーディングシステムの一実施例を示すブロック図である。
【図１Ｂ】デコーディング部でリミックスされるオブジェクトに対応するステレオ信号及びＭ個のソース信号をエンコーディングするためのプロセスの一実施例を示す流れ図である。
【図２】ステレオ信号及びＭ個のソース信号を処理及び分析するための時間−周波数グラフである。
【図３Ａ】原ステレオ信号及び付加情報を用いてリミックスされるステレオ信号を推定するためのリミキシングシステムの一実施例を示すブロック図である。
【図３Ｂ】図３Ａに示すリミックスシステムを用いてリミックスされるステレオ信号を推定するためのプロセスの一実施例を示す流れ図である。
【図４】インデックスｂを持つパーティションに属したＳＴＦＴ（ｓｈｏｒｔ−ｔｉｍｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）係数のインデックスｉを示す図である。
【図５】人間音声システムの一定でない周波数分解能を摸倣するために一定のＳＴＦＴスペクトラムのスペクトル係数のグルーピングを示す図である。
【図６Ａ】通常のステレオオーディオエンコーディング部と結合された図１のエンコーディングシステムの一実施例を示すブロック図である。
【図６Ｂ】通常のステレオオーディオエンコーディング部と結合された図１Ａのエンコーディングシステムを用いたエンコーディングプロセスの一実施例を示す流れ図である。
【図７Ａ】通常のステレオオーディオデコーディング部と結合された図３Ａのリミキシングシステムの一実施例を示すブロック図である。
【図７Ｂ】ステレオオーディオデコーディング部と結合された図７Ａのリミキシングシステムを用いたリミックスプロセスの一実施例を示す流れ図である。
【図８Ａ】全体的にブラインド付加情報生成を実行するエンコーディングシステムの一実施例を示すブロック図である。
【図８Ｂ】図８Ａのエンコーディングシステムを用いたエンコーディングプロセスの一実施例を示す流れ図である。
【図９】所定のソースレベル差Ｌi＝ＬｄＢにおけるゲイン関数ｆ（Ｍ）の例を示す図である。
【図１０】部分的なブラインド生成技術を用いた付加情報生成プロセスの一実施例を示す図である。
【図１１】リミキシング性能を持つオーディオ装置にステレオ信号及びＭ個のソース信号及び／または付加情報を提供するためのクライアント／サーバ構成（ａｒｃｈｉｔｅｃｔｕｒｅ）の一実施例を示すブロック図である。
【図１２】リミックス性能を持つメディアプレーヤーにおけるユーザインタフェースの一実施例を示す図である。
【図１３】ＳＡＯＣ（ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ）デコーディング及びリミックスデコーディングを結合したデコーディングシステムの一実施例を示す図である。
【図１４Ａ】ＳＤＶ（Ｓｅｐａｒａｔｅ  Ｄｉａｌｏｇｕｅ  Ｖｏｌｕｍｅ）における一般的なミキシングモデルを示す図である。
【図１４Ｂ】ＳＤＶ及びリミックス技術を結合したシステムの一実施例を示す図である。
【図１５】図１４Ｂに示すｅｑ−ミックス（ｅｑ−ｍｉｘ）レンダリング部の一実施例を示す図である。
【図１６】図１〜図１５を参照して説明されたリミックス技術における分配システムの一実施例を示す図である。
【図１７Ａ】リミックス情報を提供するための様々なビットストリームの一実施例における成分を示す図である。
【図１７Ｂ】図１７Ａに示すビットストリームを生成するためのリミックスエンコーディング部インタフェースの一実施例を示す図である。
【図１７Ｃ】図１７Ｂに示すエンコーディング部インタフェースにより生成されたビットストリームを受信するためのリミックスデコーディング部インタフェースの一実施例を示す図である。
【図１８】所定のオブジェクト信号においてエンハンスされたリミックス性能を提供する追加的な付加情報を生成するための拡張（ｅｘｔｅｎｓｉｏｎ）を含むシステムの一実施例を示すブロック図である。
【図１９】図１８に示すリミックスレンダリング部の一実施例を示すブロック図である。
【発明を実施するための形態】
【００２２】
Ｉ．リミキシングステレオ信号
【００２３】
図１Ａは、デコーディング部でリミックスされるオブジェクトに対応するステレオ信号及びＭ個のソース信号をエンコーディングするためのエンコーディングシステム１００の一実施例を示すブロック図である。一部の実施例において、エンコーディングシステム１００は、たいてい、フィルタバンクアレイ１０２、付加情報生成器１０４及びエンコーディング部１０６を含む。
【００２４】
Ａ．原（Ｏｒｉｇｉｎａｌ）及び所定のリミックスされた信号
【００２５】
【数１】
2010507927.tif 000003
【００２６】
【数２】
2010507927.tif 000004
【００２７】
【数３】
2010507927.tif 000005
【００２８】
【数４】
2010507927.tif 000006
【００２９】
一部の実施例において、上記のエンコーディングシステム１００は、原ステレオオーディオ信号（以下、“ステレオ信号”ともいう。）を修正するための情報（以下、“付加情報”ともいう。）を提供または生成し、Ｍ個のソース信号は異なるゲインファクタでステレオ信号に“リミックス”される。該所定の修正されたステレオ信号は、式２で表現されることができる。
【００３０】
【数５】
2010507927.tif 000007
【００３１】
ここで、ｃi及びｄiは、Ｍ個のソース信号（すなわち、インデックス１，２，…，Ｍを持つソース信号）がリミックスされるための新しいゲインファクタ（以下、“ミキシングゲイン”または“ミキシングパラメータ”ともいう。）を表す。
【００３２】
該エンコーディングシステム１００の目的は、原ステレオ信号のみで与えられたステレオ信号と少ない付加情報（例えば、前記ステレオ信号波形内に含まれた情報と比較して小さい情報）とをリミキシングするための情報を提供したり生成することである。このエンコーディングシステム１００により提供されたり生成された付加情報は、上記の式１で与えられた上記の式２の所定の修正されたステレオ信号を知覚的に（ｐｅｒｃｅｐｔｕａｌｌｙ）摸倣するためにデコーディング部で用いられることができる。エンコーディングシステム１００で、付加情報生成器１０４は原ステレオ信号をリミキシングするための付加情報を生成し、デコーディングシステム３００（図３Ａ）は、付加情報及び原ステレオ信号を用いて所定のリミックスされたステレオオーディオ信号を生成する。
【００３３】
Ｂ．エンコーディング部プロセシング
【００３４】
再び図１Ａを参照すると、原ステレオ信号及びＭ個のソース信号は、フィルタバンクアレイ１０２内に入力として提供されることができる。原ステレオ信号は、エンコーディング部１０２から直接出力される。一部の実施例において、エンコーディング部１０２から直接出力されたステレオ信号は、付加情報ビットストリームと同期化（ｓｙｎｃｈｒｏｎｉｚｅ）するように遅延されることができる。他の実施例において、該ステレオ信号出力は、デコーディング部で付加情報と同期化することができる。一部の実施例において、エンコーディングシステム１００は、時間及び周波数の関数として信号統計学に適応させることができる。したがって、分析及び合成のために、図４及び図５に示すように、ステレオ信号及びＭ個のソース信号は、時間−周波数表現で処理されることができる。
【００３５】
図１Ｂは、デコーディング部でリミックスされるオブジェクトに対応するステレオ信号及びＭ個のソース信号をエンコーディングするためのプロセス１０８の一実施例を示す流れ図である。入力ステレオ信号及びＭ個のソース信号はサブバンドに分解される（１１０）。一部の実施例において、該分解はフィルタバンクアレイで行われる。各サブバンドにおいて、ゲインファクタは、より詳細に後述されるが、Ｍ個のソース信号に対して推定される（１１２）。各サブバンドにおいて、短期パワー推定値（ｓｈｏｒｔ−ｔｉｍｅ  ｐｏｗｅｒ  ｅｓｔｉｍａｔｅｓ）は、後述するように、Ｍ個のソース信号に対して計算される（１１４）。これら推定されたゲインファクタ及びサブバンドパワーは、付加情報を生成するために量子化及びエンコーディングされることができる（１１６）。
【００３６】
図２は、ステレオ信号及びＭ個のソース信号を分析及び処理するための時間−周波数グラフを示す。このグラフにおいて、ｙ軸は周波数を表し、複数の不定のサブバンド２０２に分けられる。ｘ軸は時間を表し、時間スロット２０４に分けられる。図２で、点線で表示されたボックスのそれぞれは、個別のサブバンド及び時間スロット対を表す。したがって、与えられた時間スロット２０４において、時間スロット２０４に対応する１つ以上のサブバンド２０２はグループ２０６として処理されることができる。一部の実施例において、図４及び図５を参照して説明されるように、サブバンド２０２の幅は、人間聴覚システムと関連した認知限界に基づいて選択される。
【００３７】
一部の実施例において、入力ステレオ信号及びＭ個の入力ソース信号は、フィルタバンクアレイ１０２により複数のサブバンド２０２に分解される。各中心周波数でこれらのサブバンド２０２は同様に処理されることができる。これらステレオオーディオ入力信号のサブバンド対は、特定の周波数で、ｘ1(ｋ)及びｘ2(ｋ)で表示され、ここで、ｋはサブバンド信号のダウンサンプリングされた時間インデックスである。同様に、Ｍ個の入力ソース信号における対応するサブバンド信号はｓ1(ｋ)、ｓ1(ｋ)，…，ｓM(ｋ)で表示される。表示の単純化のためにサブバンドにおけるインデックスをこの例では省くものとする。ダウンサンプリングについて、より低いサンプリングレートを持つサブバンド信号が効率のために用いられることができる。たいてい、フィルタバンク及びＳＴＦＴは效果的にサブサンプリングされた信号（またはスペクトル係数）を持つ。
【００３８】
一部の実施例において、インデックスｉを持つソース信号をリミキシングするのに必要な付加情報は、ゲインファクタａi及びｂi、及び各サブバンドにおける時間の関数としての該サブバンド信号のパワーの推定値Ｅ｛ｓi2(ｋ)｝を含む。該ゲインファクタａi及びｂiは（該ステレオ信号の知識が知られると）与えられたり、推定されたりすることができる。多くのステレオ信号において、ａi及びｂiは固定的である。ａiまたはｂiが時間ｋの関数として変わるとしたら、これらゲインファクタは時間の関数として推定されることができる。付加情報を生成するためにサブバンドパワーの平均または推定を利用する必要がない。むしろ、一部の実施例において、実質的なサブバンドパワーｓi2がパワー推定値として用いられることができる。
【００３９】
一部の実施例において、短期サブバンドパワー（ｓｈｏｒｔ−ｔｉｍｅ  ｓｕｂｂａｎｄ  ｐｏｗｅｒ）は単極平均（ｓｉｎｇｌｅ−ｐｏｌｅ  ａｖｅｒａｇｉｎｇ）を用いて推定されることができ、ここで、Ｅ｛ｓ12(ｋ)｝は、下記の式３で計算できる。
【００４０】
【数６】
2010507927.tif 000008
【００４１】
ここで、α∈［０，１］は、指数的に減少する予測ウィンド（ｅｘｐｏｎｅｎｔｉａｌｌｙ  ｄｅｃａｙｉｎｇ  ｅｓｔｉｍａｔｉｏｎ  ｗｉｎｄｏｗ）の時間定数である下記の式４を決定する。
【００４２】
【数７】
2010507927.tif 000009
【００４３】
ここで、ｆsは、サブバンドサンプリング周波数を表示する。Ｔの適切な値は、例えば４０ｍｓ（ｍｉｌｌｉｓｅｃｏｎｄ）である。続く式において、Ｅ｛．｝は一般的に単極平均を表す。
【００４４】
一部の実施例において、付加情報ａi、ｂiの一部または全部及びＥ｛ｓi2(ｋ)｝は、ステレオ信号として同一メディアに提供されることができる。例えば、音楽出版社、録音スタジオ、録音アーティストなどは、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、フラッシュドライブなどに対応するステレオ信号を持つ付加情報を提供することができる。一部の実施例において、ステレオ信号のビットストリームに当該付加情報を埋め込み（ｅｍｂｅｄｄｉｎｇ）したり、分解されたビットストリームで当該付加情報を転送することによって、該付加情報の一部または全部はネットワーク（例えば、インターネット、イーサネット（登録商標）、無線ネットワーク）を通じて提供されることができる。
【００４５】
【数８】
2010507927.tif 000010
【００４６】
【数９】
2010507927.tif 000011
【００４７】
同様に、ｂiは、下記の式６で計算されることができる。
【００４８】
【数１０】
2010507927.tif 000012
【００４９】
ａi及びｂiが時間内に適応（ａｄａｐｔｉｖｅ）されると、Ｅ｛．｝オペレータは短期平均動作を表す。一方、ゲインファクタａi及びｂiが固定的であると、全体的にステレオオーディオ信号を考慮することによってこれらのゲインファクタが計算されることができる。一部の実施例において、ゲインファクタａi及びｂiは、各サブバンドにおいて独立的に推定されることができる。上記の式５及び式６で、ｓiはステレオチャネルｘ1及びｘ2に含まれるので、一般的にソース信号ｓi及びステレオチャネルｘ1及びｘ2ではなくソース信号ｓiが独立しているということに注目されたい。
【００５０】
一部の実施例において、付加情報（例えば、低いビットレートビットストリーム）を形成するように各サブバンドにおいて短期パワー推定及びゲインファクタは量子化され、エンコーディング部１０６によりエンコーディングされる。これらの値は、直接的に量子化されてコーディングされることはできないが、図４及び図５を参照して説明される通り、最初は量子化及びコーディングに一層適当な他の値に変換されることができる。一部の実施例において、図６及び図７を参照して説明する通り、通常のオーディオコーディング部がステレオオーディオ信号を效果的にコーディングするのに用いられる場合に、変化に対してエンコーディングシステム１００をロバスト（ｒｏｂｕｓｔ）にするために、Ｅ｛ｓi2(ｋ)｝は、当該入力ステレオオーディオ信号のサブバンドパワーに対して正規化されることができる。
【００５１】
Ｃ．デコーディング部プロセシング（Ｄｅｃｏｄｅｒ  Ｐｒｏｃｅｓｓｉｎｇ）
【００５２】
図３Ａは、原ステレオ信号及び付加情報を用いてリミックスされたステレオ信号を推定するためのリミキシングシステム３００の一実施例を示すブロック図である。一部の実施例において、リミキシングシステム３００は、一般的にフィルタバンクアレイ３０２、デコーディング部３０４、リミックスモジュール３０６及び逆フィルタバンクアレイ３０８を含む。
【００５３】
リミックスされたステレオオーディオ信号の推定は、多くのサブバンドで独立して実行されることができる。付加情報は、Ｍ個のソース信号がステレオ信号に含まれるゲインファクタａi及びｂi、及びサブバンドパワーＥ｛ｓi2(ｋ)｝を含む。該所定のリミックスされたステレオ信号のミキシングゲインまたは新しいゲインファクタは、ｃi及びｄiで表示される。これらのミキシングゲインｃi及びｄiは、図１２で説明される通り、オーディオ装置のユーザインタフェースを通じてユーザにより指定されることができる。
【００５４】
一部の実施例において、入力ステレオ信号は、特定の周波数におけるサブバンド対がｘ1(ｋ)及びｘ2(ｋ)で表示される、フィルタバンクアレイ３０２によりサブバンドに分解される。図３Ａに示すように、付加情報は、デコーディング部３０４によりデコーディングされ、リミックスされるＭ個のソース信号のそれぞれに関する入力ステレオ出力に含まれたゲインファクタａi及びｂi、及び各サブバンドに関するパワー推定値であるＥ｛ｓi2(ｋ)｝を獲得する。付加情報のデコーディングは、図４及び図５でより詳細に説明される。
【００５５】
付加情報が与えられると、リミックスされたステレオオーディオ信号の対応するサブバンド対は、該リミックスされたステレオ信号のミキシングゲインであるｃi及びｄiの関数としてリミックスモジュール３０６により推定されることができる。逆フィルタバンクアレイ３０８は、リミックスされた時間ドメインステレオ信号を提供すべく、推定されたサブバンド対に適用される。
【００５６】
図３Ｂは、図３Ａのリミキシングシステムを用いてリミックスされたステレオ信号を推定するためのリミックスプロセス（３１０）の一実施例を示す流れ図である。入力ステレオ信号は、サブバンド対に分解される（３１２）。付加情報は、サブバンド対のためにデコーディングされる（３１４）。これらのサブバンド対は、付加情報及びミキシングゲインを用いてリミックスされる（３１８）。一部の実施例において、図１２で説明される通り、ミキシングゲインは、ユーザにより提供される。これらのミキシングゲインは、アプリケーション、オペレーティングシステムなどによりプログラムとして提供されても良い。これらのミキシングゲインは、図１１で説明される通り、ネットワーク（例えば、インターネット、イーサネット（登録商標）、無線ネットワーク）を通じても提供されることができる。
【００５７】
Ｄ．リミキシングプロセス（Ｔｈｅ  Ｒｅｍｉｘｉｎｇ  Ｐｒｏｃｅｓｓ）
【００５８】
一部の実施例において、リミックスされたステレオ信号は、最小二乗推定（ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｅｓｔｉｍａｔｉｏｎ）を用いて数学的なセンスで近似されることができる。選択的に、この推定を修正するために知覚的な考察が用いられることができる。
【００５９】
式１及び２はそれぞれ、サブバンド対であるｘ1(ｋ)及びｘ2(ｋ)、そしてｙ1(ｋ)及びｙ2(ｋ)のためにも用意される。この場合に、ソース信号は、ソースサブバンド信号であるｓi(ｋ)に取り替えられる。
【００６０】
ステレオ信号のサブバンド対は、下記の式７で与えられる。
【００６１】
【数１１】
2010507927.tif 000013
【００６２】
そして、リミックスされたステレオオーディオ信号のサブバンド対は、下記の式８で与えられる。
【００６３】
【数１２】
2010507927.tif 000014
【００６４】
原ステレオ信号のサブバンド対であるｘ1(ｋ)及びｘ2(ｋ)が与えられると、該左側及び右側の源ステレオサブバンド対の線形組合せとして、相異なるゲインを持つステレオ信号のサブバンド対が推定されることができる。
【００６５】
【数１３】
2010507927.tif 000015
【００６６】
ここで、ｗ11(ｋ)、ｗ12(ｋ)、ｗ21(ｋ)及びｗ22(ｋ)は、実数重みファクタである。
推定エラーは、下記の式１０で定義される。
【００６７】
【数１４】
2010507927.tif 000016
【００６８】
平均二乗誤差（ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ）であるＥ｛ｅ12(ｋ)｝とＥ｛ｅ22(ｋ)｝が最小となるように、各周波数におけるサブバンドにおいて、各時間ｋで重み値ｗ11(ｋ)、ｗ12(ｋ)、ｗ21(ｋ)及びｗ22(ｋ)が計算されることができる。ｗ11(ｋ)及びｗ12(ｋ)を計算すべく、エラーｅ1(ｋ)がｘ1(ｋ)及びｘ2(ｋ)と直交する場合、すなわち、下記の式１１が成立する場合に、Ｅ｛ｅ12(ｋ)｝が最小になるということに注目しなければならない。
【００６９】
【数１５】
2010507927.tif 000017
【００７０】
表示の便宜のために時間インデックスｋは省略されたということに注目する。
【００７１】
書き直したこれらの式は、下記の式１２を生成する。
【００７２】
【数１６】
2010507927.tif 000018
【００７３】
上記のゲインファクタは、下記の式１３の線形方程式の解である。
【００７４】
【数１７】
2010507927.tif 000019
【００７５】
Ｅ｛ｘ12｝、Ｅ｛ｘ22｝及びＥ｛ｘ1ｘ2｝が、デコーディング部入力ステレオ信号サブバンド対が与えられると直接推定されることができるが、Ｅ｛ｘ1ｙ1｝及びＥ｛ｘ2ｙ2｝は、所定のリミックスされたステレオ信号のミキシングゲインであるｃi及びｄi、及び付加情報Ｅ｛ｓ12｝，ａi，ｂiを用いて推定されることができる。
【００７６】
【数１８】
2010507927.tif 000020
【００７７】
同様に、ｗ21及びｗ22は計算されることができ、結果的に下記の式１６を持つ下記の式１５となる。
【００７８】
【数１９】
2010507927.tif 000021
【００７９】
【数２０】
2010507927.tif 000022
【００８０】
左側及び右側サブバンド信号がコヒーレント（ｃｏｈｅｒｅｎｔ）されたり、殆どコヒーレントされる場合、すなわち、下記の式１７でΦが１に近づくと、重み値の解は唯一でないか不良状態（ｉｌｌ−ｃｏｎｄｉｔｉｏｎｅｄ）となる。
【００８１】
【数２１】
2010507927.tif 000023
【００８２】
したがって、Φが特定の臨界値（例えば、０．９５）よりも大きいと、重み値は、例えば下記の式１８のように計算されることができる。
【００８３】
【数２２】
2010507927.tif 000024
【００８４】
Φ＝１という仮定の下に、式１８は、上記異なる二つの重み値における同一直交方程式システム及び上記の式１２を満たす唯一でない解のうちの１つである。上記の式１７内のコヒーレンス（ｃｏｈｅｒｅｎｃｅ）は、ｘ1及びｘ2が互いにどれくらい同一かを判断するのに用いられる。該コヒーレンスが０であると、ｘ1及びｘ2は独立している。コヒーレンスが１であると、ｘ1及びｘ2は類似している（ただし、異なるレベルを有しても良い）。ｘ1及びｘ2が非常に類似している（コヒーレンスが１に近似する）と、該二つのチャネルウィナー計算（Ｗｉｅｎｅｒ  ｃｏｍｐｕｔａｔｉｏｎ）（４個の重み値計算）は不良状態である。上記臨界値の例示範囲は、約０．４〜約１．０である。
【００８５】
計算されたサブバンド信号を時間ドメインに変換することによって獲得された最終リミックスされたステレオ信号は、相異なるリミキシングゲインｃi及びｄiで精密にリミックスされたようなステレオ信号（以下では“所定の信号（ｄｅｓｉｒｅｄ  ｓｉｇｎａｌ）”という。）と類似に聞こえる。一方、数学的に、これは、計算されたサブバンド信号が、精密に異なってミックスされたサブバンド信号と類似することを要求する。これは、特定の度合までの場合である。上記推定は、認知的に動機づけられたサブバンドドメインで実行されるから、類似の必要性は相対的に弱い。上記認知的に関連したローカリゼーションキュー（ｌｏｃａｌｉｚａｔｉｏｎ  ｃｕｅ）（例えば、レベル差及びコヒーレンスキュー）が十分に類似している限り、計算されたリミックスされたステレオ信号は所定の信号と略同様に聞こえるはずである。
【００８６】
Ｅ．選択的：レベル差キューの調節
【００８７】
一部の実施例において、本明細書に説明されたプロセシングが用いられると、良い結果を得ることができる。それにも拘わらず、当該重要なレベル差ローカリゼーションキーが所定の信号のレベル差キューに非常に近接するのを保障する目的で、サブバンドのポスト−スケーリング（ｐｏｓｔ−ｓｃａｌｉｎｇ）が、重要なレベル差ローカリゼーションキューが所定の信号のレベル差キューと一致するのを保障するように該レベル差キューを“調節”するのに適用されることができる。
【００８８】
上記の式９における最小二乗サブバンド信号推定値の修正のために、サブバンドパワーが考慮される。サブバンドパワーが正確であると、重要な空間キューレベル差も正確になるわけである。上記の式８の所定の信号の左側サブバンドパワーは下記の式１９で表され、上記の式９からの推定値のサブバンドパワーは下記の式２０で表される。
【００８９】
【数２３】
2010507927.tif 000025
【数２４】
2010507927.tif 000026
【００９０】
【数２５】
2010507927.tif 000027
【００９１】
【数２６】
2010507927.tif 000028
【００９２】
【数２７】
2010507927.tif 000029
【００９３】
【数２８】
2010507927.tif 000030
【００９４】
II．付加情報の量子化及びコーディング
【００９５】
Ａ．エンコーディング
以前セクションで説明された通り、インデックスｉを持つソース信号をリミキシングする上で必要な付加情報は、ファクタａi及びｂi、及び各サブバンドにおいて時間の関数としてのパワーＥ｛ｓ12(ｋ)｝である。一部の実施例において、これらゲインファクタａi及びｂiにおける対応するゲイン及びレベル差は、下記の式２３のようにｄＢで計算されることができる。
【００９６】
【数２９】
2010507927.tif 000031
【００９７】
一部の実施例において、上記ゲイン及びレベル差値は量子化され、ハフマンコーディングされる。例えば、２ｄＢ量子化器ステップサイズを持つ同一量子化器（ｕｎｉｆｏｒｍ  ｑｕａｎｔｉｚｅｒ）及び１次元ハフマンコーディング部が、量子化及びコーディングのためにそれぞれ用いられることができる。他の知られた量子化器及びコーディング部が用いられても良い（例えば、ベクトル量子化器）。
【００９８】
ａi及びｂiが時間不変（ｔｉｍｅ  ｉｎｖａｒｉａｎｔ）であり、付加情報が確実にデコーディング部に到達するとすれば、対応するコーディングされた値はただ一度転送される必要がある。そうでないと、ａi及びｂiは規則的な時間間隔でまたはトリガーイベント（例えば、コーディングされた値が変わる毎に）に応じて転送されることができる。
【００９９】
ステレオ信号のコーディングによるパワー損失／ゲイン及びステレオ信号のスケーリングに強くなるべく、一部の実施例で、サブバンドパワーＥ｛ｓi2(ｋ)｝は付加情報として直接コーディングされない。むしろ、ステレオ信号に比例して定義された値が用いられることができる。
【０１００】
【数３０】
2010507927.tif 000032
【０１０１】
複数の信号においてＥ｛．｝を計算するためには、同一の推定ウィンド／時間定数を用いることが有利である。上記の式２４の相対的なパワー値として付加情報を定義することは、必要に応じて、エンコーディング部よりもデコーディング部で相異なる推定ウィンド／時間定数が用いられることができるという点でメリットがある。また、付加情報及びステレオ信号間の時間ずれ（ｔｉｍｅ  ｍｉｓａｌｉｇｎｍｅｎｔ）の効果は、ソースパワーが絶対値として転送されうる場合と比べて減少する。Ａi(ｋ)を量子化及びコーディングするために、一部の実施例において、例えば２ｄＢのステップサイズ及び一次元ハフマンコーディング部を持つ同一量子化器が用いられる。最終的なビットレートは、リミックスされたオーディオオブジェクトにつき約３ｋｂ／ｓ（秒当たりキロビット）だけ少なくなることができる。
【０１０２】
一部の実施例において、デコーディング部でリミックスされるオブジェクトに対応する入力ソース信号が無音（ｓｉｌｅｎｔ）である場合、ビットレートは減少することができる。エンコーディング部のコーディングモードは無音オブジェクトを感知し、当該オブジェクトが無音か否かを表す情報（例えば、フレーム当たり単一ビット）をデコーディング部に転送できる。
【０１０３】
Ｂ．デコーディング
【０１０４】
上記式２３及び式２４のハフマンデコーディングされた（量子化された）値が与えられると、リミキシングのために必要な値は下記の式２５で計算されることができる。
【０１０５】
【数３１】
2010507927.tif 000033
【０１０６】
III ．実施例の詳細
【０１０７】
Ａ．時間−周波数プロセシング
【０１０８】
一部の実施例において、ＳＴＦＴ（ｓｈｏｒｔ−ｔｅｒｍ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）基盤プロセシングが、図１〜図３を参照して説明されたエンコーディング／デコーディングシステムにおいて用いられる。ＱＭＦ（ｑｕａｄｒａｔｕｒｅ  ｍｉｒｒｏｒ  ｆｉｌｔｅｒ）フィルタバンク、ＭＤＣＴ（ｍｏｄｉｆｉｅｄ  ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）ウェーブレットフィルタバンク（ｗａｖｅｌｅｔ  ｆｉｌｔｅｒｂａｎｋ）などを含むが、これらに限定されず、他の時間−周波数変換が所定の結果を達成するために用いられることができる。
【０１０９】
分析プロセシング（例えば、フォワードフィルタバンク動作）のために、一部の実施例において、Ｎ個のポイントＤＦＴ（ｐｏｉｎｔ  ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）または高速フーリエ変換（ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）が適用される前に、Ｎ個のサンプルのフレームがウィンドと乗算されることができる。一部の実施例において、下記の式２６のサインウィンド（ｓｉｎｅ  ｗｉｎｄｏｗ）が用いられることができる。
【０１１０】
【数３２】
2010507927.tif 000034
【０１１１】
該プロセシングブロックサイズがＤＦＴ／ＦＦＴサイズと異なると、一部の実施例において、ゼロパッディング（ｚｅｒｏ  ｐａｄｄｉｎｇ）がＮ個よりも少ないウィンドを持つように效果的に用いられることができる。上記の分析プロセシングは、例えば、５０％ウィンドオーバーラップを引き起こすＮ／２サンプル（ウィンドホップサイズ（ｗｉｎｄｏｗ  ｈｏｐ  ｓｉｚｅ）と等しい）ごとに反復されることができる。他のウィンド関数及び百分率オーバーラップが所定の結果を達成するために用いられることができる。
【０１１２】
ＳＴＦＴスペクトルドメインを時間ドメインに変換するために、逆ＤＦＴまたはＦＦＴが当該スペクトルに適用されることができる。この最終信号は、上記の式２６に説明されたウィンドと再び乗算され、このウィンドとの乗算より生成された隣接信号ブロックは、連続した時間ドメイン信号を獲得するよう、加えられたオーバーラップと結合される。
【０１１３】
一部の場合において、ＳＴＦＴの同一スペクトル分解能は、人間の認知に良く合わない場合もありうる。その場合、個別的に各ＳＴＦＴ周波数係数を処理するのとは反対に、１つのグループが空間オーディオプロセシングのための適切な周波数分解であるＥＲＢ（ｅｑｕｉｖａｌｅｎｔ  ｒｅｃｔａｎｇｕｌａｒ  ｂａｎｄｗｉｄｔｈ）の約２倍の帯域幅を持つようにそれらＳＴＦＴ係数が“グルーピング”されることができる。
【０１１４】
図４には、インデックスｂを持つパーティションに属したＳＴＦＴのインデックスｉを示す。一部の実施例において、スペクトラムの第１のＮ／２＋１スペクトル係数のみが考慮される。インデックスｂ（１≦ｂ≦Ｂ）を持つ当該パーティションに属しているＳＴＦＴ係数のインデックスであるｉは、図４に示すように、Ａ0＝０であるｉ∈｛Ａb-1，Ａb-1+1，…，Ａb｝を満たす。これらパーティションのスペクトル係数により表現される信号は、エンコーディングシステムにより用いられる認知的に動機づけられたサブバンド分解と一致する。したがって、それぞれのこのようなパーティション内に、上述したプロセシングが該パーティション内のＳＴＦＴ係数に合同で適用される。
【０１１５】
図５には、人間音声システムの不均一（ｎｏｎ−ｕｎｉｆｏｒｍ）周波数分解を摸倣するための同一ＳＴＦＴスペクトラムのスペクトル係数のグルーピングを例示する。図５で、約２ＥＲＢの帯域幅を持つ各パーティションは、４４．１ｋＨｚのサンプリングレートにおいてＮ＝１０２４、及びパーティションの数Ｂ＝２０を有する。ナイキスト周波数でのカットオフにより最後のパーティションは二つのＥＲＢよりも小さいということに注目する。
【０１１６】
Ｂ．統計的データの推定（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｄａｔａ）
【０１１７】
二つのＳＴＦＴ係数ｘi(ｋ)及びｘj(ｋ)が与えられると、リミックスされたステレオオーディオ信号を計算するのに必要な値Ｅ｛ｘi(ｋ)ｘj(ｋ)｝が反復して推定されることができる。この場合に、サブバンドサンプリング周波数ｆsは、ＳＴＦＴスペクトラムが計算される時間周波数（ｔｅｍｐｏｒａｌ  ｆｒｅｑｕｅｎｃｙ）である。各認知的パーティションのための（各ＳＴＦＴ係数のためのものではなく）推定値を得るべく、これら推定された値はさらに用いられる前に当該パーティション内に配置されることができる。
【０１１８】
上のセクションで説明されたプロセシングは、それが１つのサブバンドであるかのように各パーティションに適用されることができる。周波数間の突然なプロセシング変化を避ける目的で、パーティション同士間のスムージング（ｓｍｏｏｔｈｉｎｇ）が、例えばスペクトラムウィンドをオーバーラッピングすることを用いて達成でき、よって、雑音（ａｒｔｉｆａｃｔ）を減らすことができる。
【０１１９】
Ｃ．通常のオーディオコーディング部との組合せ
【０１２０】
図６Ａは、通常のステレオオーディオエンコーディング部と結合された図１Ａのエンコーディングシステム１００の一実施例を示すブロック図である。一部の実施例において、結合されたエンコーディングシステム６００は、通常のオーディオエンコーディング部６０２、提案されたエンコーディング部６０４（例えば、エンコーディングシステム１００）、及びビットストリームコンバイナ６０６を含む。この実施例において、ステレオオーディオ入力信号は、図１〜図５を参照して説明された通り、通常のオーディオエンコーディング部６０２（例えば、ＭＰ３、ＡＡＣ、ＭＰＥＧサラウンド等）によりエンコーディングされ、付加情報を提供するための提案されたエンコーディング部６０４により分析される。逆方向互換可能なビットストリームを提供すべく、これら両方の結果ビットストリームはビットストリームコンバイナ６０６により結合される。一部の実施例において、結果ビットストリームを結合することは、低いビットレート付加情報（例えば、ゲインファクタａi、ｂi及びサブバンドパワーＥ｛ｓi2(ｋ)｝）を、逆方向互換可能なビットストリーム中に埋め込む（ｅｍｂｅｄｄｉｎｇ）ことを含む。
【０１２１】
図６Ｂは、通常のステレオオーディオエンコーディング部と結合された図１Ａのエンコーディングシステム１００を用いたエンコーディングプロセス（６０８）の一実施例を示す流れ図である。入力ステレオ信号は、通常のステレオオーディオエンコーディング部でエンコーディングされる（６１０）。付加情報は、図１Ａのエンコーディングシステム１００で、ステレオ信号及びＭ個のソース信号より生成される（６１２）。該エンコーディングされたステレオ信号及び付加情報を含む１つ以上の逆方向互換可能なビットストリームが生成される（６１４）。
【０１２２】
図７Ａは、通常のステレオオーディオデコーディング部と図３Ａのリミキシングシステム３００が結合され、結合システム７００を提供する一実施例を示すブロック図である。一部の実施例において、結合されたシステム７００は、一般的にビットストリームパーサー（ｐａｒｓｅｒ）、通常のオーディオデコーディング部７０４（例えば、ＭＰ３、ＡＡＣ）、及び提案されたデコーディング部（７０６）を含む。一部の実施例では、提案されたデコーディング部７０６は、図３Ａのリミキシングシステム３００とする。
【０１２３】
この実施例で、ビットストリームは、リミキシング性能を提供するように、提案されたデコーディング部７０６により要求される付加情報を含むビットストリームとステレオオーディオビットストリームとに分解される。該ステレオ信号は、通常のオーディオデコーディング部７０４によりデコーディングされたのち、ビットストリーム及びユーザ入力（例えば、ミキシングゲインｃi及びｄi）から獲得された付加情報の関数としてステレオ信号を修正する提案されたデコーディング部７０６に提供される。
【０１２４】
図７Ｂは、図７Ａの結合されたシステム７００を用いたリミックスプロセス（７０８）の一実施例を示すブロック図である。エンコーディング部から受信したビットストリームは、エンコーディングされたステレオ信号ビットストリーム及び付加情報として提供されるように分析される（７１０）。該エンコーディングされたステレオ信号は、通常のオーディオデコーディング部７１２でデコーディングされる。デコーディング部の例には、ＭＰ３、ＡＡＣ（ＡＡＣの数多くの標準化したプロファイルを含む）、パラメトリックステレオ、ＳＢＲ（ｓｐｅｃｔｒａｌ  ｂａｎｄ  ｒｅｐｌｉｃａｔｉｏｎ）、ＭＰＥＧサラウンドまたはこれらの組合せが含まれる。該デコーディングされたステレオ信号は、付加情報及びユーザ入力（例えば、ｃi及びｄi）によってリミックスされる。
【０１２５】
IV．マルチチャネルオーディオ信号のリミキシング
【０１２６】
一部の実施例において、上のセクションで説明されたエンコーディング及びリミキシングシステム１００，３００は、リミキシングマルチチャネルオーディオ信号（例えば、５．１サラウンド信号）まで拡張されることができる。ここで、ステレオ信号及びマルチチャネル信号は“複数チャネル（ｐｌｕｒａｌ−ｃｈａｎｎｅｌ）”信号とも言及される。この分野における通常の知識を持つ者には、マルチチャネルエンコーディング／デコーディングスキーム（ｓｃｈｅｍｅ）において、すなわち、Ｃがリミックスされた信号のオーディオチャネルの数である二つ以上の信号ｘ1(ｋ)、ｘ2(ｋ)、ｘ3(ｋ)、…、ｘc(ｋ)において、上記の式７〜式２２を書き直す（ｒｅｗｒｉｔｅ）方法がわかる。
【０１２７】
マルチチャネルの場合において、上記の式９は下記の式２７となる。
【０１２８】
【数３３】
2010507927.tif 000035
【０１２９】
Ｃ個の式を持つ上記の式１１に類似する式が導き出されることができ、前述したように、重み値を決定するために解かれることができる。
【０１３０】
一部の実施例において、特定チャネルは処理されずに残っていることができる。例えば、５．１サラウンドにおいて、二つの後方チャネルは処理されずに残っていることができ、リミキシングは前方左側、右側、中心チャネルにのみ適用される。この場合に、三つのチャネルリミキシングアルゴリズムはこれら前方チャネルに適用されることができる。
【０１３１】
前述したリミキシングスキームより生成されるオーディオ品質は、行われた修正の特性による。相対的に弱い修正、例えば、０ｄＢ〜１５ｄＢのパンニング変化または１０ｄＢのゲイン修正において、結果オーディオ品質は通常の技術により達成されるものよりも良好になりうる。また、所望のリミキシングを達成するのに不可欠なものとしてステレオ信号が修正されるので、該提案された前述のリミキシングスキームの品質は、通常のリミキシングスキームのそれに比べて一層高くなることができる。
【０１３２】
本明細書に開示されたリミキシングスキームは、通常の技術を越えて数個の利点を提供する。まず、与えられたステレオまたはマルチチャネルオーディオ信号内の全体オブジェクトの数よりも少ないリミキシングを許容する。これは、与えられたステレオオーディオ信号とＭ個のオブジェクトを表すＭ個のソース信号の関数として付加情報を推定することによって達成でき、デコーディング部におけるリミキシングを可能にする。該開示されたリミキシングシステムは、実に相異なってミックスされたステレオ信号と認知的に類似するステレオ信号を生成すべく、ユーザ入力（所望のリミキシング）の関数として及び付加情報の関数として当該与えられたステレオ信号を処理する。
【０１３３】
Ｖ．基本的なリミキシングスキームまでの拡張
【０１３４】
Ａ．付加情報プリプロセシング
サブバンドが隣り合うサブバンドに対して非常に弱まる場合、オーディオ雑音が発生することができる。したがって、最大の弱化（ａｔｔｅｎｕａｔｉｏｎ）を制限することが好ましい。さらに、ステレオ信号及びオブジェクトソース信号統計は、エンコーディング部及びデコーディング部でそれぞれ独立して測定され、該測定されたステレオ信号サブバンドパワーとオブジェクト信号サブバンドパワー間の比（付加情報によって表される）は、実際から外れることができる。このため、付加情報は、物理的に不可能になりうる。すなわち、例えば、付加情報は、上記の式１９のリミックスされた信号の信号パワーが負数となることができる。上述した問題はいずれも以下に説明されることができる。
【０１３５】
左側及び右側のリミックスされた信号のサブバンドパワーは、下記の式２８で表される。
【０１３６】
【数３４】
2010507927.tif 000036
【０１３７】
ここで、Ｐsiは、付加情報の関数として計算された、上記の式２５で与えられた量子化され且つコーディングされたサブバンドパワー推定値と同一である。リミックスされた信号のサブバンドパワーが、原ステレオ信号のサブバンドパワーであるＥ｛ｘ12｝以下のＬｄＢより絶対に小さくならないように、リミックスされた信号のサブバンドパワーは制限されることができる。同様に、Ｅ｛ｙ22｝は、Ｅ｛ｘ22｝以下のＬｄＢより小さくならないように制限される。この結果は下記の動作によって達成されることができる。
【０１３８】
１．上記の式２８によって左側及び右側のリミックスされた信号サブバンドパワーを計算。
【０１３９】
２．Ｅ｛ｙ12｝＜ＱＥ｛ｘ12｝の場合、Ｅ｛ｙ12｝＝ＱＥ｛ｘ12｝が維持されるように付加情報計算された値Ｐsiを調節。Ｅ｛ｘ12｝のパワー以下のＡｄＢより絶対に小さくならないようにＥ｛ｙ12｝のパワーを制限すべく、ＱはＱ＝１０-A/10に設定されることができる。次いで、Ｐsiは下記の式２９と乗算することによって調節されることができる。
【０１４０】
【数３５】
2010507927.tif 000037
【０１４１】
３．Ｅ｛ｙ22｝＜ＱＥ｛ｘ22｝の場合、Ｅ｛ｙ22｝＝ＱＥ｛ｘ22｝が維持されるように、付加情報計算された値Ｐｓｉを調節。これは、下記の式３０とＰsiを乗算することで達成されることができる。
【０１４２】
【数３６】
2010507927.tif 000038
【０１４３】
【数３７】
2010507927.tif 000039
【０１４４】
Ｂ．４個または２個の重み値のいずれを用いるかを決定
【０１４５】
多くの場合において、上記の式１８の二つの重み値が、上記の式９の左側及び右側のリミックスされた信号サブバンドを計算するのに適合している。一部の場合において、より良い結果は、上記の式１３〜式１５の４個の重み値を利用することによって達成できる。二つの重み値を利用することは、左側出力信号を生成する上で左側原信号のみが用いられるということを意味し、右側出力信号においても同様である。したがって、４個の重み値が望ましいシナリオは、一方のオブジェクトが反対の方に置かれるようにリミックスされる場合である。この場合に、一方（例えば、左側チャネル）にのみ最初から位置する信号は、リミキシング後にたいてい他方（例えば、右側チャネル）に位置するはずなので、４個の重み値を利用することが有利と期待される。したがって、４個の重み値は、原左側チャネルからリミックスされた右側チャネルへとまたはその逆の方向へと信号の流れを許容するのに用いられることができる。
【０１４６】
４個の重み値計算の最小二乗問題が深刻な場合、これら重み値の大きさは大きくなることができる。同様に、詳述した一方から他方へのリミキシングが用いられる場合、２個の重み値のみが用いられると重み値の大きさは大きくなることができる。この観察結果が動機となり、一部の実施例においては、次の基準が、４個の重み値を用いるか２個の重み値を用いるかを決定するのに用いられることができる。
【０１４７】
Ａ＜Ｂの場合、４個の重み値が用いられ、その他の場合は２個の重み値を利用する。Ａ及びＢは４個及び２個の重み値においてそれぞれの重み値の大きさの測定値である。一部の実施例において、Ａ及びＢは次のように計算される。Ａを計算するに当たり、まず、上記の式１３〜式１５によって４個の重み値を計算し、Ａ＝ｗ112＋ｗ122＋ｗ212＋ｗ222に設定する。Ｂを計算するに当たり、上記の式１８によって重み値を計算し、Ｂ＝ｗ１１2＋ｗ２２2が計算される。
【０１４８】
Ｃ．必要時に弱化度を向上（Ｉｍｐｒｏｖｉｎｇ  Ｄｅｇｒｅｅ  ｏｆ  Ａｔｔｅｎｕａｔｉｏｎ  Ｗｈｅｎ  Ｄｅｓｉｒｅｄ）
【０１４９】
【数３８】
2010507927.tif 000040
【０１５０】
Ｄ．重み値スムージングによりオーディオ品質を向上（Ｉｍｐｒｏｖｉｎｇ  Ａｕｄｉｏ  Ｑｕａｌｉｔｙ  Ｂｙ  Ｗｅｉｇｈｔ  Ｓｍｏｏｔｈｉｎｇ）
特に、オーディオ信号が音調（ｔｏｎａｌ）または定常的（ｓｔａｔｉｏｎａｒｙ）である場合、開示されたリミキシングスキームは、所定の信号に雑音を誘導できるということが観察された。オーディオ音質を向上させるために、各サブバンドで定常性（ｓｔａｔｉｏｎａｒｉｔｙ）／音調性（ｔｏｎａｌｉｔｙ）測定値が計算されることができる。この定常性／音調性測定値が特定の臨界値ＴＯＮ0を超過すると、推定重み値は時間を超過してスムージングされる。このスムージング動作は後述される。各サブバンドに対して、各時間インデックスｋにおいて、出力サブバンドを計算するのに適用される重み値は、下記のようにして獲得される。
【０１５１】
【数３９】
2010507927.tif 000041
【０１５２】
【数４０】
2010507927.tif 000042
【０１５３】
その他の場合では、
【数４１】
2010507927.tif 000043
【０１５４】
Ｅ．アンビエンス（Ａｍｂｉｅｎｃｅ）／リバーブ（Ｒｅｖｅｒｂ）制御
【０１５５】
本明細書に説明されたリミックス技術は、ミキシングゲインｃi及びｄiに関してユーザ制御を提供する。これは、各オブジェクトにおいてゲインＧi及び振幅パンニングＬi（方向）を決定することに対応し、ここで、ゲイン及びパンニングはいずれもｃi及びｄiにより決定される。
【０１５６】
【数４２】
2010507927.tif 000044
【０１５７】
一部の実施例において、ソース信号のゲイン及び振幅パンニングではなくステレオミックスの他の特徴を制御することが望ましい。下記の説明で、ステレオオーディオ信号のアンビエンスの度合を修正するための技術が説明される。このデコーディング部タスクに付加情報は用いられない。
【０１５８】
一部の実施例において、数学式４４に与えられた信号モデルは、ステレオ信号のアンビエンスの度合を修正するのに用いられることができ、ここで、ｎ1及びｎ2のサブバンドパワーは同一であるとする。すなわち、下記の式３４となる。
【０１５９】
【数４３】
2010507927.tif 000045
【０１６０】
再び、ｓ、ｎ1及びｎ2が相互独立したものと仮定されることができる。これらの仮定が与えられると、上記の式１７のコヒーレンスは、下記の式３５のように書かれることができる。
【０１６１】
【数４４】
2010507927.tif 000046
【０１６２】
これは、変数ＰN(ｋ)を持つ２次方程式に対応する。
【０１６３】
【数４５】
2010507927.tif 000047
【０１６４】
この二次方程式の解は、下記の式３７である。
【０１６５】
【数４６】
2010507927.tif 000048
【０１６６】
ＰN(ｋ)は、Ｅ｛ｘ12(ｋ)｝＋Ｅ｛ｘ22(ｋ)｝より小さいか等しくならなければならないので、物理的に可能な限り平方根の前に負数符号を持つ下記の式３８となる。
【０１６７】
【数４７】
2010507927.tif 000049
【０１６８】
【数４８】
2010507927.tif 000050
【０１６９】
Ｆ．相異なる付加情報（Ｄｉｆｆｅｒｅｎｔ  Ｓｉｄｅ  Ｉｎｆｏｒｍａｔｉｏｎ）
【０１７０】
一部の実施例において、修正されたまたは相異なる付加情報がビットレートにおいてより効果的な上記のリミキシングスキームに使われる。例えば、上記の式２４で、Ａi(ｋ)は任意値を持つことができる。また、原ソース信号ｓi(ｎ)のレベルに依存する。したがって、所定の範囲で付加情報を獲得するためにソース入力信号のレベルは調節される必要がある。この調節を避けるために、かつ、原ソース信号レベルに対する付加情報の依存を除去するために、一部の実施例において、ソースサブバンドパワーは上記の式２４でのようにステレオ信号サブバンドパワーに対して正規化されることができるだけでなく、ミキシングゲインが考慮されることができる。
【０１７１】
【数４９】
2010507927.tif 000051
【０１７２】
これは、ステレオ信号で正規化されたステレオ信号内に含まれたソースパワー（直接的にソースパワーではない）を付加情報として用いることに対応する。または、下記のような正規化を用いることができる。
【０１７３】
【数５０】
2010507927.tif 000052
【０１７４】
Ａi(ｋ)は、０ｄＢより小さいか等しい値を持つことができるので、この付加情報はより効果的である。上記の式３９及び式４０でサブバンドパワーＥ｛ｓi2(ｋ)｝が得られるということに注目する。
【０１７５】
Ｇ．ステレオソース信号／オブジェクト（Ｓｔｅｒｅｏ  Ｓｏｕｒｃｅ  Ｓｉｇｎａｌｓ／Ｏｂｊｅｃｔｓ）
【０１７６】
本明細書に説明された上記リミックススキームは、ステレオソース信号を扱いやすくするように拡張されることができる。付加情報の観点で、ステレオ信号は、２個のモノソース信号のように取り扱われる。その１つは左側でミキシングされ、残り１つは、右側でのみミキシングされる。すなわち、左側ソース信号ｉはノンゼロ（ｎｏｎ−ｚｅｒｏ）左側ゲインファクタａi及びゼロゲインファクタｂi+1を持つ。ゲインファクタａi及びｂ1は、上記の式６で推定されることができる。ステレオソースがまるで二つのモノソースであるかのように付加情報が転送されることができる。各ソースがモノソースかステレオソースかをデコーディング部に表すために一部情報がデコーディング部に転送される必要がある。
【０１７７】
デコーディング部プロセシング及びＧＵＩ（ｇｒａｐｈｉｃａｌ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）を考慮すると、１つの可能性は、モノソース信号のように同一にステレオソース信号をデコーディング部に配置することである。すなわち、ステレオソース信号はモノソース信号と類似するゲイン及びパンニング制御を持つ。一部の実施例において、リミックスされないステレオ信号のＧＵＩのゲイン及びパンニング制御とゲインファクタ間の関係は、下記の式４１で選択されることができる。
【０１７８】
【数５１】
2010507927.tif 000053
【０１７９】
すなわち、これらの値にＧＵＩが初期に設定されることができる。ユーザにより選択されたＧＡＩＮ及びＰＡＮ間の関係及び新しいゲインファクタが下記の式４２で選択されることができる。
【０１８０】
【数５２】
2010507927.tif 000054
【０１８１】
上記の式４２は、リミキシングゲイン（ｃi+1＝０及びｄi＝０を持つ）として用いられうるｃi及びｄi+1の解を求めることができる。上述した機能は、ステレオ増幅器における“バランス”制御に似ている。該ソース信号の左側及び右側チャネルのゲインは、クロストーク（ｃｒｏｓｓ−ｔａｌｋ）を取り込むことなく修正される。
【０１８２】
VI．付加情報のブラインド生成
【０１８３】
Ａ．付加情報の全体的なブラインド生成
【０１８４】
上述したリミキシングスキームにおいて、エンコーディング部は、デコーディング部でリミックスされるオブジェクトを表す多くのソース信号及びステレオ信号を受信する。該デコーディング部でインデックスｉを持つソースシングルをリミキシングするのに必要な付加情報は、ゲインファクタａi及びｂi、そしてサブバンドパワーＥ｛ｓi2(ｋ)｝より決定される。ソース信号が与えられる場合における付加情報の決定は、上のセクションで説明された。
【０１８５】
ステレオ信号は容易に獲得されるのに対し（これは、現存する製品に対応するので）、デコーディング部でリミックスされるオブジェクトに対応するソース信号は獲得し難いことがある。したがって、オブジェクトのソース信号が利用できないとしてもリミキシングのための付加情報を生成することが好ましい。次に、ステレオ信号のみで付加情報を生成するための全体的ブラインド生成技術について説明する。
【０１８６】
図８Ａは、全体的ブラインド付加情報生成を実行するエンコーディングシステム８００の一実施例を示すブロック図である。エンコーディングシステム８００は、一般的に、フィルタバンクアレイ８０２、付加情報生成器８０４及びエンコーディング部８０６を含む。ステレオ信号は、ステレオ信号（例えば、右側及び左側チャネル）をサブバンド対に分解するフィルタバンクアレイ８０２で受信する。これらサブバンド対は、所定のソースレベル差Ｌi及びゲイン関数ｆ(Ｍ)を用いてサブバンド対より付加情報を生成する付加情報プロセシング部８０４で受信する。フィルタバンクアレイ８０２及び付加情報プロセシング部８０４のいずれもソース信号で作動しないということに注目する。付加情報は、入力ステレオ信号、所定のソースレベル差Ｌi及びゲイン関数ｆ(Ｍ)より全体的に導き出される。
【０１８７】
図８Ｂは、図８Ａのエンコーディングシステム８００を用いたエンコーディングプロセス（８０８）の一実施例を示す流れ図である。入力ステレオ信号は、サブバンド対に分解される（８１０）。各サブバンドにおいて、ゲインファクタａi及びｂiは、所定のソースレベル差値Ｌiを用いて各所定のソース信号において決定される（８１２）。直接音ソース信号（例えば、サウンドステージでセンターパンニングされたソース信号）において、所定のソースレベル差Ｌi＝０ｄＢである。Ｌiが与えられると、ゲインファクタが計算される。
【０１８８】
【数５３】
2010507927.tif 000055
【０１８９】
ここで、Ａ＝１０Ｌｉ／１０である。ａi2＋ｂi2＝１となるように、ａi及びｂiが計算されるということに注目する。この条件が不可欠なものというわけではなく、むしろ、これは、Ｌiの大きさが大きい場合、ａiまたはｂiが大きくなるのを防ぐための臨時的選択である。
【０１９０】
次いで、直接音のサブバンドパワーは、サブバンド対及びミキシングゲインを用いて推定される（８１４）。該直接音サブバンドパワーを計算するために、各時間で各入力信号左側及び右側サブバンドは、下記の式４４で書かれるとすることができる。
【０１９１】
【数５４】
2010507927.tif 000056
【０１９２】
ここで、ａ及びｂはミキシングゲインであり、ｓは全てのソース信号の直接音を表し、ｎ1及びｎ2は独立した周辺サウンドを表す。
【０１９３】
ａ及びｂは、下記の式４５であると仮定されることができる。
【０１９４】
【数５５】
2010507927.tif 000057
【０１９５】
ここで、Ｂ＝Ｅ｛ｘ22(ｋ)｝／Ｅ｛ｘ12(ｋ)｝である。ｓがｘ2及びｘ1に含まれ、ｘ2とｘ1間のレベル差と同様なレベル差を持つように、ａ及びｂが計算されうるということに注目する。直接音のｄＢへのレベル差Ｍ＝ｌｏｇ10Ｂである。
【０１９６】
上記の式４４に与えられた信号モデルによって直接音サブバンドパワーＥ｛ｓ2(ｋ)｝を計算できる。一部の実施例において、下記の方程式システムが用いられる。
【０１９７】
【数５６】
2010507927.tif 000058
【０１９８】
上記の式３４中のｓ、ｎ1及びｎ2が互いに独立しており、上記の式４６中の左辺量が測定されることができ、ａ及びｂが利用可能であるということが上記の式４６で仮定される。したがって、上記の式４６において知られていない三つは、Ｅ｛ｓ2(ｋ)｝，Ｅ｛ｎ12(ｋ)｝及びＥ｛ｎ22(ｋ)｝である。直接音サブバンドパワーＥ｛ｓ2(ｋ)｝は、下記の式４７で与えられることができる。
【０１９９】
【数５７】
2010507927.tif 000059
【０２００】
該直接音サブバンドパワーは、上記の式４７のコヒーレンスの関数として書かれることができる。
【０２０１】
【数５８】
2010507927.tif 000060
【０２０２】
一部の実施例において、所定のソースサブバンドパワーＥ｛ｓi2(ｋ)｝の計算は、２ステップで行われることができる。まず、直接音サブバンドパワーＥ｛ｓ2(ｋ)｝が計算され、ここで、ｓは上の式４４中の全てのソースの直接音（例えば、センターパンニングされたもの）を表す。次いで、直接音方向（Ｍで表示される）と所定のサウンド方向（所定のソースレベル差Ｌで表示される）の関数として、直接音サブバンドパワーＥ｛ｓ2(ｋ)｝を修正することによって、所定のサウンドサブバンドパワーＥ｛ｓi2(ｋ)｝が計算される（８１６）。
【０２０３】
【数５９】
2010507927.tif 000061
【０２０４】
ここで、ｆ(．)は方向の関数として、所定のソース方向においてただ１つに近接したゲインファクタをリターンするゲイン関数である。最後のステップとして、ゲインファクタ及びサブバンドパワーＥ｛ｓi2(ｋ)｝は付加情報を生成するように量子化されエンコーディングされることができる（８１８）。
【０２０５】
図９は、所定のソースレベル差Ｌi＝ＬｄＢにおけるゲイン関数ｆ(Ｍ)を示す図である。所定の方向Ｌ0周囲に多いか少ない狭いピークを持つようにｆ(Ｍ)を選択することによって、方向性の度合が制御されることができるということに注目する。センターにおける所定のソースにおいて、Ｌ0＝６ｄＢのピーク幅が用いられることができる。
【０２０６】
詳述した全体的ブラインド技術により、与えられたソース信号ｓiにおける付加情報（ａi，ｂi，Ｅ｛ｓi2(ｋ)｝）が決定されることができるということに注目する。
【０２０７】
Ｂ．付加情報のブラインド及びノンブラインド生成間の組合せ（Ｃｏｍｂｉｎａｔｉｏｎ  Ｂｅｔｗｅｅｎ  Ｂｌｉｎｄ  ａｎｄ  Ｎｏｎ−Ｂｌｉｎｄ  Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  Ｓｉｄｅ  Ｉｎｆｏｒｍａｔｉｏｎ）
【０２０８】
上述した全体的ブラインド生成技術は、特定の環境下で制限されることができる。例えば、二つのオブジェクトがステレオサウンドステージで同一のポジション（方向）を持つとすれば、１つまたは二つのオブジェクトに関する付加情報をブラインド的に生成することはできないかもしれない。
【０２０９】
付加情報の全体的ブラインド生成の代案は、付加情報の部分的ブラインド生成である。この部分的ブラインド技術は、原オブジェクトウェーブフォームにラフ（ｒｏｕｇｈ）に対応するオブジェクトウェーブフォームを生成する。これは、例えば、歌手または音楽家が演奏／特定のオブジェクト信号を再生することによってなることができる。または、この目的のためにＭＩＤＩデータを配置し、シンセサイザー（ｓｙｎｔｈｅｓｉｚｅｒ）が当該オブジェクト信号を生成するように配置されることができる。一部の実施例において、“ラフ”オブジェクトウェーブフォームは、付加情報が生成されることに関するステレオ信号で時間配列される。続いて、該付加情報は、ブラインド及びノンブラインド付加情報生成の組合せであるプロセスを用いて生成されることができる。
【０２１０】
図１０は、部分的ブラインド生成技術を用いた付加情報生成プロセス（１０００）の一実施例を示す流れ図である。プロセス（１０００）は、入力ステレオ信号及びＭ個の“ラフ”ソース信号を獲得することによって始まる（１００２）。次に、ゲインファクタａi及びｂiがＭ個の“ラフ”ソース信号において決定される（１００４）。各サブバンド内の各時間スロットで、サブバンドパワーＥ｛ｓi2(ｋ)｝の第１短期推定値（ｓｈｏｒｔ−ｔｉｍｅ  ｅｓｔｉｍａｔｅ）は、それぞれの“ラフ”ソース信号において決定される（１００６）。サブバンドパワーＥｈａｔ｛ｓi2(ｋ)｝の第２短期推定値は、入力ステレオ信号に適用された全体的ブラインド生成技術を用いてそれぞれの“ラフ”ソース信号において決定される（１００８）。
【０２１１】
最後に、付加情報計算のために效果的に用いられることのできる、第１及び第２サブバンドパワー推定値を結合し、最終的な推定値をリターンした当該推定されたサブバンドパワーに関数が適用される。一部の実施例において、該関数Ｆ()は、下記の式５０で与えられる。
【０２１２】
【数６０】
2010507927.tif 000062
【０２１３】
VI．構成、ユーザインタフェース、ビットストリームシンタックス（ＡＲＣＨＩＴＥＣＴＵＲＥＳ、ＵＳＥＲＩＮＴＥＲＦＡＣＥＳ、ＢＩＴＳＴＲＥＡＭ  ＳＹＮＴＡＸ）
【０２１４】
Ａ．クライアント／サーバ構成
【０２１５】
図１１は、リミキシング性能を持つオーディオ装置１１１０にステレオ信号及びＭ個のソース信号及び／または付加情報を提供するためのクライアント／サーバ構成の一実施例を示すブロック図である。この構成１１００は、一例に過ぎず、より多いかより少ない成分を持つ構成を含む他の構成も可能である。
【０２１６】
構成１１００は、保存場所１１０４（例えば、ＭｙＳＱＬTM）及びサーバ１１０６（例えば、Ｗｉｎｄｏｗｓ（登録商標）TM、Ｌｉｎｕｘ（登録商標）サーバ）を有するダウンロードサービス１１０２を一般的に含む。保存場所１１０４は、専門的にミックスされたステレオ信号及びこれらステレオ信号中のオブジェクト及び数多くの効果（例えば、残響）に対応する結合されたソース信号を含む多種のコンテンツを格納することができる。これらのステレオ信号は、ＭＰ３、ＰＣＭ、ＡＡＣなどを含む数多くの標準化されたフォーマットで格納されることができる。
【０２１７】
一部の実施例において、ソース信号は、保存場所１１０４内に格納され、オーディオ装置１１１０へのダウンロードに使用可能になっている。一部の実施例において、前処理された付加情報が保存場所１１０４内に格納され、オーディオ装置１１１０へのダウンロードに使用可能になっている。前処理された付加情報は、図１Ａ、図６Ａ及び図８Ａで説明された１つ以上のエンコーディングスキームを用いてサーバ１０６により生成されることができる。
【０２１８】
一部の実施例において、ダウンロードサービス１１０２（例えば、ウェブサイト、ミュージックストア）は、ネットワーク１１０８（例えば、インターネット、イントラネット、イーサネット（登録商標）、無線ネットワーク、ピアツーピアネットワーク）を通じてオーディオ装置１１１０と通信する。オーディオ装置１１１０は、上述したリミキシングスキームを実行できる所定の装置（例えば、メディアプレーヤー／レコーダ、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、ゲームコンソール（ｇａｍｅ  ｃｏｎｓｏｌｅｓ）、セットトップボックス、テレビ受信機、メディアセンター等）でありうる。
【０２１９】
Ｂ．オーディオ装置構成（Ａｕｄｉｏ  Ｄｅｖｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ）
【０２２０】
一部の実施例において、オーディオ装置１１１０は、１つ以上のプロセッサまたはプロセッサコア１１１２、入力デバイス１１１４（例えば、クリックホイール（ｃｌｉｃｋ  ｗｈｅｅｌ）、マウス、ジョイスチック、タッチスクリーン）、出力デバイス１１２０（例えば、ＬＣＤ）、ネットワークインタフェース１１１８（例えば、ＵＳＢ、ファイヤーワイヤー（ｆｉｒｅｗｉｒｅ）、インターネット、ネットワークインタフェースカード、無線トランシーバ（ｔｒａｎｓｃｅｉｖｅｒ））、及びコンピュータで読取りできる記録媒体１１１６（例えば、メモリ、ハードディスク、フラッシュドライブ）を含む。これら構成成分の一部または全部は、コミュニケーションチャネル１１１２（例えば、バス、ブリッジ）を通じて情報を送信及び／または受信することができる。
【０２２１】
一部の実施例において、コンピュータで読取りできる記録媒体１１１６は、オペレーティングシステム、ミュージックマネジャー、オーディオプロセッサ、リミックスモジュール及びミュージックライブラリを含む。オペレーティングシステムは、ファイル管理、メモリアクセス、バスコンテンション（ｃｏｎｔｅｎｔｉｏｎ）、周辺装置管理、ユーザインタフェース管理、パワー管理などを含むオーディオ装置１１１０の基本的な管理及びコミュニケーション任務を果たす。ミュージックマネジャーは、ミュージックライブラリを管理するアプリケーションでありうる。オーディオプロセッサは、音楽ファイル（例えば、ＭＰ３、ＣＤオーディオ等）を実行するための通常のオーディオプロセッサでありうる。リミックスモジュールは、図１〜図１０で説明されたリミキシングスキームの機能を実行する１つ以上のソフトウェア成分でありうる。
【０２２２】
一部の実施例において、サーバ１１０６は、図１Ａ、図６Ａ及び図８Ａを参照して説明した通り、ステレオ信号をエンコーディングし、付加情報を生成する。ステレオ信号及び付加情報は、ネットワーク１１０８を通じてオーディオ装置１１１０にダウンロードされる。リミックスモジュールは、これらの信号及び付加情報をデコーディングし、入力デバイス１１１４（例えば、キーボード、クリックホイール、タッチディスプレイ）を通じて受信したユーザ入力に基づいてリミックス性能を提供する。
【０２２３】
Ｃ．ユーザ入力を受信するためのユーザインタフェース（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｆｏｒ  Ｒｅｃｅｉｖｉｎｇ  Ｕｓｅｒ  Ｉｎｐｕｔ）
【０２２４】
図１２は、リミックス性能を持つメディアプレーヤー１２００のためのユーザインタフェース１２０２の実施例例である。ユーザインタフェース１２０２は、他の装置（例えば、携帯電話、コンピュータ等）に適合しても良い。該ユーザインタフェースは、図示した構成またはフォーマットに限定されず、他の種類のユーザインタフェース成分（例えば、ナビゲーション制御、タッチ表面）を含むことができる。
【０２２５】
ユーザは、ユーザインタフェース１２０２上の適切なアイテムを強調（ｈｉｇｈｌｉｇｈｔ）することによって、装置１２００における“リミックス”モードに入ることができる。この例で、ユーザは、ミュージックライブラリから歌を選択し、リードボーカルトラックのパンセッティングを希望するとする。例えば、ユーザは、左側オーディオチャネルでより多くのリードボーカルを聞くことを希望することができる。
【０２２６】
所定のパン制御への接近を得るために、ユーザは、サブメニュー１２０４，１２０６，１２０８を調整することができる。例えば、ユーザは、ホイール１２１０を用いてサブメニュー１２０４，１２０６，１２０８上のアイテムを通じてスクロールできる。ユーザは、ボタン１２１２をクリックすることによって最も関心のあるメニューアイテムを選択することができる。サブメニュー１２０８は、リードボーカルトラックのための所定のパン制御への接近を提供する。続いて、ユーザは、歌が演奏される中に所望通りにリードボーカルのパンを調整するためにスライダーを操作（例えば、ホイール１２１０を使用）することができる。
【０２２７】
Ｄ．ビットストリームシンタックス（Ｂｉｔｓｔｒｅａｍ  Ｓｙｎｔａｘ）
【０２２８】
一部の実施例において、図１〜図１０を参照して説明されたリミキシングスキームは、現存または将来のオーディオコーディング標準（例えば、ＭＰＥＧ−４）に含まれることができる。現存または将来のコーディング標準におけるビットストリームシンタックスは、ユーザによるリミキシングを許容するビットストリームを処理する方法を決定するために、リミキシング性能を持つデコーディング部により用いられうる情報を含むことができる。このようなシンタックスは、通常のコーディングスキームを持つ下位互換性（ｂａｃｋｗａｒｄ  ｃｏｍｐａｔｉｂｉｌｉｔｙ）を提供するように製作されることができる。例えば、ビットストリーム内に含まれたデータ構造（例えば、パケットヘッダ）は、リミキシングのための付加情報（例えば、ゲインファクタ、サブバンドパワー）の利用可能性を示す情報（例えば、１つ以上のビットまたはフラグ）を含むことができる。
【０２２９】
本明細書に開示された機能的な動作、そして上述した各実施例及び他の実施例は、本明細書に開示された構造及びその構造的均等物を含むコンピュータソフトウェア、ファームウェアまたはハードウェアで、またはデジタル電子回路またはこれらの１つ以上の組合せで実行されることができる。上述の実施例及びその他の実施例は、１つ以上のコンピュータプログラム製品、すなわちデータプロセシング装置の動作を制御するためにまたはデータプロセシング装置による実行のためのコンピュータで読取りできる記録媒体にエンコーディングされたコンピュータプログラム命令の１つ以上のモジュールとして実行されることができる。該コンピュータで読取りできる記録媒体は、機械装置で読取りできる記憶装置、機械装置で読取りできる記憶基板（ｓｔｏｒａｇｅ  ｓｕｂｓｔｒａｔｅ）、メモリ装置、装置で読取りできる伝播された信号に影響を与える物質の組成、または１つ以上のこれらの組合せでありうる。ここでいう“データプロセシング装置”という用語は、例えば、プログラム可能なプロセッサ、コンピュータまたは複数のプロセッサまたはコンピュータを含む全ての機械（ａｐｐａｒａｔｕｓ）、装置、ディバイスを含む。当該装置は、上記コンピュータプログラムのための実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステムまたは１つ以上のこれらの組合せを構成するコードそしてハードウェアを含むことができる。伝播された信号は、適切なレシーバー装置への転送のための情報をエンコーディングするために生成された、人為的に生成された信号、例えば、機械で生成された電気、光学または電磁気的信号である。
【０２３０】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも知られている）は、コンパイルされたり解釈された言語を含むプログラミング言語の形態で用いられることができ、スタンドアロンプログラムまたはモジュール、サブルーチンまたはコンピュータ環境に利用するのに適合する他のユニットを含む所定の形態で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに必ずしも対応するわけではない。プログラムは、他のプログラムまたはデータ（マークアップ言語文書に格納された１つ以上のスクリプト）を保持するファイルの一部に格納されることができ、本プログラム専用である１つのファイルまたは複数の共同動作ファイル（例えば、１つ以上のモジュール、サブプログラムまたはコードの一部）に提供された単一ファイルで格納されることができる。コンピュータプログラムは、１つの位置に位置したり複数の位置を経て分配されたりし、通信ネットワークによりインターコネクトされた、１つのコンピュータまたは複数のコンピュータで実行されうるように展開することができる。
【０２３１】
本明細書に説明されたプロセス及び論理流れは、入力データを動作し出力を生成することによって機能を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサにより実行されることができる。これらのプロセッサ及び論理流れは、特殊目的論理回路、例えば、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）により実行されても良く、装置はこれらとして実施例されても良い。
【０２３２】
コンピュータプログラムの実行に適合するプロセッサは、例えば、一般的及び特殊目的マイクロプロセッサ及び所定の種類のディジタルコンピュータの所定の１つ以上のプロセッサを含む。一般的に、プロセッサはＲＯＭまたはＲＡＭまたはこれら両方から命令及びデータを受信する。コンピュータの核心要素は、命令及びデータを格納するための１つ以上のメモリ装置及び命令を実行するためのプロセッサである。一般的に、コンピュータはデータを格納するための１つ以上の巨大記憶装置、例えば、磁気、磁気光学ディスクまたは光学ディスクからデータを受信したりこれらにデータを転送したり、これら両方を行ったりするように含むか、效果的に結合されても良い。しかし、コンピュータはこのような装置を持つ必要がない。コンピュータプログラム命令及びデータを格納するのに適合するコンピュータで読取りできる記録媒体は、例えば、半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置；磁気ディスク、例えば内部ハードディスクまたは取り外し可能なディスク；磁気光学ディスク；及び、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む不揮発性メモリ、メディア及びメモリ装置のいずれの形態をも含む。該プロセッサ及びメモリは、特殊目的ロジック回路により補充されたり、それに統合されることができる。
【０２３３】
ユーザとの相互作用を提供するために、上述した実施例は、ユーザに情報を表示するためのディスプレイ装置、例えばＣＲＴ（ｃａｔｈｏｄｅ  ｒａｙ  ｔｕｂｅ）またはＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）モニタ及びユーザがコンピュータに入力を提供できるキーボード及びポインティング装置、例えばマウスまたはトラックボールを持つコンピュータで実行されることができる。他の種類の装置もユーザとの相互作用を提供するのに用いられることができる。例えば、ユーザに提供されたフィードバックが知覚的フィードバックのいずれかの形態、例えばビジュアルフィードバック、音声フィードバック、触覚フィードバックであり；ユーザからの入力がアコースティック、スピーチまたは触覚的入力を含む所定の形態で受信されることができる。
【０２３４】
上述した実施例は、例えば、データサーバのようなバックエンド（ｂａｃｋ−ｅｎｄ）成分、例えばアプリケーションサーバのようなミドルウェア成分、例えばユーザが本明細書に開示した実施例例と相互作用できるグラフィックユーザインタフェースまたはウェブブラウザーを持つクライアントコンピュータのようなフロントエンド成分、または１つ以上のこのようなバック−エンド、ミドルウェア、またはフロント−エンド成分の組合せを含む。これらシステムの成分は、例えば、通信ネットワークのようなデジタルデータ通信のいずれかの形態または媒体により相互連結されることができる。通信ネットワークの例には、インターネットのようなローカル領域ネットワーク（“ＬＡＮ”）及びワイド領域ネットワーク（“ＷＡＮ”）を含まれる。
【０２３５】
上記計算システムは、クライアント及びサーバを含むことができる。クライアント及びサーバは一般的にお互い遠く離れており、たいてい通信ネットワークを通じて相互作用をする。クライアント及びサーバの関係は個別コンピュータで作動し、互いにクライアント−サーバ関係を持つコンピュータプログラムによって発生する。
【０２３６】
VII ．リミックス技術を用いたシステムの例（ＥＸＡＭＰＬＥＳ  ＯＦ  ＳＹＳＴＥＭＳ  ＵＳＩＮＧ  ＲＥＭＩＸ  ＴＥＣＨＮＯＬＯＧＹ）
【０２３７】
図１３は、ＳＡＯＣ（ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ  ｄｅｃｏｄｉｎｇ）及びリミックスデコーディングを結合したデコーディング部システム１３００の一実施例を示す図である。ＳＡＯＣは、エンコーディングされたサウンドオブジェクトの相互操作を許容するマルチチャネルオーディオを扱うオーディオ技術である。
【０２３８】
一部の実施例において、該システム１３００は、ミックス信号デコーディング部１３０１、パラメータ生成器１３０２及びリミックスレンダリング部１３０４を含む。パラメータ生成器１３０２は、ブラインド推定器１３０８、ユーザ−ミックスパラメータ生成器１３１０及びリミックスパラメータ生成器１３０６を含む。リミックスパラメータ生成器１３０６は、ｅｑ−ミックス（ｅｑ−ｍｉｘ）パラメータ生成器１３１２及びアップミックスパラメータ生成器１３１４を含む。
【０２３９】
一部の実施例において、システム１３００は、二つのオーディオプロセスを提供する。１番目のプロセスで、エンコーディングシステムにより提供された付加情報がリミックスパラメータを生成するリミックスパラメータ生成器１３０６により用いられる。２番目のプロセスで、ブラインドパラメータがブラインド推定器１３０８により生成され、リミックスパラメータを生成するリミックスパラメータ生成器１３０６により用いられる。図８Ａ及び図８Ｂで示すように、ブラインドパラメータ及び全体的または部分的なブラインド生成プロセスは、ブラインド推定器１３０８により実行されることができる。
【０２４０】
一部の実施例において、リミックスパラメータ生成器１３０６は、付加情報またはブラインドパラメータ及びユーザ−ミックスパラメータ生成器１３１０からユーザ−ミックスパラメータのセットを受信する。ユーザ−ミックスパラメータ生成器１３１０は、最終ユーザにより指定されたミックスパラメータ（例えば、ＧＡＩＮ、ＰＡＮ）を受信し、リミックスパラメータ生成器１３０６によるリミックスプロセシングに適合するフォーマットにミックスパラメータを変換（例えば、ゲインｃi、ｄi+1に変換）させる。一部の実施例において、図１２で示すように、ユーザ−ミックスパラメータ生成器１３１０は、ユーザが所定のミックスパラメータ、例えば、メディアプレーヤーユーザインタフェース１２００を指定するのを許容するためのユーザインタフェースを提供する。
【０２４１】
一部の実施例において、リミックスパラメータ生成器１３０６は、ステレオ及びマルチチャネルオーディオ信号を両方とも処理できる。例えば、前記ｅｑ−ミックスパラメータ生成器１３１２は、ステレオチャネルターゲットのためのリミックスパラメータを生成でき、アップミックスパラメータ生成器１３１４は、マルチチャネルターゲットのためのリミックスパラメータを生成できる。マルチチャネルオーディオ信号に基づくリミックスパラメータ生成は、セクションIVで説明された。
【０２４２】
一部の実施例において、リミックスレンダリング部１３０４は、ステレオターゲット信号またはマルチチャネルターゲット信号のためのリミックスパラメータを受信する。ユーザ−ミックスパラメータ生成器１３１０により提供された当該フォーマットされたユーザ指定されたステレオミックスパラメータに基づいて所定のリミックスされたステレオ信号を提供するために、ｅｑ−ミックスレンダリング部１３１６は、ステレオリミックスパラメータをミックス信号デコーディング部１３０１から直接受信した原ステレオ信号に適用する。一部の実施例において、ステレオリミックスパラメータは、ステレオリミックスパラメータのｎ×ｎマトリクス（例えば、２×２マトリクス）を用いて原ステレオ信号に適用されることができる。ユーザ−ミックスパラメータ生成器１３１０により提供された当該フォーマットされたユーザ指定されたマルチチャネルミックスパラメータに基づいて所定のリミックスされたマルチチャネル信号を提供するために、アップミックスレンダリング部１３１８は、マルチチャネルリミックスパラメータをミックス信号デコーディング部１３０１から直接受信した原マルチチャネル信号に適用する。一部の実施例において、エフェクト生成器１３２０はそれぞれ、ｅｑ−ミックスレンダリング部１３１６またはアップミックスレンダリング部により原ステレオまたはマルチチャネル信号に適用されるエフェクト信号（例えば、残響（ｒｅｖｅｒｂ））を生成する。一部の実施例において、アップミックスレンダリング部１３１８は、原ステレオ信号を受信し、ステレオ信号をマルチチャネル信号に変換（または、アップミックス）し、なお、リミックスされたマルチチャネル信号を生成するためにリミックスパラメータを適用する。
【０２４３】
システム１３００は、該システム１３００が現存するオーディオコーディングスキーム（例えば、ＳＡＯＣ、ＭＰＥＧ  ＡＡＣ、パラメトリックステレオ）に統合されることができるように、かかるオーディオコーディングスキームで下位互換性を保持する複数のチャネル構成を持つオーディオ信号を処理できる。
【０２４４】
図１４Ａは、ＳＤＶ（Ｓｅｐａｒａｔｅ  Ｄｉａｌｏｇｕｅ  Ｖｏｌｕｍｅ）における一般的なミキシングモデルを示す図である。ＳＤＶは、“Ｓｅｐａｒａｔｅ  Ｄｉａｌｏｇｕｅ  Ｖｏｌｕｍｅ”に関する米国仮特許出願第６０／８８４，５９４号で説明された向上したダイアローグ向上技術である。ＳＤＶの一実施において、各信号においてこれら信号が特定の方向のキュー（例えば、レベル差、時間差）を持つ左側及び右側信号チャネルにコヒーレントに移動するようにミックスされ、聴覚的イベント幅（ａｕｄｉｔｏｒｙ  ｅｖｅｎｔ  ｗｉｄｔｈ）及び聴取者エンべロップメントキュー（ｌｉｓｔｅｎｅｒ  ｅｎｖｅｌｏｐｍｅｎｔ  ｃｕｅ）を決定するチャネル内に反射／残響された独立した信号が入っていくようにステレオ信号は記録されミックスされる。図１４Ａを参照すると、ファクタａは、聴覚的イベントが現れる方向を決定するが、ここでｓは直接音であり、ｎ1及びｎ2は側面方向である。信号ｓは、ファクタａにより決定された方向からの局所化したサウンドを摸倣する。独立した信号ｎ1及びｎ2はたびたびアンビエントサウンドまたはアンビエンスと言及される反射／残響されたサウンドに対応する。上述したシナリオは、オーディオソース及びアンビエンスのローカリゼーションをキャプチャー（ｃａｐｔｕｒｅ）する１つのオーディオソースを持つステレオ信号において認知的に動機づけられた分解である。
【０２４５】
【数６１】
2010507927.tif 000063
【０２４６】
図１４Ｂは、リミックス技術とＳＤＶを結合したシステム１４００の一実施例を示す図である。一部の実施例において、システム１４００は、フィルタバンク１４０２（例えば、ＳＴＦＴ）、ブラインド推定器１４０４及びｅｑ−ミックスレンダリング部１４０６、パリメートル生成器１４０８及び逆フィルタバンク（ｉｎｖｅｒｓｅ  ｆｉｌｔｅｒｂａｎｋ）１４１０（例えば、インバースＳＴＦＴ）を含む。
【０２４７】
一部の実施例において、ＳＤＶダウンミックス信号が入力され、これはフィルタバンク１４０２によりサブバンド信号に分解される。ダウンミックス信号は、上記の式５１により与えられたステレオ信号ｘ1、ｘ2であり得る。これらサブバンド信号Ｘ1(ｉ，ｋ)、Ｘ2(ｉ，ｋ)は、ｅｑ−ミックスレンダリング部１４０６またはブラインド推定器１４０４のいずれかに入力され、ブラインドマラメータＡ、ＰＳ、ＰＮとして出力される。これらパラメータの計算は、“Ｓｅｐａｒａｔｅ  Ｄｉａｌｏｇｕｅ  Ｖｏｌｕｍｅ”に関する米国仮特許出願第６０／８８４，５９４号で説明される。これらブラインドパラメータは、パラメータ生成器１４０８内に入力され、ブラインドパラメータ及びユーザ指定されたミックスパラメータｇ(ｉ，ｋ)（例えば、センターゲイン、センター幅、カットオフ周波数、ドライネス（ｄｒｙｎｅｓｓ））よりｅｑ−ミックスパラメータｗ11〜ｗ22を生成する。これらｅｑ−ミックスパラメータの計算は、セクションＩで説明された。これらｅｑ−ミックスパラメータは、レンダリングされた出力信号ｙ1、ｙ2を提供すべく、ｅｑ−ミックスレンダリング部１４０６によりサブバンド信号に適用される。ｅｑ−ミックスレンダリング部１４０６のレンダリングされた出力信号は、ユーザ指定されたミックスパラメータに基づいて、レンダリングされた出力信号を所定のＳＤＶステレオ信号に変換する逆フィルタバンク１４１０に入力される。
【０２４８】
一部の実施例において、システム１４００は、図１〜図１２で説明されたように、リミックス技術を用いてオーディオ信号を処理することができる。リミックスモードにおいて、フィルタバンク１４０２は、上記の式１及び式２７に説明された信号のように、ステレオまたはマルチチャネル信号を受信する。これらの信号は、フィルタバンク１４０２によりサブバンド信号Ｘ1(ｉ，ｋ)、Ｘ2(ｉ，ｋ)に分解され、ブラインドパラメータを推定するためにブラインド推定器１４０４及び前記ｅｑ−レンダリング部１４０６に直接入力される。これらブラインドパラメータは、ビットストリームで受信された付加情報ａi、ｂi、Ｐsiと一緒に、パラメータ生成器に入力される。このパラメータ生成器１４０８は、レンダリングされた出力信号を生成すべく、ブラインドパラメータ及び付加情報をサブバンド信号に適用する。これらレンダリングされた出力信号は、所定のリミックス信号を生成する逆フィルタバンク１４１０に入力される。
【０２４９】
図１５は、図１４Ｂに示すｅｑ−ミックスレンダリング部１４０６の一実施例を示す図である。一部の実施例において、ダウンミックス信号Ｘ１は、スケールモジュール１５０２，１５０４によりスケールされる。ダウンミックス信号Ｘ２は、スケールモジュール１５０６，１５０８によりスケールされる。スケールモジュール１５０２は、ｅｑ−ミックスパラメータｗ11によりダウンミックス信号Ｘ１をスケールし、スケールモジュール１５０４は、ｅｑ−ミックスパラメータｗ21によりダウンミックス信号Ｘ１をスケールし、スケールモジュール１５０６はｅｑ−ミックスパラメータｗ12によりダウンミックス信号Ｘ2をスケールし、スケールモジュール１５０８は、ｅｑ−ミックスパラメータｗ22によりダウンミックス信号Ｘ２をスケールする。スケールモジュール１５０２，１５０６の出力は、第１レンダリングされた出力信号ｙ１を提供するために合算され、スケールモジュール１５０４，１５０８は、第２レンダリングされた出力信号ｙ２を提供するために合算される。
【０２５０】
図１６は、図１〜図１５に示すリミキシング技術における分配システム１６００を示す図である。一部の実施例において、図１Ａで既に説明された通り、コンテンツプロバイダ１６０２は、付加情報を生成するためにリミックスエンコーディング部１６０６を含むオーサリング・ツール（ａｕｔｈｏｒｉｎｇ  Ｔｏｏｌ）１６０４を用いる。付加情報は、１つ以上のファイル中の一部になり得るか、ビットストリーミングサービスのためにビットストリーム内に含まれることができる。リミックスファイルは、特異なファイル拡張子（例えば、ファイル名．ｒｍｘ）を持つことができる。１つのファイルは、原ミックスされたオーディオ信号及び付加情報を含むことができる。或いは、原ミックスされたオーディオ信号及び付加情報は、パケット、バンドル、パッケージまたはその他の適当なコンテナ内に分離されたファイルとして配布されても良い。一部の実施例において、ユーザが当該技術を学ぶのを助ける目的で及び／またはマーケティングの目的で、既設定されたミックスパラメータで配布されることができる。
【０２５１】
一部の実施例において、原コンテンツ（例えば、原ミックスされたオーディオファイル）、付加情報及び選択的既設定されたミックスパラメータ（“リミックス情報”）は、サービスプロバイダ１６０８（例えば、音楽ポータル）に提供されたり物理的媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、メディアプレーヤー、フラッシュドライブ）に設置されることができる。サービスプロバイダ１６０８は、リミックス情報の全部または一部及び／またはリミックス情報の全部または一部を含むビットストリームを提供するための１つ以上のサーバ１６１０を作動させることができる。リミックス情報は、保存場所１６１２に格納されることができる。サービスプロバイダ１６０８は、ユーザ生成されたミックスパラメータを共有するために仮想環境（例えば、コミュニティ、ポータル、掲示板）を提供しても良い。例えば、リミックス可能な装置１６１６（例えば、メディアプレーヤー、携帯電話）上でユーザにより生成されたミックスパラメータは、他のユーザとの共有のために、サービスプロバイダ１６０８にアップロードできるミックスパラメータファイル内に格納されることができる。該ミックスパラメータファイルは、特異な拡張子（例えば、ファイル名．ｒｍｓ）を持つことができる。前述した例において、ユーザは、リミックスプレーヤーＡを用いてミックスパラメータファイルを生成し、サービスプロバイダ１６０８にミックスパラメータファイルをアップロードさせ、該ファイルは、リミックスプレーヤーＢを作動させるユーザにより続いてダウンロードされた。
このシステム１６００は、原コンテンツ及びリミックス情報を保護するために所定の公知されたデジタル権利管理スキーム及び／または他の公知された保安方法を用いて実行されることができる。例えば、リミックスプレーヤーＢを作動させるユーザは、当該原コンテンツを分けてダウンロードする必要があり、該ユーザがリミックスプレーヤーＢにより提供されたリミックス特性にアクセスしたり利用する前にライセンスを確保しなければならない。
【０２５２】
図１７Ａは、リミックス情報を提供するためのビットストリームの基本的な成分を示す。一部の実施例において、１つの統合されたビットストリーム１７０２が、ミックスされたオーディオ信号（Ｍｉｘｅｄ＿ＯｂｊＢＳ）、ゲインファクタ及びサブバンドパワー（Ｒｅｆ＿Ｍｉｘ＿ＰａｒａＢＳ）及びユーザ指定されたミックスパラメータ（Ｕｓｅｒｓ＿Ｍｉｘ＿ＰａｒａＢＳ）を含むリミックス可能な装置に伝達されることができる。一部の実施例において、リミックス情報のための複数のビットストリームが、リミックス可能な装置に独立して伝達されることができる。例えば、ミックスされたオーディオ信号は、第１ビットストリーム１７０４で転送されることができ、ゲインファクタ、サブバンドパワー及びユーザ指定されたミックスパラメータは、第２ビットストリーム１７０６で転送されることができる。一部の実施例において、ミックスされたオーディオ信号、ゲインファクタ及びサブバンドパワー及びユーザ指定されたミックスパラメータは、３個の分離されたビットストリーム１７０８，１７１０，１７１２で転送されることができる。これらの分離されたビットストリームは、同一か相異なるビットレートで転送されることができる。これらのビットストリームは、帯域幅を保全し、ビットインターリービング（ｉｎｔｅｒｌｅａｖｉｎｇ）、エントロピーコーディング（例えば、ハフマンコーディング）、エラー補正などを含むロバスト性（ｒｏｂｕｓｔｎｅｓｓ）を保障すべく、様々な公知の技術を用いて必要によって処理されることができる。
【０２５３】
図１７Ｂは、リミックスエンコーディング部１７１４におけるビットストリームインタフェースを示す図である。一部の実施例において、リミックスエンコーディング部インタフェース１７１４への入力は、ミックスされたオブジェクト信号、個別オブジェクトまたはソース信号及びエンコーディング部オプションを含むことができる。エンコーディング部インタフェース１７１４の出力は、ミックスされたオーディオ信号ビットストリーム、ゲインファクタ及びサブバンドパワーを含むビットストリーム、及び既設定されたミックスパラメータを含むビットストリームを含むことができる。
【０２５４】
図１７Ｃは、リミックスデコーディング部１７１６におけるビットストリームインタフェースを示す図である。一部の実施例において、リミックスデコーディング部インタフェース１７１６内への入力は、ミックスされたオーディオ信号ビットストリーム、ゲインファクタ及びサブバンドパワーを含むビットストリーム、及び既設定されたミックスパラメータを含むビットストリームを含むことができる。デコーディング部インタフェース１７１６の出力は、リミックスされたオーディオ信号、アップミックスレンダリング部ビットストリーム（例えば、マルチチャネル信号）、ブラインドリミックスパラメータ、及びユーザリミックスパラメータを含むことができる。
【０２５５】
エンコーディング部及びデコーディング部インタフェースにおいて他の構成も可能である。図１７Ｂ及び図１７Ｃに示すインタフェース構成は、リミックス可能な装置がリミックス情報を処理するようにするためのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を定義するために用いられることができる。図１７Ｂ及び図１７Ｃに示すインタフェースは一例に過ぎず、該装置に部分的に基づく相異なる数及び相異なる種類の入力及び出力を持つ構成を含む様々な構成が可能である。
【０２５６】
図１８は、特定のオブジェクト信号においてリミックスされた信号の向上した知覚されたクォリティーを提供するために追加的な付加情報を生成するための拡張子を含む例示的なシステム１８００を示すブロック図である。一部の実施例において、システム１８００は、（エンコーディング側に）ミックス信号エンコーディング部１８０８及びリミックスエンコーディング部１８０４及び信号エンコーディング部１８０６を含むエンハンスドリミックスエンコーディング部１８０２を含む。一部の実施例において、システム１８００は、（デコーディング側に）ミックス信号デコーディング部１８１０、リミックスレンダリング部１８１４及びパラメータ生成器１８１６を含む。
【０２５７】
エンコーディング部側で、ミックスされたオーディオ信号がミックス信号エンコーディング部１８０８（例えば、ＭＰ３エンコーディング部）によりエンコーディングされ、デコーディング側に送られる。オブジェクト信号（例えば、リードボーカル、ギター、ドラムまたはその他の楽器）は、例えば、図１Ａ及び図３Ａで説明された通り、付加情報（例えば、ゲインファクタ及びサブバンドパワー）を生成するリミックスエンコーディング部１８０４に入力される。さらに、重要な１つ以上のオブジェクト信号が追加的な付加情報を生成するために信号エンコーディング部１８０６（例えば、ＭＰ３エンコーディング部）に入力される。一部の実施例において、配列情報（ａｌｉｇｎｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ）がミックス信号エンコーディング部１８０８及び信号エンコーディング部１８０６のそれぞれの出力信号を整列すべく信号エンコーディング部１８０６に入力される。配列情報は、時間配列情報、用いられたコデックス種類、ターゲットビットレート、ビット割当情報または方式（ｓｔｒａｔｅｇｙ）などを含むことができる。
【０２５８】
デコーディング部側で、ミックス信号エンコーディング部の出力は、ミックス信号デコーディング部１８１０（例えば、ＭＰ３デコーディング部）に入力される。ミックス信号デコーディング部１８１０及びエンコーディング部付加情報（例えば、エンコーディング部生成ゲインファクタ、サブバンドパワー、追加的な付加情報）の出力は、リミックスパラメータ及び追加的なリミックスデータを生成するために、制御パラメータ（例えば、ユーザ指定されたミックスパラメータ）と共に、これらパラメータを用いるパラメータ生成器１８１６に入力される。リミックスパラメータ及び追加的なリミックスデータは、リミックスされたオーディオ信号をレンダリングするリミックスレンダリング部１８１４により用いられることができる。
【０２５９】
追加的なリミックスデータ（例えば、オブジェクト信号）は、原ミックスオーディオ信号内の特定のオブジェクトをリミックスするために、リミックスレンダリング部１８１４により用いられる。例えば、カラオケアプリケーションで、リードボーカルを表すオブジェクト信号は、追加的な付加情報（例えば、エンコーディングされたオブジェクト信号）を生成するようにエンハンスドリミックスエンコーディング部１８１２により用いられることができる。この信号は、原ミックスオーディオ信号内のリードボーカルをリミックスする（例えば、リードボーカルを圧縮したり弱化させる）ように、リミックスレンダリング部１８１４により用いられることができる、追加的なリミックスデータを生成するようにパラメータ生成器１８１６により用いられることができる。
【０２６０】
図１９は、図１８に示すリミックスレンダリング部１８１４の一例を示すブロック図である。一部の実施例において、ダウンミックス信号Ｘ１、Ｘ２はそれぞれ、コンバイナ１９０４，１９０６に入力される。ダウンミックス信号Ｘ１、Ｘ２は、例えば原ミックスオーディオ信号の左側及び右側チャネルでありうる。コンバイナ１９０４，１９０６は、パラメータ生成器１８１６により供給された追加的なリミックスデータとダウンミックス信号Ｘ１、Ｘ２を結合する。カラオケの例で、結合は、リミックスされたオーディオ信号内のリードボーカルを圧縮したり弱化させるようにリミキシングする前に、ダウンミックス信号Ｘ１、Ｘ２からリードボーカルオブジェクト信号を抽出するステップを含むことができる。
【０２６１】
一部の実施例において、ダウンミックス信号Ｘ１（例えば、原ミックスオーディオ信号の左側チャネル）は、追加的なリミックスデータ（例えば、リードボーカルオブジェクト信号の左側チャネル）と結合され、スケールモジュール１９０６ａ，１９０６ｂによりスケールされ、ダウンミックス信号Ｘ２（例えば、原ミックスオーディオ信号の右側チャネル）は、追加的なリミックスデータ（例えば、リードボーカルオブジェクト信号の右側チャネル）と結合され、スケールモジュール１９０６ｃ，１９０６ｄによりスケールされる。
【０２６２】
スケールモジュール１９０６ａは、ｅｑ−ミックスパラメータｗ11によりダウンミックス信号Ｘ１をスケールし、スケールモジュール１９０６ｂは、ｅｑ−ミックスパラメータｗ21によりダウンミックス信号Ｘ１をスケールし、スケールモジュール１９０６ｃは、ｅｑ−ミックスパラメータｗ12によりダウンミックス信号Ｘ２をスケールし、スケールモジュール１９０６ｄは、ｅｑ−ミックスパラメータｗ22によりダウンミックス信号Ｘ２をスケールする。このスケールは、ｎ×ｎ（例えば、２×２）マトリクスを利用する場合と同様に、線形代数学を用いて実行されることができる。スケールモジュール１９０６ａ，１９０６ｃの出力は、第１レンダリングされた出力信号Ｙ２を提供するように合算され、スケールモジュール１９０６ｂ，１９０６ｄの出力は第２レンダリングされた出力信号Ｙ２を提供するように合算される。
【０２６３】
一部の実施例において、原ステレオミックス間で“カラオケ”モード及び／または“カペラ（ｃａｐｅｌｌａ）”モードに移行するようにユーザインタフェースで制御（例えば、スイッチ、スライダ、ボタン）を実行できる。この制御ポジションの機能のように、コンバイナ１９０２は、原ステレオ信号及び追加的な付加情報により獲得された信号間で線形組合せを制御する。例えば、カラオケモードで、追加的な付加情報から獲得された信号は、ステレオ信号から抽出されることができる。リミックスプロセシングは後で量子化騒音（ステレオ及び／または他の信号が多く損なわれてコーディングされる場合）を除去するのに適用されることができる。ボーカルを部分的に除去する目的で、追加的な付加情報により獲得された信号の一部のみが抽出される必要がある。ボーカルのみを演奏するためには、コンバイナ１９０２は、追加的な付加情報により獲得された信号を選択する。若干のバックグラウンドミュージックを持つボーカルを演奏するためには、コンバイナ１９０２は、追加的な付加情報により獲得された信号に、ステレオ信号のスケールされたバージョンを加える。
【０２６４】
本明細書は多くの特定の内容を含むが、これらは、請求される範囲または請求される範囲における制限として解釈されてはいけず、特定の実施例に特定された特性の説明として解釈されなければならない。各実施例の文脈から見た明細書に説明された所定の特性は、１つの実施例で組合せで実行されても良い。逆に、１つの実施例の文脈で説明された様々な特性が、複数の実施例で分離して実行されたり所定の適切な副結合（ｓｕｂｃｏｍｂｉｎａｔｉｏｎ）で実行されても良い。なお、所定の組合せ及びさらにはそれらのみで最初請求されたものとして上述されたとしても、請求された組合せから１つ以上の特性が一部の場合に当該組合せから削除されることができ、該請求された組合せは副結合または副結合の変形に導かれることができる。
【０２６５】
同様に、特定の順序で図面に動作が示されるが、これは、示された特定の順序でまたは順次的な順序でかかる動作が実行されたり所定の結果を達成するために全ての示された動作が行なわれることを要求するものとして解釈されてはならない。所定の環境では、マルチタスキング及び並列プロセシングが有利な場合もあり得る。上述した実施例の数多くのシステム成分の分離が、全ての実施例においても要求されるわけではなく、説明されたプログラム成分及びシステムは一般的に単一のソフトウェア制作物に共に集積されたり複数のソフトウェア制作物内にパッケージングされることができる。
【０２６６】
本明細書で説明された課題に関る特定の実施例が説明された。その他の実施例は、添付り請求項の範囲内にある。例えば、請求項で引用された行為は、他の順序で実行されても良く、相変らず所定の結果を達成することができる。一例のように、所定の結果を達成するために、添付の図面に示すプロセスは、必ずしも図示された特定の順序または順次的な順序を要求するわけではない。
【０２６７】
また、例の例のように、セクション５Ａで示された付加情報の前処理は、上記の式２で与えられた信号モデルと矛盾する負数値を防止するために、リミックスされた信号のサブバンドパワーにより低い境界を提供する。しかし、この信号モデルは、リミックスされた信号のポジティブパワーを意味するだけでなく、原ステレオ信号及びリミックスされたステレオ信号、すなわち、Ｅ｛ｘ1ｙ1｝，Ｅ｛ｘ1ｙ2｝，Ｅ｛ｘ2ｙ1｝及びＥ｛ｘ2ｙ2｝間のポジティブ外積を意味する。
【０２６８】
二つの重み値の場合において、Ｅ｛ｘ1ｙ1｝とＥ｛ｘ2ｙ2｝の外積が負数となるのを防ぐために、上記の式１８に定義された重み値は、それらがＡｄＢより絶対に小さくないとような特定の境界値に限定される。
【０２６９】
【数６２】
2010507927.tif 000064
【図１Ａ】
2010507927.tif 000073
【図１Ｂ】
2010507927.tif 000074
【図２】
2010507927.tif 000075
【図３Ａ】
2010507927.tif 000076
【図３Ｂ】
2010507927.tif 000077
【図４】
2010507927.tif 000078
【図５】
2010507927.tif 000079
【図６Ａ】
2010507927.tif 000080
【図６Ｂ】
2010507927.tif 000081
【図７Ａ】
2010507927.tif 000082
【図７Ｂ】
2010507927.tif 000083
【図８Ａ】
2010507927.tif 000084
【図８Ｂ】
2010507927.tif 000085
【図９】
2010507927.tif 000086
【図１０】
2010507927.tif 000087
【図１１】
2010507927.tif 000088
【図１２】
2010507927.tif 000089
【図１３】
2010507927.tif 000090
【図１４Ａ】
2010507927.tif 000091
【図１４Ｂ】
2010507927.tif 000092
【図１５】
2010507927.tif 000093
【図１６】
2010507927.tif 000094
【図１７Ａ】
2010507927.tif 000095
【図１７Ｂ】
2010507927.tif 000096
【図１７Ｃ】
2010507927.tif 000097
【図１８】
2010507927.tif 000098
【図１９】
2010507927.tif 000099
【手続補正書】
【提出日】平成21年4月9日(2009.4.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
前記第１複数チャネルオーディオ信号とリミックスされるオブジェクトを表す１つ以上のソース信号との間の関係を少なくとも一部が表す付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記第１複数チャネルオーディオ信号と前記付加情報と前記ミックスパラメータのセットとを用いて第２複数チャネルオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項２】
前記第２複数チャネルオーディオ信号を生成するステップは、
前記第１複数チャネルオーディオ信号を第１サブバンド信号のセットに分解するステップと、
前記付加情報及び前記ミックスパラメータのセットを用いて第２複数チャネルオーディオ信号に対応する第２サブバンド信号のセットを推定するステップと、
前記第２サブバンド信号のセットを前記第２複数チャネルオーディオ信号に変換するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第２サブバンド信号のセットを推定するステップは、
リミックスされる前記オブジェクトと関連したゲインファクタ及びサブバンドパワー推定値を提供するように前記付加情報をデコーディングするステップと、
前記ゲインファクタ、前記サブバンドパワー推定値及び前記ミックスパラメータのセットに基づいて１つ以上の重み値のセットを決定するステップと、
少なくとも１つの前記重み値のセットを用いて前記第２サブバンド信号のセットを推定するステップと、
をさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記１つ以上の重み値のセットを決定するステップは、
前記第１複数チャネルオーディオ信号と前記第２複数チャネルオーディオ信号との間の差を最小化する重み値のセットを決定するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記１つ以上の重み値のセットを決定するステップは、
線形方程式を形成するステップであって、前記線形方程式で各方程式は積の和であり、各積はサブバンド信号と重み値を乗算することによって形成されるステップと、
前記線形方程式の解を求めることによって前記重み値を決定するステップと、を含むことを特徴とする請求項３に記載の方法。
【請求項６】
前記第１サブバンド信号のセットと関連した１つ以上のレベル差キューとマッチさせるために、前記第２サブバンド信号のセットと関連した１つ以上のレベル差キューを調節するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項７】
前記第１複数チャネルオーディオ信号のサブバンドパワー推定値未満の臨界値と等しいか大きくなるように、前記第２複数チャネルオーディオ信号のサブバンドパワー推定値を制限するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項８】
前記１つ以上の重み値のセットを決定するために前記サブバンドパワー推定を用いる前に、１よりも大きい値により前記サブバンドパワー推定値をスケーリングするステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項９】
前記サブバンドパワー推定値及び前記ミックスパラメータのセットを用いて前記第１複数チャネルオーディオ信号のアンビエンス値を修正するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記ミックスパラメータのセットを獲得するステップは、
ユーザ指定されたゲイン及びパン値を獲得するステップと、
前記ゲイン及びパン値及び前記付加情報から前記ミックスパラメータのセットを決定するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１１】
オブジェクトのセットを持つオーディオを獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から付加情報を生成するステップと、を含み、
前記付加情報のうちの少なくとも一部は、前記オーディオ信号と前記ソース信号との間の関係を表すことを特徴とする方法。
【請求項１２】
前記付加情報を生成するステップは、
前記オーディオ信号及び前記ソース信号のサブセットを、第１サブバンド信号のセット及び第２サブバンド信号のセットにそれぞれ分解するステップと、
前記第２サブバンド信号のセット内の各サブバンド信号において、前記サブバンド信号におけるサブバンドパワーを推定するステップ、１つ以上のゲインファクタを獲得するステップ、及び前記１つ以上のゲインファクタ及び前記サブバンドパワーから付加情報を生成するステップと、
をさらに含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
複数チャネルオーディオ信号を獲得するステップと、
サウンドステージ上の前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定するステップと、
前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定するステップと、
前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記関数は、前記所定のサウンド方向においてのみ略１つのゲインファクタをリターンするサウンド方向の関数であることを特徴とする請求項１３に記載の方法。
【請求項１５】
ミックスされたオーディオ信号を獲得するステップと、
前記ミックスされたオーディオ信号をリミキシングするためのミックスパラメータのセットを獲得するステップと、
付加情報が利用可能であれば、前記付加情報及び前記ミックスパラメータのセットを用いて前記ミックスされたオーディオ信号をリミキシングするステップと、
付加情報が利用不可能であれば、前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成するステップと、
前記ブラインドパラメータ及び前記ミックスパラメータのセットを用いてリミックスされたオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項１６】
前記ブラインドパラメータまたは前記付加情報のいずれか１つからリミックスパラメータを生成するステップと、
前記リミックスパラメータが前記付加情報から生成されると、前記リミックスされたパラメータ及び前記ミックスされた信号から前記リミックスされたオーディオ信号を生成するステップと、
をさらに含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
スピーチソース信号を含むミックスされたオーディオ信号を獲得するステップと、
１つ以上の前記スピーチソース信号に所定の改善を指定したミックスパラメータを獲得するステップと、
前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成するステップと、
前記ブラインドパラメータ及び前記ミックスパラメータからリミックスパラメータを生成するステップと、
前記ミックスパラメータに応じて、前記１つ以上のスピーチソース信号をエンハンスする前記ミックスされた信号に前記リミックスパラメータを適用するステップと、
を含む方法。
【請求項１８】
ミックスパラメータを指定した入力を受信するためのユーザインタフェースを生成するステップと、
前記ユーザインタフェースを通じてミキシングパラメータを獲得するステップと、
ソース信号を含む第１オーディオ信号を獲得するステップと、
前記第１オーディオ信号と１つ以上のソース信号との間の関係を少なくとも一部が表す付加情報を獲得するステップと、
第２オーディオ信号を生成するために前記付加情報及び前記ミックスパラメータを用いて前記１つ以上のソース信号をリミキシングするステップと、
を含む方法。
【請求項１９】
ミックスされたオーディオ信号を獲得するステップと、
前記ミックスされたオーディオ信号をリミックスするためのミキシングパラメータのセットを獲得するステップと、
前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成するステップと、
ｎ×ｎマトリクスを用いて前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項２０】
付加情報を受信し、前記付加情報からリミックスパラメータを獲得するデコーディング部と、
ミックスパラメータのセットを獲得するインタフェースと、
前記デコーディング部及び前記インタフェースに結合された、第２複数チャネルオーディオ信号を生成するために前記付加情報及び前記ミックスパラメータのセットを用いて前記ソース信号をリミキシングするリミックスモジュールと、を含み、
前記付加情報の少なくとも一部は、第１複数チャネルオーディオ信号を生成するのに用いられる１つ以上のソース信号と前記第１複数チャネルオーディオ信号との間の関係を表すことを特徴とする装置。
【請求項２１】
オブジェクトのセット及び前記オブジェクトを表すソース信号を持つオーディオ信号を獲得するインタフェースと、
前記インタフェースに結合され、前記ソース信号から付加情報を生成する付加情報生成器であって、前記付加情報のうちの少なくとも一部は、前記オーディオ信号及び前記ソース信号との間の関係を表す付加情報生成器と、
を含むことを特徴とする装置。
【請求項２２】
複数チャネルオーディオ信号を獲得するインタフェースと、
サウンドステージ上の前記ソース信号のセットの所定のサウンド方向を表す所定のソースレベル差を用いてソース信号のセットにおけるゲインファクタを決定し、前記複数チャネルオーディオ信号を用いて前記ソース信号のセットの直接音方向におけるサブバンドパワーを推定し、前記直接音方向及び所定のサウンド方向の関数として、前記直接音方向における前記サブバンドパワーを修正することによって、前記ソース信号のセット内の前記ソース信号の少なくとも一部におけるサブバンドパワーを推定する付加情報生成器と、
を含むことを特徴とする装置。
【請求項２３】
ミックスされたオーディオ信号及び前記ミックスされたオーディオ信号をリミキシングするためのミックスパラメータのセットを獲得し、付加情報が利用可能か否かを判定するパラメータ生成器と、
前記パラメータ生成器に結合されており、付加情報が利用可能であれば、前記付加情報及び前記ミックスパラメータのセットを用いて前記ミックスされたオーディオ信号をリミキシングし、付加情報が利用不可能であれば、ブラインドパラメータのセットを受信して、前記ミックスパラメータのセット及び前記ブラインドパラメータを用いてリミックスされたオーディオ信号を生成するリミックスレンダリング部と、
を含むことを特徴とする装置。
【請求項２４】
スピーチソース信号を含むミックスされたオーディオ信号及び１つ以上の前記スピーチソース信号に所定の改善を指定したミックスパラメータを獲得するインタフェースと、
前記インタフェースに結合され、前記ミックスされたオーディオ信号からブラインドパラメータのセットを生成し、前記ブラインドパラメータ及び前記ミックスパラメータからパラメータを生成するリミックスパラメータ生成器と、
前記ミックスパラメータに応じて、前記１つ以上のスピーチソース信号をエンハンスするように前記ミックスされた信号に前記パラメータを適用するリミックスレンダリング部と、
を含むことを特徴とする装置。
【請求項２５】
前記ミックスされたオーディオ信号をリミックスするためのミックスパラメータのセットを獲得するインタフェースと、
前記インタフェースに結合され、前記ミックスされたオーディオ信号及び前記ミキシングパラメータのセットを用いてリミックスパラメータを生成し、ｎ×ｎマトリクスを用いて前記ミックスされたオーディオ信号に前記リミックスパラメータを適用することによってリミックスされたオーディオ信号を生成するリミックスモジュールと、
を含むことを特徴とする装置。
【請求項２６】
プロセシング部により実行される場合、
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
前記第１複数チャネルオーディオ信号とリミックスされるオブジェクトを表す１つ以上のソース信号との間の関係を少なくとも一部が表す付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記第１複数チャネルオーディオ信号と前記付加情報と前記ミックスパラメータのセットとを用いて第２複数チャネルオーディオ信号を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項２７】
プロセッサにより実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から、前記付加情報と前記ソース信号間との関係を少なくとも一部が表す付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つことを特徴とするコンピュータで読取りできる記録媒体。
【請求項２８】
プロセシング部と、
前記プロセシング部により実行される場合、
オブジェクトのセットを持つ第１複数チャネルオーディオ信号を獲得するステップと、
前記第１複数チャネルオーディオ信号とリミックスされるオブジェクトを表す１つ以上のソース信号との間の関係を少なくとも一部が表す付加情報を獲得するステップと、
ミックスパラメータのセットを獲得するステップと、
前記第１複数チャネルオーディオ信号と前記付加情報と前記ミックスパラメータのセットとを用いて第２複数チャネルオーディオ信号を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセッサに結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【請求項２９】
プロセシング部と、
前記プロセシング部により実行される場合、
オブジェクトのセットを持つオーディオ信号を獲得するステップと、
前記オブジェクトを表すソース信号を獲得するステップと、
前記ソース信号から、少なくとも一部は前記付加情報と前記ソース信号間の関係を表す付加情報を生成するステップと、を含む動作が実行されるようにする、格納された命令を持つ、前記プロセシング部に結合されたコンピュータで読取りできる記録媒体と、
を含むことを特徴とするシステム。
【国際調査報告】
2010507927.tif 000100
2010507927.tif 000101
2010507927.tif 000102
2010507927.tif 000103
2010507927.tif 000104
2010507927.tif 000105