(57)【要約】  オーディオシステムはエンコードユニット４０３においてオーディオオブジェクトをエンコードするエンコーダ２０９を有し、エンコードユニット４０３は、ダウンミクスオーディオ信号及び複数のオーディオオブジェクトを表すパラメトリックデータを生成する。該ダウンミクスオーディオ信号及びパラメトリックデータはデコーダ２１５に送信され、デコーダ２１５は、該オーディオオブジェクトの近似的な複製を生成するデコードユニット３０１と、該オーディオオブジェクトから出力信号を生成する再生ユニット３０３と、を有する。デコーダ２１５は更に、エンコーダ２０９に送信されるエンコード変更データを生成するためのプロセッサ５０１を含む。エンコーダ２０９は次いで、該エンコード変更データに応じて、該オーディオオブジェクトのエンコードを変更し、とりわけ該パラメトリックデータを変更する。本手法は、オーディオオブジェクトの操作が、デコーダ２１５により制御されながらも、エンコーダ２０９により完全に又は部分的に実行されることを可能とする。かくして、該操作は、近似的な複製に対してではなく実際の独立したオーディオオブジェクトに対して実行され、それにより改善された性能を提供し得る。
2010503887.tif 000002
【特許請求の範囲】
【請求項１】
オーディオオブジェクトをエンコードするためのエンコーダであって、
複数のオーディオオブジェクトを受信するための手段と、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、
リモートのユニットからエンコード変更データを受信するための手段と、
前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、
を有するエンコーダ。
【請求項２】
前記エンコード手段は、前記オーディオオブジェクトのダウンミクスにより前記幾つかのオーディオ信号を生成するように構成され、前記パラメータ手段は、前記エンコード変更データに応じて少なくとも１つの前記オーディオオブジェクトのダウンミクスの重みを変更するように構成された、請求項１に記載のエンコーダ。
【請求項３】
前記パラメータ手段は、前記エンコード変更データに応じて少なくとも第１のオーディオオブジェクトをスケーリングし、前記スケーリングに応じて前記第１のオーディオオブジェクトについてのオブジェクトパラメータを変更するように構成された、請求項１に記載のエンコーダ。
【請求項４】
前記エンコード変更データの少なくとも幾つかは周波数固有のものであり、前記パラメータ手段は、前記オブジェクトパラメータの周波数特性に応じて少なくとも１つのオブジェクトパラメータを決定するように構成された、請求項１に記載のエンコーダ。
【請求項５】
前記エンコード手段は、前記オーディオオブジェクトの前記幾つかのオーディオ信号へのダウンミクスの前に、前記エンコード変更データに応じて、少なくとも１つのオーディオオブジェクトを変更するように構成された、請求項１に記載のエンコーダ。
【請求項６】
前記エンコード手段は、前記幾つかのオーディオ信号を空間的なダウンミクスとして生成するように構成された、請求項１に記載のエンコーダ。
【請求項７】
前記エンコード手段は、前記エンコード変更データに応じて、
前記オーディオオブジェクトの少なくとも１つの空間的な位置と、
前記オーディオオブジェクトの少なくとも１つの距離特性と、
前記エンコーダの空間再生モードと、
前記オーディオオブジェクトの少なくとも１つの周波数特性と、
から成る群から選択された少なくとも１つの特性を変更するように構成された、請求項６に記載のエンコーダ。
【請求項８】
各前記オーディオオブジェクトは、他のオーディオオブジェクトのオーディオ源とは独立したオーディオ源のセットと関連する、請求項１に記載のエンコーダ。
【請求項９】
前記エンコーダは、前記リモートのユニットから第１のオーディオオブジェクトを受信するように構成され、前記エンコード変更データを受信するための手段は、前記第１のオーディオオブジェクトについて受信されたエンコードデータから前記エンコード変更データを抽出するように構成された、請求項１に記載のエンコーダ。
【請求項１０】
前記エンコーダは、複数のリモートのユニットからエンコード変更データを受信し、異なるリモートのユニットからの異なるエンコード変更データの受信に応じて、異なるリモートのユニットについて異なるパラメトリックデータを生成するように構成された、請求項１に記載のエンコーダ。
【請求項１１】
オーディオオブジェクトをデコードするためのデコーダであって、
複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するための受信器と、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、
オブジェクトエンコーダのためのエンコード変更データを生成するための手段と、
前記エンコード変更データを前記オブジェクトエンコーダに送信するための手段と、
を有するデコーダ。
【請求項１２】
複数の通信ユニット間でのテレビ会議を支援するためのテレビ会議ハブであって、
前記複数の通信ユニットから第１の複数の音声信号を受信するための手段と、
第１の通信ユニットについて、前記第１の複数の音声信号を、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数の音声信号を表すパラメトリックデータであって少なくとも１つの異なる音声信号についてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、
前記第１の通信ユニットからエンコード変更データを受信するための手段と、
前記変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、
前記幾つかのオーディオ信号及び前記パラメトリックデータを前記第１の通信ユニットに送信するための手段と、
を有するテレビ会議ハブ。
【請求項１３】
オーディオ信号を送信するための送信器であって、
複数のオーディオオブジェクトを受信するための手段と、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、
リモートのユニットからエンコード変更データを受信するための手段と、
前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、
を有する送信器。
【請求項１４】
オーディオ信号を受信するための受信器であって、
複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するための受信部と、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、
オブジェクトエンコーダのためのエンコード変更データを生成するための手段と、
前記エンコード変更データを前記オブジェクトエンコーダに送信するための手段と、
を有する受信器。
【請求項１５】
オーディオ信号を通信するための通信システムであって、
複数のオーディオオブジェクトを受信するための手段と、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、
前記幾つかのオーディオ信号及び前記パラメトリックデータを受信器に送信するための手段と、
を有する送信器、及び
前記幾つかのオーディオ信号及び前記パラメトリックデータを前記送信器から受信するための受信部と、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、
前記エンコード手段のためのエンコード変更データを生成するための手段と、
前記エンコード変更データを前記送信器に送信するための手段と、
を有する受信器
を有し、前記送信器は、
前記エンコード変更データを前記受信器から受信するための手段と、
前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、
を有する、通信システム。
【請求項１６】
オーディオ信号をエンコードする方法であって、
複数のオーディオオブジェクトを受信するステップと、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、
リモートのユニットからエンコード変更データを受信するステップと、
前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、
を有する方法。
【請求項１７】
オーディオ信号をデコードする方法であって、
複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するステップと、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、
オブジェクトエンコーダのためのエンコード変更データを生成するステップと、
前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、
を有する方法。
【請求項１８】
オーディオ信号を送信する方法であって、
複数のオーディオオブジェクトを受信するステップと、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、
リモートのユニットからエンコード変更データを受信するステップと、
前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、
前記幾つかのオーディオ信号及び前記パラメトリックデータを送信するステップと、
を有する方法。
【請求項１９】
オーディオ信号を受信する方法であって、
複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するステップと、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、
オブジェクトエンコーダのためのエンコード変更データを生成するステップと、
前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、
を有する方法。
【請求項２０】
オーディオ信号を送信及び受信する方法であって、
送信器が、
複数のオーディオオブジェクトを受信するステップと、
前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、
前記幾つかのオーディオ信号及び前記パラメトリックデータを受信器に送信するステップと、
を実行し、前記受信器が、
前記送信器から、前記幾つかのオーディオ信号及び前記パラメトリックデータを受信するステップと、
前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、
エンコード手段のためのエンコード変更データを生成するステップと、
前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、
を実行し、前記送信器は更に、
前記エンコード変更データを前記受信器から受信するステップと、
前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、
を実行する方法。
【請求項２１】
請求項１６乃至２０のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
【請求項２２】
請求項１１に記載のデコーダを有するオーディオ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオオブジェクトのエンコード及びデコードに関し、特に、限定するものではないが、ダウンミクス空間信号のオーディオオブジェクトの操作に関する。
【背景技術】
【０００２】
ディジタル信号表現及び通信がアナログ表現及び通信にますます置き換わってきたため、種々のオーディオ信号のディジタルエンコードは、最近の数十年間で、ますます重要なものとなっている。
【０００３】
最近の数十年間、多チャネルオーディオ、具体的には従来のステレオ信号を超えた空間オーディオへ移行する傾向がある。例えば、伝統的なステレオ記録は２つのチャネルのみを有するものであるが、現代の先進のオーディオシステムは典型的に、人気の高い５．１サラウンド音声システムにおけるように、５又は６個のチャネルを利用する。このことは、ユーザが音源に囲まれ得る、より臨場感のある聴取環境を提供する。
【０００４】
斯かる多チャネル信号の通信のため、種々の手法及び規格が開発されてきた。例えば、５．１サラウンドシステムを表す６個の離散的なチャネルは、Advanced Audio Coding（ＡＡＣ）又はDolby Digital規格のような規格に従って送信され得る。
【０００５】
しかしながら、後方互換性を提供するため、多くの数のチャネルを、より少ない数のチャネルへとダウンミクス（down-mix）することが知られており、具体的には、５．１サラウンド音声信号をステレオ信号へとダウンミクスすることにより、ステレオ信号をレガシー（ステレオ）デコーダにより再生されるようにし、５．１信号をサラウンド音声デコーダにより再生されるようにすることが、頻繁に利用されている。
【０００６】
一例は、ＭＰＥＧ（Moving Pictures Experts Group）により標準化された、ＭＰＥＧサラウンド後方互換のコーディング方法である。斯かるシステムにおいては、多チャネル信号はステレオ信号へとダウンミクスされ、補助データ部分にパラメトリックデータにより付加的な信号がエンコードされ、それによりＭＰＥＧサラウンド多チャネルデコーダが多チャネル信号の表現を生成することを可能とする。レガシーのモノラル又はステレオデコーダは該補助データを無視し、従ってモノラル又はステレオのダウンミクスのみをデコードする。
【０００７】
かくして、（パラメトリック）空間オーディオコーダ（エンコーダ）においては、パラメータが元のオーディオ信号から抽出され、それにより、削減された数のチャネル（例えば単一のチャネルのみ）と、元のオーディオ信号の空間特性を記述するパラメータのセットとを持つオーディオ信号を再生する。（パラメトリック）空間オーディオデコーダにおいては、元の空間多チャネル信号を再生成するため、送信された空間パラメータにより記述された空間特性が利用される。
【０００８】
近年、受信側で処理及び操作され得る個々のオーディオオブジェクトの配布のための手法が、大きな関心を集めている。例えば、ＭＰＥＧフレームワーク内で、オブジェクトベースの空間オーディオコーディングに対する作業項目が開始される。該作業項目の目的は、多音源又は多オブジェクトを幾つかのダウンミクスチャネル及び対応する空間パラメータへとビットレート効率良くコーディングするために、新たな技術を探究すること、及び現在のＭＰＥＧサラウンドのコンポーネント及び技術を再利用することである。従って目的は、空間（サラウンド）チャネルのより少ない数のチャネルへのダウンミクスのために利用される手法と類似した手法を、個々のオーディオオブジェクトをより少ない数のチャネルにダウンミクスするために利用することである。
【０００９】
オブジェクト指向のオーディオシステムにおいて、デコーダは、これら音源／オブジェクトの離散的な配置と、種々のラウドスピーカ設定及び両耳用再生に対する適応とを提供することができる。加えて、再生側において、個々の音源の再配置／パン（panning）を制御するために、ユーザインタラクションが利用されても良い。
【００１０】
換言すれば、研究の目的は、パラメータに付随されたダウンミクスチャネルの限られたセットへと多オーディオオブジェクトをエンコードすることである。デコーダ側においては、ユーザは、例えば個々のオブジェクトを再配置することにより、コンテンツとインタラクトすることができる。具体例としては、幾つかの個々の楽器がエンコードされオーディオオブジェクトとして分散され、それにより、該エンコードされたデータを受信するユーザが、音像において個々の楽器を個別に配置することを可能としても良い。
【００１１】
図１は、先行技術によるオブジェクト指向のオーディオエンコーダ及びデコーダの例を示す。本例においては、オーディオオブジェクトのセット（Ｏ１乃至Ｏ４）がオブジェクト指向エンコーダ１０１においてエンコードされ、該オブジェクト指向エンコーダ１０１はダウンミクス信号及びオブジェクトパラメータを生成する。これらはオブジェクト指向デコーダ１０３に送信され、該オブジェクト指向デコーダ１０３が、該送信されたオブジェクトパラメータを用いて、オーディオオブジェクト信号の適切なコピーを生成する。
【００１２】
続いて再生部１０５は、所望の特性を持つ出力信号を生成する。例えば、再生部１０５は、例えばパン規則を利用して、ユーザにより示された音源位置にオブジェクトを配置しても良い。該出力信号の構成は、柔軟なものである。例えば、出力信号がモノラルである場合、ユーザは依然として、各オブジェクトの相対的な音の大きさ／音量を操作できる。ステレオ出力信号構成においては、所望の位置に各オブジェクトを配置するために、単純なパン規則が適用され得る。明らかに、多チャネル出力構成については、この柔軟性がより大きくなる。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、本システムは有利な性能を提供し得るものの、幾つかの欠点も持つ。例えば、多くの場合において、再生品質は最適には及ばず、個々のオーディオオブジェクトの完全に自由で独立した操作は不可能である。具体的には、エンコーダのダウンミクスは一般に、デコーダにおいて完全には可逆のものではなく、従ってデコーダは元のオーディオオブジェクトの近似しか生成できない。かくして、デコーダは個々のオブジェクト信号を完全には再構築できず、知覚的な基準によってこれら信号を推定することしかできない。このことは特に、オーディオオブジェクト間の相互干渉（クロストーク）に帰着し、それにより、もはや完全には独立ではないオーディオオブジェクトに帰着する。結果として、或るオブジェクトに対する操作が、他のオブジェクトの特性及び知覚に影響を与える。
【００１４】
例えば、典型的にユーザが調節したい最も重要なパラメータのひとつは、各オーディオオブジェクトの相対音量である。しかしながら、大きな音量調節が為されると、このことは著しいアーティファクト及び望ましくないクロストークに帰着し、顕著な音質低下に帰着することとなる。
【００１５】
それ故、オーディオオブジェクトのエンコード／デコードのための改善されたシステムが有利となり、とりわけ、増大された柔軟性、改善された音質、容易化された実装、及び／又は改善された性能を可能とするシステムが有利となる。
【００１６】
従って、本発明は、上述した欠点の１つ以上を単独で又はいずれかの組み合わせで好適には緩和、軽減又は除去することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の第１の態様によれば、オーディオオブジェクトをエンコードするためのエンコーダであって、複数のオーディオオブジェクトを受信するための手段と、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、リモートのユニットからエンコード変更データを受信するための手段と、前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、を有するエンコーダが提供される。
【００１８】
本発明は、オーディオオブジェクトの改善されたエンコードを可能とし、とりわけ、例えば個々のオーディオオブジェクトの改善された個々のユーザ制御を用いて、改善されたユーザ体験が実現され得るオーディオ配信システムを可能とし得る。本発明は、個々のオーディオオブジェクトの特性の改善された制御を可能とし、とりわけ、オーディオオブジェクトを操作する際のオーディオオブジェクト間の干渉による劣化を低減することを可能とし得る。前記エンコーダは、操作されたオーディオオブジェクトをオブジェクト指向デコーダが正確にデコードするようにエンコード変更データを変更する、効率的なリモート制御された操作を可能とし得る。本発明は、エンコーダとデコーダとの間でのオーディオオブジェクト操作の改善された配分を可能とし、改善された柔軟性、性能及び／又は音質に帰着する。
【００１９】
前記エンコード手段は更に、前記エンコード変更データに応じて、前記幾つかのオーディオ信号を生成しても良い。前記オブジェクトパラメータは、例えば異なるオーディオオブジェクト間の相対強度差を示す強度パラメータ、及び／又は１つ以上のオーディオ信号とオーディオオブジェクトとの間のエネルギー交換係数であっても良い。該オブジェクトパラメータは、個々の周波数−時間ブロックについてのパラメータを有しても良い。
【００２０】
本発明の任意の特徴によれば、前記エンコード手段は、前記オーディオオブジェクトのダウンミクスにより前記幾つかのオーディオ信号を生成するように構成され、前記パラメータ手段は、前記エンコード変更データに応じて少なくとも１つの前記オーディオオブジェクトのダウンミクスの重みを変更するように構成される。
【００２１】
このことは、聴取者によるオーディオオブジェクトの相対音量の極めて効率的な及び／又は高品質の制御を提供しつつ、他のオーディオオブジェクトに対する影響を低減又は除去する。高性能の個々のオーディオオブジェクトの音量制御が実現され得る。
【００２２】
本発明の任意の特徴によれば、前記パラメータ手段は、前記エンコード変更データに応じて少なくとも第１のオーディオオブジェクトをスケーリングし、前記スケーリングに応じて前記第１のオーディオオブジェクトについてのオブジェクトパラメータを変更するように構成される。
【００２３】
このことは、聴取者によるオーディオオブジェクトの相対音量の極めて効率的な及び／又は高品質の制御を提供しつつ、他のオーディオオブジェクトに対する影響を低減又は除去する。高性能の個々のオーディオオブジェクトの音量制御が達成され得る。
【００２４】
本発明の任意の特徴によれば、前記エンコード変更データの少なくとも幾つかは周波数固有のものであり、前記パラメータ手段は、前記オブジェクトパラメータの周波数特性に応じて少なくとも１つのオブジェクトパラメータを決定するように構成される。
【００２５】
このことは、聴取体験の改善された制御を可能とし、とりわけ、オーディオの周波数応答が聴取者により操作されることを可能とし得る。個々のオブジェクトの周波数特性は、個別に且つ独立して変更され得、ここで他のオーディオオブジェクトに対して低減された又は除去された効果しか伴わない。とりわけ、個々のオーディオオブジェクトの効率的な及び／又は高品質の等化が実現され得る。
【００２６】
本発明の任意の特徴によれば、前記エンコード手段は、前記オーディオオブジェクトの前記幾つかのオーディオ信号へのダウンミクスの前に、前記エンコード変更データに応じて、少なくとも１つのオーディオオブジェクトを変更するように構成される。
【００２７】
前記パラメータ手段は、変更されたオーディオオブジェクトの特性に応じてパラメトリックデータを決定するように構成されても良い。このことは、高い性能及び／又は容易化された実装を可能とし得る。
【００２８】
本発明の任意の特徴によれば、前記エンコード手段は、前記幾つかのオーディオ信号を空間的なダウンミクスとして生成するように構成される。
【００２９】
このことは、多くの実施例において改善された性能を可能とし、とりわけ、再生能力を持たない又は限られた再生能力しか持たないエンコーダに関連した改善された操作を可能とし得る。該エンコーダは、例えばオーディオオブジェクトを有する空間多チャネル信号を再生するように構成されても良いし、具体的には空間両耳用信号を生成するように構成されても良い。
【００３０】
本発明の任意の特徴によれば、前記エンコード手段は、前記エンコード変更データに応じて、前記オーディオオブジェクトの少なくとも１つの空間的な位置と、前記オーディオオブジェクトの少なくとも１つの距離特性と、前記エンコーダの空間再生モードと、前記オーディオオブジェクトの少なくとも１つの周波数特性と、から成る群から選択された少なくとも１つの特性を変更するように構成される。
【００３１】
このことは改善された性能を可能とし得、該パラメータはとりわけ、再生される空間信号の知覚的に重要なパラメータを、聴取者が変更することを可能とし得る。
【００３２】
本発明の任意の特徴によれば、各前記オーディオオブジェクトは、他のオーディオオブジェクトのオーディオ源とは独立したオーディオ源のセットと関連する。
【００３３】
前記オーディオオブジェクトは、互いに対して独立なものであっても良い。前記オーディオオブジェクトは、異なる及び独立した音源に対応しても良い。具体的には、前記オーディオオブジェクトは、他のオーディオオブジェクトとは別個に独立して生成され何らの特定の関係を持たない、異なるオーディオオブジェクトであっても良い。例えば、前記オーディオオブジェクトは、個別に録音／捕捉された楽器または音声であっても良い。
【００３４】
前記オーディオオブジェクトは非空間オーディオオブジェクトであっても良い。前記オーディオオブジェクトは、関連する空間特性又は情報を持たない単純な音源であっても良く、とりわけ、オーディオオブジェクト間の相対的な空間的関係、知識又は関連がなくても良い。
【００３５】
本発明の任意の特徴によれば、前記エンコーダは、前記リモートのユニットから第１のオーディオオブジェクトを受信するように構成され、前記エンコード変更データを受信するための手段は、前記第１のオーディオオブジェクトについて受信されたエンコードデータから前記エンコード変更データを抽出するように構成される。
【００３６】
例えば、前記エンコード変更データは、音声、音楽又はその他のオーディオ信号に埋め込まれても良い。前記エンコード変更データは具体的には、例えばＭＰＥＧ４ビットストリームのような、リモートのユニットから受信されたエンコードされたオーディオ信号の補助的な又はユーザデータのフィールドに埋め込まれても良い。このことは、効率的で、後方互換性があり、且つ複雑度の低い、制御データの通信を可能とし、とりわけ、エンコーダを有する装置とリモートのユニットとの間の双方向通信を利用するシステムにおいて有用となり得る。
【００３７】
本発明の任意の特徴によれば、前記エンコーダは、複数のリモートのユニットからエンコード変更データを受信し、異なるリモートのユニットからの異なるエンコード変更データの受信に応じて、異なるリモートのユニットについて異なるパラメトリックデータを生成するように構成される。
【００３８】
このことは、多くの実施例において、改善された操作及び／又は付加的なサービスを可能とし得る。前記エンコード手段は更に、異なるリモートのユニットに対しては、異なるオーディオ信号を生成するように構成されても良い。かくして、本手法は、例えば集中化されたオーディオオブジェクトエンコーダが、リモートのユニットの個々のユーザの要求及び好みに対して送信されるデータをカスタマイズすることを可能とし得る。
【００３９】
本発明の他の態様によれば、オーディオオブジェクトをデコードするためのデコーダであって、複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するための受信器と、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、オブジェクトエンコーダのためのエンコード変更データを生成するための手段と、前記エンコード変更データを前記オブジェクトエンコーダに送信するための手段と、を有するデコーダが提供される。
【００４０】
前記デコード手段及び再生手段は、幾つかの実施例においては組み合わせられても良く、前記空間多チャネル出力信号は、オーディオオブジェクトを明示的に生成することなく、オーディオ信号から直接に生成されても良い。例えば、オーディオオブジェクト信号値を生成するため、オーディオ信号の信号値に対して行列乗算が適用されても良い。次いで、空間多チャネルオーディオ信号値を生成するため、オーディオオブジェクト信号値に対して第２の行列乗算が適用されても良い。代替として、第１及び第２の行列乗算は、単一の行列乗算に組み合わせられても良い。かくして、空間多チャネルオーディオ信号値を直接に生成するため、オーディオ信号の信号値に対して、単一の行列乗算が適用されても良い。かくして、オーディオオブジェクトのデコードは、再生／行列乗算において暗黙的なものであっても良く、オーディオオブジェクト値の明示的な／直接の生成は必須ではない。
【００４１】
本発明の他の態様によれば、複数の通信ユニット間でのテレビ会議を支援するためのテレビ会議ハブであって、前記複数の通信ユニットから第１の複数の音声信号を受信するための手段と、第１の通信ユニットについて、前記第１の複数の音声信号を、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数の音声信号を表すパラメトリックデータであって少なくとも１つの異なる音声信号についてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、前記第１の通信ユニットからエンコード変更データを受信するための手段と、前記変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、前記幾つかのオーディオ信号及び前記パラメトリックデータを前記第１の通信ユニットに送信するための手段と、を有するテレビ会議ハブが提供される。
【００４２】
本発明の他の態様によれば、オーディオ信号を送信するための送信器であって、複数のオーディオオブジェクトを受信するための手段と、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、リモートのユニットからエンコード変更データを受信するための手段と、前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、を有する送信器が提供される。
【００４３】
本発明の他の態様によれば、スケーリング可能なオーディオビットストリームを受信するための受信器であって、複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するための受信部と、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、オブジェクトエンコーダのためのエンコード変更データを生成するための手段と、前記エンコード変更データを前記オブジェクトエンコーダに送信するための手段と、を有する受信器が提供される。
【００４４】
本発明の他の態様によれば、オーディオ信号を通信するための通信システムであって、複数のオーディオオブジェクトを受信するための手段と、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするためのエンコード手段と、前記幾つかのオーディオ信号及び前記パラメトリックデータを受信器に送信するための手段と、を有する送信器、及び前記幾つかのオーディオ信号及び前記パラメトリックデータを前記送信器から受信するための受信部と、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするためのデコード手段と、前記オーディオオブジェクトから空間多チャネル出力信号を生成するための再生手段と、前記エンコード手段のためのエンコード変更データを生成するための手段と、前記エンコード変更データを前記送信器に送信するための手段と、を有する受信器を有し、前記送信器は、前記エンコード変更データを前記受信器から受信するための手段と、前記エンコード変更データに応じて前記パラメトリックデータを決定するためのパラメータ手段と、を有する、通信システムが提供される。
【００４５】
本発明の他の態様によれば、オーディオ信号をエンコードする方法であって、複数のオーディオオブジェクトを受信するステップと、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、リモートのユニットからエンコード変更データを受信するステップと、前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、を有する方法が提供される。
【００４６】
本発明の他の態様によれば、オーディオ信号をデコードする方法であって、複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するステップと、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、オブジェクトエンコーダのためのエンコード変更データを生成するステップと、前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、を有する方法が提供される。
【００４７】
本発明の他の態様によれば、オーディオ信号を送信する方法であって、複数のオーディオオブジェクトを受信するステップと、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、リモートのユニットからエンコード変更データを受信するステップと、前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、前記幾つかのオーディオ信号及び前記パラメトリックデータを送信するステップと、を有する方法が提供される。
【００４８】
本発明の他の態様によれば、オーディオ信号を受信する方法であって、複数のオーディオオブジェクトのダウンミクスである幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてオブジェクトパラメータのセットを有するパラメトリックデータとを、エンコーダから受信するステップと、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、オブジェクトエンコーダのためのエンコード変更データを生成するステップと、前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、を有する方法が提供される。
【００４９】
本発明の他の態様によれば、オーディオ信号を送信及び受信する方法であって、送信器が、複数のオーディオオブジェクトを受信するステップと、前記複数のオーディオオブジェクトを、幾つかのオーディオ信号と、前記幾つかのオーディオ信号に対する前記複数のオーディオオブジェクトを表すパラメトリックデータであって少なくとも１つの異なるオーディオオブジェクトについてのオブジェクトパラメータのセットを有するパラメトリックデータと、にエンコードするステップと、前記幾つかのオーディオ信号及び前記パラメトリックデータを受信器に送信するステップと、を実行し、前記受信器が、前記送信器から、前記幾つかのオーディオ信号及び前記パラメトリックデータを受信するステップと、前記パラメトリックデータに応じて前記幾つかのオーディオ信号から前記オーディオオブジェクトをデコードするステップと、前記オーディオオブジェクトから空間多チャネル出力信号を生成するステップと、エンコード手段のためのエンコード変更データを生成するステップと、前記エンコード変更データを前記オブジェクトエンコーダに送信するステップと、を実行し、前記送信器は更に、前記エンコード変更データを前記受信器から受信するステップと、前記エンコード変更データに応じて前記パラメトリックデータを決定するステップと、を実行する方法が提供される。
【００５０】
本発明の他の態様によれば、上述した方法を実行するためのコンピュータプログラムが提供される。
【００５１】
本発明の他の態様によれば、上述したエンコーダを有するオーディオ記録装置が提供される。
【００５２】
本発明の他の態様によれば、上述したデコーダを有するオーディオ再生装置が提供される。
【００５３】
本発明のこれらの及びその他の態様、特徴及び利点は、以下に記載される実施例を参照しながら説明され明らかとなるであろう。
【図面の簡単な説明】
【００５４】
【図１】先行技術によるオーディオシステムの図である。
【図２】本発明の幾つかの実施例による、オーディオ信号の通信のための通信システムの例を示す。
【図３】本発明の幾つかの実施例による、エンコーダとデコーダとの間のインタラクションを示す。
【図４】本発明の幾つかの実施例によるエンコーダの例を示す。
【図５】本発明の幾つかの実施例によるデコーダの例を示す。
【図６】本発明の幾つかの実施例による、オーディオ信号をエンコードする方法の例を示す。
【図７】本発明の幾つかの実施例による、オーディオオブジェクトをデコードする方法の例を示す。
【発明を実施するための形態】
【００５５】
本発明の実施例が、図面を参照しながら、例としてのみ、以下に説明される。
【００５６】
以下の説明は、テレビ会議用途のためのオーディオオブジェクトのエンコード及び／又はデコードに適用可能な本発明の実施例に焦点を当てたものである。しかしながら、本発明のこの用途に限定されるものではなく、例えば音楽オーディオ配信用途を含む、他の多くの用途において適用され得ることは、理解されるであろう。
【００５７】
図２は、本発明の幾つかの実施例による、オーディオ信号の通信のための通信システム２００を示す。通信システム２００は、具体的にはインターネットであっても良いネットワーク２０５を通して受信器２０３に結合された、送信器２０１を有する。
【００５８】
本例においては、送信器２０１は、テレビ会議ハブの一部である。テレビ会議アプリケーションにおいては、幾つかの遠端話者の音声信号が、テレビ会議ハブに混合される。次いで、テレビ会議中の各人物について、自身を除く全ての信号の混合が、全ての受信器に送信される。かくして、送信器２０１は、テレビ会議に参加している複数のリモートの通信ユニットから音声信号を受信することができ、これらリモートの通信ユニットに対して音声信号を生成及び配信することができる。本例においては、受信器２０３は、会議通話の参加者に対する音声出力を生成することができる信号再生装置である。具体的には、受信器２０３は、電話機のようなリモートの通信ユニットの一部である。
【００５９】
他の実施例においては、送信器及び受信器は、他の用途において及び他の目的のために利用されても良いことは、理解されるであろう。例えば、送信器２０１及び／又は受信器２０３は、トランスコード機能の一部であっても良く、例えば他の信号源又は宛先へのインタフェースを提供しても良い。
【００６０】
本例においては、送信器２０１は、テレビ会議通話に参加しているリモートの通信ユニットから音声信号を受信する受信器２０７を有する。音声信号のそれぞれは、別個の独立したオーディオオブジェクトとして取り扱われる。
【００６１】
受信器２０７は図２のエンコーダ２０９に結合され、該エンコーダ２０９は、個々の音声オーディオオブジェクトを供給され、エンコードアルゴリズムに従って該オーディオオブジェクトをエンコードする。エンコーダ２０９はネットワーク送信器２１１に結合され、該ネットワーク送信器２１１は、エンコードされた信号を受信し、インターネット２０５にインタフェース接続する。該ネットワーク送信器は、インターネット２０５を通して、該エンコードされた信号を受信器２０３に送信しても良い。
【００６２】
受信器２０３はネットワーク受信器２１３を有し、該ネットワーク受信器２１３は、インターネット２０５にインタフェース接続し、送信器２０１からエンコードされた信号を受信するように構成される。
【００６３】
ネットワーク受信器２１３は、デコーダ２１５に結合される。デコーダ２１５は、該エンコードされた信号を受信し、デコードアルゴリズムに従って該信号をデコードする。具体的には、デコーダ２１５は、個々のオーディオオブジェクトをデコードし、該デコードされたオーディオオブジェクトに基づいてオーディオ出力信号を再生することができる、オブジェクト指向デコーダである。
【００６４】
信号再生機能がサポートされた本例においては、受信器２０３は更に、デコーダ２１５からのデコードされたオーディオ信号を受信し、該信号をユーザに対して提示する、信号再生器２１７を有する。具体的には、信号再生器２１７は、該デコードされたオーディオ信号を出力するために必要とされる、ディジタル−アナログ変換器、増幅器及びスピーカを有しても良い。
【００６５】
図３は、エンコーダ２０９とデコーダ２１５との間のインタラクションを、更に詳細に示す。
【００６６】
図示されるように、オブジェクト指向エンコーダ２０９は、受信器２０７から複数のオーディオオブジェクトを受信する。これらオーディオオブジェクトは、互い対して独立であり、具体的には個々の独立した音源に対応する、個々の音声信号である。幾つかの実施例においては、これらオーディオオブジェクトは、個別に録音された音源であっても良い。更に、これらオーディオオブジェクトは何らの空間的な関連を持たず、具体的には、異なるオーディオオブジェクト間には空間的な関連が存在しない。
【００６７】
それ故、例えば同一の音像（及び音源）が異なる位置において録音され同一の空間信号の異なるチャネルを生成するサラウンド音声録音とは異なり、本例のオーディオオブジェクトは別個の分離された音源である。
【００６８】
テレビ会議アプリケーションにおいては、各オーディオオブジェクトは、テレビ会議通話における１つの参加者から受信された音声信号に対応する。かくして、エンコーダ２０９は、該会議通話に参加している複数のリモートの通信ユニットから受信された音声信号の形をとるオーディオオブジェクトを受信する。
【００６９】
オブジェクト指向エンコーダ２０９は、限られた数のチャネルにおけるオーディオオブジェクトをエンコードし、加えて、デコーダ側における生成されたオーディオチャネルからの元のオーディオオブジェクトの再生成を可能とし容易化するパラメトリックデータを生成する。具体的には、オーディオエンコーダ２０９は、空間サラウンド音声信号の例えばステレオ信号へのダウンミクスを生成する場合と類似した方法で、オーディオオブジェクトのダウンミクスを生成することができる。例えば、エンコーダ２０９は、ダウンミクス行列によってオーディオオブジェクトサンプル値を乗算してダウンミクスのサンプル値を生成することにより、ダウンミクスを生成しても良い。
【００７０】
エンコーダ２０９は、限られた数のチャネルのためのエンコードデータと、関連するパラメトリックデータと、の両方を有するビットストリームを生成する。該データは、デコーダ２１５に送信される。
【００７１】
デコーダ２１５は、受信されたオーディオチャネル及び受信されたパラメトリックデータに基づいて元のオーディオオブジェクトのローカルな近似的な複製を生成する、オブジェクト指向デコーダユニット３０３を有する。具体的には、オブジェクト指向デコーダユニット３０３は、受信されたオーディオサンプルに対してアップミクス行列を適用することにより、オーディオオブジェクトを生成することができる。該アップミクス行列の係数は、エンコーダ２０９から受信されたパラメトリックデータに応じて決定される。
【００７２】
デコーダ２１５は更に、オーディオ入力に基づいて出力信号を生成するように構成された、再生ユニット３０５を有する。再生ユニット３０５は、受信されたオーディオオブジェクトを自由に操作して混合し、所望の出力信号を生成することができる。例えば、再生ユニット３０５は、５個のチャネルのサラウンド音声信号を生成することができ、各個々のオーディオオブジェクトを生成された音像中に自由に配置することができる。他の例としては、再生ユニット３０５は、例えばヘッドホンのセットを通して空間的な体験を提供することができる両耳用ステレオ信号を生成しても良い。
【００７３】
多くの実際的なシステムにおいては、デコードユニット３０３及び再生ユニット３０５の機能は、単一の処理ステップに組み合わせられる。例えば、デコードユニット３０３の動作は、典型的にはアップミクス行列による行列乗算に対応し、再生ユニット３０５の動作は同様に、アップミクス行列乗算の出力に対して実行される行列乗算に対応する。従って、アップミクス行列と再生行列とを単一の行列へと組み合わせることにより、連続した行列乗算が、単一の行列乗算へと組み合わせられることができる。
【００７４】
本例においては、再生ユニット３０５は、会議通話の個々の話者を、音像中の異なる位置に配置することができる。ここで、各話者についての位置は、例えばユーザが再生ユニット３０５を制御することによって、自由に選択可能である。他の例としては、オーディオオブジェクトが楽曲の異なる楽器に対応する場合には、個々の楽器を自由に混合、等化等して、これら楽器を音像中に自由に配置することができる。かくして、説明された手法は、他のユーザ及びエンコーダ２０９からのエンコードされた信号の受信者について生成されたオーディオ出力とは独立したものであっても良い、カスタマイズされたオーディオ出力を生成するために、個々のユーザが異なるオーディオオブジェクトを操作するための高い自由度を実現する。
【００７５】
しかしながら、再生ユニット３０５におけるオーディオオブジェクトを操作することによりかなりの柔軟性を提供するにもかかわらず、斯かる操作は生成されるオーディオ信号の音質における低下にも帰着し得る。とりわけ、デコーダ２１５においてオーディオオブジェクトの正確な複製を生成するためには、エンコーダ２０９において利用されたダウンミクス行列の逆行列であるアップミクス行列を適用する必要がある。しかしながら、このことは一般に不可能であり（例えば、本例においては、生成されるオーディオ信号の数が、オーディオオブジェクトの数より小さい場合には、ダウンミクス行列についての逆行列が存在しないため、不可能である）、従って元のオーディオ信号の近似のみが生成されることができる。具体的には、デコーダにおいて生成されたオーディオオブジェクトは、他のオーディオオブジェクトからの或る量の相互干渉を含むこととなる。結果として、或るオーディオオブジェクトの操作が、他のオーディオオブジェクトの知覚及び特性に影響を与えることとなり、低下した性能及び顕著なアーティファクトに帰着し得る。
【００７６】
図３のシステムにおいては、エンコーダ２１５は更に、エンコーダ２０９に送信されるエンコード変更データの形で制御データを生成することが可能である。該エンコード変更データは次いでエンコーダ２０９により評価され、該エンコーダ２０９は、受信された制御情報に依存してエンコード処理を変更する。具体的には、エンコーダ２０９は、オーディオオブジェクトのダウンミクス及び該ダウンミクスのために生成される空間パラメータを変更することができる。具体例としては、該エンコード変更データは、或る特定のオーディオオブジェクトの音量が低下させられるべきことを規定しても良い。従って、エンコーダ２０９は該オーディオオブジェクトのレベルを低下させ（例えばダウンミクス動作に先立って又はダウンミクス動作の一部として）、該オーディオオブジェクトについてのパラメトリックデータを（直接又は間接的に）変更して、該オーディオオブジェクトがデコーダにおいてデコードされるときに、レベルが適切に低下させられるようにし、更に好ましくは、変更されたパラメトリックデータがそれぞれのオーディオオブジェクトについてのレベルの変化を正確に表すようにする。
【００７７】
本手法はかくして、オブジェクト操作の幾つか又は全てが、エンコード側で実行されることを可能とする。エンコーダは近似的な複製だけではなく元の独立したオーディオオブジェクトに対してアクセスすることができるため、改善された性能が達成され得、とりわけ、改善された音質を提供することが可能となり得る。例えば、相互干渉が低減され、それ故、或るオーディオオブジェクトの音量を増大又は低下させたことによる他のオーディオオブジェクトに対する影響が、かなり減少され、又は完全に除去され得る。
【００７８】
図４は、エンコーダ２０９をより詳細に示す。以下、エンコーダに送信され個々のオーディオオブジェクトの相対レベルを制御するために利用されるエンコード変更データをデコーダ側が生成する具体例を参照しながら、エンコーダ２０９の動作がより詳細に説明される。
【００７９】
エンコーダ２０９は、本例においてはテレビ会議通話に参加している電話機のようなリモートの通信ユニットから受信された音声信号であるオーディオオブジェクトを受信する、受信ユニット４０１を有する。該音声オブジェクトはエンコードユニット４０３に送られ、該エンコードユニット４０３は、該オブジェクトを、音声オーディオオブジェクトの数よりも少ない数のオーディオ信号へとダウンミクスする。具体的には、エンコードユニット４０３は、
【数１】
2010503887.tif 000003
により与えられる行列乗算を実行する。ここで、Ｘは音声オブジェクトサンプルを有するＮ次元のベクトルを示し（Ｎは音声オブジェクトの数である）、Ｙはダウンミクス出力サンプルを有するＭ次元のベクトルであり（Ｍは出力チャネルの数である）、ＤはＮ，Ｍダウンミクス行列である。Ｍは、Ｎよりもかなり小さくても良い。例えば、６方向テレビ会議については、５個の音声信号が１つのモノラル信号へとダウンミクスされて、第６の通信ユニットへと送信され得る。
【００８０】
エンコーダ２０９は更に、ダウンミクス信号からオーディオオブジェクトを再生成するために利用されることができるパラメトリックデータを生成する、パラメータユニット４０５を有する。具体的には、パラメータユニット４０５は、音声オブジェクトを再生成するためにデコーダ２１５により利用されることができる、各音声オブジェクトについてのオブジェクトパラメータのセットを生成する。理想的には、これらオブジェクトパラメータは、ダウンミクス行列の逆行列に対応するアップミクス行列が決定され得るように（即ちＵ＝Ｄ−１）決定される。しかしながら、ダウンミクス行列について逆行列は存在せず（ここでＮ＞Ｍ）、それ故、元の音声オブジェクトの非理想的な再生成を可能とするパラメータデータのみが生成され得る。
【００８１】
従って、パラメータユニット４０５は、ダウンミクス信号に対する個々の音声オブジェクトの特性を表すパラメータを生成する。本例においては、該パラメータユニットは、最初に時間ブロックにおいて周波数ドメインへと音声オブジェクトを変換し（例えばＦＦＴの利用により）、次いで各時間周波数ブロック（又は時間周波数タイル）についてダウンミクス行列乗算を実行する。更に、当該時間周波数ブロックについて、ダウンミクス結果に対する各音声オブジェクトの相対振幅が決定される。かくして、パラメータユニット４０５は、種々の音声オブジェクトについて、別個の時間／周波数タイルで記述された相対レベル情報を生成する。これにより、該時間周波数タイルについてレベルベクトルが生成され、該ベクトルの各要素は、当該要素のオブジェクトの時間／周波数タイルにおけるエネルギーの量を表す。この処理は、周波数帯域ｂ、時間セグメントｔ、及び信号ｎについて、エネルギーパラメータσｎｂ，ｔのセットに帰着する。これらパラメータは次いで、（好適には量子化された対数ドメインで）受信側へと送信されても良い。かくして、パラメータデータを生成するための本手法は、ＭＰＥＧサラウンド空間エンコードのために利用される手法と類似したものとなり得、多くの実施例において機能の再利用が実現可能となり得る。
【００８２】
パラメータユニット４０５及びエンコードユニット４０３は、エンコードデータ及びパラメトリックデータの両方を有するビットストリームを生成する、送信プロセッサ４０７に結合されても良い。具体的には、該ビットストリームは、該ビットストリームの補助データ部分にパラメトリックデータが含まれた、ＭＰＥＧ互換のエンコードされたステレオ信号であっても良い。結果のビットストリームは次いで、適切な通信ユニットに送信される。
【００８３】
図５は、デコーダ２１５をより詳細に示す。デコーダ２１５は、音声オブジェクトの近似的な複製を生成するオブジェクト指向デコードユニット３０３を有する。具体的には、デコードユニット３０３は、受信されたダウンミクス信号の対応する時間周波数タイルを、パラメトリックデータ中に与えられた当該オブジェクトについての対応する相対レベル差により示されるように変更することにより、個々の音声オブジェクトの時間周波数タイルを生成することができる。
【００８４】
オブジェクトｎについての個々の音声信号がｘｎ（ｔ）により与えられ、関連するエネルギーパラメータがσｎｂ，ｔであり、ダウンミクス信号がｍ（ｔ）である場合、時間／周波数タイル（ｂ，ｔ）についての音声信号ｘｎ（ｔ）のデコーダ側の推定は、
【数２】
2010503887.tif 000004
により与えられ得る。
【００８５】
音声オブジェクトは再生ユニット３０５に送られ、該再生ユニット３０５は次いでユーザに対して出力信号を生成し得る。更に、本例においては、ユーザは、例えば生成される音像における１つ以上の音声オブジェクトの位置を変更することを含む、種々の再生パラメータ及び特性を調節することが可能であり得る。
【００８６】
加えて、デコーダ２１５は、ユーザ入力に応じてエンコード変更データを生成することができる、制御プロセッサ５０１を有する。該エンコード変更データは送信ユニット５０３に送られ、該送信ユニット５０３はエンコーダ２０９に該エンコード変更データを送信する。
【００８７】
エンコーダ２０９は、該エンコード変更データを受信する制御データ受信器４０９を有する。制御データ受信器４０９は、該受信されたエンコード変更データに依存してエンコード及びパラメータデータの生成を変更するように構成された、エンコードユニット４０３及びパラメータユニット４０５に結合される。かくして、デコーダ側における音声オブジェクトの再生の制御に加えて、該デコーダのユーザは、エンコーダ側で実行されるオブジェクト指向エンコードのエンコード動作をも制御することができる。
【００８８】
具体例として、デコーダの生成された出力信号における空間的な像及びオブジェクト空間位置は、デコーダの再生動作を変更することにより制御されることができ、一方でエンコーダにおいてダウンミクスを制御することにより、（大幅な）音量調節が実行されることができる。
【００８９】
かくして、デコーダのユーザは、特定の音声オブジェクトの音量がかなり増大されるべきことを要求することができる。当該増大がデコーダにおいて対応する音声オブジェクトを増幅することにより実行される場合には、当該増幅は、他の音声オブジェクトからの相互干渉成分をも増幅し、これらのより高い音量に帰着するだけでなく、これらオブジェクトの歪、更にはことによると、これらオブジェクトの位置のシフトにも帰着し得る。
【００９０】
しかしながら、本例によれば、デコーダ２１５は、生成された音声オブジェクト複製のスケーリングを変更するのではなく、エンコーダにダウンミクスの重みを所望の音声オブジェクトに対して変更させるようにするエンコード変更データを生成する。
【００９１】
従って、本例においては、デコーダ側で個々のオーディオオブジェクトのレベルを変更することに関連する欠点は、エンコーダ側で相対レベルを制御することにより軽減又は除去される。具体的には、デコーダ側でのユーザの所望のレベル変更がエンコーダに送信され、ダウンミクスの重みとして適用される。
【００９２】
テレビ会議の例においては、受信側は更に、ローカルに生成された音声をテレビ会議ハブへと送信して戻す。従って、該音声信号は、受信器により受信される全てのオブジェクトについてのダウンミクスの重みを含み得る（又は受信器がダウンミクスの重みを変更することに帰着するデータによって、例えば相対減衰又は増幅が特定の音声オブジェクトに適用される）。例えば、受信側が信号「音声０」を生成し、他の通信ユニットから「音声１」、「音声２」及び「音声３」を生成する場合、オブジェクト「音声１」、「音声２」及び「音声３」についてのダウンミクスの重みを生成及び送信することができる。これらのダウンミクスの重みは次いで、該受信側についてのダウンミクス信号を生成するために、テレビ会議ハブにより利用される。
【００９３】
本方式の利点は、ユーザが、例えば各個別の音声信号の音量又は距離を変更する際に、非常に高い自由度を持つ点である。更に、ダウンミクスの重み（及びその他のパラメータ）は、時間的に極めて一定となる見込みが高く、それ故エンコード変更データのために必要とされるデータレートが、一般に非常に低くなる。
【００９４】
幾つかの実施例において、エンコーダ２０９は、ダウンミクスが実行される前に、オーディオオブジェクトの少なくとも１つを変更するように構成されても良い。例えば、エンコードユニット４０３は、ダウンミクス行列乗算を実行する前に、受信されたオーディオオブジェクトをスケーリングしても良い。かくして、特定の音声オブジェクトが低いべきであることを示すエンコード変更データが受信された場合には、当該オブジェクトについての受信された信号サンプルが、１よりも大きなファクタにより乗算されても良い。結果の信号は次いで、ダウンミクス信号を生成するため、ダウンミクス行列乗算において利用されも良い。この手法は、固定されたダウンミクス行列が利用されることを可能とし、特に、適切な容易に乗算可能な係数が利用されることを可能とし得る（例えば、ダウンミクス行列は１の係数のみを含んでも良く、それによりダウンミクス乗算を幾つかの単純な加算へと効果的に低減させても良い）。
【００９５】
本例においては、オブジェクトパラメータの決定は、変更された信号に基づいて決定されても良い。かくして、スケーリングされた音声オブジェクトが、該変更された信号についての周波数時間タイルの相対レベルを決定することができるパラメータユニット４０５に送られても良い。この手法は、デコーダによるアップミクス処理が、所望の音量レベルを持つ音声オブジェクトを生成することに帰着することとなる。かくして、本手法においては、エンコード変更データに依存するパラメトリックデータの変更は、該エンコード変更データが音声オブジェクトを変更するために最初に利用され、次いで該変更された音声オブジェクトに基づいてパラメータデータが生成されるという意味で、間接的である。
【００９６】
他の実施例においては、パラメトリックデータがより直接的に変更されても良い。例えば、音声オブジェクトは、いずれの変更も実行される前に、パラメータユニット４０５に直接に送られても良い。パラメータユニット４０５は次いで、種々の周波数時間タイルについての相対強度レベルを決定し、次いでエンコード変更データに応じて測定されるレベルを調節しても良い。該変更は、ダウンミクスの前に音声オブジェクトの変更を合致させるように為され、それにより、デコーダにおける音量が補償された音声オブジェクトの正確な生成を確実にしても良い。
【００９７】
幾つかの実施例において、エンコード変更データに応じてパラメトリックデータのみが変更され、音声オブジェクト及びダウンミクスは不変のままとされる。この例においては、変更されたオブジェクトパラメータを適用することによってデコーダが要求される音声オブジェクトを生成することとなるように、オブジェクトパラメータが変更される。この場合、所与の音声オブジェクトを変更するためには、当該音声オブジェクトについてのオブジェクトパラメータを変更するのみならず、他の音声オブジェクトについても変更することが必要となり得る。
【００９８】
幾つかの実施例において、ダウンミクスの重み（例えばダウンミクス行列の係数）は、受信されたエンコード変更データに応じて変更されても良い。例えば、特定の音声オブジェクトの音量は、当該音声オブジェクトについてダウンミクス行列係数を増大させることにより増大させられても良い。この場合、変更された音声オブジェクト信号は一般に利用可能ではなく、従って変更されたダウンミクスの重みを反映するようにエンコードデータに応じてオブジェクトパラメータが直接に変更されても良い。
【００９９】
幾つかの斯かる実施例においては、或る音声オブジェクトの変更は、他の音声オブジェクトにも影響を与え得ることは、理解されるであろう。例えば、或る音声オブジェクトのダウンミクスの重みを変更した場合、他のダウンミクスの重みは、ダウンミクス信号の総エネルギーが不変のままとなるように調節されても良い。代替として又はこれに加えて、他の音声オブジェクトの周波数時間タイルについての相対エネルギーパラメータが、生成されたダウンミクス信号の変更されたエネルギーを反映するように変更されても良い。
【０１００】
幾つかの実施例において、エンコード変更データは、異なる周波数に対しては異なる変更データが提供されるような、周波数固有のものであっても良い。例えば、所与の音声オブジェクトに対して１つの変更されたダウンミクスの重みを示すのみならず、該ダウンミクスの重みが周波数の関数として与えられる。かくして、リモートのユーザは、音声オブジェクトの利得を全体として調節するのみならず、オブジェクトの周波数特性をも変更し得る。このことは、リモートのユーザが、個々の音声オブジェクトについて等化動作を効率的に制御することを可能とし得る。かくして、本例においては、エンコード変更データの少なくとも幾つかは周波数の関数として提供され、それに従ってパラメータユニット４０５が周波数に依存してパラメトリックデータを変更するように動作を続行する。
【０１０１】
送信器２０１は、異なるデコーダに対して、個々の信号を生成するように構成されても良いことは、理解されるであろう。例えばテレビ会議ハブのアプリケーションの例においては、送信器２０１は、テレビ会議における異なる参加者から異なるエンコード変更データを受信しても良く、個々の参加者に対して独立したパラメトリックデータ及びダウンミクスを生成しても良い。
【０１０２】
幾つかの実施例においては、エンコーダ２０９は更に、空間ダウンミクスとして出力信号を生成するための機能を有する。従って、本例においては、エンコーダ２０９は、空間出力信号として音声オブジェクトを再生するように構成され、各音声オブジェクトは、特定の音量レベル及び周波数特性等で特定の位置において再生される。具体的には、エンコーダ２０９の出力は、ステレオ信号、サラウンド音声多チャネル信号、及び／又は例えば頭部伝達関数（Head Related Transfer Functions）を用いて生成された両耳用空間サラウンド信号であっても良い。
【０１０３】
斯かる実施例においては、デコーダ２１５から受信されたエンコード変更データは、空間信号における音声オブジェクトの再生に影響を与える空間再生パラメータを有しても良い。
【０１０４】
該空間再生パラメータは例えば、１つ以上のオーディオオブジェクトの位置が空間出力ミクスにおいて変更されるべきであることを示しても良い。他の例としては、個々のオーディオオブジェクトに適用され得る等化データが提供されても良い。他の例としては、各オーディオオブジェクトの知覚される距離は、デコーダ側からリモートに制御されても良い。例えば、オーディオオブジェクトが空間ダウンミクスにおいて更に遠くへ移動させられるべきであることを示すエンコード変更データが受信された場合には、該オーディオオブジェクトの再生は、音量レベルが低下させられ、前チャネルと後チャネルとの間の相関が増大させられるように変更されても良い。斯かる変更は、距離の知覚に影響を与え、ユーザが聴取者から更に遠くに移動させられるオーディオオブジェクトの音源を体験することに帰着することが知られている。
【０１０５】
他の例として、リモートのユーザは、エンコーダの空間再生モードを制御しても良い。例えば、２チャネル出力信号については、ユーザは、再生がラウドスピーカに対して最適化されるべきかヘッドホンに対して最適化されるべきかを選択しても良い。具体的には、リモートのユーザは、出力が伝統的なステレオ信号として生成されるべきか、ヘッドホンを用いた利用のための両耳用空間サラウンド信号として再生されるべきかを、選択しても良い。
【０１０６】
斯かる手法は、幾つかの利点をもたらし得る。例えば、空間再生パラメータを送信するために必要とされるビットレートが、比較的低い。なぜなら、再生パラメータは、音源毎にのみ定義されるからである（即ち、再生パラメータは典型的に周波数依存ではない）。更に、これらパラメータは、時間的に極めて一定となる見込みが高い。一方、デコーダ側での再生手法のために必要とされるパラメータは、音源毎に且つ時間／周波数タイル毎に送信される必要があり、かなりの量のデータが送信されることに帰着する。従って、再生の幾つか又は全てをエンコーダ側に移動させることにより、効率的なオーディオシステムが実現され得る。
【０１０７】
また、レガシーのデコーダとの改善された互換性も実現され得る。中央エンコーダは、各デコーダについて独立して最適化されたビットストリームを生成することができる（即ち、モノラル、ステレオ又はサラウンドのデコーダが全て要求を満足され、生成された信号は特定の宛先デコーダに対して最適化されることができる）。
【０１０８】
本手法は、付加的な又は拡張されたサービスが提供されることを可能とし得る。例えば、各顧客は、特定の再生機能に対して、付加的な料金を支払うことができる（即ち、レベル調節が第１のサービスレベルであり、空間再生が第２の、より高額なサービスレベルである）。
【０１０９】
更に、デコーダについての再生要求が低減させられ得るため、多くのアプリケーションにおいて、宛先デコーダの低減された複雑さが実現される。
【０１１０】
図６は、本発明の幾つかの実施例による、オーディオ信号をエンコードする方法の例を示す。
【０１１１】
本方法は、複数のオーディオオブジェクトが受信されるステップ６０１において開始する。
【０１１２】
ステップ６０１はステップ６０３により後続され、該ステップ６０３において、リモートのユニットからエンコード変更データが受信される。
【０１１３】
ステップ６０３はステップ６０５により後続され、該ステップ６０５において、複数のオーディオオブジェクトが、幾つかのオーディオ信号と、該幾つかのオーディオ信号に対する複数のオーディオオブジェクトを表すパラメトリックデータへとエンコードされる。該パラメトリックデータは、種々のオーディオオブジェクトのそれぞれについてオブジェクトパラメータのセットを有し、変更データに応じて決定される。
【０１１４】
図７は、本発明の幾つかの実施例による、オーディオオブジェクトをデコードする方法の例を示す。
【０１１５】
本方法はステップ７０１において開始され、該ステップ７０１において、幾つかのオーディオ信号と該幾つかのオーディオ信号に関するオーディオオブジェクトを表すパラメトリックデータとが、エンコーダから受信される。該オーディオ信号は該オーディオオブジェクトのダウンミクスであり、該パラメトリックデータは種々のオーディオオブジェクトのそれぞれについてオブジェクトパラメータのセットを有する。
【０１１６】
ステップ７０１はステップ７０３により後続され、該ステップ７０３において、該パラメトリックデータに応じて、該幾つかのオーディオ信号からオーディオオブジェクトがデコードされる。
【０１１７】
ステップ７０３はステップ７０５により後続され、該ステップ７０５において、該オーディオオブジェクトから空間多チャネル出力信号が生成される。
【０１１８】
ステップ７０５はステップ７０７により後続され、該ステップ７０７において、オブジェクトエンコーダについてのエンコード変更データが生成される。
【０１１９】
ステップ７０７はステップ７０９により後続され、該ステップ７０９において、該エンコード変更データが、オブジェクトエンコーダに送信される。
【０１２０】
以上の記載は、明確さのため、種々の機能ユニット及びプロセッサと関連して本発明の実施例を説明したものであることは理解されるであろう。しかしながら、種々の機能ユニット又はプロセッサ間の機能のいずれの適切な分散もが、本発明から逸脱することなく利用され得ることは、明らかであろう。例えば、別個のプロセッサ又はコントローラにより実行されるように説明された機能は、同一のプロセッサ又はコントローラにより実行されても良い。それ故、特定の機能ユニットへの参照は、厳密な論理的又は物理的な構造を示すものではなく、単に説明された機能を提供するための適切な手段への参照として考えられるべきである。
【０１２１】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせを含む、いずれの適切な形態で実装されても良い。本発明は任意に、少なくとも部分的に、１以上のデータプロセッサ及び／又はディジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実装されても良い。本発明の実施例の要素は、物理的、機能的及び論理的に、いずれの適切な態様で実装されても良い。機能は単一のユニットで実装されても良いし、複数のユニットで実装されても良いし、又は他の機能ユニットの一部として実装されても良い。本発明は単一のユニットで実装されても良いし、種々のユニット及びプロセッサ間で物理的及び機能的に分散されても良い。
【０１２２】
本発明は幾つかの実施例と関連して説明されたが、本発明はここで開示された特定の形態に限定されることを意図したものではない。本発明の範囲は、添付する請求項によってのみ限定される。加えて、特徴が特定の実施例に関連して説明されたが、説明された実施例の種々の特徴は、本発明に従って組み合わせられても良いことは、当業者は理解するであろう。請求項において、「有する（comprising）」なる語は、他の要素又はステップの存在を除外するものではない。
【０１２３】
更に、複数の手段、要素又は方法ステップは、別個に列記されていても、例えば単一のユニット又はプロセッサにより実装されても良い。加えて、個々の特徴が異なる請求項に含められ得るが、これら特徴は有利に組み合わせられても良く、異なる請求項に含められていることは、これら特徴の組み合わせが利用可能ではない及び／又は有利ではないことを意味するものではない。或るカテゴリの請求項に特徴を含むことは、該カテゴリに対する限定を意味するものではなく、該特徴が他の請求項のカテゴリに適宜等しく適用可能であることを示す。更に、請求項における特徴の順序は、これら特徴が動作しなくてはならない順序を示すものではなく、またとりわけ、方法の請求項における個々のステップの順序は、これらステップが該順序で実行される必要があることを示すものではない。これらステップは、いずれの適切な順序で実行されても良い。加えて、単数形の参照は複数を除外するものではない。従って、「１つの（a、an）」、「第１の（first）」及び「第２の（second）」等への参照は、複数を除外するものではない。請求項における参照記号は単に例を明確にするためのものであり、いずれの態様においても請求項の範囲を限定するものとして解釈されるべきではない。
【図１】
2010503887.tif 000005
【図２】
2010503887.tif 000006
【図３】
2010503887.tif 000007
【図４】
2010503887.tif 000008
【図５】
2010503887.tif 000009
【図６】
2010503887.tif 000010
【図７】
2010503887.tif 000011
【国際調査報告】
2010503887.tif 000012
2010503887.tif 000013
2010503887.tif 000014