(57)【要約】  一実施形態において、複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置が提供され、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース（１１０）を含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。装置は、さらに、プロセッサユニット（１２０）を備え、装置はインタフェース（１１０）によって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成される。複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。【選択図】図１
2021514164.tif 000002
【特許請求の範囲】
【請求項１】
複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置であって、前記複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、前記オーディオオブジェクトメタデータは、前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含み、前記装置は、
オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース（１１０）であって、前記オーディオオブジェクトの処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む、インタフェース（１１０）と、
前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように前記処理済信号を生成するように構成されるプロセッサユニット（１２０）と、
を備える、装置。
【請求項２】
前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、前記オーディオオブジェクトの処理オブジェクトグループに属さず、前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属していない前記１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータにも適用しないように構成される、
請求項１に記載の装置。
【請求項３】
前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループのそれぞれの前記オーディオオブジェクトの前記オーディオオブジェクト信号に適用されるように、前記処理済信号を生成するように構成され、
前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトのオーディオオブジェクト信号のいずれにも適用しないように構成される、
請求項２に記載の装置。
【請求項４】
前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記メタデータの前記ゲインパラメーターに適用されるように、前記処理済信号を生成するように構成され、
前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトの前記オーディオオブジェクトメタデータのゲインパラメーターのいずれにも適用しないように構成される、
請求項２または請求項３に記載の装置。
【請求項５】
前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記メタデータの前記位置に適用されるように、前記処理済信号を生成するように構成され、
前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトの前記オーディオオブジェクトメタデータの位置のいずれにも適用しないように構成される、
請求項２ないし請求項４のいずれかに記載の装置。
【請求項６】
前記インタフェース（１１０）は前記オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターを前記ユーザーによって指定するように構成され、
前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記オーディオオブジェクトの処理オブジェクトグループのうちの前記少なくとも１つの定義パラメーターに応じて、前記複数のオーディオオブジェクトのうちのどのオーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかを決定するように構成される、
請求項１ないし請求項５のいずれかに記載の装置。
【請求項７】
前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連する関心領域の少なくとも１つの位置を備え、
前記プロセッサユニット（１２０）は、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置に依存して且つ前記関心領域の前記位置に依存して、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、当該オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
請求項６に記載の装置。
【請求項８】
前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連する前記関心領域の半径範囲をさらに備え、
前記プロセッサユニット（１２０）は、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置に依存して、且つ前記関心領域の前記位置に依存して、且つ前記関心領域の前記半径範囲に依存して、当該オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
請求項７に記載の装置。
【請求項９】
前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置と前記関心領域の前記位置との間の距離に応じて、重み係数を決定するように構成され、
前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記重み係数を、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターとともに、当該オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータの前記ゲインパラメーターに適用するように構成される、
請求項７または請求項８に記載の装置。
【請求項１０】
前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域がある定義されたユーザー位置からの方向を指定する少なくとも１つの角度を備え、
前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの前記メタデータの前記位置に依存して、且つ前記関心領域が位置する前記定義されたユーザー位置からの前記方向を指定する前記角度に依存して、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、前記オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
請求項６に記載の装置。
【請求項１１】
前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、第１の角度と別の角度との間の差に依存する重み係数を決定するように構成され、前記第１の角度は前記関心領域が位置する前記定義されたユーザー位置からの前記方向を指定する前記角度であり、前記別の角度は、前記定義されたユーザー位置および当該オーディオオブジェクトの前記メタデータの前記位置に依存し、
前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記重み係数を前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターとともに当該オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータの前記ゲインパラメーターに適用するように構成される、
請求項１０に記載の装置。
【請求項１２】
前記オーディオオブジェクトの処理オブジェクトグループは、オーディオオブジェクトの第１処理オブジェクトグループであり、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループも存在し、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトを含み、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの処理オブジェクトグループのうちの少なくとも１つのオーディオオブジェクトは、前記オーディオオブジェクトの第１処理オブジェクトグループのオーディオオブジェクトではなく、
前記インターフェース（１１０）は、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、当該オーディオオブジェクトの処理オブジェクトグループのための少なくとも１つの別のエフェクトパラメーターをユーザー側で指定するように構成され、
前記プロセッサユニット（１２０）は、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、前記インタフェース（１１０）によって指定される当該処理オブジェクトグループの前記少なくとも１つの別のエフェクトパラメーターが、当該処理オブジェクトグループの前記１つ以上のオーディオオブジェクトのそれぞれの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように、前記処理済信号を生成するように構成され、前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトが当該処理オブジェクトグループに属さず、前記プロセッサユニット（１２０）は、前記インタフェースによって指定される当該処理オブジェクトグループの前記少なくとも１つの別のエフェクトパラメーターを、当該処理オブジェクトグループに属さない前記１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータにも適用しないように構成される、
請求項１ないし請求項１１のいずれか１項に記載の装置。
【請求項１３】
前記インタフェース（１１０）は、前記オーディオオブジェクトの第１処理オブジェクトグループに加えて、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループを前記ユーザー側で指定するように構成され、前記インタフェース（１１０）は、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、当該処理オブジェクトグループの少なくとも１つの定義パラメーターを前記ユーザー側で指定するように構成され、
前記プロセッサユニット（１２０）は、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、どのオーディオオブジェクトが当該処理オブジェクトグループの前記複数のオーディオオブジェクトに属するかを、前記インタフェース（１１０）によって指定される当該処理オブジェクトグループの前記少なくとも１つの定義パラメーターに依存して決定するように構成される、
請求項１２に記載の装置。
【請求項１４】
前記装置はエンコーダであり、前記プロセッサユニット（１２０）は前記複数のオーディオオブジェクトの前記オーディオオブジェクト信号を使用しながらダウンミックス信号を生成するように構成され、前記プロセッサユニット（１２０）は前記複数のオーディオオブジェクトの前記オーディオオブジェクトメタデータを使用しながらメタデータ信号を生成するように構成され、
前記プロセッサユニット（１２０）は前記処理済信号として前記ダウンミックス信号を生成するように構成され、前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、少なくとも１つの修正オブジェクト信号が前記ダウンミックス信号に混合され、前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクト信号に前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを適用することによって、当該オーディオオブジェクトの前記修正オブジェクト信号を生成するように構成される、または、
前記プロセッサユニット（１２０）は前記処理済信号として前記メタデータ信号を生成するように構成され、前記メタデータ信号は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正位置を含み、前記プロセッサユニット（１２０）は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの前記位置に適用することによって当該オーディオオブジェクトの前記修正位置を生成するように構成される、または、
前記プロセッサユニット（１２０）は前記処理済信号として前記メタデータ信号を生成するように構成され、前記メタデータ信号は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正ゲインパラメーターを含み、前記プロセッサユニット（１２０）は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの前記ゲインパラメーターに適用することによって当該オーディオオブジェクトの前記修正ゲインパラメーターを生成するように構成される、
請求項１ないし請求項１３のいずれか１項に記載の装置。
【請求項１５】
前記装置はデコーダであり、前記装置は前記複数のオーディオオブジェクトの前記複数のオーディオオブジェクト信号が混合されているダウンミックス信号を受信するように構成され、前記装置はメタデータ信号を受信するようにさらに構成され、前記メタデータ信号は前記複数のオーディオオブジェクトの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータを含み、
前記プロセッサユニット（１２０）はダウンミックス信号に基づいて、前記複数のオーディオオブジェクトの前記複数のオーディオオブジェクト信号を再構成するように構成され、
前記プロセッサユニット（１２０）は、前記処理済信号として、１つ以上のオーディオ出力チャネルを備えるオーディオ出力信号を生成するように構成され、
前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクト信号に適用して、前記処理済信号を生成する、または、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置もしくは前記ゲインパラメーターに適用して、前記処理済信号を生成するように構成される、
請求項１ないし請求項１３のいずれか１項に記載の装置。
【請求項１６】
前記インタフェース（１１０）は１つ以上のレンダリングパラメーターを前記ユーザー側で指定するためにさらに適合され、
前記プロセッサユニット（１２０）は前記１つ以上のレンダリングパラメーターを前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの前記位置の関数として使用しながら前記処理済信号を生成するように構成される、
請求項１５に記載の装置。
【請求項１７】
複数のオーディオオブジェクトのオーディオオブジェクト信号に基づいてダウンミックス信号を生成し、前記複数のオーディオオブジェクトのオーディオオブジェクトメタデータに基づいてメタデータ信号を生成するためのエンコーダ（２００）であって、前記オーディオオブジェクトメタデータは前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含むエンコーダ（２００）と、
前記ダウンミックス信号に基づいておよび前記メタデータ信号に基づいて、１つ以上のオーディオ出力チャネルを含むオーディオ出力信号を生成するためのデコーダ（３００）と、
を含み、
前記エンコーダ（２００）は請求項１４に記載の装置である、または、
前記デコーダ（３００）は請求項１５もしくは請求項１６に記載の装置である、または、
前記エンコーダ（２００）は請求項１４に記載の装置であり、前記デコーダ（３００）は請求項１５もしくは請求項１６に記載の装置である、
システム。
【請求項１８】
複数のオーディオオブジェクトを使用しながら処理済信号を生成する方法であって、前記複数のオーディオオブジェクトの各オーディオオブジェクトはオーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、前記オーディオオブジェクトメタデータは前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含み、前記方法は、
インタフェース（１１０）によって、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するステップであって、前記オーディオオブジェクトの処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを備える、指定するステップと、
前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターが前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように、前記処理済信号をプロセッサユニット（１２０）によって生成するステップと、
を含む、方法。
【請求項１９】
請求項１８に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、オーディオオブジェクトの処理、オーディオオブジェクトの符号化および復号化に関し、特にオーディオオブジェクトのオーディオマスタリングに関する。
【背景技術】
【０００２】
オブジェクトベースの空間オーディオは、インタラクティブな３次元オーディオ再生へのアプローチである。この概念は、コンテンツの作成者または著作者がオーディオと相互作用する方法だけでなく、オーディオを記憶および伝送する方法も変更する。これを可能にするには、「レンダリング」と呼ばれる再生チェーンにおいて新しいプロセスを確立する必要がある。レンダリングプロセスは、オブジェクトベースのシーンの描写からラウドスピーカー信号を生成する。近年、レコーディングとミキシングについての研究がされているが、オブジェクトベースのマスタリングの概念はほとんどない。チャネルベースのオーディオマスタリングとの主な違いは、オーディオチャネルを調整する代わりに、オーディオオブジェクトを修正する必要があることである。これには、マスタリングのための根本的に新しいアプローチが必要である。この文献において、オブジェクトベースのオーディオをマスタリングする新しい方法が提供される。
【０００３】
近年、オブジェクトベースのオーディオアプローチは多くの関心を集めている。空間オーディオ制作の結果として、ラウドスピーカー信号が記憶されるチャネルベースのオーディオと比較すると、オーディオシーンはオーディオオブジェクトによって説明される。オーディオオブジェクトは、位置やゲインのような追加のメタデータを付加したオーディオ信号からなる仮想の音源として考えることができる。オーディオオブジェクトを再生するためには、いわゆるオーディオレンダラーが必要である。オーディオレンダリングとは、仮想シーンにおけるラウドスピーカーの位置またはリスナーの位置のような追加情報に基づいて、ラウドスピーカーまたはヘッドフォンの信号を生成する処理である。
【０００４】
オーディオコンテンツの作成の処理は、録音、ミキシング、マスタリングの３つの主要部分に分けることができる。過去数十年にわたって、３つのステップのすべてがチャネルベースのオーディオについて広範囲にカバーされてきたが、オブジェクトベースのオーディオは、将来のアプリケーションで新しいワークフローを必要とするだろう。一般的に、将来の技術が新たな可能性をもたらすかもしれないとしても、録音ステップを変更する必要はまだない［１］，［２］。ミキシング処理の場合、サウンドエンジニアが専用スピーカーに信号をパニングすることによって空間ミックスを作成しなくなったため、状況は多少異なる。代わりに、オーディオオブジェクトのすべての位置が空間オーサリングツールによって生成され、これにより、各オーディオオブジェクトのメタデータ部分を定義することができる。オーディオオブジェクトについての完全なマスタリング処理はまだ確立されていない［３］。
【０００５】
従来のオーディオミックスでは、複数のオーディオトラックを特定の数の出力チャネルにルーティングする。このため、異なる再生（プレイバック）構成に対して個別のミックスを作成する必要があるが、マスタリング中に出力チャネルを効率的に処理することができる［４］。オブジェクトベースのオーディオアプローチを使用する場合、オーディオレンダラーはすべてのスピーカー信号をリアルタイムで作成することを担当している。独創的なミキシング処理のフレームワーク内に多数のオーディオオブジェクトを配置することによって、複雑なオーディオシーンが発生する。しかしながら、レンダラーはいくつかの異なるラウドスピーカー手段でオーディオシーンを再生できるため、制作中に出力チャネルを直接処理することはできない。マスタリングの概念は、それ故に、オーディオオブジェクトを個別に修正することのみに基づく場合がある。
【０００６】
今日まで、従来のオーディオ制作は、非常に特殊な聴覚設備とそれらのチャンネル構成、例えばステレオやサラウンド再生に向けられている。それ故に、コンテンツが構成される再生装置の決定は、制作の開始時に行う必要がある。制作処理自体は、録音、ミキシング、マスタリングで構成される。マスタリング処理は最終的なミックスを最適化して、ミックスが異なるスピーカーの特性を有するすべてのコンシューマーシステムで満足のいく品質で再生されることを保証する。ミックスの所望の出力フォーマットは固定されているため、マスタリングエンジニア（ＭＥ）はこの再生構成に最適化されたマスターを作成できる。
【０００７】
マスタリングの間はそれらのミックスの最終的なチェックに頼ることができるため、マスタリングの段階ではクリエイターが次善の音響環境でオーディオを制作するのが賢明である。これにより、専門的なコンテンツの制作への参入障壁が低くなる。一方で、ＭＥら自身が長年にわたって幅広いマスタリングツールを提供してきたことで、修正や拡張を行う能力が劇的に向上している。それにもかかわらず、最終的なコンテンツは通常、それが構成された再生手段に限定される。
【０００８】
この制限は、一般にオブジェクトベースの空間オーディオ制作（ＯＢＡＰ）によって克服される。チャネルベースのオーディオとは対照的に、ＯＢＡＰは「シーン」とも呼ばれる人工的な環境でのそれらの位置を含むメタデータを有する個々のオーディオオブジェクトに基づいている。最終的なリスニング出力でのみ、レンダラーである専用のレンダリングユニットが、リスナーのスピーカー手段に基づいて最終的なスピーカー信号をリアルタイムで計算する。
【０００９】
ＯＢＡＰは各オーディオオブジェクトとそのメタデータとをレンダラーに個別に提供するが、制作中にチャンネルベースで直接調整することはできず、それ故に、従来の再生設備の既存のマスタリングツールを使用することはできない。一方、ＯＢＡＰはすべての最終調整をミックスで行う必要がある。個々のオーディオオブジェクトのそれぞれを手動で処理することによって全体的な音調整を実装する必要性は非常に非効率的であるだけはなく、この状況も各作成者の監視機器に高い要求を課し、オブジェクトベースの３Ｄオーディオコンテンツの音質は作成された環境の音響特性に厳密に制限される。
【００１０】
最終的に、作成者側で同様に強力なＯＢＡＰのマスタリング処理を可能にするツールを開発することで、制作の障壁が低くなり、音の審美性と品質のための新しいスペースが開かれることによって３Ｄオーディオコンテンツの制作への受容性が向上する。
【００１１】
空間マスタリングに関する最初の考えは一般に公開されているが［５］、この文献では、従来のマスタリングツールをどのように適応させることができるか、およびとのような種類のツールがオブジェクトベースの空間オーディオのマスタリングに役立つと考えられるかについて新しいアプローチを提供する。したがって、［５］ではオブジェクト固有のパラメーターをグローバルプロパティからオブジェクトから導出するためにメタデータを使用する方法の基本的なシーケンスが説明されている。さらに、［６］ではＯＢＡＰアプリケーションの文脈で、周囲の遷移領域を有する関心領域の概念が説明されている。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
それ故に、改善されたオブジェクトベースのオーディオマスタリングの概念を提供することが望まれている。
【課題を解決するための手段】
【００１３】
請求項１に記載の装置、請求項１４に記載のエンコーダ、請求項１５に記載のデコーダ、請求項１７に記載のシステム、請求項１８に記載の方法および請求項１９に記載のコンピュータプログラムが提供される。
【００１４】
一実施形態において、複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置が提供され、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェースを含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。装置は、さらに、プロセッサユニットを備え、装置はインタフェースによって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成される。複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。
【００１５】
複数のオーディオオブジェクトを使用しながら処理済信号を生成する方法をさらに備え、複数のオーディオオブジェクトの各オーディオオブジェクトはオーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータはオーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。方法は、
−インタフェース（１１０）によって、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するステップであって、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを備える、指定するステップと、
−インタフェースによって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように、処理済信号をプロセッサユニット（１２０）によって生成するステップと、
を含む。
【００１６】
さらに、上記記載の方法を実行するためのプログラムコードを含むコンピュータプログラムが提供される。
【００１７】
提供されるオーディオマスタリングは、オーディオオブジェクトのマスタリングに基づいている。実施形態では、これらをシーンのどこの位置でも、リアルタイムで自由に配置することができる。実施形態では、例えば、一般的なオーディオオブジェクトの特性が影響を受ける。人工コンテナとしてのそれらの機能では、任意の数のオーディオオブジェクトをそれぞれ含めることができる。マスタリングオブジェクトに対するそれぞれの調整は、リアルタイムで同じオーディオオブジェクトに対する個別の調整に変換される。
【００１８】
このようなマスタリングオブジェクトは処理オブジェクトとも呼ばれる。
【００１９】
したがって、多数のオーディオオブジェクトに対して個別に調整する代わりに、ユーザーがマスタリングオブジェクトを使用して、複数のオーディオオブジェクトに対して相互調整を同時に実行できる。
【００２０】
例えば、実施形態によれば、マスタリングオブジェクトのターゲットオーディオオブジェクトのセットを多くの方法で定義することができる。空間的な観点から、ユーザーはマスタリングオブジェクトの位置の周りにカスタマイズされた有効範囲を定義できる。代わりに、位置に関係なく、個別に選択されたオーディオオブジェクトをマスタリングオブジェクトにリンクすることができる。マスタリングオブジェクトは時間の経過に伴うオーディオオブジェクトの位置の潜在的な変化も考慮する。
【００２１】
実施形態によるマスタリングオブジェクトの第２の特性は、例えば、相互作用モデルに基づいて、各オーディオオブジェクトが個々にどのように影響を受けるかを計算する能力であってもよい。チャンネルストリップと同様に、マスタリングオブジェクトは、イコライザーやコンプレッサーなどの一般的なマスタリングエフェクトを引き継ぐことができる。エフェクトプラグインは通常、例えば、周波数またはゲインコントロールとして多数のパラメーターをユーザーに提供する。新しいマスタリングエフェクトがマスタリングオブジェクトに追加されると、前記マスタリングオブジェクトのターゲットセットにすべてのオーディオオブジェクトが自動的にコピーされる。しかし、すべてのエフェクトパラメーター値が変更されずに転送されるわけではない。ターゲットセットの計算方法に依存して、特定のオーディオオブジェクトに適用される前に、いくつかのマスタリングエフェクトパラメーターに重みを付けることができる。重みは、任意のメタデータまたはオーディオオブジェクトのサウンド特性に基づくことができる。
【００２２】
以下では本発明の好ましい実施形態について、図面を参照しながら説明する。
【図面の簡単な説明】
【００２３】
【図１】図１は、一実施形態による複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置を示す。
【図２】図２は、別の実施形態による装置を示し、装置はエンコーダである。
【図３】図３は、別の実施形態による装置を示し、装置はデコーダである。
【図４】図４は、一実施形態によるシステムを示す。
【図５】図５は、一実施形態による領域Ａおよびフェード領域Ａfを含む処理オブジェクトを示す。
【図６】図６は、一実施形態による領域Ａおよびオブジェクト半径を含む処理オブジェクトを示す。
【図７】図７は、一実施形態による処理オブジェクトに対するオーディオオブジェクトの相対角度を示す。
【図８】図８は、一実施形態による新しい半径の領域を有するイコライザオブジェクトを示す。
【図９】図９は、一実施形態によるｎ個のソースからの信号を圧縮する信号フローを示す。
【図１０】図１０は一実施形態によるコントロールパネルＭを使用するシーン変換を示す。
【図１１】図１１は、一実施形態によるオーディオ信号効果およびメタデータ効果を発生させる処理オブジェクトのコンテキストを示す。
【図１２】図１２は、一実施形態によるユーザー入力についてのオーディオオブジェクトおよびオーディオ信号の変更を示す。
【図１３】図１３は、一実施形態によるユーザーによる角部Ｃ1、Ｃ2、Ｃ3およびＣ4の歪みについて矩形Ｍを有する処理オブジェクトＰＯ4を示す。
【図１４】図１４は、一実施形態によるそれぞれの重複する影響を受ける２次元領域ＡおよびＢを有する処理オブジェクトＰＯ1およびＰＯ2を示す。
【図１５】図１５は、一実施形態による矩形、影響を受ける２次元領域Ｃ、および、ＰＯ3と割り当てられたソースＳ1、Ｓ2およびＳ3との間の角度を有する処理オブジェクトＰＯ3を示す。
【図１６】図１６は、一実施形態による処理オブジェクトに適用されたイコライザー効果の可能な概略的実装を示す。
【図１７】図１７は、一実施形態による影響を受ける３次元領域Ｄと、影響を受ける領域を介して割り当てられたソースＳ1，Ｓ2およびＳ3からのそれぞれの距離ｄＳ1，ｄＳ2およびｄＳ3とを有する処理オブジェクトＰ０5を示す。
【図１８】図１８は、一実施形態によるイコライザーが適用された処理オブジェクトの典型的な実装を示す
【図１９】図１９は、一実施形態による図１８のような処理オブジェクトを示すが、異なる位置にあり、遷移領域がない処理オブジェクトを示す。
【図２０】図２０は、一実施形態によるその方位角によって影響を受ける領域として定義された領域を有する処理オブジェクトを示し、ソースＳｒｃ２２およびＳｒｃ４が処理オブジェクトに関連付けられることを示す。
【図２１】図２１は、一実施形態による図２０のような処理オブジェクトを示すが、「フェザー」スライダーによってユーザーが制御できる追加の遷移領域を有する処理オブジェクトを示す。
【図２２】図２２は、一実施形態による異なる影響を受ける領域を有する、シーン内のいくつかの処理オブジェクトを示す。
【図２３】図２３は、一実施形態による画像の右側にある赤い正方形がオーディオオブジェクトの位置の水平方向の歪みに対する処理オブジェクトを示すことを示す。
【図２４】図２４は、一実施形態によるユーザーが処理オブジェクトの角部を歪ませた後のシーンを示し、すべてのソースの位置が歪みによって変化していることを示す。
【図２５】図２５は、一実施形態による処理オブジェクトを有する個々のオーディオオブジェクトの関連付けの可能な視覚化を示す。
【発明を実施するための形態】
【００２４】
図１は、一実施形態による複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置を示し、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。
【００２５】
装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース１１０を含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。
【００２６】
装置は、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成されるプロセッサユニット１２０をさらに含む。
【００２７】
複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。
【００２８】
上記の図１で説明した装置は、オーディオオブジェクトのためのオーディオマスタリングの効率的な形式を実装する。
【００２９】
オーディオオブジェクトの場合、オーディオシーンに多数のオーディオオブジェクトが存在するという問題がある。これらを変更する場合、各オーディオオブジェクトを個別に指定することはかなりの労力が必要となる。
【００３０】
本発明によれば、２つ以上のオーディオオブジェクトのグループは、処理オブジェクトグループと呼ばれるオーディオオブジェクトのグループにすぐに編成される。それ故に、処理オブジェクトグループはこの特別なグループである処理オブジェクトグループに編成されたオーディオオブジェクトのグループである。
【００３１】
本発明によれば、ユーザーはインタフェース１１０によって１つ以上（少なくとも１つの）エフェクトパラメーターをすぐに指定してもよい。プロセッサユニット１２０は、エフェクトパラメーターの単一の入力により、エフェクトパラメーターが処理オブジェクトグループの２つ以上のオーディオオブジェクトのすべてに適用されることを保証する。
【００３２】
エフェクトパラメーターのこのような適用は、例えば、エフェクトパラメーターが処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号の特定の周波数範囲を修正することから構成されていてもよい。
【００３３】
または、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターは、例えば、エフェクトパラメーターに依存して増減してもよい。
【００３４】
または、例えば、エフェクトパラメーターに依存して、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置が変更されてもよい。例えば、処理オブジェクトグループのすべてのオーディオオブジェクトが、ｘ座標軸に沿って＋２、ｙ座標軸に沿って−３、およびｚ座標軸に沿って＋４だけシフトすることが考えられる。
【００３５】
処理オブジェクトグループのオーディオオブジェクトへのエフェクトパラメーターの適用が、処理オブジェクトグループの各オーディオオブジェクトに異なる影響を及ぼすことも考えられる。例えば、処理オブジェクトのすべてのオーディオオブジェクトの位置がミラーリングされた軸は、エフェクトパラメーターとして定義することができる。したがって、処理オブジェクトグループのオーディオオブジェクトの位置の変更は、処理オブジェクトグループの各オーディオオブジェクトに異なるエフェクトを有するだろう。
【００３６】
例えば、一実施形態では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属していない１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータに適用しないように構成されてもよい。
【００３７】
このような実施形態の場合、エフェクトパラメーターが処理オブジェクトグループに属さないオーディオオブジェクトには正確に適用されないことが指定される。
【００３８】
原則として、オーディオオブジェクトのマスタリングはエンコーダ側で集中的に実行されてもよい。または、デコーダ側で、オーディオオブジェクトの背景の受信者としてのエンドユーザーが、本発明によってオーディオオブジェクトを自分自身で修正することができる。
【００３９】
本発明によるオーディオオブジェクトのマスタリングをエンコーダ側で実装する実施形態が図２に示されている。
【００４０】
本発明によるオーディオオブジェクトのマスタリングをデコーダ側で実装する実施形態が図３に示されている。
【００４１】
図２は別の実施形態による装置を示し、装置はエンコーダである。
【００４２】
図２では、プロセッサユニット１２０は、複数のオーディオオブジェクトのオーディオオブジェクト信号を使用しながらダウンミックス信号を生成するように構成される。この文脈の中では、プロセッサユニット１２０は、複数のオーディオオブジェクトのオーディオオブジェクトメタデータを使用しながらメタデータ信号を生成するように構成される。
【００４３】
さらに、図２のプロセッサユニット１２０は処理済信号としてダウンミックス信号を生成するように構成され、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、少なくとも１つの修正オブジェクト信号がダウンミックス信号に混合され、プロセッサユニット１２０は、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、当該オーディオオブジェクトのオーディオオブジェクト信号にインタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを適用することによって、当該オーディオオブジェクトの修正オブジェクト信号を生成するように構成される。
【００４４】
または、図２のプロセッサユニット１２０は、処理済信号としてメタデータ信号を生成するように構成され、メタデータ信号はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正位置を含み、プロセッサユニット１２０はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの位置に適用することによって当該オーディオオブジェクトの修正位置を生成するように構成される。
【００４５】
または、図２のプロセッサユニット１２０は処理済信号としてメタデータ信号を生成するように構成され、メタデータ信号はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正ゲインパラメーターを含み、プロセッサユニット１２０はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトのゲインパラメーターに適用することによって当該オーディオオブジェクトの修正ゲインパラメーターを生成するように構成される。
【００４６】
図３は別の実施形態による装置を示し、装置はデコーダである。図３の装置は複数のオーディオオブジェクトの複数のオーディオオブジェクト信号が混合されているダウンミックス信号を受信するように構成される。さらに、図３の装置はメタデータ信号を受信するように構成され、メタデータ信号は複数のオーディオオブジェクトの各オーディオオブジェクトについて、当該オーディオオブジェクトのオーディオオブジェクトメタデータを含む。
【００４７】
図３のプロセッサユニット１２０は、ダウンミックス信号に基づいて、複数のオーディオオブジェクトの複数のオーディオオブジェクト信号を再構成するように構成される。
【００４８】
さらに、図３のプロセッサユニット１２０は、処理済信号として、１つ以上のオーディオ出力チャネルを備えるオーディオ出力信号を生成するように構成される。
【００４９】
さらに、図３のプロセッサユニット１２０は、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号に適用して、処理済信号を生成する、または、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置もしくはゲインパラメーターに適用して、処理済信号を生成するように構成される。
【００５０】
オーディオオブジェクトの復号において、デコーダ側でのレンダリングは例えばＳＡＯＣ標準（空間オーディオオブジェクトコーディング）から当業者によく知られている。［８］を参照。
【００５１】
デコーダ側では、１つ以上のレンダリングパラメーターを、インタフェース１１０を介したユーザー入力によって指定することができる。
【００５２】
例えば、一実施形態では、図３のインタフェース１１０は１つ以上のレンダリングパラメーターをユーザー側で指定するように構成されてもよい。例えば、図３のプロセッサユニット１２０は、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの位置に依存して１つ以上のレンダリングパラメーターを使用しながら処理済信号を生成するように構成されてもよい。
【００５３】
図４は、エンコーダ２００およびデコーダ３００を含む一実施形態によるシステムを示す。
【００５４】
図４のエンコーダ２００は、複数のオーディオオブジェクトのオーディオオブジェクト信号に基づいてダウンミックス信号を生成し、複数のオーディオオブジェクトのオーディオオブジェクトメタデータに基づいてメタデータ信号を生成するように構成され、オーディオオブジェクトメタデータはオーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。
【００５５】
図４のデコーダ４００は、ダウンミックス信号に基づいておよびメタデータ信号に基づいて、１つ以上のオーディオ出力チャネルを含むオーディオ出力信号を生成するように構成される。
【００５６】
図４のシステムのエンコーダ２００は図２による装置であってもよい。
【００５７】
または、図４のシステムのデコーダ３００は図３による装置であってもよい。
【００５８】
または、図４のシステムのエンコーダ２００は図２による装置であってもよく、図４のシステムのデコーダ３００は図３の装置であってもよい。
【００５９】
以下の実施形態は、図１の装置、図２の装置および図３の装置に等しく実装されてもよい。また、それらは図４のシステムのエンコーダ２００および図４のシステムのデコーダ３００に実装されてもよい。
【００６０】
一実施形態によれば、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループのそれぞれのオーディオオブジェクトのオーディオオブジェクト信号に適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクト信号に適用しないように構成されてもよい。
【００６１】
このようなエフェクトパラメーターの適用は、例えば、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号へのエフェクトパラメーターの適用が、例えば、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号の特定の周波数範囲を変更するように構成されていてもよい。
【００６２】
一実施形態では、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのメタデータのゲインパラメーターに適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターのいずれにも適用しないように構成されてもよい。
【００６３】
上記で説明したように、このような実施形態では、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターは、エフェクトパラメーターの関数として、増加（例えば、＋３ｄＢ）または減少させてもよい。
【００６４】
一実施形態によれば、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのメタデータの位置に適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクトメタデータの位置のいずれにも適用しないように構成されてもよい。
【００６５】
既に説明したように、このような実施形態では、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置は、例えばエフェクトパラメーターの関数として、それに応じて変更されてもよい。これは、例えば、各オーディオオブジェクトの位置がシフトされる対応するｘ、ｙ、ｚ座標値を指定することで実行されてもよい。または、例えば、特定の角度、例えばユーザーの位置を中心に定義された中心点を中心に回転することのシフト（変位）が指定されてもよい。または、例えば、特定の点からの距離を２倍にする（または、半分にする）ことが、処理オブジェクトグループの各オーディオオブジェクトの位置についてのエフェクトパラメーターとして提供されてもよい。
【００６６】
一実施形態では、インタフェース１１０は、例えば、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターをユーザー側で指定するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定されたオーディオオブジェクトの処理オブジェクトグループのうちの少なくとも１つの定義パラメーターに応じて、複数のオーディオオブジェクトのオーディオオブジェクトがどのオーディオオブジェクトの処理オブジェクトグループに属するかを決定するように構成されてもよい。
【００６７】
例えば、一実施形態によれば、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、関心領域の少なくとも１つの位置を含んでもよい（関心領域の位置は、例えば、関心領域の中心または重心である）。関心領域は、オーディオオブジェクトの処理オブジェクトグループに関連付けられていてもよい。プロセッサユニット１２０は、例えば、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置に依存して、且つ、関心領域の位置に依存して、複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、このオーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成されてもよい。
【００６８】
一実施形態では、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、例えば、オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域の半径範囲をさらに含んでもよい。プロセッサユニット１２０は、例えば、複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置に応じて、且つ、関心領域の位置に依存して、且つ、関心領域の半径範囲に依存して、このオーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属しているかどうかを決定するように構成されてもよい。
【００６９】
例えば、ユーザーは処理オブジェクトグループの位置および処理オブジェクトグループの半径範囲を指定してもよい。処理オブジェクトグループの位置は空間中心点を指定してもよく、処理オブジェクトグループの半径範囲は、処理オブジェクトグループの中心点とともに円を定義してもよい。円内または円の線上の位置にあるすべてのオーディオオブジェクトは、この処理オブジェクトグループのオーディオオブジェクトとして定義されてもよい。すなわち、円の外側の位置にあるすべてのオーディオオブジェクトは、処理オブジェクトグループに含まれないだろう。円内および円の線上の領域は、「関心領域」として理解することができる。
【００７０】
一実施形態によれば、プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置と関心領域記位置との間の距離に応じて、重み係数を決定するように構成されてもよい。プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記オーディオオブジェクトの重み係数を、インタフェース１１０によって指定された少なくとも１つのエフェクトパラメーターとともに、このオーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータのゲインパラメーターに適用するように構成されてもよい。
【００７１】
このような実施形態では、処理オブジェクトグループの個々のオーディオオブジェクトにおけるエフェクトパラメーターの影響は、エフェクトパラメーターに加えて、各オーディオオブジェクトに個別化され、オーディオオブジェクトに適用される重み係数を決定することによって各オーディオオブジェクトに個別化される。
【００７２】
一実施形態では、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、例えば、オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域がある定義されたユーザーの位置からの方向を指定する少なくとも１つの角度を含んでもよい。プロセッサユニット１２０は、例えば、このオーディオオブジェクトのメタデータの位置に依存して、且つ、関心領域が位置する定義されたユーザーの位置からの方向を指定する角度に依存して、複数のオーディオオブジェクトの各オーディオオブジェクトについて、オーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成されてもよい。
【００７３】
一実施形態によれば、プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、第１の角度と別の角度との間の差に依存する重み係数を決定するように構成され、第１の角度は関心領域が位置する定義されたユーザー位置からの方向を指定する角度であり、別の角度は、定義されたユーザー位置およびこのオーディオオブジェクトのメタデータの位置に依存するように構成されてもよい。プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトついて、このオーディオオブジェクトの重み係数をインタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターとともにこのオーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータのゲインパラメーターに適用するように構成されてもよい。
【００７４】
一実施形態では、オーディオオブジェクトの処理オブジェクトグループは、例えば、オーディオオブジェクトの第１処理オブジェクトグループであってもよく、例えば、オーディオオブジェクトの１つ以上の別の処理オブジェクトグループがそれに追加して存在してもよい。
【００７５】
１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループは複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトを含んでもよく、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの処理オブジェクトグループのうちの少なくとも１つのオーディオオブジェクトは、オーディオオブジェクトの第１処理オブジェクトグループのオーディオオブジェクトではない。
【００７６】
ここで、インタフェース１１０は、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、このオーディオオブジェクトの処理オブジェクトグループのための少なくとも１つの別のエフェクトパラメーターをユーザー側で指定するように構成されてもよい。
【００７７】
この文脈の中では、プロセッサユニット１２０は、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、インタフェース１１０によって指定されるこの処理オブジェクトグループの少なくとも１つの別のエフェクトパラメーターが、この処理オブジェクトグループの１つ以上のオーディオオブジェクトのそれぞれのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように、処理済信号を生成するように構成されてもよく、ここで、複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトがこの処理オブジェクトグループに属さない。
【００７８】
ここで、プロセッサユニット１２０は、例えば、インタフェースによって指定されるこの処理オブジェクトグループの少なくとも１つの別のエフェクトパラメーターを、この処理オブジェクトグループに属さない１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータに適用しないように構成されてもよい。
【００７９】
このような実施形態では、複数の処理オブジェクトグループが存在してもよいことを意味する。各処理オブジェクトグループについて、１つ以上の個別のエフェクトパラメーターが決定される。
【００８０】
一実施形態によれば、インタフェース１１０は、オーディオオブジェクトの第１処理オブジェクトグループに加えて、例えば、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループをユーザー側で指定するように構成されてもよく、インタフェース１１０は、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、この処理オブジェクトグループの少なくとも１つの定義パラメーターをユーザー側で指定するように構成されてもよい。
【００８１】
この文脈の中では、プロセッサユニット１２０は、例えば、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、複数のオーディオオブジェクトのうちどのオーディオオブジェクトがこの処理オブジェクトグループに属するかを、インタフェース１１０によって指定されるこの処理オブジェクトグループの少なくとも１つの定義パラメーターに依存して決定するように構成されてもよい。
【００８２】
以下に、本発明の実施形態の概念および好ましい実施形態を説明する。
【００８３】
実施形態では、ＯＢＡＰにおける任意の種類のグローバル適応は、（例えば、プロセッサユニット１２０によって）影響を受けるオーディオオブジェクトの個々の変化にグローバル適応を変換することで可能になる。
【００８４】
オブジェクトベースのオーディオ制作のための空間マスタリングは、例えば、本発明の処理オブジェクトを実装することによって、以下のように実施することができる。
【００８５】
全体的な適応の提案された実装は、処理オブジェクト（ＰＯ）によって実装される。従来のオーディオオブジェクトと同様に、リアルタイムでシーン内のどこにでも自由に配置されてもよい。ユーザーは、任意の信号処理を処理オブジェクト（処理オブジェクトグループ）、例えばイコライザー（ＥＱ）またはコンプレッションに適用してもよい。これらの各処理ツールでは、処理オブジェクトのパラメーター設定をオブジェクト固有の設定に変換してもよい。さまざまな方法がこの計算に提供されている。
【００８６】
以下に、関心領域を示す。
【００８７】
2021514164.tif 000003
【００８８】
2021514164.tif 000004
【００８９】
2021514164.tif 000005
【００９０】
2021514164.tif 000006
【００９１】
以下は、一実施形態による逆パラメーターの計算を説明する。
【００９２】
2021514164.tif 000007
【００９３】
式（１）によって変形された処理オブジェクトへのユーザー調整は、オーディオオブジェクトの正確な位置が考慮されないため、十分な速度で所望の結果が常に得られるとは限らない。例えば、処理オブジェクトの周囲の領域が非常に大きい場合、且つ、含まれるオーディオオブジェクトが処理オブジェクトの位置から離れている場合、計算された調整の効果は処理オブジェクトの位置でも聞こえない可能性がある。
【００９４】
2021514164.tif 000008
【００９５】
2021514164.tif 000009
【００９６】
以下の修正された実施形態では、角度ベースの計算が行われる。
【００９７】
2021514164.tif 000010
【００９８】
したがって、図７は、一実施形態による処理オブジェクトに対するオーディオオブジェクトの相対角度を示す。
【００９９】
2021514164.tif 000011
【０１００】
図８は、一実施形態による新しい半径方向の周囲を有するイコライザオブジェクトを示す。
【０１０１】
2021514164.tif 000012
【０１０２】
2021514164.tif 000013
【０１０３】
一実施形態では、実装されたアプリケーションはイコライゼーションである。
【０１０４】
イコライゼーションは、ミックスの周波数応答が再生システム全体で適切な変換（変形）のための最も重要な要素であるため、マスタリングで最も重要なツールと見なすことができる。
【０１０５】
提案されたイコライゼーションの実装は、ＥＱオブジェクトを介して実現される。他のすべてのパラメーターは距離に依存しないため、ゲインパラメーターのみが特に重要である。
【０１０６】
別の実施形態では、実装されるアプリケーションは動的制御である。
【０１０７】
従来のマスタリングでは、動的圧縮を使用して、時間を超えてミックスの動的変動を制御する。これにより、圧縮設定に依存して、知覚される密度とミックスの過渡応答が変化する。固定圧縮の場合、知覚される密度の変化は「グルー（glue）」とも呼ばれ、より強い圧縮設定はポンプまたはビートヘビーミックスにおけるサイドチェーン効果を使用されてもよい。
【０１０８】
ＯＢＡＰを使用して、ユーザーは複数の近接オブジェクトに対して同一の圧縮設定を簡単に指定し、マルチチャネル圧縮を得てもよい。しかしながら、オーディオオブジェクトのグループについての合計圧縮は、タイムクリティカルなワークフローに有利であるだけでなく、心理音響的印象がいわゆる「接着（glued）」信号によって成し遂げられる可能性が高くなる。
【０１０９】
2021514164.tif 000014
【０１１０】
別の実施形態にしたがって、実装されたアプリケーションはシーンの変形である。
【０１１１】
ステレオマスタリングでは、中間／サイドの処理はミックスのステレオイメージを拡張または安定させるために一般的に使用される手法である。空間オーディオミックスについて、部屋やスピーカーの特徴が非対称になる可能性があり、ミックスが音響的に重要な環境で作成された場合、同様のオプションが役立つかもしれない。ミックスの効果を改善するために、ＭＥの新しい創造的な機会が提供されてもよい。
【０１１２】
2021514164.tif 000015
【０１１３】
2021514164.tif 000016
【０１１４】
2021514164.tif 000017
【０１１５】
オーディオオブジェクトの位置は時間とともに変化する可能性があるため、座標位置を時間依存関数として解釈してもよい。
【０１１６】
一実施形態では、動的イコライザーが実装される。他の実施形態は、マルチバンド圧縮を実装する。
【０１１７】
オブジェクトベースの音調整は、導入されたイコライザーアプリケーションに限定されない。
【０１１８】
上記の説明は、実施形態のより一般的な説明によって、以下で再び補足される。
【０１１９】
オブジェクトベースの３次元オーディオ制作は、レンダリング処理を介してほとんどの任意のスピーカー構成に対してオーディオシーンがリアルタイムで計算および再生されるアプローチに従う。オーディオシーンはオーディオオブジェクトの配置を時間の関数として説明する。オーディオオブジェクトは、オーディオ信号とメタデータとで構成される。これらのメタデータは、特に、部屋内の位置やボリュームなどが含まれる。シーンを編集するために、以前はユーザーがシーンのすべてのオーディオオブジェクトを個別に変更する必要があった。
【０１２０】
一方で処理オブジェクトグループ、他方で処理オブジェクトが言及される場合、各処理オブジェクトについて、処理オブジェクトグループはオーディオオブジェクトを含んで定義されることに留意されたい。処理オブジェクトグループは処理オブジェクトのコンテナとも呼ばれる。それ故に、各処理オブジェクトについて、オーディオオブジェクトのグループは複数のオーディオオブジェクト間で定義される。対応する処理オブジェクトグループは、指定されたオーディオオブジェクトのグループを含む。それ故に、処理オブジェクトグループはオーディオオブジェクトのグループである。
【０１２１】
処理オブジェクトは、他のオーディオオブジェクトの特性を変更できるオブジェクトとして定義されてもよい。処理オブジェクトは、任意のオーディオオブジェクトを割り当てることができる人工的なコンテナであり、つまり、コンテナは割り当てられたオーディオオブジェクトのすべてをアドレス指定することに使用される。割り当てられたオーディオオブジェクトは、エフェクトの数に影響される。したがって、処理オブジェクトは、ユーザーに複数のオーディオオブジェクトを同時に処理することを可能にする。
【０１２２】
処理オブジェクトには、例えば、位置、割り当て方法、コンテナ、重み付け方法、オーディオ信号処理効果およびメタデータ効果がある。
【０１２３】
位置は、仮想シーンにおける処理オブジェクトの位置である。
【０１２４】
割り当て方法は、処理オブジェクトを有するオーディオオブジェクトを割り当てる（場合によってはそれら位置を使用しながら）。
【０１２５】
コンテナ（または接続）は、処理オブジェクトに関連付けられるすべてのオーディオオブジェクト（または、場合によっては追加の他の処理オブジェクト）のセットである。
【０１２６】
重み付け方法は、割り当てられるオーディオオブジェクトの個々のエフェクトパラメーター値を計算するためのアルゴリズムである。
【０１２７】
オーディオ信号処理効果は、オーディオオブジェクトのそれぞれのオーディオコンポーネント（例えば、イコライザー、ダイナミクス）を変更する。
【０１２８】
メタデータ効果は、オーディオオブジェクトおよび／または処理オブジェクトのメタデータを変更する（例えば、位置の歪み）。
【０１２９】
同様に、上記の位置、割り当て方法、コンテナ、重み付け方法、オーディオ信号処理効果およびメタデータ効果も処理オブジェクトグループに関連付けてもよい。ここで、処理オブジェクトのコンテナのオーディオオブジェクトは、処理オブジェクトグループのオーディオオブジェクトである。
【０１３０】
図１１は、一実施形態による、オーディオ信号効果およびメタデータ効果がもたらされる処理オブジェクトの接続を示す。
【０１３１】
以下では、処理オブジェクトの特性が特別な実施形態によって説明される。：
【０１３２】
処理オブジェクトはユーザーによって任意にシーン内に配置してもよく、位置は一定の時間とともにまたは時間の関数として設定されてもよい。
【０１３３】
処理オブジェクトは、オーディオオブジェクトのオーディオ信号および／またはメタデータを変更するユーザーによって割り当てられるエフェクトを有してもよい。エフェクトの例は、オーディオ信号のイコライゼーション、オーディオ信号のダイナミクスの処理またはオーディオオブジェクトの位置座標の変化である。
【０１３４】
処理オブジェクトは、任意の順序で割り当てられる任意の数のエフェクトを有してもよい。
【０１３５】
エフェクトは、割り当てられたオーディオオブジェクトのセットのオーディオ信号および／またはメタデータを変更し、時間が経過しても一定であるか、または時間に依存しているかのいずれかである。
【０１３６】
エフェクトは信号の処理および／またはメタデータを制御するパラメーターを有する。これらのパラメーターは、ユーザーによって定数または重みパラメーターに分割されるか、またはそれらのそれぞれのタイプによって定義される。
【０１３７】
処理オブジェクトのエフェクトがコピーされ、関連付けられるオーディオオブジェクトに適用される。定数パラメーターの値は、各オーディオオブジェクトによって変更されずに採用される。重みパラメーターの値は、異なる重み付け方法を使用することによって、各オーディオオブジェクトに個別に計算される。ユーザーは、各エフェクトの重み付け方法を選択してもよく、または個々のオーディオソースについて、それをアクティブまたは非アクティブにしてもよい。
【０１３８】
重み付け方法は、個々のメタデータおよび／または個々のオーディオオブジェクトの信号特性を考慮に入れる。例えば、これは、オーディオオブジェクトと処理オブジェクトとの間の距離またはオーディオオブジェクトの周波数スペクトルに対応する。重み付け方法はリスナーのリスニング位置も考慮してもよい。さらに、重み付け方法は、個別にパラメーター値を導出するためにオーディオオブジェクトの前述のプロパティを組み合わせてもよい。例えば、各オーディオオブジェクトの音量の変化を個別に導出するために、オーディオオブジェクトのサウンドレベルは動的処理の文脈で追加されてもよい。
【０１３９】
エフェクトパラメーターは、時間の経過とともに一定になるように、または時間に依存するように設定されてもよい。重み付け方法は、このような時間変化を考慮に入れる。
【０１４０】
重み付け方法は、オーディオレンダラーがシーンから分析する情報を処理することもできる。
【０１４１】
処理オブジェクトへのエフェクトの割り当てシーケンスは、各オブジェクトの処理信号またはメタデータのシーケンスに対応する。すなわち、前のエフェクトによって修正されたデータは、その計算の基礎として次のエフェクトによって使用される。最初のエフェクトは、オーディオオブジェクトのまだ変更されていないデータに基づいて機能する。
【０１４２】
個々のエフェクトを非アクティブにすることができる。その後、前のエフェクトの計算データが存在する場合は、前のエフェクトの計算データは、非アクティブにされたエフェクトの後のエフェクトに転送されるだろう。
【０１４３】
明示的に新しく開発されたエフェクトは、ホモグラフィによるオーディオオブジェクトの位置の変化である（「歪み効果」）。ユーザーには、処理オブジェクトの位置に個別に移動可能な角部を有する矩形が表示される。ユーザーが角部を移動する場合、この歪みの変換行列は、矩形の以前の状態と新しく歪んだ状態から計算される。次に、行列は、処理オブジェクトに関連付けられたオーディオオブジェクトのすべての位置座標に適用され、それらの位置は歪みによって変化する。
【０１４４】
メタデータのみを変更するエフェクトは、他の処理オブジェクトにも適用されてもよい（特に「歪み効果」）。
【０１４５】
オーディオソースはさまざまな方法で処理オブジェクトに関連付けられていてもよい。関連付けられるオーディオオブジェクトの数も、関連のタイプに応じて、時間の経過とともに変化してもよい。この変化はすべての計算で考慮される。
【０１４６】
影響を受ける領域は、処理オブジェクトの位置の周囲に定義されてもよい。
【０１４７】
影響を受ける領域内に配置されるすべてのオーディオオブジェクトは、処理オブジェクトのエフェクトが適用される、関連付けられオーディオオブジェクトのセットを形成する。
【０１４８】
影響を受ける領域は、ユーザーによって定義された任意のボディ（３次元）または任意の形状（２次元）であってもよい。
【０１４９】
影響を受ける領域の中心は、処理オブジェクトの位置に対応してもよいが、対応する必要はない。これはユーザーによって指定される。
【０１５０】
その位置が３次元のボディ内にある場合、オーディオオブジェクトは３次元の影響を受ける領域内にある。
【０１５１】
水平面に投影されたその位置が２次元の形状内にある場合、オーディオオブジェクトは２次元の影響を受ける領域内にある。
【０１５２】
影響を受ける領域は指定されないすべての周囲のサイズを想定できるため、シーン内のすべてのオーディオオブジェクトが影響を受ける領域内に配置される。
【０１５３】
必要な場合、影響を受ける領域は、シーンプロパティ（例えば、シーンのスケーリング）の変更に適応する。
【０１５４】
影響を受ける領域に関係なく、処理オブジェクトはシーン内のオーディオオブジェクトの任意の選択にリンクされてもよい。
【０１５５】
カップリングはユーザーによって定義されてもよく、すべての選択されたオーディオオブジェクトは、処理オブジェクトのエフェクトが適用されるオーディオオブジェクトのセットを形成する。
【０１５６】
代わりに、選択されたオーディオオブジェクトの位置によって、処理オブジェクトがその位置を時間の関数として調整するような方法で、カップリングはユーザーによって定義されてもよい。この位置の調整は、リスナーのリスニング位置を考慮してもよい。この文脈の中では、処理オブジェクトのエフェクトは、必ずしもカップリングされたオーディオオブジェクトに適用する必要はない。
【０１５７】
関係はユーザー定義の基準に基づいて自動的に行われてもよい。この文脈の中では、シーンのすべてのオーディオオブジェクトは、定義された基準について継続的に検査され、基準が満たされている場合は、それらは処理オブジェクトに関連付けられる。関連の期間は、基準が満たされる時間に制限されてもよく、移行期間が定義されてもよい。移行期間は、１つ以上の基準がオーディオオブジェクトによって継続的に満たされ、それが処理オブジェクトに関連付けられる期間、または１つ以上の基準が継続的に無視され、処理オブジェクトへの関係が再び無視される期間を決定する。
【０１５８】
処理オブジェクトはユーザーによって非アクティブにされてもよいため、それらのプロパティは保持され、処理オブジェクトによって影響されるオーディオオブジェクトなしで引き続きユーザーに表示される。
【０１５９】
ユーザーは、処理オブジェクトの任意の数のプロパティと、任意の数の他の処理オブジェクトの類似のプロパティとをカップリングすることができる。これらのプロパティはエフェクトのパラメーターを含む。ユーザーは、カップリングが絶対的かまたは相対的かどうかを選択できる。カップリングが一定の場合、処理オブジェクトの変更されたプロパティ値は、カップリングされたすべての処理オブジェクトによって正確に採用される。相対的なカップリングの場合、変更の値はカップリングされた処理オブジェクトのプロパティ値に対してオフセットされる。
【０１６０】
処理オブジェクトは複製されてもよい。その際、元の処理オブジェクトと同一のプロパティを持つ第２の処理オブジェクトが生成される。処理オブジェクトのプロパティは、互いに独立している。
【０１６１】
処理オブジェクトのプロパティは、例えばコピーする時に、永続的に継承できるため、親によって行われた変更は子に自動的に採用される。
【０１６２】
図１２は、一実施形態によるユーザー入力に応答するオーディオオブジェクトおよびオーディオ信号の変更を示す。
【０１６３】
処理オブジェクトの別の新しいアプリケーションは、シーン分析を使用するインテリジェントパラメーターの計算である。ユーザーは処理オブジェクトを介して特定の位置でエフェクトパラメーターを定義する。オーディオレンダラーは予測シーン分析を実行して、処理オブジェクトの位置に影響を与えるオーディオソースを検出する。そして、シーン分析を考慮して、ユーザー定義のエフェクト設定が処理オブジェクトの位置で最適となるような方法で、エフェクトが選択されたオーディオソースに適用される。
【０１６４】
以下では、図１３−図２５によって視覚的に表される、本発明のさらなる実施形態が説明される。
【０１６５】
例えば、図１３はユーザー側の角部Ｃ1、Ｃ2、Ｃ3およびＣ4の歪みについての矩形Ｍを有する処理オブジェクトＰＯ4を示す。図１３は角部Ｃ1´、Ｃ2´、Ｃ3´およびＣ4´を有するＭ´への可能性のある歪みと、新しい位置Ｓ1´、Ｓ2´、Ｓ3´およびＳ4´を有するソースＳ1、Ｓ2、Ｓ3およびＳ4で対応するエフェクトとを概略的に示す。
【０１６６】
2021514164.tif 000018
【０１６７】
2021514164.tif 000019
【０１６８】
図１６は、処理オブジェクトに適用されたイコライザー効果の可能な概略的実装を示す。各パラメーターの横にあるｗなどのボタンを使用して、それぞれのパラメーターの重みをアクティブにすることができる。ｍ1、ｍ2およびｍ3は前述の重みパラメーターについての重み付け方法のオプションを提供する。
【０１６９】
2021514164.tif 000020
【０１７０】
図１８は、イコライザーが適用された処理オブジェクトの典型的な実装を示す。画像の右側にある波の記号を有する青緑色のオブジェクトは、オーディオシーンの処理オブジェクトを示し、ユーザーがマウスで自由に移動できる。処理オブジェクトの周りの青緑色の透明で均一な領域内で、イコライザーパラメーターは変更されずに、画像の左側で定義されているオーディオオブジェクトＳｒｃ１，Ｓｒｃ２およびＳｒｃ３に適用される。均一の円形領域の周りの、透明な領域に移動するシェーディングは、ゲインパラメーターを除くすべてのパラメーターがソースによって変更されずに採用される領域を示す。これに反して、イコライザーのゲインパラメーターは、ソースと処理オブジェクトとの間の距離によって重み付けされる。ソースＳｒｃ４およびソースＳｒｃ２４だけがこの領域にあるため、この場合、重み付けはそれらのパラメーターに対してのみ行われる。ソースＳｒｃ２２は、処理オブジェクトによって影響を受けない。ユーザーは、「エリア」スライダーによって、処理オブジェクトの周りの円形領域の半径のサイズを制御する。「フェザー」スライダーによって、ユーザーは周囲の遷移領域の半径のサイズを制御する。
【０１７１】
図１９は、図１８のような処理オブジェクトを示すが、異なる位置にあり、遷移領域がない。イコライザーのすべてのパラメーターは変更されずにソースＳｒｃ２２およびＳｒｃ４に採用される。ソースＳｒｃ３、Ｓｒｃ２、Ｓｒｃ１およびＳｒｃ２４は、処理オブジェクトによって影響を受けない。
【０１７２】
図２０は、その方位角によって影響を受ける領域として定義された領域を有する処理オブジェクトを示し、ソースＳｒｃ２２およびＳｒｃ４が処理オブジェクトに関連付けられる。画像の右側中央にある影響を受ける領域の頂点は、リスナー／ユーザーの位置に対応する。処理オブジェクトを移動すると、領域は方位角によって移動される。「エリア」スライダーを使用して、ユーザーは影響を受ける領域の角度のサイズを決定する。ユーザーは、円形から角度ベースの影響を受ける平面に「エリア」／「フェザー」スライダーによって低い選択範囲を介して変更することができ、現在「半径」と表示している。
【０１７３】
図２１は、図２０のような処理オブジェクトを示すが、「フェザー」スライダーによってユーザーが制御できる追加の遷移領域を有する。
【０１７４】
図２２は、異なる影響を受ける領域を有する、シーン内のいくつかの処理オブジェクトを示す。灰色の処理オブジェクトはユーザーによって非アクティブにされている。すなわち、それらの影響を受ける領域内のオーディオオブジェクトに影響しない。画像の左側に、現在選択されている処理オブジェクトのイコライザーパラメーターが、常に表示される。選択範囲は、オブジェクトの周りの細く明るい青緑色の線で示される。
【０１７５】
図２３は、画像の右側にある赤い正方形がオーディオオブジェクトの位置の水平方向の歪みに対する処理オブジェクトを示すことを示す。ユーザーは、マウスで角部を任意の方向にドラッグして、シーンを歪めることができる。
【０１７６】
図２４は、ユーザーが処理オブジェクトの角部をドラッグした後のシーンを示す。すべてのソースの位置が歪みによって変化している。
【０１７７】
図２５は、処理オブジェクトを有する個々のオーディオオブジェクトの関連付けの可能な視覚化を示す。
【０１７８】
いくつかの態様が装置の文脈において記載されてきたが、前記態様は対応する方法の記述をも表すことは明らかであり、ブロックまたは装置の構成要素は方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロック、詳細または機能の記述をも表す。いくつかのまたはすべての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはハードウェア装置を用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
【０１７９】
特定の実現要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいてまたはハードウェアの少なくとも一部においてまたはソフトウェアの少なくとも一部において実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働することができるまたは協働する、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。
【０１８０】
本発明に係るいくつかの実施形態は、本願明細書に記載された方法のいずれかが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読取可能な制御信号を含むデータキャリアを備える。
【０１８１】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法のいずれかを実行するように動作可能であるプログラムコードによるコンピュータプログラム製品として実施することができる。
【０１８２】
プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。
【０１８３】
他の実施形態は、本願明細書に記載された方法を実行するコンピュータプログラムを備え、前記コンピュータプログラムは機械読取可能なキャリアに記憶される。言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法のいずれかを実行するプログラムコードを有するコンピュータプログラムである。
【０１８４】
本発明の方法の更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムが記憶されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリアまたはデジタル記憶媒体またはコンピュータ読取可能媒体は、通常は有形および／または不揮発性である。
【０１８５】
本発明の方法の更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットによって転送されるように構成することができる。
【０１８６】
更なる実施形態は、本願明細書に記載された方法のいずれかを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。
【０１８７】
更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムがインストールされたコンピュータを含む。
【０１８８】
本発明に係る更なる実施形態は、本願明細書に記載された方法の少なくとも１つを実行するコンピュータプログラムを、受信者に転送するように構成された装置またはシステムを含む。転送は、例えば、電子的または光学的にされる。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するファイルサーバを備えることができる。
【０１８９】
いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ，ＦＰＧＡ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法のいずれかを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。前記ハードウェア装置はコンピュータプロセッサ（ＣＰＵ）のような普遍的に適用可能なハードウェアであってもよいし、ＡＳＩＣのような方法に特有のハードウェアであってもよい。
【０１９０】
上記記載された実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。それ故に、本発明は、間近に迫った特許請求の範囲のスコープのみによって制限され、本願明細書の実施形態の記載および説明の方法によって表された特定の詳細によって制限されないことが意図される。
【０１９１】
参考文献
[1]Coleman, P., Franck, A., Francombe, J., Liu, Q., Campos, T. D., Hughes, R., Men-zies, D., Galvez, M. S., Tang, Y., Woodcock, J., Jackson, P., Melchior, F., Pike, C., Fazi, F., Cox, T, and Hilton, A., "An Audio-Visual System for Object-Based Audio: From Recording to Listening," IEEE Transactions on Multimedia, PP(99), pp. 1-1, 2018, ISSN 1520- 9210, doi:10.1109/TMM.2018.2794780.
[2] Gasull Ruiz, A., Sladeczek, C., and Sporer, T., "A Description of an Object-Based Audio Workflow for Media Productions," in Audio Engineering Society Conference: 57th International Conference: The Future of Audio Entertainment Technology, Cinema, Television and the Internet, 2015.
[3] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - a new concept for spatial sound design in object-based audio scenes," in Proceedings of the International Computer Music Conference 2011, 2011.
[4] Katz, B. and Katz, R. A., Mastering Audio: The Art and the Science, Butterworth-Heinemann, Newton, MA, USA, 2003, ISBN 0240805453, AES Conference on Spatial Reproduction, Tokyo, Japan, 2018 August 6 - 9, page 2
[5] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - A New Concept for Spatial Sound Design in Object-based Audio Scenes," Proceedings of the International Computer Music Conference 2011, University of Huddersfield, UK, 2011.
[6] Sladeczek, C., Neidhardt, A., Boehme, M., Seeber, M., and Ruiz, A. G., "An Approach for Fast and Intuitive Monitoring of Microphone Signals Using a Virtual Listener," Proceedings, International Conference on Spatial Audio (ICSA), 21.2. - 23.2.2014, Erlangen, 2014
[7] Dubrofsky, E., Homography Estimation, Master's thesis, University of British Columbia, 2009.
[8] ISO/IEC 23003-2:2010 Information technology - MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC); 2010
【図１】
2021514164.tif 000021
【図２】
2021514164.tif 000022
【図３】
2021514164.tif 000023
【図４】
2021514164.tif 000024
【図５】
2021514164.tif 000025
【図６】
2021514164.tif 000026
【図７】
2021514164.tif 000027
【図８】
2021514164.tif 000028
【図９】
2021514164.tif 000029
【図１０】
2021514164.tif 000030
【図１１】
2021514164.tif 000031
【図１２】
2021514164.tif 000032
【図１３】
2021514164.tif 000033
【図１４】
2021514164.tif 000034
【図１５】
2021514164.tif 000035
【図１６】
2021514164.tif 000036
【図１７】
2021514164.tif 000037
【図１８】
2021514164.tif 000038
【図１９】
2021514164.tif 000039
【図２０】
2021514164.tif 000040
【図２１】
2021514164.tif 000041
【図２２】
2021514164.tif 000042
【図２３】
2021514164.tif 000043
【図２４】
2021514164.tif 000044
【図２５】
2021514164.tif 000045
【国際調査報告】
2021514164.tif 000046
2021514164.tif 000047
2021514164.tif 000048
2021514164.tif 000049
2021514164.tif 000050
2021514164.tif 000051