(57)【要約】【課題】コンテンツ音源の空間性を拡張して、より効果的な３次元音響を作り出すこと。【解決手段】図示された音源は、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールド値（０、Δｙ、Δｚ）に基づいて、「ｄｉｒｅｃｔｉｏｎ」フィールドに定義されたベクトルに垂直な方向に拡張されてΔｙ×Δｚの面積を有する面音源をなす。このように、音源の次元と位置とが定義されると、点音源は拡張された音源の表面に位置する。本発明では、拡張された音源の表面に点音源が均等に分布するように点音源の位置を計算する。【選択図】図４
2008172826.tif 000002
【特許請求の範囲】
【請求項１】
空間性が拡張された音源を有する３次元音響シーンの生成方法であって、
音響オブジェクトを生成するステップと、
前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を生成するステップとを含み、
前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
ことを特徴とする３次元音響シーンの生成方法。
【請求項２】
空間性が拡張された音源を有する３次元音響シーンの消費方法であって、
音響オブジェクト及び該音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を受信するステップと、
前記３次元音響シーンの記述情報に基づいて、前記音響オブジェクトを出力するステップとを含み、
前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
ことを特徴とする３次元音響シーンの消費方法。
【請求項３】
空間性が拡張された音源を有する３次元音響シーンの処理方法であって、
音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を生成するステップと、
前記音響オブジェクト及び前記音響オブジェクトに対する音源特性情報を含む３次元音響シーンの技術情報を符号化するステップとを含み、
前記音源特性情報は、３次元空間に表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
ことを特徴とする３次元音響シーンの処理方法。
【請求項４】
空間性が拡張された音源を有する３次元音響シーンの処理方法であって、
音響オブジェクト及び該音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を復号化するステップと、
前記３次元音響シーンの記述情報に基づいて、前記音響オブジェクトを出力するステップとを含み、
前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
ことを特徴とする３次元音響シーンの処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法に関し、さらに詳しくは、３次元音響シーンにおいて、音源が有する空間性を拡張させるための３次元音響シーンの生成及び消費方法に関する。
【背景技術】
【０００２】
一般に、コンテンツ提供サーバは、所定の方式に従ってコンテンツを符号化（encoding）してコンテンツ消費端末に伝送し、コンテンツ消費端末は、所定の方式に従ってコンテンツを復号化（decoding）して伝送されたコンテンツを出力する。
【０００３】
従って、コンテンツ提供サーバは、コンテンツを符号化するための符号化部と、符号化されたコンテンツを送信するための送信部とを含む。コンテンツ消費端末は、送信されたコンテンツを受信する受信部、受信されたコンテンツを復号化する復号化部及び復号されたコンテンツをユーザに出力する出力部を含む。
【０００４】
今まで知られているオーディオ／ビデオ信号の符号化／復号化方式は非常に多様である。その中で、ＭＰＥＧ−４による符号化／復号化方式が最近に広く用いられている。ＭＰＥＧ−４は、低い伝送率で動画を伝送するために、ＭＰＥＧ(Moving Picture Experts Group)が定義したデータ圧縮及び復元技術に関する標準である。
【０００５】
ＭＰＥＧ−４によれば、任意形状のオブジェクト(object)を符号化することができる。従って、コンテンツ消費端末は、複数のオブジェクトが合成されたシーンを消費できる。このため、ＭＰＥＧ−４は、音響オブジェクトの表示方法と特性とを指定するためのシーン記述（Scene Description）言語としてＡｕｄｉｏＢＩＦＳ（Audio Binary Format for Scene）を定義している。
【０００６】
一方、映像物の発展と共に、ユーザはもっと実在感のある音質と画質のコンテンツを消費することを望む。上述したＭＰＥＧ−４  ＡｕｄｉｏＢＩＦＳ  では、３次元音響シーンの空間感を表現するために、ＡｕｄｉｏＦＸノード及びＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードなどを使用する。このようなノードにおいて、音源のモデリングは点音源(point-source)に依存するが、点音源は、３次元音響空間で描写しやすく、具現することも容易である。
【０００７】
しかし、現実の音源は、点よりは２次元以上の次元を持っている場合がもっと多く、重要なことは、音源の形状が人間に認識されることができるという点である（特許文献１）。
【０００８】
例えば、直線に伸びている海岸線に当る波の音は点音源でない、１次元的な線音源として認識されることができる。従って、ＡｕｄｉｏＢＩＦＳを用いて３次元音響シーンの現実感を一層向上させるためには、音源の大きさ（size）と形状（shape）とが表現されなければならず、そうでない場合は、３次元音響シーンにおいて、音響オブジェクトの現実感は深刻に毀損される。
【０００９】
即ち、３次元音響シーンに１次元以上の次元を有する音源を付与するためには、音源の空間性を記述できなければならない。
【００１０】
【特許文献１】J. Baluert, Spatial Hearing ,The MIT Press, Cambridge Mass,1996
【特許文献２】A. J .Beskhout,D.de Vries,and P.Vogel,"Acoustic coutrol by wave field synthesis,"J.Aoust.Soc.Am.Vol.93,No.5.pp.2764-2778,May 1993
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は上述した問題を解決するためになされたものであって、その目的は、３次元音響シーン記述情報に音源の空間性拡張情報を含む音源特性情報を含むことにより、空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法を提供することである。
【課題を解決するための手段】
【００１２】
前記のような目的を達成するための本発明は、空間性が拡張された音源を有する３次元音響シーン（３Ｄ audio scene）の生成方法であって、音響オブジェクトを生成するステップと、前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を生成するステップとを含み、前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む。
【００１３】
また、本発明は、空間性が拡張された音源を有する３次元音響シーンの消費方法(A method for consuming a 3D audio scene)であって、音響オブジェクト及び前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を受信するステップと、前記３次元音響シーン記述情報に基づいて前記音響オブジェクトを出力するステップとを含み、前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む。
【発明の効果】
【００１４】
本発明によれば、コンテンツ音源の空間性を拡張する装置及び方法を提示して、より効果的な３次元音響を作り出すことができる効果がある。
【発明を実施するための最良の形態】
【００１５】
以下の内容は単に本発明の原理を例示する。従って、当業者は例え本明細書に明確に説明されたり、図示されてはいないが、本発明の原理を具現し、本発明の概念と範囲に含まれた多様な装置を発明できる。また、本明細書に列挙された全ての条件部用語及び実施例などは原則的に、本発明の概念が理解されるようにするための目的のみに明確に意図され、このように、特別に列挙された実施例及び状態に制限的でないものとして理解しなければならない。
【００１６】
また、本発明の原理、観点及び実施例だけでなく、特定の実施例を列挙する全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されるものとして理解しなければならない。なお、このような均等物などは、現在公知された均等物だけでなく、将来に開発される均等物、即ち、構造と関係なく、同じ機能を行うように発明された全ての素子を含むものとして理解しなければならない。
【００１７】
従って、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を表すものとして理解しなければならない。これと同様に、全てのフローチャート、状態変換図、擬似コードなどはコンピュータが読み取り可能な媒体に実質的に表すことができ、コンピュータまたはプロセッサが明確に示されているか否かに関わらず、コンピュータまたはプロセッサにより行われる多様なプロセスを表すものとして理解しなければならない。
【００１８】
プロセッサまたはこれと類似した概念として表示された機能ブロックを含む図面に示された多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行する能力を有したハードウェアの使用に提供され得る。プロセッサにより提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサ、或いは、複数の個別的プロセッサにより提供されることができ、これらのうち、一部は共有されることができる。
【００１９】
またプロセッサ、制御、またはこれと類似した概念として提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されてはいけないし、制限無しでデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に含むことと理解しなければならない。また、周知慣用の他のハードウェアも含まれることができる。
【００２０】
本明細書の請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはファームウェア／マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものとして意図され、上記の機能を行うように、上記ソフトウェアを実行するための適切な回路と組み合わせられる。このような請求の範囲により定義される本発明は、多様に列挙された手段により提供される機能などが結合され、請求項が要求する方式と結合されるため、上記の機能を提供できるいかなる手段も本明細書から把握されるものと均等なものとして理解しなければならない。
【００２１】
上述した目的、特徴及び長所などは、添付された図面と関連した次の詳細な説明を通してより明確になるだろう。まず、各図面の構成要素などに参照番号を付することにおいて、同じ構成要素などに限っては、例え、異なる図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連した公知技術に対する具体的な説明が本発明の要旨を不必要にする恐れがあると判断される場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明する。
【００２２】
図１は多様な形状と大きさとを有することのできる音源を説明するための図面である。図１Ａ乃至図１Ｄに示されているように、音源は点、連続した線、面及び体積を有した空間になることができる。音源は任意の形状と大きさとを有するため、このような音源を記述することは非常に複雑になる恐れがある。しかし、モデリングしようとする音源形状を調整すれば、音源をそれほど複雑でないように記述することができる。
【００２３】
本発明では、多様な形状と大きさとを有する音源を簡単にモデリングするために、点音源が仮想音源(Virtual sound source)の次元に等しく分布することと仮定する。その結果、多様な形態の音源は点音源の連続した配列で表現されることができる。この時、仮想オブジェクト上の各点音源の位置は、３次元シーンで定義された音源のベクトル位置を用いて計算することができる。
【００２４】
複数の点音源で空間音源をモデリングすれば、空間音源はＡｕｄｉｏＢＩＦＳで定義されたノードを用いて記述されなければならず、ＡｕｄｉｏＦＸノードを用いれば、いかなる効果でも３次元シーンに含ませることができる。従って、空間音源に対応する効果は、ＡｕｄｉｏＦＸノードを通してプログラミングされ、３次元シーンに挿入されることができる。
【００２５】
しかし、この場合、非常に複雑なＤＳＰ（Digital Signal Processing）アルゴリズムが要求され、音源の次元を調整することも極めて困難である。
【００２６】
また、ＡｕｄｉｏＢＩＦＳを用いてオブジェクトの有限次元に分布している点音源をグルーピングし、前記音源グループを変換して空間的な位置及び方向を変更することができる。まず、複数のＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードを用いて点音源の特徴を記述する。点音源の位置はオブジェクト表面に均一に分布するように計算する。
【００２７】
次に、前記点音源を空間エイリアシング(spatial aleasing)を排除できる空間上の距離に位置させる(特許文献２)。グループノードを用いて前記点音源をグルーピングすることにより、空間音源は３次元音響シーンでベクトル化されることができる。
【００２８】
図２はＡｕｄｉｏＢＩＦＳシーンの例示的な概略図であって、仮想音源の概念を示している。線音源の軸に沿って均一に分布している３個の点音源を用いて仮想の連続的な線音源がモデリングされている。
【００２９】
このような仮想音源の概念に従って点音源の位置は（ｘｏ−ｄｘ、ｙｏ−ｄｙ、ｚｏ−ｄｚ）（ｘｏ、ｙｏ、ｚｏ）及び（ｘｏ＋ｄｘ、ｙｏ＋ｄｙ、ｚｏ＋ｄｚ）として設定される。ここで、ｄｘ、ｄｙ及びｄｚは、ａｎｇｌｅフィールド及びｄｉｒｅｃｔｉｏｎフィールドに定義されている聴取者と音源位置との間のベクトルと、音源の方向ベクトル間の角度とから計算することができる。
【００３０】
図２に示された例示的な概略図は、複数の点音源で空間音源を記述している。ＡｕｄｉｏＢＩＦＳは、このような特定のシーン記述を支援できるようにみえる。しかし、このような方法は、不必要な音響オブジェクト定義があまり多く要求される。１つのオブジェクトをモデリングするために、複数のオブジェクトが定義されるためである。ＭＰＥＧ−４のハイブリッド記述(hybrid description)の主な目的がより多いオブジェクト指向表現(object oriented representation)であるとすれば、一つの空間音源をモデリングするために用いられる点音源が結合されて一つのオブジェクトに再生産されることが好ましい。
【００３１】
本発明によれば、音源の形状及び大きさ属性を記述するために、ＡｕｄｉｏＢＩＦＳのＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードに新しいフィールドが追加される。図３は本発明に係るＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードの概略図であって、音源の空間性拡張情報が追加されたことを例示している。
【００３２】
図３に示されているように、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値に応じて対応される新しいレンダリング設計が「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードに適用される。「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールドは音源の形状情報もさらに含んでいる。もし、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値が「０、０、０」であれば、音源は１つの点になり、音源を拡張するための追加的な記述が「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードに適用されない。
【００３３】
「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値が「０、０、０」でない、ある値を有すれば、音源の次元は仮想的に拡張される。「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードのｌｏｃａｔｉｏｎフィールド及びｄｉｒｅｃｔｉｏｎフィールドで音源の位置及び方向が各々定義される。「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値に基づいて当該音源の次元は「ｄｉｒｅｃｔｉｏｎ」フィールドに定義されるベクトルに垂直な方向に拡張される。
【００３４】
「ｌｏｃａｔｉｏｎ」フィールドは、拡張された音源の幾何学的中央を定義し、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は、音源の３次元的大きさ(size)を定義する。従って、Δｘ、Δｙ、Δｚの値に応じて空間に拡張される音源の大きさが決められる。
【００３５】
図４は本発明に係る音源拡張過程を説明するための図である。図示されているように、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は、（０、Δｙ、Δｚ）であり、（Δｙ≠０、Δｚ≠０）、これは、Δｙ×Δｚの面積を有する面音源を示す。
【００３６】
図示された音源は、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールド値（０、Δｙ、Δｚ）に基づいて、「ｄｉｒｅｃｔｉｏｎ」フィールドに定義されたベクトルに垂直な方向に拡張されて面音源をなす。このように、音源の次元と位置とが定義されると、点音源は拡張された音源の表面に位置する。本発明では、拡張された音源の表面に点音源が均等に分布するように点音源の位置を計算する。
【００３７】
図５Ａ乃至図５Ｃは本発明によって多様な音源形状による点音源の分布を説明するための図である。
【００３８】
音源の次元と距離は自由変数であるため、ユーザが知覚できる音源の大きさは自由に構成することができる。
【００３９】
例えば、マイクロホンの配列を用いて録音されたマルチトラックオーディオ信号は図５Ａのように点音源の線拡張により表現されることができる。この場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は（０、０、Δｚ）である。
【００４０】
また、互いに異なる音響信号が拡散音源を生成するために、本発明に係る点音源の拡張として表現されることができる。
【００４１】
図５Ｂ及び５Ｃは、点音源の拡散により表現される面音源と体積を持つ空間音源を示す。図５Ｂの場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は（０、Δｙ、Δｚ）であり、図５Ｃの場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は（Δｘ、Δｙ、Δｚ）である。
【００４２】
このように、空間音源の次元が定義されることにより、点音源の数（即ち、入力オーディオチャネル数）は拡張された音源での点音源密度を決める。
【００４３】
もし、「ＡｕｄｉｏＳｏｕｒｃｅ」ノードが「ｓｏｕｒｃｅ」フィールドで定義されると、「ｎｕｍＣｈａｎ」フィールドの値は使用される点音源の数を表すことができる。
【００４４】
そして、「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードの「ａｎｇｌｅ」、「ｄｉｒｅｃｔｉｖｉｔｙ」及び「ｆｒｅｑｕｅｎｃｙ」フィールドで定義された方向性は、拡張された音源に含まれた全ての点音源に同一に適用されることができる。
【００４５】
なお、本発明は、上記の実施の形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲で様々な変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００４６】
【図１】多様な形状を有することのできる音源を説明するための図である。
【図２】連続した点音源をグルーピングして空間音源を表現する方法を説明するための図である。
【図３】本発明に従ってＡｕｄｉｏＢＩＦＳの「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」音源の空間性拡張情報が追加されたことを例示する図である。
【図４】本発明に係る音源拡張過程を説明するための図である。
【図５】本発明に従って多様な音源形状による点音源の分布を説明するための図である。
【図１】
2008172826.tif 000003
【図２】
2008172826.tif 000004
【図３】
2008172826.tif 000005
【図４】
2008172826.tif 000006
【図５】
2008172826.tif 000007