(57)【特許請求の範囲】
【請求項１】
チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法であって：
前記チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出し；
前記少なくとも一つのビデオ・オブジェクトについての情報を決定し；
決定された情報に基づいて、前記チャネル・ベースのオーディオ・コンテンツから、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトを抽出することを含み、
前記少なくとも一つのビデオ・オブジェクトについての情報を決定することは：
前記少なくとも一つのビデオ・オブジェクトの位置を決定することを含み、
前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの位置に基づいてオーディオ・オブジェクト抽出のための混合行列を決定し；
前記混合行列に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのオーディオ・オブジェクト信号を抽出することを含む、
方法。
【請求項２】
前記少なくとも一つのビデオ・オブジェクトについての情報を決定することはさらに：
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定すること；
前記少なくとも一つのビデオ・オブジェクトのサイズを決定すること；または
前記少なくとも一つのビデオ・オブジェクトの数を決定すること、
のうちの少なくとも一つを含む、請求項１記載の方法。
【請求項３】
前記少なくとも一つのビデオ・オブジェクトの位置を決定することは：
前記ビデオ・コンテンツのビデオ・フレームにおける前記少なくとも一つのビデオ・オブジェクトの二次元位置および奥行きを決定し；
前記二次元位置および前記奥行きを聴取環境の三次元空間にマッピングして、前記少なくとも一つのビデオ・オブジェクトの位置を得ることを含む、
請求項１または２記載の方法。
【請求項４】
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定することは：
前記少なくとも一つのビデオ・オブジェクトの型を識別し；
前記少なくとも一つのビデオ・オブジェクトの型に基づいて、あらかじめ定義されたオーディオ・テンプレートのうちから前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートを決定することを含む、
請求項２記載の方法。
【請求項５】
前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートに基づいてオーディオ・オブジェクト参照信号を決定し；
前記オーディオ・オブジェクト参照信号に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出することを含む、
請求項２または４記載の方法。
【請求項６】
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、抽出されるべきオーディオ・オブジェクトの数を決定し；
抽出されるべきオーディオ・オブジェクトの数に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出することを含む、
請求項２記載の方法。
【請求項７】
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、オーディオ・オブジェクト抽出についての利得を決定し；
前記利得に基づいて、前記抽出されたオーディオ・オブジェクトを修正することを含む、
請求項２記載の方法。
【請求項８】
前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのメタデータを決定し；
前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することをさらに含む、
請求項２記載の方法。
【請求項９】
前記メタデータは、前記オーディオ・オブジェクトの位置を含み、前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することは：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトの位置に基づいて、前記オーディオ・オブジェクトの位置を修正することを含む、
請求項８記載の方法。
【請求項１０】
前記メタデータは前記オーディオ・オブジェクトのサイズを含み、前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することは：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトのサイズに基づいて、前記オーディオ・オブジェクトのサイズを修正することを含む、
請求項８記載の方法。
【請求項１１】
前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関は：
前記ビデオ・オブジェクトの位置と前記オーディオ・オブジェクトの前記メタデータにおける前記オーディオ・オブジェクトの位置との間の距離、または
前記ビデオ・オブジェクトの前記オーディオ・テンプレートと前記オーディオ・オブジェクトとの間の類似性
のうちの少なくとも一方に基づく、請求項９または１０記載の方法。
【請求項１２】
チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のシステムであって：
前記チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出するよう構成されたビデオ・オブジェクト抽出ユニットと；
前記少なくとも一つのビデオ・オブジェクトについての情報を決定するよう構成された情報決定ユニットと；
決定された情報に基づいて、前記チャネル・ベースのオーディオ・コンテンツから、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトを抽出するよう構成されたオーディオ・オブジェクト抽出ユニットとを有し、
前記情報決定ユニットは：
前記少なくとも一つのビデオ・オブジェクトの位置を決定するよう構成された位置決定ユニットを有し、
前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの位置に基づいてオーディオ・オブジェクト抽出のための混合行列を決定し；
前記混合行列に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのオーディオ・オブジェクト信号を抽出するよう構成されている、
システム。
【請求項１３】
前記情報決定ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定するよう構成されたオーディオ・テンプレート決定ユニット；
前記少なくとも一つのビデオ・オブジェクトのサイズを決定するよう構成されたサイズ決定ユニット；または
前記少なくとも一つのビデオ・オブジェクトの数を決定するよう構成されたビデオ・オブジェクト数決定ユニット
のうちの少なくとも一つを有する、請求項１２記載のシステム。
【請求項１４】
前記位置決定ユニットはさらに：
前記ビデオ・コンテンツのビデオ・フレームにおける前記少なくとも一つのビデオ・オブジェクトの二次元位置および奥行きを決定し；
前記二次元位置および前記奥行きを聴取環境の三次元空間にマッピングして、前記少なくとも一つのビデオ・オブジェクトの位置を得るよう構成されている、
請求項１３記載のシステム。
【請求項１５】
前記オーディオ・テンプレート決定ユニットはさらに；
前記少なくとも一つのビデオ・オブジェクトの型を識別し；
前記少なくとも一つのビデオ・オブジェクトの型に基づいて、あらかじめ定義されたオーディオ・テンプレートのうちから前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートを決定するよう構成されている、
請求項１３記載のシステム。
【請求項１６】
前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートに基づいてオーディオ・オブジェクト参照信号を決定し；
前記オーディオ・オブジェクト参照信号に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されている、
請求項１３または１５記載のシステム。
【請求項１７】
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、抽出されるべきオーディオ・オブジェクトの数を決定し；
抽出されるべきオーディオ・オブジェクトの数に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されている、
請求項１３記載のシステム。
【請求項１８】
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、オーディオ・オブジェクト抽出についての利得を決定し；
前記利得に基づいて、前記抽出されたオーディオ・オブジェクトを修正するよう構成されている、
請求項１３記載のシステム。
【請求項１９】
前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのメタデータを決定するよう構成されたメタデータ決定ユニットと；
前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正するよう構成されたメタデータ修正ユニットとをさらに有する、
請求項１３記載のシステム。
【請求項２０】
前記メタデータは、前記オーディオ・オブジェクトの位置を含み、前記メタデータ修正ユニットはさらに：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトの位置に基づいて、前記オーディオ・オブジェクトの位置を修正するよう構成されている、
請求項１９記載のシステム。
【請求項２１】
前記メタデータは前記オーディオ・オブジェクトのサイズを含み、前記メタデータ修正ユニットはさらに：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトのサイズに基づいて、前記オーディオ・オブジェクトのサイズを修正するよう構成されている、
請求項１９記載のシステム。
【請求項２２】
前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関は：
前記ビデオ・オブジェクトの位置と前記オーディオ・オブジェクトの前記メタデータにおける前記オーディオ・オブジェクトの位置との間の距離、または
前記ビデオ・オブジェクトの前記オーディオ・テンプレートと前記オーディオ・オブジェクトとの間の類似性
のうちの少なくとも一方に基づく、請求項２０または２１記載のシステム。
【請求項２３】
機械に請求項１ないし１１のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2015年2月25日に出願された中国特許出願第201510087313.X号および2015年3月9日に出願された米国仮出願第62/130,247号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。
【０００２】
技術分野
本発明の実施形態は概括的にはオーディオ・コンテンツ処理に関し、より詳細にはビデオ・コンテンツに支援されたオーディオ・オブジェクト抽出に関する。
【背景技術】
【０００３】
伝統的には、オーディオ・コンテンツはチャネル・ベースのフォーマットで生成され、記憶される。本稿での用法では、用語「オーディオ・チャネル」または「チャネル」は通例あらかじめ定義された物理的位置をもつオーディオ・コンテンツをいう。たとえば、ステレオ、サラウンド5.1、サラウンド7.1などはみな、オーディオ・コンテンツのためのチャネル・ベースのフォーマットである。近年、マルチメディア産業における発達とともに、三次元（3D）オーディオ・コンテンツが映画館および家庭においてますます人気が出てきている。特定の再生スピーカー構成に関わりなく、より没入的な音場を生成し、離散的なオーディオ要素を正確に制御するために、多くの従来型再生システムは、オーディオ・チャネルおよびオーディオ・オブジェクトの両方を含むオーディオの新たなフォーマットをサポートするよう拡張される必要がある。
【０００４】
本稿での用法では、用語「オーディオ・オブジェクト」は、音場においてある定義された継続時間にわたって存在する個別のオーディオ要素をいう。オーディオ・オブジェクトは動的または静的でありうる。たとえば、オーディオ・オブジェクトは人間、動物または音場における音源のはたらきをする他の任意のオブジェクトでありうる。任意的に、オーディオ・オブジェクトは、オブジェクトの位置、速度およびサイズを記述する情報のような関連するメタデータを有していてもよい。オーディオ・オブジェクトの使用により、オーディオ・コンテンツは、オーディオ・ミキサーのようなオペレーターが通常の仕方でオーディオ・オブジェクトを制御および調整することを許容しつつ、きわめて没入的な聴取経験をもつことができる。伝送の間、オーディオ・オブジェクトおよびチャネルは別個に送られ、次いで、再生スピーカーの構成に基づいて適応的に芸術的意図を再現するようオンザフライで再生システムによって使用されることができる。例として、「適応オーディオ・コンテンツ」または「アップミックスされたオーディオ信号」として知られるフォーマットにおいては、一つまたは複数のオーディオ・オブジェクトおよび一つまたは複数の「オーディオ・ベッド」がある。本稿での用法では、用語「オーディオ・ベッド」または「ベッド」は、あらかじめ定義された固定された位置において再生されることが意図されている一つまたは複数のオーディオ・チャネルをいう。
【０００５】
一般に、オブジェクト・ベースのオーディオ・コンテンツは、伝統的なチャネル・ベースのオーディオ・コンテンツとは全く異なる仕方で生成される。新しいオブジェクト・ベースのフォーマットはオーディオ・オブジェクトを援用して、より没入的な聴取経験の生成を許容するが、チャネル・ベースのオーディオ・フォーマット、特に最終混合オーディオ・フォーマットが、いまだ映画サウンド・エコシステムにおいて、たとえばサウンド生成、配送および消費のチェーンにおいて、主流である。結果として、伝統的なチャネル・ベースのコンテンツを与えられたとき、エンドユーザーにオーディオ・オブジェクトによって提供されるのと同様の没入的な経験を与えるために、伝統的なチャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記および他の潜在的な問題に対処するために、本発明は、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法およびシステムを提案する。
【課題を解決するための手段】
【０００７】
ある側面では、本発明の実施形態は、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法を提供する。本方法は、チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出し、前記少なくとも一つのビデオ・オブジェクトについての情報を判別することを含む。本方法はさらに、判別された情報に基づいて、前記オーディオ・コンテンツから、アップミックスされたオーディオ信号として、レンダリングされるべきオーディオ・オブジェクトを抽出することを含む。
【０００８】
もう一つの側面では、本発明の実施形態は、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のシステムを提供する。本システムは、チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出するよう構成されたビデオ・オブジェクト抽出ユニットと、前記少なくとも一つのビデオ・オブジェクトについての情報を判別するよう構成された情報判別ユニットとを有する。本システムはさらに、判別された情報に基づいて、前記チャネル・ベースのオーディオ・コンテンツから、アップミックスされたオーディオ信号として、レンダリングされるべきオーディオ・オブジェクトを抽出するよう構成されたオーディオ・オブジェクト抽出ユニットを有する。
【発明の効果】
【０００９】
以下の記述を通じて、本発明の実施形態によれば、まず、チャネル・ベースのオーディオ・コンテンツと整列されたビデオ・コンテンツから、ビデオ・オブジェクトが抽出され、次いで該ビデオ・オブジェクトが、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のために使われることが理解されるであろう。抽出されたオーディオ・オブジェクトは、アップミックスされたオーディオ信号としてレンダリングするために使われることができる。補足的なビデオ・オブジェクト・ベースの情報を用いることで、オーディオ・オブジェクト抽出の性能が改善できる。本発明の実施形態によって達成される他の利点は、以下の記述を通じて明白となるであろう。
【図面の簡単な説明】
【００１０】
付属の図面を参照しての以下の詳細な説明を通じて、本発明の実施形態の上記および他の目的、特徴および利点が、より把握できるようになるであろう。図面では、本発明のいくつかの実施形態が例において、限定しない仕方で示される。
【図１】本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のためのフレームワークのブロック図である。
【図２】本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法のフローチャートである。
【図３】本発明の実施形態に基づく、図１のフレームワークにおけるビデオ・オブジェクト・ベースの情報抽出器のブロック図である。
【図４】本発明の例示的実施形態に基づく、一般化された空間的聴取環境の概略図である。
【図５】本発明の実施形態に基づく、図３のビデオ・オブジェクト・ベースの情報抽出器におけるオーディオ・テンプレート生成器のブロック図である。
【図６】本発明のもう一つの例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のためのフレームワークのブロック図である。
【図７】本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のシステムのブロック図である。
【図８】本発明の実施形態を実装するのに好適な例示的なコンピュータ・システムのブロック図である。  諸図面を通じて、同じまたは対応する参照符号は同じまたは対応する部分を指す。
【発明を実施するための形態】
【００１１】
本発明の原理についてこれから図面に示されるさまざまな例示的実施形態を参照して述べる。これらの実施形態の描出は、当業者が本発明をよりよく理解し、さらに実装できるようにするためだけであり、いかなる仕方であれ本発明の範囲を限定することは意図されていない。
【００１２】
上述したように、伝統的なチャネル・ベースのフォーマットのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することが望まれる。オーディオ混合の間、オーディオ・ミキサーは常に、異なる音源を、ビデオ・コンテンツと整列されたチャネル・ベースのオーディオ・コンテンツに混合するので、ビデオ・コンテンツは、たとえば該ビデオ・コンテンツにおける補足的なオブジェクト情報によって、オーディオ・オブジェクト抽出を支援するために使用されうる。他方、さまざまなオーディオ・オブジェクトが一次元オーディオ・コンテンツ信号に混合される間、対応する視覚的オブジェクト（ビデオ・オブジェクト）はおそらく二次元のビデオ・コンテンツ信号に分離される。したがって、分離されたビデオ・オブジェクトの情報は、オーディオ・オブジェクト抽出システムにおける混合されたオーディオ・オブジェクトの抽出を改善するために使用できる。さらに、ビデオ・オブジェクト・ベースの情報によってオーディオ・オブジェクトを抽出することは、聴取経験を一層改善しうる。オーディオとビデオ・コンテンツの緊密な整列が、より没入的な聴取経験を生成し、一方、オーディオとビデオ・コンテンツの間の不整列は聴衆にとっていくらかの混乱を引き起こしうることが実証されているからである。
【００１３】
上記に鑑み、本発明の実施形態は、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のための解決策を提案する。本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のためのフレームワーク１００が図１に示されている。チャネル・ベースのオーディオ・コンテンツと整列されたビデオ・コンテンツが、ビデオ・オブジェクト・ベースの情報を得るために、ビデオ・オブジェクト・ベースの情報抽出器１０１において処理される。この情報は、オーディオ・オブジェクト抽出のための支援情報として使用でき、オーディオ・オブジェクト抽出器１０２に提供される。オーディオ・オブジェクト抽出器１０２は、ビデオ・オブジェクト・ベースの情報に応じて入力オーディオ・コンテンツに対してオーディオ・オブジェクト抽出を適用する。オーディオ・オブジェクト抽出の間、一つまたは複数のオーディオ・オブジェクトがオーディオ・コンテンツから抽出されてもよく、オーディオ・コンテンツ中のオーディオ・オブジェクト信号以外の残りのオーディオは残差信号とみなされてもよい。また、抽出されたオーディオ・オブジェクトに関連するメタデータも、ビデオ・オブジェクト・ベースの情報に基づいてオーディオ・オブジェクト抽出器１０２によって推定されてもよい。抽出されたオーディオ・オブジェクトは次いで、オーディオ・オブジェクト・メタデータを使うことによって、残差信号とともに、アップミックスされたオーディオ信号として、レンダリングするために使用されうる。レンダリングにおいて、残差信号はオーディオ・ベッドとしてレンダリングされてもよい。提案される解決策において、ビデオ・オブジェクト・ベースの情報が、オーディオ・オブジェクト抽出の性能を改善するために利用可能である。
【００１４】
ここで図２を参照する。図２は、本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法２００のフローチャートを示している。入力オーディオ・コンテンツは複数のチャネルまたは単数のチャネルに基づくフォーマットであってもよい。たとえば、入力オーディオ・コンテンツは、モノ、ステレオ、サラウンド5.1、サラウンド7.1などに準拠していてもよい。入力オーディオ・コンテンツは、対応するビデオ・コンテンツに関連付けられていてもよい。すなわち、オーディオ・コンテンツはビデオ・コンテンツと整列されている。たとえば、オーディオ・コンテンツとビデオ・コンテンツはマルチメディア・コンテンツに含まれていてもよい。マルチメディア・コンテンツを分離することにより、オーディオ・コンテンツおよび対応するビデオ・コンテンツが得られてもよい。
【００１５】
S201において、チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトが抽出される。
【００１６】
ビデオ・コンテンツはチャネル・ベースのオーディオ・コンテンツと整列されているので、ビデオ・コンテンツに含まれるビデオ・オブジェクトもオーディオ・コンテンツにおけるオーディオ・オブジェクトと整列されていることがありうる。ビデオ・オブジェクトは、ある継続時間にわたってビデオ・フレームにおいて呈示されるオブジェクトであってもよい。たとえば、ビデオ・フレームにおいて呈示されるヘリコプターはビデオ・オブジェクトでありうる。ある継続時間にわたってヘリコプターの音が聞こえている場合、ヘリコプターはオーディオ・オブジェクトとしてもみなされうる。ビデオ・コンテンツから抽出されたビデオ・オブジェクトについての情報は、各フレームについて、あるいは各タイムスタンプについて、オーディオ・オブジェクト抽出を支援するために使用されてもよい。
【００１７】
ビデオ・オブジェクト・ベースの情報を決定するために、ビデオ・コンテンツはまず、ビデオ・オブジェクトを抽出するよう処理される。ビデオ・コンテンツはビデオ・フレームの単位になっていてもよい。ある実施形態では、ビデオ・オブジェクトはビデオ・コンテンツのビデオ・フレームから抽出されてもよい。ビデオ・フレームから二つ以上のビデオ・オブジェクトが抽出されてもよいことを注意しておく。処理されるべきビデオ・フレームの数は一つまたは複数でありうる。本発明の範囲はこれに関して限定されない。
【００１８】
音を出しているビデオ・オブジェクトだけを抽出することが望まれる。抽出は処理の複雑さにつながりうる。さらに、ビデオ・コンテンツから精密な境界をもってすべてのビデオ・オブジェクトを抽出することも困難であることがある。本発明の諸実施形態では、処理の複雑さを著しく増すことなくオーディオ・オブジェクト抽出を支援する目的のために、ビデオ・オブジェクト抽出はそれほど精密でなくてもよい。すなわち、ビデオ・オブジェクト抽出の精度に対して厳格な要求はない。たとえば、ビデオ・フレームの画像における同様の色またはテクスチャーをもつ領域がおおまかにビデオ・オブジェクトと考えられてもよい。ビデオ・オブジェクト・セグメンテーション／追跡のためにはさまざまな技法およびアルゴリズムが提案されている。一例では、ビデオ・オブジェクト抽出は、主としてオブジェクトの空間的均一性に基づいていてもよい。空間的均一性に基づくビデオ・オブジェクト抽出の例示的なプロセスは下記の段階をもちうる：
・その後のプロセスのためにノイズ擾乱を低減するために、モルフォロジカル・フィルタを使ってビデオ・フレームの画像を単純化する；
・領域境界決定のために画像に対して分水嶺アルゴリズムを適用し、生じうる過剰セグメンテーションを避けるために一つまたは複数の領域を一緒にマージする；
・最急降下法または階層的ブロック・マッチング法のような何らかの動き推定方法によって各領域の動きベクトルを計算する；
・同様の動きをもつ領域を一緒にマージしてビデオ・オブジェクト領域を形成し、各ビデオ・オブジェクトについて動きベクトルを推定する。
【００１９】
ビデオ・オブジェクト抽出については他の多くの方法があり、本発明の範囲はこれに関して限定されないことを注意しておく。
【００２０】
S202では、前記少なくとも一つのビデオ・オブジェクトについての情報が決定される。
【００２１】
情報（ビデオ・オブジェクト・ベースの情報とも称される）は、推定されたビデオ・オブジェクトについての情報を示してもよい。ビデオ・オブジェクト・ベースの情報は、抽出されたビデオ・オブジェクトを解析することによって決定されてもよく、位置、オーディオ・テンプレート、サイズおよびビデオ・オブジェクトの数の一つまたは複数を含んでいてもよい。位置情報は、ビデオ・オブジェクトに対応するオーディオ・オブジェクトがレンダリングされうる聴取空間における、抽出されたビデオ・オブジェクトの位置を示しうる。オーディオ・テンプレートは、抽出されたビデオ・オブジェクトの型に基づいてオーディオ・テンプレート・データベースから選択された、あらかじめ定義されたオーディオを示しうる。抽出されたビデオ・オブジェクトの数もオーディオ・オブジェクト抽出のために有用であることがある。ビデオ・オブジェクト・ベースの情報は、ビデオ・オブジェクトの型、ビデオ・オブジェクトの時間を追った動きなどといったビデオ・オブジェクトについての他の情報を含んでいてもよく、本発明の範囲はこれに関して限定されない。ビデオ・オブジェクト・ベースの情報の決定について、以下で詳細に述べる。
【００２２】
図３を参照するに、本発明の実施形態に基づく、ビデオ・オブジェクト・ベースの情報の抽出器１０１のブロック図が示されている。入力ビデオ・コンテンツを処理することによって、ビデオ・オブジェクト・ベースの情報抽出器１０１はビデオ・オブジェクト・ベースの情報を出力しうる。具体的には、ビデオ・オブジェクト・ベースの情報抽出器１０１に含まれるビデオ・オブジェクト抽出器３０１は、入力ビデオ・コンテンツに対してビデオ・オブジェクト抽出を実行して一つまたは複数のビデオ・オブジェクトを得てもよい。抽出されたビデオ・オブジェクトは次いで、対応するビデオ・オブジェクト・ベースの情報処理ユニットに提供されてもよい。図３に示されるように、ビデオ・オブジェクト・ベースの情報抽出器１０１に含まれる位置情報推定器３０２は、ビデオ・オブジェクトの位置情報を推定するために使われてもよい。オーディオ・テンプレート生成器３０３は、ビデオ・オブジェクトのオーディオ・テンプレートを生成するために使われてもよい。サイズ情報推定器３０４がビデオ・オブジェクトのサイズ情報を推定してもよく、ビデオ・オブジェクト数推定器３０５が抽出されたビデオ・オブジェクトの数を決定するために使われてもよい。ビデオ・オブジェクト・ベースの情報の処理ユニット３０２〜３０５は例として示されていることを注意しておく。ビデオ・オブジェクト・ベースの情報抽出器１０１は、それらの処理ユニット３０２〜３０５よりも多数または少数の処理ユニットを含んでいてもよい。
【００２３】
他のいくつかの実施形態では、ビデオ・オブジェクト・ベースの情報は他の多くの仕方を通じて、たとえばユーザー入力によって、決定されてもよい。いくつかの例では、ビデオ・オブジェクト抽出があってもなくても、ビデオ・コンテンツに含まれるビデオ・オブジェクトの数、各ビデオ・オブジェクトの型、サイズまたさらには各ビデオ・オブジェクトのオーディオ・テンプレートさえもが、ユーザーによって構成設定されてもよい。
【００２４】
方法２００はS203に進む。ここでは、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトが、チャネル・ベースのオーディオ・コンテンツから、前記決定された情報に基づいて抽出される。
【００２５】
オーディオ・オブジェクト抽出において、一つまたは複数のオーディオ・オブジェクトがオーディオ・コンテンツから抽出されてもよい。オーディオ・コンテンツにおける、オーディオ・オブジェクト信号以外の残りのオーディオは、残差信号とみなされてもよい。抽出されたオーディオ・オブジェクトは、その後の処理において、残差信号とともに、アップミックスされたオーディオ信号としてレンダリングするために使われる。
【００２６】
本発明の諸実施形態によれば、オーディオ・オブジェクト抽出の性能を改善するために、たとえば抽出されたオーディオ・オブジェクト信号の精度を高めるために、ビデオ・オブジェクト・ベースの情報が、オーディオ・オブジェクト抽出を支援するために利用されうる。オーディオ・オブジェクト抽出は、さまざまな仕方で、ビデオ・オブジェクト・ベースの情報に基づいて改善されうる。たとえば、ビデオ・オブジェクト抽出の精度レベルおよび抽出されたビデオ・オブジェクトとオーディオ・オブジェクトの整列信頼性に依存して、前記情報は、オブジェクト固有であることもないこともある。前記情報がオブジェクト固有でない場合（ビデオ・オブジェクトの数など）、オーディオ・オブジェクト抽出の積極性のパラメータを調整するなどのいくつかの一般的な方法が、オーディオ・オブジェクト抽出を改善するために適用されてもよい。他のいくつかの場合には、オブジェクト固有の情報が利用可能である場合（オーディオ・オブジェクトに対応すると期待される特定のビデオ・オブジェクトの位置など）、より特定的な方法が適用されることができる。たとえば、そのビデオ・オブジェクトの位置情報を、オーディオ・オブジェクト抽出におけるオーディオ・オブジェクトの位置の参照位置として使うことによるなど。
【００２７】
ビデオ・オブジェクト・ベースの情報を援用したオーディオ・オブジェクト抽出について以下で述べる。
【００２８】
下記では、いくつかの種類のビデオ・オブジェクト・ベースの情報の決定が記述される。
【００２９】
〈位置情報の推定〉
位置情報推定は、図３に示される位置情報推定器３０２において実行されてもよい。
【００３０】
ビデオ・フレームにおけるビデオ・オブジェクトの位置の推定において、ビデオ・フレームの画像におけるビデオ・オブジェクトの二次元（2D）位置および奥行きが決定されてもよい。ビデオ・フレームの画像における抽出されたビデオ・オブジェクトの領域に基づいて、ビデオ・シーンにおける二次元位置および奥行きの情報（Xv,Zv,Dv）が推定されうる。ここで、(Xv,Zv)は画像中のビデオ・オブジェクトの2D位置を表わし、Dvはビデオ・オブジェクトの奥行きを表わす。
【００３１】
一例では、ビデオ・フレームの画像の左下隅の位置が(X＝0,Z＝0)として定義されてもよく、該画像の右上隅の位置が(X＝1,Z＝1)として定義されてもよい。すると、ビデオ・オブジェクトの2D位置(Xv,Zv)は、ビデオ・フレームの画像におけるビデオ・オブジェクトの領域の重心位置として決定されうる。
【００３２】
ビデオ・オブジェクト奥行きを得るためには、いくつかの奥行き推定アルゴリズムが使用されうる。2Dビデオ・コンテンツについては、オブジェクト奥行き情報が、たとえばテクスチャー勾配、ビデオの画像構造などに基づいて推定されてもよい。三次元（3D）ビデオ・コンテンツについては、ビデオ・オブジェクト奥行きは、奥行きマップを利用するある種のフォーマットではすでに利用可能であることがある。奥行き情報のない3Dビデオ・フォーマットについては、2Dビデオ・コンテンツのための奥行き推定と同様の諸方法が、3Dビデオ・コンテンツの奥行きを再構成するために使われてもよい。
【００３３】
その後のオーディオ・オブジェクト抽出を支援するためにビデオ・オブジェクト位置を利用するために、2D位置および奥行きの情報（Xv,Zv,Dv）が聴取環境の3D空間にマッピングされて、ビデオ・オブジェクトの3D位置情報（xv,yv,zv）を得てもよい。3D空間は、抽出されたオーディオ・オブジェクトがレンダリングされるべき3D空間的聴取環境のようなオーディオ・シーンにあってもよい。位置情報（xv,yv,）は、ビデオ・コンテンツが表示されるはずのスクリーン面におけるビデオ・オブジェクトの位置を示していてもよい。典型的な例は、前方壁上のスクリーンをもつ映画室またはシアターである。ここで、ビデオ・オブジェクトは2Dスクリーン上で再生されてもよく、聴取環境は周囲のスピーカーをもつ3Dの部屋である。3D空間的聴取環境は、辺の長さが1に等しい立方体の部屋として簡略化されてもよく、スクリーンは図４に示されるy＝0の前方壁上にある。ある実施形態では、2D位置および奥行き（Xv,Zv,Dv）は、下記のように表わされるマッピング関数fV→A()によって3D空間内の位置にマッピングされてもよい。
【００３４】
【数１】
0006518334.tif 000002
ここで、マッピング関数はさまざまな使用事例に依存して、たとえば立方体の部屋における聴取者の物理的な位置に依存して、定義されうる。それぞれの座標軸についてのマッピング関数は、いくつかの実施形態では、異なっていてもよい。
【００３５】
一例では、聴取者が位置(x,y,z)＝(0.5,0.5,0)をもつ部屋の中央に座っているとすると、ビデオ・オブジェクトは、次のマッピング関数をもって部屋の前半分（xv∈[0,1],yv∈[0,0.5],zv∈[0,1]）にマッピングされることができる。
【００３６】
【数２】
0006518334.tif 000003
ここで、ビデオ・シーンにおけるビデオ・オブジェクトのX座標およびZ座標は、オーディオ・シーンにおけるx座標およびz座標に等しく、ビデオ・オブジェクトの奥行きはマッピング関数fD→y()によってオーディオ・シーン内のy座標にマッピングされる。いくつかの場合には、奥行きDvが増すとともに、聴取者とビデオ・オブジェクトの間の距離は大きくなり、3D聴取環境におけるビデオ・オブジェクトのyv値は小さくなる。たとえば、ビデオ・オブジェクトの奥行きが0であれば、yvは0.5であってもよい。部屋における聴取者の点からは、ビデオ・オブジェクトは閉じている。奥行きの値が増すにつれて、yvは0に向けて減少しうる。ビデオ・オブジェクトは聴取者から遠く離れている。したがって、奥行きの増大とともに単調に減少し、奥行きをyv∈[0,0.5]にマッピングするいかなる関数が使われてもよい。fD→y()の一つの簡単な例を下記に与える。
【００３７】
【数３】
0006518334.tif 000004
ここで、fD→y()はパラメータaDおよびbDをもつシグモイド関数である。典型的には、パラメータaDは正であってもよく、よってyvは奥行きの増大とともに単調減少する。
【００３８】
上記では、ビデオ・シーンにおけるビデオ・オブジェクトの位置からオーディオ・シーンへのマッピングの一例が記述されている。3D空間内の位置がXv,Zv,Dvの一つまたは複数の値に依存する限り、他の多くのマッピング関数が使用されうることを注意しておく。抽出された各ビデオ・オブジェクトについて、それぞれの位置情報がしかるべく推定されうる。
【００３９】
〈オーディオ・テンプレートの生成〉
オーディオ・テンプレート生成は、図３に示されるオーディオ・テンプレート生成器３０３において実行されてもよい。
【００４０】
マルチメディア・コンテンツ生成ステージの間に、特に映画産業では、多数のオーディオ源がオーディオ・オブジェクト・テンプレート・データベースからくることがある。たとえば、オーディオ・ミキサーがヘリコプターの音をビデオ・シーンにおけるヘリコプターのためのマルチチャネル・オーディオに加えたいとき、オーディオ・オブジェクト・テンプレート・データベースからヘリコプター・オーディオ・オブジェクトの一つが選択されて、次いでマルチチャネル・コンテンツに混合されてもよい。したがって、ビデオ・オブジェクトのあらかじめ定義されたオーディオ・テンプレートも、オーディオ・オブジェクト抽出の性能を改善するよう、オーディオ・オブジェクト抽出の間の参照信号として使用されうる。
【００４１】
一般に、オーディオ・ミキサーは、ビデオ・オブジェクトについてのオーディオ・テンプレートを、該ビデオ・オブジェクトの型に基づいて選択しうる。たとえば、ヘリコプターについては、対応するヘリコプター音が混合されてもよく、自動車については、対応する轟音が混合されてもよい。したがって、ビデオ・オブジェクトのオーディオ・テンプレートを同定するために、いくつかの実施形態では、抽出されたビデオ・オブジェクトがあらかじめ定義されたビデオ・テンプレートと比較されて、ビデオ・オブジェクトの型（ヘリコプター、鳥、犬、モーターなど）を同定してもよい。あらかじめ定義されたビデオ・テンプレートは、ビデオ・オブジェクト・テンプレート・データベースからきてもよい。ビデオ・オブジェクトの型を識別するために、ビデオ・オブジェクト認識技法が適用されてもよい。次いで、ビデオ・オブジェクトの型に基づいて、ビデオ・オブジェクトのオーディオ・テンプレートが、あらかじめ定義されたオーディオ・テンプレートから決定されてもよい。具体的には、オーディオ・テンプレートは、オーディオ・オブジェクト・テンプレート・データベースから、その特定の型をもつオーディオ・オブジェクトを検索することによって、得られてもよい。抽出された各ビデオ・オブジェクトについて、それぞれのオーディオ・テンプレートがしかるべく決定されてもよいことを注意しておく。いくつかの場合、抽出されたオーディオ・オブジェクトのいくつかは、いかなるオーディオ・テンプレートにも対応しないことがある。
【００４２】
本発明のある実施形態に基づく、オーディオ・テンプレート生成器３０３のブロック図が図５に示されている。オーディオ・テンプレート生成器３０３に含まれるビデオ・オブジェクト認識器５０１は、ビデオ・オブジェクト認識技法を使って、入力ビデオ・オブジェクトを、ビデオ・オブジェクト・テンプレート・データベース５０２におけるビデオ・オブジェクト・テンプレートと比較し、それにより入力ビデオ・オブジェクトの型を識別してもよい。ビデオ・オブジェクト認識器５０１は次いで、識別されたオブジェクト型をオーディオ・テンプレート選択器５０３に提供してもよい。オブジェクト型に基づいて、オーディオ・テンプレート選択器５０３は、オーディオ・オブジェクト・テンプレート・データベース５０４において、入力ビデオ・オブジェクトの対応するオーディオ・テンプレートを検索してもよい。
【００４３】
〈サイズ情報の推定〉
サイズ情報推定は、図３に示されるサイズ情報推定器３０４において実行されてもよい。
【００４４】
ビデオ・オブジェクトのサイズは、ビデオ・フレームの画像におけるビデオ・オブジェクト領域のサイズによって推定されてもよい。いくつかの実施形態では、ビデオ・フレームの画像におけるビデオ・オブジェクトの面積がまず決定されてもよく、次いでビデオ・オブジェクトのサイズ情報は、ビデオ・オブジェクトの面積に基づいて決定されてもよい。抽出された各ビデオ・オブジェクトについて、それぞれのサイズ情報がしかるべく決定されてもよいことを注意しておく。たとえば、マッピング関数が、画像中のビデオ・オブジェクトの面積をビデオ・オブジェクトのサイズにマッピングするために使われてもよい。ビデオ・オブジェクトのサイズは、オブジェクト面積のサイズと正の相関をもっていてもよく、それは次のように表わされてもよい。
【００４５】
【数４】
0006518334.tif 000005
ここで、sizeRvは画像中のビデオ・オブジェクト面積のサイズを表わし、sizevはビデオ・オブジェクトのサイズを表わし、fsizeV()は単調増加関数を表わす。
【００４６】
〈ビデオ・オブジェクト数の推定〉
ビデオ・オブジェクト数の推定は、図３に示されるビデオ・オブジェクト数推定器３０５において実行されてもよい。
【００４７】
ビデオ・オブジェクト抽出の結果に基づいて、抽出されたビデオ・オブジェクトの数（ビデオ・オブジェクト数とも称される）Nvがしかるべく得られてもよい。ある実施形態では、ビデオ・オブジェクト数は前記ビデオ・オブジェクト領域の数に等しくてもよい。他のいくつかの実施形態では、建物、テーブル、本などといった無音のオブジェクトを表わすオブジェクト領域は、ビデオ・オブジェクトとして算入されなくてもよい。
【００４８】
以下では、ビデオ・オブジェクト・ベースの情報を援用したオーディオ・オブジェクト抽出について述べる。上述したように、ビデオ・オブジェクト・ベースの情報、たとえば位置情報、サイズ情報、オーディオ・テンプレートまたはビデオ・オブジェクトの数が、オーディオ・オブジェクト抽出において補足的情報として使われてもよい。
【００４９】
いくつかの実施形態では、ビデオ・オブジェクトの位置がオーディオ・オブジェクト抽出において利用されてもよい。
【００５０】
マルチチャネル・オーディオ・コンテンツ生成ステージにおいて、コンテンツ・クリエーター（オーディオ・ミキサー）は、あるオーディオ・オブジェクトを、そのオーディオ・オブジェクトの位置／方向に基づいて複数のチャネルにパンすることがある。たいていのマルチチャネル・オーディオ・オブジェクト抽出方法では、オーディオ・オブジェクトのパン位置／方向は、オーディオ・オブジェクトを正しく抽出するための鍵となりうる。したがって、ビデオ・コンテンツから推定される位置情報が、オーディオ・オブジェクト抽出の間に、参照オーディオ・オブジェクト位置として利用されてもよい。複数のビデオ・オブジェクトの位置が得られるとき、得られた位置の一部または全部が、オーディオ・オブジェクト抽出において使用されうる。
【００５１】
たとえば、オーディオ・オブジェクト抽出において使われる典型的なモデルは：
X＝AS＋b        (5)
と表わされてもよい。ここで、Xはオーディオ・コンテンツ信号（観察される混合された信号）を表わし、Sは抽出されるべきオーディオ・オブジェクト信号を表わし、Aはオーディオ・オブジェクトをオーディオ・コンテンツ信号にパンするために使われたパン利得を含む混合行列（パン行列）を表わし、bは周囲音および残差ノイズを含む残差信号を表わす。
【００５２】
独立成分解析（ICA:  independent  component  analysis）または非負行列因子分解（NMF:  non-negative  matrix  factorization）のような盲目的なオーディオ・オブジェクト抽出方法では、観察された混合信号を与えられて、オーディオ・オブジェクト信号および混合行列が、コスト関数を最小化することによって、合同して推定されうる。多くの場合、結果がグローバルな最適ではなくローカルな最適にはまるのを避けるために、混合行列の適正な初期化が枢要である。
【００５３】
したがって、位置情報がオーディオ・オブジェクト抽出において参照オーディオ・オブジェクト位置として使われる場合、ある実施形態では、オーディオ・オブジェクト抽出のための混合行列が、抽出されたビデオ・オブジェクトの位置情報に基づいて決定されてもよい。次いで、その混合行列に基づいて、オーディオ・コンテンツからオーディオ・オブジェクトが抽出されてもよい。一例では、位置情報は、混合行列を初期化するために使われてもよい。別の例では、混合行列の一部または全部が、位置情報に基づいて計算されてもよい。
【００５４】
ビデオ・オブジェクトの位置情報は、整列されたオーディオ・オブジェクトがレンダリングされるべき3D聴取環境における位置を表わし、一方、混合行列はオーディオ・オブジェクトの複数チャネルへのパン利得を表わすので、位置情報は、混合行列におけるパン利得にマッピングされてもよい。
【００５５】
ビデオ・オブジェクトの位置情報の支援により、盲目的なオーディオ・オブジェクト抽出を半教師付きのオーディオ・オブジェクト抽出に変ることができ、混合行列がビデオ・オブジェクト位置によってよりよく初期化されるので、よりよい抽出結果が得られる。
【００５６】
いくつかの実施形態では、ビデオ・オブジェクトのオーディオ・テンプレートがオーディオ・オブジェクト抽出において利用されてもよい。
【００５７】
上記で論じたように、オーディオ・ミキサーは、オーディオ・オブジェクト・テンプレート・データベースから、抽出されたビデオ・オブジェクトの特定の型についてのオーディオ・テンプレートを選択してもよい。したがって、ある実施形態では、ビデオ・オブジェクトのオーディオ・テンプレートは、オーディオ・オブジェクト抽出のために式(5)に示されるモデルにおけるオーディオ・オブジェクト信号を決定するために使われてもよい。ビデオ・オブジェクトのオーディオ・テンプレートは、オーディオ・オブジェクト参照信号として決定されてもよい。次いで、オーディオ・オブジェクトは、オーディオ・オブジェクト参照信号に基づいてオーディオ・コンテンツから抽出されてもよい。複数のビデオ・オブジェクトのオーディオ・テンプレートが得られるときは、それらのオーディオ・テンプレートの一部または全部が、オーディオ・オブジェクト抽出において使用されうる。
【００５８】
正準相関分析のある実施形態では、ビデオ・オブジェクトのオーディオ・テンプレートによって表わされるオーディオ・オブジェクト参照信号に基づいて、該参照信号と高度に相関しているオーディオ信号がオーディオ・コンテンツから抽出されうる。抽出されたオーディオ信号は、ビデオ・オブジェクトに対応するオーディオ・オブジェクトとみなされてもよい。
【００５９】
上記のように、盲目的なオーディオ・オブジェクト抽出では、オーディオ・オブジェクト信号Sと混合行列Aは合同して推定される必要がある。半教師付きオーディオ・オブジェクト抽出の別の実施形態では、ビデオ・オブジェクトのオーディオ・テンプレートによって表わされるオーディオ・オブジェクト参照信号が、オーディオ・オブジェクト信号Sの一部または全体として使用されてもよく、あるいはオーディオ・オブジェクト信号Sを初期化するために使用されてもよい。したがって、オーディオ・オブジェクト信号がオーディオ・テンプレートによってよりよく初期化または決定されるので、よりよい抽出結果が得られる。
【００６０】
ビデオ・オブジェクトのオーディオ・テンプレートを利用するとき、ビデオ・オブジェクトのオーディオ・テンプレートとオーディオ・コンテンツにおけるオーディオ・オブジェクトとの間にはいくらかの時間スケール不一致があることがあるので、オーディオ・テンプレートを混合されたマルチチャネル・オーディオ・コンテンツと整列させるために、動的時間歪め（Dynamic  Time  Warping）のような何らかの動的な整列方法が使われてもよい。
【００６１】
他のいくつかの実施形態では、抽出されたビデオ・オブジェクトの数がオーディオ・オブジェクト抽出において利用されてもよい。
【００６２】
オーディオ・コンテンツにおいては、オーディオ・オブジェクトの数は時間を通じて変化することがあり、つまり、場合によっては多数のオーディオ・オブジェクトがあることがあるが、場合によってはオーディオ・オブジェクトがなかったり、少数のオーディオ・オブジェクトしかなかったりすることがある。したがって、オーディオ・コンテンツからオーディオ・オブジェクトをよりよく抽出するために、オーディオ・オブジェクト抽出の積極さまたは抽出されるべきオーディオ・オブジェクトの数を変えるために、ビデオ・オブジェクトの数についての情報が必要とされることがある。オーディオ・コンテンツのみに基づいてオーディオ・オブジェクト数を自動的に推定するいくつかのアルゴリズムがあるが、ビデオ・コンテンツに基づいてオーディオ・オブジェクト数を推定することは、オーディオ・オブジェクト抽出を改善するために貴重でありうる。特に、オーディオ・コンテンツにおいて混合されているオーディオ・オブジェクトがビデオ・コンテンツでは完全に分離されている場合にはそうである。
【００６３】
ある実施形態では、抽出されるべきオーディオ・オブジェクトの数は、オーディオ・オブジェクト抽出における入力パラメータである。この数は、抽出されたビデオ・オブジェクトの数に基づいて決定されてもよい。たとえば、抽出されるべきオーディオ・オブジェクトの数は、抽出されたビデオ・オブジェクトの数と正の相関をもっていてもよい。ビデオ・オブジェクトがオーディオ・オブジェクトと整列している高い信頼性があるいくつかの実施形態では、ビデオ・オブジェクトの数は、抽出されるべきオーディオ・オブジェクトの数として、そのまま使われてもよい。
【００６４】
いくつかの実施形態では、ビデオ・オブジェクト数は、オーディオ・オブジェクト抽出の積極さを修正するために使われてもよい。すなわち、ごく少数のビデオ・オブジェクトしかなければオーディオ・オブジェクト抽出はより保守的であってもよく、多数のビデオ・オブジェクトがあればオーディオ・オブジェクト抽出はより積極的であってもよい。上記で論じたように、オーディオ・オブジェクト抽出において、オーディオ・オブジェクトおよび残差信号が抽出されうる。これらの実施形態において、ビデオ・オブジェクトの数は、抽出されたオーディオ・オブジェクトの部分および残差信号を修正するために使われてもよい。ビデオ・オブジェクトの数に基づいてまずオーディオ・オブジェクト抽出についての利得が決定されてもよく、次いで、その利得が、オーディオ・オブジェクト抽出後に、抽出されたオーディオ・オブジェクト信号を修正するために使われてもよい。
【００６５】
利得は、オーディオ・オブジェクト信号の部分を修正するために、抽出されたオーディオ・オブジェクトに適用されてもよく、ビデオ・オブジェクト数に基づいて決定されてもよい。このことは、
g＝fg(Nv)        (6)
として表わされてもよい。ここで、Nvはビデオ・オブジェクト数を表わし、fg()はビデオ・オブジェクト数を利得gにマッピングする単調増加関数を表わす。利得は、0から1の範囲内であってもよい。したがって、多数のビデオ・オブジェクトがある場合には、オーディオ・オブジェクト抽出は1に近い利得により積極的になってもよい。ほとんどビデオ・オブジェクトがない場合には、オーディオ・オブジェクト抽出は0に近い利得により保守的であってもよい。
【００６６】
あるいは、残差信号に適用される利得も、ビデオ・オブジェクト数に基づいて決定されてもよいことを注意しておく。この場合、利得は、ビデオ・オブジェクト数の増加とともに単調減少してもよい。
【００６７】
図６は、本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、オーディオ・コンテンツからのオーディオ・オブジェクト抽出のための拡張されたフレームワーク２００のブロック図を示している。フレームワーク２００は、図１に示されたフレームワーク１００に基づいていてもよい。ビデオ・オブジェクト・ベースの情報抽出器１０１は、オーディオ・オブジェクト抽出を支援するためにビデオ・コンテンツからビデオ・オブジェクト数を抽出してもよい。利得計算器１０３は、マッピング関数によって、ビデオ・オブジェクト数に基づいて、オーディオ・オブジェクト抽出のための利得gを決定してもよい。オーディオ・オブジェクト抽出器１０２は、入力オーディオ・コンテンツを処理して、オーディオ・コンテンツからオーディオ・オブジェクトと残差を分離してもよい。決定された利得gは、オーディオ・オブジェクト修正器１０４においてオーディオ・オブジェクト信号に適用されてもよい。利得gに基づいてオーディオ・オブジェクト修正器１０４によって出力される抽出されたオーディオ・オブジェクトの部分が、それぞれのオーディオ・オブジェクトと考えられてもよい。残りの部分は、オーディオ・オブジェクト抽出器１０２からの残差に加えられて、残差信号と考えられてもよい。
【００６８】
他のいくつかの実施形態では、オーディオ・オブジェクト抽出の間、抽出されたオーディオ・オブジェクトのメタデータがオーディオ・コンテンツから決定されてもよい。メタデータは、抽出されたオーディオ・オブジェクトについての情報、たとえばオーディオ・オブジェクトの位置、速度およびサイズを記述する情報を示していてもよい。
【００６９】
オーディオ・ミキサーは常にビデオ・コンテンツに基づいて複数のオーディオ・オブジェクトを一緒に混合するので、ビデオ・オブジェクトの情報とオーディオ・オブジェクトの実際の混合メタデータとの間には相関がある。したがって、他のいくつかの実施形態では、ビデオ・オブジェクト・ベースの情報、たとえば位置情報、サイズ情報、ビデオ・オブジェクト数、オーディオ・テンプレート、ビデオ・オブジェクトの型などは、オーディオ・オブジェクト抽出の間にメタデータ推定において支援されてもよい。ビデオ・オブジェクト・ベースの情報は、抽出されたメタデータの正確さを改善するために、オーディオ・オブジェクト抽出において得られたメタデータを修正するために使われてもよい。
【００７０】
メタデータはそれぞれの抽出されたオーディオ・オブジェクトに関連付けられており、支援される情報（ビデオ・オブジェクト・ベースの情報）はそれぞれのビデオ・オブジェクトから得られるので、メタデータ推定におけるビデオ・オブジェクト・ベースの情報の利用を改善するために、オーディオ・オブジェクトとビデオ・オブジェクトの間の整列がまず生成されうる。整列不良のビデオ・オブジェクトからの情報を使うことを避けるために、高い整列信頼度をもつビデオとオーディオ・オブジェクトの対が、抽出されたビデオ・オブジェクトおよびオーディオ・オブジェクトから決定されてもよい。N個の抽出されたビデオ・オブジェクトおよびM個の抽出されたオーディオ・オブジェクトがあるとすると、高い整列信頼度をもつビデオおよびオーディオ・オブジェクトのK個の対（K≦NかつK≦M）が得られてもよい。整列信頼度は、ビデオ・オブジェクトとオーディオ・オブジェクトとの間の相関／コヒーレンスによって測定されてもよい。ある実施形態では、あるオーディオ・オブジェクトとそれぞれのビデオ・オブジェクトとの間の相関が計算されてもよい。計算された相関に基づいて、そのオーディオ・オブジェクトと整列したビデオ・オブジェクトが決定されてもよい。たとえば、すべての抽出されたビデオ・オブジェクトのうちで、オーディオ・オブジェクトと最も高い相関をもつビデオ・オブジェクトが決定されてもよい。そのオーディオ・オブジェクトのメタデータが、整列されたビデオ・オブジェクトの情報、たとえば位置情報、サイズ情報およびオーディオ・テンプレートに基づいて修正されてもよい。
【００７１】
いくつかの実施形態では、ビデオ・オブジェクトとオーディオ・オブジェクトとの間の相関は、ビデオ・オブジェクトの位置情報とオーディオ・オブジェクトのメタデータにおける位置情報との間の距離に基づいていてもよい。オーディオ・オブジェクトのメタデータにおける位置情報は、オーディオ・コンテンツのみから推定されてもよい。ビデオ・オブジェクトの位置がオーディオ・オブジェクトのメタデータにおける位置情報の変化と整合して変化する場合、そのビデオ・オブジェクトとオーディオ・オブジェクトは高い相関をもつ。一例では、相関はビデオ・オブジェクトとオーディオ・オブジェクトとの間の距離と負の相関があり、それは
【数５】
0006518334.tif 000006
と表わされてもよい。ここで、Cavはビデオ・オブジェクトとオーディオ・オブジェクトの間の相関を表わし、dist(pa,pv)は、ビデオ・オブジェクトの位置とオーディオ・コンテンツのみから推定されたオーディオ・オブジェクトの位置との間の距離を表わし、fdist→cor()は単調減少関数を表わす。
【００７２】
代替的または追加的に、ビデオ・オブジェクトとオーディオ・オブジェクトの間の相関は、ビデオ・オブジェクトのオーディオ・テンプレートとオーディオ・オブジェクトとの間の類似性に基づいていてもよい。一例では、相関は、ビデオ・オブジェクトのオーディオ・テンプレートとオーディオ・オブジェクトとの間の類似性と正に相関していてもよく、それは、
【数６】
0006518334.tif 000007
と表わされてもよい。ここで、Cavはビデオ・オブジェクトとオーディオ・オブジェクトの間の相関を表わし、sim(sa,sv)は、ビデオ・オブジェクトのオーディオ・テンプレートとオーディオ・オブジェクトとの間の類似性を表わし、fsim→cor()は単調増加関数を表わす。
【００７３】
いくつかの実施形態では、抽出されたオーディオ・オブジェクトの位置は、整列されたビデオ・オブジェクトの位置に基づいて修正されてもよい。
【００７４】
メタデータにおけるオーディオ・オブジェクトの位置は、オーディオ・オブジェクトのその後のレンダリングにおいて使われてもよい。いくつかの実施形態では、オーディオ・オブジェクトの位置は、オーディオ・コンテンツの2Dスピーカー・プレイアウト面、たとえば床面における2D位置(xa,ya)を含んでいてもよい。オーディオ・オブジェクトの位置は、高さ情報（za）をも含んでいてもよい。次いで、位置は、オーディオ・オブジェクトがレンダリングされる3D空間において表現されてもよい。
【００７５】
オーディオ・オブジェクトの2D位置(xa,ya)は、ビデオ・オブジェクトの2D位置(xv,yv)に基づいて修正されてもよい。一例では、オーディオ・オブジェクト位置およびビデオ・オブジェクト位置は次のように線形結合されてもよい：
【数７】
0006518334.tif 000008
ここで、xaおよびyaは、オーディオ・コンテンツのみから決定されたオーディオ・オブジェクトのx座標およびy座標位置を表わし、xvおよびyvはビデオ・オブジェクトのx座標およびy座標位置を表わし、xa′およびya′は、オーディオ・オブジェクトの修正されたx座標およびy座標位置を表わし、αは線形結合のパラメータを表わし、これは0から1までの範囲内であってもよい。
【００７６】
その後3Dオーディオ・オブジェクトを生成するためには、オーディオ・オブジェクトの高さzaが一般に必要とされる。しかしながら、通常のマルチチャネル・オーディオ・コンテンツ（サラウンド5.1、サラウンド7.1など）については、すべてのチャネルは同じ平面内であり、高さ情報はない。この場合、高さ情報は、オーディオ・オブジェクトの2D位置、オーディオ・オブジェクトのコンテンツ型などといった他の情報によって推定されるべきである。オーディオ・オブジェクトの2D位置に基づく高さ推定の一つの典型例を下記に示す：
【数８】
0006518334.tif 000009
ここで、高さ情報zaはオーディオ・オブジェクトの2D位置(xa,ya)に基づいて計算され、fautoZ()は、半球関数のような、自動的に2D位置を高さ位置にマッピングするマッピング関数を表わす。しかしながら、抽出されたオーディオ・オブジェクトには高さ情報はないので、計算された高さ推定は大雑把でよい。
【００７７】
高さ推定を改善するために、ビデオ・オブジェクト・ベースの情報が利用されてもよい。ビデオ・オブジェクトの高さはよりストレートだからである。ある実施形態では、ビデオ・オブジェクトに支援されたオーディオ・オブジェクト高さの推定は、オーディオ・コンテンツのみから推定されたオーディオ・コンテンツの2D位置およびビデオ・オブジェクトの3D位置に基づいて決定されてもよい。このことは：
【数９】
0006518334.tif 000010
と表わされてもよい。ここで、f′autoZ()は、オーディオ・オブジェクトの高さ情報za′を、その2Dオーディオ・オブジェクト位置(xa,ya)および3Dビデオ・オブジェクト位置(xv,yv,zv)に基づいて計算するマッピング関数を表わす。
【００７８】
いくつかの例では、オーディオ・オブジェクトの高さは、ビデオ・オブジェクトの高さと正に相関していてもよく、それは：
【数１０】
0006518334.tif 000011
と表わされてもよい。ここで、f″autoZ()は、ビデオ・オブジェクトの高さzvをオーディオ・オブジェクトの高さza′にマッピングするマッピング関数を表わす。一つの単純な例では、オーディオ・オブジェクトの高さza′はzvに等しくてもよい。
【００７９】
代替的または追加的に、ビデオ・オブジェクト型が、オーディオ・オブジェクト高さ推定のために利用されてもよい。たとえば、整列されたビデオ・オブジェクトがヘリコプターであれば、オーディオ・オブジェクトの高さは、あるあらかじめ定義された値に設定されてもよい。
【００８０】
いくつかの実施形態では、抽出されたオーディオ・オブジェクトはスピーカーおよびヘッドフォンのようなさまざまな再生システムにアップミックスされることがありうるので、聴取経験を改善するよう、メタデータ推定においてオーディオ・オブジェクトのサイズを推定することは意義がある。たとえば、オーディオ・オブジェクトが点源ではない場合、オーディオ・オブジェクトのサイズが決定されてもよい。その後のレンダリングにおいて、オーディオ・オブジェクトはそのサイズ情報に基づいてレンダリングされてもよい。したがって、ある実施形態では、抽出されたオーディオ・オブジェクトのサイズは、整列されたビデオ・オブジェクトのサイズ情報に基づいて修正されてもよい。
【００８１】
ビデオ・オブジェクトのサイズ情報はビデオ・オブジェクトの領域に基づいて簡単に推定でき、ビデオ・オブジェクト・サイズとオーディオ・オブジェクト・サイズの間には相関があることがあるので、オーディオ・オブジェクト・サイズはビデオ・オブジェクト・サイズを利用することにより決定されてもよい。ある実施形態では、オーディオ・オブジェクト・サイズはビデオ・オブジェクト・サイズと正の相関があってもよい。それは：
【数１１】
0006518334.tif 000012
と表わされてもよい。ここで、sizeaはオーディオ・オブジェクトのサイズを表わし、sizevはそのオーディオ・オブジェクトと整列されているビデオ・オブジェクトのサイズを表わし、fsizeA()は単調増加関数を表わす。
【００８２】
上記の記述において、種々のビデオ・オブジェクト・ベースの情報の決定および利用の実施形態が記述されている。オーディオ・オブジェクト抽出を支援することにおいて、それらの実施形態は別個にまたは組み合わせて用いられうることを注意しておくべきである。ビデオ・オブジェクト・ベースの情報およびその利用のいくつかの例が記述されているだけであり、他の多くの種類のビデオ・オブジェクト・ベースの情報および他の利用方法が得られてもいことも注意しておくべきである。
【００８３】
図７は、本発明の例示的実施形態に基づく、ビデオ・コンテンツに支援された、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のシステム７００のブロック図である。図のように、システム７００は、チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出するよう構成されたビデオ・オブジェクト抽出ユニット７０１を有する。システム７００は、前記少なくとも一つのビデオ・オブジェクトについての情報を決定するよう構成された情報決定ユニット７０２をも有する。システム７００はさらに、前記オーディオ・コンテンツから、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトを、判別された情報に基づいて抽出するよう構成されたオーディオ・オブジェクト抽出ユニット７０３を有する。
【００８４】
いくつかの実施形態では、情報決定ユニット７０２は、前記少なくとも一つのビデオ・オブジェクトの位置を決定するよう構成された位置決定ユニット、前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定するよう構成されたオーディオ・テンプレート決定ユニット、前記少なくとも一つのビデオ・オブジェクトのサイズを決定するよう構成されたサイズ決定ユニットまたは前記少なくとも一つのビデオ・オブジェクトの数を決定するよう構成されたビデオ・オブジェクト数決定ユニットのうちの少なくとも一つを有していてもよい。
【００８５】
いくつかの実施形態では、前記位置決定ユニットはさらに、前記ビデオ・コンテンツのビデオ・フレームにおける前記少なくとも一つのビデオ・オブジェクトの二次元位置および奥行きを決定し、前記二次元位置および前記奥行きを聴取環境の三次元空間にマッピングして、前記少なくとも一つのビデオ・オブジェクトの位置を得るよう構成されていてもよい。
【００８６】
いくつかの実施形態では、前記オーディオ・オブジェクト抽出ユニット７０３はさらに、前記少なくとも一つのビデオ・オブジェクトの位置に基づいてオーディオ・オブジェクト抽出のための混合行列を決定し、該混合行列に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されていてもよい。
【００８７】
いくつかの実施形態では、前記オーディオ・テンプレート決定ユニットはさらに、前記少なくとも一つのビデオ・オブジェクトの型を識別し、前記少なくとも一つのビデオ・オブジェクトの型に基づいて、あらかじめ定義されたオーディオ・テンプレートのうちから前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートを決定するよう構成されていてもよい。
【００８８】
いくつかの実施形態では、前記オーディオ・オブジェクト抽出ユニット７０３は、前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートに基づいてオーディオ・オブジェクト参照信号を決定し、該オーディオ・オブジェクト参照信号に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されていてもよい。
【００８９】
いくつかの実施形態では、前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含んでいてもよく、前記オーディオ・オブジェクト抽出ユニット７０３はさらに、前記少なくとも一つのビデオ・オブジェクトの数に基づいて、抽出されるべきオーディオ・オブジェクトの数を決定し、抽出されるべきオーディオ・オブジェクトの該数に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されていてもよい。
【００９０】
いくつかの実施形態では、前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含んでいてもよく、前記オーディオ・オブジェクト抽出ユニット７０３はさらに、前記少なくとも一つのビデオ・オブジェクトの数に基づいて、オーディオ・オブジェクト抽出についての利得を決定し、該利得に基づいて、前記抽出されたオーディオ・オブジェクトを修正するよう構成されていてもよい。
【００９１】
いくつかの実施形態では、システム７００は、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのメタデータを決定するよう構成されたメタデータ決定ユニットと、決定された情報に基づいて前記オーディオ・オブジェクトのメタデータを修正するよう構成されたメタデータ修正ユニットとをさらに有していてもよい。
【００９２】
いくつかの実施形態では、前記メタデータは、前記オーディオ・オブジェクトの位置を含んでいてもよい。これらの実施形態において、前記メタデータ修正ユニットはさらに、前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し、整列したビデオ・オブジェクトの位置に基づいて、前記オーディオ・オブジェクトの位置を修正するよう構成されていてもよい。
【００９３】
いくつかの実施形態では、前記メタデータは前記オーディオ・オブジェクトのサイズを含んでいてもよい。これらの実施形態において、前記メタデータ修正ユニットはさらに、前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し、整列したビデオ・オブジェクトのサイズに基づいて、前記オーディオ・オブジェクトのサイズを修正するよう構成されていてもよい。
【００９４】
いくつかの実施形態では、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関は、前記ビデオ・オブジェクトの位置情報と前記オーディオ・オブジェクトの前記メタデータにおける位置情報との間の距離、あるいは前記ビデオ・オブジェクトの前記オーディオ・テンプレートと前記オーディオ・オブジェクトとの間の類似性のうちの少なくとも一方に基づいていてもよい。
【００９５】
明確のため、システム７００のいくつかの任意的なコンポーネントは図７には示していない。しかしながら、図１〜図６を参照して上記した事項はみなシステム７００に適用可能であることは理解されるはずである。さらに、システム７００のコンポーネントは、ハードウェア・モジュールまたはソフトウェア・ユニット・モジュールでありうる。たとえば、いくつかの実施形態では、システム７００は、部分的にまたは完全に、たとえばコンピュータ可読媒体において具現されたコンピュータ・プログラム・プロダクトとして実装されるソフトウェアおよび／またはファームウェアをもって実装されてもよい。代替的または追加的に、システム７００は部分的または完全に、たとえば集積回路（IC）、特定用途向け集積回路（ASIC）、システムオンチップ（SOC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）などのようなハードウェアに基づいて実装されてもよい。本発明の範囲はこれに関して限定されない。
【００９６】
図８は、本発明の実施形態を実装するために好適な例示的なコンピュータ・システム８００のブロック図を示している。図のように、コンピュータ・システム８００は、読み出し専用メモリ（ROM）８０２に記憶されたプログラムまたは記憶部８０８からランダム・アクセス・メモリ（RAM）８０３にロードされたプログラムに従ってさまざまなプロセスを実行することのできる中央処理ユニット（CPU）８０１を有する。RAM  ８０３では、CPU  ８０１がさまざまなプロセスを実行するときに必要とされるデータなども必要に応じて記憶される。CPU  ８０１、ROM  ８０２およびRAM  ８０３はバス８０４を介して互いに接続されている。入出力（I/O）インターフェース８０５もバス８０４に接続されている。
【００９７】
以下のコンポーネントがI/Oインターフェース８０５に接続される：キーボード、マウスなどを含む入力部８０６；陰極線管（CRT）、液晶ディスプレイ（LCD）などのようなディスプレイおよびスピーカーなどを含む出力部８０７；ハードディスクなどを含む記憶部８０８；およびLANカード、モデムなどのようなネットワーク・インターフェース・カードを含む通信部８０９である。通信部８０９は、インターネットのようなネットワークを介して通信プロセスを実行する。ドライブ８１０も必要に応じてI/Oインターフェース８０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのような着脱可能な媒体８１１が必要に応じてドライブ８１０にマウントされ、それにより必要に応じて、そこから読まれたコンピュータ・プログラムが記憶部８０８にインストールされる。
【００９８】
特に、本発明の実施形態によれば、図１〜図７を参照して上記したプロセスはコンピュータ・ソフトウェア・プログラムとして実装されてもよい。たとえば、本発明の実施形態は、実行されたときに機械に方法２００の段階を実行させる機械実行可能命令を含む、非一時的なコンピュータ可読媒体上に有体に記憶されたコンピュータ・プログラム・プロダクトを含む。そのような実施形態では、コンピュータ・プログラムは、通信ユニット８０９を介してネットワークからダウンロードおよびマウントされ、および／または着脱可能な媒体８１１からインストールされてもよい。
【００９９】
一般に、本発明のさまざまな例示的実施形態はハードウェアまたは特殊目的回路、ソフトウェア、論理またはそれらの任意の組み合わせにおいて実装されうる。いくつかの側面はハードウェアにおいて実装され、一方で他の側面がコントローラ、マイクロプロセッサまたは他のコンピューティング装置によって実行されうるファームウェアまたはソフトウェアにおいて実装されてもよい。本発明の例示的実施形態のさまざまな側面がブロック図、フローチャートとしてまたは他のいくつかの絵的表現を使って図示され、記述されているが、本稿に記載されるブロック、装置、システム、技法または方法は、限定しない例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路または論理、汎用ハードウェアまたはコントローラまたは他のコンピューティング装置またはそれらの何らかの組み合わせにおいて実装されてもよいことは理解されるであろう。
【０１００】
さらに、フローチャートに示されるさまざまなブロックを方法ステップとしておよび／またはコンピュータ・プログラム・コードの動作から帰結する動作としておよび／または関連する機能（単数または複数）を実行するよう構築された複数の結合された論理回路要素として見ることができる。たとえば、本発明の実施形態は、機械可読媒体上に有体に具現されたコンピュータ・プログラムを有するコンピュータ・プログラム・プロダクトを含み、該コンピュータ・プログラムは、上記で述べた諸方法を実行するよう構成されたプログラム・コードを含む。
【０１０１】
本開示のコンテキストにおいて、機械可読媒体は、命令実行システム、装置またはデバイスによってまたはそれとの関連で使うためのプログラムを含むまたは記憶することができるいかなる有体の媒体であってもよい。機械可読媒体は機械可読信号媒体または機械可読記憶媒体でありうる。機械可読媒体は、電子式、磁気式、光学式、電磁式、赤外線または半導体のシステム、装置またはデバイスまたは上記の任意の好適な組み合わせを含みうるが、それに限られなくてもよい。機械可読記憶媒体のより具体的な例は、一つまたは複数のワイヤを有する電気接続、ポータブルなコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、消去可能なプログラム可能型読み出し専用メモリ（EPROMまたはフラッシュ・メモリ）、光ファイバー、ポータブルなコンパクト・ディスク読み出し専用メモリ（CD-ROM）、光記憶デバイス、磁気記憶デバイスまたは上記の任意の好適な組み合わせを含む。
【０１０２】
本発明の方法を実行するためのコンピュータ・プログラム・コードは、一つまたは複数のプログラミング言語の任意の組み合わせにおいて書かれうる。これらのコンピュータ・プログラム・コードは、汎用コンピュータ、特殊目的コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供されてもよく、それにより該プログラム・コードは、該コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されたとき、フローチャートおよび／またはブロック図において規定された機能／動作を実装させる。プログラム・コードは完全にコンピュータ上で、部分的にコンピュータ上で、スタンドアローンのソフトウェア・パッケージとして、部分的にはコンピュータ上で部分的にはリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバー上で実行されてもよい。
【０１０３】
さらに、動作は特定の順序で描かれているが、これは、そのような動作が示される特定の順序で、あるいは逐次順に実行されること、あるいは望ましい結果を達成するために示されているすべての動作が実行されることを要求するものと理解されるべきではない。ある種の状況では、マルチタスクおよび並列処理が有利であることがある。同様に、いくつかの個別的な実装詳細が上記の議論に含まれるものの、これらはいずれかの発明のまたは特許請求されうるものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に固有でありうる事項の記述と解釈されるべきである。別個の実施形態のコンテキストにおいて本明細書に記載されるある種の特徴が、単一の実施形態において組み合わせて実装されてもよい。逆に、単一の実施形態のコンテキストにおいて記述されているさまざまな特徴が、複数の実施形態において別個にまたは任意の好適なサブコンビネーションにおいて実装されることもできる。
【０１０４】
付属の図面との関連で読まれるときの上記の記述に鑑み、本発明の上記の例示的実施形態へのさまざまな修正、適応が当業者に明白となることがありうる。任意の、あらゆる修正がそれでも、本発明の、限定しない、例示的な実施形態の範囲内にはいる。さらに、本稿に記載される発明の他の実施形態が、上記の記述および図面に呈示される教示の恩恵をもつ当業者には思いつくであろう。
【０１０５】
このように、本発明は、本稿に記載される形の任意のもので具現されうる。たとえば、以下の付番実施例（EEE:  enumerated  example  embodiment）は、本発明のいくつかの側面のいくつかの構造、特徴および機能を記述するものである。
〔ＥＥＥ１〕
ビデオ・コンテンツに支援されたオーディオ・オブジェクト抽出の方法が：ビデオ・コンテンツからのビデオ・オブジェクト・ベースの情報の抽出と、オーディオ・コンテンツからの、ビデオ・オブジェクトに支援されたオーディオ・オブジェクト抽出と、ビデオ・オブジェクトに支援された、オーディオ・オブジェクト・メタデータ推定とからなる。
〔ＥＥＥ２〕
ビデオ・オブジェクト・ベースの情報の抽出は：ビデオ・オブジェクト抽出、ビデオ・オブジェクト位置推定、オーディオ・テンプレート生成、ビデオ・オブジェクト・サイズ推定およびビデオ・オブジェクト数推定からなる、ＥＥＥ１記載の方法。
〔ＥＥＥ３〕
ビデオ・オブジェクト位置推定は：ビデオ・シーンにおけるビデオ・オブジェクト位置の推定と、該ビデオ・オブジェクト位置を3D空間にマッピングすることからなる、ＥＥＥ２記載の方法。
〔ＥＥＥ４〕
ビデオ・オブジェクトの奥行きが、3D空間におけるビデオ・オブジェクトと聴衆との間の距離と正に相関している、ＥＥＥ３記載の方法。
〔ＥＥＥ５〕
前記オーディオ・テンプレート生成が：ビデオ・オブジェクト認識技術に基づいてビデオ・オブジェクトの型を推定し、推定されたビデオ・オブジェクトの型を使って、オーディオ・オブジェクト・テンプレート・データベースから前記オーディオ・テンプレートを探すことからなる、ＥＥＥ２記載の方法。
〔ＥＥＥ６〕
ビデオ・オブジェクトに支援されたオーディオ・オブジェクト抽出が：ビデオ・オブジェクト数を利用すること、ビデオ・オブジェクトの位置を利用することおよび／またはビデオ・オブジェクトのオーディオ・テンプレートを利用することからなる、ＥＥＥ１記載の方法。
〔ＥＥＥ７〕
ビデオ・オブジェクト数はオーディオ・オブジェクト抽出の積極性を調整するために利用され、ビデオ・オブジェクトが多いほどオーディオ・オブジェクト抽出は積極的になる、ＥＥＥ６記載の方法。
〔ＥＥＥ８〕
ビデオ・オブジェクト数は、通過させられるべき抽出されたオーディオ・オブジェクトの部分と正に相関している、ＥＥＥ７記載の方法。
〔ＥＥＥ９〕
ビデオ・オブジェクト数は、抽出されるべきオーディオ・オブジェクトの数と正に相関している、ＥＥＥ７記載の方法。
〔ＥＥＥ１０〕
ビデオ・オブジェクト位置は、オーディオ・オブジェクト抽出アルゴリズムのための混合行列を初期化するために利用される、ＥＥＥ６記載の方法。
〔ＥＥＥ１１〕
ビデオ・オブジェクトのオーディオ・テンプレートは、参照信号と高度に相関しているオーディオ・オブジェクトを抽出するための参照信号として利用される、ＥＥＥ６記載の方法。
〔ＥＥＥ１２〕
ビデオ・オブジェクトのオーディオ・テンプレートが、オーディオ・オブジェクト抽出アルゴリズムのために前記オーディオ・オブジェクト信号を初期化するために利用される、ＥＥＥ６記載の方法。
〔ＥＥＥ１３〕
ビデオ・オブジェクトに支援されたオーディオ・オブジェクト・メタデータ推定は：ビデオ・オブジェクトおよびオーディオ・オブジェクトについての整列と、整列されたビデオ・オブジェクトの情報に基づくオーディオ・オブジェクト・メタデータ推定の改善とからなる、ＥＥＥ１記載の方法。
〔ＥＥＥ１４〕
ビデオ・オブジェクトおよびオーディオ・オブジェクトについての整列が、ビデオ・オブジェクトとオーディオ・オブジェクトの間の相関／コヒーレンスに基づく、ＥＥＥ１３記載の方法。
〔ＥＥＥ１５〕
ビデオ・オブジェクトとオーディオ・オブジェクトの間の相関／コヒーレンスは：時間を追ったビデオ・オブジェクト位置とオーディオ・オブジェクト位置の間の相関／コヒーレンスおよび／またはオーディオ・オブジェクトとビデオ／オブジェクトのオーディオ・テンプレートとの間の相関／コヒーレンスによって測られる、ＥＥＥ１４記載の方法。
〔ＥＥＥ１６〕
オーディオ・オブジェクト・メタデータ推定の改善は、メタデータにおけるオーディオ・オブジェクトの2D位置の推定、メタデータにおけるオーディオ・オブジェクトの高さの推定およびメタデータにおけるオーディオ・オブジェクトのサイズの推定からなる、ＥＥＥ１３記載の方法。
〔ＥＥＥ１７〕
オーディオ・オブジェクトの2D位置が、2Dビデオ・オブジェクト位置に基づいて修正される、ＥＥＥ１６記載の方法。すなわち、オーディオ・オブジェクトの推定される2D位置が、2Dビデオ・オブジェクト位置のほうにシフトされる。
〔ＥＥＥ１８〕
オーディオ・オブジェクトの高さが、3Dビデオ・オブジェクト位置および2Dオーディオ・オブジェクト位置に合同して基づいて推定される、ＥＥＥ１６記載の方法。ビデオ・オブジェクトが高いほどオーディオ・オブジェクトが高くなる。
〔ＥＥＥ１９〕
オーディオ・オブジェクトの高さが、ビデオ・オブジェクト型に基づいて推定される、ＥＥＥ１６記載の方法。対応する高さ情報をもつ可能性が高いビデオ・オブジェクト型については、関係するオーディオ・オブジェクトはあらかじめ定義された高さ値をもつことができる。
〔ＥＥＥ２０〕
オーディオ・オブジェクトのサイズがビデオ・オブジェクトのサイズと正に相関している、ＥＥＥ１６記載の方法。
【０１０６】
本発明の実施形態は開示される特定の実施形態に限定されず、修正や他の実施形態が付属の請求項の範囲内に含まれることが意図されていることは理解されるであろう。本稿では個別的な用語が使われているが、それらは一般的で記述的な意味において使われているだけであり、限定のためではない。
いくつかの態様を記載しておく。
〔態様１〕
チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出の方法であって：
前記チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出し；
前記少なくとも一つのビデオ・オブジェクトについての情報を決定し；
決定された情報に基づいて、前記チャネル・ベースのオーディオ・コンテンツから、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトを抽出することを含む、
方法。
〔態様２〕
前記少なくとも一つのビデオ・オブジェクトについての情報を決定することは：
前記少なくとも一つのビデオ・オブジェクトの位置を決定すること；
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定すること；
前記少なくとも一つのビデオ・オブジェクトのサイズを決定すること；または
前記少なくとも一つのビデオ・オブジェクトの数を決定すること、
のうちの少なくとも一つを含む、態様１記載の方法。
〔態様３〕
前記少なくとも一つのビデオ・オブジェクトの位置を決定することは：
前記ビデオ・コンテンツのビデオ・フレームにおける前記少なくとも一つのビデオ・オブジェクトの二次元位置および奥行きを決定し；
前記二次元位置および前記奥行きを聴取環境の三次元空間にマッピングして、前記少なくとも一つのビデオ・オブジェクトの位置を得ることを含む、
態様２記載の方法。
〔態様４〕
前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの位置に基づいてオーディオ・オブジェクト抽出のための混合行列を決定し；
前記混合行列に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出することを含む、
態様２または３記載の方法。
〔態様５〕
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定することは：
前記少なくとも一つのビデオ・オブジェクトの型を識別し；
前記少なくとも一つのビデオ・オブジェクトの型に基づいて、あらかじめ定義されたオーディオ・テンプレートのうちから前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートを決定することを含む、
態様２記載の方法。
〔態様６〕
前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートに基づいてオーディオ・オブジェクト参照信号を決定し；
前記オーディオ・オブジェクト参照信号に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出することを含む、
態様２または５記載の方法。
〔態様７〕
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、抽出されるべきオーディオ・オブジェクトの数を決定し；
抽出されるべきオーディオ・オブジェクトの数に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出することを含む、
態様２記載の方法。
〔態様８〕
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記決定された情報に基づいて前記チャネル・ベースのオーディオ・コンテンツからオーディオ・オブジェクトを抽出することは：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、オーディオ・オブジェクト抽出についての利得を決定し；
前記利得に基づいて、前記抽出されたオーディオ・オブジェクトを修正することを含む、
態様２記載の方法。
〔態様９〕
前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのメタデータを決定し；
前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することをさらに含む、
態様２記載の方法。
〔態様１０〕
前記メタデータは、前記オーディオ・オブジェクトの位置を含み、前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することは：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトの位置に基づいて、前記オーディオ・オブジェクトの位置を修正することを含む、
態様９記載の方法。
〔態様１１〕
前記メタデータは前記オーディオ・オブジェクトのサイズを含み、前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正することは：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトのサイズに基づいて、前記オーディオ・オブジェクトのサイズを修正することを含む、
態様９記載の方法。
〔態様１２〕
前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関は：
前記ビデオ・オブジェクトの位置と前記オーディオ・オブジェクトの前記メタデータにおける前記オーディオ・オブジェクトの位置との間の距離、または
前記ビデオ・オブジェクトの前記オーディオ・テンプレートと前記オーディオ・オブジェクトとの間の類似性
のうちの少なくとも一方に基づく、態様１０または１１記載の方法。
〔態様１３〕
チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のシステムであって：
前記チャネル・ベースのオーディオ・コンテンツに関連付けられたビデオ・コンテンツから少なくとも一つのビデオ・オブジェクトを抽出するよう構成されたビデオ・オブジェクト抽出ユニットと；
前記少なくとも一つのビデオ・オブジェクトについての情報を決定するよう構成された情報決定ユニットと；
決定された情報に基づいて、前記チャネル・ベースのオーディオ・コンテンツから、アップミックスされたオーディオ信号としてレンダリングされるべきオーディオ・オブジェクトを抽出するよう構成されたオーディオ・オブジェクト抽出ユニットとを有する、
システム。
〔態様１４〕
前記情報決定ユニットは：
前記少なくとも一つのビデオ・オブジェクトの位置を決定するよう構成された位置決定ユニット；
前記少なくとも一つのビデオ・オブジェクトのオーディオ・テンプレートを決定するよう構成されたオーディオ・テンプレート決定ユニット；
前記少なくとも一つのビデオ・オブジェクトのサイズを決定するよう構成されたサイズ決定ユニット；または
前記少なくとも一つのビデオ・オブジェクトの数を決定するよう構成されたビデオ・オブジェクト数決定ユニット
のうちの少なくとも一つを有する、態様１３記載のシステム。
〔態様１５〕
前記位置決定ユニットはさらに：
前記ビデオ・コンテンツのビデオ・フレームにおける前記少なくとも一つのビデオ・オブジェクトの二次元位置および奥行きを決定し；
前記二次元位置および前記奥行きを聴取環境の三次元空間にマッピングして、前記少なくとも一つのビデオ・オブジェクトの位置を得るよう構成されている、
態様１４記載のシステム。
〔態様１６〕
前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの位置に基づいてオーディオ・オブジェクト抽出のための混合行列を決定し；
前記混合行列に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されている、
態様１４または１５記載のシステム。
〔態様１７〕
前記オーディオ・テンプレート決定ユニットはさらに；
前記少なくとも一つのビデオ・オブジェクトの型を識別し；
前記少なくとも一つのビデオ・オブジェクトの型に基づいて、あらかじめ定義されたオーディオ・テンプレートのうちから前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートを決定するよう構成されている、
態様１４記載のシステム。
〔態様１８〕
前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの前記オーディオ・テンプレートに基づいてオーディオ・オブジェクト参照信号を決定し；
前記オーディオ・オブジェクト参照信号に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されている、
態様１４または１７記載のシステム。
〔態様１９〕
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、抽出されるべきオーディオ・オブジェクトの数を決定し；
抽出されるべきオーディオ・オブジェクトの数に基づいて、前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトを抽出するよう構成されている、
態様１４記載のシステム。
〔態様２０〕
前記情報が前記少なくとも一つのビデオ・オブジェクトの数を含み、前記オーディオ・オブジェクト抽出ユニットはさらに：
前記少なくとも一つのビデオ・オブジェクトの数に基づいて、オーディオ・オブジェクト抽出についての利得を決定し；
前記利得に基づいて、前記抽出されたオーディオ・オブジェクトを修正するよう構成されている、
態様１４記載のシステム。
〔態様２１〕
前記チャネル・ベースのオーディオ・コンテンツから前記オーディオ・オブジェクトのメタデータを決定するよう構成されたメタデータ決定ユニットと；
前記決定された情報に基づいて前記オーディオ・オブジェクトの前記メタデータを修正するよう構成されたメタデータ修正ユニットとをさらに有する、
態様１４記載のシステム。
〔態様２２〕
前記メタデータは、前記オーディオ・オブジェクトの位置を含み、前記メタデータ修正ユニットはさらに：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトの位置に基づいて、前記オーディオ・オブジェクトの位置を修正するよう構成されている、
態様２１記載のシステム。
〔態様２３〕
前記メタデータは前記オーディオ・オブジェクトのサイズを含み、前記メタデータ修正ユニットはさらに：
前記オーディオ・オブジェクトと整列したビデオ・オブジェクトを、前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関に基づいて決定し；
整列したビデオ・オブジェクトのサイズに基づいて、前記オーディオ・オブジェクトのサイズを修正するよう構成されている、
態様２１記載のシステム。
〔態様２４〕
前記ビデオ・オブジェクトと前記オーディオ・オブジェクトの間の相関は：
前記ビデオ・オブジェクトの位置と前記オーディオ・オブジェクトの前記メタデータにおける前記オーディオ・オブジェクトの位置との間の距離、または
前記ビデオ・オブジェクトの前記オーディオ・テンプレートと前記オーディオ・オブジェクトとの間の類似性
のうちの少なくとも一方に基づく、態様２２または２３記載のシステム。
〔態様２５〕
実行されたときに機械に態様１ないし１２のうちいずれか一項記載の方法の段階を実行させる機械実行可能命令を含み、非一時的なコンピュータ可読媒体上に有体に記憶された、チャネル・ベースのオーディオ・コンテンツからのオーディオ・オブジェクト抽出のコンピュータ・プログラム・プロダクト。
【図１】
0006518334.tif 000013
【図２】
0006518334.tif 000014
【図３】
0006518334.tif 000015
【図４】
0006518334.tif 000016
【図５】
0006518334.tif 000017
【図６】
0006518334.tif 000018
【図７】
0006518334.tif 000019
【図８】
0006518334.tif 000020