(57)【要約】  音声データ処理装置は、第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成するよう構成される音声再分配装置と、前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成する音声再分配装置を制御するため、前記第２の数の音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するよう構成される音声分類装置とを有する。
2008521046.tif 000002
【特許請求の範囲】
【請求項１】
第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成するよう構成される音声再分配装置と、
前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成する音声再分配装置を制御するため、前記第２の数の音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するよう構成される音声分類装置と、
を有する音声データ処理装置。
【請求項２】
前記音声分類装置は、前記音声分類装置に予め基準音声データが供給される点で、各種タイプの音声コンテンツを区別するため、使用前にトレーニングされる自己適応的な音声分類装置である、請求項１記載の音声データ処理装置。
【請求項３】
前記音声分類装置は、前記音声分類装置に音声データ入力信号を供給することを介して各種タイプの音声コンテンツを区別するため、使用中にトレーニングされる自己適応的な音声分類装置である、請求項１記載の音声データ処理装置。
【請求項４】
前記第１の数及び／又は第２の数は１より大きい、請求項１記載の音声データ処理装置。
【請求項５】
前記第１の数は前記第２の数より大きい、請求項１記載の音声データ処理装置。
【請求項６】
前記音声分類装置は、時間に応じて前記徐々にスライドする制御信号を生成するよう構成される、請求項１記載の音声データ処理装置。
【請求項７】
前記音声分類装置は、フレーム毎に又はブロック毎に前記徐々にスライドする制御信号を生成するよう構成される、請求項１記載の音声データ処理装置。
【請求項８】
前記音声分類装置は、前記音声データ入力信号の物理的意味に徐々にスライド依存して前記徐々にスライドする制御信号を生成するよう構成される、請求項１記載の音声データ処理装置。
【請求項９】
各種タイプの音声コンテンツは、各音声ジャンルに対応する、請求項１記載の音声データ処理装置。
【請求項１０】
前記音声分類装置は、前記制御信号として０から１までの範囲内の任意の値を有することが可能な１以上の確率を生成するよう構成され、
各確率は、音声データ入力信号が対応するタイプの音声コンテンツに属する確率を反映する、請求項１記載の音声データ処理装置。
【請求項１１】
前記音声再分配装置は、前記確率の線形結合に基づき前記音声データ出力信号を生成するよう構成される、請求項１０記載の音声データ処理装置。
【請求項１２】
前記音声分類装置は、アクティブマトリックスの形式により前記徐々にスライドする制御信号を生成するよう構成される、請求項１記載の音声データ処理装置。
【請求項１３】
前記マトリックスの要素は、前記１以上の確率に依存する、請求項１０及び１２記載の音声データ処理装置。
【請求項１４】
前記マトリックスの要素は、前記音声データ入力信号に依存する、請求項１２記載の音声データ処理装置。
【請求項１５】
前記音声再分配装置は、第１サブユニットと第２サブユニットを有し、
前記第１サブユニットは、前記音声分類装置の制御信号から独立して、前記第２の数の音声データ入力信号に基づき第１の数の音声データ中間信号を生成するよう構成され、
前記第２サブユニットは、前記音声分類装置の制御信号に依存して、前記第１の数の音声データ中間信号に基づき前記第１の数の音声データ出力信号を生成するよう構成される、請求項１記載の音声データ処理装置。
【請求項１６】
集積回路として実現される、請求項１記載の音声データ処理装置。
【請求項１７】
バーチャライザ、ポータブルオーディオプレーヤー、ＤＶＤプレーヤー、ＭＰ３プレーヤー又はインターネットラジオデバイスとして実現される、請求項１記載の音声データ処理装置。
【請求項１８】
第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成することによって、音声データ入力信号を再分配するステップと、
前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成するため前記再分配を制御するために、前記音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するため前記音声データ入力信号を分類するステップと、
を有する音声データ処理方法。
【請求項１９】
プロセッサによる実行時、音声データ処理方法を実行するよう構成されるプログラムであって、
前記方法は、
第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成することによって、音声データ入力信号を再分配するステップと、
前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成するため前記再分配を制御するために、前記音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するため前記音声データ入力信号を分類するステップと、
を有するプログラム。
【請求項２０】
プロセッサによる実行時、音声データ処理方法を実行するよう構成されるコンピュータプログラムが格納されるコンピュータ可読媒体であって、
前記方法は、
第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成することによって、音声データ入力信号を再分配するステップと、
前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成するため前記再分配を制御するために、前記音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するため前記音声データ入力信号を分類するステップと、
を有するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データ処理装置に関する。
【０００２】
本発明はさらに、音声データ処理方法に関する。
【０００３】
さらに、本発明は、プログラム要素に関する。
【０００４】
さらに、本発明は、コンピュータ可読媒体に関する。
【背景技術】
【０００５】
現在、多くの音声記録がステレオ又はいわゆる５．１サラウンドフォーマットにより利用可能である。これらの記録の再生では、ステレオの場合には２つのラウドスピーカーが、５．１サラウンドの場合には６つのラウドスピーカーが、標準的なスピーカーセットアップと共に必要とされる。
【０００６】
しかしながら、多くの実際的なケースでは、ラウドスピーカーの個数又はセットアップは、高いクオリティの音声再生を実現するための要求を充足していない。このため、音声再分配システムが開発されてきた。このような音声再分配システムは、Ｎ個の入力チャネルとＭ個の出力チャネルとを有する。従って、３つの状況が可能である。
【０００７】
第１の状況では、ＭはＮより大きい。このことは、格納されている音声チャネルより多くのラウドスピーカーが再生に使用されることを意味する。
【０００８】
第２の状況では、ＭはＮに等しい。この場合、入力チャネルと出力チャネルの個数は等しくなる。しかしながら、出力を再生するスピーカーセットアップは、入力として提供されるデータに準拠しておらず、再分配を必要とする。
【０００９】
第３のシナリオによると、ＭはＮより小さい。この場合、再生チャネルより多くの音声チャネルが利用可能である。
【００１０】
第１の状況の具体例は、ステレオかた５．１サラウンドへの変換である。このタイプの知られているシステムは、Ｄｏｌｂｙ  Ｐｒｏ  ＬｏｇｉｃＴＭ（Ｇｕｎｄｒｙ，Ｋｅｎｎｅｔｈ“Ａ  ｎｅｗ  ａｃｔｉｖｅ  ｍａｔｒｉｘ  ｄｅｃｏｄｅｒ  ｆｏｒ  ｓｕｒｒｏｕｎｄ  ｓｏｕｎｄ”，Ｉｎ  Ｐｒｏｃ．ＡＥＳ，１９ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｕｒｒｏｕｎｄ  Ｓｏｕｎｄ，Ｊｕｎｅ  ２００１を参照）及びＣｉｒｃｌｅ  ＳｕｒｒｏｕｎｄＴＭ（ＵＳ６，１９８，８２７：５−２−５  ｍａｔｒｉｘ  ｓｙｓｔｅｍを参照）である。このタイプの他の技術は、ＵＳ６，４９６，５８４に開示されている。
【００１１】
第２の状況の具体例は、センター信号をレフト及びライトチャネルに加えることによって、５．１システムのセンタースピーカーのワイドネス（ｗｉｄｅｎｅｓｓ）を向上させる。これは、Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭの音楽モードにより行われる。他の具体例は、小さなスピーカーベースが（テレビシステムなどにおいて）使用されるステレオワイドニング（ｓｔｅｒｅｏ−ｗｉｄｅｎｉｎｇ）である。ＰｈｉｌｉｐｓＴＭカンパニー内部で、Ｉｎｃｒｅｄｉｂｌｅ  ＳｔｅｒｅｏＴＭと呼ばれる技術がこの目的のため開発されてきた。
【００１２】
第３の状況では、いわゆるダウンミキシングが適用される。このダウンミキシングは、可能な限りオリジナルの空間イメージを維持するため、スマートな方法により実行することが可能である。このような技術の具体例は、５．１サラウンド音声が２つのラウドスピーカー上で再生されるＰｈｉｌｉｐｓＴＭカンパニーによるＩｎｃｒｅｄｉｂｌｅ  Ｓｕｒｒｏｕｎｄ  ＳｏｕｎｄＴＭである。
【００１３】
上記具体例において述べられるような再分配には、異なる２つのアプローチが知られている。第１は、再分配は固定されたマトリックスに基づくものであるかもしれない。第２は、再分配が相関などのチャネル間特性によって制御されるものであるかもしれない。
【００１４】
Ｉｎｃｒｅｄｉｂｌｅ  ＳｔｅｒｅｏＴＭなどの技術は、第１の状況の具体例である。このアプローチの欠点は、センターでパンされたスピーチ信号などの特定の音声信号が、ネガティブな影響を受ける、すなわち、再生された音声のクオリティが十分でないということである。音質のこのような劣化を防ぐため、チャネル間の相関に基づく新たな技術が開発された（ＷＯ０３／０４９４９７Ａ２を参照）。この技術は、センターでパンされたスピーチが、レフトチャネルとライトチャネルとの間で強い相関を有することを仮定している。
【００１５】
Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭは、チャネル間特性に基づき入力信号を再分配する。しかしながら、Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭは、映画と音楽の２つの異なるモードを有する。何れの設定がユーザにより選択されているかに応じて、異なる再分配が提供される。これら異なるモードは、異なる音声コンテンツは異なる最適設定を有するため利用可能となる。例えば、映画については、センターチャネルのみでスピーチを有することがしばしば所望されるが、音楽では、センターチャネルのみでボーカルを有することは好ましくなく、ここでは、ファントムセンターソースが好適である。
【００１６】
従って、再分配技術に関する上述した従来技術は、異なる設定が異なる音声コンテンツについて効果的であるという問題を有する。
【００１７】
ＪＰ０８０３７７００は、音楽信号の音楽カテゴリを規定する音楽カテゴリ判定部を有する音声フィールド相関回路を開示している。指定された音楽カテゴリに基づき、モード設定マイクロコントローラが、対応するシミュレーションモードを設定する。
【００１８】
ＵＳ２００３／０２１０７９４Ａ１は、あるタイプのステレオソースを決定するマイクロコンピュータであって、その出力が決定されたステレオ音声ソースのタイプに応じてモードにマトリックスサラウンドデコーダの出力モードをスイッチするため、マトリックスサラウンドデコーダへの入力となるマイクロコンピュータを有するマトリックスサラウンド復号システムを開示している。
【００１９】
しかしながら、ＪＰ０８０３７７００及びＵＳ２００３／０２１０７９４Ａ１によると、音声抜粋が異なる音楽ジャンルからの要素を有するシナリオでも、音声コンテンツのカテゴリがバイナリタイプの判定によって推定され（“イエス”又は“ノー”）、すなわち、複数の音声ジャンルからの特定の１つが存在するとみなされる。これは、ＪＰ０８０３７７００及びＵＳ２００３／０２１０７９４Ａ１の何れにより処理される音声データの再生クオリティを低下させるかもしれない。
【発明の開示】
【発明が解決しようとする課題】
【００２０】
本発明の課題は、より高い自由度により音声データ処理を提供することである。
【課題を解決するための手段】
【００２１】
上記課題を実現するため、独立形式の請求項による音声データ処理装置、音声データ処理方法、プログラム要素及びコンピュータ可読媒体が提供される。
【００２２】
音声データ処理装置は、第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成するよう構成される音声再分配装置を有する。さらに、音声データ処理装置は、前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成する音声再分配装置を制御するため、前記第２の数の音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するよう構成される音声分類装置を有する。
【００２３】
さらに、本発明は、第１の数の音声データ出力信号を第２の数の音声データ入力信号に基づき生成することによって、音声データ入力信号を再分配するステップと、前記第２の数の音声データ入力信号から前記第１の数の音声データ出力信号を生成するため前記再分配を制御するために、前記音声データ入力信号が分類される音声コンテンツのタイプに徐々にスライド依存して、徐々にスライドする制御信号を生成するため前記音声データ入力信号を分類するステップとを有する音声データ処理方法を提供する。
【００２４】
さらに、プロセッサによる実行時、上述した方法の各ステップを有する音声データ処理装置を実行するよう構成されるプログラム要素が提供される。
【００２５】
さらに、プロセッサによる実行時、上述した方法の各ステップを有する音声データ処理装置を実行するよう構成されるコンピュータプログラムが格納されるコンピュータ可読媒体が提供される。
【００２６】
本発明による音声処理は、コンピュータプログラム、すなわち、ソフトウェアによって、又は１以上の特殊な電子最適化回路、すなわち、ハードウェアを利用することによって、又はハイブリッド形式により、すなわち、ソフトウェアとハードウェアコンポーネントによって実現することが可能である。
【００２７】
本発明の特徴は、特に本発明による音声再分配が、ある音声抜粋が有するべき分類（“クラシック”音楽、“ジャズ”、“ポップス”、“スピーチ”など）に関する不正確なバイナリタイプの“イエス”−“ノー”判定を解消することによって、関連技術と比較して大きく向上するという効果を有している。その代わりに、音声再分配装置は、徐々にスライドする制御信号によって制御される。当該徐々にスライドする制御信号は、音声データ入力信号の詳細な分類に依存する。本発明による装置及び方法は、最も良く適合するいくつかの固定的タイプの音声コンテンツ（ジャンルなど）の１つに音声抜粋を概ね分類するものでなく、クラシック音楽の特性とポピュラー音楽の特性の寄与など、音声信号の異なる側面と性質とを考慮する。
【００２８】
従って、音声抜粋は複数の各種タイプの音声コンテンツ（すなわち、各種音声クラス）に分類されてもよく、ここでは、加重係数が複数タイプの音声コンテンツのそれぞれの数量的な寄与を規定するかもしれない。これにより、音声抜粋は複数の音声クラスに割当て可能となる。
【００２９】
制御信号は、各種タイプの音声コンテンツのこのような２以上の寄与を反映し、また音声信号が各種音声ジャンルなどの各種タイプのコンテンツに属する程度に依存する。本発明によると、制御信号は、音声入力の性質の僅かな変化が常に制御信号の値の僅かな変化を生じさせるように、連続的／無限に可変的なものである。
【００３０】
すなわち、本発明は、何れのコンテンツタイプ又はジャンルが現在の音声データ入力信号に割り当てられるかの大雑把なバイナリ判定は行わない。その代わりに、音声入力信号の各種特性が制御信号において徐々に考慮される。このため、“ジャズ”要素と“ポップス”要素の寄与を有する音楽抜粋は、純粋な“ジャズ”音楽又は純粋な“ポップス”音楽として扱われず、“ポップス”音楽要素の寄与度と“ジャズ”音楽要素の寄与度に応じて、音声再分配装置を制御する制御信号が、入力信号の“ジャズ”と“ポップス”音楽特性の両方を反映する。この手段によって、制御信号は入力される音声信号の特性に対応し、音声再分配装置は、これらの音声信号を正確に処理することが可能となる。徐々にスケーリングされる制御信号を提供することは、音声再分配装置の機能と処理対象となる音声入力データの詳細な特性とをマッチングさせることが可能となり、当該マッチングによって、音声信号の特性のほんの僅かな変化に対してでさえ制御感度をより良好にする。本発明による手段は、音声入力データの感度の高いリアルタイムの分類を提供し、あるタイプの音声コンテンツを特徴付けするための確率、パーセンテージ、加重係数及び他のパラメータが制御情報として音声再分配装置に提供され、これにより、音声データの再分配が音声データのタイプに調整可能となる。
【００３１】
分類装置は、現在の音声抜粋の特徴を決定するため、音声入力データを自動解析するようにしてもよい（例えば、スペクトル解析の実行など）。所定の（エンジニアのノウハウなどに基づく）又はアドホックなルール（エキスパートルールなど）が、音声抜粋の分類化方法、すなわち、音声抜粋が何れのタイプの音声コンテンツに（及びそれの何れの相対的な比率により）分類されるかに関する判断の基礎として音声分類装置に導入されてもよい。
【００３２】
音声部分の特性は１つの抜粋内で急激に変化しうるため、徐々にスライドする制御信号は、音声データの送信中又はフロー中に連続的に調整又は更新可能であり、これにより、音楽の特性の変化が制御信号を変化させる。本発明によるシステムは、音楽がジャンルＡ、ジャンルＢ又はジャンルＣとして分類される必要があるに関する明確な選択判定は行わない。その代わりに、本発明による確率値が推定され、当該確率値は現在の音声データがあるジャンルに分類可能である程度を反映する（例えば、“ポップス”音楽、“ジャズ”音楽、“クラシック”音楽、“スピーチ”など）。これにより、制御信号は比例的に生成され、各寄与が音声部分の各種特性から求められる。
【００３３】
従って、本発明は、音声分類装置によって制御される音声再分配装置を提供し、各音声コンテンツは各種設定をもたらし、これにより、音声分類装置は音声コンテンツの相違に応じて音声再分配機能を最適化する。
【００３４】
この再分配は、例えば、ＭｃＫｉｎｎｅｙ，Ｍａｒｔｉｎ，Ｂｒｅｅｂａａｒｔ，Ｊｅｒｏｅｎによる“Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ａｕｄｉｏ  ａｎｄ  Ｍｕｓｉｃ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”（４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｓｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ，Ｉｚｍｉｒ，２００３）により開示されるような音声分類装置などの音声分類装置によって制御される。このような分類装置は、各クラスの音声コンテンツを区別するため、基準音声信号又は音声データ入力信号によってトレーニングされるようにしてもよい（使用前及び／又は使用中）。このようなクラスは、例えば、“ポップス”音楽、“クラシック”音楽、“スピーチ”などを含む。すなわち、本発明による分類装置は、抜粋が各クラスに属する確率を決定する。
【００３５】
このような分類装置は、音声データ入力信号のコンテンツのタイプについて最適となるように、再分配を実現することが可能である。これは、アルゴリズム設計者のアドホックな選択とチャネル間特性に基づく関連技術によるアプローチと異なるものである。これらの特性は、低レベル特性の具体例である。本発明による分類装置は、これらのタイプの特性もまた決定可能であるが、それはこれらの特性を用いてクラス間を区別するため、広範なコンテンツに対してトレーニングされてもよい。
【００３６】
本発明の一特徴は、Ｎ個の入力信号を有する音声再分配装置を提供し（当該入力信号は、ＭＰ３データのように圧縮されてもよい）、これらの入力信号をＭ個の出力に再分配することにある。ここでの再分配は、音声を分類する音声分類装置に依存する。この分類は、あるタイプのコンテンツに対する不正確でときには誤った割当てが回避されるように、徐々にスライドする方法により実行されるべきである。その代わりに、音声コンテンツの各種特性を区別する再分配装置を制御する制御信号は、徐々に生成される。このような音声分類装置は、コンテンツ解析から自動適応的な方法により学習可能な音声クラス（音楽、スピーチなど）間の関係に依存するシステムである。
【００３７】
本発明による音声分類装置は、Ｎ個の音声入力から分類情報Ｐを生成するよう構成可能であり、当該Ｎ個の音声入力のＭ個の音声出力への再分配は、このような分類情報Ｐに依存し、ここでの分類情報Ｐは確率であるかもしれない。
【００３８】
本発明による音声再分配装置は、Ｍ＞Ｎ、Ｍ＜Ｎ又はＭ＝Ｎとなるように、変換をフレキシブルに実行するよう構成されてもよい。再分配装置は、アクティブマトリックスシステムであってもよく、再分配装置は音声デコーダであってもよい。本発明はさらに、既存の再分配装置の下流の利用のため、後付けされる要素として実現されてもよい。
【００３９】
本発明の一例となるアプリケーションは、例えば、Ｄｏｌｂｙ  Ｐｒｏ  ＬｏｇｉｃＴＭやＣｉｒｃｌｅ  ＳｕｒｒｏｕｎｄＴＭなどの既存のアップミックスシステムのアップグレードに関する。本発明によるシステムは、音声データ処理能力及び機能を向上させるため、既存のシステムに追加することができる。本発明の他のアプリケーションは、画像画面と共に使用するため、新たなアップミックスアルゴリズムに関する。さらなるアプリケーションは、Ｉｎｃｒｅｄｉｂｌｅ  Ｓｕｒｒｏｕｎｄ  ＳｏｕｎｄＴＭなどの既存のダウンミックスシステムの改良に関する。さらに、本発明は、既存のステレオワイドニングアルゴリズムを向上させるため実現されるかもしれない。
【００４０】
この結果、音声再分配は、それが現在のコンテンツタイプにとって最適なものとなるように実行可能である。
【００４１】
本発明の重要な特徴は、例えば、デイ・ツー・デイ（ｄａｙ−ｔｏ−ｄａｙ）コンテンツとメタデータ（テレテキストなど）に基づき、自らを最適化し続けることが可能であるため、システムの動作は時間依存的なものとすることができるという事実に関連する。また、音声抜粋の各部分（異なるデータフレームなど）は、時間依存的に制御信号を更新するため独立して分類可能である。このような機能を有する音声データ処理装置は、すべてのユーザにとって最適であり、新たなコンテンツが最適化された方法により処理することができる。
【００４２】
本発明の他の重要な特徴は、本発明のシステムが、例えば、チャネルアップコンバータを制御するためなど、各々が特定の物理的又は心理音響的な意味又は性質（ジャンルなど）を有する音声コンテンツのクラス又はタイプを利用するという事実に関する。このようなクラスは、例えば、音楽とスピーチとの間の区別、又は“ポップス”音楽、“クラシック”音楽、“ジャズ”音楽、“フォーク”音楽などとの間のより詳細な区別などを含むかもしれない。
【００４３】
本発明の一特徴は、フレーム単位又はブロック単位の解析を実行するマルチチャネル音声再生システムに関する。音声分類装置によって生成される音声再分配装置を制御する制御情報は、コンテンツタイプに基づき生成される。これは、音声クラス／ジャンル情報によって制御される音声の自動的で最適化されたクラス固有の再分配を可能にする。
【００４４】
従属クレームを参照するに、本発明のさらに好適な実施例が以下に記載される。
【００４５】
次に、本発明による音声データ処理装置の好適な実施例が説明される。これらの実施例はまた、音声データ処理方法、プログラム要素及びコンピュータ可読媒体に利用可能である。
【００４６】
第１の数の音声データ出力信号及び／又は第２の数の音声データ入力信号は、１より大きくてもよい。すなわち、音声データ処理装置は、マルチチャネル入力及び／又はマルチチャネル出力処理を実行するかもしれない。
【００４７】
一実施例によると、第１の数は第２の数より、大きい、小さい又は等しいものであってもよい。第１の数をＮとして、第２の数をＭとして表すと、これらすべてのケース、すなわち、Ｍ＞Ｎ、Ｍ＝Ｎ及びＭ＜Ｎがカバーされる。Ｍ＞Ｎの場合、再生に使用される出力チャネルの個数は入力チャネルの個数より大きい。このシナリオの一例は、ステレオから５．１サラウンドへの変換である。Ｍ＝Ｎの場合、同じ個数の入力チャネルと出力チャネルとが存在する。しかしながらこの場合、提供されるコンテンツは、各チャネル間に再分配される。Ｍ＜Ｎの場合、再生チャネルより多くの入力チャネルが利用可能である。例えば、５．１サラウンド音声が２つのラウドスピーカーを介し再生されるかもしれない。
【００４８】
音声分類装置は、時間に依存して徐々にスライドする制御信号を生成するよう構成されるようにしてもよい。本実施例によると、制御信号は、音声データ入力信号の送信中に対象となる音声抜粋の各部分の特性又は性質の可能性のある変化に応答して、連続的に又は段階的に更新することが可能である。制御信号のこの時間依存推定は、音声再分配装置のさらに精緻な制御を可能にし、処理された及び再生された音声データのクオリティを向上させる。さらに、システムの動作は一般に、例えば、デイ・ツー・デイコンテンツ及び／又はメタデータ（テレテキストなど）に基づき自らを最適化し続けるように、時間に依存するよう実現可能である。
【００４９】
音声分類装置は、フレーム毎に又はブロック毎に徐々にスライドする制御信号を生成するよう構成されてもよい。従って、音声入力データの以降の各ブロック又はフレームは、音声再分配装置の制御を精緻化するため、それらが（部分的に）関連する音声コンテンツのタイプの特徴付けに関して個別に処理されてもよい。
【００５０】
さらに、音声データ処理装置は、音声データ入力信号によって入力和信号を生成するよう構成され、入力和信号を音声分類装置に提供するよう接続される加算ユニットを有するようにしてもよい。加算ユニットは、低い計算負荷により統計的により広い基礎に基づき分類が実行可能となるように、平均化された音声性質により信号を生成するよう各音声データ入力チャネルからすべての音声入力データを単に加算するようにしてもよい。あるいは、各音声データ入力チャネルは、個別に又はまとめて分類されてもよく、これにより、高解像度制御信号が得られる。
【００５１】
音声分類装置は、音声データ入力信号の物理的意味に徐々にスライド依存して、徐々にスライドする制御信号を生成するよう構成されてもよい。特に、各種タイプの音声コンテンツは、各音声ジャンルに対応するかもしれない。
【００５２】
これらの実施例によると、音声データ入力信号の物理的又は心理音響的な特徴が考慮可能である。所定数の音声コンテンツタイプが、予め選択されてもよい。これら各種音声コンテンツタイプ（“音楽若しくはスピーチ”、又は“‘ポップス’音楽、‘ジャズ’音楽、‘クラシック’音楽”など）に基づき、音声抜粋におけるこれらのタイプの個別の寄与は、例えば、現在の音声抜粋が６０％の“クラシック”音楽、３０％の“ジャズ”及び１０％の“スピーチ”の寄与を有するという情報に基づき、音声再分配装置が制御可能となるように計算することができる。例えば、以下の２つの一例となるタイプの分類の１つが実現されてもよい。すなわち、１つのタイプは、５つの一般的な音声クラスのセットに関するものであり、第２のタイプは、ポピュラー音楽ジャンルのセットに関するものである。一般的な音声クラスは、“クラシック”音楽、“ポピュラー”音楽（非クラシックジャンル）、“スピーチ”（男女、英語、オランダ語、ドイツ語及びフランス語）、“群衆の雑音”（拍手及び歓喜）及び“雑音”（交通、ファン、レストラン、自然を含む背景雑音）である。ポピュラー音楽クラスは、“ジャズ”、“フォーク”、“エレキ”、“Ｒ＆Ｂ”、“ロック”、“レゲエ”及び“ボーカル”の７つのジャンルからの音楽を含むかもしれない。
【００５３】
物理的意味又は性質は、各種タイプの音声コンテンツ、特に音声データ入力信号が属する各種音声ジャンルに対応するかもしれない。
【００５４】
音声分類装置は、制御信号として０から１までの範囲内の任意の（ステップレス（ｓｔｅｐｌｅｓｓ）な）値を有する可能性のある１以上の確率を生成するよう構成され、各値は音声データ入力信号が対応するタイプの音声コンテンツに属する確率を反映している。従来技術と対照的に、１００％又は０％の決定のみしかなされない場合（例えば、音声コンテンツが純粋な“クラシック”音楽に関するものである）、本発明によるシステムは、それが各種タイプの音声コンテンツ間の区別をするため、より正確なものとなる。（例えば、現在の音声抜粋は、６０％の確率で“クラシック”音楽に関連し、４０％の確率で“ジャズ”音楽に関連する。）
音声分類装置は、これらの確率の線形結合に基づき音声データ出力信号を生成するよう構成されてもよい。音声分類装置が、例えば、音声コンテンツがｐの確率で第１ジャンルに関連し、１−ｐの確率で第２ジャンルに関連するということを決定した場合、音声再分配装置は、各自の確率ｐと１−ｐにより第１及び第２ジャンルの線形結合によって制御される。
【００５５】
音声分類装置は、マトリックスとして、特にアクティブマトリックスとして徐々にスライドする制御信号を生成するよう構成されてもよい。このマトリックスの要素は、予め推定される１以上の確率値に依存するかもしれない。マトリックスの要素はまた、音声データ入力信号に直接依存するかもしれない。マトリックスの各要素は、音声再分配訴追を制御する制御信号として供するため、個別に調整又は計算することができる。
【００５６】
音声分類装置は、それに基準音声データが供給されているという点で、各種タイプの音声コンテンツを区別するのに使用する前にトレーニングされる自己適応的な音声分類装置であってもよい。本実施例によると、音声分類装置には、音声データ処理装置が市場に置かれる前に、十分大量の基準音声信号（例えば、異なるジャンルから１００時間分の音声コンテンツなど）が提供される。大量の音声データの供給中、音声分類装置は、例えば、特定のコンテンツタイプの特徴であると知られている（又は判明している）音声データの特定の（スペクトル）特徴を検出することによって、各種タイプの音声コンテンツの識別方法を学習する。このトレーニングプロセスは、音声コンテンツを正確に区別及び決定する、すなわち、分類するのに利用可能ないくつかの係数を獲得させる。
【００５７】
さらに、又は代わりに、音声分類装置は、音声データ入力信号の供給を介し各種タイプの音声コンテンツを区別するため使用中にトレーニングされる自己適応的な音声分類装置であってもよい。このことは、音声データ処理装置によって処理される音声データが、製品として音声データ処理装置の実際的な使用中に音声分類装置をさらにトレーニングし、それの分類能力をさらに精緻化するのに使用される。メタデータ（テレテキストなどから）が、例えば、自己学習をサポートするのに利用されてもよい。コンテンツが映画コンテンツであると知られているとき、付随するマルチチャネル音声が、分類装置をさらにトレーニングするのに利用可能である。
【００５８】
音声データ処理装置の実施例による音声再分配装置は、第１サブユニットと第２サブユニットとを有するようにしてもよい。第１サブユニットは、音声分類装置の制御信号から独立して、第２の数の音声データ入力信号に基づき第１の数の音声データ中間信号を生成するよう構成されてもよい。第２サブユニットは、音声分類装置の制御信号に依存して、第１の数の音声データ中間信号に基づき第１の数の音声データ出力信号を生成するよう構成されてもよい。このコンフィギュレーションは、音声データを再分配するための制御信号を考慮する後処理ユニットとしての第２サブユニットと共に、従来の音声再分配装置である既存の第１サブユニットを利用することを可能にする。
【００５９】
本発明による音声データ処理装置は、集積回路として、特に半導体集積回路として実現可能である。特に、システムはシリコン技術により製造可能なモノリシックＩＣとして実現可能である。
【００６０】
本発明による音声データ処理装置は、バーチャライザ、ポータブルオーディオプレーヤー、ＤＶＤプレーヤー、ＭＰ３プレーヤー又はインターネットラジオ装置として実現されてもよい。
【００６１】
音声データ入力信号がアドホックルール（エンジニアの知識又は経験に間接的に依存する）に従う音声信号の解釈に基づき分類される音声コンテンツのタイプに応じて制御信号を生成する音声分類装置の代わりとして、音声再分配装置を制御する制御信号がまた、エンジニアによる設計でなくマシーンにより学習されるシステム動作を導入することによって、完全自動的に生成されるようにしてもよい（エンジニアの知識の解釈又は導入なく）。この完全自動的な解析は、音声特徴から音声があるクラスに属する確率までのマッピングの多数のパラメータに達する。このため、音声分類装置には、音声分類装置が音声再分配装置を制御するための制御信号の基礎として最適なパラメータを自動検出することを可能にするため、基準音声音楽により予め（数百時間など）トレーニング可能なあるタイプの自動適応的機能（ニューラルネットワーク、ニューロファジーマシーンなど）が提供されてもよい。制御信号の基礎となるパラメータは、入力される音声データ入力信号から学習可能であり、音声データ入力信号が使用前及び／又は使用中にシステムに提供されてもよい。従って、音声分類装置は、自らそれの音声コンテンツに関する音声入力データの分類が実行可能な解析的情報を求めるようにしてもよい。例えば、音声データ入力信号を音声データ出力信号に変換する変換マトリックスのマトリックス係数が、予めトレーニングされてもよい。例えば、ＤＶＤはしばしば、ステレオと５．１チャネルの音声ミックスを含む。２チャンネルから５．１チャンネルの完全な変換は一般には存在しないが、複数の周波数帯において独立に動作するようアルゴリズムが使用されるとき、それは大変明確である。２チャンネルと５．１チャンネル音声ミックスの解析は、これらの関係を明らかにする。これらの関係は、２チャンネル音声の性質から自動的に学習可能である。
【００６２】
従って、音声データ入力信号は、解釈ステップを含む必要なく自動的に分類可能である。
【００６３】
例えば、このようなトレーニングは、音声データ処理装置が市場に置かれる前に、実験室で予め実行可能である。このことは、最終的な製品が、音声分類装置が正確に入力される音声データを分類することを可能にするいくつかのパラメータを含むトレーニングされた音声分類装置を有するかもしれない。あるいは、又は加えて、完成品として市場に置かれている音声データ処理装置の音声分類装置に含まれるパラメータは、使用中に音声データ入力信号によりトレーニングすることによってさらに向上させることが可能である。
【００６４】
このようなトレーニングは、スペクトルラフネス／スペクトルフラットネスなどの音声データ入力信号のいくつかのスペクトル特徴の解析、すなわち、リップルの出現などを含むかもしれない。従って、各種タイプのコンテンツの特性が検出され、現在の音声部分がこれらの特性に基づき特徴化可能である。
【００６５】
本発明の上記及びさらなる特徴は、後述される実施例から明らかであり、これらの実施例を参照して説明される。
【発明を実施するための最良の形態】
【００６６】
図面の記載は概略的なものである。異なる図面では、同一の符号が同様又は同一の要素に与えられる。
【００６７】
以下において、図１を参照するに、本発明の第１実施例による音声データ処理装置１００が説明される。
【００６８】
図１は、６つの音声データ入力信号に基づき２つの音声データ出力信号を生成するよう構成される音声再分配装置１０１を有する音声データ処理装置１００を示す。音声データ入力信号が、音声再分配装置１０１の６つのデータ信号入力１０５に接続される６つの音声データ入力チャネル１０３において提供される。音声再分配装置１０１の２つのデータ信号出力が、その音声データ出力信号を提供するため２つの音声データ出力チャネル１０２に接続される。
【００６９】
さらに、音声データ入力信号（６つの音声データ入力チャネル１０３に接続される６つのデータ信号入力１０６を介し音声分類装置１０４に供給される）が分類される音声コンテンツのタイプに徐々にスライドする依存により、６つの音声データ入力信号からの２つの音声データ出力信号の生成に関して、音声再分配装置１０１を制御する徐々にスライドする制御信号Ｐを生成するよう構成される音声分類装置１０４が示される。従って、音声分類装置１０４は、異なるタイプの音声コンテンツに関して、何れかの程度まで入力される音声入力信号が分類されるか決定する。
【００７０】
音声分類装置１０４は、時間に依存して、すなわち、関数Ｐ（ｔ）として（ｔは時間である）徐々にスライドする制御信号Ｐを生成するよう構成される。音声信号のフレーム（各フレームはブロックから構成される）のシーケンスが、音声データ入力チャネル１０３においてシステム１００に適用されるとき、入力データの可変的な音声特性は制御信号ｐを変化させる。従って、システム１００は、音声データ入力チャネル１０３を介し提供される音声コンテンツのタイプの変化にフレキシブルに応答する。すなわち、音声データ入力チャネル１０３において提供される異なるフレーム又はブロックは、音声分類装置１０４によって別々に処理され、これにより、独立した時間に依存する音声データ分類制御信号Ｐが、６つの入力チャネル１０３において提供される音声信号を２つの出力チャネル１０２における音声信号に変換するよう音声再分配装置１０２を制御するため生成される。音声分類装置１０４は、音声データ入力信号の異なるタイプの音声コンテンツ（物理的／心理音響的な意味など）に徐々にスライド依存して、徐々にスライドする制御信号Ｐを生成するよう構成される。すなわち、異なるタイプの音声コンテンツ、特に異なる音声ジャンルの間で識別するための識別ルールセットが、音声分類装置１０４内に予め格納される。これらの識別ルール（アドホックルール又はエキスパートルール）に基づき、音声分類装置１０４は、何れの程度まで音声入力信号が音声コンテンツの各ジャンルに属するか推定する。
【００７１】
以下において、図２Ａを参照するに、本発明の第２実施例による音声データ処理装置２００が説明される。
【００７２】
音声データ処理装置２００は、Ｎ個の音声データ入力信号ｘ１，．．．，ｘＮをＭ個の音声データ出力信号ｚ１，．．．，ｚＭに変換する音声再分配装置２０１を有する。音声再分配装置２０１は、Ｎ−Ｍ再分配ユニット２０２と、後処理ユニット２０３とを有する。Ｎ−Ｍ再分配ユニット２０２は、音声分類装置１０４の制御信号と独立して、Ｎ個の音声データ入力信号ｘ１，．．．，ｘＮに基づきＭ個の音声データ中間信号ｙ１，．．．，ｙＭを生成するよう構成される。後処理ユニット２０３は、音声データ入力信号ｘ１，．．．，ｘＮの解析に基づき音声分類装置１０４によって生成された制御信号Ｐに依存して、中間信号ｙ１，．．．，ｙＭからＭ個の音声データ出力信号ｚ１，．．．，ｚＭを生成するよう構成される。
【００７３】
音声データ処理装置２００は、音声分類装置１０４の入力和信号を提供するため、音声データ入力信号ｘ１，．．．，ｘＮを合計することによって、入力和信号を生成するよう構成される加算ユニット２０４を有する。
【００７４】
図２Ａ及び２Ｂに示される実現形態は、分類装置１０４と後処理ユニット２０３とによってアップグレードされた既存の再分配システム２０２を利用し、当該後処理ユニット２０３は、分類装置１０４において実行される計算結果によって制御可能である。従って、音声データ処理装置２００は、既存の再分配システム２０２をアップグレードするよう供される。
【００７５】
ブロック“Ｎ−Ｍ”２０２は、Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭなどの既存の再分配システムである（このケースでは、Ｎ＝２及びＭ＝６）。Ｎ個の入力チャネルが加算ユニット２０４により加算され、音声分類装置１０４に供給される。音声分類装置１０４は、音声コンテンツの所望のクラス間を区別するようトレーニングされる。分類装置１０４の出力は、音声データ入力信号ｘ１，．．．，ｘＮがあるクラスの音声コンテンツに属する確率である。これらの確率は、後処理ブロックである“Ｍ−Ｍ”ブロック２０３を調整するのに使用される。
【００７６】
本シナリオの興味深いアプリケーションは、以下のようなものであるかもしれない。すなわち、Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭが、異なる設定を有し、手動により選択される２つのモード、すなわち、映画と音楽を有する。１つの大きな相違は、センター画像の幅である。映画モードでは、センターにパンされる（音声）ソースがセンターラウドスピーカーにフル供給される。音楽モードでは、センター信号はまた、ステレオ画像を拡げるためレフト及びライトラウドスピーカーに供給される。しかしながら、これは手動により変更される必要がある。これは、例えば、ユーザがテレビを視聴し、ＭＴＶなどの音楽チャネルからＣＮＮなどのニュースチャンネルに切り替えるときにはユーザに不便である。従って、映画が音楽部分を含むシナリオでは、映画／音楽モードの手動による選択は最適でない。ＭＴＶの音楽ビデオは音楽モードを要求するが、ＣＮＮのスピーチは、映画設定を要求するであろう。本シナリオに適用されるとき、本発明は自動的に設定を調整する。
【００７７】
図２Ａは、音声分類装置１０４により既存の再分配システム２０２をアップグレードするブロック図を示す。
【００７８】
従来のＮ−Ｍ再分配ユニット２０２による本発明の実現形態が、説明される実施例により以下で実行される。
【００７９】
Ｎ−Ｍブロック２０２は、映画モードによるＤｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  ＩＩＴＭデコーダを含む。分類装置１０４は、２つのクラス、すなわち、音楽と映画を含む。パラメータＰは、入力音声ｘ１，．．．，ｘＮが音楽である確率である。（Ｐは、［０，１］の範囲全体で連続的に可変である。）
Ｎ−Ｍブロック２０３は、図２Ｂに示される機能を実行するよう実現可能である。
【００８０】
図２Ｂにおいて、Ｌｆはレフトフロント信号であり、Ｒｆはライトフロント信号であり、Ｃはセンター信号であり、Ｌｓはレフトサラウンド信号であり、Ｒｓはライトサラウンド信号であり、ＬＦＥは低周波数効果信号（サブウーファ）である。パラメータａは、０．５などの定数である。パラメータａは、音楽モードによるセンターソース幅を規定する。
【００８１】
パラメータＰはフレームにより決定され、それは経時的に変化する。音声コンテンツが経時的に変化するとき、センター信号の再生は、Ｐに応じて変化する。音声分類装置１０４は、時間に応じて特にパラメータＰなどの徐々にスライドする制御信号を生成するよう構成される。さらに、音声分類装置１０４は、フレーム毎に又はブロックごとに徐々にスライドする制御信号を生成するよう構成される。音声分類装置は、それの制御信号として確率Ｐを生成するよう構成され、当該確率Ｐは、音声データ入力信号が音楽に属する確率と、音声データ入力信号が映画クラスに属する確率１−Ｐとを反映して、０と１の間の範囲の任意の値を有するかもしれない。
【００８２】
図２Ｂからさらに明らかなように、音声分類装置１０４は、確率Ｐと１−Ｐとの線形結合に基づき音声データ出力信号を生成するよう構成される。
【００８３】
以下において、図３Ａ及び３Ｂを参照するに、本発明の第３実施例による音声データ処理装置３００が説明される。
【００８４】
音声データ処理装置３００は、１つの構成ブロック、すなわち、Ｎ−Ｍ再分配装置３０１に統合される再分配ユニット２０２と後処理ユニット２０３とを有する。従って、音声データ処理装置３００は、再分配と分類を一体化する。
【００８５】
Ｎ−Ｍ再分配装置３０１は、以下のように実現可能である。Ｍ個の出力チャネル１０２は、Ｎ個の入力チャネル１０３の線形結合である。マトリックス
【００８６】
【数１】
2008521046.tif 000003
のパラメータは、分類装置３０２から生じる確率Ｐの関数である。これは、確率Ｐがまた説明された実施例ではフレームにより決定されるため、フレーム（すなわち、信号サンプルのブロック）により実現可能である。
【００８７】
図３Ａに示されるシステムの実際的なアプリケーションは、ステレオ−５．１サラウンド変換システムである。音声ミキシングはコンテンツに依存するため、このようなシステムが適用されるとき、ハイクオリティな結果が得られる。例えば、スピーチはセンタースピーカーにパンされる。ボーカルはセンターにパンされ、左右に分割される。拍手は、リアスピーカーにパンされる。この入力信号ｘ１，．．．，ｘＮの出力信号ｙ１，．．．，ｙＭへの変換は、さらに確率Ｐに依存する変換マトリックス
【００８８】
【数２】
2008521046.tif 000004
に基づき実行される。
【００８９】
以下において、図４Ａ及び４Ｂを参照するに、第４実施例による音声データ処理装置が説明される。
【００９０】
図４Ａ及び４Ｂは、音声分類装置４０１により生成されるマトリックス
【００９１】
【数３】
2008521046.tif 000005
がＮ−Ｍ再分配装置３０１の制御信号のソースに供する構成を示す。音声データ処理装置４００の場合、マトリックス
【００９２】
【数４】
2008521046.tif 000006
の各要素は、ｉ＝１，．．．，Ｎの音声データ入力信号、すなわち、ｘ１，．．．，ｘＮに依存する。従って、第４実施例では、確率Ｐ（マトリックス要素の以降の計算の基礎として使用される）は計算不要である。その代わりに、第４実施例による音声分類装置４０１が、音声データ入力信号ｘｉから自動的かつ直接的に変換マトリックス
【００９３】
【数５】
2008521046.tif 000007
の要素を求めるよう予めトレーニングされている自己適応的な音声分類装置４０１として実現される。音声特徴が音声データ入力信号ｘｉから求められてもよい。その後、これらの特徴の（学習された）関数としてアクティブマトリックス係数を提供するマッピング関数が学習されてもよい。すなわち、第４実施例によると、アクティブ変換マトリックスの要素は、別々に決定された確率値Ｐに基づき生成される代わりに、入力信号に直接的に依存する。
【００９４】
“有する”という用語が指定された以外の要素又はステップを排除するものでなく、“ある”という用語が複数を排除するものでないということに留意すべきである。また、各実施例に関して説明された要素は組み合わせ可能である。請求項の参照符号は請求項の範囲を限定するものとして解釈されないということに留意すべきである。
【図面の簡単な説明】
【００９５】
【図１】図１は、本発明の第１実施例による音声データ処理装置を示す。
【図２Ａ】図２Ａは、本発明の第２実施例による音声データ処理装置を示す。
【図２Ｂ】図２Ｂは、第２実施例による音声データ入力信号と制御信号とに基づき音声データ出力信号を計算するマトリックスベース計算スキームを示す。
【図３Ａ】図３Ａは、本発明の第３実施例による音声データ処理装置を示す。
【図３Ｂ】図３Ｂは、第３実施例による音声データ入力信号と制御信号とに基づき音声データ出力信号を計算するマトリックスベース計算スキームを示す。
【図４Ａ】図４Ａは、第４実施例による音声データ処理装置を示す。
【図４Ｂ】図４Ｂは、第４実施例による音声データ入力信号と制御信号とに基づき音声データ出力信号を計算するマトリックスベース計算スキームを示す。
【図１】
2008521046.tif 000008
【図２Ａ】
2008521046.tif 000009
【図２Ｂ】
2008521046.tif 000010
【図３Ａ】
2008521046.tif 000011
【図３Ｂ】
2008521046.tif 000012
【図４Ａ】
2008521046.tif 000013
【図４Ｂ】
2008521046.tif 000014
【国際調査報告】
2008521046.tif 000015
2008521046.tif 000016
2008521046.tif 000017