(57)【要約】本発明は、複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する装置（１）である。この装置は、多チャネルオーディオ信号（１００）の時間スケール変調を実行し、位相アダプタ（５）とセパレータ（６）とを備える。位相アダプタ（５）は、チャネル信号（ｘ1,ｘ2）の結合に基づく信号（Ｘs，Ｘd）の位相を修正することによって、処理済み信号（Ｙs，Ｙd）を提供する。セパレータ（６）は、処理済み信号（Ｙs，Ｙd）に基づいて分離信号（Ｙ1,Ｙ2）を提供する。この発明はさらに対応する方法にも関する。【選択図】  図２
2019518988.tif 000002
【特許請求の範囲】
【請求項１】
複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する装置（１）であって、
前記装置（１）は、前記多チャネルオーディオ信号（１００）の時間スケール変調を実行するように構成され、
前記装置（１）は、
位相アダプタ（５）であって、前記チャネル信号（ｘ1,ｘ2）の結合に基づく信号（Ｘs，Ｘd）の位相を修正することによって、少なくとも１つの処理済み信号（Ｙs，Ｙd）を提供するように構成された位相アダプタ（５）と、
前記少なくとも１つの処理済み信号（Ｙs，Ｙd）に基づいて分離信号（Ｙ1,Ｙ2）を提供するように構成されたセパレータ（６）と、を備える装置（１）。
【請求項２】
前記位相アダプタ（５）は、Ｎ個のチャネル信号（ｘ1,ｘ2）の結合に基づくＮ個の信号（Ｘs，Ｘd）の位相を修正することによって、Ｎ個の処理済み信号（Ｙs，Ｙd）を提供するように構成され、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）に基づいてＮ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、請求項１に記載の装置（１）。
【請求項３】
前記チャネル信号（ｘ1,ｘ2）のＮ個の結合は、前記チャネル信号（ｘ1,ｘ2）の線形結合であることを特徴とする、請求項２に記載の装置（１）。
【請求項４】
請求項１乃至３のいずれかに記載の装置（１）であって、
前記装置（１）は変換器（３）を備え、
前記変換器（３）は、信号を前記時間ドメインから前記周波数ドメインに変換することによって変換済み信号（Ｘ1,Ｘ2）を提供するよう構成される、装置（１）。
【請求項５】
請求項４に記載の装置（１）であって、
前記変換器（３）は、短時間フーリエ変換を適用するよう構成されている、装置（１）。
【請求項６】
請求項１乃至５のいずれかに記載の装置（１）であって、
前記装置（１）は結合器（４）を備え、
前記結合器（４）は、前記チャネル信号（ｘ1,ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するように構成され、
前記変換器（３）は、変換を適用することによって前記結合信号に基づく変換済み信号を提供するよう構成される、装置（１）。
【請求項７】
請求項４または５に記載の装置（１）であって、
前記装置（１）は結合器（４）を備え、
前記結合器（４）は、前記変換器（３）によって提供される変換済み信号（Ｘ1,Ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するよう構成される、装置（１）。
【請求項８】
請求項７に記載の装置（１）において、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）の和を計算することによって和信号（Ｘs）を提供するよう構成されている、装置（１）。
【請求項９】
請求項７または８に記載の装置（１）であって、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）間の差を計算することによって差信号（Ｘd）を提供するよう構成されている、装置（１）。
【請求項１０】
請求項７に記載の装置（１）であって、
前記結合器（４）は、前記多チャネルオーディオ信号（１００）に属するＮ個のチャネル信号（ｘ1,ｘ2）に基づくＮ個の変換済み信号（Ｘ1,Ｘ2）に対し、Ｎ×Ｎの寸法を持つミキシング行列（ｇ）を適用することによって、前記結合信号（Ｘs，Ｘd）を提供するよう構成され、
前記Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１１】
請求項１〜１０のいずれか１項に記載の装置（１）であって、
前記位相アダプタ（５）は、位相ボコーダ法を適用することによって位相を修正するように構成されている、装置（１）。
【請求項１２】
請求項２〜１１のいずれか１項に記載の装置（１）において、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの間の差に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するように構成されている、装置（１）。
【請求項１３】
請求項２〜１２のいずれかに記載の装置（１）であって、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの和に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するよう構成されていることを特徴とする、装置（１）。
【請求項１４】
請求項２〜１３のいずれかに記載の装置（１）であって、
前記セパレータ（６）は、Ｎ個の処理済み信号（Ｙs，Ｙd）に基づく行列化された信号に対し、Ｎ×Ｎの寸法を持つ逆ミキシング行列（ｇ-1）を適用することによって、Ｎ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１５】
請求項１〜１４のいずれかに記載の装置（１）であって、
前記装置（１）は補正器（８）を備え、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を前記チャネル信号（ｘ1,ｘ2）の振幅に基づく振幅で置換することによって、前記分離信号（Ｙ1,Ｙ2）を修正するように構成されている、装置（１）。
【請求項１６】
請求項１６に記載の装置（１）であって、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を、変換器（３）によって提供される変換済み信号（Ｘ1,Ｘ2）の振幅で置換するように構成されている、装置（１６）。
【請求項１７】
請求項１乃至１６のいずれかに記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、逆変換を適用することによって、前記分離信号（Ｙ1,Ｙ2）に基づく修正されたチャネル信号（ｙ1，ｙ2）を提供するよう構成される、装置（１）。
【請求項１８】
請求項１５又は１６に記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、逆変換を適用することによって、前記補正器（８）によって提供される補正済み信号（Ｚ1，Ｚ2）に基づく補正され修正されたチャネル信号（ｚ1，ｚ2）を提供するように構成されている、装置（１）。
【請求項１９】
請求項１７または１８に記載の装置（１）であって、
前記逆変換器（７）は、逆短時間フーリエ変換を適用するように構成されている、装置（１）。
【請求項２０】
請求項１乃至１９のいずれかに記載の装置（１）であって、
前記装置（１）は抽出器（２）を備え、
前記抽出器（２）は、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）を提供するよう構成される、装置（１）。
【請求項２１】
請求項１乃至２０のいずれかに記載の装置（１）であって、
前記装置（１）は、チャネル信号の他の結合よりも、精度の低い信号間の差に基づくチャネル信号（ｘ1,ｘ2）の結合に対してステップを実行するように構成されている、装置（１）。
【請求項２２】
多チャネルオーディオ信号（１００）を処理する方法であって、
前記多チャネルオーディオ信号に含まれるチャネル信号に基づいて、少なくとも１つの結合信号を提供するステップと、
前記結合信号の時間スケール変調を実行することによって、処理済み信号を提供するステップと、
前記処理済み信号の分離に基づいて修正済みチャネル信号を提供するステップと、
を含む方法。
【請求項２３】
請求項２２に記載の方法であって、
振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、修正済みチャネル信号の振幅を修正するステップをさらに含む、方法。
【請求項２４】
コンピュータまたはプロセッサ上で実行されたときに、請求項２２または２３に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多チャネルオーディオ信号を処理する装置に関する。多チャネルオーディオ信号は、複数の−すなわち少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール変調を実行する。本発明は、対応する方法およびコンピュータプログラムにも関する。
【背景技術】
【０００２】
時間スケール修正（ＴＳＭ）は、オーディオ信号のピッチに影響を及ぼすことなくオーディオ信号の再生をスローダウンまたはスピードアップする処理を指す。サンプルレート変換と組み合わせたＴＳＭはまた、テンポを変更することなくピッチを変更することを可能にする。ＴＳＭに関する課題は、（テンポまたはピッチのいずれかを除く）オーディオ信号の他のすべての特性、特に音質を維持することである。その処理は、可聴アーチファクトを生成すべきではない。
【０００３】
単一チャネル入力信号の場合、主要な重要特徴は音色(timbre)である。複数のチャネルを有する信号の場合、空間的特性も維持される必要がある。空間的特性は、直接音源の位置および幅と、周囲音の拡散とを含む。それらは、チャネル間レベル差(ICLD)、チャネル間時間差(ICTD)、チャネル間位相差(ICPD)、またはチャネル間コヒーレンス(ICC)によって定量化することができる。
【０００４】
時間スケール修正に対する基本的に異なる２つのアプローチが存在する。一方は時間ドメインで適用され、他方は周波数ドメインで適用される。
【０００５】
時間ドメインでの処理は、同期オーバーラップ加算（ＳＯＬＡ）スキームを使用する。信号はオーバーラップするフレームにカットされ、これらのフレームはシフトされ、信号を伸張又は収縮させるために結合される。シフト位置は、典型的には、類似性の尺度、例えば信号フレームとそのシフトされたコピーとの相関関係を最大化することによって計算される。
【０００６】
時間ドメインにおけるこの方法は、計算量が少ない。出力信号における不連続性および破壊的干渉を回避するために、シフトオフセットは基本周波数の周期の整数倍として決定することができるので、（ポリフォニックと対照的な)モノフォニック信号、例えばスピーチまたはフルートのトーンについて良好な結果が得られる。言い換えると、シフトされた信号フレームが位相コヒーレント方式で加算される。異なる基本周波数を有する複数のトーンを有するポリフォニック入力の場合、すべてのトーン(ピッチ)に対して波形の類似性が満たされるようにシフトが決定されることは不可能である。
【０００７】
多くの音楽信号では、周波数ドメインで処理を施すことにより、音質の点でより良好な結果が得られる。この方法は、例えば図１に示されるブロック図に示されるような位相ボコーダスキーム［非特許文献１］を使用し、簡単に説明すると、以下の通りである。
【０００８】
入力されたオーディオ信号ｘ（ｎ）は、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数ドメインに変換される。同様に、別のタイプのフィルタバンクまたは変換を使用することもでき、その場合でも、十分に小さい再構成誤差で逆処理を適用することができる。
【０００９】
上述の実施形態では、入力信号ｘ（ｎ）はオーバーラップするフレームにカットされ、以下の式（１）に従って各フレームについて離散フーリエ変換（ＤＦＴ）が計算され、信号の短時間フーリエ変換（ＳＴＦＴ）表現を得る。これはＳＴＦＴ係数（又はスペクトル係数）とも呼ばれる。
2019518988.tif 000003
【００１０】
時間フレームインデックスはｍで示され、ｋは０≦ｋ≦Ｎ−１である離散周波数インデックスであり、ｗaは窓関数である。正規化された角周波数Ωkは、Ωk＝２πｋ／Ｎで与えられる。ＤＦＴはサイズＮを有し、Ｒaは分析ホップサイズである。
【００１１】
時間および周波数のインデックスは、簡潔にするために、この明細書では可能な場合は省略されている。
【００１２】
出力時間ドメイン信号ｙ（ｎ）は、ＳＴＦＴの逆を用いる合成ステージにおいて出力スペクトル係数Ｙ（ｍ，ｋ）から計算され、その合成ステージは２つのステップで実行される。
【００１３】
第１に、次式に従ってＭ個のフレーム毎に逆離散フーリエ変換が計算される。
2019518988.tif 000004
【００１４】
第２に、任意の合成窓ｗs（ｎ）と合成ホップサイズＲsとを用いて、次式に従ってオーバーラップ加算手順が適用される。
2019518988.tif 000005
【００１５】
時間スケール修正は、合成ホップサイズＲsと分析ホップサイズＲaとを異なる値に設定することによって達成される。すなわち、Ｒa＜Ｒsである場合には信号が時間的に伸張され、Ｒa＞Ｒsである場合には収縮される。
【００１６】
分析窓ｗaおよび合成窓ｗsは、Ｒa＝ＲsおよびＹ（ｍ，ｋ）＝Ｘ（ｍ，ｋ）の場合、入力信号と出力信号とが同一であるように選択される。
【００１７】
実数値の入力信号（本件で考慮対象とするオーディオに該当する）のための短時間フーリエ変換係数Ｘ（ｍ，ｋ）は、次式のように、それらの大きさ｜Ｘ｜および位相Φｘによって、極座標で表すことができる複素数値である。
2019518988.tif 000006
ここで、ｊ＝√（−１）である。
【００１８】
２つのホップサイズＲaおよびＲsが異なる場合、すなわちＲa≠Ｒsである場合、「水平位相コヒーレンス」が達成されるように、Ｙ（ｍ，ｋ）の位相を修正する必要がある。これは、一定周波数の正弦波に対して、連続するフレームが不連続または位相キャンセル（破壊的干渉）なしにコヒーレントにオーバーラップすることを意味する。
【００１９】
位相ボコーダの手法は、例えば音楽録音などのポリフォニック入力に適している。その欠点は、位相の修正が「過渡スミアリング」として知られるアーチファクトを生成し得ることである。すなわち、信号の時間的包絡が修正された結果、音の始まりは、よりパンチが無くよりパーカッションが効かない音と知覚される恐れがある。例えば「位相同期(phase locking)」［非特許文献２］と呼ばれる方法を適用し、または無音期間中に位相をリセット［非特許文献３］することで、出力位相に付加的な処理を適用し、過渡スミアリングを緩和することもできる。
【００２０】
位相を修正する適切な手順の後、出力が得られる。出力のスペクトル係数は、極座標を用いて、
2019518988.tif 000007
として記述することができ、ここで、Φyは修正された位相を示す。位相Φyを計算するプロセスは、以下では位相適応（ＰＡ）と呼ばれる。
【００２１】
２チャネルオーディオ入力信号を処理する様々な方法が知られている。
【００２２】
１つの選択肢は、多チャネル信号を単一チャネル信号にダウンミックスすること、すなわち、すべてのチャネルのスケーリングされたバージョンを加算し、その単一チャネル（モノラル）信号を処理することである。入力信号のモノラル・ダウンミックスを処理することは、立体音響情報が失われ、それによって音質が低下するという欠点がある。
【００２３】
別の選択肢は、分離された入力チャネル信号を独立して処理することである。各チャネル信号を別々に処理することの主な欠点は、ステレオ音像を歪めるチャネル間の任意のデコリレーションが導入されることである。時間スケール修正の位相適応は信号依存処理であるので、対応するチャネル信号が異なる場合、個々のチャネルの位相間の関係は維持されない。空間情報の歪みは、直接音源(例えば歌手又はソリスト)のステレオ音像のぼやけ又は拡大として知覚され得る。
【先行技術文献】
【非特許文献】
【００２４】
【非特許文献１】[1] M. Dolson, “The Phase Vocoder: A Tutorial”, Computer Music Journal, vol. 10, pp. 14 − 27, 1986.
【非特許文献２】[2] J. Laroche and M. Dolson, “Improved Phase Vocoder Time-Scale Modification of Audio”, IEEE Transaction on Speech and Audio Processing, vol. 7, no. 3, pp. 323−332, 1999.
【非特許文献３】[3] T. Karrer, E. Lee, and J. Borchers, “PhaVoRIT: A Phase Vocoder for Real-Time Interactive Time-Stretching,” in Proc. of ICMC, 2006.
【発明の概要】
【発明が解決しようとする課題】
【００２５】
本発明の目的は、処理済み信号の空間特性の品質−例えばステレオ音像−に関して、既存の時間スケール修正方法を改善することである。
【課題を解決するための手段】
【００２６】
この目的は、本発明の装置及び方法によって達成される。
【００２７】
この目的は、多チャネルオーディオ信号を処理する装置によって達成される。多チャネルオーディオ信号は、複数の−または少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール変調を実行するように構成され、即ち、多チャネルオーディオ信号は、そのピッチに影響を及ぼすことなくスローダウンされるか又はスピードアップされる。この装置は、位相アダプタとセパレータとを含む。位相アダプタは、チャネル信号同士の結合に基づくある信号の位相を修正することによって、少なくとも１つの処理済み信号を提供するように構成される。セパレータは、少なくとも１つの処理済み信号に基づいて複数の分離信号を提供するように構成される。
【００２８】
本発明は、信号の処理、特にオーディオ信号またはスピーチ信号の処理を改善する。特に、２以上のチャネルを有する立体音響入力信号の処理に係る課題が解決される。
【００２９】
本発明の利点は、知覚されるステレオ音像が歪められないように、入力オーディオ信号の空間特性が維持されることである。特に、ＴＳＭ処理に起因して音源位置や拡散性が変化することがない。
【００３０】
このように、本発明は、従来技術において出力信号の空間特性がひどく歪められている、という課題を解決するものであり、その課題は、ステレオ音像の中心にパンされた音源を聴取する際に最も顕著である。
【００３１】
本装置は、位相適応を実行することによって多チャネルオーディオ信号の時間スケール修正を実行する。従来技術では、位相を修正する様々な手順(位相同期及び他の手段を含む)が知られている。
【００３２】
位相を修正するための一実施形態は、合成ホップサイズＲsを有する隣接するフレーム間の位相伝播が、分析ホップサイズＲaに対する入力信号の位相伝播と同一であるように、位相を修正することを含む。これにより、水平位相コヒーレンス（すなわち、各周波数ビンにおける位相の時間的進展）が維持されることが保証される。これは、現在の時間フレームおよび前の時間フレームの入力位相、分析ホップサイズＲaおよびＳＴＦＴ（短時間フーリエ変換）パラメータを所与として、時間フレームｍでの瞬時周波数を計算することによって達成される。所望の位相伝播は、瞬時周波数および合成ホップサイズＲsを使用して計算される。
【００３３】
追加の実施形態では、前述の方法は、「位相同期」を含む方法によって強化される。位相同期は、垂直位相コヒーレンスを改善すること、すなわち各フレーム内の隣接する周波数ビン間の位相の関係を維持することを目的とする。これは、例えば、過渡またはパーカッションが効いた音を含む音楽信号を処理するときに顕著となる方法で、音質を改善する。
【００３４】
位相アダプタは、多チャネルオーディオ信号に含まれるチャネル信号の少なくとも１つの結合の位相を適応させるように構成される。このために、位相アダプタによって処理される信号は、極座標を用いて大きさと位相とを与えられる。
【００３５】
位相アダプタに続くセパレータは、処理済み信号に基づいて、すなわち修正された位相を有する信号に基づいて分離信号を提供する。セパレータは、信号の結合を逆転させ、分離信号を抽出または生成する。
【００３６】
したがって、この装置は、チャネル信号同士の少なくとも１つの結合の位相を修正し、チャネル信号の位相適応された結合を分離信号に分離することによって、個々の修正された信号を提供する。
【００３７】
本発明の位相適応は、位相ボコーダすなわち周波数ドメインにおける処理を使用する、時間スケール修正への拡張として最も適している。しかし、それは時間ドメインにおけるＴＳＭへの拡張として適用することもできる。このために、時間ドメインＴＳＭは、多チャネルオーディオ信号に含まれるチャネル信号を結合することによって得られる、少なくとも１つの信号を処理するように構成される。時間ドメインＴＳＭに続くセパレータは、処理済み信号に基づいて分離信号を提供する。
【００３８】
一実施形態では、位相アダプタは、Ｎ個のチャネル信号の結合に基づくＮ個の信号の位相を修正することによって、Ｎ個の処理済み信号を提供するように構成される。セパレータは、その処理済み信号に基づいてＮ個の分離信号を提供するように構成される。Ｎは多チャネルオーディオ信号に含まれるチャネル信号の数であり、Ｎは２以上の整数である。一実施形態では、Ｎは多チャネルオーディオ信号に含まれる全てのチャネル信号の数である。その場合、Ｎ個のチャネル信号はＮ個の結合信号に変換され、これらＮ個の結合信号は−位相適応後に−Ｎ個の信号に分離される。
【００３９】
一実施形態によれば、チャネル信号のＮ個の結合は、チャネル信号の線形結合である。一実施形態では、位相アダプタはチャネル信号の様々な結合を取り扱うが、その結合は線形結合であり、例えばチャネル信号の和または差である。
【００４０】
一実施形態では、Ｎは２に等しく（Ｎ＝２）、２つのチャネル信号の２つの結合は、和信号および差信号である。別の実施形態では、Ｎは２より大きい。
【００４１】
さらなる実施形態では、この装置は変換器を含む。変換器は、信号を時間ドメインから周波数ドメインへ変換することによって変換済み信号を提供するように構成される。変換器は、信号を時間ドメインから周波数ドメインへ変換し、その後、これらの信号を周波数ドメインで処理することを可能にする。変換されるべき信号は、一実施形態では、多チャネルオーディオ信号に含まれるチャネル信号である。
【００４２】
一実施形態によれば、変換器は、短時間フーリエ変換を適用することによって変換済み信号を提供するように構成される。短時間フーリエ変換または代替的に短期フーリエ変換とも呼ばれる変換(STFT)は、時間とともに変化する信号の局部セクションのフーリエ関連変換である。実際には、長い信号は等しい長さの短いセグメントに分割され、フーリエ変換は各セグメントに対して別個に計算される。
【００４３】
さらなる実施形態では、この装置は結合器を含み、結合器はチャネル信号に基づいて結合信号を提供するように構成される。変換器は、変換を適用することによって、結合信号に基づく変換済み信号を提供するように構成される。ここでは、チャネル信号は結合され、それら結合は周波数ドメインに変換される。
【００４４】
別の実施形態では、結合器および変換器のシーケンスの順序は逆転される。この実施形態では、この装置に含まれる結合器は、変換器によって提供される変換済み信号に基づいて、結合信号を提供するように構成される。この実施形態では、結合器は、変換器から変換済み信号を受信し、結合信号を提供するためにそれらを結合する。このように、チャネル信号は、個別に周波数ドメインに変換され、結合器によってこのドメイン内で結合される。
【００４５】
さらなる実施形態では、結合器は、２つの変換済み信号の和を計算することによって、結合信号としての和信号を提供するように構成される。この実施形態では、変換済み信号を介した和の形態でのチャネル信号の線形結合が、少なくとも１つの結合信号を提供するために使用される。多チャネルオーディオ信号が、例えばステレオ信号として２つのチャネル信号を含む場合、和信号である１つの結合信号を得るために、両方のチャネル信号が互いに加算される。別の実施形態では、結合器は、少なくとも２つのチャネル信号から成る複数のチャネル信号の和を計算する。
【００４６】
一実施形態によれば、結合器は、２つの変換済み信号間の差を計算することによって、結合信号としての差信号を提供するように構成される。この実施形態では、信号の線形結合は、２つの信号間の差である。結合されるべき信号は、ここでは変換済み信号である。別の実施形態では、結合器は２つのチャネル信号間の差を計算する。
【００４７】
一実施形態によれば、結合器は、Ｎ個の変換済み信号を含む多チャネル信号に対し、次式に従ってＮ×Ｎの寸法を有するミキシング行列−ｇと呼ぶ−を適用することによって、結合信号を提供するように構成される。
2019518988.tif 000008
【００４８】
Ｎは多チャネルオーディオ信号に含まれるチャネル信号の数であり、
2019518988.tif 000009
は変換済み信号に基づく行列化された（matriced）多チャネル信号であり、従って、結合信号を一般的な形式で表す。
【００４９】
換言すると、結合器は、Ｎ個の変換済み信号−望ましくは行列化されたフォーマットで−に対してＮ×Ｎの寸法を有するミキシング行列を適用することにより結合信号を提供するように構成され、ここで、変換済み信号は多チャネルオーディオ信号に属するＮ個のチャネル信号に基づいている。
【００５０】
ミキシング行列が同数の列と行とを有するので、結合される信号の数は、次式に示されるように、結合信号の数に等しい。
2019518988.tif 000010
【００５１】
ミキシング行列の適用は、次式に示すように、その行列のｋ番目の行の対応する要素により乗算された多チャネルオーディオ信号の全てのチャネル信号を合計することによって、結合信号のｋ番目のチャネル信号を計算することと等価である。
2019518988.tif 000011
【００５２】
別の実施形態では、定義されたミキシング行列はＮ個のチャネル信号に基づいたある信号に適用される。ミキシング行列は、変換済み信号またはチャネル信号のいずれかである任意の所与の数の信号を結合することを可能にする。
【００５３】
さらなる実施形態では、位相アダプタは、位相ボコーダ法を適用することによって、位相を修正するように構成される。位相ボコーダは、位相情報を使用することにより、オーディオ信号の周波数ドメインと時間ドメインとの両方をスケーリングするボコーダである。
【００５４】
一実施形態によれば、位相アダプタは、振幅と修正された位相とを有する処理済み信号をそれらの極座標によって提供するように構成される。したがって、Ｎ＝２チャネル信号Ｙs，Ｙdを有する一実施形態では、処理済み信号は次式により与えられ、
2019518988.tif 000012
ここで、Φs/d＝ａｒｇ  Ｙs/dおよびｊ＝√（−１）である。
【００５５】
セパレータは、結合信号に基づく処理済み信号に基づいた個別の信号を提供する。セパレータによって提供される信号は、時間スケール修正されたチャネル信号として使用される。したがって、一実施形態によれば、多チャネルオーディオ信号がＮ個のチャネル信号を含む場合、セパレータはＮ個の分離信号を提供する。
【００５６】
一実施形態によれば、セパレータは、処理済み信号のうちの２つの間の差に基づく１つの分離信号を提供するように構成される。
【００５７】
さらなる実施形態では、セパレータは、処理済み信号のうちの２つの和に基づく１つの分離信号を提供するように構成される。
【００５８】
一実施形態では、セパレータは、処理済み信号の各結合の振幅に対してある係数−例えば０．５−を適用する。
【００５９】
一実施形態によれば、セパレータは、Ｎ×Ｎの寸法を持つ逆ミキシング行列を、Ｎ個の処理済み信号に基づく行列化された信号に適用することにより、Ｎ個の分離信号を提供するように構成される。Ｎは、多チャネルオーディオ信号に含まれるチャネル信号の数である。この実施形態は、任意の所与の数の処理済み信号を処理し、対応する数の分離信号を提供することを可能にする。逆ミキシング行列は、結合信号を得るために使用されるミキシング行列の逆行列である。
【００６０】
一実施形態によれば、この装置は補正器を含み、補正器は、分離信号の振幅を多チャネルオーディオ信号に含まれるチャネル信号の振幅に基づく振幅で置換することによって、分離信号を補正するように構成される。
【００６１】
この実施形態は、チャネル信号の線形結合を処理すること、及び信号が周波数ドメインにおいて修正された後に振幅補正手順を適用することを含む。
【００６２】
このように、本方法の新しさは、この実施形態では２つの段階にある。すなわち、
１）ＴＳＭ処理を、好ましくは線形結合、例えば和信号および差信号に適用すること、及び
２）チャネル間レベル差（ＩＣＬＤ）を回復するために、時間−周波数ドメインにおける出力信号の振幅を回復する処理を適用することである。
【００６３】
さらなる実施形態では、補正器は、分離信号の振幅を、変換器によって提供された対応する変換済み信号の振幅、すなわち周波数ドメインにおけるチャネル信号の振幅によって置換するように構成される。
【００６４】
このように、補正器は、適応された位相を有する分離信号の振幅を適応化前の対応する信号の振幅によって置換する。したがって、元の振幅が回復される。
【００６５】
以下の実施形態は、周波数ドメインにおいて信号を処理し、かつ時間ドメインにおいてそれらを処理することを可能にする。
【００６６】
一実施形態では、この装置は逆変換器を含む。逆変換器は、逆変換を適用することによって、分離信号に基づく修正済みチャネル信号を提供するように構成される。この逆変換は、一実施形態では、周波数ドメインから時間ドメインへ信号を変換する。
【００６７】
他の実施形態によれば、本装置は逆変換器を含む。逆変換器は、逆変換を適用することによって、補正器によって提供された補正済み信号に基づいて補正され修正されたチャネル信号を提供するように構成される。
【００６８】
別の実施形態によれば、逆変換器は、逆短時間フーリエ変換を適用するように構成される。
【００６９】
このように、逆変換器は、位相適応の前のステップで実行されるある種の変換を逆転するように構成される。
【００７０】
一実施形態によれば、この装置は抽出器を含み、抽出器は、多チャネルオーディオ信号に含まれるチャネル信号を提供するように構成される。この実施形態では、本装置は、例えば多チャネルオーディオ信号を受信し、抽出器は個々のチャネル信号を提供する。別の実施形態では、チャネル信号はこの装置に個別に供給される。
【００７１】
以下の実施形態は、計算ステップが容易になり、そのユニットに対する要件が緩和され得る。
【００７２】
一実施形態によれば、この装置は、チャネル信号の他の結合よりも、より精度の低い信号間の差に基づくチャネル信号の結合に対してステップを実行するように構成される。
【００７３】
この目的は、多チャネルオーディオ信号を処理する方法によっても達成される。
【００７４】
この方法は、少なくとも以下のステップを含む：
多チャネルオーディオ信号に含まれるチャネル信号に基づく少なくとも１つの結合信号を提供するステップ、
結合信号の時間スケール変調を実行することによって処理済み信号を提供するステップ、及び
処理済み信号の分離に基づいて修正済みチャネル信号を提供するステップ。
【００７５】
時間スケール変調は、一実施形態では、位相適応によって実行される。
【００７６】
一実施形態によれば、本方法は、振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、修正済みチャネル信号の振幅を修正するステップをさらに含む。
【００７７】
この実施形態では、以下のステップが起こる。すなわち、チャネル信号は結合信号へと結合される。結合信号又はこの結合信号に基づく信号は、時間スケール修正を実行するために位相適応を受ける。位相適応された信号は、分離信号に分離される。それら信号は位相と振幅とを含む。これら信号の振幅／大きさは、チャネル信号に基づく振幅によって置換される。
【００７８】
本装置の実施形態は、方法のステップおよび方法の対応する実施形態によって実施することもできる。したがって、装置の実施形態について与えられた説明は、本方法についても当てはまる。
【００７９】
この目的は、コンピュータまたはプロセッサ上で実行されるときに、前述の実施形態のいずれかの方法を実行するコンピュータプログラムによっても達成される。
【００８０】
以下では、添付図面および添付図面に記載された実施形態に関連して、本発明について説明する。
【図面の簡単な説明】
【００８１】
【図１】従来技術による周波数ドメインにおける時間スケール修正方法のブロック図である。
【図２】２つのチャネルを有する入力オーディオ信号のための本発明の時間スケール修正方法のブロック図である。
【図３】本装置の一実施形態を概略的に示す。
【図４】この装置の異なる実施形態を示す。
【図５】図４の実施形態の一般的なバージョンを示す。
【発明を実施するための形態】
【００８２】
２つのチャネル（例えばステレオサウンドの左チャネルおよび右チャネル）を有する入力信号の例である、本発明方法の一実施形態のブロック図が図２に示されている。
【００８３】
入力オーディオ信号はｘ＝［ｘ1ｘ2］Tであり、ここで、ｘ1は第１チャネル信号を表し、ｘ2は第２チャネル信号を表す。短時間フーリエ変換（ＳＴＦＴ）表現は、ｘ1およびｘ2に対して計算され、ステップＳＴＦＴにおいてそれぞれＸ1およびＸ2を得る。
【００８４】
本発明によれば、和信号Ｘsおよび差信号Ｘdが、多チャネルオーディオ信号のチャネル信号−ここでは変換済みチャネル信号Ｘ1およびＸ2−から、ＭＳと名付けられたステップにおいて、次式に従って計算される。
2019518988.tif 000013
【００８５】
別の実施形態では、ＳＴＦＴとステップＭＳにおける信号の結合との順序が切り替えられる。これは、和信号及び差信号の計算は時間ドメインでも実行することができ、かつＳＴＦＴを時間ドメインの和信号及び差信号から計算できる、ことを考慮している。しかしながら、計算負荷を低減するために、図２に示すような順序を適用するのが有利である。
【００８６】
次に、和信号Ｘs及び差信号Ｘdは、位相適応（ＰＡ）法によって、例えば［非特許文献２］に記載された位相ボコーダ法又は他の時間スケール修正法を使用して、処理される。処理された和信号および差信号は、それぞれＹsおよびＹdで示される。
【００８７】
これに続いて、例えば信号ＹsおよびＹdを逆短時間フーリエ変換により変換することによって、ステップｉｎｖｅｒｓｅＭＳにおける逆変換が行われる。
【００８８】
第１及び第２のチャネルについての処理済み信号は、図示の実施例においては、以下の式（８）及び（９）を適用することにより、すなわち式（６）及び（７）の逆処理を適用することにより、得られる。
【００８９】
したがって、２つの分離信号Ｙ1およびＹ2は、図示の実施形態では、次式で与えられる。
2019518988.tif 000014
【００９０】
一般的な形態では、（結合信号の例としての）和信号と差信号の計算は、次式のように行列表記で表され、
2019518988.tif 000015
ここで、入力信号のＳＴＦＴ係数Ｘ＝［Ｘ1…ＸN］T、チャネル数Ｎ、行列化された信号のＳＴＦＴ係数
2019518988.tif 000016
及びサイズＮ×Ｎのミキシング行列ｇを用いる。
【００９１】
例えば、和信号Ｘsと差信号Ｘd−式（６）、（７）で与えられる−とは、Ｎ＝２について、
2019518988.tif 000017
及び
2019518988.tif 000018
と設定することにより、取得される。
【００９２】
行列演算の逆処理、すなわち行列化された信号
2019518988.tif 000019
からチャネル信号Ｙ＝［Ｙ1…ＹN］Tを計算することは、次式から得られ、
2019518988.tif 000020
ここで、
2019518988.tif 000021
は
2019518988.tif 000022
に適用されたＰＡ処理の結果であり、ｇ-1は行列ｇの逆行列である。この一般化を用いて、提案の方法は、２より多いチャネルを有する信号にも適用することができる。
【００９３】
上述の実施形態の非常に有利なステップは、スペクトル係数の大きさを補正することであり、それにより、結果として得られる複素値スペクトル係数は、式（８）および（９）を使用する分離ステップの結果の位相と、変換済みチャネル信号Ｘ1およびＸ2の大きさとを有する。
【００９４】
分離信号は、極座標で次式のように与えられる。
2019518988.tif 000023
ここで  Φy,1/2＝ａｒｇ  Ｙ1/2及びｊ＝√−１である。
【００９５】
したがって、図示された２チャネル入力信号に対して、ステップＭＣに続く補正済み信号Ｚ1及びＺ2は、次式で与えられる。
2019518988.tif 000024
【００９６】
このステップは、オーディオ信号のチャネル間レベル差(ICLD)が保持されることを保証する。
【００９７】
つまりこのステップでは、処理済み信号の大きさが変換済みチャネル信号の元の振幅によって置換される。
【００９８】
２より多いチャネルを有する入力信号の一般的な場合において逆行列演算後−すなわち個別の位相適応後に分離信号への分離後−の各出力信号は、一実施形態において、その大きさが対応する−好ましくは変換済みの−チャネル信号（行列化前、すなわち異なるチャネル信号の結合を計算する前）の大きさによって置換されるように修正される。
【００９９】
このＰＡ処理は、かなりの計算複雑性を有する。それは、計算負荷を低減するために、より低い精度で実施され得る様々な処理ステップを含む。
【０１００】
例えば、デカルト座標によって与えられる複素数(実数成分および虚数成分)の極座標(大きさおよび位相)の計算は、より低いまたはより高い精度で実施することができる。より低い精度での計算は、より低い計算コストを有するが、誤差を導入してしまいがちである。
【０１０１】
計算負荷は、典型的なオーディオ信号（例えば音楽録音又は放送信号）について、和信号が差信号よりも高いエネルギーを有するという事実を有利に利用することによって、低減することができる。計算における近似に起因する誤差は、それらが差信号に導入される場合にはより小さい影響を有し、和信号に生じる場合にはより大きな影響を有する。これは、差信号Ｙdを計算する際により低い精度の方法を適用し、かつ和信号Ｙsを計算する際により高い精度の方法を適用することによって、活用することができる。
【０１０２】
計算負荷を低減するための他の手段は、ある処理ステップをスキップすることである。例えば、差信号Ｙdを算出する際に、位相同期をスキップすることができる。位相同期とは、音質を改善するための付加的な処理ステップのことである。計算負荷を低減するために、位相同期処理を適用することなく位相伝播が維持されるように、差信号Ｙdの位相が計算される。
【０１０３】
計算負荷を低減するための別の手段は、ある最大周波数値までだけに、高品質（位相同期のようなすべての処理ステップを含む高い精度）での処理を適用することである。例えば、４８ｋＨｚでサンプリングされたデジタル信号の場合、高品質の処理は、１０ｋＨｚの最大値までの周波数帯域にのみ適用される。差信号の計算については、最良の可能な品質で処理が適用される最大周波数をさらに低減することができる。
【０１０４】
図３は、多チャネルオーディオ信号１００の時間スケール修正を実行する装置１の一実施形態を示す。多チャネルオーディオ信号１００は、２よりも多いチャネル信号を含んでもよい。時間スケール修正は、位相適応によって達成される。
【０１０５】
抽出器２は、多チャネルオーディオ信号１００に含まれるチャネル信号ｘ1,ｘ2を回収する。図示の実施形態では、２つのチャネル信号のみが存在する。しかしながら、本発明は、２チャネル信号に限定されるものではない。
【０１０６】
異なる実施形態−図示せず−では、チャネル信号ｘ1,ｘ2は装置１に別個に供給される。したがって、このような実施形態では抽出器は必要とされない。
【０１０７】
チャネル信号ｘ1、ｘ2は時間ドメインの信号であり、図示の実施形態では変換器３に送られる。変換器３はチャネル信号ｘ1,ｘ2を周波数ドメインに変換し、変換済み信号Ｘ1，Ｘ2を供給する。
【０１０８】
変換済み信号Ｘ1，Ｘ2は結合器４に送られる。結合器４は、−この実施例では−変換済み信号Ｘ1,Ｘ2の線形結合を適用すること、例えば変換済み信号の和Ｘsを計算し、かつそれらの間の差Ｘdを計算することによって、変換済み信号Ｘ1,Ｘ2を結合する。結合信号の数は、一実施形態ではチャネル信号の数と同じである。
【０１０９】
異なる実施形態−図示せず−では、変換器３と結合器４とのシーケンスは逆転される。これは、この異なる図示されていない実施例では、結合器４がチャネル信号を結合してから、変換器３がその結合信号を変換することを意味する。
【０１１０】
図示の実施形態では、結合信号−変換され結合されたチャネル信号である−ＸsおよびＸdは位相アダプタ５に送られる。
【０１１１】
位相アダプタ５は、結合信号ＸsおよびＸdの位相を修正し、処理済み信号ＹsおよびＹdを提供する。処理済み信号ＹsおよびＹdは、結合信号ＸsおよびＸdの適切な時間スケール修正を反映している適応された位相を有する。このように、結合信号は、スローダウンされるかまたはスピードアップされる。
【０１１２】
時間スケール修正されたチャネル信号を得るために、処理済み信号ＹsおよびＹdは、分離信号Ｙ1およびＹ2を提供するセパレータ６によって分離され、これら分離信号は逆変換器７によって逆変換される。結果として得られた修正済みチャネル信号ｙ1およびｙ2は時間信号であり、所望の時間スケールを有する。
【０１１３】
図４は、装置１の異なる実施形態を示す。
【０１１４】
図４に示す装置１の構造は、図３に示した実施形態と同様である。両実施形態の差は、セパレータ６に続くユニットによって与えられる。他の要素についての説明は、図３の説明を参照されたい。
【０１１５】
図４に示された実施形態におけるセパレータ６も、分離信号Ｙ1及びＹ2を提供する。これら周波数ドメイン信号Ｙ1およびＹ2は、この実施形態では逆変換器７の上流にある補正器８に送られる。
【０１１６】
補正器８は、分離信号Ｙ1及びＹ2の振幅を、対応する変換済み信号Ｘ1及びＸ2の振幅によって置換する。即ち、位相適応前及び特にチャネル信号の結合前の振幅又は大きさを用いて置換する。
【０１１７】
結果として得られる補正され又は振幅修正された信号Ｚ1及びＺ2（式（１２）及び（１３）と比較する）は、逆変換器７に送られ、補正されかつ修正されたチャネル信号ｚ1,ｚ2として時間ドメインに変換される。
【０１１８】
補正を可能にするために、変換器３は補正器８と接続されている。
【０１１９】
図示されていない更なる実施形態では、変換器３と結合器４の順序が逆転し、よって変換器３は結合信号を変換する。その場合、分離信号Ｙ1，Ｙ2の補正のために、補正器８は対応するチャネル信号ｘ1，ｘ2のさらなる変換信号を参照する。
【０１２０】
図５の実施例は、図４に示された実施例の一般化されたバージョンである。
【０１２１】
ここで、多チャネルオーディオ信号１００はＮ個のチャネル信号ｘ1,ｘ2,…,ｘNを含み、Ｎは２より大きい整数である。
【０１２２】
抽出器２によって回収された時間信号であるチャネル信号ｘ1，ｘ2,…,ｘNは変換器３へ送られ、変換器３は、周波数ドメインにおける変換済み信号Ｘ1，Ｘ2,…,ＸNを提供し、これら変換済み信号はここではベクトル
2019518988.tif 000025
によって与えられる（代替的にはＸによって与えられる）。
【０１２３】
次の結合器４は、式（１０）を適用することによって、線形結合のベクトル
2019518988.tif 000026
を提供する。
【０１２４】
次に、位相アダプタ５が処理済み信号（ここではベクトル
2019518988.tif 000027
によって与えられる）を提供し、その処理済み信号はセパレータ６によって分離される。分離信号Ｙ1,Ｙ2,…,ＹN（ここではベクトル
2019518988.tif 000028
によって与えられる)は、補正器８によってそれらの振幅に関して補正される。補正済み信号Ｚ1,Ｚ2,…,ＺN（ここではベクトル
2019518988.tif 000029
によって与えられる）が逆変換器７に送られ、補正されかつ修正されたＮ個のチャネル信号ｚ1、ｚ2,…,ｚNを得る。大文字から小文字への切り替えは、周波数ドメインから時間ドメインへの変換を示している。
【０１２５】
いくつかの態様が装置に関して説明されてきたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明を表すことは明らかである。同様に、方法ステップの文脈において説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって実行される(または使用される)ことが可能である。いくつかの実施形態において、最も重要な方法ステップのうちのいくつかの一つまたは複数は、そのような装置によって実行されてもよい。
【０１２６】
本発明の伝送されまたは符号化された信号は、デジタル記憶媒体に記憶することができ、または無線伝送媒体またはインターネットなどの有線伝送媒体のような伝送媒体上で伝送することができる。
【０１２７】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアで実施されてもよいし、ソフトウェアで実施されてもよい。この実施は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号を記憶するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
【０１２８】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの一つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【０１２９】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で実行されるときに、その方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
【０１３０】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載された方法のうちの一つを実行するコンピュータプログラムを含む。
【０１３１】
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。
【０１３２】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの一つを実行するコンピュータプログラムを記録したデータキャリア(または、デジタル記憶媒体などの非一時的記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および／または非一時的である。
【０１３３】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の一つを実行するコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、インターネットを介するなど、データ通信接続を介して転送されるように構成されてもよい。
【０１３４】
さらなる実施形態は、本明細書に記載される方法の一つを実行するように構成されるか、または適応されるように構成される、処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。
【０１３５】
さらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムをその上にインストールされたコンピュータを含む。
【０１３６】
本発明によるさらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムを受信機に転送する(例えば、電子的にまたは光学的に)ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
【０１３７】
いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に記載される方法の機能のいくつかまたは全ての機能を実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法のうちの一つを実行するためにマイクロプロセッサと協働することができる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
【０１３８】
上述した実施形態は、本発明の原理を説明するためのものである。本明細書中に記載される配置および詳細の変更および変形は、当業者には明らかであることが理解される。従って、本明細書の実施形態の説明および記載によって提示される特定の詳細によるものではなく、本願の特許請求の範囲によってのみ限定されることが意図される。
【図１】
2019518988.tif 000030
【図２】
2019518988.tif 000031
【図３】
2019518988.tif 000032
【図４】
2019518988.tif 000033
【図５】
2019518988.tif 000034
【手続補正書】
【提出日】平成30年7月27日(2018.7.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する装置（１）であって、
前記装置（１）は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
前記装置（１）は、
前記チャネル信号（ｘ1,ｘ2）に基づく結合信号（Ｘs，Ｘd）を提供する結合器（４）であって、２つのチャネル信号（ｘ1,ｘ2）の和を計算することによって和信号（Ｘs）を提供し、かつ２つのチャネル信号（ｘ1,ｘ2）の差を計算することによって差信号（Ｘd）を提供するよう構成される、結合器（４）と、
位相アダプタ（５）であって、前記位相アダプタ（５）は、前記和信号（Ｘs）の位相を修正することによって少なくとも１つの処理済み信号（Ｙs）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｙd）を提供するよう構成されており、前記位相アダプタ（５）は、位相ボコーダ法を適用して前記位相を修正するよう構成されるか、位相同期を適用して前記位相を修正するよう構成されるか、又は水平位相コヒーレンスが維持されるように前記位相を修正するよう構成される、位相アダプタ（５）と、
前記少なくとも１つの処理済み信号（Ｙs）と前記差信号（Ｘd）又は前記処理済み差信号（Ｙd）とに基づいて分離信号（Ｙ1,Ｙ2）を提供するように構成されるセパレータ（６）であって、前記結合器（４）によって適用される前記チャネル信号の結合を逆転するよう構成される、セパレータ（６）と、
を備える装置（１）。
【請求項２】
前記位相アダプタ（５）は、Ｎ個のチャネル信号（ｘ1,ｘ2）の結合に基づくＮ個の信号（Ｘs，Ｘd）の位相を修正することによって、Ｎ個の処理済み信号（Ｙs，Ｙd）を提供するように構成され、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）に基づいてＮ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、請求項１に記載の装置（１）。
【請求項３】
前記チャネル信号（ｘ1,ｘ2）のＮ個の結合は、前記チャネル信号（ｘ1,ｘ2）の線形結合であることを特徴とする、請求項２に記載の装置（１）。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置（１）であって、
前記装置（１）は変換器（３）を備え、
前記変換器（３）は、信号を前記時間ドメインから前記周波数ドメインに変換することによって変換信号（Ｘ1,Ｘ2）を提供するよう構成される、装置（１）。
【請求項５】
請求項４に記載の装置（１）であって、
前記変換器（３）は、短時間フーリエ変換を適用するよう構成されている、装置（１）。
【請求項６】
請求項４又は５に記載の装置（１）であって、
前記結合器（４）は、前記チャネル信号（ｘ1,ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するように構成され、
前記変換器（３）は、変換を適用することによって前記結合信号に基づく変換済み信号を提供するよう構成される、装置（１）。
【請求項７】
請求項４または５に記載の装置（１）であって、
前記結合器（４）は、前記変換器（３）によって提供される変換信号（Ｘ1,Ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するよう構成される、装置（１）。
【請求項８】
請求項７に記載の装置（１）において、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）の和を計算することによって和信号（Ｘs）を提供するよう構成されている、装置（１）。
【請求項９】
請求項７または８に記載の装置（１）であって、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）間の差を計算することによって差信号（Ｘd）を提供するよう構成されている、装置（１）。
【請求項１０】
請求項７に記載の装置（１）であって、
前記結合器（４）は、前記多チャネルオーディオ信号（１００）に属するＮ個のチャネル信号（ｘ1,ｘ2）に基づくＮ個の変換済み信号（Ｘ1,Ｘ2）に対し、Ｎ×Ｎの寸法を持つミキシング行列（ｇ）を適用することによって、前記結合信号（Ｘs，Ｘd）を提供するよう構成され、
前記Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１１】
請求項４又は５に記載の装置（１）であって、
前記変換器（３）は分析ホップサイズＲaを有し、
前記装置（１）は逆変換器（７）をさらに含み、前記逆変換器（７）は合成ホップサイズＲsを有し、
前記合成ホップサイズＲsと分析ホップサイズＲaとは異なる値に設定され、Ｒa＜Ｒsの場合に前記時間スケール修正は時間的な信号伸張であり、又はＲa＞Ｒsの場合に前記時間スケール修正は時間的な信号収縮である、装置（１）。
【請求項１２】
請求項２〜１１のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの間の差に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するように構成されている、装置（１）。
【請求項１３】
請求項２〜１２のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの和に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するよう構成されていることを特徴とする、装置（１）。
【請求項１４】
請求項２〜１３のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、Ｎ個の処理済み信号（Ｙs，Ｙd）に基づく行列化された信号に対し、Ｎ×Ｎの寸法を持つ逆ミキシング行列（ｇ-1）を適用することによって、Ｎ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１５】
請求項１〜１４のいずれか１項に記載の装置（１）であって、
前記装置（１）は補正器（８）を備え、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を前記チャネル信号（ｘ1,ｘ2）の振幅に基づく振幅で置換することによって、前記分離信号（Ｙ1,Ｙ2）を修正するように構成されている、装置（１）。
【請求項１６】
請求項１６に記載の装置（１）であって、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を、変換器（３）によって提供される変換済み信号（Ｘ1,Ｘ2）の振幅で置換するように構成されている、装置（１６）。
【請求項１７】
請求項１乃至１６のいずれか１項に記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、逆変換を適用することによって、前記分離信号（Ｙ1,Ｙ2）に基づく修正されたチャネル信号（ｙ1，ｙ2）を提供するよう構成される、装置（１）。
【請求項１８】
請求項１５又は１６に記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、逆変換を適用することによって、前記補正器（８）によって提供される補正済み信号（Ｚ1，Ｚ2）に基づく補正され修正されたチャネル信号（ｚ1，ｚ2）を提供するように構成されている、装置（１）。
【請求項１９】
請求項１７または１８に記載の装置（１）であって、
前記逆変換器（７）は、逆短時間フーリエ変換を適用するように構成されている、装置（１）。
【請求項２０】
請求項１乃至１９のいずれか１項に記載の装置（１）であって、
前記装置（１）は抽出器（２）を備え、
前記抽出器（２）は、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）を提供するよう構成される、装置（１）。
【請求項２１】
請求項１乃至２０のいずれか１項に記載の装置（１）であって、
前記装置（１）は、チャネル信号の他の結合よりも、精度の低い信号間の差に基づくチャネル信号（ｘ1,ｘ2）の結合に対してステップを実行するように構成されている、装置（１）。
【請求項２２】
複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する方法であって、前記方法は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
前記方法は、
前記チャネル信号（ｘ1,ｘ2）に基づく結合信号（Ｘs，Ｘd）を提供するステップであって、前記結合信号は、２つのチャネル信号（ｘ1,ｘ2）の和から計算される和信号（Ｘs）と、２つのチャネル信号（ｘ1,ｘ2）の差から計算される差信号（Ｘd）とを含む、ステップと、
前記和信号（Ｘs）の位相を修正することによって少なくとも１つの処理済み信号（Ｙs）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｘd）を提供するステップであって、前記処理済み信号を提供するステップは、位相ボコーダ法を適用して前記位相を修正するか、位相ロックを適用して位相を修正するか、又は水平位相コヒーレンスが維持されるように前記位相を修正するかを含む、ステップと、
前記少なくとも１つの処理済み信号（Ｙs）と前記差信号（Ｘd）又は前記処理済み差信号（Ｙd）とに基づく分離信号（Ｙ1,Ｙ2）を提供するステップであって、前記分離信号（Ｙ1,Ｙ2）を提供するステップは前記結合信号（Ｘs，Ｘd）を提供するステップによって適用される、前記チャネル信号の結合の逆転を含む、ステップと、
を含む方法。
【請求項２３】
請求項２２に記載の方法であって、
修正済みチャネル信号の振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、前記修正済みチャネル信号の振幅を修正するステップをさらに含む、方法。
【請求項２４】
コンピュータまたはプロセッサ上で実行されたときに、請求項２２または２３に記載の方法を実行するコンピュータプログラム。
【手続補正書】
【提出日】平成30年12月21日(2018.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する装置（１）であって、
前記装置（１）は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
前記装置（１）は、
前記チャネル信号（ｘ1,ｘ2）に基づく結合信号（Ｘs，Ｘd）を提供する結合器（４）であって、２つのチャネル信号（ｘ1,ｘ2）の和を計算することによって和信号（Ｘs）を提供し、かつ２つのチャネル信号（ｘ1,ｘ2）の差を計算することによって差信号（Ｘd）を提供するよう構成される、結合器（４）と、
位相アダプタ（５）であって、前記位相アダプタ（５）は、前記和信号（Ｘs）の位相を修正することによって少なくとも１つの処理済み信号（Ｙs）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｙd）を提供するよう構成されており、前記位相アダプタ（５）は、位相ボコーダ法を適用して前記位相を修正するよう構成されるか、位相同期を適用して前記位相を修正するよう構成されるか、又は水平位相コヒーレンスが維持されるように前記位相を修正するよう構成される、位相アダプタ（５）と、
前記少なくとも１つの処理済み信号（Ｙs）と前記差信号（Ｘd）又は前記処理済み差信号（Ｙd）とに基づいて分離信号（Ｙ1,Ｙ2）を提供するように構成されるセパレータ（６）であって、前記結合器（４）によって適用される前記チャネル信号の結合を逆転するよう構成される、セパレータ（６）と、
を備える装置（１）。
【請求項２】
前記位相アダプタ（５）は、Ｎ個のチャネル信号（ｘ1,ｘ2）の結合に基づくＮ個の信号（Ｘs，Ｘd）の位相を修正することによって、Ｎ個の処理済み信号（Ｙs，Ｙd）を提供するように構成され、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）に基づいてＮ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、請求項１に記載の装置（１）。
【請求項３】
前記チャネル信号（ｘ1,ｘ2）のＮ個の結合は、前記チャネル信号（ｘ1,ｘ2）の線形結合であることを特徴とする、請求項２に記載の装置（１）。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置（１）であって、
前記装置（１）は変換器（３）を備え、
前記変換器（３）は、信号を前記時間ドメインから前記周波数ドメインに変換することによって変換信号（Ｘ1,Ｘ2）を提供するよう構成される、装置（１）。
【請求項５】
請求項４に記載の装置（１）であって、
前記変換器（３）は、短時間フーリエ変換を適用するよう構成されている、装置（１）。
【請求項６】
請求項４又は５に記載の装置（１）であって、
前記結合器（４）は、前記チャネル信号（ｘ1,ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するように構成され、
前記変換器（３）は、前記結合信号に変換を適用することによって、変換済み信号を提供するよう構成される、装置（１）。
【請求項７】
請求項４または５に記載の装置（１）であって、
前記結合器（４）は、前記変換器（３）によって提供される変換信号（Ｘ1,Ｘ2）に基づいて結合信号（Ｘs，Ｘd）を提供するよう構成される、装置（１）。
【請求項８】
請求項７に記載の装置（１）において、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）の和を計算することによって和信号（Ｘs）を提供するよう構成されている、装置（１）。
【請求項９】
請求項７または８に記載の装置（１）であって、
前記結合器（４）は、２つの変換済み信号（Ｘ1,Ｘ2）間の差を計算することによって差信号（Ｘd）を提供するよう構成されている、装置（１）。
【請求項１０】
請求項７に記載の装置（１）であって、
前記結合器（４）は、前記多チャネルオーディオ信号（１００）に属するＮ個のチャネル信号（ｘ1,ｘ2）に基づくＮ個の変換済み信号（Ｘ1,Ｘ2）に対し、Ｎ×Ｎの寸法を持つミキシング行列（ｇ）を適用することによって、前記結合信号（Ｘs，Ｘd）を提供するよう構成され、
前記Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１１】
請求項４又は５に記載の装置（１）であって、
前記変換器（３）は分析ホップサイズＲaを有し、
前記装置（１）は逆変換器（７）をさらに含み、前記逆変換器（７）は合成ホップサイズＲsを有し、
前記合成ホップサイズＲsと分析ホップサイズＲaとは異なる値に設定され、Ｒa＜Ｒsの場合に前記時間スケール修正は時間的な信号伸張であり、又はＲa＞Ｒsの場合に前記時間スケール修正は時間的な信号収縮である、装置（１）。
【請求項１２】
請求項２〜１１のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの間の差に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するように構成されている、装置（１）。
【請求項１３】
請求項２〜１２のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、前記処理済み信号（Ｙs，Ｙd）の２つの和に基づいて１つの分離信号（Ｙ1,Ｙ2）を提供するよう構成されていることを特徴とする、装置（１）。
【請求項１４】
請求項２〜１３のいずれか１項に記載の装置（１）であって、
前記セパレータ（６）は、Ｎ個の処理済み信号（Ｙs，Ｙd）に基づく行列化された信号に対し、Ｎ×Ｎの寸法を持つ逆ミキシング行列（ｇ-1）を適用することによって、Ｎ個の分離信号（Ｙ1,Ｙ2）を提供するように構成され、
Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）の数である、装置（１）。
【請求項１５】
請求項１〜１４のいずれか１項に記載の装置（１）であって、
前記装置（１）は補正器（８）を備え、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を前記チャネル信号（ｘ1,ｘ2）の振幅に基づく振幅で置換することによって、前記分離信号（Ｙ1,Ｙ2）を補正するように構成されている、装置（１）。
【請求項１６】
請求項１５に記載の装置（１）であって、
前記補正器（８）は、前記分離信号（Ｙ1,Ｙ2）の振幅を、変換器（３）によって提供される変換済み信号（Ｘ1,Ｘ2）の振幅で置換するように構成されている、装置（１６）。
【請求項１７】
請求項１乃至１６のいずれか１項に記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、前記分離信号（Ｙ1,Ｙ2）に逆変換を適用することによって、修正されたチャネル信号（ｙ1，ｙ2）を提供するよう構成される、装置（１）。
【請求項１８】
請求項１５又は１６に記載の装置（１）であって、
前記装置（１）は逆変換器（７）を備え、
前記逆変換器（７）は、前記補正器（８）によって提供される補正済み信号（Ｚ1，Ｚ2）に逆変換を適用することによって、補正され修正されたチャネル信号（ｚ1，ｚ2）を提供するように構成されている、装置（１）。
【請求項１９】
請求項１７または１８に記載の装置（１）であって、
前記逆変換器（７）は、逆短時間フーリエ変換を適用するように構成されている、装置（１）。
【請求項２０】
請求項１乃至１９のいずれか１項に記載の装置（１）であって、
前記装置（１）は抽出器（２）を備え、
前記抽出器（２）は、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ1,ｘ2）を提供するよう構成される、装置（１）。
【請求項２１】
請求項１乃至２０のいずれか１項に記載の装置（１）であって、
前記装置（１）は、チャネル信号の他の結合よりも、精度の低い信号間の差に基づくチャネル信号（ｘ1,ｘ2）の結合に対してステップを実行するように構成されている、装置（１）。
【請求項２２】
複数のチャネル信号（ｘ1,ｘ2）を含む多チャネルオーディオ信号（１００）を処理する方法であって、前記方法は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
前記方法は、
前記チャネル信号（ｘ1,ｘ2）に基づく結合信号（Ｘs，Ｘd）を提供するステップであって、前記結合信号は、２つのチャネル信号（ｘ1,ｘ2）の和から計算される和信号（Ｘs）と、２つのチャネル信号（ｘ1,ｘ2）の差から計算される差信号（Ｘd）とを含む、ステップと、
前記和信号（Ｘs）の位相を修正することによって少なくとも１つの処理済み信号（Ｙs）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｙd）を提供するステップであって、前記処理済み信号を提供するステップは、位相ボコーダ法を適用して前記位相を修正するか、位相ロックを適用して位相を修正するか、又は水平位相コヒーレンスが維持されるように前記位相を修正するかを含む、ステップと、
前記少なくとも１つの処理済み信号（Ｙs）と前記差信号（Ｘd）又は前記処理済み差信号（Ｙd）とに基づく分離信号（Ｙ1,Ｙ2）を提供するステップであって、前記分離信号（Ｙ1,Ｙ2）を提供するステップは前記結合信号（Ｘs，Ｘd）を提供するステップによって適用される、前記チャネル信号の結合の逆転を含む、ステップと、
を含む方法。
【請求項２３】
請求項２２に記載の方法であって、
修正済みチャネル信号の振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、前記修正済みチャネル信号の振幅を修正するステップをさらに含む、方法。
【請求項２４】
コンピュータまたはプロセッサ上で実行されたときに、請求項２２または２３に記載の方法を実行するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、多チャネルオーディオ信号を処理する装置に関する。多チャネルオーディオ信号は、複数の−すなわち少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール修正を実行する。本発明は、対応する方法およびコンピュータプログラムにも関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
この目的は、多チャネルオーディオ信号を処理する装置によって達成される。多チャネルオーディオ信号は、複数の−または少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール修正を実行するように構成され、即ち、多チャネルオーディオ信号は、そのピッチに影響を及ぼすことなくスローダウンされるか又はスピードアップされる。この装置は、位相アダプタとセパレータとを含む。位相アダプタは、チャネル信号同士の結合に基づくある信号の位相を修正することによって、少なくとも１つの処理済み信号を提供するように構成される。セパレータは、少なくとも１つの処理済み信号に基づいて複数の分離信号を提供するように構成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
この方法は、少なくとも以下のステップを含む：
多チャネルオーディオ信号に含まれるチャネル信号に基づく少なくとも１つの結合信号を提供するステップ、
結合信号の時間スケール修正を実行することによって処理済み信号を提供するステップ、及び
処理済み信号の分離に基づいて修正済みチャネル信号を提供するステップ。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
時間スケール修正は、一実施形態では、位相適応によって実行される。
【国際調査報告】
2019518988.tif 000035
2019518988.tif 000036
2019518988.tif 000037
2019518988.tif 000038