(57)【要約】【課題】音声信号処理方法および装置を提供する。【解決手段】本発明の実施形態は、音声信号処理方法および装置を開示し、オーディオ信号処理分野に関し、端末を取囲む三次元音場において信号を収集および処理することができる。本発明における方法は、三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、当該方法はさらに、取得された音声信号に従って、移動端末に対する音源の方向を取得するステップと、移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、空間オーディオ信号は、三次元音場をシミュレートするために使用される。本発明は、端末を取囲む三次元音場において信号を収集および処理するプロセスに適用可能である。【選択図】図１
2016052117.tif 000002
【特許請求の範囲】
【請求項１】
音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを備え、少なくとも３つのマイクロホンが前記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理方法はさらに、
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップと、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理方法。
【請求項２】
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップは、
前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記取得するステップはさらに、
前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップを備える、請求項１に記載の音声信号処理方法。
【請求項３】
【数１】
2016052117.tif 000052
【請求項４】
【数２】
2016052117.tif 000053
【請求項５】
前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップは、
以下に従って、前記移動端末に対する前記音源の前記方向θを取得するステップを備え、
【数３】
2016052117.tif 000054
前記第１のマイクロホンおよび第２のマイクロホンは、前記移動端末の１つの面の対称軸上に位置し、それぞれ前記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、前記移動端末の別の面の対称軸上に位置し、それぞれ前記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は前記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は前記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は前記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は前記第４のマイクロホンに対応する座標を表わす、請求項３に記載の音声信号処理方法。
【請求項６】
前記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも備え、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップは、
前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップを備え、前記ゲイン調整パラメータは、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、前記左方向の信号および前記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、前記右方向の信号および前記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを備え、さらに、前記移動端末に対する前記音源の前記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、前記得るステップはさらに、
前記音声信号に従って、前記空間オーディオ信号における全ての方向の前記信号の初期値を取得するステップと、
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号を生成するステップとを備える、請求項１から５のいずれか１項に記載の音声信号処理方法。
【請求項７】
前記空間オーディオ信号は、２チャネル信号をさらに備え、
前記方法はさらに、
前記２チャネル信号を生成するために、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号をダウンミックスするステップを備える、請求項６に記載の音声信号処理方法。
【請求項８】
前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップは、
以下に従って、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する前記第１のタイプのゲイン調整パラメータαＦを生成するステップと、
【数４】
2016052117.tif 000055
以下に従って、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する前記第１のタイプのゲイン調整パラメータαＢを生成するステップとを備え、
【数５】
2016052117.tif 000056
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、前記生成するステップはさらに、
以下に従って、前記左方向の信号および前記左後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＬを生成するステップと、
【数６】
2016052117.tif 000057
以下に従って、前記右方向の信号および前記右後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＲを生成するステップとを備え、
【数７】
2016052117.tif 000058
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である、請求項６に記載の音声信号処理方法。
【請求項９】
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
以下に従って、前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、前記左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを備え、
【数８】
2016052117.tif 000059
ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
【請求項１０】
【数９】
2016052117.tif 000060
【請求項１１】
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップは、
前記第１から前記第４のマイクロホンによって受取られる前記音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するステップを備え、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線から前記ｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、前記ｉ番目のマイクロホンと前記ｊ番目のマイクロホンとの前記接続線から前記ｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、前記取得するステップはさらに、
以下に従って、ハート型の指向性を有する前記ビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップを備える、
【数１０】
2016052117.tif 000061
請求項１０に記載の音声信号処理方法。
【請求項１２】
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って前記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップとを備え、
ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
【請求項１３】
音声信号処理装置であって、
三次元音場から音声信号を取得するように構成された第１の取得モジュールを備え、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理装置はさらに、
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するように構成された第２の取得モジュールと、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュールとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理装置。
【請求項１４】
前記第２の取得モジュールは、
前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記第２の取得モジュールはさらに、
前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るように構成された第２の取得ユニットを備える、請求項１３に記載の音声信号処理装置。
【請求項１５】
【数１１】
2016052117.tif 000062
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明は、オーディオ信号処理分野に関し、特に音声信号処理方法および装置に関する。
【背景技術】
【０００２】
背景
電子情報技術の発展に伴って、三次元音場の収集および処理が絶えず改良されている。移動端末は、三次元音場収集および処理システムにおける一般的な装置である。先行技術における、移動端末によって三次元音場の収集および処理を行うための具体的な手段について以下で説明する。
【０００３】
二次元音場の収集のためのビーム形成技術が移動端末に適用され、当該ビーム形成技術を使用して、０°方向および１８０°方向のハート型の指向性を有するビームが生成され、三次元音声信号の収集が実施される。当該技術が三次元音場の収集に適用され、当該ビーム形成技術を使用して異なる方向のビームが得られ、当該ビームは、音声チャネルおよび音場収集システム５．１において、中央音声チャネル、左前方音声チャネル、右前方音声チャネル、左後方サラウンド音声チャネルおよび右後方サラウンド音声チャネルをシミュレートするために使用される。
【０００４】
現在のところ、二次元音場の収集のためのビーム形成技術を使用して移動端末上でシミュレートされた三次元音場では、二次元音場の収集のためのビーム形成技術が使用され、０°方向および１８０°方向のハート型の指向性を有するビームが生成されるので、シミュレートされた三次元音場の実際の再生結果において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象が起こり、その結果、シミュレートされた三次元音場は依然として二次元音場の特徴を有し、シミュレートされた三次元音場の質が比較的低くなる。
【発明の概要】
【課題を解決するための手段】
【０００５】
概要
本発明の実施形態は、端末を取囲む三次元音場において信号を収集および処理することができる音声信号処理方法および装置を提供する。
【０００６】
上記の目的を達成するために、本発明の実施形態は以下の技術的解決策を使用する。
第１の局面によれば、本発明の実施形態は、音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが上記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理方法はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理方法を提供する。第１の局面を参照して、第１の局面の第１の可能な実施態様において、上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記取得するステップはさらに、
上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップを含む。
【０００７】
【数１】
2016052117.tif 000003
【０００８】
【数２】
2016052117.tif 000004
【０００９】
第１の局面の第２の可能な実施態様を参照して、第１の局面の第４の可能な実施態様において、上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するステップを含み、
【００１０】
【数３】
2016052117.tif 000005
【００１１】
上記第１のマイクロホンおよび第２のマイクロホンは、上記移動端末の１つの面の対称軸上に位置し、それぞれ上記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、上記移動端末の別の面の対称軸上に位置し、それぞれ上記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は上記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は上記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は上記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は上記第４のマイクロホンに対応する座標を表わす。
【００１２】
第１の局面または第１の局面の第１から第４の可能な実施態様のうちのいずれか１つに係る音声信号処理方法を参照して、第１の局面の第５の可能な実施態様において、上記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含み、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップは、
上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するステップを含み、上記ゲイン調整パラメータは、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、上記左方向の信号および上記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、上記右方向の信号および上記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、上記移動端末に対する上記音源の上記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、上記得るステップはさらに、
上記音声信号に従って、上記空間オーディオ信号における全ての方向の上記信号の初期値を取得するステップと、
上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号を生成するステップとを含む。
【００１３】
第１の局面の第５の可能な実施態様を参照して、第１の局面の第６の可能な実施態様において、上記空間オーディオ信号は、２チャネル信号をさらに含み、
上記方法はさらに、
上記２チャネル信号を生成するために、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号をダウンミックスするステップを含む。
【００１４】
第１の局面の第５の可能な実施態様を参照して、第１の局面の第７の可能な実施態様において、上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するステップは、
以下に従って、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する上記第１のタイプのゲイン調整パラメータαＦを生成するステップと、
【００１５】
【数４】
2016052117.tif 000006
【００１６】
以下に従って、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する上記第１のタイプのゲイン調整パラメータαＢを生成するステップとを含み、
【００１７】
【数５】
2016052117.tif 000007
【００１８】
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、上記生成するステップはさらに、
以下に従って、上記左方向の信号および上記左後方サラウンド信号に対応する上記第２のタイプのゲイン調整パラメータαＬを生成するステップと、
【００１９】
【数６】
2016052117.tif 000008
【００２０】
以下に従って、上記右方向の信号および上記右後方サラウンド信号に対応する上記第２のタイプのゲイン調整パラメータαＲを生成するステップとを含み、
【００２１】
【数７】
2016052117.tif 000009
【００２２】
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
【００２３】
第１の局面の第７の可能な実施態様を参照して、第１の局面の第８の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
以下に従って、上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、上記左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを含み、
【００２４】
【数８】
2016052117.tif 000010
【００２５】
ＳＬ（ｎ）は上記左方向の信号の初期値を表わし、ＳＣ（ｎ）は上記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は上記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は上記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は上記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【００２６】
【数９】
2016052117.tif 000011
【００２７】
第１の局面の第９の可能な実施態様を参照して、第１の局面の第１０の可能な実施態様において、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップは、
上記第１から上記第４のマイクロホンによって受取られる上記音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するステップを含み、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線から上記ｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、上記ｉ番目のマイクロホンと上記ｊ番目のマイクロホンとの上記接続線から上記ｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、上記取得するステップはさらに、
以下に従って、ハート型の指向性を有する上記ビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップを含む。
【００２８】
【数１０】
2016052117.tif 000012
【００２９】
第１の局面の第７の可能な実施態様を参照して、第１の局面の第１１の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って上記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップとを含み、
ＳＬ（ｎ）は上記左方向の信号の初期値を表わし、ＳＣ（ｎ）は上記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は上記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は上記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は上記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【００３０】
第２の局面によれば、本発明は、音声信号処理装置であって、
三次元音場から音声信号を取得するように構成された第１の取得モジュールを含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理装置はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するように構成された第２の取得モジュールと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュールとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理装置を提供する。
【００３１】
第２の局面を参照して、第２の局面の第１の可能な実施態様において、上記第２の取得モジュールは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記第２の取得モジュールはさらに、
上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るように構成された第２の取得ユニットを含む。
【００３２】
【数１１】
2016052117.tif 000013
【００３３】
第２の局面の第２の可能な実施態様を参照して、第２の局面の第４の可能な実施態様において、上記第２の取得ユニットは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するように構成された第４の取得サブユニットを含み、
【００３４】
【数１２】
2016052117.tif 000014
【００３５】
上記第１のマイクロホンおよび第２のマイクロホンは、上記移動端末の１つの面の対称軸上に位置し、それぞれ上記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、上記移動端末の別の面の対称軸上に位置し、それぞれ上記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は上記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は上記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は上記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は上記第４のマイクロホンに対応する座標を表わす。
【００３６】
第２の局面または第２の局面の第１から第４の可能な実施態様のうちのいずれか１つに係る音声信号処理装置を参照して、上記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含み、
上記第１の処理モジュールは、
上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するように構成された第１の処理ユニットを含み、上記ゲイン調整パラメータは、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、上記左方向の信号および上記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、上記右方向の信号および上記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、上記移動端末に対する上記音源の上記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、上記第１の処理モジュールはさらに、
上記音声信号に従って、上記空間オーディオ信号における全ての方向の上記信号の初期値を取得するように構成された第２の処理ユニットと、
上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号を生成するように構成された第３の処理ユニットとを含む。
【００３７】
第２の局面の第４の可能な実施態様を参照して、第２の局面の第６の可能な実施態様において、上記空間オーディオ信号は、２チャネル信号をさらに含み、
上記装置はさらに、
上記２チャネル信号を生成するために、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号をダウンミックスするように構成された第４の処理ユニットを含む。
【００３８】
本発明の実施形態において提供される音声信号処理方法および装置によれば、音声信号は、移動端末を取囲む三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果がシミュレートされる。先行技術における解決策では、０°および１８０°の２つの方向のビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、音源は、０°および１８０°の２つの方向に限定されるものではない。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【００３９】
本発明の実施形態における技術的解決策をより明らかに説明するために、実施形態の説明に必要な添付の図面について以下で簡単に紹介する。明らかに、以下の説明では、添付の図面は本発明のいくつかの実施形態を示しているに過ぎず、依然として当業者は、創意工夫なしにこれらの添付の図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る音声信号処理方法のフローチャートである。
【図１ａ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図１ｂ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図１ｃ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図１ｄ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図１ｅ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図２】本発明の実施形態に係る別の音声信号処理方法のフローチャートである。
【図２ａ】本発明の実施形態に係る音声信号処理方法の具体的な実施態様のフローチャートである。
【図２ｂ】本発明の実施形態に係る別の音声信号処理方法の具体的な実施態様のフローチャートである。
【図２ｃ】本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。
【図２ｄ】本発明の実施形態に係る音声信号処理の別のアプリケーションシナリオの概略構造図である。
【図２ｅ】本発明の実施形態に係る音声信号処理のさらに別のアプリケーションシナリオの概略構造図である。
【図３】本発明の実施形態に係る音声信号処理方法のフローチャートである。
【図３ａ】本発明の実施形態に係る別の音声信号処理方法のフローチャートである。
【図４】本発明の実施形態に係る音声信号処理装置の概略構造図である。
【図４ａ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｂ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｃ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｄ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｅ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｆ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｇ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｈ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｉ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図４ｊ】本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。
【図５】本発明の実施形態に係る音声信号処理エンティティの概略構造図である。
【発明を実施するための形態】
【００４１】
実施形態の説明
以下では、本発明の実施形態における添付の図面を参照して、本発明の実施形態における技術的解決策について明らかにかつ完全に説明する。明らかに、記載されている実施形態は、本発明の実施形態のうちのいくつかに過ぎず、本発明の全ての実施形態であるわけではない。創意工夫なしに本発明の実施形態に基づいて当業者によって得られる全ての他の実施形態は、本発明の保護範囲内である。
【００４２】
本発明の実施形態は音声信号処理方法を提供し、図１に示されるように、当該方法は以下を含む。
【００４３】
ステップ１０１：移動端末が三次元音場から音声信号を取得し、少なくとも３つのマイクロホンが移動端末に配設されている。
【００４４】
１つのマイクロホンは、少なくとも１つの方向の音声信号を受取るように構成されている。
【００４５】
本発明のこの実施形態は、移動端末に適用され得て、当該移動端末にはマイクロホンが配置され、当該マイクロホンは、三次元音場を測定し、当該三次元音場から音声信号を取得し、強調処理のために当該音声信号を移動端末におけるプロセッサに送信するように構成され、また、強調の前および後に、格納のために移動端末におけるストレージに音声信号を送信し得る。具体的には、移動端末に配置されるマイクロホンは、全指向性マイクロホンであってもよく、または特定の指向性を有するマイクロホンであってもよい。例えば、ＭＥＭＳ（微小電気機械システム）マイクロホンまたはＥＣＭ（エレクトレットコンデンサマイクロホン）マイクロホンが特に移動端末に配置されてもよい。
【００４６】
この実施形態では、移動端末にマイクロホンを配置するための態様が複数存在し得る。さまざまな配置態様において、移動端末上のマイクロホンの数量および位置は限定されるものではない。この実施形態では、説明のための例として、マイクロホンが４つの場合およびマイクロホンが３つの場合が使用される。例えば、移動端末には、図１ａに示されるように、４つのマイクロホンが移動端末の４つの角にそれぞれ配設されてもよい。また、任意に、図１ｂに示されるように、４つのマイクロホンが移動端末の４つの側面にそれぞれ配設されてもよい。また、任意に、図１ｃに示されるように、１つのマイクロホンが移動端末の底部側、前方イヤホン付近、後方カメラ付近および後方底部側付近に各々配設されてもよい。別の例では、単純に３つのマイクロホンが移動端末に配設されてもよい。図１ｄに示されるように、２つのマイクロホンが移動端末の底部側に配設され、１つのマイクロホンが前方イヤホン付近に配設される。任意に、図１ｅに示されるように、１つのマイクロホンが移動端末の底部側、前方イヤホン付近および後方カメラ付近に各々配設されてもよい。
【００４７】
ステップ１０２：取得された音声信号に従って、移動端末に対する音源の方向を取得する。
【００４８】
移動端末は、マイクロホンを使用して、放出される音の供給源を推定し、移動端末に対する音源の方向を得る。この実施形態では、例えば最大出力パワーベースの制御可能なビーム形成技術または到達時間差ベースの位置決め技術または高分解能スペクトル推定ベースの位置決め技術に基づいて音源を推定するための方法が複数存在し得る。
【００４９】
また、音源の位置を推定する際、移動端末は、受取られた音声信号に対して強調処理をさらに行ってもよい。例えば、移動端末は、ビーム形成、空間予測または聴覚シナリオ分析などの技術的手段を使用して、全ての方向の強調された音声信号を得ることができる。例えば、ビーム形成によって音声信号を強調するために移動端末によって使用される具体的な方法としては、遅延和ビーム形成もしくはフィルタリング和ビーム形成などの固定ビーム形成技術、または、最小分散無ひずみ応答原理に基づく適応ビーム形成アルゴリズム、線形拘束最小分散ビーム形成もしくはサイドローブキャンセルアルゴリズムなどのアダプティブビーム形成技術、または差分ビーム形成技術が挙げられ得る。空間予測によって音声信号を強調するために移動端末によって使用される具体的な方法は、収集されることが見込まれるいくつかの方向の空間音声信号を予め設定するステップと、次いで、出力された強調された音声信号のノイズが最小であり、かつ、予測誤差がゼロに近付くように、事前にトレーニングされた最適なフィルタ群および空間予測技術を使用して、移動端末上の音声受信機によって受取られた全ての方向の音声信号を、出力されることが見込まれるいくつかの方向の予め設定された信号に変換するステップとを含み得る。この実施形態では、可聴シナリオ分析技術は、具体的にはブラインド音源分離アルゴリズムであってもよい。
【００５０】
２つの方向のビーム指向性を少なくとも有する音声信号が強調によって得られる。例えば１つのマイクロホンによって受取られた音声信号に対する強調処理によって得られる１つの方向のビーム指向性を有する音声信号は、移動端末の前方、後方、左側および右側などの異なる方向に音源から送られる全ての方向の音声信号として分化され得る。例えば、移動端末が受取られた音声信号に対して強調処理を行った後、左前方、右前方、左後方および右後方のビーム指向性をそれぞれ有する４つの方向の強調された音声信号が生成され、または、前方、後方、左方向および右方向のビーム指向性をそれぞれ有する４つの方向の強調された音声信号が生成される。また、この実施形態では、複数の方向の異なる指向性を有する音声信号は、特定のニーズに従って１つの特定の方向の音声信号に統合され得て、強調処理によって得られるビーム指向性を有する音声信号のビーム形状は、ハート型の指向性であってもよく、またはスーパーハート型であってもよく、または別の形状であってもよい。
【００５１】
ステップ１０３：移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得る。
【００５２】
空間オーディオ信号は、三次元音場をシミュレートするために使用される。三次元音場は、移動端末を取囲む特定の範囲の音場として理解されることができる。音源は、三次元音場においていかなる方向からも音声信号を送ることができ、当該音声信号は、移動端末によって受取られる。
【００５３】
例えば、移動端末は、移動端末に対する音源の方向および全ての方向の受取られた音声信号を使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号を生成する。移動端末は、全ての方向の強調された音声信号を、５．１音声チャネル再生システムのシミュレートされた音場を形成するために使用される空間オーディオ信号に必要な合計６つの方向の音声信号にマッピングし、さらに、移動端末に対する音源の方向を使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な６つの方向の音声信号の分離度を向上させ得る。例えば、移動端末は、移動端末に対する音源の方向に従って、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な音声信号の、各方向ごとのゲイン調整パラメータを計算し、ゲイン調整パラメータを使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な音声信号を調整し得る。空間オーディオ信号は、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を少なくとも含む。
【００５４】
移動端末によって受取られる全ての方向の音声信号と、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な６つの方向の音声信号との間には複数の関係が存在し得る。例えば、移動端末によって受取られた音声信号は強調され、４つの方向の音声信号が出力され、当該４つの方向はそれぞれ、左前方、左後方、右前方および右後方であり、左前方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左方向の音声信号にマッピングされ、右前方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右方向の音声信号にマッピングされ、左前方方向の音声信号と右前方方向の音声信号との間で平均信号が取られ、当該平均信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な中央方向の音声信号にマッピングされ、左後方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左後方サラウンド音声信号にマッピングされ、右後方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右後方サラウンド音声信号にマッピングされ、左前方方向、左後方方向、右前方方向および右後方方向の音声信号の間で平均値が取られ、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な超低音信号を得る。
【００５５】
別の例では、移動端末によって受取られた音声信号は強調され、４つの方向の音声信号、すなわちそれぞれ前方、後方、左方向および右方向の４つの方向の音声信号が出力され、左方向および前方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左方向の音声信号にマッピングされ、右方向および前方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右方向の音声信号にマッピングされ、前方方向の音声信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な中央方向の音声信号にマッピングされ、左方向および後方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左後方サラウンド音声信号にマッピングされ、右方向および後方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右後方サラウンド音声信号にマッピングされ、前方方向、後方方向、左方向および右方向の音声信号の間で平均値が取られ、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な超低音信号を得る。
【００５６】
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【００５７】
この実施形態では、移動端末に対する音源の方向を取得するために移動端末によって使用される方法が複数存在し得る。例えば、位置決め技術を使用して、移動端末および音源の役割を果たす移動端末の空間座標が取得されてもよく、移動端末および音源の役割を果たす移動端末の空間座標に従って、移動端末に対する音源の方向が決定されてもよい。しかし、移動端末を位置決めするプロセスはネットワーク帯域幅を占有する必要があり、位置決めプロセスは特定の遅延を有する。この実施形態では、移動端末は、移動端末に対する複数の方向の音源の方向を取得する必要があり、移動端末に対する音源の方向は、到達時間差ベースの位置決め技術を使用して取得され得る。したがって、図２に示されるように、ステップ１０２の具体的な実施態様は以下を含み得る：
ステップ１０２１：移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得する。
【００５８】
移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成されている。
【００５９】
【数１３】
2016052117.tif 000015
【００６０】
ステップ１０２２：取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得る。
【００６１】
移動端末にマイクロホンを配置するための態様の違いによって、移動端末に対する音源の方向を取得するために移動端末によって使用される具体的な態様が複数存在し得る。
【００６２】
例えば、移動端末上で、第１のマイクロホンおよび第４のマイクロホンは同一の側に位置し、第１のマイクロホンおよび第２のマイクロホンは同一の側に位置し、ｃは音速を表わし、ｄは第１のマイクロホンの中心点と第４のマイクロホンの中心点との間の距離を表わし、ｄは第２のマイクロホンの中心点と第３のマイクロホンの中心点との間の距離に等しく、ｈは第１のマイクロホンの中心点と第２のマイクロホンの中心点との間の距離を表わし、ｈは第３のマイクロホンの中心点と第４のマイクロホンの中心点との間の距離に等しく、αは移動端末の対角線と第１のマイクロホンおよび第４のマイクロホンが位置する角度の側との間の夾角を表わす。
【００６３】
図２ａに示されるように、ステップ１０２２は、具体的にはステップ１０２２１〜１０２２２として実施され得る。
【００６４】
【数１４】
2016052117.tif 000016
【００６５】
別の例では、別の移動端末上で、第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
【００６６】
図２ｂに示されるように、ステップ１０２２は、具体的にはステップ１０２２３として実施され得る。
【００６７】
ステップ１０２２３：以下に従って、移動端末に対する音源の方向θを取得する。
【００６８】
【数１５】
2016052117.tif 000017
【００６９】
例えば、この実施形態では、図２ｃに示されるように、移動端末にマイクロホンを設置するための態様は、移動端末の４つの角にマイクロホンをそれぞれ設置するというものであってもよく、移動端末上の４つのマイクロホンは、三次元音場の音声信号を取得する役割を担う。次いで、取得された音声信号を使用して音源の位置が推定され、取得された音声信号に対してゲイン処理が行われる。
【００７０】
【数１６】
2016052117.tif 000018
【００７１】
次いで、到達時間差、移動端末上のマイクロホンの設置位置およびマイクロホンの位置間の関係に従って、音源と移動端末との間の入射角、すなわち移動端末に対する音源の方向θが計算される。具体的な計算プロセスは以下の通りであり、
【００７２】
【数１７】
2016052117.tif 000019
【００７３】
ｃは、音速を表わし、一般に３４０ｍ／ｓであり、ｄは、マイクロホン１とマイクロホン４との間を距離を表わし、マイクロホン２とマイクロホン３との間の距離に等しく、ｈは、マイクロホン１とマイクロホン２との間の距離を表わし、マイクロホン３とマイクロホン４との間の距離に等しい。
【００７４】
別の例において、この実施形態では、図２ｄに示されるように、移動端末にマイクロホンを設置するための態様は、移動端末の底部側、前方イヤホン付近、後方カメラ付近および後方底部側付近にそれぞれ１つのマイクロホンを設置するというものであってもよく、各マイクロホンは、三次元音場の音声信号を取得する役割を担う。次いで、取得された音声信号を使用して音源の位置が推定され、取得された音声信号に対してゲイン処理が行われる。
【００７５】
【数１８】
2016052117.tif 000020
【００７６】
次いで、到達時間差、移動端末上のマイクロホンの設置位置およびマイクロホンの位置間の関係に従って、音源の入射角、すなわち移動端末に対する音源の方向θが計算される。図２ｅでは、マイクロホン１の座標は（ｘ１，ｙ１）であり、マイクロホン２の座標は（ｘ２，ｙ２）であり、マイクロホン３の座標は（ｘ３，ｙ３）であり、マイクロホン４の座標は（ｘ４，ｙ４）であるとされる。具体的には、移動端末に対する音源の方向θと到達時間差との関係は、以下の通りであり、
【００７７】
【数１９】
2016052117.tif 000021
【００７８】
ｃは、音速を表わし、一般に３４０ｍ／ｓである。
さらに、この実施形態では、移動端末に対する音源の方向が取得された後、取得された移動端末に対する音源の方向に従って、各音声チャネルにおける信号のゲイン調整パラメータをさらに計算する必要がある。したがって、図３に示されるように、ステップ１０３は、具体的にはステップ１０３１として実施され得る。
【００７９】
ステップ１０３１：移動端末に対する音源の方向を使用してゲイン調整パラメータを生成する。
【００８０】
ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲである。
【００８１】
ステップ１０３１は、具体的にはステップ１０３１ａ、１０３１ｂ、１０３１ｃおよび１０３１ｄを含む。
【００８２】
ステップ１０３１ａ：以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成する。
【００８３】
【数２０】
2016052117.tif 000022
【００８４】
ステップ１０３１ｂ：以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成し、
【００８５】
【数２１】
2016052117.tif 000023
【００８６】
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２である。
【００８７】
ステップ１０３１ｃ：以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成する。
【００８８】
【数２２】
2016052117.tif 000024
【００８９】
ステップ１０３１ｄ：以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成し、
【００９０】
【数２３】
2016052117.tif 000025
【００９１】
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
【００９２】
本発明のこの実施形態では、音源の位置についての推定に従って、移動端末に対する音源の方向についての情報が得られ、各音声チャネルにおける信号のゲイン調整パラメータが計算され、次いで、対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって最終的な５．１チャネルサラウンド音声出力信号が得られる。一般に、５．１音声チャネル信号の左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向のゲインに対しては調整を行う必要がある。もちろん、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向のゲインに対してのみ調整が行われてもよい。
【００９３】
ステップ１０３２：音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得し、ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わす。
【００９４】
さらに、音声信号に従って空間オーディオ信号における全ての方向の信号の初期値を取得するステップは、ハート型の指向性を有するビームを取得することによって行われる計算を必要とする。ハート型の指向性を有するビームは、第１のマイクロホンから第４のマイクロホンによって受取られる音声信号に対するビーム形成アルゴリズムを使用して得られ得る。ステップ１０３２は、具体的には以下のように実施され得る。
【００９５】
ステップ１０３２ｂ１：第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得し、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しい。
【００９６】
ステップ１０３２ｂ２：以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得する。
【００９７】
【数２４】
2016052117.tif 000026
【００９８】
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）が取得され、ＢＦＬ（ｎ）の最大指向性は（０，９０°）の範囲内であり、ＢＦＬＳ（ｎ）の最大指向性は（９０°，１８０°）の範囲内であり、ＢＦＲＳ（ｎ）の最大指向性は（１８０°，２７０°）の範囲内であり、ＢＦＲ（ｎ）の最大指向性は（２７０°，３６０°）の範囲内である。
【００９９】
【数２５】
2016052117.tif 000027
【０１００】
例えば、図２ｃに示されるアプリケーションシナリオでは、音源の位置が推定されるのと同時に、移動端末に設置されたマイクロホンによって収集された複数の方向のオリジナル音声信号に対して強調処理をさらに行う必要がある。本明細書では差分ビーム形成方法が使用される。一次差分ビーム形成アルゴリズムによれば、対角線上にあるマイクロホン１およびマイクロホン３のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦＲ（ｎ）およびＢＦＬＳ（ｎ）と示され、また、対角線上にあるマイクロホン２およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦＬ（ｎ）およびＢＦＲＳ（ｎ）と示され、ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）は、強調処理後に得られる複数の方向の信号である。
【０１０１】
別の例において、図２ｄおよび図２ｅに示されるアプリケーションシナリオでは、音源の位置が推定されるのと同時に、移動端末に設置されたマイクロホンによって収集されたマルチチャネルのオリジナル入力信号に対して強調処理をさらに行う必要がある。本明細書では差分ビーム形成方法が使用される。具体的には、一次差分ビーム形成アルゴリズムによれば、マイクロホン１およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ１４（ｎ）およびＢＦ４１（ｎ）と示され、ＢＦ１４（ｎ）の最大指向性の点は、マイクロホン１に向かう方向にあり、ＢＦ１４（ｎ）の指向性のゼロ点は、マイクロホン４に向かう方向にあり、ＢＦ４１（ｎ）の最大指向性の点は、マイクロホン４に向かう方向にあり、ＢＦ４１（ｎ）の指向性のゼロ点は、マイクロホン１に向かう方向にある。マイクロホン２およびマイクロホン３のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ２３（ｎ）およびＢＦ３２（ｎ）と示され、ＢＦ２３（ｎ）の最大指向性の点は、マイクロホン２に向かう方向にあり、ＢＦ２３（ｎ）の指向性のゼロ点は、マイクロホン３に向かう方向にあり、ＢＦ３２（ｎ）の最大指向性の点は、マイクロホン３に向かう方向にあり、ＢＦ３２（ｎ）の指向性のゼロ点は、マイクロホン２に向かう方向にある。マイクロホン１およびマイクロホン２のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ１２（ｎ）およびＢＦ２１（ｎ）と示され、ＢＦ１２（ｎ）の最大指向性の点は、マイクロホン１に向かう方向にあり、ＢＦ１２（ｎ）の指向性のゼロ点は、マイクロホン２に向かう方向にあり、ＢＦ２１（ｎ）の最大指向性の点は、マイクロホン２に向かう方向にあり、ＢＦ２１（ｎ）の指向性のゼロ点は、マイクロホン１に向かう方向にある。マイクロホン３およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ３４（ｎ）およびＢＦ４３（ｎ）と示され、ＢＦ３４（ｎ）の最大指向性の点は、マイクロホン３に向かう方向にあり、ＢＦ３４（ｎ）の指向性のゼロ点は、マイクロホン４に向かう方向にあり、ＢＦ４３（ｎ）の最大指向性の点は、マイクロホン４に向かう方向にあり、ＢＦ４３（ｎ）の指向性のゼロ点は、マイクロホン３に向かう方向にある。強調処理後に得られる複数のチャネルにおける信号がＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）と示されるとすると、ビーム間の関係は以下の通りである。
【０１０２】
【数２６】
2016052117.tif 000028
【０１０３】
この実施形態では、ハート型の指向性を有するビームは、差分ビーム形成方法を使用して得られ、当該ハート型の指向性を有するビームを使用して、空間オーディオ信号における全ての方向の信号の初期値を取得することができ、そのため、空間オーディオ信号における全ての方向の信号を後に計算することができる。したがって、ステップ１０３２の実施が完了した後に、以下がさらに含まれる。
【０１０４】
ステップ１０３３：ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、空間オーディオ信号における全ての方向の信号を生成する。
【０１０５】
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
【０１０６】
【数２７】
2016052117.tif 000029
【０１０７】
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１０８】
例えば、図２ｃに示されるアプリケーションシナリオでは、音源の位置についての推定の結果、複数のチャネルにおける強調された信号および再生システムのタイプに従って、空間オーディオ信号に対して復元を行って最終的な空間オーディオ出力信号を得るための対応する方法が選択される。
【０１０９】
再生システムが５．１チャネルサラウンド音声システムである場合には、４つの方向の強調された出力信号は、５．１チャネルサラウンド音声システムによる再生に必要な６つの方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、マッピング後に得られる６つの方向の信号に対して空間音場強調調整が行われ、その結果、最終的な出力信号が得られる。具体的には、５．１音声チャネル信号における左方向の信号としてＢＦＬ（ｎ）が直接使用され得て、５．１音声チャネル信号における右方向の信号としてＢＦＲ（ｎ）が直接使用され得て、中央方向の信号としてＢＦＬ（ｎ）およびＢＦＲ（ｎ）の平均が取られ得て、５．１音声チャネル信号における左後方サラウンド信号としてＢＦＬＳ（ｎ）が直接使用され得て、５．１音声チャネル信号における右後方サラウンド信号としてＢＦＲＳ（ｎ）が直接使用され得て、４つの方向の信号ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）の平均値が取られ得て、次いで、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル信号における超低音信号を得る。
【０１１０】
音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、各方向の信号のゲイン調整パラメータが計算される。対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって、最終的な５．１チャネルサラウンド音声出力信号が得られる。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
【０１１１】
【数２８】
2016052117.tif 000030
【０１１２】
再生システムがステレオスピーカである場合には、音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、第２のタイプのゲイン調整パラメータが計算され得る。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
【０１１３】
【数２９】
2016052117.tif 000031
【０１１４】
次いで、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）などの空間音場強調調整後に得られる出力信号は、ステップ１０３４を実行することによって、２チャネル信号にダウンミックスされて、出力され得る。
【０１１５】
別の例において、図２ｄおよび図２ｅに示されるアプリケーションシナリオでは、音源の位置についての推定の結果、複数のチャネルにおける強調された信号および再生システムのタイプに従って、空間オーディオ信号に対して復元を行って最終的な空間オーディオ出力信号を得るための対応する方法が選択される。
【０１１６】
再生システムが５．１チャネルサラウンド音声システムである場合には、４つの方向の強調された出力信号は、５．１チャネルサラウンド音声システムによる再生に必要な６つの方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、マッピング後に得られる６つの方向の信号に対して空間音場強調調整が行われ、その結果、最終的な出力信号が得られる。具体的には、５．１音声チャネル信号における左方向の信号としてＢＦＬ（ｎ）が直接使用され得て、５．１音声チャネル信号における右方向の信号としてＢＦＲ（ｎ）が直接使用され得て、中央方向の信号としてＢＦＬ（ｎ）およびＢＦＲ（ｎ）の平均が取られ得て、５．１音声チャネル信号における左後方サラウンド信号としてＢＦＬＳ（ｎ）が直接使用され得て、５．１音声チャネル信号における右後方サラウンド信号としてＢＦＲＳ（ｎ）が直接使用され得て、４つの方向の信号ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）の平均値が取られ得て、次いで、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル信号における超低音信号を得る。
【０１１７】
音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、各音声チャネルにおける信号のゲイン調整パラメータが計算される。対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって、最終的な５．１チャネルサラウンド音声出力信号が得られる。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
【０１１８】
【数３０】
2016052117.tif 000032
【０１１９】
再生システムがステレオスピーカである場合には、音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、第２のタイプのゲイン調整パラメータが計算され得る。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
【０１２０】
【数３１】
2016052117.tif 000033
【０１２１】
次いで、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）などの空間音場強調調整後に得られる出力信号は、ステップ１０３４を実行することによって、２チャネル信号にダウンミックスされて、出力され得る。
【０１２２】
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）のアプリケーションシナリオでは、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）がステップ１０３２ｂ１〜１０３２ｂ２に従って得られた後、ステップ１０３３が以下のように実施され得る：
ステップ１０３３ｂ１：ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ２：ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ３：ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ４：ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ５：ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１２３】
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【０１２４】
さらに、この実施形態では、空間オーディオ信号は、２チャネル信号をさらに含み、移動端末に対する音源の方向が取得された後、２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をさらにダウンミックスする必要がある。したがって、図３ａに示されるように、ステップ１０３は、具体的にはステップ１０３４として実施され得る。
【０１２５】
ステップ１０３４：２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスする。
【０１２６】
例えば、再生システムがイヤホンである場合には、Ｎ個の方向の強調された出力信号が、５．１チャネルサラウンド音声システムにおける再生のための左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、上記の方法に従ってマッピングが行われた後に得られる５つの方向の信号に対して空間音場強調調整が行われ、その結果、空間音場強調調整後の出力信号が得られる。イヤホン再生システムでは、空間音場強調調整後に得られる出力信号は、２チャネル信号にダウンミックスされる必要がある。１つの任意のダウンミックス方法は、国際電気通信連合規格の５．１チャネルサラウンド音声を２チャネル信号にダウンミックスするための方法である。別の方法は、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号に対してそれぞれ畳み込みを行う必要があり、ダウンミックスの前に対応する角度の頭部伝達関数が実行され、次いでダウンミックスが行われるというものであり、その結果、信号ダウンミックス後の前方方向、後方方向、左方向および右方向の空間分離度を向上させることができる。
【０１２７】
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【０１２８】
本発明の実施形態は、音声信号処理装置４０の構造を提供し、図４に示されるように、装置４０は、
三次元音場から音声信号を取得するように構成された第１の取得モジュール４１を含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、装置４０はさらに、
取得された音声信号に従って、移動端末に対する音源の方向を取得するように構成された第２の取得モジュール４２と、
移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュール４３とを含み、空間オーディオ信号は、三次元音場をシミュレートするために使用される。
【０１２９】
図４ａに示されるように、第２の取得モジュール４２は、
移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニット４２１を含み、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、第２の取得モジュール４２はさらに、
取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成された第２の取得ユニット４２２を含む。
【０１３０】
【数３２】
2016052117.tif 000034
【０１３１】
図４ｄに示されるように、移動端末に対する音源の方向が取得された後、第２の取得ユニット４２２はさらに、
以下に従って、移動端末に対する音源の方向θを取得するように構成された第４の取得サブユニット４２２３を含み、
【０１３２】
【数３３】
2016052117.tif 000035
【０１３３】
第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
【０１３４】
さらに、空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含む。
【０１３５】
図４ｅに示されるように、第１の処理モジュール４３は、
移動端末に対する音源の方向を使用してゲイン調整パラメータを生成するように構成された第１の処理ユニット４３１を含み、ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、また、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、第１の処理モジュール４３はさらに、
音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得するように構成された第２の処理ユニット４３２と、
ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を生成するように構成された第３の処理ユニット４３３とを含む。
【０１３６】
さらに、空間オーディオ信号は、２チャネル信号をさらに含み、図４ｆに示されるように、装置４０はさらに、
２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスするように構成された第４の処理ユニット４３４を含む。
【０１３７】
任意に、上記の実施態様に基づいて、以下が第１の処理ユニット４３１にさらに含まれていてもよい。図４ｇに示されるように、第１の処理ユニット４３１は、
以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成するように構成された第１の処理サブユニット４３１１と、
【０１３８】
【数３４】
2016052117.tif 000036
【０１３９】
以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成するように構成された第２の処理サブユニット４３１２とを含み、
【０１４０】
【数３５】
2016052117.tif 000037
【０１４１】
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、第１の処理ユニット４３１はさらに、
以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成するように構成された第３の処理サブユニット４３１３と、
【０１４２】
【数３６】
2016052117.tif 000038
【０１４３】
以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成するように構成された第４の処理サブユニット４３１４とを含み、
【０１４４】
【数３７】
2016052117.tif 000039
【０１４５】
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
【０１４６】
空間オーディオ信号における全ての方向の信号は、第３の処理ユニット４３３に従って生成され、図４ｈに示されるように、第３の処理ユニット４３３は、
以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第５の処理サブユニット４３３１を含み、
【０１４７】
【数３８】
2016052117.tif 000040
【０１４８】
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１４９】
【数３９】
2016052117.tif 000041
【０１５０】
第６の処理サブユニット４３２１は、具体的には、第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するように構成され、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、第６の処理サブユニット４３２１はさらに、
以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するように構成される。
【０１５１】
【数４０】
2016052117.tif 000042
【０１５２】
図４ｊに示されるように、第３の処理ユニット４３３はさらに、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するように構成された第７の処理サブユニット４３３２と、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するように構成された第８の処理サブユニット４３３３と、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するように構成された第９の処理サブユニット４３３４と、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第１０の処理サブユニット４３３５と、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第１１の処理サブユニット４３３６とを含み、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１５３】
本発明のこの実施形態において提供される音声信号処理装置によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【０１５４】
本発明の実施形態は、音声信号処理装置５０の構造をさらに提供する。図５に示されるように、音声信号処理装置５０は、ＣＰＵなどの少なくとも１つのプロセッサ５０１と、少なくとも１つのネットワークポート５０２または別のユーザポート５０３と、メモリ５０４と、少なくとも１つの通信バス５０５とを含んでいる。通信バス５０５は、構成要素間の接続および通信を実施するように構成されている。任意に、ユーザポート５０３がさらに含まれており、ユーザポート５０３は、ディスプレイ、キーボードまたは（マウス、トラックボール（trackball）もしくはタッチパネルもしくはタッチディスプレイスクリーンなどの）クリック装置を含む。メモリ５０４は、高速ＲＡＭメモリを含んでいてもよく、または不揮発性メモリ（non-volatile memory）、例えば少なくとも１つのディスクメモリをさらに含んでいてもよい。メモリ５０４は、任意に、上記のプロセッサ５０１から遠く離れて位置する少なくとも１つの記憶装置を含んでいてもよい。
【０１５５】
いくつかの実施態様では、メモリ５０４は、以下の要素、実行可能なモジュールもしくはデータ構造、またはそのサブセット、またはその拡張セットを格納し、以下の要素とは、さまざまなシステムプログラムを含み、さまざまなベーシックサービスを実施し、ハードウェアベースのタスクを処理するように構成されたオペレーティングシステム５０４１と、さまざまなアプリケーションプログラムを含み、さまざまなアプリケーションサービスを実施するように構成されたアプリケーションプログラム５０４２とである。
【０１５６】
プロセッサ５０１は、三次元音場から音声信号を取得するように構成され、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された音声信号に従って、移動端末に対する音源の方向を取得するように構成され、
移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成され、空間オーディオ信号は、三次元音場をシミュレートするために使用される。
【０１５７】
プロセッサ５０１はさらに、移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成され、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成される。
【０１５８】
【数４１】
2016052117.tif 000043
【０１５９】
プロセッサ５０１は、具体的には、以下に従って、移動端末に対する音源の方向θを取得するように構成され、
【０１６０】
【数４２】
2016052117.tif 000044
【０１６１】
第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
【０１６２】
空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含む。
【０１６３】
プロセッサ５０１は、具体的には、移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成され、
移動端末に対する音源の方向を使用してゲイン調整パラメータを生成することを含み、ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、また、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、
音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得することと、
ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を生成することとを含む。
【０１６４】
装置５０において、空間オーディオ信号は、２チャネル信号をさらに含み、
プロセッサ５０１はさらに、
２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスするように構成される。
【０１６５】
任意に、上記の実施態様に基づいて、プロセッサ５０１はさらに、
以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成するように構成され得て、
【０１６６】
【数４３】
2016052117.tif 000045
【０１６７】
以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成するように構成され得て、
【０１６８】
【数４４】
2016052117.tif 000046
【０１６９】
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、プロセッサ５０１はさらに、
以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成するように構成され得て、
【０１７０】
【数４５】
2016052117.tif 000047
【０１７１】
以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成するように構成され得て、
【０１７２】
【数４６】
2016052117.tif 000048
【０１７３】
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
【０１７４】
プロセッサ５０１はさらに、以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
【０１７５】
【数４７】
2016052117.tif 000049
【０１７６】
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１７７】
【数４８】
2016052117.tif 000050
【０１７８】
さらに、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得することは、
第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得することを含み、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、上記取得することはさらに、
以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得することを含む。
【０１７９】
【数４９】
2016052117.tif 000051
【０１８０】
プロセッサ５０１はさらに、具体的には、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
【０１８１】
本発明のこの実施形態において提供される音声信号処理装置によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
【０１８２】
本明細書における実施形態は全て漸進的な態様で記載されており、実施形態の中の同一または同様の部分についてはこれらの実施形態を参照することができ、各実施形態は他の実施形態との相違点に焦点を当てている。特に、装置実施形態は、基本的には方法実施形態と同様であり、そのため簡単に記載されており、関連する部分については、方法実施形態における一部の説明を参照することができる。
【０１８３】
実施形態における方法のプロセスのうちの全てまたはいくつかが、関連のハードウェアに指示するコンピュータプログラムによって実行され得るということを当業者は理解することができる。当該プログラムは、コンピュータ読取可能記憶媒体に格納され得る。プログラムが実行されると、実施形態における方法のプロセスが実行される。上記の記憶媒体としては、磁気ディスク、光ディスク、リードオンリメモリ（Read-Only Memory：ＲＯＭ）、ランダムアクセスメモリ（Random Access Memory：ＲＡＭ）などが挙げられ得る。
【０１８４】
上記の説明は、単に本発明の具体的な実施形態に過ぎず、本発明の保護範囲を限定するよう意図したものではない。本発明に開示されている技術範囲内で当業者によって容易に理解されるいかなる変形例または置換例も、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に準拠するものとする。
【図１】
2016052117.tif 000063
【図１ａ】
2016052117.tif 000064
【図１ｂ】
2016052117.tif 000065
【図１ｃ】
2016052117.tif 000066
【図１ｄ】
2016052117.tif 000067
【図１ｅ】
2016052117.tif 000068
【図２】
2016052117.tif 000069
【図２ａ】
2016052117.tif 000070
【図２ｂ】
2016052117.tif 000071
【図２ｃ】
2016052117.tif 000072
【図２ｄ】
2016052117.tif 000073
【図２ｅ】
2016052117.tif 000074
【図３】
2016052117.tif 000075
【図３ａ】
2016052117.tif 000076
【図４】
2016052117.tif 000077
【図４ａ】
2016052117.tif 000078
【図４ｂ】
2016052117.tif 000079
【図４ｃ】
2016052117.tif 000080
【図４ｄ】
2016052117.tif 000081
【図４ｅ】
2016052117.tif 000082
【図４ｆ】
2016052117.tif 000083
【図４ｇ】
2016052117.tif 000084
【図４ｈ】
2016052117.tif 000085
【図４ｉ】
2016052117.tif 000086
【図４ｊ】
2016052117.tif 000087
【図５】
2016052117.tif 000088
【手続補正書】
【提出日】平成27年6月8日(2015.6.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを備え、少なくとも３つのマイクロホンが前記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理方法はさらに、
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップと、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理方法。
【請求項２】
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップは、
前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記取得するステップはさらに、
前記取得された到達時間差および前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップを備える、請求項１に記載の音声信号処理方法。
【請求項３】
【数１】
2016052117.tif 000089
【請求項４】
【数２】
2016052117.tif 000090
【請求項５】
前記取得された到達時間差および前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップは、
以下に従って、前記移動端末に対する前記音源の前記方向θを取得するステップを備え、
【数３】
2016052117.tif 000091
前記第１のマイクロホンおよび第２のマイクロホンは、前記移動端末の１つの面の対称軸上に位置し、それぞれ前記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、前記移動端末の別の面の対称軸上に位置し、それぞれ前記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は前記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は前記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は前記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は前記第４のマイクロホンに対応する座標を表わす、請求項３に記載の音声信号処理方法。
【請求項６】
前記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも備え、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップは、
前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップを備え、前記ゲイン調整パラメータは、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、前記左方向の信号および前記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、前記右方向の信号および前記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを備え、さらに、前記移動端末に対する前記音源の前記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、前記得るステップはさらに、
前記音声信号に従って、前記空間オーディオ信号における全ての方向の前記信号の初期値を取得するステップと、
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号を生成するステップとを備える、請求項１から５のいずれか１項に記載の音声信号処理方法。
【請求項７】
前記空間オーディオ信号は、２チャネル信号をさらに備え、
前記方法はさらに、
前記２チャネル信号を生成するために、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号をダウンミックスするステップを備える、請求項６に記載の音声信号処理方法。
【請求項８】
前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップは、
以下に従って、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する前記第１のタイプのゲイン調整パラメータαＦを生成するステップと、
【数４】
2016052117.tif 000092
以下に従って、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する前記第１のタイプのゲイン調整パラメータαＢを生成するステップとを備え、
【数５】
2016052117.tif 000093
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、前記生成するステップはさらに、
以下に従って、前記左方向の信号および前記左後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＬを生成するステップと、
【数６】
2016052117.tif 000094
以下に従って、前記右方向の信号および前記右後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＲを生成するステップとを備え、
【数７】
2016052117.tif 000095
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である、請求項６に記載の音声信号処理方法。
【請求項９】
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
以下に従って、前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、前記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを備え、
【数８】
2016052117.tif 000096
ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
【請求項１０】
【数９】
2016052117.tif 000097
【請求項１１】
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップは、
前記第１から前記第４のマイクロホンによって受取られる前記音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するステップを備え、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線から前記ｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、前記ｉ番目のマイクロホンと前記ｊ番目のマイクロホンとの前記接続線から前記ｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、前記取得するステップはさらに、
以下に従って、ハート型の指向性を有する前記ビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップを備える、
【数１０】
2016052117.tif 000098
請求項１０に記載の音声信号処理方法。
【請求項１２】
前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って前記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップとを備え、
ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
【請求項１３】
音声信号処理装置であって、
三次元音場から音声信号を取得するように構成された第１の取得モジュールを備え、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理装置はさらに、
前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するように構成された第２の取得モジュールと、
前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュールとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理装置。
【請求項１４】
前記第２の取得モジュールは、
前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記第２の取得モジュールはさらに、
前記取得された到達時間差および前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るように構成された第２の取得ユニットを備える、請求項１３に記載の音声信号処理装置。
【請求項１５】
【数１１】
2016052117.tif 000099
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記の目的を達成するために、本発明の実施形態は以下の技術的解決策を使用する。
第１の局面によれば、本発明の実施形態は、音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが上記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理方法はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理方法を提供する。第１の局面を参照して、第１の局面の第１の可能な実施態様において、上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記取得するステップはさらに、
上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップを含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【数２】
2016052117.tif 000100
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第１の局面の第２の可能な実施態様を参照して、第１の局面の第４の可能な実施態様において、上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するステップを含み、
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第１の局面の第７の可能な実施態様を参照して、第１の局面の第８の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
以下に従って、上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、上記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを含み、
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第２の局面を参照して、第２の局面の第１の可能な実施態様において、上記第２の取得モジュールは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記第２の取得モジュールはさらに、
上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るように構成された第２の取得ユニットを含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
ステップ１０２２：取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
図４ａに示されるように、第２の取得モジュール４２は、
移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニット４２１を含み、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、第２の取得モジュール４２はさらに、
取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成された第２の取得ユニット４２２を含む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
空間オーディオ信号における全ての方向の信号は、第３の処理ユニット４３３に従って生成され、図４ｈに示されるように、第３の処理ユニット４３３は、
以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第５の処理サブユニット４３３１を含み、
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【０１５７】
プロセッサ５０１はさらに、移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成され、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】変更
【補正の内容】
【０１５８】
【数４１】
2016052117.tif 000101
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】変更
【補正の内容】
【０１７４】
プロセッサ５０１はさらに、以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2016052117.tif 000102
【手続補正書】
【提出日】平成27年10月14日(2015.10.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。以下を含む。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
例えば、再生システムがイヤホンである場合には、Ｎ個の方向の強調された出力信号が、５．１チャネルサラウンド音声システムにおける再生のための左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、上記の方法に従ってマッピングが行われた後に得られる５つの方向の信号に対して空間音場強調調整が行われ、その結果、空間音場強調調整後の出力信号が得られる。イヤホン再生システムでは、空間音場強調調整後に得られる出力信号は、２チャネル信号にダウンミックスされる必要がある。１つの任意のダウンミックス方法は、国際電気通信連合規格の５．１チャネルサラウンド音声を２チャネル信号にダウンミックスするための方法である。別の方法は、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号に対して、ダウンミックスの前に対応する角度の頭部伝達関数とそれぞれに畳み込みを行う必要があり、次いでダウンミックスが行われるというものであり、その結果、信号ダウンミックス後の前方方向、後方方向、左方向および右方向の空間分離度を向上させることができる。
【外国語明細書】
2016052117000001.pdf