(57)【要約】  第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部（１０１）と、第１の音響信号と、第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部（１０３）と、複数の音響信号のうちの少なくとも一の音響信号を用いて、第１の位置と第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部（１０２）と、第３の音響信号を周波数領域に変換した信号から、差信号を周波数領域に変換した信号を減算した周波数信号を生成し、生成した周波数信号を時間領域に変換することによって所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部（１０４）とを備える。
2013094135.tif 000002
【特許請求の範囲】
【請求項１】
第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、
前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、
前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、
前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える
音分離装置。
【請求項２】
前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が、前記所定の位置から前記第２の位置までの距離よりも小さい場合に、前記第１の音響信号を前記第３の音響信号として用いる
請求項１に記載の音分離装置。
【請求項３】
前記音響信号生成部は、前記所定の位置から前記第２の位置までの距離が、前記所定の位置から前記第１の位置までの距離よりも小さい場合に、前記第２の音響信号を前記第３の音響信号として用いる
請求項１に記載の音分離装置。
【請求項４】
前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第１係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第２係数とを決定し、前記第１の音響信号に前記第１係数を乗算した信号と、前記第２の音響信号に前記第２係数を乗算した信号とを加算することによって前記第３の音響信号を生成する
請求項１に記載の音分離装置。
【請求項５】
前記差信号生成部は、前記第１の音響信号に第１の重み係数を乗算した信号と、前記第２の音響信号に第２の重み係数を乗算した信号との時間領域における差分である前記差信号を生成し、前記第２の重み係数を前記第１の重み係数によって除算した値が、前記第１の位置から前記所定の位置までの距離が小さいほど、大きくなるように、前記第１の重み係数と前記第２の重み係数とを決定する
請求項１〜４のいずれか１項に記載の音分離装置。
【請求項６】
前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が小さいほど、前記分離音響信号によって出力される音の定位範囲は、大きくなり、
前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が大きいほど、前記分離音響信号によって出力される音の定位範囲は、小さくなる
請求項５に記載の音分離装置。
【請求項７】
前記抽出部は、前記第１の周波数信号の大きさから、前記第２の周波数信号の大きさを減算することで周波数ごとに得られる減算値を用いて、前記第３の周波数信号を生成し、
前記減算値が負の値である場合、当該減算値は、所定の正の値に置き換えられる
請求項１〜６のいずれか１項に記載の音分離装置。
【請求項８】
さらに、前記複数の音響信号のうちの少なくとも一の前記音響信号を用いることによって前記所定の位置に応じて前記分離音響信号を補正するための補正音響信号を生成し、前記補正音響信号を前記分離音響信号に加算する音補正部を備える
請求項１〜７のいずれか１項に記載の音分離装置。
【請求項９】
前記音補正部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第３係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定し、前記第１の音響信号に前記第３係数を乗算した信号と、前記第２の音響信号に前記第４係数を乗算した信号とを加算することによって前記補正音響信号を生成する
請求項８に記載の音分離装置。
【請求項１０】
前記第１の音響信号と前記第２の音響信号とは、ステレオ信号を構成する
請求項１〜９のいずれか１項に記載の音分離装置。
【請求項１１】
第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得ステップと、
前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成ステップと、
前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる、第３の音響信号を生成する音響信号生成ステップと、
前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出ステップとを含む
音分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、２つの音響信号を用いて、当該２つの音響信号にそれぞれに対応する再生位置の間に定位する音の音響信号を生成する音分離装置および音分離方法に関する。
【背景技術】
【０００２】
従来、２チャンネルの音響信号（オーディオ信号）であるＬ信号とＲ信号とを用いて、縮尺率＋１／２でＬ信号およびＲ信号を線形結合する、いわゆる（１／２＊（Ｌ＋Ｒ））技術が知られている。このような技術を用いることで、Ｌ信号が再生される再生位置と、Ｒ信号が再生される再生位置との間の中央付近に定位する音の音響信号を求めることができる（例えば、特許文献１参照）。【０００３】
また、２チャンネルの音響信号を用いて、周波数帯域ごとに、チャンネル間の振幅比と位相差とからオーディオ信号同士の類似度を求めることによって、類似度が低い周波数帯域の信号に小さな減衰係数を乗算して再合成する技術が知られている。このような技術を用いることで、Ｌ信号を再生する再生位置と、Ｒ信号を再生する再生位置との間の中央付近に定位する音の音響信号を求めることができる（例えば、特許文献２参照）。【０００４】
上記の技術では、２チャンネルの音響信号それぞれに対応する再生位置の中央付近に定位する音を強調した音響信号を生成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００３−５１６０６９号公報
【特許文献２】特開２００２−７８１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、２つの音響信号を用いて、当該２つの音響信号にそれぞれに対応する再生位置の間に定位する音の音響信号を精度よく生成する音分離装置および音分離方法を提供する。
【課題を解決するための手段】
【０００７】
本開示の音分離装置は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える。【０００８】
なお、本開示は、音分離装置として実現できるだけでなく、音分離方法として実現したり、その方法を記述したプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体としても実現することができる。
【発明の効果】
【０００９】
本開示の音分離装置等によれば、２つの音響信号を用いて、当該２つの音響信号にそれぞれ対応する再生位置の間に定位する音の音響信号を精度よく生成することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１に係る音分離装置と周辺装置との構成の一例を示す図である。
【図２】図２は、実施の形態１に係る音分離装置の構成を示す機能ブロック図である。
【図３】図３は、実施の形態１に係る音分離装置の動作を示すフローチャートである。
【図４】図４は、実施の形態１に係る音分離装置の動作を示す別のフローチャートである。
【図５】図５は、抽出対象の音の定位位置を示す概念図である。
【図６】図６は、重み係数の絶対値の大きさと抽出音の定位範囲との関係を示す模式図である。
【図７】図７は、第１の音響信号および第２の音響信号の具体例を示す図である。
【図８】図８は、領域ａに定位する音成分を抽出した場合の結果を示す図である。
【図９】図９は、領域ｂに定位する音成分を抽出した場合の結果を示す図である。
【図１０】図１０は、領域ｃに定位する音成分を抽出した場合の結果を示す図である。
【図１１】図１１は、領域ｄに定位する音成分を抽出した場合の結果を示す図である。
【図１２】図１２は、領域ｅに定位する音成分を抽出した場合の結果を示す図である。
【図１３】図１３は、抽出対象の音の定位位置の具体例を示す概念図である。
【図１４】図１４は、領域ｃに定位するボーカルの音成分を抽出した場合の結果を示す図である。
【図１５】図１５は、領域ｂに定位するカスタネットの音成分を抽出した場合の結果を示す図である。
【図１６】図１６は、領域ｅに定位するピアノの音成分を抽出した場合の結果を示す図である。
【図１７】図１７は、第１の音響信号がステレオ信号のＬ信号であり、第２の音響信号が、ステレオ信号のＲ信号である場合を示す模式図である。
【図１８】図１８は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＣ信号である場合を示す模式図である。
【図１９】図１９は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＲ信号である場合を示す模式図である。
【図２０】図２０は、実施の形態２に係る音分離装置の構成を示す機能ブロック図である。
【図２１】図２１は、実施の形態２に係る音分離装置の動作を示すフローチャートである。
【図２２】図２２は、実施の形態２に係る音分離装置の動作を示す別のフローチャートである。
【図２３】図２３は、抽出音の定位位置を示す概念図である。
【図２４】図２４は、抽出音の定位範囲を模式的に示した図である。
【発明を実施するための形態】
【００１１】
（本開示の基礎となった知見）
背景技術で説明したように、特許文献１および特許文献２には、２チャンネルの音響信号それぞれの再生位置の間に定位する音を強調した音響信号を生成する技術が開示されている。
【００１２】
特許文献１と同様の技術思想に基づく方法では、生成された音響信号には、Ｌ信号側の位置に定位する音成分とＲ信号側の位置に定位する音成分とが含まれる。このため、中央に定位する音成分を、Ｌ信号側に定位する音成分とＲ信号側に定位する音成分とから精度よく抽出できないという課題があった。
【００１３】
また、特許文献２と同様の技術思想に基づく方法では、複数の方向に定位する音成分が混合するような場合、振幅比や位相差も複数の音成分が混合した値となる。したがって、中央に定位する音成分の類似度が低くなる。このため、中央に定位する音成分を、中央とは異なる方向に定位する音成分から精度よく抽出できないという課題があった。
【００１４】
このように、上記従来の技術思想に基づく方法では、複数の音響信号に含まれる音成分から、特定の位置に定位する音成分を精度よく抽出できないという課題があった。
【００１５】
上記の課題を解決するために、本開示の一態様に係る音分離装置は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える。
【００１６】
このように、第３の音響信号から、差信号を周波数領域において減算することで、所定の位置に定位する音の音響信号である分離音響信号を精度よく生成することができる。
【００１７】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が、前記所定の位置から前記第２の位置までの距離よりも小さい場合に、前記第１の音響信号を前記第３の音響信号として用いてもよい。
【００１８】
これにより、所定の位置からの距離が大きい第２の音響信号の音成分が少ない第３の音響信号がされるため、分離音響信号をより精度よく生成することができる。
【００１９】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第２の位置までの距離が、前記所定の位置から前記第１の位置までの距離よりも小さい場合に、前記第２の音響信号を前記第３の音響信号として用いてもよい。
【００２０】
これにより、所定の位置からの距離が大きい第１の音響信号の音成分が少ない第３の音響信号がされるため、分離音響信号をより精度よく生成することができる。
【００２１】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第１係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第２係数とを決定し、前記第１の音響信号に前記第１係数を乗算した信号と、前記第２の音響信号に前記第２係数を乗算した信号とを加算することによって前記第３の音響信号を生成してもよい。
【００２２】
これにより、所定の位置に応じた第３の音響信号が生成されるため、分離音響信号をより精度よく生成することができる。
【００２３】
また、例えば、前記差信号生成部は、前記第１の音響信号に第１の重み係数を乗算した信号と、前記第２の音響信号に第２の重み係数を乗算した信号との時間領域における差分である前記差信号を生成し、前記第２の重み係数を前記第１の重み係数によって除算した値が、前記第１の位置から前記所定の位置までの距離が小さいほど、大きくなるように、前記第１の重み係数と前記第２の重み係数とを決定してもよい。
【００２４】
このようにすれば、第１の重み係数と第２の重み係数とを用いて、所定の位置に応じた分離音響信号を精度よく生成することができる。
【００２５】
また、例えば、前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が小さいほど、前記分離音響信号によって出力される音の定位範囲は、大きくなり、前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が大きいほど、前記分離音響信号によって出力される音の定位範囲は、小さくなってもよい。
【００２６】
すなわち、第１の重み係数の絶対値と第２の重み係数の絶対値とにより、分離音響信号により出力される音の定位範囲を調整することができる。
【００２７】
また、例えば、前記抽出部は、前記第１の周波数信号の大きさから、前記第２の周波数信号の大きさを減算することで周波数ごとに得られる減算値を用いて、前記第３の周波数信号を生成し、前記減算値が負の値である場合、当該減算値は、所定の正の値に置き換えられてもよい。
【００２８】
また、例えば、さらに、前記複数の音響信号のうちの少なくとも一の前記音響信号を用いることによって前記所定の位置に応じて前記分離音響信号を補正するための補正音響信号を生成し、前記補正音響信号を前記分離音響信号に加算する音補正部を備えてもよい。
【００２９】
また、例えば、前記音補正部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第３係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定し、前記第１の音響信号に前記第３係数を乗算した信号と、前記第２の音響信号に前記第４係数を乗算した信号とを加算することによって前記補正音響信号を生成してもよい。
【００３０】
これにより、分離音響信号に所定の位置の周辺に定位する音成分（補正音響信号）を加算して補正することで、音が定位しない空間が発生しないように分離音響信号によって出力される音同士を空間的に滑らかにつなぐことができる。
【００３１】
また、例えば、前記第１の音響信号と前記第２の音響信号とは、ステレオ信号を構成してもよい。
【００３２】
また、本開示の一態様に係る音分離方法は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得ステップと、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成ステップと、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる、第３の音響信号を生成する音響信号生成ステップと、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出ステップとを含む。
【００３３】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００３４】
以下、本開示に係る音分離装置の実施の形態について、図面を用いて詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００３５】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００３６】
（実施の形態１）
まず、本実施の形態に係る音分離装置の適用例について説明する。
【００３７】
図１は、本実施の形態に係る音分離装置と周辺装置との構成の一例を示す図である。
【００３８】
本実施の形態に係る音分離装置（一例として、実施の形態１に係る音分離装置１００）は、例えば、図１の（ａ）に示されるように、音再生装置の一部として実現される。
【００３９】
音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分（抽出音）を表す音響信号である分離音響信号を生成する。音分離装置１００が組み込まれている音再生装置１５０の再生系を用いて上記分離音響信号が再生されることによって、抽出音は出力される。
【００４０】
この場合、音再生装置１５０は、例えば、携帯型オーディオ装置等のスピーカが内蔵されたオーディオ装置、ミニコンポーネント、ＡＶセンターアンプ等のスピーカが接続されたオーディオ装置、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、ＴＶ会議システム、スピーカ、スピーカシステム等である。
【００４１】
また、音分離装置１００は、例えば、図１の（ｂ）に示されるように、音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分を表す分離音響信号を生成する。音分離装置１００は、上記分離音響信号を音分離装置１００とは別体の音再生装置１５０に送信する。音再生装置１５０の再生系を用いて分離音響信号が再生されることによって、抽出音は出力される。
【００４２】
この場合、音分離装置１００は、例えば、ネットワークオーディオ等のサーバおよび中継器、携帯型オーディオ装置、ミニコンポーネント、ＡＶセンターアンプ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、ＴＶ会議システム、スピーカ、スピーカシステム等として実現される。
【００４３】
また、音分離装置１００は、例えば、図１の（ｃ）に示されるように、音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分を表す分離音響信号を生成する。音分離装置１００は、上記分離音響信号を、記憶媒体２００に記憶しまたは送信する。
【００４４】
記憶媒体２００は、例えば、ハードディスク、ブルーレイディスクやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）やＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）等のパッケージメディア、フラッシュメモリ等が挙げられる。また、このようなハードディスクやフラッシュメモリ等の記憶媒体２００は、ネットワークオーディオ等のサーバおよび中継器、携帯型オーディオ装置、ミニコンポーネント、ＡＶセンターアンプ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、テレビ会議システム、スピーカ、スピーカシステム等に内蔵されたものであってもよい。
【００４５】
上記のように、本実施の形態に係る音分離装置は、音響信号を取得し、取得した音響信号から所望の音成分を抽出する機能を有していれば、どのような構成でも構わない。
【００４６】
以下、音分離装置１００の具体的な構成および動作の概要について図２および図３を用いて説明する。
【００４７】
図２は、実施の形態１に係る音分離装置１００の構成を示す機能ブロック図である。
【００４８】
図３は、音分離装置１００の動作を示すフローチャートである。
【００４９】
図２に示されるように、音分離装置１００は、信号取得部１０１と、音響信号生成部１０２と、差信号生成部１０３と、音成分抽出部１０４とを備える。
【００５０】
信号取得部１０１は、第１の位置に対応する音響信号である第１の音響信号と、第２の位置に対応する音響信号である第２の音響信号とを含む複数の音響信号を取得する（図３のＳ２０１）。第１の音響信号および第２の音響信号は、同一の音成分を含む。具体的には、例えば、第１の音響信号に、カスタネットの音成分と、ボーカルの音成分と、ピアノの音成分とが含まれる場合、第２の音響信号にも、カスタネットの音成分と、ボーカルの音成分と、ピアノの音成分とが含まれることを意味する。
【００５１】
音響信号生成部１０２は、信号取得部１０１が取得した複数の音響信号のうちの少なくとも一の音響信号を用いて、抽出対象の音の音成分が含まれる音響信号である第３の音響信号を生成する（図３のＳ２０２）。第３の音響信号の生成方法の詳細については、後述する。
【００５２】
差信号生成部１０３は、信号取得部１０１が取得した音響信号のうち、第１の音響信号と、第２の音響信号との時間領域における差分を表す信号である差信号を生成する（図３のＳ２０３）。差信号の生成方法の詳細については、後述する。
【００５３】
音成分抽出部１０４は、第３の音響信号を周波数領域に変化した信号から、差信号を周波数領域に変換した信号を減算する。音成分抽出部１０４は、減算して得られた信号を時間領域に変換した音響信号である分離音響信号を生成する（図３のＳ２０４）。分離音響信号が再生されることで、第１の音響信号、および第２の音響信号によって定位する抽出対象の音が抽出音として出力される。すなわち、音成分抽出部１０４は、抽出対象の音を抽出することができる。
【００５４】
なお、音分離装置１００の動作の順序は、図３のフローチャートで示される順序に限定されない。例えば、図４に示されるように、第３の音響信号を生成するステップＳ２０２と、差信号を生成するステップＳ２０３との動作の順序は、図３のフローチャートで示される順序と逆であってもよい。また、ステップＳ２０２とステップＳ２０３とは、並行して行われてもよい。
【００５５】
次に、音分離装置の各動作の詳細について説明する。
【００５６】
なお、以下の説明では、一例として、音分離装置１００が第１の位置に対応する第１の音響信号と第２の位置に対応する第２の音響信号の２つの音響信号を取得して、第１の位置および第２の位置の間に定位する音成分を抽出する場合について説明する。
【００５７】
＜音響信号の取得動作について＞
以下、信号取得部１０１の音響信号の取得動作の詳細について説明する。
【００５８】
図１を用いて既に説明したように、信号取得部１０１は、例えば、インターネット等のネットワークから音響信号を取得する。また、例えば、信号取得部１０１は、ハードディスク、ブルーレイディスクやＤＶＤやＣＤ等のパッケージメディア、フラッシュメモリ等の記憶媒体から音響信号を取得する。
【００５９】
また、例えば、信号取得部１０１は、テレビ、携帯電話、無線ネットワーク等の電波から音響信号を取得する。また、例えば、信号取得部１０１は、スマートフォン、オーディオレコーダー、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、マイクロホン等の収音部から収音された音の音響信号を取得する。
【００６０】
要するに、信号取得部１０１は、同一の音場を表す第１の音響信号および第２の音響信号を取得できればよく、音響信号の取得経路についてはどのようなものでも構わない。
【００６１】
第１の音響信号および第２の音響信号は、典型的には、ステレオ信号を構成するＬ信号とＲ信号であり、この場合の第１の位置および第２の位置は、ＬチャンネルおよびＲチャンネルのスピーカそれぞれが配置される所定の位置である。第１の音響信号および第２の音響信号は、例えば、５．１チャンネルの音響信号のうちから選択した２チャンネルの音響信号であってもよい。この場合の第１の位置および第２の位置は、選択した２チャンネルのスピーカそれぞれが配置される所定の位置である。
【００６２】
＜第３の音響信号の生成動作について＞
以下、音響信号生成部１０２の第３の音響信号の生成動作の詳細について説明する。
【００６３】
音響信号生成部１０２は、信号取得部１０１が取得した音響信号のうちの少なくとも一の音響信号を用いて、抽出対象の音が定位する位置に対応する第３の音響信号を生成する。
【００６４】
以下、第３の音響信号の生成方法について具体的に説明する。
【００６５】
図５は、抽出対象の音の定位位置を示す概念図である。
【００６６】
本実施の形態では、抽出対象の音は、第１の位置（第１の音響信号）と第２の位置（第２の音響信号）との間の領域に定位する音である。この領域は、図５に示されるように、領域ａから領域ｅの５つの領域に便宜的に分けられる。
【００６７】
具体的には、第１の位置側に最も近い領域を「領域ａ」、第２の位置に最も近い領域を「領域ｅ」、第１の位置と、第２の位置の真ん中付近の領域を「領域ｃ」とし、領域ａと領域ｃとの間の領域を「領域ｂ」、領域ｃと領域ｅとの間の領域を「領域ｄ」とする。
【００６８】
本実施の形態における第３の音響信号の生成方法は、具体的に以下の３つの場合がある。
１．第１の音響信号から第３の音響信号を生成する場合
２．第２の音響信号から第３の音響信号を生成する場合
３．第１の音響信号および第２の音響信号の両方を用いて第３の音響信号を生成する場合
【００６９】
第１の音響信号および第２の音響信号によって表される音のうち、領域ａおよび領域ｂに定位する音を抽出する場合、音響信号生成部１０２は、第３の音響信号として第１の音響信号そのものを用いる。領域ａおよび領域ｂは、第２の位置よりも第１の位置に近い領域であるため、第１の音響信号の音成分が多く、第２の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができるからである。
【００７０】
また、領域ｃに定位する音を抽出する場合、音響信号生成部１０２は、第１の音響信号と第２の音響信号とを加算して生成される音響信号を第３の音響信号として用いる。このように、第１の音響信号と第２の音響信号とが同位相で加算されることにより、領域ｃに定位する音成分が予め強調された第３の音響信号が生成され、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７１】
さらに、領域ｄおよび領域ｅに定位する音を抽出する場合、音響信号生成部１０２は、第３の音響信号として第２の音響信号そのものを用いる。領域ｄおよび領域ｅは、第１の位置よりも第２の位置に近い領域であるため、第２の音響信号の音成分が多く、第１の音響信号の音成分が少ない第３の音響信号が生成されることで、後述する音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができるからである。
【００７２】
なお、音響信号生成部１０２は、第１の音響信号と、第２の音響信号とを重み付けして加算することによって第３の音響信号を生成してもよい。すなわち、音響信号生成部１０２は、第１の音響信号に第１係数を乗算した信号と、第２の音響信号に第２係数を乗算した信号とを加算することによって第３の音響信号を生成してもよい。ここで、第１係数および第２係数は、０以上の実数である。
【００７３】
例えば、領域ａおよび領域ｂに定位する音を抽出する場合、領域ａおよび領域ｂは、第２の位置よりも第１の位置に近い領域であるため、音響信号生成部１０２は、第１係数と、第１係数よりも小さい値の第２係数とを用いて第３の音響信号を生成してもよい。このように、第１の音響信号の音成分が多く、第２の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７４】
また、例えば、領域ｄおよび領域ｅに定位する音を抽出する場合、領域ｄおよび領域ｅは、第１の位置よりも第２の位置に近い領域であるため、音響信号生成部１０２は、第１係数と、第１係数よりも大きい値の第２係数とを用いて第３の音響信号を生成してもよい。このように、第２の音響信号の音成分が多く、第１の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７５】
なお、第３の音響信号の生成に、上述のいずれの方法を用いたとしても音分離装置１００は、抽出対象の音成分を抽出可能である。要するに、第３の音響信号に抽出対象の音成分が含まれていればよい。第３の音響信号のうち不要な部分は、後述する差信号によって除かれるからである。
【００７６】
＜差信号の生成動作について＞
以下、差信号生成部１０３の差信号の生成動作の詳細について説明する。
【００７７】
差信号生成部１０３は、信号取得部１０１が取得した第１の音響信号および第２の音響信号の時間領域における差分を表す差信号を生成する。
【００７８】
本実施の形態では、差信号生成部１０３は、第１の音響信号と、第２の音響信号とを重み付けして減算することによって差信号を生成する。すなわち、差信号生成部１０３は、第１の音響信号に第１の重み係数αを乗算した信号と、第２の音響信号に第２の重み係数βを乗算した信号とを減算することによって差信号を生成する。具体的には、差信号生成部１０３は、下記（式１）を用いて差信号を生成する。なお、αおよびβは０以上の実数である。
【００７９】
差信号＝α×第１の音響信号−β×第２の音響信号・・（式１）
【００８０】
図５では、領域ａ〜領域ｅに定位する音を抽出する場合にそれぞれ用いられる、第１の重み係数αの値と、第２の重み係数βの値との関係が示されている。抽出対象の音が定位する位置から第１の位置までの距離が小さいほど、第１の重み係数αは大きくなり、第２の重み係数βは小さくなる。また、抽出対象の音が定位する位置から第２の位置までの距離が小さいほど第１の重み係数αは小さくなり、第２の重み係数βは大きくなる。
【００８１】
なお、（式１）では、第１の音響信号から第２の音響信号を減算しているが、第２の音響信号から第１の音響信号を減算してもよい。なぜなら、音成分抽出部１０４は、周波数領域において第３の音響信号から、差信号を減算するからである。この場合は、図５については、第１の音響信号と第２の音響信号の記載を入れ替えて解釈すればよい。
【００８２】
領域ａに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて大きくなるように係数の値を決定し（β／α＞＞１）、（式１）を用いて差信号を生成する。これにより、後述する音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる第２の位置側に定位する音成分を主に取り除くことができる。
【００８３】
なお、領域ａに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数α＝０として、第２の音響信号そのものを差信号として生成してもよい。
【００８４】
また、領域ｂに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが比較的大きくなるように係数の値を設定し（β／α＞１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分をバランスよく取り除くことができる。
【００８５】
また、領域ｃに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を設定し（β／α＝１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分を均等に取り除くことができる。
【００８６】
また、領域ｄに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数βよりも第１の重み係数αが比較的大きくなるように係数の値を設定し（β／α＜１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分をバランスよく取り除くことができる。
【００８７】
また、領域ｅに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数βよりも第１の重み係数αが極めて大きくなるように係数の値を決定し（β／α＜＜１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる第１の位置側に定位する音成分を主に取り除くことができる。
【００８８】
なお、領域ｅに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数β＝０として、第１の音響信号そのものを差信号として生成してもよい。
【００８９】
このように、本実施の形態では、差信号生成部１０３は、抽出対象の音の定位位置に応じて、第１の重み係数αと第２の重み係数βとの比率を決定することで、音分離装置１００は、所望の定位位置の音成分を抽出することができる。
【００９０】
なお、差信号生成部１０３は、抽出対象の音の定位範囲に応じて、第１の重み係数αと第２の重み係数βとの絶対値を決定する。定位範囲とは、受聴者が音像を知覚可能な範囲（音像が定位する範囲）を意味する。
【００９１】
図６は、重み係数の絶対値の大きさと抽出音の定位範囲との関係を示す模式図である。
【００９２】
図６において、図の上下方向（縦軸）は、抽出音の音圧の大きさを示し、図の左右方向(横軸)は、定位範囲を示す。
【００９３】
図６に示されるように、第１の重み係数αおよび第２の重み係数βの絶対値を大きくすればするほど、抽出音の定位範囲Ａは、小さくなる。
【００９４】
図６の（ｂ）は、α＝β＝１．０の状態であるが、差信号生成部１０３がこの状態よりも第１の重み係数αおよび第２の重み係数βの絶対値を大きい値（例えば、α＝β＝５．０）に決定した場合、図６の（ａ）に示されるように抽出音の定位範囲は、小さくなる。
【００９５】
同様に、差信号生成部１０３が図６の（ｂ）の状態よりも第１の重み係数αおよび第２の重み係数βの絶対値を小さい値（例えば、α＝β＝０．２）に決定した場合、図６の（ｃ）に示されるように、抽出音の定位範囲は、大きくなる。
【００９６】
以上説明したように、差信号生成部１０３は、抽出対象の音の定位位置に応じて第１の重み係数αおよび第２の重み係数βの比率を決定し、抽出対象の音の定位範囲に応じて第１の重み係数αおよび第２の重み係数βの絶対値を決定する。言い換えれば、差信号生成部１０３は、第１の重み係数αおよび第２の重み係数βによって抽出対象の音の定位位置および定位範囲を調整することができる。これにより、音分離装置１００は、抽出対象の音を精度よく抽出することができる。
【００９７】
なお、差信号生成部１０３は、第１の音響信号および第２の音響信号のそれぞれの信号の振幅のべき乗（例えば、振幅の３乗や振幅の０．１乗）同士を減算して差信号を生成してもよい。すなわち、差信号生成部１０３は、第１の音響信号および第２の音響信号のそれぞれの信号について、振幅の大小関係を保持して変形した別の大きさを表す物理量同士を減算して差信号を生成してもよい。
【００９８】
なお、マイクロホン等の収音部から収音される音の音響信号を、第１の音響信号および第２の音響信号として用いる場合には、差信号生成部１０３は、第１の音響信号および第２の音響信号に含まれる抽出対象の音が同一時刻になるように調整したのちに、第１の音響信号から第２の音響信号を減算することで差信号を生成してもよい。時刻を調整する方法の一例として、抽出対象の音が定位する位置と、第１の音響信号を収音した第１のマイクロホンの位置と、第２の音響信号を取得した第２のマイクロホンの位置と、音速とから、物理的に抽出対象の音が第１のマイクロホンに入力される時刻および第２のマイクロホンに入力される時刻の相対時刻を求めることができるため、その相対時刻を補正することで時刻を調整することができる。
【００９９】
＜音成分の抽出動作について＞
以下、音成分抽出部１０４の音成分の抽出動作の詳細について説明する。
【０１００】
はじめに、音成分抽出部１０４は、音響信号生成部１０２が生成した第３の音響信号を周波数領域に変換した信号である第１の周波数信号を求める。さらに、音成分抽出部１０４は、差信号生成部１０３が生成した差信号を周波数領域に変換した信号である第２の周波数信号を求める。
【０１０１】
本実施の形態において、音成分抽出部１０４は、高速フーリエ変換を用いて上記周波数信号への変換を行っている。具体的には、音成分抽出部１０４は、以下の分析条件で変換を行っている。
【０１０２】
第１の音響信号および第２の音響信号のサンプリング周波数は、４４．１ｋＨｚである。そして生成された第３の音響信号と差信号のサンプリング周波数は、４４．１ｋＨｚである。高速フーリエ変換の窓長は、４０９６ｐｔであり、ハニング窓が用いられる。また、後述するように周波数信号を時間領域の信号に変換するために、周波数信号は、５１２ｐｔごとに時間軸をシフトさせて求められる。
【０１０３】
続いて、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する。なお、減算した結果得られる周波数信号を第３の周波数信号とする。
【０１０４】
本実施の形態では、音成分抽出部１０４は、高速フーリエ変換を用いて求めた周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分け、周波数信号の大きさ同士を各周波数成分ごとに減算する。すなわち、音成分抽出部１０４は、第３の音響信号の周波数信号の大きさから差信号の周波数信号の大きさを周波数成分ごとに減算する。音成分抽出部１０４の上記減算は、周波数信号を求めるときに時間軸をシフトさせた時間間隔、すなわち５１２ｐｔごとに行われる。なお、周波数信号の大きさとしては、本実施の形態では、周波数信号の振幅が用いられる。
【０１０５】
このとき、音成分抽出部１０４は、減算した結果が負の値になる場合は、減算結果を０に極めて近い所定の正の値、すなわち、ほぼゼロとして取り扱う。これは、減算した結果得られる第３の周波数信号に対して、後述する高速フーリエ逆変換を行うためである。減算した結果は、第３の周波数信号の各周波数成分の周波数信号の大きさとして用いられる。
【０１０６】
なお、第３の周波数信号の位相は、本実施の形態では、第１の周波数信号（第３の音響信号を周波数領域に変換した周波数信号）の位相をそのまま用いる。
【０１０７】
本実施の形態では、領域ａおよび領域ｂに定位する音を抽出する場合、第３の音響信号として第１の音響信号を用いているため、第１の音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１０８】
また、本実施の形態では、領域ｃに定位する音を抽出する場合、第３の音響信号として、第１の音響信号と第２の音響信号とを加算した音響信号を用いているため、上記加算した音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１０９】
また、本実施の形態では、領域ｄおよび領域ｅに定位する音を抽出する場合、第３の音響信号として第２の音響信号を用いているため、第２の音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１１０】
このように、第３の周波数信号を生成するにあたり、位相については演算を行わず、第１の周波数信号の位相をそのまま用いることで、音成分抽出部１０４が行う演算量は、低減される。
【０１１１】
そして、音成分抽出部１０４は、第３の周波数信号を時間領域の信号、すなわち音響信号に変換する。本実施の形態では、音成分抽出部１０４は、高速フーリエ逆変換を用いて第３の周波数信号を時間領域の音響信号（分離音響信号）に変換する。
【０１１２】
本実施の形態では、上述のように高速フーリエ変換の窓長幅は、４０９６ｐｔであり、時間シフト幅は、これよりも短い５１２ｐｔである。すなわち、第３の周波数信号は、時間領域においてオーバーラップ部分を有する。これにより、高速フーリエ逆変換を用いて第３の周波数信号が時間領域の音響信号に変換されたときに、同時刻において複数の時間波形の候補を平均化することで、時間領域における音響信号の連続性をなめらかにできる。
【０１１３】
以上のように音成分抽出部１０４によって生成された分離音響信号が再生されることで、抽出音が出力される。
【０１１４】
なお、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する場合、周波数信号の振幅を周波数成分ごとに減算する代わりに、周波数信号のパワー（振幅の２乗）や、周波数信号の振幅のべき乗（例えば、振幅の３乗や振幅の０．１乗）や、振幅の大小関係を保持して変形した別の大きさを表す量を周波数成分ごとに減算してもよい。
【０１１５】
また、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する場合、第１の周波数信号と第２の周波数信号とにそれぞれ重み係数をかけてから減算してもよい。
【０１１６】
なお、本実施の形態では、周波数信号を生成する際、高速フーリエ変換を利用したが、離散コサイン変換、ウェーブレット変換等の、他の一般的な周波数変換を用いてもよい。つまり、時間領域の信号を周波数領域に変換する変換方法であればどのような方法を利用しても構わない。
【０１１７】
なお、上記の説明では、音成分抽出部１０４は、周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分け、上記周波数信号の大きさ同士を各周波数成分ごとに減算した。しかしながら、音成分抽出部１０４は、周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分けずに、複素スペクトル上で第１の周波数信号から第２の周波数信号を減算してもよい。
【０１１８】
複素スペクトル上で周波数信号の減算を行うために、音成分抽出部１０４は、第１の音響信号と第２の音響信号とを比較し、差信号の符号を考慮して第１の周波数信号から第２の周波数信号を減算する。
【０１１９】
具体的には、例えば、差信号を第１の音響信号から第２の音響信号を減算して生成した場合（差信号＝第１の音響信号−第２の音響信号）、第１の音響信号の大きさが、第２の音響信号の大きさよりも大きければ、複素スペクトル上で第１の周波数信号から第２の周波数信号を減算（第１の周波数信号−第２の周波数信号）する。
【０１２０】
同様に、第２の音響信号の大きさが、第１の音響信号よりも大きければ、複素スペクトル上で第１の周波数信号から第２の周波数信号の符号を反転した信号を減算（第１の周波数信号−（−１）×第２の周波数信号）する。
【０１２１】
上記のような方法により、第１の周波数信号から第２の周波数信号を複素スペクトル上で減算することができる。
【０１２２】
なお、上記の方法では、音成分抽出部１０４は、第１の音響信号と第２の音響信号との大きさのみに着目して符号を考慮した減算を行ったが、さらに第１の音響信号および第２の音響信号の位相を考慮してもよい。
【０１２３】
また、第１の周波数信号から第２の周波数信号を減算する場合に、周波数信号の大きさに応じた演算方法を用いてもよい。
【０１２４】
例えば、「第１の周波数信号の大きさ−第２の周波数信号の大きさ≧０」の場合は、音成分抽出部１０４は、第１の周波数信号から第２の周波数信号をそのまま減算する。
【０１２５】
一方、「第１の周波数信号の大きさ−第２の周波数信号の大きさ＜０」の場合には、音成分抽出部１０４は、「第１の周波数信号−（第１の周波数信号の大きさ／第２の周波数信号の大きさ）×第２の周波数信号」の演算を行う。これにより、第１の周波数信号に、位相が反転した第２の周波数信号が誤って加算されることがなくなる。
【０１２６】
このように第１の周波数信号から第２の周波数信号を複素スペクトル上で減算することで、音成分抽出部１０４は、周波数信号の位相がより正確な分離音響信号を生成することができる。
【０１２７】
抽出音が単独で再生されるような場合、周波数信号の位相が受聴者に与える聴感上の影響は小さいため、周波数信号の位相については、必ずしも正確な演算が行われなくてもよい。しかしながら、複数の抽出音が同時に再生される場合、抽出音同士の位相が干渉してしまい、高周波が減衰する等、聴感上の影響が生じることがある。
【０１２８】
よって、このような場合、第１の周波数信号から第２の周波数信号を複素スペクトル上で減算する上記の方法は、抽出音同士の位相の干渉を低減できるため、有用である。
【０１２９】
＜音分離装置１００の動作の具体例＞
以下、図７〜図９を用いて、音分離装置１００の動作の具体例について説明する。
【０１３０】
図７は、第１の音響信号と第２の音響信号との具体例を示す図である。
【０１３１】
図７の（ａ）に示される第１の音響信号と、図７の（ｂ）に示される第２の音響信号とは、いずれも１ｋＨｚの正弦波であり、第１の音響信号の位相と、第２の音響信号の位相とは、同相である。また、図７の（ａ）に示されるように第１の音響信号は、時間経過とともに音の大きさが小さくなり、図７の（ｂ）に示されるように第２の音響信号は時間経過とともに音の大きさが大きくなる。また、受聴者は、領域ｃの正面に位置し、第１の位置から出力される第１の音響信号による音と、第２の位置から出力される第２の音響信号による音とを受聴するものとする。
【０１３２】
図７の上段には、音の周波数（縦軸）と時間（横軸）との関係が示されている。本図中において、色の明暗は、音の大きさを表しており、色が明るいほど大きな値であることを示す。図７では、１ｋＨｚの正弦波を用いているため、図７の上段の図では、１ｋＨｚに対応する部分のみ色の明暗が現れ、他の部分は、黒色となっている。
【０１３３】
図７の下段には、図７の上段の図における色の明暗を明確にしたグラフであって、１ｋＨｚの周波数帯域における音響信号の音の大きさ（縦軸）と時間（時間）との関係を示すグラフが示されている。
【０１３４】
図７に記載された、領域ａ〜領域ｅは、図５の領域ａ〜領域ｅに対応している。
【０１３５】
具体的には、図７において、領域ａと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも極めて大きい。このため、領域ａと記載された時間帯においては、１ｋＨｚの音は、第１の位置側に大きく偏り、領域ａに定位する。
【０１３６】
また、図７において、領域ｂと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも大きい。このため、領域ｂと記載された時間帯においては、１ｋＨｚの音は、第１の位置側に偏り、領域ｂに定位する。
【０１３７】
また、図７において、領域ｃと記載された時間帯においては、第１の音響信号の音の大きさと、第２の音響信号との大きさとはほぼ等しく、１ｋＨｚの音は、領域ｃに定位する。
【０１３８】
また、図７において、領域ｄと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも小さい。このため、領域ｄと記載された時間帯においては、１ｋＨｚの音は、第２の位置側に偏り、領域ｄに定位する。
【０１３９】
また、図７において、領域ｅと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも極めて小さい。このため、領域ａと記載された時間帯においては、１ｋＨｚの音は、第２の位置側に大きく偏り、領域ｅに定位する。
【０１４０】
図８〜図１２に、図７に示される音響信号を用いて音分離装置１００を動作させた場合の結果を示す図である。なお、図８〜図１２に示される図の表示方法は、図７と同様であるため、ここでの説明は省略する。
【０１４１】
図８では、音分離装置１００が、領域ａに定位する音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１４２】
領域ａに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図８の（ａ）のように示される。
【０１４３】
また、領域ａに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて大きくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０より極めて小さい値（ほぼゼロ）であり、第２の重み係数βは、１．０である。この場合の差信号は、図８の（ｂ）のように示される。
【０１４４】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図８の（ｃ）に示される抽出音である。図８の（ｃ）に示される抽出音の大きさは、領域ａと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ａに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１４５】
図９では、音分離装置１００が、領域ｂに定位する音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１４６】
領域ｂに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図９の（ａ）のように示される。
【０１４７】
また、領域ｂに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが大きくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、２．０である。この場合の差信号は、図９の（ｂ）のように示される。
【０１４８】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図９（ｃ）に示される抽出音である。図９の（ｃ）に示される抽出音の大きさは、領域ｂと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｂに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１４９】
図１０では、音分離装置１００が、領域ｃに定位する音を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５０】
領域ｃに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号と第２の音響信号との和を第３の音響信号として用いる。この場合の第３の音響信号は、図１０の（ａ）のように示される。
【０１５１】
また、領域ｃに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１０の（ｂ）のように示される。
【０１５２】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１０の（ｃ）に示される抽出音である。図１０の（ｃ）に示される抽出音の大きさは、領域ｃと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｃに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１５３】
図１１では、音分離装置１００が、領域ｄに定位する音成分を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５４】
領域ｄに定位する音成分を抽出する場合、音響信号生成部１０２は、第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１１の（ａ）のように示される。
【０１５５】
また、領域ｄに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが小さくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、２．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１１の（ｂ）のように示される。
【０１５６】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１１の（ｃ）に示される抽出音である。図１１の（ｃ）に示される抽出音の大きさは、領域ｄと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｄに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１５７】
図１２では、音分離装置１００が、領域ｅに定位する音成分を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５８】
領域ｅに定位する音成分を抽出する場合、音響信号生成部１０２は、第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１２の（ａ）のように示される。
【０１５９】
また、領域ｅに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて小さくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０より極めて小さい値（ほぼゼロ）である。この場合の差信号は、図１２の（ｂ）のように示される。
【０１６０】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１２の（ｃ）に示される抽出音である。図１２の（ｃ）に示される抽出音の大きさは、領域ｅと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｅに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１６１】
以下、図１３〜図１６を用いて音分離装置１００の動作のさらに具体的な例について説明する。
【０１６２】
図１３は、抽出対象の音の定位位置の具体例を示す概念図である。
【０１６３】
以下の図１４〜図１６は、図１３に示されるように、カスタネットの音が領域ｂに定位し、ボーカルの音が領域ｃに定位し、ピアノの音が領域ｅに定位する場合に、各領域の音を抽出する場合の第３の音響信号の音、差信号の音、および抽出音をそれぞれ示す。なお、図１４〜図１６には、上記３つの音の周波数（縦軸）と時間（横軸）との関係がそれぞれ示されている。図中において、色の明暗は、音の大きさを表しており、色が明るいほど大きな値であることを示す。
【０１６４】
図１４には、領域ｃに定位するボーカルの音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１６５】
領域ｃに定位するボーカルの音成分を抽出する場合、音響信号生成部１０２は、領域ｃに定位する音成分を含む、第１の音響信号と第２の音響信号との和を第３の音響信号として用いる。この場合の第３の音響信号は、図１４の（ａ）のように示される。
【０１６６】
また、この場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１４の（ｂ）のように示される。
【０１６７】
図１４の（ｃ）は、抽出音を示し、当該抽出音は、領域ｃに定位するボーカルの音成分が抽出された音である。図１４の（ａ）に示される第３の音響信号と、抽出音とを比較すると、ボーカルの音成分のＳＮ比が向上していることがわかる。
【０１６８】
図１５には、領域ｂに定位するカスタネットの音成分を抽出する場合における、第３の音響信号、差信号、および抽出音（ｃ）が示されている。
【０１６９】
領域ｂに定位するカスタネットの音成分を抽出する場合、音響信号生成部１０２は、領域ｂに定位する音成分を含む第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１５の（ａ）のように示される。
【０１７０】
また、この場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが大きくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、２．０である。この場合の差信号は、図１５の（ｂ）のように示される。
【０１７１】
図１５の（ｃ）は、抽出音を示し、当該抽出音は、領域ｂに定位するカスタネットの音成分が抽出された音である。図１５の（ａ）に示される第３の音響信号と、抽出音とを比較すると、カスタネットの音成分のＳＮ比が向上していることがわかる。
【０１７２】
図１６に、領域ｅに定位するピアノの音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１７３】
領域ｅに定位するピアノの音成分を抽出する場合、音響信号生成部１０２は、領域ｅに定位する音成分を含む第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１６の（ａ）のように示される。
【０１７４】
また、この場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて小さくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０より極めて小さい値（ほぼゼロ）である。
【０１７５】
図１６の（ｃ）は、抽出音を示し、当該抽出音は、領域ｅに定位するピアノの音成分が抽出された音である。図１６の（ａ）に示される第３の音響信号と、抽出音とを比較すると、ピアノの音成分のＳＮ比が向上していることが分かる。
【０１７６】
＜第１の音響信号、第２の音響信号の別の例＞
上述のように、第１の音響信号および第２の音響信号は、典型的には、ステレオ信号を構成するＬ信号とＲ信号である。
【０１７７】
図１７は、第１の音響信号がステレオ信号のＬ信号であり、第２の音響信号が、ステレオ信号のＲ信号である場合を示す模式図である。
【０１７８】
図１７の例では、音分離装置１００は、上記ステレオ信号によって、Ｌ信号の音が出力される位置（Ｌチャンネルスピーカが配置される位置）と、Ｒ信号の音が出力される位置（Ｒチャンネルスピーカが配置される位置）との間に定位する抽出対象の音を抽出する。具体的には、信号取得部１０１は、上記ステレオ信号であるＬ信号とＲ信号とを取得し、音響信号生成部１０２は、第３の音響信号としてＬ信号に第１の係数γを乗算した信号と、Ｒ信号に第２の係数ηを乗算した信号とを加算した音響信号（γＬ＋ηＲ）を生成する（γ、ηは、０以上の実数）。
【０１７９】
しかしながら、第１の音響信号および第２の音響信号は、ステレオ信号を構成するＬ信号とＲ信号に限定されるものではない。例えば、第１の音響信号および第２の音響信号は、５．１チャンネル（以下、５．１ｃｈと記載する）の音響信号から選択した互いに異なる任意の２つの音響信号であってもよい。
【０１８０】
図１８は、第１の音響信号が５．１ｃｈの音響信号のＬ信号（フロント左側の信号）であり、第２の音響信号が５．１ｃｈの音響信号のＣ信号（フロントセンター側の信号）である場合を示す模式図である。
【０１８１】
図１８の例では、音響信号生成部１０２は、第３の音響信号としてＬ信号に第１の係数γを乗算した信号と、Ｃ信号に第２の係数ηを乗算した信号とを加算した音響信号（γＬ＋ηＣ）を生成する（γ、ηは、０以上の実数）。そして、音分離装置１００は、５．１ｃｈの音響信号であるＬ信号、Ｃ信号によって、Ｌ信号の音が出力される位置と、Ｃ信号の音が出力される位置との間に定位する抽出対象の音成分を抽出する。
【０１８２】
また、図１９は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＲ信号（フロント右側の信号）である場合を示す模式図である。
【０１８３】
図１９の例では、音分離装置１００は、５．１ｃｈの音響信号であるＬ信号、Ｃ信号、およびＲ信号によって、Ｌ信号の音が出力される位置と、Ｒ信号の音が出力される位置との間に定位する抽出対象の音成分を抽出する。具体的には、信号取得部１０１は、５．１ｃｈの音響信号の少なくともＬ信号とＣ信号とＲ信号とを取得する。
【０１８４】
音響信号生成部１０２は、図１９の例では、Ｌ信号に第１の係数γを乗算した信号と、Ｒ信号に第２の係数ηを乗算した信号と、Ｃ信号に第３の係数ζを乗算した信号とを加算した音響信号（γＬ＋ηＲ＋ζＣ）を生成する（γ、η、ζは、０以上の実数）。
【０１８５】
例えば、γ＝η＝０である場合は、第３の音響信号は、Ｃ信号そのものである。また、例えば、γ＝η＝ζ＝１である場合は、第３の音響信号は、Ｌ信号とＲ信号とＣ信号とを加算した信号である。
【０１８６】
＜まとめ＞
以上説明したように、実施の形態１に係る音分離装置１００は、第１の音響信号と第２の音響信号とによって所定の位置に定位する抽出対象の音の音響信号（分離音響信号）を精度よく生成することができる。すなわち、音分離装置１００は、音の定位位置に応じて抽出対象の音を抽出することができる。
【０１８７】
音分離装置１００が抽出した各音の音源（分離音響信号）が、対応する位置や方向に配置したスピーカ等から再生されることで、ユーザ（受聴者）は、立体的な音響空間を楽しむことができる。
【０１８８】
例えば、ユーザは、音分離装置１００を用いて、パッケージメディアやダウンロードされた音楽コンテンツ等から、オンマイクでスタジオ収録したようなボーカル音声や楽器音を抽出し、抽出されたボーカル音声や楽器音のみを聞いて楽しむことができる。
【０１８９】
同様に、ユーザは、音分離装置１００を用いて、パッケージメディアや放送された映画コンテンツ等から、セリフ等の音声を抽出することができる。ユーザは、抽出したセリフ等の音声を強調して再生することによって、セリフ等の音声を明瞭に聞くことができる。
【０１９０】
また、例えば、ユーザは、音分離装置１００を用いてニュース音声から抽出対象の音を抽出することができる。この場合、例えば、抽出した音の音響信号を耳元に近いスピーカから再生することで、ユーザは、抽出対象の音が明瞭となったニュース音声を聞くことができる。
【０１９１】
また、例えば、ユーザは、音分離装置１００を用いて、デジタルスチルカメラやデジタルビデオカメラで収録した音を、定位位置ごとに抽出することによって、収録した音を編集することができる。この結果、ユーザは、聞きたい音成分を強調して聞くことができる。
【０１９２】
また、例えば、ユーザは、音分離装置１００を用いて、５．１ｃｈ、７．１ｃｈ、２２．２ｃｈ等で収録された音源に対して、各チャンネル間の任意の位置に定位する音成分を抽出し、これに対応する音響信号を生成することができる。したがって、ユーザは、スピーカの位置に適した音響信号成分を生成することができる。
【０１９３】
（実施の形態２）
実施の形態２では、さらに音補正部を備える音分離装置について説明する。音分離装置１００が抽出した抽出音は、定位範囲が狭い場合があり、定位範囲が狭い複数の抽出音の分離音響信号が再生された場合に、受聴者の受聴空間上において、音が定位しない空間が発生してしまう場合がある。音補正部は、このような、音が定位しない空間が発生しないように抽出音同士を空間的に滑らかにつなぐ点に特徴を有する。
【０１９４】
図２０は、実施の形態２に係る音分離装置３００の構成を示す機能ブロック図である。
【０１９５】
音分離装置３００は、信号取得部１０１、音響信号生成部１０２、差信号生成部１０３、音成分抽出部１０４、および音補正部３０１を備える。音分離装置３００は、音補正部３０１を備える点で音分離装置１００と異なる。なお、その他の構成要素については、実施の形態１において説明したものと同様の機能および動作であるものとして説明を省略する。
【０１９６】
音補正部３０１は、音成分抽出部１０４が生成した分離音響信号に、定位位置の周辺に定位する音成分を加算する。
【０１９７】
次に、音分離装置３００の動作について説明する。
【０１９８】
図２１および図２２は、音分離装置３００の動作を示すフローチャートである。
【０１９９】
図２１に示されるフローチャートは、図３のフローチャートにステップＳ４０１が追加されたものである。図２２に示されるフローチャートは、図４のフローチャートにステップＳ４０１が追加されたものである。
【０２００】
以下、ステップＳ４０１の動作、すなわち音補正部３０１の動作の詳細について図面を参照しながら説明する。
【０２０１】
＜音補正部の動作について＞
図２３は、抽出音の定位位置を示す概念図である。以下の説明では、図２３に示されるように、抽出音ａは、第１の音響信号側に定位する音であり、抽出音ｂは、第１の音響信号側と第２の音響信号側との中央に定位する音であり、抽出音ｃは、第２の音響信号側に定位する音であるとする。
【０２０２】
図２４は、抽出音の定位範囲（音圧の分布）を模式的に示した図である。
【０２０３】
図２４において、図の上下方向（縦軸）は、抽出音の音圧の大きさを示し、図の左右方向(横軸)は、定位位置および定位範囲を示す。
【０２０４】
図２４の（ａ）に示されるように、抽出音ａ、抽出音ｂ、および抽出音ｃがそれぞれの位置から出力された場合、抽出音ａが定位する領域と抽出音ｂが定位する領域と間に音が定位しない領域が存在する。また、同様に抽出音ｂが定位する領域と抽出音ｃが定位する領域との間に音が定位しない領域が存在する。このように、抽出音と抽出音の間に音が定位しない領域（空間）が発生する場合がある。
【０２０５】
そこで、図２４の（ｂ）に示されるように、音補正部３０１は、抽出音ａ〜ｃのそれぞれに、抽出音ａ〜ｃ定位位置に応じて当該定位位置の周辺に定位する音成分（補正音響信号）を加算する。
【０２０６】
実施の形態２では、音補正部３０１は、抽出音の定位位置の周辺に定位する音成分は、当該抽出音の定位位置に応じて決定される、第１の音響信号と第２の音響信号との重み付け和により生成する。
【０２０７】
具体的には、音補正部３０１は、まず、抽出音の定位位置から第１の位置までの距離が小さいほど値が大きくなる第３係数と、抽出音の定位位置から第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定する。そして、音補正部３０１は、第１の音響信号に第３係数を乗算した信号と、第２の音響信号に第４係数を乗算した信号とを抽出音を表す分離音響信号に加算する。
【０２０８】
なお、補正音響信号は、信号取得部１０１が取得する複数の音響信号のうちの少なくとも一の音響信号を用いて、抽出音の定位位置に応じて生成されてもよい。例えば、補正音響信号は、パニングの技術を応用して、信号取得部１０１が取得した複数の音響信号の重み付け和により生成されてもよい。
【０２０９】
例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｌ信号とＣ信号とＲ信号とＳＬ信号とＳＲ信号の重み付け和により生成されてもよい。
【０２１０】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｃから生成されてもよい。
【０２１１】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｌ信号とＲ信号との重み付け和により生成されてもよい。
【０２１２】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｃ信号とＳＬ信号とＳＲ信号との重み付け和により生成されてもよい。
【０２１３】
要するに、抽出音に当該抽出音の周囲の音の影響を付加し、音が空間的に滑らかに繋がるような方法であれば、どのような方法を利用しても構わない。
【０２１４】
以上説明した音補正部３０１の動作によって、音分離装置３００は、音が定位しない空間が発生しないように抽出音同士を空間的に滑らかにつなぐことができる。
【０２１５】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１および２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０２１６】
そこで、以下、他の実施の形態をまとめて説明する。
【０２１７】
例えば、実施の形態１および２で説明した音分離装置は、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムとして実現されてもよい。すなわち、以下のような場合も本発明に含まれる。
【０２１８】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２１９】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
【０２２０】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
【０２２１】
（４）本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
【０２２２】
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
【０２２３】
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
【０２２４】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
【０２２５】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２２６】
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０２２７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０２２８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０２２９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０２３０】
本開示に係る音分離装置は、２つの音響信号を用いて、当該２つの音響信号にそれぞれ対応する再生位置の間に定位する音の音響信号を精度よく生成することができ、オーディオ再生装置、ネットワークオーディオ装置、携帯型オーディオ装置、ブルーレイやＤＶＤやハードディスク等のディスクプレーヤーおよびレコーダ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ等に適用できる。
【符号の説明】
【０２３１】
１００、３００    音分離装置
１０１    信号取得部
１０２    音響信号生成部
１０３    差信号生成部
１０４    音成分抽出部
１５０    音再生装置
２００    記憶媒体
３０１    音補正部
【図１】
2013094135.tif 000003
【図２】
2013094135.tif 000004
【図３】
2013094135.tif 000005
【図４】
2013094135.tif 000006
【図５】
2013094135.tif 000007
【図６】
2013094135.tif 000008
【図７】
2013094135.tif 000009
【図８】
2013094135.tif 000010
【図９】
2013094135.tif 000011
【図１０】
2013094135.tif 000012
【図１１】
2013094135.tif 000013
【図１２】
2013094135.tif 000014
【図１３】
2013094135.tif 000015
【図１４】
2013094135.tif 000016
【図１５】
2013094135.tif 000017
【図１６】
2013094135.tif 000018
【図１７】
2013094135.tif 000019
【図１８】
2013094135.tif 000020
【図１９】
2013094135.tif 000021
【図２０】
2013094135.tif 000022
【図２１】
2013094135.tif 000023
【図２２】
2013094135.tif 000024
【図２３】
2013094135.tif 000025
【図２４】
2013094135.tif 000026
【手続補正書】
【提出日】平成25年2月18日(2013.2.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、２つの音響信号を用いて、当該２つの音響信号にそれぞれに対応する再生位置の間に定位する音の音響信号を生成する音分離装置および音分離方法に関する。
【背景技術】
【０００２】
従来、２チャンネルの音響信号（オーディオ信号）であるＬ信号とＲ信号とを用いて、縮尺率＋１／２でＬ信号およびＲ信号を線形結合する、いわゆる（１／２＊（Ｌ＋Ｒ））技術が知られている。このような技術を用いることで、Ｌ信号が再生される再生位置と、Ｒ信号が再生される再生位置との間の中央付近に定位する音の音響信号を求めることができる（例えば、特許文献１参照）。
【０００３】
また、２チャンネルの音響信号を用いて、周波数帯域ごとに、チャンネル間の振幅比と位相差とからオーディオ信号同士の類似度を求めることによって、類似度が低い周波数帯域の信号に小さな減衰係数を乗算して再合成する技術が知られている。このような技術を用いることで、Ｌ信号を再生する再生位置と、Ｒ信号を再生する再生位置との間の中央付近に定位する音の音響信号を求めることができる（例えば、特許文献２参照）。
【０００４】
上記の技術では、２チャンネルの音響信号それぞれに対応する再生位置の中央付近に定位する音を強調した音響信号を生成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００３−５１６０６９号公報
【特許文献２】特開２００２−７８１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、２つの音響信号を用いて、当該２つの音響信号にそれぞれに対応する再生位置の間に定位する音の音響信号を精度よく生成する音分離装置および音分離方法を提供する。
【課題を解決するための手段】
【０００７】
本開示の音分離装置は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える。
【０００８】
なお、本開示は、音分離装置として実現できるだけでなく、音分離方法として実現したり、その方法を記述したプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体としても実現することができる。
【発明の効果】
【０００９】
本開示の音分離装置等によれば、２つの音響信号を用いて、当該２つの音響信号にそれぞれ対応する再生位置の間に定位する音の音響信号を精度よく生成することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１に係る音分離装置と周辺装置との構成の一例を示す図である。
【図２】図２は、実施の形態１に係る音分離装置の構成を示す機能ブロック図である。
【図３】図３は、実施の形態１に係る音分離装置の動作を示すフローチャートである。
【図４】図４は、実施の形態１に係る音分離装置の動作を示す別のフローチャートである。
【図５】図５は、抽出対象の音の定位位置を示す概念図である。
【図６】図６は、重み係数の絶対値の大きさと抽出音の定位範囲との関係を示す模式図である。
【図７】図７は、第１の音響信号および第２の音響信号の具体例を示す図である。
【図８】図８は、領域ａに定位する音成分を抽出した場合の結果を示す図である。
【図９】図９は、領域ｂに定位する音成分を抽出した場合の結果を示す図である。
【図１０】図１０は、領域ｃに定位する音成分を抽出した場合の結果を示す図である。
【図１１】図１１は、領域ｄに定位する音成分を抽出した場合の結果を示す図である。
【図１２】図１２は、領域ｅに定位する音成分を抽出した場合の結果を示す図である。
【図１３】図１３は、抽出対象の音の定位位置の具体例を示す概念図である。
【図１４】図１４は、領域ｃに定位するボーカルの音成分を抽出した場合の結果を示す図である。
【図１５】図１５は、領域ｂに定位するカスタネットの音成分を抽出した場合の結果を示す図である。
【図１６】図１６は、領域ｅに定位するピアノの音成分を抽出した場合の結果を示す図である。
【図１７】図１７は、第１の音響信号がステレオ信号のＬ信号であり、第２の音響信号が、ステレオ信号のＲ信号である場合を示す模式図である。
【図１８】図１８は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＣ信号である場合を示す模式図である。
【図１９】図１９は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＲ信号である場合を示す模式図である。
【図２０】図２０は、実施の形態２に係る音分離装置の構成を示す機能ブロック図である。
【図２１】図２１は、実施の形態２に係る音分離装置の動作を示すフローチャートである。
【図２２】図２２は、実施の形態２に係る音分離装置の動作を示す別のフローチャートである。
【図２３】図２３は、抽出音の定位位置を示す概念図である。
【図２４】図２４は、抽出音の定位範囲を模式的に示した図である。
【発明を実施するための形態】
【００１１】
（本開示の基礎となった知見）
背景技術で説明したように、特許文献１および特許文献２には、２チャンネルの音響信号それぞれの再生位置の間に定位する音を強調した音響信号を生成する技術が開示されている。
【００１２】
特許文献１と同様の技術思想に基づく方法では、生成された音響信号には、Ｌ信号側の位置に定位する音成分とＲ信号側の位置に定位する音成分とが含まれる。このため、中央に定位する音成分を、Ｌ信号側に定位する音成分とＲ信号側に定位する音成分とから精度よく抽出できないという課題があった。
【００１３】
また、特許文献２と同様の技術思想に基づく方法では、複数の方向に定位する音成分が混合するような場合、振幅比や位相差も複数の音成分が混合した値となる。したがって、中央に定位する音成分の類似度が低くなる。このため、中央に定位する音成分を、中央とは異なる方向に定位する音成分から精度よく抽出できないという課題があった。
【００１４】
このように、上記従来の技術思想に基づく方法では、複数の音響信号に含まれる音成分から、特定の位置に定位する音成分を精度よく抽出できないという課題があった。
【００１５】
上記の課題を解決するために、本開示の一態様に係る音分離装置は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える。
【００１６】
このように、第３の音響信号から、差信号を周波数領域において減算することで、所定の位置に定位する音の音響信号である分離音響信号を精度よく生成することができる。
【００１７】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が、前記所定の位置から前記第２の位置までの距離よりも小さい場合に、前記第１の音響信号を前記第３の音響信号として用いてもよい。
【００１８】
これにより、所定の位置からの距離が大きい第２の音響信号の音成分が少ない第３の音響信号がされるため、分離音響信号をより精度よく生成することができる。
【００１９】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第２の位置までの距離が、前記所定の位置から前記第１の位置までの距離よりも小さい場合に、前記第２の音響信号を前記第３の音響信号として用いてもよい。
【００２０】
これにより、所定の位置からの距離が大きい第１の音響信号の音成分が少ない第３の音響信号がされるため、分離音響信号をより精度よく生成することができる。
【００２１】
また、例えば、前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第１係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第２係数とを決定し、前記第１の音響信号に前記第１係数を乗算した信号と、前記第２の音響信号に前記第２係数を乗算した信号とを加算することによって前記第３の音響信号を生成してもよい。
【００２２】
これにより、所定の位置に応じた第３の音響信号が生成されるため、分離音響信号をより精度よく生成することができる。
【００２３】
また、例えば、前記差信号生成部は、前記第１の音響信号に第１の重み係数を乗算した信号と、前記第２の音響信号に第２の重み係数を乗算した信号との時間領域における差分である前記差信号を生成し、前記第２の重み係数を前記第１の重み係数によって除算した値が、前記第１の位置から前記所定の位置までの距離が小さいほど、大きくなるように、前記第１の重み係数と前記第２の重み係数とを決定してもよい。
【００２４】
このようにすれば、第１の重み係数と第２の重み係数とを用いて、所定の位置に応じた分離音響信号を精度よく生成することができる。
【００２５】
また、例えば、前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が小さいほど、前記分離音響信号によって出力される音の定位範囲は、大きくなり、前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が大きいほど、前記分離音響信号によって出力される音の定位範囲は、小さくなってもよい。
【００２６】
すなわち、第１の重み係数の絶対値と第２の重み係数の絶対値とにより、分離音響信号により出力される音の定位範囲を調整することができる。
【００２７】
また、例えば、前記抽出部は、前記第１の周波数信号の大きさから、前記第２の周波数信号の大きさを減算することで周波数ごとに得られる減算値を用いて、前記第３の周波数信号を生成し、前記減算値が負の値である場合、当該減算値は、所定の正の値に置き換えられてもよい。
【００２８】
また、例えば、さらに、前記複数の音響信号のうちの少なくとも一の前記音響信号を用いることによって前記所定の位置に応じて前記分離音響信号を補正するための補正音響信号を生成し、前記補正音響信号を前記分離音響信号に加算する音補正部を備えてもよい。
【００２９】
また、例えば、前記音補正部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第３係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定し、前記第１の音響信号に前記第３係数を乗算した信号と、前記第２の音響信号に前記第４係数を乗算した信号とを加算することによって前記補正音響信号を生成してもよい。
【００３０】
これにより、分離音響信号に所定の位置の周辺に定位する音成分（補正音響信号）を加算して補正することで、音が定位しない空間が発生しないように分離音響信号によって出力される音同士を空間的に滑らかにつなぐことができる。
【００３１】
また、例えば、前記第１の音響信号と前記第２の音響信号とは、ステレオ信号を構成してもよい。
【００３２】
また、本開示の一態様に係る音分離方法は、第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得ステップと、前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成ステップと、前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる、第３の音響信号を生成する音響信号生成ステップと、前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出ステップとを含む。
【００３３】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００３４】
以下、本開示に係る音分離装置の実施の形態について、図面を用いて詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００３５】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００３６】
（実施の形態１）
まず、本実施の形態に係る音分離装置の適用例について説明する。
【００３７】
図１は、本実施の形態に係る音分離装置と周辺装置との構成の一例を示す図である。
【００３８】
本実施の形態に係る音分離装置（一例として、実施の形態１に係る音分離装置１００）は、例えば、図１の（ａ）に示されるように、音再生装置の一部として実現される。
【００３９】
音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分（抽出音）を表す音響信号である分離音響信号を生成する。音分離装置１００が組み込まれている音再生装置１５０の再生系を用いて上記分離音響信号が再生されることによって、抽出音は出力される。
【００４０】
この場合、音再生装置１５０は、例えば、携帯型オーディオ装置等のスピーカが内蔵されたオーディオ装置、ミニコンポーネント、ＡＶセンターアンプ等のスピーカが接続されたオーディオ装置、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、ＴＶ会議システム、スピーカ、スピーカシステム等である。
【００４１】
また、音分離装置１００は、例えば、図１の（ｂ）に示されるように、音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分を表す分離音響信号を生成する。音分離装置１００は、上記分離音響信号を音分離装置１００とは別体の音再生装置１５０に送信する。音再生装置１５０の再生系を用いて分離音響信号が再生されることによって、抽出音は出力される。
【００４２】
この場合、音分離装置１００は、例えば、ネットワークオーディオ等のサーバおよび中継器、携帯型オーディオ装置、ミニコンポーネント、ＡＶセンターアンプ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、ＴＶ会議システム、スピーカ、スピーカシステム等として実現される。
【００４３】
また、音分離装置１００は、例えば、図１の（ｃ）に示されるように、音分離装置１００は、取得した音響信号を用いて抽出対象の音成分を抽出し、抽出した音成分を表す分離音響信号を生成する。音分離装置１００は、上記分離音響信号を、記憶媒体２００に記憶しまたは送信する。
【００４４】
記憶媒体２００は、例えば、ハードディスク、ブルーレイディスクやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）やＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）等のパッケージメディア、フラッシュメモリ等が挙げられる。また、このようなハードディスクやフラッシュメモリ等の記憶媒体２００は、ネットワークオーディオ等のサーバおよび中継器、携帯型オーディオ装置、ミニコンポーネント、ＡＶセンターアンプ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ、テレビ会議システム、スピーカ、スピーカシステム等に内蔵されたものであってもよい。
【００４５】
上記のように、本実施の形態に係る音分離装置は、音響信号を取得し、取得した音響信号から所望の音成分を抽出する機能を有していれば、どのような構成でも構わない。
【００４６】
以下、音分離装置１００の具体的な構成および動作の概要について図２および図３を用いて説明する。
【００４７】
図２は、実施の形態１に係る音分離装置１００の構成を示す機能ブロック図である。
【００４８】
図３は、音分離装置１００の動作を示すフローチャートである。
【００４９】
図２に示されるように、音分離装置１００は、信号取得部１０１と、音響信号生成部１０２と、差信号生成部１０３と、音成分抽出部１０４とを備える。
【００５０】
信号取得部１０１は、第１の位置に対応する音響信号である第１の音響信号と、第２の位置に対応する音響信号である第２の音響信号とを含む複数の音響信号を取得する（図３のＳ２０１）。第１の音響信号および第２の音響信号は、同一の音成分を含む。具体的には、例えば、第１の音響信号に、カスタネットの音成分と、ボーカルの音成分と、ピアノの音成分とが含まれる場合、第２の音響信号にも、カスタネットの音成分と、ボーカルの音成分と、ピアノの音成分とが含まれることを意味する。
【００５１】
音響信号生成部１０２は、信号取得部１０１が取得した複数の音響信号のうちの少なくとも一の音響信号を用いて、抽出対象の音の音成分が含まれる音響信号である第３の音響信号を生成する（図３のＳ２０２）。第３の音響信号の生成方法の詳細については、後述する。
【００５２】
差信号生成部１０３は、信号取得部１０１が取得した音響信号のうち、第１の音響信号と、第２の音響信号との時間領域における差分を表す信号である差信号を生成する（図３のＳ２０３）。差信号の生成方法の詳細については、後述する。
【００５３】
音成分抽出部１０４は、第３の音響信号を周波数領域に変化した信号から、差信号を周波数領域に変換した信号を減算する。音成分抽出部１０４は、減算して得られた信号を時間領域に変換した音響信号である分離音響信号を生成する（図３のＳ２０４）。分離音響信号が再生されることで、第１の音響信号、および第２の音響信号によって定位する抽出対象の音が抽出音として出力される。すなわち、音成分抽出部１０４は、抽出対象の音を抽出することができる。
【００５４】
なお、音分離装置１００の動作の順序は、図３のフローチャートで示される順序に限定されない。例えば、図４に示されるように、第３の音響信号を生成するステップＳ２０２と、差信号を生成するステップＳ２０３との動作の順序は、図３のフローチャートで示される順序と逆であってもよい。また、ステップＳ２０２とステップＳ２０３とは、並行して行われてもよい。
【００５５】
次に、音分離装置の各動作の詳細について説明する。
【００５６】
なお、以下の説明では、一例として、音分離装置１００が第１の位置に対応する第１の音響信号と第２の位置に対応する第２の音響信号の２つの音響信号を取得して、第１の位置および第２の位置の間に定位する音成分を抽出する場合について説明する。
【００５７】
＜音響信号の取得動作について＞
以下、信号取得部１０１の音響信号の取得動作の詳細について説明する。
【００５８】
図１を用いて既に説明したように、信号取得部１０１は、例えば、インターネット等のネットワークから音響信号を取得する。また、例えば、信号取得部１０１は、ハードディスク、ブルーレイディスクやＤＶＤやＣＤ等のパッケージメディア、フラッシュメモリ等の記憶媒体から音響信号を取得する。
【００５９】
また、例えば、信号取得部１０１は、テレビ、携帯電話、無線ネットワーク等の電波から音響信号を取得する。また、例えば、信号取得部１０１は、スマートフォン、オーディオレコーダー、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、マイクロホン等の収音部から収音された音の音響信号を取得する。
【００６０】
要するに、信号取得部１０１は、同一の音場を表す第１の音響信号および第２の音響信号を取得できればよく、音響信号の取得経路についてはどのようなものでも構わない。
【００６１】
第１の音響信号および第２の音響信号は、典型的には、ステレオ信号を構成するＬ信号とＲ信号であり、この場合の第１の位置および第２の位置は、ＬチャンネルおよびＲチャンネルのスピーカそれぞれが配置される所定の位置である。第１の音響信号および第２の音響信号は、例えば、５．１チャンネルの音響信号のうちから選択した２チャンネルの音響信号であってもよい。この場合の第１の位置および第２の位置は、選択した２チャンネルのスピーカそれぞれが配置される所定の位置である。
【００６２】
＜第３の音響信号の生成動作について＞
以下、音響信号生成部１０２の第３の音響信号の生成動作の詳細について説明する。
【００６３】
音響信号生成部１０２は、信号取得部１０１が取得した音響信号のうちの少なくとも一の音響信号を用いて、抽出対象の音が定位する位置に対応する第３の音響信号を生成する。
【００６４】
以下、第３の音響信号の生成方法について具体的に説明する。
【００６５】
図５は、抽出対象の音の定位位置を示す概念図である。
【００６６】
本実施の形態では、抽出対象の音は、第１の位置（第１の音響信号）と第２の位置（第２の音響信号）との間の領域に定位する音である。この領域は、図５に示されるように、領域ａから領域ｅの５つの領域に便宜的に分けられる。
【００６７】
具体的には、第１の位置側に最も近い領域を「領域ａ」、第２の位置に最も近い領域を「領域ｅ」、第１の位置と、第２の位置の真ん中付近の領域を「領域ｃ」とし、領域ａと領域ｃとの間の領域を「領域ｂ」、領域ｃと領域ｅとの間の領域を「領域ｄ」とする。
【００６８】
本実施の形態における第３の音響信号の生成方法は、具体的に以下の３つの場合がある。
１．第１の音響信号から第３の音響信号を生成する場合
２．第２の音響信号から第３の音響信号を生成する場合
３．第１の音響信号および第２の音響信号の両方を用いて第３の音響信号を生成する場合
【００６９】
第１の音響信号および第２の音響信号によって表される音のうち、領域ａおよび領域ｂに定位する音を抽出する場合、音響信号生成部１０２は、第３の音響信号として第１の音響信号そのものを用いる。領域ａおよび領域ｂは、第２の位置よりも第１の位置に近い領域であるため、第１の音響信号の音成分が多く、第２の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができるからである。
【００７０】
また、領域ｃに定位する音を抽出する場合、音響信号生成部１０２は、第１の音響信号と第２の音響信号とを加算して生成される音響信号を第３の音響信号として用いる。このように、第１の音響信号と第２の音響信号とが同位相で加算されることにより、領域ｃに定位する音成分が予め強調された第３の音響信号が生成され、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７１】
さらに、領域ｄおよび領域ｅに定位する音を抽出する場合、音響信号生成部１０２は、第３の音響信号として第２の音響信号そのものを用いる。領域ｄおよび領域ｅは、第１の位置よりも第２の位置に近い領域であるため、第２の音響信号の音成分が多く、第１の音響信号の音成分が少ない第３の音響信号が生成されることで、後述する音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができるからである。
【００７２】
なお、音響信号生成部１０２は、第１の音響信号と、第２の音響信号とを重み付けして加算することによって第３の音響信号を生成してもよい。すなわち、音響信号生成部１０２は、第１の音響信号に第１係数を乗算した信号と、第２の音響信号に第２係数を乗算した信号とを加算することによって第３の音響信号を生成してもよい。ここで、第１係数および第２係数は、０以上の実数である。
【００７３】
例えば、領域ａおよび領域ｂに定位する音を抽出する場合、領域ａおよび領域ｂは、第２の位置よりも第１の位置に近い領域であるため、音響信号生成部１０２は、第１係数と、第１係数よりも小さい値の第２係数とを用いて第３の音響信号を生成してもよい。このように、第１の音響信号の音成分が多く、第２の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７４】
また、例えば、領域ｄおよび領域ｅに定位する音を抽出する場合、領域ｄおよび領域ｅは、第１の位置よりも第２の位置に近い領域であるため、音響信号生成部１０２は、第１係数と、第１係数よりも大きい値の第２係数とを用いて第３の音響信号を生成してもよい。このように、第２の音響信号の音成分が多く、第１の音響信号の音成分が少ない第３の音響信号が生成されることで、音成分抽出部１０４は、より精度良く抽出対象の音成分を抽出することができる。
【００７５】
なお、第３の音響信号の生成に、上述のいずれの方法を用いたとしても音分離装置１００は、抽出対象の音成分を抽出可能である。要するに、第３の音響信号に抽出対象の音成分が含まれていればよい。第３の音響信号のうち不要な部分は、後述する差信号によって除かれるからである。
【００７６】
＜差信号の生成動作について＞
以下、差信号生成部１０３の差信号の生成動作の詳細について説明する。
【００７７】
差信号生成部１０３は、信号取得部１０１が取得した第１の音響信号および第２の音響信号の時間領域における差分を表す差信号を生成する。
【００７８】
本実施の形態では、差信号生成部１０３は、第１の音響信号と、第２の音響信号とを重み付けして減算することによって差信号を生成する。すなわち、差信号生成部１０３は、第１の音響信号に第１の重み係数αを乗算した信号と、第２の音響信号に第２の重み係数βを乗算した信号とを減算することによって差信号を生成する。具体的には、差信号生成部１０３は、下記（式１）を用いて差信号を生成する。なお、αおよびβは０以上の実数である。
【００７９】
差信号＝α×第１の音響信号−β×第２の音響信号・・（式１）
【００８０】
図５では、領域ａ〜領域ｅに定位する音を抽出する場合にそれぞれ用いられる、第１の重み係数αの値と、第２の重み係数βの値との関係が示されている。抽出対象の音が定位する位置から第１の位置までの距離が小さいほど、第１の重み係数αは大きくなり、第２の重み係数βは小さくなる。また、抽出対象の音が定位する位置から第２の位置までの距離が小さいほど第１の重み係数αは小さくなり、第２の重み係数βは大きくなる。
【００８１】
なお、（式１）では、第１の音響信号から第２の音響信号を減算しているが、第２の音響信号から第１の音響信号を減算してもよい。なぜなら、音成分抽出部１０４は、周波数領域において第３の音響信号から、差信号を減算するからである。この場合は、図５については、第１の音響信号と第２の音響信号の記載を入れ替えて解釈すればよい。
【００８２】
領域ａに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて大きくなるように係数の値を決定し（β／α＞＞１）、（式１）を用いて差信号を生成する。これにより、後述する音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる第２の位置側に定位する音成分を主に取り除くことができる。
【００８３】
なお、領域ａに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数α＝０として、第２の音響信号そのものを差信号として生成してもよい。
【００８４】
また、領域ｂに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが比較的大きくなるように係数の値を設定し（β／α＞１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分をバランスよく取り除くことができる。
【００８５】
また、領域ｃに定位する音を抽出する場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を設定し（β／α＝１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分を均等に取り除くことができる。
【００８６】
また、領域ｄに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数βよりも第１の重み係数αが比較的大きくなるように係数の値を設定し（β／α＜１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる、第１の位置側に定位する音成分、および第２の位置側に定位する音成分をバランスよく取り除くことができる。
【００８７】
また、領域ｅに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数βよりも第１の重み係数αが極めて大きくなるように係数の値を決定し（β／α＜＜１）、（式１）を用いて差信号を生成する。これにより、音成分抽出部１０４は、第３の音響信号から、当該第３の音響信号に含まれる第１の位置側に定位する音成分を主に取り除くことができる。
【００８８】
なお、領域ｅに定位する音を抽出する場合、差信号生成部１０３は、第２の重み係数β＝０として、第１の音響信号そのものを差信号として生成してもよい。
【００８９】
このように、本実施の形態では、差信号生成部１０３は、抽出対象の音の定位位置に応じて、第１の重み係数αと第２の重み係数βとの比率を決定することで、音分離装置１００は、所望の定位位置の音成分を抽出することができる。
【００９０】
なお、差信号生成部１０３は、抽出対象の音の定位範囲に応じて、第１の重み係数αと第２の重み係数βとの絶対値を決定する。定位範囲とは、受聴者が音像を知覚可能な範囲（音像が定位する範囲）を意味する。
【００９１】
図６は、重み係数の絶対値の大きさと抽出音の定位範囲との関係を示す模式図である。
【００９２】
図６において、図の上下方向（縦軸）は、抽出音の音圧の大きさを示し、図の左右方向(横軸)は、定位範囲を示す。
【００９３】
図６に示されるように、第１の重み係数αおよび第２の重み係数βの絶対値を大きくすればするほど、抽出音の定位範囲Ａは、小さくなる。
【００９４】
図６の（ｂ）は、α＝β＝１．０の状態であるが、差信号生成部１０３がこの状態よりも第１の重み係数αおよび第２の重み係数βの絶対値を大きい値（例えば、α＝β＝５．０）に決定した場合、図６の（ａ）に示されるように抽出音の定位範囲は、小さくなる。
【００９５】
同様に、差信号生成部１０３が図６の（ｂ）の状態よりも第１の重み係数αおよび第２の重み係数βの絶対値を小さい値（例えば、α＝β＝０．２）に決定した場合、図６の（ｃ）に示されるように、抽出音の定位範囲は、大きくなる。
【００９６】
以上説明したように、差信号生成部１０３は、抽出対象の音の定位位置に応じて第１の重み係数αおよび第２の重み係数βの比率を決定し、抽出対象の音の定位範囲に応じて第１の重み係数αおよび第２の重み係数βの絶対値を決定する。言い換えれば、差信号生成部１０３は、第１の重み係数αおよび第２の重み係数βによって抽出対象の音の定位位置および定位範囲を調整することができる。これにより、音分離装置１００は、抽出対象の音を精度よく抽出することができる。
【００９７】
なお、差信号生成部１０３は、第１の音響信号および第２の音響信号のそれぞれの信号の振幅のべき乗（例えば、振幅の３乗や振幅の０．１乗）同士を減算して差信号を生成してもよい。すなわち、差信号生成部１０３は、第１の音響信号および第２の音響信号のそれぞれの信号について、振幅の大小関係を保持して変形した別の大きさを表す物理量同士を減算して差信号を生成してもよい。
【００９８】
なお、マイクロホン等の収音部から収音される音の音響信号を、第１の音響信号および第２の音響信号として用いる場合には、差信号生成部１０３は、第１の音響信号および第２の音響信号に含まれる抽出対象の音が同一時刻になるように調整したのちに、第１の音響信号から第２の音響信号を減算することで差信号を生成してもよい。時刻を調整する方法の一例として、抽出対象の音が定位する位置と、第１の音響信号を収音した第１のマイクロホンの位置と、第２の音響信号を取得した第２のマイクロホンの位置と、音速とから、物理的に抽出対象の音が第１のマイクロホンに入力される時刻および第２のマイクロホンに入力される時刻の相対時刻を求めることができるため、その相対時刻を補正することで時刻を調整することができる。
【００９９】
＜音成分の抽出動作について＞
以下、音成分抽出部１０４の音成分の抽出動作の詳細について説明する。
【０１００】
はじめに、音成分抽出部１０４は、音響信号生成部１０２が生成した第３の音響信号を周波数領域に変換した信号である第１の周波数信号を求める。さらに、音成分抽出部１０４は、差信号生成部１０３が生成した差信号を周波数領域に変換した信号である第２の周波数信号を求める。
【０１０１】
本実施の形態において、音成分抽出部１０４は、高速フーリエ変換を用いて上記周波数信号への変換を行っている。具体的には、音成分抽出部１０４は、以下の分析条件で変換を行っている。
【０１０２】
第１の音響信号および第２の音響信号のサンプリング周波数は、４４．１ｋＨｚである。そして生成された第３の音響信号と差信号のサンプリング周波数は、４４．１ｋＨｚである。高速フーリエ変換の窓長は、４０９６ｐｔであり、ハニング窓が用いられる。また、後述するように周波数信号を時間領域の信号に変換するために、周波数信号は、５１２ｐｔごとに時間軸をシフトさせて求められる。
【０１０３】
続いて、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する。なお、減算した結果得られる周波数信号を第３の周波数信号とする。
【０１０４】
本実施の形態では、音成分抽出部１０４は、高速フーリエ変換を用いて求めた周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分け、周波数信号の大きさ同士を各周波数成分ごとに減算する。すなわち、音成分抽出部１０４は、第３の音響信号の周波数信号の大きさから差信号の周波数信号の大きさを周波数成分ごとに減算する。音成分抽出部１０４の上記減算は、周波数信号を求めるときに時間軸をシフトさせた時間間隔、すなわち５１２ｐｔごとに行われる。なお、周波数信号の大きさとしては、本実施の形態では、周波数信号の振幅が用いられる。
【０１０５】
このとき、音成分抽出部１０４は、減算した結果が負の値になる場合は、減算結果を０に極めて近い所定の正の値、すなわち、ほぼゼロとして取り扱う。これは、減算した結果得られる第３の周波数信号に対して、後述する高速フーリエ逆変換を行うためである。減算した結果は、第３の周波数信号の各周波数成分の周波数信号の大きさとして用いられる。
【０１０６】
なお、第３の周波数信号の位相は、本実施の形態では、第１の周波数信号（第３の音響信号を周波数領域に変換した周波数信号）の位相をそのまま用いる。
【０１０７】
本実施の形態では、領域ａおよび領域ｂに定位する音を抽出する場合、第３の音響信号として第１の音響信号を用いているため、第１の音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１０８】
また、本実施の形態では、領域ｃに定位する音を抽出する場合、第３の音響信号として、第１の音響信号と第２の音響信号とを加算した音響信号を用いているため、上記加算した音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１０９】
また、本実施の形態では、領域ｄおよび領域ｅに定位する音を抽出する場合、第３の音響信号として第２の音響信号を用いているため、第２の音響信号を周波数領域に変換した周波数信号の位相が、第３の周波数信号の位相として用いられる。
【０１１０】
このように、第３の周波数信号を生成するにあたり、位相については演算を行わず、第１の周波数信号の位相をそのまま用いることで、音成分抽出部１０４が行う演算量は、低減される。
【０１１１】
そして、音成分抽出部１０４は、第３の周波数信号を時間領域の信号、すなわち音響信号に変換する。本実施の形態では、音成分抽出部１０４は、高速フーリエ逆変換を用いて第３の周波数信号を時間領域の音響信号（分離音響信号）に変換する。
【０１１２】
本実施の形態では、上述のように高速フーリエ変換の窓長幅は、４０９６ｐｔであり、時間シフト幅は、これよりも短い５１２ｐｔである。すなわち、第３の周波数信号は、時間領域においてオーバーラップ部分を有する。これにより、高速フーリエ逆変換を用いて第３の周波数信号が時間領域の音響信号に変換されたときに、同時刻において複数の時間波形の候補を平均化することで、時間領域における音響信号の連続性をなめらかにできる。
【０１１３】
以上のように音成分抽出部１０４によって生成された分離音響信号が再生されることで、抽出音が出力される。
【０１１４】
なお、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する場合、周波数信号の振幅を周波数成分ごとに減算する代わりに、周波数信号のパワー（振幅の２乗）や、周波数信号の振幅のべき乗（例えば、振幅の３乗や振幅の０．１乗）や、振幅の大小関係を保持して変形した別の大きさを表す量を周波数成分ごとに減算してもよい。
【０１１５】
また、音成分抽出部１０４は、第１の周波数信号から、第２の周波数信号を減算する場合、第１の周波数信号と第２の周波数信号とにそれぞれ重み係数をかけてから減算してもよい。
【０１１６】
なお、本実施の形態では、周波数信号を生成する際、高速フーリエ変換を利用したが、離散コサイン変換、ウェーブレット変換等の、他の一般的な周波数変換を用いてもよい。つまり、時間領域の信号を周波数領域に変換する変換方法であればどのような方法を利用しても構わない。
【０１１７】
なお、上記の説明では、音成分抽出部１０４は、周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分け、上記周波数信号の大きさ同士を各周波数成分ごとに減算した。しかしながら、音成分抽出部１０４は、周波数信号を当該周波数信号の大きさと当該周波数信号の位相とに分けずに、複素スペクトル上で第１の周波数信号から第２の周波数信号を減算してもよい。
【０１１８】
複素スペクトル上で周波数信号の減算を行うために、音成分抽出部１０４は、第１の音響信号と第２の音響信号とを比較し、差信号の符号を考慮して第１の周波数信号から第２の周波数信号を減算する。
【０１１９】
具体的には、例えば、差信号を第１の音響信号から第２の音響信号を減算して生成した場合（差信号＝第１の音響信号−第２の音響信号）、第１の音響信号の大きさが、第２の音響信号の大きさよりも大きければ、複素スペクトル上で第１の周波数信号から第２の周波数信号を減算（第１の周波数信号−第２の周波数信号）する。
【０１２０】
同様に、第２の音響信号の大きさが、第１の音響信号よりも大きければ、複素スペクトル上で第１の周波数信号から第２の周波数信号の符号を反転した信号を減算（第１の周波数信号−（−１）×第２の周波数信号）する。
【０１２１】
上記のような方法により、第１の周波数信号から第２の周波数信号を複素スペクトル上で減算することができる。
【０１２２】
なお、上記の方法では、音成分抽出部１０４は、第１の音響信号と第２の音響信号との大きさのみに着目して符号を考慮した減算を行ったが、さらに第１の音響信号および第２の音響信号の位相を考慮してもよい。
【０１２３】
また、第１の周波数信号から第２の周波数信号を減算する場合に、周波数信号の大きさに応じた演算方法を用いてもよい。
【０１２４】
例えば、「第１の周波数信号の大きさ−第２の周波数信号の大きさ≧０」の場合は、音成分抽出部１０４は、第１の周波数信号から第２の周波数信号をそのまま減算する。
【０１２５】
一方、「第１の周波数信号の大きさ−第２の周波数信号の大きさ＜０」の場合には、音成分抽出部１０４は、「第１の周波数信号−（第１の周波数信号の大きさ／第２の周波数信号の大きさ）×第２の周波数信号」の演算を行う。これにより、第１の周波数信号に、位相が反転した第２の周波数信号が誤って加算されることがなくなる。
【０１２６】
このように第１の周波数信号から第２の周波数信号を複素スペクトル上で減算することで、音成分抽出部１０４は、周波数信号の位相がより正確な分離音響信号を生成することができる。
【０１２７】
抽出音が単独で再生されるような場合、周波数信号の位相が受聴者に与える聴感上の影響は小さいため、周波数信号の位相については、必ずしも正確な演算が行われなくてもよい。しかしながら、複数の抽出音が同時に再生される場合、抽出音同士の位相が干渉してしまい、高周波が減衰する等、聴感上の影響が生じることがある。
【０１２８】
よって、このような場合、第１の周波数信号から第２の周波数信号を複素スペクトル上で減算する上記の方法は、抽出音同士の位相の干渉を低減できるため、有用である。
【０１２９】
＜音分離装置１００の動作の具体例＞
以下、図７〜図９を用いて、音分離装置１００の動作の具体例について説明する。
【０１３０】
図７は、第１の音響信号と第２の音響信号との具体例を示す図である。
【０１３１】
図７の（ａ）に示される第１の音響信号と、図７の（ｂ）に示される第２の音響信号とは、いずれも１ｋＨｚの正弦波であり、第１の音響信号の位相と、第２の音響信号の位相とは、同相である。また、図７の（ａ）に示されるように第１の音響信号は、時間経過とともに音の大きさが小さくなり、図７の（ｂ）に示されるように第２の音響信号は時間経過とともに音の大きさが大きくなる。また、受聴者は、領域ｃの正面に位置し、第１の位置から出力される第１の音響信号による音と、第２の位置から出力される第２の音響信号による音とを受聴するものとする。
【０１３２】
図７の上段には、音の周波数（縦軸）と時間（横軸）との関係が示されている。本図中において、色の明暗は、音の大きさを表しており、色が明るいほど大きな値であることを示す。図７では、１ｋＨｚの正弦波を用いているため、図７の上段の図では、１ｋＨｚに対応する部分のみ色の明暗が現れ、他の部分は、黒色となっている。
【０１３３】
図７の下段には、図７の上段の図における色の明暗を明確にしたグラフであって、１ｋＨｚの周波数帯域における音響信号の音の大きさ（縦軸）と時間（時間）との関係を示すグラフが示されている。
【０１３４】
図７に記載された、領域ａ〜領域ｅは、図５の領域ａ〜領域ｅに対応している。
【０１３５】
具体的には、図７において、領域ａと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも極めて大きい。このため、領域ａと記載された時間帯においては、１ｋＨｚの音は、第１の位置側に大きく偏り、領域ａに定位する。
【０１３６】
また、図７において、領域ｂと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも大きい。このため、領域ｂと記載された時間帯においては、１ｋＨｚの音は、第１の位置側に偏り、領域ｂに定位する。
【０１３７】
また、図７において、領域ｃと記載された時間帯においては、第１の音響信号の音の大きさと、第２の音響信号との大きさとはほぼ等しく、１ｋＨｚの音は、領域ｃに定位する。
【０１３８】
また、図７において、領域ｄと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも小さい。このため、領域ｄと記載された時間帯においては、１ｋＨｚの音は、第２の位置側に偏り、領域ｄに定位する。
【０１３９】
また、図７において、領域ｅと記載された時間帯においては、第１の音響信号の音の大きさは、第２の音響信号の音の大きさよりも極めて小さい。このため、領域ａと記載された時間帯においては、１ｋＨｚの音は、第２の位置側に大きく偏り、領域ｅに定位する。
【０１４０】
図８〜図１２に、図７に示される音響信号を用いて音分離装置１００を動作させた場合の結果を示す図である。なお、図８〜図１２に示される図の表示方法は、図７と同様であるため、ここでの説明は省略する。
【０１４１】
図８では、音分離装置１００が、領域ａに定位する音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１４２】
領域ａに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図８の（ａ）のように示される。
【０１４３】
また、領域ａに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて大きくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０より極めて小さい値（ほぼゼロ）であり、第２の重み係数βは、１．０である。この場合の差信号は、図８の（ｂ）のように示される。
【０１４４】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図８の（ｃ）に示される抽出音である。図８の（ｃ）に示される抽出音の大きさは、領域ａと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ａに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１４５】
図９では、音分離装置１００が、領域ｂに定位する音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１４６】
領域ｂに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図９の（ａ）のように示される。
【０１４７】
また、領域ｂに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが大きくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、２．０である。この場合の差信号は、図９の（ｂ）のように示される。
【０１４８】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図９（ｃ）に示される抽出音である。図９の（ｃ）に示される抽出音の大きさは、領域ｂと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｂに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１４９】
図１０では、音分離装置１００が、領域ｃに定位する音を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５０】
領域ｃに定位する音成分を抽出する場合、音響信号生成部１０２は、第１の音響信号と第２の音響信号との和を第３の音響信号として用いる。この場合の第３の音響信号は、図１０の（ａ）のように示される。
【０１５１】
また、領域ｃに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１０の（ｂ）のように示される。
【０１５２】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１０の（ｃ）に示される抽出音である。図１０の（ｃ）に示される抽出音の大きさは、領域ｃと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｃに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１５３】
図１１では、音分離装置１００が、領域ｄに定位する音成分を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５４】
領域ｄに定位する音成分を抽出する場合、音響信号生成部１０２は、第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１１の（ａ）のように示される。
【０１５５】
また、領域ｄに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが小さくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、２．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１１の（ｂ）のように示される。
【０１５６】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１１の（ｃ）に示される抽出音である。図１１の（ｃ）に示される抽出音の大きさは、領域ｄと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｄに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１５７】
図１２では、音分離装置１００が、領域ｅに定位する音成分を抽出する場合における、この実験で用いた、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１５８】
領域ｅに定位する音成分を抽出する場合、音響信号生成部１０２は、第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１２の（ａ）のように示される。
【０１５９】
また、領域ｅに定位する音成分を抽出する場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて小さくなるように係数の値を決定し、第１の音響信号に第１の重み係数αを乗算した信号から第２の音響信号に第２の重み係数βを乗算した信号を減算することによって差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０より極めて小さい値（ほぼゼロ）である。この場合の差信号は、図１２の（ｂ）のように示される。
【０１６０】
上記のような第３の音響信号と差信号から音成分抽出部１０４によって生成される分離音響信号の音は、図１２の（ｃ）に示される抽出音である。図１２の（ｃ）に示される抽出音の大きさは、領域ｅと記載された時間帯において最も大きい。すなわち、音分離装置１００は、領域ｅに定位する音成分を抽出音として抽出できている。なお、上述のように、音成分抽出部１０４によって減算された周波数信号の大きさが負の値になる場合には、減算された周波数信号の大きさは、ほぼゼロとして取り扱われる。
【０１６１】
以下、図１３〜図１６を用いて音分離装置１００の動作のさらに具体的な例について説明する。
【０１６２】
図１３は、抽出対象の音の定位位置の具体例を示す概念図である。
【０１６３】
以下の図１４〜図１６は、図１３に示されるように、カスタネットの音が領域ｂに定位し、ボーカルの音が領域ｃに定位し、ピアノの音が領域ｅに定位する場合に、各領域の音を抽出する場合の第３の音響信号の音、差信号の音、および抽出音をそれぞれ示す。なお、図１４〜図１６には、上記３つの音の周波数（縦軸）と時間（横軸）との関係がそれぞれ示されている。図中において、色の明暗は、音の大きさを表しており、色が明るいほど大きな値であることを示す。
【０１６４】
図１４には、領域ｃに定位するボーカルの音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１６５】
領域ｃに定位するボーカルの音成分を抽出する場合、音響信号生成部１０２は、領域ｃに定位する音成分を含む、第１の音響信号と第２の音響信号との和を第３の音響信号として用いる。この場合の第３の音響信号は、図１４の（ａ）のように示される。
【０１６６】
また、この場合、差信号生成部１０３は、第１の重み係数αと第２の重み係数βとが等しくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０である。この場合の差信号は、図１４の（ｂ）のように示される。
【０１６７】
図１４の（ｃ）は、抽出音を示し、当該抽出音は、領域ｃに定位するボーカルの音成分が抽出された音である。図１４の（ａ）に示される第３の音響信号と、抽出音とを比較すると、ボーカルの音成分のＳＮ比が向上していることがわかる。
【０１６８】
図１５には、領域ｂに定位するカスタネットの音成分を抽出する場合における、第３の音響信号、差信号、および抽出音（ｃ）が示されている。
【０１６９】
領域ｂに定位するカスタネットの音成分を抽出する場合、音響信号生成部１０２は、領域ｂに定位する音成分を含む第１の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１５の（ａ）のように示される。
【０１７０】
また、この場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが大きくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、２．０である。この場合の差信号は、図１５の（ｂ）のように示される。
【０１７１】
図１５の（ｃ）は、抽出音を示し、当該抽出音は、領域ｂに定位するカスタネットの音成分が抽出された音である。図１５の（ａ）に示される第３の音響信号と、抽出音とを比較すると、カスタネットの音成分のＳＮ比が向上していることがわかる。
【０１７２】
図１６に、領域ｅに定位するピアノの音成分を抽出する場合における、第３の音響信号の音（ａ）、差信号の音（ｂ）、および抽出音（ｃ）が示されている。
【０１７３】
領域ｅに定位するピアノの音成分を抽出する場合、音響信号生成部１０２は、領域ｅに定位する音成分を含む第２の音響信号をそのまま第３の音響信号として用いる。この場合の第３の音響信号は、図１６の（ａ）のように示される。
【０１７４】
また、この場合、差信号生成部１０３は、第１の重み係数αよりも第２の重み係数βが極めて小さくなるように係数の値を決定し、差信号を生成する。具体的には、第１の重み係数αは、１．０であり、第２の重み係数βは、１．０より極めて小さい値（ほぼゼロ）である。
【０１７５】
図１６の（ｃ）は、抽出音を示し、当該抽出音は、領域ｅに定位するピアノの音成分が抽出された音である。図１６の（ａ）に示される第３の音響信号と、抽出音とを比較すると、ピアノの音成分のＳＮ比が向上していることが分かる。
【０１７６】
＜第１の音響信号、第２の音響信号の別の例＞
上述のように、第１の音響信号および第２の音響信号は、典型的には、ステレオ信号を構成するＬ信号とＲ信号である。
【０１７７】
図１７は、第１の音響信号がステレオ信号のＬ信号であり、第２の音響信号が、ステレオ信号のＲ信号である場合を示す模式図である。
【０１７８】
図１７の例では、音分離装置１００は、上記ステレオ信号によって、Ｌ信号の音が出力される位置（Ｌチャンネルスピーカが配置される位置）と、Ｒ信号の音が出力される位置（Ｒチャンネルスピーカが配置される位置）との間に定位する抽出対象の音を抽出する。具体的には、信号取得部１０１は、上記ステレオ信号であるＬ信号とＲ信号とを取得し、音響信号生成部１０２は、第３の音響信号としてＬ信号に第１の係数γを乗算した信号と、Ｒ信号に第２の係数ηを乗算した信号とを加算した音響信号（γＬ＋ηＲ）を生成する（γ、ηは、０以上の実数）。
【０１７９】
しかしながら、第１の音響信号および第２の音響信号は、ステレオ信号を構成するＬ信号とＲ信号に限定されるものではない。例えば、第１の音響信号および第２の音響信号は、５．１チャンネル（以下、５．１ｃｈと記載する）の音響信号から選択した互いに異なる任意の２つの音響信号であってもよい。
【０１８０】
図１８は、第１の音響信号が５．１ｃｈの音響信号のＬ信号（フロント左側の信号）であり、第２の音響信号が５．１ｃｈの音響信号のＣ信号（フロントセンター側の信号）である場合を示す模式図である。
【０１８１】
図１８の例では、音響信号生成部１０２は、第３の音響信号としてＬ信号に第１の係数γを乗算した信号と、Ｃ信号に第２の係数ηを乗算した信号とを加算した音響信号（γＬ＋ηＣ）を生成する（γ、ηは、０以上の実数）。そして、音分離装置１００は、５．１ｃｈの音響信号であるＬ信号、Ｃ信号によって、Ｌ信号の音が出力される位置と、Ｃ信号の音が出力される位置との間に定位する抽出対象の音成分を抽出する。
【０１８２】
また、図１９は、第１の音響信号が５．１ｃｈの音響信号のＬ信号であり、第２の音響信号が５．１ｃｈの音響信号のＲ信号（フロント右側の信号）である場合を示す模式図である。
【０１８３】
図１９の例では、音分離装置１００は、５．１ｃｈの音響信号であるＬ信号、Ｃ信号、およびＲ信号によって、Ｌ信号の音が出力される位置と、Ｒ信号の音が出力される位置との間に定位する抽出対象の音成分を抽出する。具体的には、信号取得部１０１は、５．１ｃｈの音響信号の少なくともＬ信号とＣ信号とＲ信号とを取得する。
【０１８４】
音響信号生成部１０２は、図１９の例では、Ｌ信号に第１の係数γを乗算した信号と、Ｒ信号に第２の係数ηを乗算した信号と、Ｃ信号に第３の係数ζを乗算した信号とを加算した音響信号（γＬ＋ηＲ＋ζＣ）を生成する（γ、η、ζは、０以上の実数）。
【０１８５】
例えば、γ＝η＝０である場合は、第３の音響信号は、Ｃ信号そのものである。また、例えば、γ＝η＝ζ＝１である場合は、第３の音響信号は、Ｌ信号とＲ信号とＣ信号とを加算した信号である。
【０１８６】
＜まとめ＞
以上説明したように、実施の形態１に係る音分離装置１００は、第１の音響信号と第２の音響信号とによって所定の位置に定位する抽出対象の音の音響信号（分離音響信号）を精度よく生成することができる。すなわち、音分離装置１００は、音の定位位置に応じて抽出対象の音を抽出することができる。
【０１８７】
音分離装置１００が抽出した各音の音源（分離音響信号）が、対応する位置や方向に配置したスピーカ等から再生されることで、ユーザ（受聴者）は、立体的な音響空間を楽しむことができる。
【０１８８】
例えば、ユーザは、音分離装置１００を用いて、パッケージメディアやダウンロードされた音楽コンテンツ等から、オンマイクでスタジオ収録したようなボーカル音声や楽器音を抽出し、抽出されたボーカル音声や楽器音のみを聞いて楽しむことができる。
【０１８９】
同様に、ユーザは、音分離装置１００を用いて、パッケージメディアや放送された映画コンテンツ等から、セリフ等の音声を抽出することができる。ユーザは、抽出したセリフ等の音声を強調して再生することによって、セリフ等の音声を明瞭に聞くことができる。
【０１９０】
また、例えば、ユーザは、音分離装置１００を用いてニュース音声から抽出対象の音を抽出することができる。この場合、例えば、抽出した音の音響信号を耳元に近いスピーカから再生することで、ユーザは、抽出対象の音が明瞭となったニュース音声を聞くことができる。
【０１９１】
また、例えば、ユーザは、音分離装置１００を用いて、デジタルスチルカメラやデジタルビデオカメラで収録した音を、定位位置ごとに抽出することによって、収録した音を編集することができる。この結果、ユーザは、聞きたい音成分を強調して聞くことができる。
【０１９２】
また、例えば、ユーザは、音分離装置１００を用いて、５．１ｃｈ、７．１ｃｈ、２２．２ｃｈ等で収録された音源に対して、各チャンネル間の任意の位置に定位する音成分を抽出し、これに対応する音響信号を生成することができる。したがって、ユーザは、スピーカの位置に適した音響信号成分を生成することができる。
【０１９３】
（実施の形態２）
実施の形態２では、さらに音補正部を備える音分離装置について説明する。音分離装置１００が抽出した抽出音は、定位範囲が狭い場合があり、定位範囲が狭い複数の抽出音の分離音響信号が再生された場合に、受聴者の受聴空間上において、音が定位しない空間が発生してしまう場合がある。音補正部は、このような、音が定位しない空間が発生しないように抽出音同士を空間的に滑らかにつなぐ点に特徴を有する。
【０１９４】
図２０は、実施の形態２に係る音分離装置３００の構成を示す機能ブロック図である。
【０１９５】
音分離装置３００は、信号取得部１０１、音響信号生成部１０２、差信号生成部１０３、音成分抽出部１０４、および音補正部３０１を備える。音分離装置３００は、音補正部３０１を備える点で音分離装置１００と異なる。なお、その他の構成要素については、実施の形態１において説明したものと同様の機能および動作であるものとして説明を省略する。
【０１９６】
音補正部３０１は、音成分抽出部１０４が生成した分離音響信号に、定位位置の周辺に定位する音成分を加算する。
【０１９７】
次に、音分離装置３００の動作について説明する。
【０１９８】
図２１および図２２は、音分離装置３００の動作を示すフローチャートである。
【０１９９】
図２１に示されるフローチャートは、図３のフローチャートにステップＳ４０１が追加されたものである。図２２に示されるフローチャートは、図４のフローチャートにステップＳ４０１が追加されたものである。
【０２００】
以下、ステップＳ４０１の動作、すなわち音補正部３０１の動作の詳細について図面を参照しながら説明する。
【０２０１】
＜音補正部の動作について＞
図２３は、抽出音の定位位置を示す概念図である。以下の説明では、図２３に示されるように、抽出音ａは、第１の音響信号側に定位する音であり、抽出音ｂは、第１の音響信号側と第２の音響信号側との中央に定位する音であり、抽出音ｃは、第２の音響信号側に定位する音であるとする。
【０２０２】
図２４は、抽出音の定位範囲（音圧の分布）を模式的に示した図である。
【０２０３】
図２４において、図の上下方向（縦軸）は、抽出音の音圧の大きさを示し、図の左右方向(横軸)は、定位位置および定位範囲を示す。
【０２０４】
図２４の（ａ）に示されるように、抽出音ａ、抽出音ｂ、および抽出音ｃがそれぞれの位置から出力された場合、抽出音ａが定位する領域と抽出音ｂが定位する領域と間に音が定位しない領域が存在する。また、同様に抽出音ｂが定位する領域と抽出音ｃが定位する領域との間に音が定位しない領域が存在する。このように、抽出音と抽出音の間に音が定位しない領域（空間）が発生する場合がある。
【０２０５】
そこで、図２４の（ｂ）に示されるように、音補正部３０１は、抽出音ａ〜ｃのそれぞれに、抽出音ａ〜ｃ定位位置に応じて当該定位位置の周辺に定位する音成分（補正音響信号）を加算する。
【０２０６】
実施の形態２では、音補正部３０１は、抽出音の定位位置の周辺に定位する音成分は、当該抽出音の定位位置に応じて決定される、第１の音響信号と第２の音響信号との重み付け和により生成する。
【０２０７】
具体的には、音補正部３０１は、まず、抽出音の定位位置から第１の位置までの距離が小さいほど値が大きくなる第３係数と、抽出音の定位位置から第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定する。そして、音補正部３０１は、第１の音響信号に第３係数を乗算した信号と、第２の音響信号に第４係数を乗算した信号とを抽出音を表す分離音響信号に加算する。
【０２０８】
なお、補正音響信号は、信号取得部１０１が取得する複数の音響信号のうちの少なくとも一の音響信号を用いて、抽出音の定位位置に応じて生成されてもよい。例えば、補正音響信号は、パニングの技術を応用して、信号取得部１０１が取得した複数の音響信号の重み付け和により生成されてもよい。
【０２０９】
例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｌ信号とＣ信号とＲ信号とＳＬ信号とＳＲ信号の重み付け和により生成されてもよい。
【０２１０】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｃから生成されてもよい。
【０２１１】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｌ信号とＲ信号との重み付け和により生成されてもよい。
【０２１２】
また、例えば、図１９に示されるような場合において、Ｌ信号の位置とＣ信号の位置とＲ信号の位置の中央に定位する抽出音の補正音響信号は、Ｃ信号とＳＬ信号とＳＲ信号との重み付け和により生成されてもよい。
【０２１３】
要するに、抽出音に当該抽出音の周囲の音の影響を付加し、音が空間的に滑らかに繋がるような方法であれば、どのような方法を利用しても構わない。
【０２１４】
以上説明した音補正部３０１の動作によって、音分離装置３００は、音が定位しない空間が発生しないように抽出音同士を空間的に滑らかにつなぐことができる。
【０２１５】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１および２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０２１６】
そこで、以下、他の実施の形態をまとめて説明する。
【０２１７】
例えば、実施の形態１および２で説明した音分離装置は、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムとして実現されてもよい。すなわち、以下のような場合も本発明に含まれる。
【０２１８】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２１９】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
【０２２０】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
【０２２１】
（４）本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
【０２２２】
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
【０２２３】
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
【０２２４】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
【０２２５】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２２６】
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０２２７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０２２８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０２２９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０２３０】
本開示に係る音分離装置は、２つの音響信号を用いて、当該２つの音響信号にそれぞれ対応する再生位置の間に定位する音の音響信号を精度よく生成することができ、オーディオ再生装置、ネットワークオーディオ装置、携帯型オーディオ装置、ブルーレイやＤＶＤやハードディスク等のディスクプレーヤーおよびレコーダ、テレビ、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末装置、パーソナルコンピュータ等に適用できる。
【符号の説明】
【０２３１】
１００、３００    音分離装置
１０１    信号取得部
１０２    音響信号生成部
１０３    差信号生成部
１０４    音成分抽出部
１５０    音再生装置
２００    記憶媒体
３０１    音補正部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得部と、
前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成部と、
前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる第３の音響信号を生成する音響信号生成部と、
前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出部とを備える
音分離装置。
【請求項２】
前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が、前記所定の位置から前記第２の位置までの距離よりも小さい場合に、前記第１の音響信号を前記第３の音響信号として用いる
請求項１に記載の音分離装置。
【請求項３】
前記音響信号生成部は、前記所定の位置から前記第２の位置までの距離が、前記所定の位置から前記第１の位置までの距離よりも小さい場合に、前記第２の音響信号を前記第３の音響信号として用いる
請求項１に記載の音分離装置。
【請求項４】
前記音響信号生成部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第１係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第２係数とを決定し、前記第１の音響信号に前記第１係数を乗算した信号と、前記第２の音響信号に前記第２係数を乗算した信号とを加算することによって前記第３の音響信号を生成する
請求項１に記載の音分離装置。
【請求項５】
前記差信号生成部は、前記第１の音響信号に第１の重み係数を乗算した信号と、前記第２の音響信号に第２の重み係数を乗算した信号との時間領域における差分である前記差信号を生成し、前記第２の重み係数を前記第１の重み係数によって除算した値が、前記第１の位置から前記所定の位置までの距離が小さいほど、大きくなるように、前記第１の重み係数と前記第２の重み係数とを決定する
請求項１〜４のいずれか１項に記載の音分離装置。
【請求項６】
前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が小さいほど、前記分離音響信号によって出力される音の定位範囲は、大きくなり、
前記差信号生成部が決定した前記第１の重み係数および前記第２の重み係数の絶対値が大きいほど、前記分離音響信号によって出力される音の定位範囲は、小さくなる
請求項５に記載の音分離装置。
【請求項７】
前記抽出部は、前記第１の周波数信号の大きさから、前記第２の周波数信号の大きさを減算することで周波数ごとに得られる減算値を用いて、前記第３の周波数信号を生成し、
前記減算値が負の値である場合、当該減算値は、所定の正の値に置き換えられる
請求項１〜６のいずれか１項に記載の音分離装置。
【請求項８】
さらに、前記複数の音響信号のうちの少なくとも一の前記音響信号を用いることによって前記所定の位置に応じて前記分離音響信号を補正するための補正音響信号を生成し、前記補正音響信号を前記分離音響信号に加算する音補正部を備える
請求項１〜７のいずれか１項に記載の音分離装置。
【請求項９】
前記音補正部は、前記所定の位置から前記第１の位置までの距離が小さいほど、値が大きくなる第３係数と、前記所定の位置から前記第２の位置までの距離が小さいほど値が大きくなる第４係数とを決定し、前記第１の音響信号に前記第３係数を乗算した信号と、前記第２の音響信号に前記第４係数を乗算した信号とを加算することによって前記補正音響信号を生成する
請求項８に記載の音分離装置。
【請求項１０】
前記第１の音響信号と前記第２の音響信号とは、ステレオ信号を構成する
請求項１〜９のいずれか１項に記載の音分離装置。
【請求項１１】
第１の位置から出力される音を表す第１の音響信号と、第２の位置から出力される音を表す第２の音響信号とを含む複数の音響信号を取得する信号取得ステップと、
前記第１の音響信号と、前記第２の音響信号との時間領域における差分を表す信号である差信号を生成する差信号生成ステップと、
前記複数の音響信号のうちの少なくとも一の音響信号を用いて、前記第１の位置から出力される音および前記第２の位置から出力される音によって前記第１の位置と前記第２の位置との間の所定の位置に定位する音の成分が含まれる、第３の音響信号を生成する音響信号生成ステップと、
前記第３の音響信号を周波数領域に変換した第１の周波数信号から、前記差信号を周波数領域に変換した第２の周波数信号を減算した第３の周波数信号を生成し、生成した前記第３の周波数信号を時間領域に変換することによって前記所定の位置に定位する音を出力するための音響信号である分離音響信号を生成する抽出ステップとを含む
音分離方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2013094135.tif 000027
【図２】
2013094135.tif 000028
【図３】
2013094135.tif 000029
【図４】
2013094135.tif 000030
【図５】
2013094135.tif 000031
【図６】
2013094135.tif 000032
【図７】
2013094135.tif 000033
【図８】
2013094135.tif 000034
【図９】
2013094135.tif 000035
【図１０】
2013094135.tif 000036
【図１１】
2013094135.tif 000037
【図１２】
2013094135.tif 000038
【図１３】
2013094135.tif 000039
【図１４】
2013094135.tif 000040
【図１５】
2013094135.tif 000041
【図１６】
2013094135.tif 000042
【図１７】
2013094135.tif 000043
【図１８】
2013094135.tif 000044
【図１９】
2013094135.tif 000045
【図２０】
2013094135.tif 000046
【図２１】
2013094135.tif 000047
【図２２】
2013094135.tif 000048
【図２３】
2013094135.tif 000049
【図２４】
2013094135.tif 000050
【国際調査報告】
2013094135.tif 000051
2013094135.tif 000052
2013094135.tif 000053
2013094135.tif 000054