(57)【特許請求の範囲】
【請求項１】
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部と、
前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部と
を備える音場再現装置。
【請求項２】
前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
請求項１に記載の音場再現装置。
【請求項３】
前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
請求項２に記載の音場再現装置。
【請求項４】
前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
請求項２または請求項３に記載の音場再現装置。
【請求項５】
前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
請求項３に記載の音場再現装置。
【請求項６】
前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
請求項１乃至請求項５の何れか一項に記載の音場再現装置。
【請求項７】
前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
請求項１乃至請求項５の何れか一項に記載の音場再現装置。
【請求項８】
前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
請求項１乃至請求項５の何れか一項に記載の音場再現装置。
【請求項９】
前記収音部は、前記主音源の近傍に配置されている
請求項１乃至請求項８の何れか一項に記載の音場再現装置。
【請求項１０】
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、
前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる
ステップを含む音場再現方法。
【請求項１１】
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、
前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音場再現装置および方法、並びにプログラムに関し、特に、任意の音場をより正確に再現することができるようにした音場再現装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、音場における音声の波面を複数個のマイクロフォンで収音し、得られた収音信号に基づいて音場を再現する波面合成技術が知られている。【０００３】
例えばキルヒホッフヘルムホルツの法則により、閉空間内の音場を正確に再現したい場合、閉空間の境界面における音圧、および閉空間内の音圧勾配を全ての座標で記録し、それぞれダイポール特性およびモノポール特性を持つ発音体を用いて対応する座標にて音声を再生すれば音場の再現が可能となる。【０００４】
実環境ではマイクロフォンやスピーカを用いて音場の記録および再生を行うが、物理的な制約から音圧用のマイクロフォンとモノポールスピーカを一対のみ用いることが一般的である。この場合、音圧勾配の欠如により再生音場に実音場との誤差が生じる。【０００５】
このような誤差が生じる代表例として、閉空間の外側の音源より到来する信号と、閉空間の外側の別の音源から閉空間内部を通過して、閉空間の内側より到来する信号とが混合されて記録されてしまう場合があげられる。この例では、再生時には期待しない位置から二つの音源が聞こえてしまうことになる。つまり、音場を聴取するユーザが感じる音源位置は、本来あるべき音源位置とは異なる位置となってしまう。【０００６】
この現象は、本来は閉空間に対応する受聴エリアにて物理的にキャンセルアウトされていた信号が、音圧勾配を取得しないことによって残ってしまったことに起因する。【０００７】
そこで、例えば剛体の表面にマイクロフォンを配置して音圧勾配をゼロにすることで、上述の現象が生じてしまうことを解決する技術が提案されている（例えば、非特許文献１参照）。【０００８】
また、閉空間の境界面を平面または直線に制限することで、境界面の内側から到来する信号の影響を排除し、上述した現象が生じないようにする技術も提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Zhiyun Li, Ramani Duraiswami, Nail A. Gumerov, “Capture and Recreation of Higher Order 3D Sound Fields via Reciprocity”, in Proceedings of ICAD 04-Tenth Meeting of the International Conference on Auditory Display, Sydney, Australia, July 6-9, 2004.
【非特許文献２】Shoichi Koyama et al.,“Design of Transform Filter for Sound Field Reproduction using Micorphone Array and Loudspeaker Array”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2011
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した技術では、任意の音場を正確に再現することは困難であった。【００１１】
例えば非特許文献１に記載の技術では、収音したい音場の範囲と剛体の体積が比例するため、広範囲の音場の記録には不向きである。【００１２】
また、非特許文献２に記載の技術では、音場の収音に用いるマイクアレイの設置が壁際など音の周り込みが少ない場所に制限されてしまう。【００１３】
本技術は、このような状況に鑑みてなされたものであり、任意の音場をより正確に再現することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の一側面の音場再現装置は、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部と、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部とを備える。
【００１６】
前記強調部には、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調させることができる。【００１７】
前記低減部には、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させることができる。【００１８】
前記強調部には、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させることができる。【００１９】
前記低減部には、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させることができる。【００２０】
前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれを設けることができる。【００２１】
前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれを設けることができる。【００２２】
前記第１のマイクアレイを、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置することができる。【００２３】
前記収音部を、前記主音源の近傍に配置することができる。【００２４】
本技術の一側面の音場再現方法またはプログラムは、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させるステップを含む。
【００２５】
本技術の一側面においては、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分が強調され、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分が低減される。
【発明の効果】
【００２６】
本技術の一側面によれば、任意の音場をより正確に再現することができる。【００２７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２８】
【図１】本技術について説明する図である。
【図２】主音源直線マイクアレイと副音源直線マイクアレイについて説明する図である。
【図３】主音源強調音場再現器の構成例を示す図である。
【図４】テンソル分解について説明する図である。
【図５】音場再現処理を説明するフローチャートである。
【図６】主音源強調音場再現器の他の構成例を示す図である。
【図７】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３０】
〈第１の実施の形態〉
〈本技術について〉
本技術は、実空間（収音空間）において直線上に並べられた複数のマイクロフォンからなる直線マイクアレイを複数用いて音場を記録し、その結果得られた収音信号に基づいて、直線上に配置された複数のスピーカからなる直線スピーカアレイを複数用いて音場を再現するものである。このとき、音場を再現する再現空間（受聴エリア）と収音空間が同等の音場となるように収音信号に基づく音声の再生が行われる。
【００３１】
以下では、主に収音したい対象となる音源を主音源と呼び、その他の音源を副音源と呼ぶこととする。但し、主音源は複数あってもよい。
【００３２】
本技術による収音空間での収音には、例えば図１に示すように三種類の収音部が用いられる。
【００３３】
図１に示す例は、直線マイクアレイと直線スピーカアレイを四方に正方形となるよう配置することで、直線マイクアレイで囲まれた閉空間の外側に存在する音源から生成される音場を、直線スピーカアレイで囲まれた閉空間の内側（受聴エリア）で再現するシステムとなっている。
【００３４】
具体的には図１中、左側に示すように収音空間には、主な収音対象となる音声の音源である主音源ＭＡ１１と、主な収音対象ではない音声の音源である副音源ＳＡ１１がある。
【００３５】
そして、これらの主音源ＭＡ１１および副音源ＳＡ１１からの音声が、マイクロフォンＭＭＣ１１、および直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４が用いられて収音される。このとき、副音源からの音声は、主音源からの音声とは異なる方向から各直線マイクアレイに到来する。
【００３６】
マイクロフォンＭＭＣ１１は、主音源ＭＡ１１に近接した位置に配置された単一若しくは複数のマイクロフォン、またはマイクアレイからなり、主音源ＭＡ１１からの音声を収音する。マイクロフォンＭＭＣ１１は、収音空間に配置された収音部のうちで最も主音源ＭＡ１１に近い位置に配置されている。
【００３７】
特に、マイクロフォンＭＭＣ１１は、音場を収音したときに副音源ＳＡ１１からの音声が無視できるほど十分に大きな音量で主音源ＭＡ１１からの音声が収音されるように、主音源ＭＡ１１近傍に配置されている。
【００３８】
なお、以下では、マイクロフォンＭＭＣ１１は単一のマイクロフォンから構成されるものとして説明続ける。
【００３９】
また、収音空間では直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４が、四方に正方形となるように配置されており、これらの直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４により囲まれる正方形の領域ＡＲ１１が、図中、右側に示される再現空間における受聴エリアＨＡ１１に対応する領域となる。受聴エリアＨＡ１１は、受聴者が再現される音場を聴取する領域である。
【００４０】
この例では、直線マイクアレイＭＣＡ１１−１が主音源ＭＡ１１の正面（前方）に配置され、直線マイクアレイＭＣＡ１１−４が副音源ＳＡ１１の正面（前方）に配置されている。なお、以下、直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４を特に区別する必要のない場合、単に直線マイクアレイＭＣＡ１１とも称することとする。
【００４１】
収音空間では、これらの直線マイクアレイＭＣＡ１１のうちのいくつかが、主に主音源ＭＡ１１からの音声が収音される主音源直線マイクアレイとされ、他の直線マイクアレイが、主に副音源ＳＡ１１からの音声が収音される副音源直線マイクアレイとされる。
【００４２】
主音源直線マイクアレイと副音源直線マイクアレイは、具体的には例えば図２に示すように定められる。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。但し、図２では、説明のため各直線マイクアレイＭＣＡ１１に対する主音源ＭＡ１１の位置が図１における場合とは異なる位置に配置されている。
【００４３】
図２の例では、主音源ＭＡ１１と、受聴エリアＨＡ１１に対応する領域ＡＲ１１との間にある直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。つまり、主音源ＭＡ１１と領域ＡＲ１１上の任意の位置とを結ぶ直線上に配置された直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
【００４４】
また、直線マイクアレイＭＣＡ１１のうち、主音源直線マイクアレイではない直線マイクアレイＭＣＡ１１が、副音源直線マイクアレイとされる。
【００４５】
換言すれば、主音源ＭＡ１１を光源と見立てた場合に、主音源ＭＡ１１から発せられた光によって照らされる直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
【００４６】
また、主音源直線マイクアレイの陰となり、主音源ＭＡ１１から発せられた光によって照らされない直線マイクアレイＭＣＡ１１、つまり主音源ＭＡ１１から見たときに主音源直線マイクアレイによって隠れて見えない直線マイクアレイＭＣＡ１１が副音源直線マイクアレイとされる。
【００４７】
したがって、図２では直線マイクアレイＭＣＡ１１−１と直線マイクアレイＭＣＡ１１−３が主音源直線マイクアレイとされ、直線マイクアレイＭＣＡ１１−２と直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとされる。
【００４８】
図１の説明に戻り、収音空間では各直線マイクアレイＭＣＡ１１が、主音源直線マイクアレイまたは副音源直線マイクアレイの何れかとして用いられ、音場が収音される。
【００４９】
この例では、主音源ＭＡ１１の前方に配置された直線マイクアレイＭＣＡ１１−１が主音源直線マイクアレイとされる。また、主音源ＭＡ１１から見て、直線マイクアレイＭＣＡ１１−１の後方に配置されている直線マイクアレイＭＣＡ１１−２乃至直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとされる。
【００５０】
このように、主音源ＭＡ１１と副音源ＳＡ１１を収音するケースとして、例えば主音源ＭＡ１１が演奏されている楽器であり、副音源ＳＡ１１が歓声を発する演奏の受聴者であるようなユースケースが考えられる。そのようなユースケースでは、主に主音源直線マイクアレイで演奏が記録され、副音源直線マイクアレイで歓声が記録されるようなシステムとなる。
【００５１】
なお、以下においては説明を簡単にするため、直線マイクアレイＭＣＡ１１−１が主音源直線マイクアレイとして用いられ、直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとして用いられ、残りの直線マイクアレイＭＣＡ１１−２と直線マイクアレイＭＣＡ１１−３は用いられないものとして説明を続ける。
【００５２】
このように収音空間で収音された音場は、図中、右側に示す再現空間において、直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４のそれぞれに対応する直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４により再現される。
【００５３】
再現空間では、受聴エリアＨＡ１１を囲むように直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４が正方形上に配置されている。なお、以下、直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４を特に区別する必要のない場合、単に直線スピーカアレイＳＰＡ１１と称する。
【００５４】
ここで、単純に直線マイクアレイＭＣＡ１１−１で収音された音声を、直線マイクアレイＭＣＡ１１−１に対応する直線スピーカアレイＳＰＡ１１−１で再生し、直線マイクアレイＭＣＡ１１−４で収音された音声を、直線マイクアレイＭＣＡ１１−４に対応する直線スピーカアレイＳＰＡ１１−４で再生すると、収音空間の音場を正確に再現することができない。
【００５５】
例えば図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１−１では、主音源ＭＡ１１から到来する信号（音声）である演奏音と、副音源ＳＡ１１から領域ＡＲ１１を通って到来する信号である歓声とが混合されて収音される。
【００５６】
そのため、直線マイクアレイＭＣＡ１１−１で収音された音声を直線スピーカアレイＳＰＡ１１−１でそのまま再生すると、主音源ＭＡ１１の音声と副音源ＳＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
【００５７】
そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、副音源ＳＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、副音源ＳＡ１１からの音声は図中、下側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、副音源ＳＡ１１からの音声があたかも図中、上側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
【００５８】
同様に図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１−４でも、副音源ＳＡ１１から到来する信号である歓声と、主音源ＭＡ１１から領域ＡＲ１１を通って到来する信号である演奏音とが混合されて収音される。
【００５９】
そのため、直線マイクアレイＭＣＡ１１−４で収音された音声を直線スピーカアレイＳＰＡ１１−４でそのまま再生すると、副音源ＳＡ１１の音声と主音源ＭＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
【００６０】
そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、主音源ＭＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、主音源ＭＡ１１からの音声は図中、上側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、主音源ＭＡ１１からの音声があたかも図中、下側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
【００６１】
このように直線マイクアレイＭＣＡ１１で収音された音声を再生するだけでは、異なる方向から到来する主音源ＭＡ１１からの音声（楽器の演奏音）と副音源ＳＡ１１からの音声（歓声）とが混ざり合ってしまい、音場を正確に再現することができない。
【００６２】
そこで本技術では、主な収音対象の音源とは異なる方向から到来する音声が混合されてしまうという影響を軽減させるために、マイクロフォンＭＭＣ１１で収音された主音源ＭＡ１１の音声が用いられて、主音源強調処理と主音源低減処理とが行われる。
【００６３】
すなわち、マイクロフォンＭＭＣ１１で収音された音声は、主音源ＭＡ１１の音声に比べて副音源ＳＡ１１の音声が十分に小さく記録された音声であるから、マイクロフォンＭＭＣ１１で収音された音声から、主音源ＭＡ１１の音声の特徴を表す特徴量（以下、主音源特徴量とも称する）を容易に抽出することができる。
【００６４】
本技術では、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１−１による収音で得られた収音信号に対して主音源ＭＡ１１の音声成分、つまり演奏音の成分のみを強調する主音源強調処理が行われる。そして、直線スピーカアレイＳＰＡ１１−１では、主音源強調処理された収音信号に基づいて音声が再生される。
【００６５】
一方、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１−４による収音で得られた収音信号に対して副音源ＳＡ１１の音声成分、つまり歓声成分を強調し、相対的に主音源ＭＡ１１の音声成分のみを低減させる主音源低減処理が行われる。そして、直線スピーカアレイＳＰＡ１１−４では、主音源低減処理された収音信号に基づいて音声が再生される。
【００６６】
以上の処理により、受聴エリアＨＡ１１にいる受聴者には、主音源ＭＡ１１からの演奏音が図中、上側から到来し、副音源ＳＡ１１からの歓声が図中、下側から到来しているように聴こえるようになる。これにより、再現空間において、より正確に任意の収音空間の音場を再現することができるようになる。
【００６７】
すなわち、本技術では受聴エリアＨＡ１１に対応する領域ＡＲ１１の大きさや形状、直線マイクアレイＭＣＡ１１の配置などに制限を設ける必要がないため、任意の収音空間の音場をより正確に再現することができる。
【００６８】
なお、図１では、正方形型マイクアレイを構成する各直線マイクアレイＭＣＡ１１を主音源直線マイクアレイまたは副音源直線マイクアレイとする例について説明した。しかし、球状マイクアレイや環状マイクアレイを構成する一部分のマイクアレイを、主音源直線マイクアレイに対応する、主に主音源を収音するマイクアレイや、副音源直線マイクアレイに対応する、主に副音源を収音するマイクアレイとしてもよい。
【００６９】
〈主音源強調音場再現器の構成例〉
次に、本技術を主音源強調音場再現器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
【００７０】
図３は、本技術を適用した主音源強調音場再現器の一実施の形態の構成例を示す図である。
【００７１】
主音源強調音場再現器１１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３−１、マイクアレイ２３−２、主音源用駆動信号生成部２４、副音源用駆動信号生成部２５、スピーカアレイ２６−１、およびスピーカアレイ２６−２から構成される。
【００７２】
マイクロフォン２１は、例えば一または複数のマイクロフォンや、マイクアレイなどからなり、収音空間における主音源近傍に配置されている。このマイクロフォン２１は、図１に示したマイクロフォンＭＭＣ１１に対応する。
【００７３】
マイクロフォン２１は、主音源から発せられた音声を収音し、その結果得られた収音信号を主音源学習部２２に供給する。
【００７４】
主音源学習部２２は、マイクロフォン２１から供給された収音信号に基づいて、収音信号から主音源特徴量を抽出し、主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。すなわち、主音源学習部２２では、主音源の特徴量が学習される。
【００７５】
主音源学習部２２は、収音空間に配置された送信器３１と、再現空間に配置された受信器３２とから構成される。
【００７６】
送信器３１は、時間周波数分析部４１、特徴量抽出部４２、および通信部４３を有している。時間周波数分析部４１は、マイクロフォン２１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルから主音源特徴量を抽出し、通信部４３に供給する。通信部４３は、特徴量抽出部４２から供給された主音源特徴量を、有線または無線により受信器３２に送信する。
【００７７】
受信器３２は通信部４４からなり、通信部４４は、通信部４３から送信されてきた主音源特徴量を受信して主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。
【００７８】
マイクアレイ２３−１は直線マイクアレイからなり、主音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３−１は図１に示した直線マイクアレイＭＣＡ１１−１に対応する。マイクアレイ２３−１は収音空間の音場を収音し、その結果得られた収音信号を主音源用駆動信号生成部２４に供給する。
【００７９】
マイクアレイ２３−２は直線マイクアレイからなり、副音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３−２は図１に示した直線マイクアレイＭＣＡ１１−４に対応する。マイクアレイ２３−２は収音空間の音場を収音し、その結果得られた収音信号を副音源用駆動信号生成部２５に供給する。
【００８０】
なお、以下、マイクアレイ２３−１およびマイクアレイ２３−２を特に区別する必要のない場合、単にマイクアレイ２３とも称することとする。
【００８１】
主音源用駆動信号生成部２４は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３−１から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が強調された信号を主音源用のスピーカ駆動信号として生成し、スピーカアレイ２６−１に供給する。主音源用駆動信号生成部２４により行われる処理が、図１を参照して説明した主音源強調処理に対応する。
【００８２】
主音源用駆動信号生成部２４は、収音空間に配置された送信器５１と、再現空間に配置された受信器５２とから構成される。
【００８３】
送信器５１は、時間周波数分析部６１、空間周波数分析部６２、および通信部６３を有している。
【００８４】
時間周波数分析部６１は、マイクアレイ２３−１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを、有線または無線により受信器５２に送信する。
【００８５】
受信器５２は、通信部６４、空間周波数合成部６５、主音源分離部６６、主音源強調部６７、および時間周波数合成部６８を有している。
【００８６】
通信部６４は、通信部６３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部６５に供給する。空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６−１の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
【００８７】
主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分である主音源時間周波数スペクトルと、副音源成分である副音源時間周波数スペクトルとに分離させ、主音源強調部６７に供給する。
【００８８】
主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が強調された主音源強調時間周波数スペクトルを生成し、時間周波数合成部６８に供給する。時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６−１に供給する。
【００８９】
副音源用駆動信号生成部２５は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３−２から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が低減された信号を副音源用のスピーカ駆動信号として生成し、スピーカアレイ２６−２に供給する。副音源用駆動信号生成部２５により行われる処理が、図１を参照して説明した主音源低減処理に対応する。
【００９０】
副音源用駆動信号生成部２５は、収音空間に配置された送信器７１と、再現空間に配置された受信器７２とから構成される。
【００９１】
送信器７１は、時間周波数分析部８１、空間周波数分析部８２、および通信部８３を有している。
【００９２】
時間周波数分析部８１は、マイクアレイ２３−２から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを、有線または無線により受信器７２に送信する。
【００９３】
受信器７２は、通信部８４、空間周波数合成部８５、主音源分離部８６、主音源低減部８７、および時間周波数合成部８８を有している。
【００９４】
通信部８４は、通信部８３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部８５に供給する。空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６−２の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。
【００９５】
主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源時間周波数スペクトルと副音源時間周波数スペクトルとに分離させ、主音源低減部８７に供給する。
【００９６】
主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が低減された、すなわち副音源成分が強調された主音源低減時間周波数スペクトルを生成し、時間周波数合成部８８に供給する。時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６−２に供給する。
【００９７】
スピーカアレイ２６−１は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１−１に対応する。スピーカアレイ２６−１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の主音源の音声が再現される。
【００９８】
スピーカアレイ２６−２は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１−４に対応する。スピーカアレイ２６−２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の副音源の音声が再現される。
【００９９】
なお、以下、スピーカアレイ２６−１およびスピーカアレイ２６−２を特に区別する必要のない場合、単にスピーカアレイ２６とも称することとする。
【０１００】
ここで、主音源強調音場再現器１１を構成する各部についてより詳細に説明する。
【０１０１】
（時間周波数分析部）
まず、時間周波数分析部４１、時間周波数分析部６１、および時間周波数分析部８１について説明する。ここでは、時間周波数分析部６１を例として説明を続ける。
【０１０２】
時間周波数分析部６１は、マイクアレイ２３−１を構成する各マイクロフォン（マイクセンサ）で得られた収音信号s(nmic,t)の時間周波数情報を分析する。
【０１０３】
但し、収音信号s(nmic,t)においてnmicはマイクアレイ２３−１を構成するマイクロフォンを示すマイクインデクスであり、マイクインデクスnmic＝0,…,Nmic-1である。また、Nmicはマイクアレイ２３−１を構成するマイクロフォンの数を示しており、tは時間を示している。
【０１０４】
時間周波数分析部６１は、収音信号s(nmic,t)から固定サイズの時間フレーム分割を行った入力フレーム信号sfr(nmic,nfr,l)を得る。そして、時間周波数分析部６１は、次式（１）に示す窓関数wT(nfr)を入力フレーム信号sfr(nmic,nfr,l)に乗算し、窓関数適用信号sw(nmic,nfr,l)を得る。すなわち、以下の式（２）の計算が行われて窓関数適用信号sw(nmic,nfr,l)が算出される。
【０１０５】
【数１】
0006485711.tif 000002
【０１０６】
【数２】
0006485711.tif 000003
【０１０７】
ここで、式（１）および式（２）において、nfrは時間インデクスを示しており、時間インデクスnfr＝0,…,Nfr-1である。また、lは時間フレームインデクスを示しており、時間フレームインデクスl＝0,…,L-1である。なお、Nfrはフレームサイズ（時間フレームのサンプル数）であり、Lは総フレーム数である。
【０１０８】
また、フレームサイズNfrは、時間サンプリング周波数fsT[Hz]における一フレームの時間Tfr[s]相当のサンプル数Nfr（＝R(fsT×Tfr)、但しR()は任意の丸め関数）である。この実施の形態では、例えば一フレームの時間Tfr＝1.0[s]であり、丸め関数R()は四捨五入であるが、それ以外でも構わない。さらに、フレームのシフト量はフレームサイズNfrの50％としているが、それ以外でも構わない。
【０１０９】
さらに、ここでは窓関数としてハニング窓の平方根を用いているが、ハミング窓やブラックマンハリス窓などのその他の窓を用いるようにしてもよい。
【０１１０】
このようにして窓関数適用信号sw(nmic,nfr,l)が得られると、時間周波数分析部６１は、以下の式（３）および式（４）を計算することで、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、時間周波数スペクトルS(nmic,nT,l)を算出する。
【０１１１】
【数３】
0006485711.tif 000004
【０１１２】
【数４】
0006485711.tif 000005
【０１１３】
すなわち、式（３）の計算によりゼロ詰め信号sw’(nmic,mT,l)が求められ、得られたゼロ詰め信号sw’(nmic,mT,l)に基づいて式（４）が計算され、時間周波数スペクトルS(nmic,nT,l)が算出される。
【０１１４】
なお、式（３）および式（４）において、MTは時間周波数変換に用いるポイント数を示している。また、nTは時間周波数スペクトルインデクスを示している。ここで、NT＝MT/2+1であり、nT＝0,…,NT-1である。さらに、式（４）においてiは純虚数を示している。
【０１１５】
また、この実施の形態では、STFT（Short Time Fourier Transform）（短時間フーリエ変換）による時間周波数変換を行っているが、DCT（Discrete Cosine Transform）（離散コサイン変換）やMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）などの他の時間周波数変換を用いてもよい。
【０１１６】
さらに、STFTのポイント数MTは、Nfr以上である、Nfrに最も近い２のべき乗の値としているが、それ以外のポイント数MTでも構わない。
【０１１７】
時間周波数分析部６１は、以上において説明した処理で得られた時間周波数スペクトルS(nmic,nT,l)を、空間周波数分析部６２に供給する。
【０１１８】
時間周波数分析部４１も、時間周波数分析部６１と同様の処理を行って、マイクロフォン２１から供給された収音信号から時間周波数スペクトルを算出し、特徴量抽出部４２に供給する。また、時間周波数分析部８１も、マイクアレイ２３−２から供給された収音信号から時間周波数スペクトルを算出し、空間周波数分析部８２に供給する。
【０１１９】
（特徴量抽出部）
特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルS(nmic,nT,l)から主音源特徴量の抽出を行う。
【０１２０】
ここでは、例えば主音源特徴量の抽出手法としてNTF（Nonnegative Tensor Factorization）により主音源の周波数基底を学習する手法について説明するが、他の手法により主音源特徴量を抽出するようにしてもよい。なお、NTFについては例えば「Derry FitzGerald et al., “Non-Negative Tensor Factorisation for Sound Source Separation”, ISSC 2005, Dublin, Sept. 1-2.」に詳細に記載されている。
【０１２１】
特徴量抽出部４２は、まず前処理として次式（５）の計算を行い、時間周波数スペクトルS(nmic,nT,l)を非負値スペクトルV(j,k,l)へと変換する。
【０１２２】
【数５】
0006485711.tif 000006
【０１２３】
なお、ここでは時間周波数スペクトルS(nmic,nT,l)のマイクインデクスnmicがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。すなわち、マイクインデクスnmicがjと記述され、時間周波数スペクトルインデクスnTがkと記述されている。なお、Nmic＝Jであるとし、NT＝Kであるとする。この場合、マイクインデクスnmicにより特定される一つのマイクロフォンが一つのチャネルとして扱われることになる。
【０１２４】
また、式（５）において、conj(S(j,k,l))は、時間周波数スペクトルS(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
【０１２５】
式（５）の計算により得られた非負値スペクトルV(j,k,l)は、時間方向に連結されて非負値スペクトログラムVとされ、NTFの入力とされる。
【０１２６】
例えば非負値スペクトログラムVをJ×K×Lの三次元テンソルとして捉えると、非負値スペクトログラムVをP個の三次元テンソルVp’（以下、基底スペクトログラムとも呼ぶ）に分離することができる。
【０１２７】
ここで、pは基底スペクトログラムを示す基底インデクスを表しており、基底数をPとしてp＝0,・・・,P-1である。また、以下では、基底インデクスpにより示される基底を基底pとも称することとする。
【０１２８】
さらに、P個の三次元テンソルVp’は三つのベクトルの直積で表現することが可能であるため、それぞれ三つのベクトルへと分解される。結果的に、それぞれ三種類のベクトルをP個ずつ集めた結果、新たな三つの行列、つまりチャネル行列Q、周波数行列W、および時間行列Hが得られるため、非負値スペクトログラムVを三つの行列に分解できるといえる。なお、チャネル行列QのサイズはJ×Pであり、周波数行列WのサイズはK×Pであり、時間行列HのサイズはL×Pである。
【０１２９】
なお、以下では、三次元テンソルまたは行列の各要素を示す場合には、小文字を用いて記すこととする。例えば非負値スペクトログラムVの各要素はvjklと表され、チャネル行列Qの各要素はqjklと表される。また、例えばvjklを[V] jklとも記すこととする。これは、他の行列についても同様に記すこととし、例えばqjklを[Q]jklとも記すこととする。
【０１３０】
特徴量抽出部４２では、非負値テンソル分解（NTF）により誤差テンソルEを最小化することで、テンソル分解が行なわれる。テンソル分解で得られるチャネル行列Q、周波数行列W、および時間行列Hは、それぞれが特有の性質を有している。
【０１３１】
ここで、チャネル行列Q、周波数行列W、および時間行列Hについて説明する。
【０１３２】
例えば、図４に示すように矢印Ｒ１１に示す非負値スペクトログラムVから、誤差テンソルEを除いて得られる三次元テンソルを基底数P個に分解した結果、矢印Ｒ１２−１乃至矢印Ｒ１２−Ｐに示す基底スペクトログラムV0’乃至基底スペクトログラムVP-1’が得られたとする。
【０１３３】
これらの各基底スペクトログラムVp’（但し、p＝0,…,P-1）、すなわち上述した三次元テンソルVp’を、それぞれ三つのベクトルの直積で表すことができる。
【０１３４】
例えば基底スペクトログラムV0’は、矢印Ｒ１３−１に示すベクトル[Q]j,0、矢印Ｒ１４−１に示すベクトル[H]l,0、および矢印Ｒ１５−１に示すベクトル[W]k,0の三つのベクトルの直積で表すことができる。
【０１３５】
ベクトル[Q]j,0は総チャネル数J個の要素からなる列ベクトルであり、ベクトル[Q]j,0のJ個の各要素は、チャネルインデクスjにより示される各チャネル（マイクロフォン）に対応する成分である。
【０１３６】
また、ベクトル[H]l,0は総時間フレーム数L個の要素からなる行ベクトルであり、ベクトル[H]l,0のL個の各要素は、時間フレームインデクスlにより示される各時間フレームに対応する成分である。さらに、ベクトル[W]k,0は周波数（時間周波数）の数であるK個の要素からなる列ベクトルであり、ベクトル[W]k,0のK個の各要素は、周波数インデクスkにより示される周波数に対応する成分である。
【０１３７】
これらのベクトル[Q]j,0、ベクトル[H]l,0、およびベクトル[W]k,0は、それぞれ基底スペクトログラムV0’のチャネル方向の性質、時間方向の性質、および周波数方向の性質を表している。
【０１３８】
同様に、基底スペクトログラムV1’は、矢印Ｒ１３−２に示すベクトル[Q]j,1、矢印Ｒ１４−２に示すベクト[H]l,1、および矢印Ｒ１５−２に示すベクトル[W]k,1の三つのベクトルの直積で表すことができる。また、基底スペクトログラムVP-1’は、矢印Ｒ１３−Ｐに示すベクトル[Q]j,P-1、矢印Ｒ１４−Ｐに示すベクトル[H]l,P-1、および矢印Ｒ１５−Ｐに示すベクトル[W]k,P-1の三つのベクトルの直積で表すことができる。
【０１３９】
そして、P個の基底スペクトログラムVp’の三つの次元に対応する三つのベクトルを、それぞれ次元ごとに集めて行列としたものがチャネル行列Q、周波数行列W、および時間行列Hとなる。
【０１４０】
すなわち、図４中、下側の矢印Ｒ１６に示すように、各基底スペクトログラムVp’の周波数方向の性質を表すベクトルであるベクトル[W]k,0乃至ベクトル[W]k,P-1からなる行列が周波数行列Wとされる。
【０１４１】
同様に、矢印Ｒ１７に示すように、各基底スペクトログラムVp’の時間方向の性質を表すベクトルであるベクトル[H]l,0乃至ベクトル[H]l,P-1からなる行列が時間行列Hとされる。また、矢印Ｒ１８に示すように、各基底スペクトログラムVp’のチャネル方向の性質を表すベクトルであるベクトル[Q]j,0乃至ベクトル[Q]j,P-1からなる行列がチャネル行列Qとされる。
【０１４２】
NTF（非負値テンソル分解）の性質により、P個に分離された各基底スペクトログラムVp’は、それぞれが音源中の固有の性質を表すように学習される。NTFでは、全要素を非負値に制約しているため、基底スペクトログラムVp’の加法性の組み合わせしか許容されず、その結果、組み合わせのパターンが減り、音源固有の性質によって分離され易くなっている。したがって、任意の範囲の基底インデクスpを選択することにより、各点音源を抽出し音響処理を行うことが可能である。
【０１４３】
ここで、チャネル行列Q、周波数行列W、および時間行列Hの各行列の性質についてさらに説明する。
【０１４４】
チャネル行列Qは、非負値スペクトログラムVのチャネル方向の性質を表している。すなわち、チャネル行列Qは、P個の各基底スペクトログラムVp’の合計J個の各チャネルjへの寄与度を示すと考えられる。
【０１４５】
周波数行列Wは、非負値スペクトログラムVの周波数方向の性質を表している。より具体的には、周波数行列Wは合計P個の基底スペクトログラムVp’のK個の各周波数ビンへの寄与度、すなわち各基底スペクトログラムVp’の各々の周波数特性を表している。
【０１４６】
また、時間行列Hは、非負値スペクトログラムVの時間方向の性質を表している。より具体的には、時間行列HはP個の各基底スペクトログラムVp’の合計L個の各時間フレームへの寄与度、すなわち各基底スペクトログラムVp’の各々の時間特性を表している。
【０１４７】
特徴量抽出部４２による主音源特徴量の算出の説明に戻り、NTF（非負値テンソル分解）では、次式（６）の計算によりコスト関数Cをチャネル行列Q、周波数行列W、および時間行列Hについて最小化することで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hが求められる。
【０１４８】
【数６】
0006485711.tif 000007
【０１４９】
なお、式（６）において、vjklは非負値スペクトログラムVの要素を表しており、vjkl’は要素vjklの予測値である。この要素vjkl’は次式（７）により得られる。なお、式（７）において、qjpはチャネル行列Qを構成する、チャネルインデクスjと基底インデクスpにより特定される要素、つまり行列要素[Q]j,pである。同様にwkpは行列要素[W]k,pであり、hlpは行列要素[H]l,pである。
【０１５０】
【数７】
0006485711.tif 000008
【０１５１】
式（７）により算出される要素vjkl’からなるスペクトログラムが、非負値スペクトログラムVの予測値である近似スペクトログラムV’となる。換言すれば、近似スペクトログラムV’は、基底数P個の基底スペクトログラムVp’から求まる、非負値スペクトログラムVの近似値である。
【０１５２】
さらに、式（６）では非負値スペクトログラムVと近似スペクトログラムV’の距離を測る指標としてβダイバージェンスdβが用いられており、このβダイバージェンスは、任意の変数をx，yとして例えば次式（８）で表される。
【０１５３】
【数８】
0006485711.tif 000009
【０１５４】
すなわち、βが１でも０でもない場合、式（８）中の一番上側に示す式によりβダイバージェンスが算出される。また、β＝１である場合、式（８）中の真ん中に示す式によりβダイバージェンスが算出される。
【０１５５】
さらに、β＝０（板倉斉藤距離）である場合、式（８）中の一番下側に示す式によりβダイバージェンスが算出される。すなわちβ＝０である場合、次式（９）に示す演算が行われることになる。
【０１５６】
【数９】
0006485711.tif 000010
【０１５７】
また、β＝０である場合のβダイバージェンスdβ=0(x|y)のyについての偏微分は次式（１０）に示すようになる。
【０１５８】
【数１０】
0006485711.tif 000011
【０１５９】
したがって、式（６）の例では、βダイバージェンスD0(V|V’)は次式（１１）に示すようになる。また、βダイバージェンスD0(V|V’)のチャネル行列Q、周波数行列W、および時間行列Hに関する偏微分は、それぞれ以下の式（１２）乃至式（１４）に示すようになる。但し、式（１１）乃至式（１４）において減算、除算、および対数演算は全て要素ごとに計算される。
【０１６０】
【数１１】
0006485711.tif 000012
【０１６１】
【数１２】
0006485711.tif 000013
【０１６２】
【数１３】
0006485711.tif 000014
【０１６３】
【数１４】
0006485711.tif 000015
【０１６４】
続いて、チャネル行列Q、周波数行列W、および時間行列Hを同時に表すパラメータθを用いてNTFの更新式を表現すると、次式（１５）に示すようになる。但し、式（１５）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
【０１６５】
【数１５】
0006485711.tif 000016
【０１６６】
なお、式（１５）において、[∇θD0(V|V’)]+および[∇θD0(V|V’)]-は、それぞれ関数∇θD0(V|V’)の正の部分および負の部分を表している。
【０１６７】
したがって、式（６）に示した場合、つまり制約関数を考慮しない場合におけるNTFの各行列の更新式は、次式（１６）乃至式（１８）に示す式となる。但し、式（１６）乃至式（１８）において階乗および除算は全て要素ごとに計算される。
【０１６８】
【数１６】
0006485711.tif 000017
【０１６９】
【数１７】
0006485711.tif 000018
【０１７０】
【数１８】
0006485711.tif 000019
【０１７１】
なお、式（１６）乃至式（１８）において記号「ｏ」は行列の直積を表している。すなわち、AがiA×P行列であり、BがiB×P行列である場合、「ＡｏＢ」はiA×iB×Pの三次元テンソルを表している。
【０１７２】
また、〈A,B〉{C},{D}はテンソルの収縮積と呼ばれ、以下の式（１９）で表される。但し、式（１９）では、式中の各文字は、以上において説明してきた行列等を表す記号とは関連がないものとする。
【０１７３】
【数１９】
0006485711.tif 000020
【０１７４】
特徴量抽出部４２は、式（１６）乃至式（１８）によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながら、式（６）のコスト関数Cの最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。そして、特徴量抽出部４２は、得られた周波数行列Wを、主音源の周波数に関する特徴を表す主音源特徴量として、通信部４３に供給する。なお、以下では、主音源特徴量としての周波数行列Wを、特に主音源周波数行列WSとも称することとする。
【０１７５】
（空間周波数分析部）
続いて、空間周波数分析部６２および空間周波数分析部８２について説明する。ここでは、主に空間周波数分析部６２について説明する。
【０１７６】
空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルS(nmic,nT,l)に対して、次式（２０）を計算することで空間周波数変換を行い、空間周波数スペクトルSSP(nS,nT,l)を算出する。
【０１７７】
【数２０】
0006485711.tif 000021
【０１７８】
なお、式（２０）においてMSは空間周波数変換に用いるポイント数を示しており、mS＝0,…,MS-1である。また、S’(mS,nT,l)は時間周波数スペクトルS(nmic,nT,l)に対してゼロ詰めを行うことにより得られるゼロ詰め信号を示しており、iは純虚数を示している。さらに、nSは空間周波数スペクトルインデクスを示している。
【０１７９】
この実施の形態では、式（２０）の計算によってIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）による空間周波数変換が行われている。
【０１８０】
また、必要であればIDFTのポイント数MSに合わせて適切にゼロ詰めを行ってもよい。この実施の形態では、マイクアレイ２３−１で得られる信号の空間サンプリング周波数がfsS[Hz]であるとする。この空間サンプリング周波数fsS[Hz]は、マイクアレイ２３−１を構成するマイクロフォン同士の間隔により定まる。
【０１８１】
式（２０）では、例えば空間サンプリング周波数fsS[Hz]に基づいてポイント数MSが定められる。そして、0≦mS≦Nmic-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝時間周波数スペクトルS(nmic,nT,l)とされ、Nmic≦mS≦MS-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝0とされる。
【０１８２】
以上において説明した処理により得られる空間周波数スペクトルSSP(nS,nT,l)は、時間フレームlに含まれている時間周波数nTの信号が空間上においてどのような波形となっているかを示している。空間周波数分析部６２は、空間周波数スペクトルSSP(nS,nT,l)を通信部６３に供給する。
【０１８３】
また、空間周波数分析部８２も、空間周波数分析部６２と同様の処理を行って、時間周波数分析部８１から供給された時間周波数スペクトルに基づいて空間周波数スペクトルを算出し、通信部８３に供給する。
【０１８４】
（空間周波数合成部）
また、空間周波数合成部６５は、通信部６４および通信部６３を介して空間周波数分析部６２から供給された空間周波数スペクトルSSP(nS,nT,l)に基づいて、以下の式（２１）を計算し、スピーカアレイ２６−１で音場（波面）を再現するための空間領域の駆動信号DSP(mS,nT,l)を求める。すなわち、SDM(Spectral Division Method)により、駆動信号DSP(mS,nT,l)が算出される。
【０１８５】
【数２１】
0006485711.tif 000022
【０１８６】
ここで、式（２１）におけるkpwは次式（２２）により得られる。
【０１８７】
【数２２】
0006485711.tif 000023
【０１８８】
なお、式（２１）においてyrefはSDMの基準距離を示しており、基準距離yrefは波面が正確に再現される位置である。この基準距離yrefはマイクアレイ２３−１のマイクロフォンが並ぶ方向と垂直な方向の距離となる。例えば、ここでは基準距離yref＝1[m]とされているが、その他の値でもよい。
【０１８９】
さらに、式（２１）においてH0(2)はハンケル関数を示しており、iは純虚数を示している。また、mSは空間周波数スペクトルインデクスを示している。さらに、式（２２）においてcは音速を示しており、ωは時間角周波数を示している。
【０１９０】
なお、ここではSDMにより駆動信号DSP(mS,nT,l)を算出する手法を例として説明したが、他の手法により駆動信号が算出されてもよい。また、SDMについては、特に「Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers”, in 2nd International Symposium on Ambisonics and Spherical Acoustics」に詳細に記載されている。
【０１９１】
続いて空間周波数合成部６５は、次式（２３）を計算することで空間領域の駆動信号DSP(mS,nT,l)を逆空間周波数変換して、時間周波数スペクトルD(nspk,nT,l)を算出する。式（２３）では、逆空間周波数変換として、DFT（Discrete Fourier Transform）（離散フーリエ変換）が行われる。
【０１９２】
【数２３】
0006485711.tif 000024
【０１９３】
なお、式（２３）において、nspkはスピーカアレイ２６−１を構成するスピーカを特定するスピーカインデクスを示している。また、MSはDFTのポイント数を示しており、iは純虚数を示している。
【０１９４】
式（２３）では、空間周波数スペクトルである駆動信号DSP(mS,nT,l)が時間周波数スペクトルに変換されると同時に、駆動信号のリサンプリングも行われる。具体的には、空間周波数合成部６５は、スピーカアレイ２６−１のスピーカ間隔に応じた空間サンプリング周波数で駆動信号をリサンプリング（逆空間周波数変換）することで、収音空間の音場を再現することができるスピーカアレイ２６−１の駆動信号を得る。
【０１９５】
空間周波数合成部６５は、このようにして得られた時間周波数スペクトルD(nspk,nT,l)を主音源分離部６６に供給する。また、空間周波数合成部８５も、空間周波数合成部６５と同様の処理を行ってスピーカアレイ２６−２の駆動信号である時間周波数スペクトルを算出し、主音源分離部８６に供給する。
【０１９６】
（主音源分離部）
主音源分離部６６では、通信部４４および通信部４３を介して特徴量抽出部４２から供給された主音源特徴量としての主音源周波数行列WSが用いられて、空間周波数合成部６５から供給された時間周波数スペクトルD(nspk,nT,l)から、主音源信号が抽出される。ここでは、特徴量抽出部４２における場合と同様に、NTFが用いられて主音源信号（主音源成分）が抽出される。
【０１９７】
すなわち、主音源分離部６６は次式（２４）の計算を行い、時間周波数スペクトルD(nspk,nT,l)を非負値スペクトルVSP(j,k,l)へと変換する。
【０１９８】
【数２４】
0006485711.tif 000025
【０１９９】
なお、ここでは時間周波数スペクトルD(nspk,nT,l)のスピーカインデクスnspkがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。
【０２００】
また、式（２４）において、conj(D(j,k,l))は、時間周波数スペクトルD(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
【０２０１】
式（２４）の計算により得られた非負値スペクトルVSP(j,k,l)は、時間方向に連結されて非負値スペクトログラムVSPとされ、NTFの入力とされる。
【０２０２】
また、主音源分離部６６は、このようにして得られた非負値スペクトログラムVSPについて、次式（２５）乃至式（２７）に示す更新式によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながらコスト関数の最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。
【０２０３】
【数２５】
0006485711.tif 000026
【０２０４】
【数２６】
0006485711.tif 000027
【０２０５】
【数２７】
0006485711.tif 000028
【０２０６】
但し、ここでの計算では、周波数行列Wの一部には主音源周波数行列WSが含まれているようになされ、式（２６）に示す周波数行列Wの更新では、主音源周波数行列WS以外の要素のみが更新される。つまり、周波数行列Wの更新時には、周波数行列Wに要素として含まれている主音源周波数行列WSの部分の更新は行われない。
【０２０７】
以上の計算で最適化されたチャネル行列Q、周波数行列W、および時間行列Hが得られると、主音源分離部６６は、主音源に対応する要素と副音源に対応する要素とをそれらの行列から抽出することで、収音された音声を主音源成分と副音源成分とに分離させる。
【０２０８】
すなわち、主音源分離部６６は、最適化された周波数行列Wの主音源周波数行列WS以外の要素を副音源周波数行列WNとする。
【０２０９】
また、主音源分離部６６は、最適化されたチャネル行列Qから主音源周波数行列WSに対応する要素を主音源チャネル行列QSとして抽出するとともに、最適化されたチャネル行列Qの主音源チャネル行列QS以外の要素を副音源チャネル行列QNとする。副音源チャネル行列QNは副音源の成分である。
【０２１０】
同様に主音源分離部６６は、最適化された時間行列Hから主音源周波数行列WSに対応する要素を主音源時間行列HSとして抽出するとともに、最適化された時間行列Hの主音源時間行列HS以外の要素を副音源時間行列HNとする。副音源時間行列HNは副音源の成分である。
【０２１１】
ここで、チャネル行列Qや時間行列Hの主音源周波数行列WSに対応する要素とは、図４の例で示した基底スペクトログラムVp’のうちの主音源周波数行列WSの要素を含む基底スペクトログラムVp’の要素である。
【０２１２】
主音源分離部６６は、さらに以上の処理により得られた行列群からWiener Filterを用いて主音源を抽出する。
【０２１３】
すなわち、主音源分離部６６は、次式（２８）の計算を行うことで、主音源チャネル行列QS、主音源周波数行列WS、および主音源時間行列HSの各要素に基づいて、主音源の基底スペクトログラムVS’の各要素を求める。
【０２１４】
【数２８】
0006485711.tif 000029
【０２１５】
同様に、主音源分離部６６は、次式（２９）の計算を行うことで、副音源チャネル行列QN、副音源周波数行列WN、および副音源時間行列HNの各要素に基づいて、副音源の基底スペクトログラムVN’の各要素を求める。
【０２１６】
【数２９】
0006485711.tif 000030
【０２１７】
さらに、主音源分離部６６は、得られた主音源の基底スペクトログラムVS’および副音源の基底スペクトログラムVN’に基づいて、次式（３０）および式（３１）を計算し、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出する。なお、式（３０）および式（３１）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
【０２１８】
【数３０】
0006485711.tif 000031
【０２１９】
【数３１】
0006485711.tif 000032
【０２２０】
式（３０）では、時間周波数スペクトルD(nspk,nT,l)、すなわち時間周波数スペクトルD(j,k,l)のうちの主音源成分のみが抽出されて主音源時間周波数スペクトルDS(j,k,l)とされる。そして、主音源時間周波数スペクトルDS(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて主音源時間周波数スペクトルDS(nspk,nT,l)とされる。
【０２２１】
同様に式（３１）では、時間周波数スペクトルD(j,k,l)のうちの副音源成分のみが抽出されて副音源時間周波数スペクトルDN(j,k,l)とされる。そして、副音源時間周波数スペクトルDN(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて副音源時間周波数スペクトルDN(nspk,nT,l)とされる。
【０２２２】
主音源分離部６６は、以上の計算で得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源強調部６７に供給する。
【０２２３】
また、主音源分離部８６も、主音源分離部６６と同様の処理を行い、その結果得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源低減部８７に供給する。
【０２２４】
（主音源強調部）
主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源強調時間周波数スペクトルDES(nspk,nT,l)を生成する。
【０２２５】
具体的には、主音源強調部６７は次式（３２）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの主音源時間周波数スペクトルDS(nspk,nT,l)の成分が強調された、主音源強調時間周波数スペクトルDES(nspk,nT,l)を算出する。
【０２２６】
【数３２】
0006485711.tif 000033
【０２２７】
なお、式（３２）においてαは主音源時間周波数スペクトルDS(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。したがって、式（３２）では、主音源時間周波数スペクトルが重み係数αにより重み付けされて副音源時間周波数スペクトルに加算され、主音源強調時間周波数スペクトルとされる。つまり、重み付け加算が行われる。
【０２２８】
主音源強調部６７は、式（３２）の計算により得られた主音源強調時間周波数スペクトルDES(nspk,nT,l)を時間周波数合成部６８に供給する。
【０２２９】
（主音源低減部）
主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を生成する。
【０２３０】
具体的には、主音源低減部８７は次式（３３）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの副音源時間周波数スペクトルDN(nspk,nT,l)の成分が強調された、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を算出する。
【０２３１】
【数３３】
0006485711.tif 000034
【０２３２】
なお、式（３３）においてαは副音源時間周波数スペクトルDN(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。なお、式（３３）における重み係数αは、式（３２）における重み係数αと同じ値であってもよいし、異なる値であってもよい。
【０２３３】
式（３３）では、副音源時間周波数スペクトルが重み係数αにより重み付けされて主音源時間周波数スペクトルに加算され、主音源低減時間周波数スペクトルとされる。つまり、重み付け加算が行われ、副音源時間周波数スペクトルが強調されることで、相対的に主音源時間周波数スペクトルが低減される。
【０２３４】
主音源低減部８７は、式（３３）の計算により得られた主音源低減時間周波数スペクトルDEN(nspk,nT,l)を時間周波数合成部８８に供給する。
【０２３５】
（時間周波数合成部）
時間周波数合成部６８は、次式（３４）の計算を行うことで、主音源強調部６７から供給された主音源強調時間周波数スペクトルDES(nspk,nT,l)の時間周波数合成を行い、出力フレーム信号dfr(nspk,nfr,l)を得る。ここでは、時間周波数合成として、ISTFT（Inverse Short Time Fourier Transform）（短時間逆フーリエ変換）が用いられているが、時間周波数分析部６１で行われる時間周波数変換（順変換）の逆変換に相当するものを用いればよい。
【０２３６】
【数３４】
0006485711.tif 000035
【０２３７】
なお、式（３４）におけるD’(nspk,mT,l)は、次式（３５）により得られるものである。
【０２３８】
【数３５】
0006485711.tif 000036
【０２３９】
式（３４）においてiは純虚数を示しており、nfrは時間インデクスを示している。また、式（３４）および式（３５）において、MTはISTFTのポイント数を示しており、nspkはスピーカインデクスを示している。
【０２４０】
さらに、時間周波数合成部６８は、得られた出力フレーム信号dfr(nspk,nfr,l)に、窓関数wT(nfr)を乗算し、オーバーラップ加算を行うことでフレーム合成を行う。例えば、次式（３６）の計算によりフレーム合成が行われて、出力信号d(nspk,t)が求められる。
【０２４１】
【数３６】
0006485711.tif 000037
【０２４２】
なお、ここでは、出力フレーム信号dfr(nspk,nfr,l)に乗算する窓関数wT(nfr)として、時間周波数分析部６１で用いた窓関数と同じものを用いているが、ハミング窓などのその他の窓の場合は矩形窓で構わない。
【０２４３】
また、式（３６）において、dprev(nspk,nfr+lNfr)およびdcurr(nspk,nfr+lNfr)は、どちらも出力信号d(nspk,t)を示しているが、dprev(nspk,nfr+lNfr)は更新前の値を示し、dcurr(nspk,nfr+lNfr)は更新後の値を示している。
【０２４４】
時間周波数合成部６８は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号としてスピーカアレイ２６−１に供給する。
【０２４５】
また、時間周波数合成部８８も、時間周波数合成部６８と同様の処理を行って、主音源低減部８７から供給された主音源低減時間周波数スペクトルDEN(nspk,nT,l)に基づいてスピーカ駆動信号を生成し、スピーカアレイ２６−２に供給する。
【０２４６】
〈音場再現処理の説明〉
次に、以上において説明した主音源強調音場再現器１１により行われる処理の流れについて説明する。主音源強調音場再現器１１は、収音空間における音声の波面の収音が指示されると、その波面の収音を行って音場を再現する音場再現処理を行う。
【０２４７】
以下、図５のフローチャートを参照して主音源強調音場再現器１１による音場再現処理について説明する。
【０２４８】
ステップＳ１１において、マイクロフォン２１は、収音空間において主音源の音声、すなわち主音源学習用の音声を収音し、その結果得られた収音信号を時間周波数分析部４１に供給する。
【０２４９】
ステップＳ１２において、マイクアレイ２３−１は、収音空間において主音源の音声を収音し、その結果得られた収音信号を時間周波数分析部６１に供給する。
【０２５０】
ステップＳ１３において、マイクアレイ２３−２は、収音空間において副音源の音声を収音し、その結果得られた収音信号を時間周波数分析部８１に供給する。
【０２５１】
なお、より詳細にはステップＳ１１乃至ステップＳ１３の処理は同時に行われる。
【０２５２】
ステップＳ１４において、時間周波数分析部４１は、マイクロフォン２１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析する。
【０２５３】
具体的には、時間周波数分析部４１は収音信号に対して時間フレーム分割を行い、その結果得られた入力フレーム信号に窓関数を乗算し、窓関数適用信号を算出する。
【０２５４】
また、時間周波数分析部４１は、窓関数適用信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。すなわち、式（４）の計算が行われて時間周波数スペクトルS(nmic,nT,l)が算出される。
【０２５５】
ステップＳ１５において、特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルに基づいて、主音源特徴量を抽出する。
【０２５６】
すなわち、特徴量抽出部４２は式（５）の計算を行うとともに式（１６）乃至式（１８）を計算してチャネル行列Q、周波数行列W、および時間行列Hを最適化し、最適化により得られた主音源周波数行列WSを主音源特徴量として、通信部４３に供給する。
【０２５７】
ステップＳ１６において、通信部４３は、特徴量抽出部４２から供給された主音源特徴量を送信する。
【０２５８】
ステップＳ１７において、時間周波数分析部６１はマイクアレイ２３−１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。ステップＳ１７ではステップＳ１４と同様の処理が行われる。
【０２５９】
ステップＳ１８において、空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。すなわち、ステップＳ１８では、式（２０）の計算が行われる。
【０２６０】
ステップＳ１９において、通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを送信する。
【０２６１】
ステップＳ２０において、時間周波数分析部８１はマイクアレイ２３−２から供給された収音信号の時間周波数情報、つまり副音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。ステップＳ２０ではステップＳ１４と同様の処理が行われる。
【０２６２】
ステップＳ２１において、空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。すなわち、ステップＳ２１では、式（２０）の計算が行われる。
【０２６３】
ステップＳ２２において、通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを送信する。
【０２６４】
ステップＳ２３において、通信部４４は、通信部４３から送信された主音源特徴量を受信して、主音源分離部６６および主音源分離部８６に供給する。
【０２６５】
ステップＳ２４において、通信部６４は、通信部６３から送信された、主音源の空間周波数スペクトルを受信して、空間周波数合成部６５に供給する。
【０２６６】
ステップＳ２５において、空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
【０２６７】
すなわち、空間周波数合成部６５は、上述した式（２１）を計算して空間領域の駆動信号を求め、さらに式（２３）を計算して時間周波数スペクトルD(nspk,nT,l)を算出する。
【０２６８】
ステップＳ２６において、主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源強調部６７に供給する。
【０２６９】
すなわち、主音源分離部６６は式（２４）乃至式（３１）の計算を行って、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出し、主音源強調部６７に供給する。
【０２７０】
ステップＳ２７において、主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３２）を計算することで主音源成分を強調し、その結果得られた主音源強調時間周波数スペクトルを時間周波数合成部６８に供給する。
【０２７１】
ステップＳ２８において、時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行う。
【０２７２】
具体的には、時間周波数合成部６８は式（３４）の計算を行って、主音源強調時間周波数スペクトルから出力フレーム信号を算出する。さらに時間周波数合成部６８は、出力フレーム信号に窓関数を乗算して式（３６）の計算を行い、フレーム合成により出力信号を算出する。時間周波数合成部６８は、このようにして得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６−１に供給する。
【０２７３】
ステップＳ２９において、通信部８４は、通信部８３から送信された、副音源の空間周波数スペクトルを受信して、空間周波数合成部８５に供給する。
【０２７４】
ステップＳ３０において、空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。すなわち、ステップＳ３０ではステップＳ２５と同様の処理が行われる。
【０２７５】
ステップＳ３１において、主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源低減部８７に供給する。ステップＳ３１では、ステップＳ２６と同様の処理が行われる。
【０２７６】
ステップＳ３２において、主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３３）を計算することで主音源成分を低減させ、その結果得られた主音源低減時間周波数スペクトルを時間周波数合成部８８に供給する。
【０２７７】
ステップＳ３３において、時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６−２に供給する。ステップＳ３３では、ステップＳ２８と同様の処理が行われる。
【０２７８】
ステップＳ３４において、スピーカアレイ２６は音声を再生する。
【０２７９】
すなわち、スピーカアレイ２６−１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６−１から主音源の音声が出力される。
【０２８０】
また、スピーカアレイ２６−２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６−２から副音源の音声が出力される。
【０２８１】
このようにして主音源と副音源の音声が出力されると、再現空間において、収音空間の音場が再現される。収音空間の音場が再現されると音場再現処理は終了する。
【０２８２】
以上のようにして、主音源強調音場再現器１１は、主音源特徴量を用いて、収音により得られた時間周波数スペクトルを主音源成分と副音源成分とに分離させる。そして主音源強調音場再現器１１は、主に主音源の音声を収音して得られた時間周波数スペクトルの主音源成分を強調してスピーカ駆動信号を生成するとともに、主に副音源の音声を収音して得られた時間周波数スペクトルの主音源成分を低減させてスピーカ駆動信号を生成する。
【０２８３】
このように適切に主音源成分を強調したり、主音源成分を低減させたりしてスピーカアレイ２６のスピーカ駆動信号を生成することで、簡単な処理で、より正確に任意の収音空間の音場を再現することができる。
【０２８４】
〈第１の実施の形態の変形例１〉
〈主音源強調音場再現器の構成例〉
なお、以上においては、主音源直線マイクアレイおよび副音源直線マイクアレイとして、それぞれ一つずつのマイクアレイ２３が用いられる例について説明したが、主音源直線マイクアレイや副音源直線マイクアレイとして複数のマイクアレイが用いられてもよい。
【０２８５】
そのような場合、主音源強調音場再現器は、例えば図６に示すように構成される。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２８６】
図６に示す主音源強調音場再現器１４１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３−１乃至マイクアレイ２３−４、主音源用駆動信号生成部２４、主音源用駆動信号生成部１５１、副音源用駆動信号生成部２５、副音源用駆動信号生成部１５２、およびスピーカアレイ２６−１乃至スピーカアレイ２６−４から構成される。
【０２８７】
この例では、収音空間には、四つのマイクアレイ２３−１乃至マイクアレイ２３−４が正方形状に配置されている。そして、二つのマイクアレイ２３−１およびマイクアレイ２３−３が主音源直線マイクアレイとして用いられ、残りの二つのマイクアレイ２３−２およびマイクアレイ２３−４が副音源直線マイクアレイとして用いられる。
【０２８８】
また、再現空間には、これらのマイクアレイ２３−１乃至マイクアレイ２３−４に対応するスピーカアレイ２６−１乃至スピーカアレイ２６−４が正方形状に配置されている。
【０２８９】
主音源用駆動信号生成部２４は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−１から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−１に供給する。
【０２９０】
主音源用駆動信号生成部１５１は、図３に示した主音源用駆動信号生成部２４と同様の構成とされている。主音源用駆動信号生成部１５１は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−３から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−３に供給する。したがって、スピーカアレイ２６−３では、スピーカ駆動信号に基づいて主音源の音声が再現される。
【０２９１】
また、副音源用駆動信号生成部２５は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−２から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−２に供給する。
【０２９２】
副音源用駆動信号生成部１５２は、図３に示した副音源用駆動信号生成部２５と同様の構成とされている。副音源用駆動信号生成部１５２は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−４から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−４に供給する。したがって、スピーカアレイ２６−４では、スピーカ駆動信号に基づいて副音源の音声が再現される。
【０２９３】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０２９４】
図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２９５】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２９６】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２９７】
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２９８】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９９】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３００】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３０１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３０３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０６】
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３０７】
さらに、本技術は、以下の構成とすることも可能である。
【０３０８】
（１）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部を備える
音場再現装置。
（２）
前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部をさらに備える
（１）に記載の音場再現装置。
（３）
前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
（２）に記載の音場再現装置。
（４）
前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
（３）に記載の音場再現装置。
（５）
前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
（３）または（４）に記載の音場再現装置。
（６）
前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
（４）または（５）に記載の音場再現装置。
（７）
前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
（１）乃至（６）の何れか一項に記載の音場再現装置。
（８）
前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
（２）乃至（６）の何れか一項に記載の音場再現装置。
（９）
前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
（２）乃至（６）の何れか一項に記載の音場再現装置。
（１０）
前記収音部は、前記主音源の近傍に配置されている
（１）乃至（９）の何れか一項に記載の音場再現装置。
（１１）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
ステップを含む音場再現方法。
（１２）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３０９】
１１  主音源強調音場再現器，  ４２  特徴量抽出部，  ６６  主音源分離部，  ６７  主音源強調部，  ８６  主音源分離部，  ８７  主音源低減部
【図１】
0006485711.tif 000038
【図２】
0006485711.tif 000039
【図３】
0006485711.tif 000040
【図４】
0006485711.tif 000041
【図５】
0006485711.tif 000042
【図６】
0006485711.tif 000043
【図７】
0006485711.tif 000044