(57)【要約】【課題】  方向性の目的音と非方向性の雑音に加えて、非方向性の雰囲気音が存在する場合に、雑音は除去しつつ、雰囲気音の残し具合を任意に調整可能な技術を提供すること。【解決手段】  複数のマイクから収集した音響信号から、非方向性の音の周波数成分を取得する。非方向性の音の周波数成分に対し、より低い周波数成分をより強調させる強調処理を施す。音響信号の周波数成分から、非方向性の音の強調済みの周波数成分を減じることで、音響信号の周波数成分を変換する。【選択図】  図１
2015118284.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクから収集した音響信号を取得する手段と、
前記音響信号から、非方向性の音の周波数成分を取得する手段と、
前記非方向性の音の周波数成分に対し、より低い周波数成分をより強調させる強調処理を施す強調手段と、
前記音響信号の周波数成分から、前記非方向性の音の強調済みの周波数成分を減じることで、前記音響信号の周波数成分を変換する変換手段と
を備えることを特徴とする音処理装置。
【請求項２】
前記強調手段は、
前記非方向性の音の周波数ごとのフーリエ係数の値に対し、該周波数が第１の周波数未満であれば第１の係数を乗じ、該周波数が該第１の周波数よりも大きい第２の周波数以上であれば該第１の係数よりも小さい第２の係数を乗じ、該周波数が該第１の周波数以上かつ該第２の周波数未満であれば該第１の係数と該第２の係数との間の値をとる第３の係数を乗じることで、前記非方向性の音の周波数ごとのフーリエ係数の値を変換し、
前記変換手段は、前記音響信号の周波数ごとのフーリエ係数の値から、非方向性の音の該周波数の変換ずみのフーリエ係数の値を減じることで、前記音響信号の周波数ごとのフーリエ係数の値を変換する
ことを特徴とする請求項１に記載の音処理装置。
【請求項３】
更に、
前記第２の係数を調整する手段を備えることを特徴とする請求項２に記載の音処理装置。
【請求項４】
更に、
前記変換手段により変換された周波数成分に基づく音を生成して出力する手段を備えることを特徴とする請求項１乃至３の何れか１項に記載の音処理装置。
【請求項５】
複数のマイクから収集した音響信号を取得する手段と、
前記音響信号から、第１の周波数帯域を有する非方向性の音の周波数成分と、該第１の周波数帯域よりも高い第２の周波数帯域を有する非方向性の音の周波数成分と、を取得する手段と、
前記第１の周波数帯域を有する非方向性の音の周波数成分を強調させると共に、前記第２の周波数帯域を有する非方向性の音の周波数成分を、前記第１の周波数帯域を有する非方向性の音の周波数成分に対する強調の度合いよりも小さく強調させる手段と、
前記音響信号の周波数成分から、前記第１の周波数帯域を有する非方向性の音の強調済みの周波数成分と、前記第２の周波数帯域を有する非方向性の音の強調済みの周波数成分と、を減じることで、前記音響信号の周波数成分を変換する変換手段と
を備えることを特徴とする音処理装置。
【請求項６】
音処理装置が行う音処理方法であって、
前記音処理装置の音響信号を取得する手段が、複数のマイクから収集した音響信号を取得する工程と、
前記音処理装置の周波数成分を取得する手段が、前記音響信号から、非方向性の音の周波数成分を取得する工程と、
前記音処理装置の強調手段が、前記非方向性の音の周波数成分に対し、より低い周波数成分をより強調させる強調処理を施す強調工程と、
前記音処理装置の変換手段が、前記音響信号の周波数成分から、前記非方向性の音の強調済みの周波数成分を減じることで、前記音響信号の周波数成分を変換する変換工程と
を備えることを特徴とする音処理方法。
【請求項７】
音処理装置が行う音処理方法であって、
前記音処理装置の音響信号を取得する手段が、複数のマイクから収集した音響信号を取得する工程と、
前記音処理装置の周波数成分を取得する手段が、前記音響信号から、第１の周波数帯域を有する非方向性の音の周波数成分と、該第１の周波数帯域よりも高い第２の周波数帯域を有する非方向性の音の周波数成分と、を取得する工程と、
前記音処理装置の強調手段が、前記第１の周波数帯域を有する非方向性の音の周波数成分を強調させると共に、前記第２の周波数帯域を有する非方向性の音の周波数成分を、前記第１の周波数帯域を有する非方向性の音の周波数成分に対する強調の度合いよりも小さく強調させる工程と、
前記音処理装置の変換手段が、前記音響信号の周波数成分から、前記第１の周波数帯域を有する非方向性の音の強調済みの周波数成分と、前記第２の周波数帯域を有する非方向性の音の強調済みの周波数成分と、を減じることで、前記音響信号の周波数成分を変換する変換工程と
を備えることを特徴とする音処理方法。
【請求項８】
コンピュータを、請求項１乃至５の何れか１項に記載の音処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号から雑音を除去する為の技術に関するものである。
【背景技術】
【０００２】
音響信号から不要な雑音を除去する技術は、音響信号に含まれる目的音に対する聴感を改善し、また、音声認識においては認識率を高めるために重要な技術である。音響信号から雑音を除去する技術として代表的なものにビームフォーマがある。これは、複数のマイクで収音した複数のマイク信号に対してそれぞれフィルタリングを施してから加算し、単一の出力信号を得るものである。上記のフィルタリングと加算の処理が、複数のマイクで指向性、すなわち方向選別性を持つ空間的なビームパターンを形成することに対応するため、ビームフォーマと呼ばれる。
【０００３】
ビームパターンのゲインがピークとなる部分をメインローブといい、メインローブが目的音の方向を向くようにビームフォーマを構成すれば、目的音を強調し、同時に目的音と異なる方向に存在する雑音を抑制することができる。
【０００４】
しかしながら、ビームパターンのメインローブは、特にマイク数が少ない場合には広い幅を持つ。また、屋外における風雑音のように方向性を持たない非方向性の音源は、空間的に全方位に分布した雑音源であると考えることができる。このため、ビームパターンのなだらかなメインローブを用いても、風雑音のような非方向性の雑音を十分に除去することはできない。
【０００５】
そこでメインローブではなく、ビームパターンのゲインがディップとなる部分である、ヌル（死角）を利用した雑音除去の方法が提案されている。図２（ａ）は、マイク数が２つの場合の、約３．３ｋＨｚにおける水平方向のビームパターンを極座標で示した例である。２つのマイクは、−９０°と９０°を結ぶ線分上に間隔を持って配置されているものとする。なお、この線分に対して０°方向の半円内と、１８０°方向の半円内のビームパターンは対称形となる。
【０００６】
図２（ａ）より、９０°方向のメインローブは非常に広い幅を持っているが、−３０°方向のヌルはゲインが鋭く落ち込んでおり、この方向の音だけはほとんど出力されないことになる。マイク信号に含まれる代表的な目的音には音声があるが、人の発する音声はパワーが空間的に一点に集中した方向性音源である。そこで、ビームパターンのヌルを方向性の目的音に向けることで、まずは非方向性の雑音を抽出し、次に抽出された雑音をマイク信号から減算するという二段階処理による雑音除去が提案されている（例えば特許文献１）。
【０００７】
図２（ａ）には、風雑音といった非方向性の雑音源が、空間的に全方位に分布しているものとして「〜」のマークによって模式的に表されている。また、−３０°方向に位置する方向性の目的音である人の声が、顔のマークによって表されている。ここで、非方向性の雑音源に比べて、方向性の目的音の角度あたりのパワーは大きいため、出力パワーを最小化するようにビームフォーマを構成すれば、−３０°の目的音方向にヌルが自動的に形成される。このように、出力パワー最小化といった規範によって、ビームパターンのヌルが自動的に形成されるビームフォーマを適応ビームフォーマと呼ぶ。適応ビームフォーマによれば、目的音の方向をあらかじめ知ることなく、図２（ａ）のように目的音方向にヌルの向いたビームパターンが自動的に得られるため、非方向性の雑音抽出に適している。このようにして抽出した雑音をマイク信号から減算することで、雑音を除去して目的音のみを残すことが可能となる。
【０００８】
しかしながら、上述の方法には以下に示すような課題がある。上記では、音源として方向性の目的音声と非方向性の風雑音のみが存在する場合を考えていたが、実際の収音や撮影のシチュエーションにおいては、目的音声と風雑音の他に、周囲の雰囲気音が存在することが多い。ここで雰囲気音とは、例えば野外市場におけるにぎわいの音や、清流のせせらぎの音などであり、風雑音と同じく非方向性の音源と考えられる。
【０００９】
図２（ｂ）には、図２（ａ）に加えて非方向性の雰囲気音が、空間的に全方位に分布しているものとして「…」のマークによって模式的に表されている。ここでも、非方向性の風雑音や雰囲気音に比べて、方向性の目的音の角度あたりのパワーは大きいため、適応ビームフォーマによって目的音方向にヌルが自動的に形成される。よって、非方向性の風雑音に加えて、同じく非方向性の雰囲気音が抽出されるため、抽出した音をマイク信号から減算すると、不要な風雑音だけでなく雰囲気音も除去してしまい、結果として目的音のみが残ることになる。これは、目的音を音声認識などする場合は好適かもしれないが、処理後のマイク信号を、臨場感をもって再生したい場合などは、雰囲気音が残っていないために、不自然で違和感が生じてしまう。
【００１０】
特許文献２には、目的音以外の非目的音を構成する非目的変動音と非目的定常音のうち、目的音に類似して目的音の聴取を困難にする不要な非目的変動音については、抑圧してから目的音と非目的音を合成する方法が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１０−２１７５５１号公報
【特許文献２】特開２００３−２７１１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１には、ビームフォーマで抽出した非方向性の音について、雑音と雰囲気音を区別するような考え方は示されていない。特許文献２では、目的音以外の非目的音の中でも、目的音聴取を困難にする不要な非目的変動音と、目的音聴取に悪影響しない非目的定常音と、を区別している。しかしながら、ミュージカルノイズの発生防止のために不要な非目的変動音の抑圧具合を調整する方法は開示されているものの、目的音に合成することで自然な音響となる非目的定常音については、その残し具合を任意に調整できるような方法は開示されていない。
【００１３】
ここで、目的音と雑音に加えて雰囲気音が存在する場合に、雑音は除去しつつ、雰囲気音の残し具合を任意に調整することができれば、雰囲気音を抑制する音声認識用から、雰囲気音を活かす臨場感再生用まで、処理後のマイク信号を多様な用途に展開できる。
【００１４】
そこで、本発明は、方向性の目的音と非方向性の雑音に加えて、非方向性の雰囲気音が存在する場合に、雑音は除去しつつ、雰囲気音の残し具合を任意に調整可能な技術を提供する。
【課題を解決するための手段】
【００１５】
本発明の一様態によれば、複数のマイクから収集した音響信号を取得する手段と、
前記音響信号から、非方向性の音の周波数成分を取得する手段と、
前記非方向性の音の周波数成分に対し、より低い周波数成分をより強調させる強調処理を施す強調手段と、
前記音響信号の周波数成分から、前記非方向性の音の強調済みの周波数成分を減じることで、前記音響信号の周波数成分を変換する変換手段と
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明の構成により、方向性の目的音と非方向性の雑音に加えて、非方向性の雰囲気音が存在する場合に、雑音は除去しつつ、雰囲気音の残し具合を任意に調整することができる。
【図面の簡単な説明】
【００１７】
【図１】音源分離装置１００の機能構成例を示すブロック図。
【図２】水平方向のビームパターンを極座標で示した例を示す図。
【図３】音源分離装置１００が行う処理のフローチャート。
【図４】目的音、雑音、雰囲気音の性質を音源方向範囲及び周波数帯域の観点から模式的に表した図。
【図５】減算係数を説明する図。
【図６】音源分離装置１００が行う処理のフローチャート。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１９】
［第１の実施形態］
先ず、音処理装置として機能する、本実施形態に係る音源分離装置の機能構成例について、図１のブロック図を用いて説明する。なお、図１に示した音源分離装置１００の構成は以下に説明する各処理を実現するための一構成例であり、以下に説明する各処理を実現可能な構成であれば、如何なる構成を採用しても構わない。
【００２０】
システム制御部１０１は、記憶部１０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図１に示す各機能部の動作制御を行うと共に、音源分離装置１００全体の動作制御を行う。
【００２１】
音源分離装置１００は、収音系の機能を実現する要素として、収音部１１１及び音響信号入力部１１２を備える。本実施形態において収音部１１１は、２つのマイク素子が間隔を持って配置された、２ｃｈステレオマイクで構成されるものとする。また、各マイク素子の配置位置（座標）は、予め記憶部１０２に格納されているものとする。なお、各マイク素子の配置位置は、予め記憶部１０２に格納されていることに限るものではなく、外部機器から適宜取得するようにしても構わない。
【００２２】
なお、本実施形態ではマイク素子の数は２としているが、マイク素子の数は複数であればよく、３個以上でも構わない。すなわち、以下に説明する処理の本質は、マイク素子の数が２個の場合に限定されるものではない。
【００２３】
音響信号入力部１１２は、収音部１１１を構成する各マイク素子からのアナログ音響信号に対して増幅処理およびＡ／Ｄ変換処理等を施して、所定の音響サンプリングレートに対応する周期で、デジタル音響信号である２ｃｈマイク信号を生成する。
【００２４】
本実施形態においては、方向性の目的音として人の声と、非方向性の雑音として風雑音と、同じく非方向性の音として雰囲気音と、が混合してステレオマイク（各マイク素子）に入力されることを想定する。収音系で取得した２ｃｈマイク信号は記憶部１０２に逐次記録され、システム制御部１０１による制御のもと、主に信号解析処理部１０３により、図３のフローチャートに沿って本実施形態の音源分離処理が行われる。なお、音響サンプリングレートは４８ｋＨｚとして説明を行う。また、図３のフローチャートは、マイク信号の所定の時間セグメント長（例えば3秒）ごとの処理を表すものとする。
【００２５】
ビームフォーマにおいてマイク信号のフィルタリングを行う信号サンプル単位を時間ブロックと呼ぶものとし、本実施形態では時間ブロック長を１０２４サンプル（約２１ｍｓ）とする。また、時間ブロック長の半分である５１２サンプル（約１１ｍｓ）ずつ信号サンプル範囲をシフトしながら、時間ブロックループの中でマイク信号のフィルタリングを行っていく。すなわち、第１時間ブロックではマイク信号の第１サンプルから第１０２４サンプルを、第２時間ブロックでは第５１３サンプルから第１５３６サンプルをフィルタリングする。
【００２６】
はじめにステップＳ３０１では信号解析処理部１０３は、記憶部１０２に格納されている「現時間ブロックの２ｃｈの各マイク信号」をフーリエ変換して、複素数であるフーリエ係数を取得する。このとき、時間ブロック長によってフーリエ変換における時間解像度および周波数解像度が決まり、ナイキスト周波数までの周波数分割数をＦとすると、時間ブロックループにおける時間ブロックごとにＦ個のフーリエ係数が得られる。
【００２７】
ここで、次のステップにおいて、統計量である空間相関行列の算出には平均化処理が必要なため、現在の時間ブロックを基準として時間フレームという単位を導入する。時間フレーム長は時間ブロック長と同じ１０２４サンプルであり、現在の時間ブロックの信号サンプル範囲を基準として、所定の時間フレームシフト長ずつシフトした信号サンプル範囲を時間フレームとする。本実施形態では時間フレームシフト長を３２サンプルとし、上記平均化の回数に相当する時間フレーム数を１２８とする。すなわち第１時間ブロックにおいて、第１時間フレームは第１時間ブロックと同じくマイク信号の第１サンプルから第１０２４サンプルを対象とし、第２時間フレームは第３３サンプルから第１０５６サンプルを対象とする。そして、第１２８時間フレームは第４０６５サンプルから第５０８８サンプルを対象とするため、第１時間ブロックの空間相関行列は、第１サンプルから第５０８８サンプルの１０６ｍｓのマイク信号から算出されることになる。なお、時間フレームは現在の時間ブロックより前の信号サンプル範囲としてもよい。
【００２８】
以上を踏まえてステップＳ３０１では、第ｉチャンネルのマイク信号の現時間ブロックtに関する、周波数f、時間フレームkにおけるフーリエ係数をZi(f,t,k)（i=1,2、k=1〜128）のように得る。なお、フーリエ変換の前にマイク信号に対して窓掛けを行うのが好適であり、窓掛けは逆フーリエ変換によって再び時間信号に戻した後にも行う。このため、５０％ずつオーバーラップする時間ブロックに対し、２回の窓掛けにおける再構成条件を考慮して、窓関数にはサイン窓などを用いる。
【００２９】
ステップＳ３０２からステップＳ３０５の処理は、周波数ごとの処理であり、周波数ループの中で行う。ステップＳ３０２では、信号解析処理部１０３は、マイク信号の空間的性質を表す統計量である、空間相関行列を算出する。ステップＳ３０１で得た各チャンネルのフーリエ係数をまとめてベクトル化し、z(f,t,k)=[Z1(f,t,k) Z2(f,t,k)]Tのように置く。z(f,t,k)を用いて、時間ブロックt、周波数ｆ、時間フレームｋにおける行列Rk(f,t)を式（１）のように定める。ここで、上付きのTは転置を、上付きのHは複素共役転置を表す。
【００３０】
【数１】
2015118284.tif 000003
【００３１】
空間相関行列R(f,t)は、Rk(f,t)を全ての時間フレームに関して平均化、すなわちR1(f,t)からR128(f,t)を足して１２８で割ることで得られる。
【００３２】
ステップＳ３０３では、信号解析処理部１０３は、適応ビームフォーマのフィルタ係数を算出する。第ｉチャンネルのマイク信号をフィルタリングするフィルタ係数をWi(f,t)（i=1,2）とし、適応ビームフォーマのフィルタ係数ベクトルをw(f,t)=[W1(f,t) W2(f,t)]Tのように置く。w(f,t)は出力パワー最小化の規範に基づいて算出するものとし、本実施形態では最小分散法（Capon法）を用いる。これは、w(f,t)を非零ベクトルとするための制約条件として、メインローブの方向θmainを適当に指定するものである。
【００３３】
適応ビームフォーマの周波数fにおける平均出力パワーはwH(f,t)R(f,t)w(f,t)で表されるため、最小分散法による適応ビームフォーマのフィルタ係数は、式（２）の制約付き最適化問題の解として得られる。
【００３４】
【数２】
2015118284.tif 000004
【００３５】
式（２）のa(f,θmain)は、以下の式（３）で表されるアレイ・マニフォールド・ベクトルである。
【００３６】
【数３】
2015118284.tif 000005
【００３７】
ここで、jは虚数単位を表す。また、マイク配置座標を記述した座標系の原点を中心とする単位球面を考える。そして、単位球面上の方位角θmainの点から、各マイク素子までの伝搬遅延時間τi(θmain)（i=1,2）をまとめたベクトルをτ(θmain)=[τ1(θmain)  τ2(θmain)]Tと置いている。式（２）をラグランジュの未定乗数法を用いて解くことで、最小分散法による適応ビームフォーマのフィルタ係数が、以下の式（４）のように得られる。
【００３８】
【数４】
2015118284.tif 000006
【００３９】
ステップＳ３０４では、信号解析処理部１０３は、式（５）のようにマイク信号をフィルタリングすることで、雑音と雰囲気音で構成される非方向性音抽出信号のフーリエ係数Y(f,t)を取得する。ここで、z(f,t)=z(f,t,1)である。
【００４０】
【数５】
2015118284.tif 000007
【００４１】
ステップＳ３０５では、信号解析処理部１０３は、ステップＳ３０４で抽出した非方向性音抽出信号を各マイク信号から周波数領域で減算することで、処理後マイク信号のフーリエ係数Xi(f,t)（i=1,2）を取得する。この減算（非方向性音減算）は、以下の式（６）で表されるようなスペクトル減算などにより行う。
【００４２】
【数６】
2015118284.tif 000008
【００４３】
ここで、Zi(f,t)=Zi(f,t,1)（i=1,2）であり、絶対値記号により振幅スペクトルを、argにより位相スペクトルを表している。また、β(f)は減算強度を調整する周波数ごとの減算係数、ηは減算結果が正とならない場合に、微小な出力を確保するためのフロアリング係数である。
【００４４】
以下、図４および図５を参照しながら、従来ではなぜ雰囲気音の残し具合を任意に調整できなかったのかと、それに対して本実施形態がどのようなアプローチを取るのかについて説明する。
【００４５】
図４は、マイク信号に含まれる目的音、雑音、雰囲気音について、それぞれの性質を音源方向範囲および周波数帯域の観点から模式的に表したものである。実線の角丸四角形で表される目的音４０１は、音源方向が特定の方向である方向性音源であり、比較的広い周波数帯域を持つ。太実線の角丸四角形で表される風雑音４０２は、空間的に全方位に分布した非方向性音源であり、低域の周波数帯域が卓越している。太点線の角丸四角形で表される雰囲気音４０３は、風雑音４０２と同じく空間的に全方位に分布した非方向性音源であるが、周波数帯域は目的音４０１のように広い。
【００４６】
前ステップの適応ビームフォーマによるフィルタリングは、各音源の音源方向範囲の違いを利用した空間的な音源分離方法である。すなわち、ビームパターンのヌルを方向性の目的音４０１の方向に形成することで、非方向性の風雑音４０２および雰囲気音４０３を併せて、破線の角丸四角形で表される非方向性音４０４として抽出している。
【００４７】
ここで本ステップにおいて、マイク信号から風雑音が除去されるような減算強度で非方向性音を単純に減算する、言い換えれば全周波数で一律な減算係数β（ｆ）＝βｎを用いると、次のような問題が生じる。すなわち図４から明らかなように、非方向性音４０４の全体を除くと残るのはほとんど目的音４０１だけであり、雰囲気音４０３は失われてしまう。
【００４８】
そこで、本実施形態のステップＳ３０５では、各周波数の減算係数β(f)を、周波数によらずに一定値にするのではなく、例えば、次のように定める。図５（ａ）は、非方向性音を構成する風雑音と雰囲気音について、それぞれの振幅スペクトルを模式的に示したものである。なお、周波数は対数で、振幅スペクトルはデシベルで表示されているものとする。
【００４９】
図５（ａ）を踏まえ、風雑音が卓越して非方向性音の中で支配的となる低域の雑音主要周波数帯域（第１の周波数未満）では、図５（ｂ）に示すように、風雑音が除去されるよう十分大きな減算係数β（ｆ）＝βｎを用いる。一方、風雑音が弱まり、非方向性音の中で雰囲気音が優勢となる中高域の雰囲気音優勢周波数帯域（第２の周波数以上）では、雰囲気音を残すようβｎより小さい減算係数β（ｆ）＝βａ（＜βｎ）を用いる。また、風雑音と雰囲気音が近いレベルとなる、雑音主要周波数帯域と雰囲気音優勢周波数帯域の間の中低域の混合帯域（第１の周波数以上かつ第２の周波数未満）では、図５（ｂ）に示すようなβｎとβａの間の中間的な減算係数を用いる。
【００５０】
以上のように周波数ごとの減算係数を定めることで、風雑音を除去しつつ雰囲気音を残すことができ、さらに図５（ｂ）の双方向矢印のようにβａの値を調整することで、雰囲気音の残し具合を任意に調整することができる。ここでβａの調整は、システム制御部１０１と通信可能な不図示の入出力ＧＵＩ部（例えばタッチパネルで構成される）を介して行うようにしてもよいし、どのような方法で調整しても構わない。
【００５１】
即ち、ステップＳ３０５では、非方向性の音の周波数成分に対し、より低い周波数成分をより強調させる強調処理を施し、音響信号の周波数成分から、非方向性の音の強調済みの周波数成分を減じることで、音響信号の周波数成分を変換している。
【００５２】
従来、各音源の音源方向範囲の違いを利用して、方向性の目的音と非方向性の音を空間的に分離していた。本実施形態ではさらに、非方向性音を構成する雑音と雰囲気音の周波数帯域の違いを利用することで、雑音を除去しつつ、雰囲気音の残し具合を任意に調整することを可能としている。
【００５３】
なお、例えば雑音主要周波数帯域と混合帯域の境界を１ｋＨｚ、混合帯域と雰囲気音優勢周波数帯域の境界を２ｋＨｚといった具合に定めることで、風雑音の雑音主要周波数帯域などを決めることができる。また、風雑音はマイク間でパワー差が大きくなる性質があることを利用して、各マイク信号のフーリエ係数Zi(f,t)（i=1,2）の振幅スペクトル差が大きい周波数は、雑音主要周波数帯域であるなどと判断してもよい。この場合、減算係数は時間ブロックにも依存してβ(f,t)のようになると考えられる。さらに、除去対象である雑音が風雑音以外である場合も、雑音の種類に応じて雑音主要周波数帯域などを適宜定めることで、雑音を除去しつつ、雰囲気音の残し具合を任意に調整することが可能である。
【００５４】
ステップＳ３０６では、システム制御部１０１は、ステップＳ３０５の後の周波数ループを抜けた時点で得られている、Ｆ個のフーリエ係数を逆フーリエ変換し、現時間ブロックにおけるマイク信号（処理後マイク信号）を取得する。そしてシステム制御部１０１は、これを窓掛けして前時間ブロックまでの処理後マイク信号にオーバーラップ加算していき、得られる処理後マイク信号を記憶部１０２へ逐次記録する。このようにして得られた処理後マイク信号は、不図示のデータ入出力部を介して外部に出力したり、イヤホン、ヘッドホン、スピーカといった不図示の音響再生系によって再生したりすることができる。このとき、本実施形態によって雰囲気音の残し具合が任意に調整可能となっているため、雰囲気音を抑制する音声認識用から、雰囲気音を活かす臨場感再生用まで、処理後マイク信号を多様な用途に展開することができる。
【００５５】
［第２の実施形態］
第１の実施形態においては、非方向性音を構成する雑音と雰囲気音を周波数の観点で区別していた。このため、雑音と雰囲気音が近いレベルとなる混合帯域においては、雑音除去と雰囲気音保存のトレードオフが生じていた。
【００５６】
本実施形態では、非負値行列因子分解を用いることで、時間・周波数の両面から非方向性音を雑音と雰囲気音に分解する。非方向性音を雑音と雰囲気音に分解できれば、それぞれ独立に減算係数を定めることで、上記トレードオフを生じることなく上記の目的を達成できると考えられる。
【００５７】
以下では、第１の実施形態との差分について重点的に説明し、第１の実施形態と同様の点については説明を省略する。本実施形態では、図１に示した構成を有する音源分離装置１００は、図３のフローチャートに従った処理ではなく、図６のフローチャートに従った処理を実行する。図６のフローチャートは、マイク信号の所定の時間セグメント長ごとの処理を表す。
【００５８】
ステップＳ６０１〜ステップＳ６０４の各ステップにおける処理はそれぞれ、図３のステップＳ３０１〜ステップＳ３０４と同様であるため、これらのステップに係る説明は省略する。
【００５９】
ここで、時間セグメントに含まれる時間ブロック数をＴとすると、ステップＳ６０４の後の周波数ループおよび時間ブロックループを抜けた時点で、非方向性音抽出信号のＦ×Ｔ個のフーリエ係数が得られている。これを要素とするサイズ{F×T}の複素行列を、非方向性音抽出信号の複素スペクトログラムYFTとし、要素ごとに複素数の絶対値を取った非負値行列を振幅スペクトログラム|YFT|とする。
【００６０】
ステップＳ６０５では、信号解析処理部１０３は、非方向性音抽出信号の振幅スペクトログラム|YFT|を、基底行列Hとアクティビティ行列Uに非負値行列因子分解する。非負値行列因子分解に際して指定する基底数をDとすると、サイズ{F×T}の振幅スペクトログラム|YFT|を、式（７）のようにサイズ{F×D}の基底行列Hとサイズ{D×T}のアクティビティ行列Uに分解できる。ここで、「*」は行列の積を表すものとする。
【００６１】
【数７】
2015118284.tif 000009
【００６２】
なお、式（７）の収束計算におけるHとUの更新式は、(H*U)の|YFT|からの乖離度を表す規準に応じたものを用いればよい。行列の乖離度を表す規準としては、ユークリッド距離（二乗誤差）、一般化Kullback−Leiblerダイバージェンス、板倉斎藤距離などが挙げられる。
【００６３】
ステップＳ６０６では、信号解析処理部１０３は、非方向性音のうちの雑音に対応する雑音振幅スペクトログラムと、雰囲気音に対応する雰囲気音振幅スペクトログラムと、をそれぞれ取得する。そのために、ステップＳ６０５で取得した基底行列Hの各列を構成する基底スペクトル（またはアクティビティ行列Uの各行を構成するアクティビティベクトル）を、雑音のものと雰囲気音のものとにクラスタリングする。
【００６４】
例えば、基底行列Hの各列を構成するD個の基底スペクトルを、基底スペクトル間の相関に基づいて2群にクラスタリングし、雑音主要周波数帯域での大きさが大きい方の基底スペクトル群を雑音のものとする。そして、基底行列Hのうち、雑音に対応するDn個の基底スペクトル群で構成される、サイズ{F×Dn}の行列を雑音基底行列Hnとする。また、雰囲気音に対応する残りのDa（＝Ｄ−Ｄｎ）個の基底スペクトル群で構成される、サイズ{F×Da}の行列を雰囲気音基底行列Haとする。さらに、雑音に対応する基底スペクトル群の、基底行列HにおけるDn個の列番号と同じ行番号を用いて、アクティビティ行列UからDn個のアクティビティベクトル群を取り出し、サイズ{Dn×T}の雑音アクティビティ行列Unとする。また、アクティビティ行列Uのうち、雰囲気音に対応する残りのDa個のアクティビティベクトル群で構成される、サイズ{Da×T}の行列を雰囲気音アクティビティ行列Uaとする。
【００６５】
なお、除去対象とする雑音（例えば風雑音）の雑音基底行列Hnを、事前学習により教師として保持している場合は、前ステップの式（７）の収束計算で用いることでUn、Ha、Uaをそれぞれ得ることができる。
【００６６】
サイズ{F×Dn}の雑音基底行列Hnと、サイズ{Dn×T}の雑音アクティビティ行列Unを掛け合わせることで、サイズ{F×T}の雑音振幅スペクトログラム|Yn|が式（８）のように得られる。
【００６７】
【数８】
2015118284.tif 000010
【００６８】
同様に、サイズ{F×Da}の雰囲気音基底行列Haと、サイズ{Da×T}の雰囲気音アクティビティ行列Uaを掛け合わせることで、サイズ{F×T}の雰囲気音振幅スペクトログラム|Ya|が式（９）のように得られる。
【００６９】
【数９】
2015118284.tif 000011
【００７０】
ステップＳ６０７からステップＳ６０８は時間ブロックおよび周波数ごとの処理であり、時間ブロックループおよび周波数ループの中で行う。ステップＳ６０７では、信号解析処理部１０３は、ステップＳ６０６で取得した雑音を各マイク信号から周波数領域で減算することで、雑音が除去された雑音除去マイク信号のフーリエ係数Vi(f,t)（i=1,2）を取得する。雑音減算は、式（１０）で表されるようなスペクトル減算などにより行う。同式の|Yn(f,t)|は、雑音振幅スペクトログラム|Yn|の時間ブロックt、周波数ｆに対応する要素を表すものとする。
【００７１】
【数１０】
2015118284.tif 000012
【００７２】
ここで、雑音減算における減算係数は、雑音が除去されるような十分大きい減算係数βnを用いている。ステップＳ６０８で信号解析処理部１０３は、ステップＳ６０６で取得した雰囲気音を、ステップＳ６０７で取得した各雑音除去マイク信号から周波数領域で減算する。これにより、雰囲気音が調整された処理後マイク信号のフーリエ係数Xi(f,t)（i=1,2）を取得する。
【００７３】
雰囲気音減算は、式（１１）で表されるようなスペクトル減算などにより行う。同式の|Ya(f,t)|は、雰囲気音振幅スペクトログラム|Ya|の時間ブロックt、周波数ｆに対応する要素を表すものとする。
【００７４】
【数１１】
2015118284.tif 000013
【００７５】
ここで、式（１１）の雰囲気音減算における減算係数は、雰囲気音を残すようβｎより小さい減算係数βａ（＜βｎ）を用いている。さらに、第１の実施形態と同様に、βaの値を調整することで、雰囲気音の残し具合を任意に調整することができる。
【００７６】
即ち、本実施形態では、複数のマイクから収集した音響信号から、第１の周波数帯域を有する非方向性の音（雑音）の周波数成分と、該第１の周波数帯域よりも高い第２の周波数帯域を有する非方向性の音（雰囲気音）の周波数成分と、を取得する。そして、第１の周波数帯域を有する非方向性の音の周波数成分を強調させると共に、第２の周波数帯域を有する非方向性の音の周波数成分を、第１の周波数帯域を有する非方向性の音の周波数成分に対する強調の度合いよりも小さく強調させる。そして、音響信号の周波数成分から、第１の周波数帯域を有する非方向性の音の強調済みの周波数成分と、第２の周波数帯域を有する非方向性の音の強調済みの周波数成分と、を減じることで、音響信号の周波数成分を変換する。
【００７７】
なお、ステップＳ６０７における雑音減算とステップＳ６０８における雰囲気音減算とはこの順で実行することに限るものではなく、逆の順番で実行するようにしても構わない。
【００７８】
ステップＳ６０９では、信号解析処理部１０３は、ステップＳ６０８の後の周波数ループを抜けた時点で得られている、処理後マイク信号のＦ個のフーリエ係数を逆フーリエ変換し、現時間ブロックにおける処理後マイク信号を取得する。そして信号解析処理部１０３は、これを窓掛けして前時間ブロックまでの処理後マイク信号にオーバーラップ加算していき、得られる処理後マイク信号を記憶部１０２へ逐次記録する。
【００７９】
なお、上記実施形態においては、雑音は除去するものとして十分大きな減算係数βnを用いていたが、βaと同様にβnの値を調整することで、雑音の抑圧具合も任意に調整できることは言うまでもない。
【００８０】
なお、減算処理としてはスペクトル減算の他に、ウィナーフィルタといった時間ブロックおよび周波数ごとに強度を調整する任意の処理を用いることができる。なお、マイク信号の取得は必ずしも音源分離装置で行わなくてもよく、外部からデータ入出力部を介して、マルチチャンネルマイク信号および対応する各マイク素子の配置座標を取得するようにしてもよい。即ち、マルチチャンネルマイク信号および対応する各マイク素子の配置座標の取得方法については特定の取得方法に限るものではない。
【００８１】
このように、第１，２の実施形態によれば、方向性の目的音と非方向性の雑音に加えて、非方向性の雰囲気音が存在する場合に、雑音は除去しつつ、雰囲気音の残し具合を任意に調整することができる。
【００８２】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015118284.tif 000014
【図２】
2015118284.tif 000015
【図３】
2015118284.tif 000016
【図４】
2015118284.tif 000017
【図５】
2015118284.tif 000018
【図６】
2015118284.tif 000019