(57)【要約】【課題】品質が高い目的音を取得することができる音響処理装置、音響処理システム及び音響処理方法を提供する。【解決手段】音源分離部は複数チャネルの音響信号から複数の音源成分を推定し、雑音除去部は複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る。雑音除去部は、雑音除去信号に基づいて、複数の音源成分のうち前記第１の音源成分とは別個の第２の音源成分を参照して前記雑音成分を推定する雑音推定部を備える。【選択図】図１
2018036332.tif 000002
【特許請求の範囲】
【請求項１】
複数チャネルの音響信号から複数の音源成分を推定する音源分離部と、
前記複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る雑音除去部と、を備え、
前記雑音除去部は、
前記雑音除去信号に基づいて、前記複数の音源成分のうち前記第１の音源成分とは別個の第２の音源成分を参照して前記雑音成分を推定する雑音推定部を備える
音響処理装置。
【請求項２】
前記音源分離部が推定する音源成分のチャネル数は３以上であり、
前記雑音推定部は、
全ての前記第２の音源成分を加算して得られる加算信号を参照して前記雑音成分を推定する請求項１に記載の音響処理装置。
【請求項３】
前記音源分離部が推定する音源成分のチャネル数は３以上であり、
前記雑音推定部は、
前記雑音除去信号に基づいて、チャネル毎に前記第２の音源成分を参照してチャネル別雑音成分を推定し、
前記雑音除去部は、
前記チャネル別雑音成分をチャネル間で合成して前記雑音成分を得る
請求項１に記載の音響処理装置。
【請求項４】
前記第２の音源成分は、前記雑音成分の雑音源に最も近接するマイクロホンが収録した音響信号に対応している
請求項１から請求項３のいずれか一項に記載の音響処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の音響処理装置と、
前記複数チャネルの音響信号を収録するマイクロホンを備えるロボットと、を備える
音響処理システム。
【請求項６】
音響処理装置における音響処理方法であって、
複数チャネルの音響信号から複数の音源成分を推定する音源分離過程と、
前記複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る雑音除去過程と、を有し
前記雑音除去過程は、
前記雑音除去信号に基づいて、前記複数の音源成分のうち前記第１の音源成分とは別個の第２の音源成分を参照して前記雑音成分を推定する雑音推定過程を有する
音響処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理装置、音響処理システム及び音響処理方法に関する。
【背景技術】
【０００２】
近年、地震等の自然災害発生時に効率的に災害状況の調査を行うための遠隔操作可能なロボットの開発が推進されている。かかるロボットの一種として柔軟索状ロボットが開発されている。柔軟索状ロボットとは、例えば、非特許文献１に記載されているように柔軟で細長い構造を有する形状を有するロボットであり、従来の遠隔操作ロボットでは探索できない狭い空間における調査が可能である。柔軟索状ロボットの一利用例として、被災者探索が挙げられる。被災者探索では、ロボットの機体周囲に一定間隔で取り付けられたマイクロホンで被災者が発した音声を収集する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｈ．Ｎａｍａｒｉ，Ｋ．Ｗａｋａｎａ，Ｍ．Ｉｓｈｉｍｕｒａ，Ｍ．Ｋｏｎｙｏ，Ｓ．Ｔａｄｏｋｏｒｏ，“Ｔｕｂｅ−ｔｙｐｅ  ａｃｔｉｖｅ  ｓｃｏｐｅ  ｃａｍｅｒａ  ｗｉｔｈ  ｈｉｇｈ  ｍｏｂｉｌｉｔｙ  ａｎｄ  ｐｒａｃｔｉｃａｌ  ｆｕｎｃｔｉｏｎａｌｉｔｙ，”Ｐｒｏｃ．ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ（ＩＲＯＳ），ｐｐ．３６７９−３６８６，２０１２年１０月７日公開
【発明の概要】
【発明が解決しようとする課題】
【０００４】
柔軟索状ロボットは、機体周囲に巻かれた繊毛テープを振動モータによって振動させることによって前進するため、その動作により自己雑音が生じる。自己雑音として、例えば、振動モータの駆動音、繊毛と接地面との摩擦音、及びマイクロホン自体の振動音が生じる。
自己雑音は、エゴノイズ（ｅｇｏ−ｎｏｉｓｅ）とも呼ばれる。マイクロホンで収録される被災者の音声には、自己雑音が混入してしまい、目的とする被災者の音声を捉えることが困難になる。ひいては、被災者探索に支障が生じることがある。
【０００５】
本発明は上記の点に鑑みてなされたものであり、本発明の課題は、品質が高い目的音を取得することができる音響処理装置、音響処理システム及び音響処理方法を提供することである。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数チャネルの音響信号から複数の音源成分を推定する音源分離部と、前記複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る雑音除去部と、を備え、前記雑音除去部は、前記雑音除去信号に基づいて、前記複数の音源成分のうち前記第１の音源成分とは別個の第２の音源成分を参照して前記雑音成分を推定する雑音推定部を備える音響処理装置である。
【０００７】
（２）本発明の他の態様は、（１）の音響処理装置であって、前記音源分離部が推定する音源成分のチャネル数は３以上であり、前記雑音推定部は、全ての前記第２の音源成分を加算して得られる加算信号を参照して前記雑音成分を推定する。
【０００８】
（３）本発明の他の態様は、（１）の音響処理装置であって、前記音源分離部が推定する音源成分のチャネル数は３以上であり、前記雑音推定部は、前記雑音除去信号に基づいて、チャネル毎に前記第２の音源成分を参照してチャネル別雑音成分を推定し、前記雑音除去部は、前記チャネル別雑音成分をチャネル間で合成して前記雑音成分を得る。
【０００９】
（４）本発明の他の態様は、（１）から（３）のいずれかの音響処理装置であって、前記第２の音源成分は、前記雑音成分の雑音源に最も近接するマイクロホンが収録した音響信号に対応している。
【００１０】
（５）本発明の他の態様は、（１）から（４）のいずれかの音響処理装置と、前記複数チャネルの音響信号を収録するマイクロホンを備えるロボットと、を備える音響処理システムである。
【００１１】
（６）本発明の他の態様は、音響処理装置における音響処理方法であって、複数チャネルの音響信号から複数の音源成分を推定する音源分離過程と、前記複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る雑音除去過程と、を有し、前記雑音除去過程は、前記雑音除去信号に基づいて、前記複数の音源成分のうち前記第１の音源成分とは別個の第２の音源成分を参照して前記雑音成分を推定する雑音推定過程を有する音響処理方法である。
【発明の効果】
【００１２】
本発明によれば、品質が高い目的音を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る音響処理システムの構成例を示すブロック図である。
【図２】ブラインド音源分離の一例を示す説明図である。
【図３】雑音抑圧の一例を示す説明図である。
【図４】第１の実施形態に係るロボットの一例を示す図である。
【図５】第１の実施形態に係るロボットの移動を示す説明図である。
【図６】第１の実施形態に係る雑音抑圧によるＳＤＲ改善量の例を示す図である。
【図７】第２の実施形態に係る音響処理システムの構成例を示すブロック図である。
【図８】第２の実施形態に係る雑音抑圧によるＳＤＲ改善量の例を示す図である。
【図９】第３の実施形態に係る雑音抑圧によるＳＤＲ改善量の例を示す図である。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る音響処理システム１の構成例を示すブロック図である。
音響処理システム１は、ロボット１０及び音響処理装置２０を含んで構成される。
ロボット１０は、一辺の長さが他の辺の長さよりも長い細長い形状を有し、自体の動きによりその形状が変化する柔軟索状ロボットである。ロボット１０は、Ｋ個のマイクロホン１１−１〜１１−Ｋと、Ｋ−１個の振動モータ１２−１〜１２−（Ｋ−１）と、管材１３と、カメラ１４を含んで構成される。Ｋは、２以上の整数である。図１に示す例では、Ｋは８である。
【００１５】
マイクロホン１１−１〜１１−Ｋは、管材１３の長手方向に等間隔に配置される。マイクロホン１１−１〜１１−Ｋは、それぞれ到来した音を収録し、収録した音の波形を示す音響信号を生成する電気音響変換素子である。マイクロホン１１−１〜１１−Ｋは、生成した音響信号を音響処理装置２０にそれぞれ出力する。従って、マイクロホン１１−１〜１１−Ｋが収録したＫチャネルの音響信号が音響処理装置２０に伝送される。以下の説明では、Ｋ個のマイクロホンをマイクロホン１１と総称することがある。
【００１６】
振動モータ１２−１〜１２−（Ｋ−１）は、管材の長手方向に等間隔に配置される。個々の振動モータ１２−ｋ（ｋは、１からＫ−１までの整数）は、それぞれ隣接する２個のマイクロホン１１−ｋ、１１−（ｋ＋１）の間に配置される。この配置により、各マイクロホン１１には、最も近接した振動モータによる動作音が到来する。各マイクロホンが収録する音響信号には、到来した動作音（自己雑音）が主成分として含まれる。振動モータ１２−１〜１２−（Ｋ−１）は、それぞれの回転子を回転させることによりロボット１０の機体を振動させ、機体に接触した接地面との摩擦により機体を移動させる。なお、以下の説明では、Ｋ−１個の振動モータを振動モータ１２と総称することがある。
【００１７】
管材１３は、柔軟な絶縁体からなり断面が円形である。管材１３は、例えば、塩化ビニル樹脂からなるホースである。図４に示すように、管材１３の側面には、その全体が覆われるように繊毛テーブが巻かれている。繊毛テープの表面を覆う繊毛は振動モータ１２による振動によって接地面との摩擦を生じ、機体を移動させる。より具体的には、振動モータ１２は、回転子の回転と管材１３表面の繊毛の先端部と接地面Ｆｌとの摩擦により、接地面Ｆｌ内の一方向に繊毛を傾斜させる（図５、１３（１）−１３（２）参照）。繊毛は、その傾斜に対して生じた反発力によって傾斜方向とは逆方向に機体を移動させる。その移動に応じて繊毛の先端部が機体の移動方向に接地面Ｆｌに沿って引き寄せられる（図５、１３（２）−１３（３）参照）。この傾斜と反発が繰り返されることで機体が接地面Ｆｌ上を移動する。従って、振動モータ１２による振動を制御することにより、狭い空間、例えば、瓦礫に挟まれた空間への機体の進入、退出が可能になる。機体が移動するときには、振動モータ１２の駆動音、繊毛と接地面との摩擦音、マイクロホン１１の振動音などが生じる。また、機体の動作により管材１３の形状が随時変化する。そのため、Ｋ個のマイクロホン１１間の位置関係が変化する。なお、管材１３には、各種の導線が挿通される。挿通される導線には、例えば、マイクロホン１１からの音響信号を伝送する信号線、振動モータ１２を駆動させるための電力線、カメラ１４からの映像信号を伝送する信号線がある。
【００１８】
図１に戻り、カメラ１４は、管材１３の一端に配置される。カメラ１４は、その周囲の視野内の被写体を表す映像を撮像する。これにより、機体が侵入した空間を表す映像が取得される。
【００１９】
音響処理装置２０は、音源分離部２１と、音源選択部２２と、雑音除去部２３とを含んで構成される。
音源分離部２１には、マイクロホン１１−１〜１１−Ｋから伝送されるＫチャネルの音響信号が入力される。音源分離部２１は、入力されたＫチャネルの音響信号についてブラインド音源分離を行ってＫ個の音源成分を推定する。音源分離部２１は、推定したＫ個の音源成分を示す音源成分信号ｙ１，ｙ２，…、ｙＫをそれぞれ音源選択部２２に出力する。
【００２０】
ブラインド音源分離は、音源やマイクロホン１１の位置の情報を必要とせず、各音源から到来する音源成分を示す音源成分信号間の統計的独立性に基づいて、それぞれの音源成分を導出する手法である。但し、ブラインド音源分離は、各音源から各マイクロホン１１までの伝達関数が時不変であるとの仮定に基づく。音源分離部２１は、ブラインド音源分離として、例えば、独立ベクトル分析（ＩＶＡ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｖｅｃｔｏｒ  Ａｎａｌｙｓｉｓ）に基づく音源分離を実行する。ブラインド音源分離の具体例については、後述する。
【００２１】
音源選択部２２には、音源分離部２１からＫチャネルの音源成分信号ｙ１，ｙ２，…、ｙＫが入力される。音源選択部２２は、Ｋチャネルの音源成分信号ｙ１，ｙ２，…、ｙＫのいずれか１つのチャネルの音源成分信号を、主に音声成分を含む第１音源成分信号ｘとして選択する。選択された音源成分信号以外のＫ−１チャネルの音源成分信号は、主に雑音成分を含む第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１として選択される。音源選択部２２は、選択した第１音源成分信号ｘと第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１を、それぞれ雑音除去部２３に出力する。
【００２２】
音源選択部２２は、例えば、ユーザの操作に応じて生じた操作信号で指定されるチャネルの音源成分信号を、第１音源成分信号ｘとして選択する。そこで、音源選択部２２は、ユーザの操作を受け付け、選択された音源成分信号に基づく音を再生するためのユーザインタフェースを有してもよい。ユーザは、Ｋチャネルの音源成分信号のうち音声成分が最も多く含まれるチャネルの音源成分信号を選択することができる。残りのＫ−１チャネルの第２音源成分信号には、各振動モータ１２によるマイクロホン１１が収録した音響信号と最も相関が高い雑音成分がそれぞれ含まれる。言い換えれば、Ｋ−１チャネルの第２音源信号には、Ｋ−１個の雑音成分が主成分として含まれる。
【００２３】
また、音源選択部２２は、マイクロホン１１からのＫチャネルの音響信号のうち、最も信号レベルが高いチャネルの音響信号と相関が高い音源成分信号を第１音源成分信号ｘとして選択してもよい。その最も信号レベルが高いチャネルに係るマイクロホン１１からの音響信号が、Ｋチャネルの音響信号のうち、捜索対象者からの音声の成分が最も多い音響信号であると推定されるためである。相関の指標値として、例えば、相互相関係数が利用可能である。また、音源選択部２２は、Ｋチャネルの音源成分信号のそれぞれについて公知の音声区間検出（ＶＡＤ：Ｖｏｉｃｅ  Ａｃｔｉｖｉｔｙ  Ｄｅｔｅｃｔｉｏｎ）処理を行ってもよい。音源選択部２２は、音声区間の検出対象となるＫチャネルの音源成分信号のうち、検出された音声区間の割合が最も多いチャネルの音源成分信号を第１音源成分信号ｘとして選択してもよい。
【００２４】
雑音除去部２３は、加算部２３１と、雑音推定部２３２と、減算部２３３を含んで構成される。
加算部２３１には、音源選択部２２からＫ−１チャネルの第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１が入力される。加算部２３１は、Ｋ−１チャネルの第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１を加算して、その総和となる参照信号ｒを生成する。加算部２３１は、生成した参照信号ｒを雑音推定部２３２に出力する。
【００２５】
雑音推定部２３２は、加算部２３１から入力された参照信号ｒに、フィルタｈ（ハット）を畳み込み雑音成分信号ｎ（ハット）を推定する。ｈ（ハット）、ｎ（ハット）は、本来、ｈ、ｎのそれぞれの真上に記号＾を付加して表記される。この表記は、推定値であることを示す。以下の説明では、雑音成分信号ｎ（ハット）を推定雑音と呼ぶことがある。雑音推定部２３２は、生成した推定雑音ｎ（ハット）を減算部２３３に出力する。
雑音推定部２３２は、推定雑音ｎ（ハット）の生成と並行して、減算部２３３から入力される雑音除去信号ｘ−ｎ（ハット）のレベルが低くなるようにフィルタｈを推定する。雑音推定部２３２は、フィルタｈ（ハット）の推定において、例えば、正規化最小二乗平均（ＮＬＭＳ：Ｎｏｒｍａｌｉｚｅｄ  Ｌｅａｓｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）法を用いる。ＮＬＭＳ法は、雑音除去信号ｘ−ｎ（ハット）の大きさとして、その平均パワーを規範として用い、サンプル毎のフィルタ更新が可能な適応フィルタリング技術の一つである。
【００２６】
減算部２３３は、音源選択部２２から入力された第１音源成分信号ｘから、雑音推定部２３２から入力された推定雑音ｎ（ハット）を減算して雑音除去信号ｘ−ｎ（ハット）を生成する。減算部２３３は、生成した雑音除去信号ｘ−ｎ（ハット）を雑音除去部２３の外部と雑音推定部２３２に出力する。
【００２７】
上述したように、ブラインド音源分離では伝達関数の時不変性が仮定されている。そのため、伝達関数が常に変動する環境では、音源分離により得られる第１音源成分信号ｘに雑音成分が残留する。これに対して、雑音推定部２３２により推定されるフィルタ係数は時間の経過に応じてフィルタ係数は可変である。よって、音源とマイクロホン１１との位置関係の変化によって残留する残留雑音が除去され、音声成分が相対的に強調される。
【００２８】
（ブラインド音源分離）
次に、ブラインド音源分離の一例として、ＩＶＡに基づく音源分離について説明する。図２に示すように、各マイクロホン１１において、各音源からの伝達関数が作用した音源信号が混合し、混合した音が音響信号として観測される。混合モデルによれば、観測される音響信号ベクトルｘ（ω）は、式（１）に示すように、音源信号ベクトルｓ（ω）に混合行列Ａ（ω）を乗算して得られる。
【００２９】
【数１】
2018036332.tif 000003
【００３０】
式（１）において、ωは、周波数を示す。音響信号ベクトルｘ（ω）は、各マイクロホン１１−ｋ（ｋは、１以上Ｋ以下の整数）で収録された音響信号をフレーム毎に周波数分析を行って得られる周波数領域の変換係数ｘｋ（ω）を要素として有するベクトル［ｘ１（ω），ｘ２（ω），…，ｘＫ（ω）］ｔである。記号ｔは、ベクトルの転置を示す。以下の説明では、周波数領域の変換係数を変換前の信号と同一の名称で呼ぶことがある。例えば、周波数領域の変換係数ｘｋ（ω）を、単に音響信号ｘｋ（ω）と呼ぶことがある。音源信号ベクトルｓ（ω）は、各音源が発する音源信号ｓｋ（ω）を要素として有するベクトル［ｓ１（ω），ｓ２（ω），…，ｓＫ（ω）］ｔである。混合行列Ａ（ω）は、音源ｋからマイクロホン１１−ｌ（ｌは、１以上Ｋ以下の整数）までの伝達関数ａｋｌ（ω）を第ｋ行第ｌ列の要素値として有する行列である。
【００３１】
音源分離部２１は、図２に示すように各チャネルの音響信号に入力チャネル、出力チャネルに対して独立な分離係数を作用して得られた乗算値の入力チャネル間の総和を、音源成分信号として出力チャネル毎に求める。出力される推定音源信号ベクトルｙ（ω）は、式（２）に示すように、音響信号ベクトルｘ（ω）に分離行列Ｗ（ω）を乗算して得られる。
【００３２】
【数２】
2018036332.tif 000004
【００３３】
式（２）において、推定音源信号ベクトルｙ（ω）は、音源毎の音源成分信号の周波数領域における変換係数ｙｋ（ω）を要素として有するベクトル［ｙ１（ω），ｙ２（ω），…，ｙＫ（ω）］である。音源分離部２１は、各チャネルｋの変換係数ｙｋ（ω）に逆フーリエ変換を行うことで時間領域の推定音源信号ｙｋを算出することができる。分離行列Ｗ（ω）は、第ｋチャネルの音源成分信号ｙｋ（ω）を得るために、第ｌチャネルの音響信号ｘｌ（ω）に乗じる分離係数ｗｋｌ（ω）を第ｋ行、第ｌ列の要素として有する行列である。ＩＶＡに基づく音源分離は、以上に説明したモデル化に基づいて各音源が独立であるという仮定のもとで、音源成分信号ｙｋ（ω）間の独立性がより高くなるように分離行列Ｗ（ω）を算出する手法である。独立性の指標として、例えば、式（３）に示す目的関数Ｊ（Ｗ）が用いられる。目的関数Ｊ（Ｗ）は、その値が小さいほど独立性が高いことを示す関数であって、分離行列Ｗ（ω）に依存する関数である。
【００３４】
【数３】
2018036332.tif 000005
【００３５】
式（３）において、Ｅ［…］は、…の期待値を示す。Ｇ（ｙｋ）は、コントラスト関数を示す。コントラスト関数Ｇ（ｙｋ）は、−ｌｏｇ（ｐ（ｙｋ））である。ｐ（ｙｋ）は、音源成分信号ｙｋの出現確率の分布を示す確率密度関数である。例えば、音源信号の事前分布として球状ラプラス分布と仮定すると、Ｇ（ｙｋ）＝||ｙｋ||２となる。コントラスト関数Ｇ（ｙｋ）は、推定される音源成分間の関連が弱く独立性が高くなるほど小さい値をとる。ｄｅｔ…は、行列…の行列式を示す。即ち、ｌｏｇ｜ｄｅｔＷ（ω）｜は、周波数ωにおける分離行列Ｗ（ω）によるエントロピーを示す。−ｌｏｇ｜ｄｅｔＷ（ω）｜が小さいほど個々の音源成分が非ガウス的であることを示す。
【００３６】
音源分離部２１は、目的関数Ｊ（Ｗ）の値をより小さく（最小化）する分離行列Ｗ（ω）を算出する際、例えば、補助関数法を用いる。補助関数法において、後述する重み付き共分散行列の更新と、分離行列の更新とが繰り返される。繰り返し回数は、予め定められてもよい。繰り返し回数が定められていない場合には、各１回の分離行列の更新による分離行列又は目的関数Ｊ（Ｗ）の変化量が所定の閾値未満となるまで、重み付き共分散行列の更新と分離行列の更新とが繰り返されてもよい。
重み付き共分散行列の更新において、音源分離部２１は、分離行列Ｗ（ω）と音響信号ベクトルｘ（ω）を用いて、式（４）に示す音源アクティビティｒｋを算出する。
【００３７】
【数４】
2018036332.tif 000006
【００３８】
式（４）において、記号ｈは、エルミート転置を示す。ｗｋ（ω）は、分離行列Ｗ（ω）の第ｋ行の要素の分離係数からなる分離係数ベクトルを示す。Ｎωは、周波数ビンの数を示す。
音源分離部２１は、音源アクティビティｒｋ、コントラスト関数の分離係数ベクトルｗｋに対する導関数Ｇ’（ｒｋ）及び音響信号ベクトルｘ（ω）を用いて、式（５）に示す重み付き共分散行列Ｖｋを算出する。
【００３９】
【数５】
2018036332.tif 000007
【００４０】
分離行列の更新において、音源分離部２１は、式（６）に示すように重み付き共分散行列Ｖｋに分離行列Ｗ（ω）を乗じて得られる行列の逆行列（Ｗ（ω）Ｖｋ（ω））−１を乗じて得られるベクトルを分離係数ベクトルｗｋ（ω）として定める。
【００４１】
【数６】
2018036332.tif 000008
【００４２】
式（６）において、単位ベクトルｅｋは、第ｋ番目の要素値が１であり、その他の要素値が０である単位ベクトルである。
そして、音源分離部２１は、分離係数ベクトルｗｋ（ω）と重み付き共分散行列Ｖｋを用いて、式（７）に示すように分離係数ベクトルｗｋ（ω）を更新する。
【００４３】
【数７】
2018036332.tif 000009
【００４４】
（雑音除去）
次に、雑音推定部２３２による雑音除去の一例について説明する。図３に示すように、雑音を除去するためには、主に音源からの音源成分を収録する音源マイクロホンと、雑音源からの雑音成分を収録する参照マイクロホンを用いる。音源マイクロホンには、音源からの音源成分と雑音源からの雑音成分が到来する。そのため、音源マイクロホンにより得られる時刻ｔにおける入力信号ｘ（ｔ）は、音源成分ｓ（ｔ）に雑音源から到来する雑音成分ｎ（ｔ）が重畳した信号となる。式（８）に示すように、入力信号ｘ（ｔ）は、音源成分ｓ（ｔ）と雑音成分ｎ（ｔ）との和となる。
【００４５】
【数８】
2018036332.tif 000010
【００４６】
他方、参照マイクロホンは、雑音源に十分に近接して配置させておくことで、雑音源からの参照信号ｒ（ｔ）を収録することができる。雑音成分ｎ（ｔ）は、参照信号ｒ（ｔ）と同様に雑音源に由来するので、参照信号ｒ（ｔ）と高い相関を有すると考えられる。そこで、雑音成分ｎ（ｔ）は、式（９）に示すように、参照信号ｒ（ｔ）のインパルス応答ｈ（ｔ）との線形畳み込みに近似するものと仮定する。
【００４７】
【数９】
2018036332.tif 000011
【００４８】
式（９）において、参照信号ｒ（ｔ）は、現時刻ｔから過去Ｎサンプル前の時刻ｔ−Ｎまでの参照信号の信号値を要素とするベクトル［ｒ（ｔ），ｒ（ｔ−１），…，ｒ（ｔ−Ｎ）］ｔである。インパルス応答ｈ（ｔ）は、第０サンプルから第Ｎサンプルの係数を要素とするベクトル［ｈ（０），ｈ（１），…，ｈ（Ｎ）］ｔである。そして、入力信号ｘ（ｔ）から雑音推定部２３２において推定された推定雑音ｎ（ハット）（ｔ）を差し引いて出力信号ｙ（ｔ）が得られる。以上のモデル化に基づいて、雑音推定部２３２が、フィルタ係数としてインパルス応答ｈ（ｔ）（ハット）を求め、参照信号ｒ（ｔ）に求めたインパルス応答ｈ（ｔ）（ハット）を畳み込んで推定雑音ｎ（ｔ）（ハット）を推定する。これにより、出力信号ｙ（ｔ）として入力信号（ｔ）から雑音成分ｎ（ｔ）が抑圧された音源成分ｓ（ｔ）が得られる。即ち、雑音推定部２３２と減算部２３３は、ノイズキャンセラとして作用する。
【００４９】
ここで、雑音推定部２３２は、出力信号ｙ（ｔ）のレベルを示す二次の統計量として、例えば、平均二乗値（平均二乗誤差）を減少（最小化）するようにフィルタ係数ｈ（ハット）（ｔ）を推定する。よって、入力信号ｘ（ｔ）から参照信号ｒ（ｔ）と高い相関を有する雑音成分ｎ（ｔ）が抑圧される。ＮＬＭＳ法によれば、式（１０）に示すように現時刻ｔのフィルタ係数ｈ（ハット）（ｔ）に基づいて次時刻ｔ＋１のフィルタ係数ｈ（ハット）（ｔ＋１）が逐次に更新される。
【００５０】
【数１０】
2018036332.tif 000012
【００５１】
式（１０）において、μは、ステップサイズを示す。μは、０から１の間の実数である。
本実施形態に係る音響処理装置２０では、雑音推定部２３２は、音源分離部２１によって得られた第１音源成分信号ｘが、図３に示す入力信号ｘ（ｔ）として適用され、第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１を合成して得られた参照信号ｒが、図３に示す参照信号ｒ（ｔ）として適用される。そのため、減算部２３３から出力される雑音除去信号ｘ−ｎ（ハット）は、第１音声成分信号から、その第１音声成分信号に含まれる参照信号ｒと相関を有する雑音成分が除去された音声成分となる。
【００５２】
（評価実験）
次に、本実施形態に係る音響処理装置２０について行った評価実験について説明する。評価実験では、雑音と音声とを混合した８チャネルの音響信号を音源分離部２１に供給した。ここで、雑音に対する音声のレベル比（入力ＳＮＲ）を調節することで雑音による影響と、雑音除去部２３による雑音抑圧の有無による影響を考察した。調節した入力ＳＮ比は、−１０ｄＢ、−５ｄＢ、０ｄＢの３通りである。一度に提示する音声のデータ長は５秒である。５秒のうち３秒の音声区間が含まれる。
【００５３】
雑音として、８個のマイクロホン１１−１〜１１−８と７個の振動モータを備える全長３ｍの柔軟索状ロボット１０を動作させて収録した動作音を用いた。音声として、話者位置から８個のマイクロホン１１−１〜１１−８のそれぞれまでのインパルス応答を、ドライソースの音声と畳み込んで得られた音を用いた。その他の条件として、音響信号のサンプリング周波数、分離行列の算出における反復回数、分析フレーム長、分析フレームシフト幅、フィルタ長、ステップサイズは、それぞれ１６ｋＨｚ、１００回、１０２４サンプル、２５６サンプル、１６０タップ、０．１である。反復回数は、分離行列Ｗ（ω）を更新する際の反復回数である。分析フレーム長、分析フレームシフト幅は、それぞれ入力された音響信号を一度に周波数分析を行う際の分析フレームの長さ、次に周波数分析を行う分析フレームまでの移動量である。フィルタ長は、雑音推定部２３２を構成する線形フィルタを構成する係数の数である。
【００５４】
評価尺度として、信号対歪比（ＳＤＲ：Ｓｉｇｎａｌ−ｔｏ−Ｄｉｓｔｏｒｔｉｏｎ  Ｒａｔｉｏ）改善量を用いた。ＳＤＲ改善量は、元の音声信号に対する雑音抑圧後の雑音除去信号に対するＳＤＲから、元の音声信号に対する入力された音響信号に対するＳＤＲの差分となる。ＳＤＲ改善量は、その値が大きいほど雑音抑圧性能が高いことを示す。
【００５５】
図６は、実験により得られたＳＤＲ改善量の例を示す図である。縦軸は、ＳＤＲ改善量を示し、横軸は、３通りの入力ＳＮＲと２通りの処理方式の組を示す。方式（Ａ）は、ＩＶＡに基づく音源分離（雑音抑圧を行わない）、方式（Ｂ）は、本実施形態のようにＩＶＡに基づく音源分離と雑音抑圧、を示す。図６は、雑音抑圧を行うことによりＳＤＲ改善量が改善することを示す。例えば、入力ＳＮＲが−１０ｄＢであるとき、方式（Ａ）ではＳＤＲ改善量は７ｄＢであるのに対し、方式（Ｂ）ではＳＤＲ改善量は１２．７ｄＢとなった。入力ＳＮＲが０ｄＢであるとき、方式（Ａ）ではＳＤＲ改善量は６．３ｄＢであるのに対し、方式（Ｂ）ではＳＤＲ改善量は７．３ｄＢとなった。ＳＮＲが低くなるほど、方式（Ｂ）によるＳＤＲ改善量が大きくなる傾向がある。この結果は、特に雑音成分が優勢な環境において有効であることを示す。他方、方式（Ａ）によれば、入力ＳＮＲによらずＳＤＲ改善量はほぼ一定である。これは、参照信号に含まれる音声成分の一部が不要成分として抑圧されることが一因として推定される。もっとも、入力ＳＮＲが高い音声成分が優勢な環境では、雑音抑圧の必要性が低くなるので、本実施形態の有用性は妨げられない。
【００５６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して、その説明を援用する。
図７は、本実施形態に係る音響処理システム１の構成例を示すブロック図である。
音響処理システム１は、ロボット１０と音響処理装置２０を含んで構成される。
音響処理装置２０は、音源分離部２１、音源選択部２２及び雑音除去部２３を含んで構成される。本実施形態に係る雑音除去部２３は、Ｋ−１個の雑音推定部２３２−１〜２３２−（Ｋ−１）と減算部２３３を含んで構成される。本実施形態では、加算部２３１（図１）は、省略されてもよい。
【００５７】
雑音推定部２３２−ｋ（ｋは、１以上Ｋ−１以下の整数）は、それぞれ第１の実施形態に係る雑音推定部２３２と同様な構成を備える。但し、本実施形態では、雑音推定部２３２−ｋは、加算部２３１から入力された参照信号として第ｋチャネルの第２音源成分信号ｒｋを畳み込み、第ｋチャネルの推定雑音ｎｋ（ハット）を生成する。雑音推定部２３２−ｋは、生成した第ｋチャネルの推定雑音ｎｋ（ハット）を減算部２３３に出力する。雑音推定部２３２−ｋは、第ｋチャネルの推定雑音ｎｋ（ハット）の推定と並行して、雑音除去信号ｘ−ｎ（ハット）のレベルが低くなるように第ｋフィルタｈｋ（ハット）を推定する。
【００５８】
減算部２３３は、音源選択部２２から入力された第１音源成分信号ｘから、雑音推定部２３２−１〜２３２−（Ｋ−１）からの第１〜第Ｋ−１チャネルの推定雑音ｎ１（ハット），ｎ２（ハット），…，ｎＫ−１（ハット）をいずれも減算して雑音除去信号ｘ−ｎ（ハット）を生成する。この過程は、第１〜第Ｋ−１チャネルの推定雑音ｎ１（ハット），ｎ２（ハット），…，ｎＫ−１（ハット）を合成して得られる推定雑音ｎ（ハット）が第１音源成分信号ｘから減算する過程に相当する。減算部２３３は、生成した雑音除去信号ｘ−ｎ（ハット）を雑音除去部２３の外部と雑音推定部２３２に出力する。
【００５９】
なお、第１の実施形態によれば、雑音除去部２３は、第１音源成分信号に含まれる雑音成分のうち、Ｋ−１チャネルの第２音源成分信号ｒ１，ｒ２，…，ｒＫ−１を合成して得られる参照信号ｒと相関を有する成分を推定雑音ｎ（ハット）として推定する。そのため、各チャネルｋの第２音源成分信号ｒｋの推定雑音ｎ（ハット）に対する寄与がチャネル間で共通であり、そのタイミングも同時である。しかしながら、第１音源成分信号には、複数の独立な雑音成分が異なる割合ならびにタイミングで混入されうる。
【００６０】
これに対し、本実施形態によれば、雑音推定部２３２−ｋは、第１音源成分信号ｘに含まれる雑音成分のうち参照信号として第ｋチャネルの第２音源成分信号ｒｋと相関を有する成分が第ｋチャネルの推定雑音ｎｋ（ハット）として推定される。第ｋチャネルの推定雑音ｎｋ（ハット）を推定する過程において、第ｋチャネルの第２音源成分信号ｒｋに第ｋフィルタｈｋ（ハット）が畳み込まれる。雑音成分のうち各チャネルｋの第２音源成分信号ｒｋの寄与の度合いとタイミングの差異を考慮して第ｋフィルタｈｋ（ハット）が推定されるので、第１の実施形態よりも雑音成分が高い精度で推定される。
【００６１】
（評価実験）
次に、本実施形態に係る音響処理装置２０について行った評価実験について説明する。実験結果として、３通りの処理方式（Ａ）〜（Ｃ）間で得られたＳＤＲ改善量を考察する。方式（Ａ）は、ＩＶＡに基づく音源分離（雑音抑圧を行わない）、方式（Ｂ）は、ＩＶＡに基づく音源分離と第１の実施形態に係る雑音抑圧、方式（Ｃ）は、ＩＶＡに基づく音源分離と本実施形態に係る雑音抑圧である。実験条件は、処理方式以外には、第１の実施形態で説明した条件と同様である。
【００６２】
図８は、実験により得られたＳＤＲ改善量の例を示す図である。縦軸は、ＳＤＲ改善量を示し、横軸は、３通りの入力ＳＮＲと３通りの処理方式の組を示す。図８は、本実施形態に係る雑音抑圧を行うことによりＳＤＲ改善量がさらに改善することを示す。例えば、入力ＳＮＲが−１０ｄＢであるとき、方式（Ａ）ではＳＤＲ改善量は７ｄＢ、方式（Ｂ）では１２．７ｄＢであるのに対し、方式（Ｃ）では１４．２ｄＢとなった。入力ＳＮＲが０ｄＢであるとき、方式（Ａ）ではＳＤＲ改善量は６．３ｄＢ、方式（Ｂ）では７．３ｄＢであるのに対し、方式（Ｃ）では８．３ｄＢとなった。ＳＮＲが低くなるほど、方式（Ｃ）のＳＤＲ改善量が大きくなる傾向がある。この結果は、方式（Ｂ）よりも雑音成分が優勢な環境において雑音成分がさらに有効に抑圧されることを示す。但し、ＳＮＲが高くなるほど、方式（Ｃ）のＳＤＲ改善量が方式（Ａ）のＳＤＲ改善量に近似する傾向がある点は、方式（Ｂ）と同様である。
【００６３】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して、その説明を援用する。
本実施形態に係る音響処理システム１において、音響処理装置２０が備える音源分離部２１は、マイクロホン１１−１〜１１−ＫからのＫチャネルの音響信号についてブラインド音源分離を行う際、独立低ランク行列分析（ＩＲＬＭＡ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｌｏｗ−Ｒａｎｋ  Ｍａｔｒｉｘ  Ａｎａｌｙｓｉｓ）に基づく方式を用いる。その他の構成については、第１の実施形態と同様であるため、図示を省略する。
【００６４】
ＩＲＬＭＡは、ランク１空間モデルを用いた多チャネル非負値行列因子分解（ＭＮＭＦ：Ｍｕｌｔｉｃｈａｎｎｅｌ  Ｎｏｎ−ｎｅｇａｔｉｖｅ  Ｍａｔｒｉｘ  Ｆａｃｔｏｒｉｚａｔｉｏｎ）に相当する。音源分離部２１は、次に説明する処理を行うことよって周波数毎に分離行列Ｗｉを算出する。ｉは、周波数を示すインデックスである。
【００６５】
音源分離部２１は、入力された各チャネルの音響信号についてフレーム毎に周波数分析を行って周波数領域の変換係数をチャネル間で集積して音響信号ベクトルｘｉｊを生成する。ｊは、フレームを示すインデックスである。音響信号ベクトルｘｉｊは、各チャネルの変換係数を要素値として有するベクトル［ｘｉｊ，１，…，ｘｉｊ，Ｋ］ｔである。
音源分離部２１は、式（１１）に示すように音響信号ベクトルｘｉｊのエルミート共役ｘｉｊｈに音響信号ベクトルｘｉｊを乗算して相関行列（ｃｏｒｒｅｌａｔｉｏｎ  ｍａｔｒｉｘ）Ｘｉｊを算出する。
【００６６】
【数１１】
2018036332.tif 000013
【００６７】
相関行列Ｘｉｊは、行に対応するチャネルの音響信号の変換係数と列に対応するチャネルの音響信号の変換係数との相関を要素値として有する行列である。従って、相関行列Ｘｉｊの対角要素は、各チャネルの音響信号のパワーを示す実数値となり、非対角要素は、チャネル間の変換係数の相互相関を示す複素値となる。ＭＮＭＦの前提とする分解モデルでは、式（１２）に示すように相関行列Ｘｉｊを、音源ｋ毎の空間共分散行列Ｈｉｋと、基底行列Ｔｋならびに活性化行列Ｖｋとの積行列の各要素の積の音源ｋ間の総和をＸｉｊ（ハット）と近似することが仮定されている。
【００６８】
【数１２】
2018036332.tif 000014
【００６９】
式（１２）において、ｔｉｌ，ｋは、基底行列Ｔｋの第ｉ行ｌ列の要素値を示す。ｖｌｊ，ｋは、活性化行列（アクティベーション）Ｖｋの第ｌ行第ｊ列の要素値を示す。基底行列Ｔｋ、活性化行列Ｖｋは、それぞれ全ての要素値が正又は０の実数値であって、負値をとらない非負値行列である。空間共分散行列Ｈｉｋは、音源ｋのステアリングベクトルａｉ，ｋの外積ａｉ，ｋａｉ，ｋＨとして表されるＫ行Ｋ列の行列である。ステアリングベクトルａｉ，ｋは、音源ｋから各マイクロホンまでの伝達関数を要素値として有するＫ次元のベクトルである。
【００７０】
ＩＬＲＭＡでは、空間共分散行列Ｈｉｋをランク１の行列とする空間制約条件が導入される。言い換えれば、観測される相関行列Ｘｉｊにおける各マイクロホンまでの伝達関数の音源間の独立性が空間制約条件として課される。そこで、音源分離部２１は、式（１３）に示すコスト関数Ｑで与えられる値を小さく（最小化）するように分離行列Ｗｉを算出する。
【００７１】
【数１３】
2018036332.tif 000015
【００７２】
式（１３）に示すコスト関数Ｑは、分離行列Ｗｉとその近似値Ｗｉ（ハット）との間の板倉齋藤距離と等価である。なお、ｙｉｊ，ｋは、推定音源ベクトルｙｉｊ，ｋ（後述）の第ｋ要素値を示す。
【００７３】
そこで、音源分離部２１は、次に説明するステップ（ｉ）〜（ｖ）の処理を繰り返す。ステップ（ｉ）〜（ｖ）の処理の繰り返し回数は、予め定められてもよい。繰り返し回数が定められていない場合には、各１回のステップ（ｉ）〜（ｖ）の処理による分離行列Ｗｉの変化量又はコスト関数Ｑの変化量が所定の変化量の閾値以下になるまで、ステップ（ｉ）〜（ｖ）の処理が繰り返されてもよい。
【００７４】
ステップ（ｉ）：  要素値ｙｉｊ，ｋ、ｔｉｌ，ｋ、ｖｌｊ，ｋを用いて式（１４）の右辺により算出される値を、新たな要素値ｔｉｌ，ｋとしてｉ、ｋ及びｌ毎に定める。
【００７５】
【数１４】
2018036332.tif 000016
【００７６】
ステップ（ｉｉ）：  要素値ｙｉｊ，ｋ、ｔｉｌ，ｋ、ｖｌｊ，ｋを用いて式（１５）の右辺により算出される値を、新たな要素値ｖｌｊ，ｋとしてｉ、ｋ及びｌ毎に定める。
【００７７】
【数１５】
2018036332.tif 000017
【００７８】
ステップ（ｉｉｉ）：  式（１６）に示すように、第ｉ行第ｌ列の要素値ｔｉｌ，ｋと第ｌ行第ｊ列の要素値ｖｌｊ，ｋの積のｌに関する総和を時空間モデル値ｒｉｊ，ｋとしてｉ、ｊ及びｌ毎に定める。
【００７９】
【数１６】
2018036332.tif 000018
【００８０】
ステップ（ｉｖ）：  式（１７）に示すように、音響信号ベクトルｘｉｊの外積ｘｉｊｘｉｊｈに時空間モデル値ｒｉｊ，ｋを除算することにより正規化して得られる行列の時間平均を行列Ｖｉ，ｋとしてｉ及びｋ毎に算出する。
【００８１】
【数１７】
2018036332.tif 000019
【００８２】
式（１７）において、Ｊは、時間平均に係るフレーム数を示す。
ステップ（ｖ）：  第ｋ要素が１である単位ベクトルｅｋに、行列Ｖｉ，ｋと分離行列Ｗｉとの積に対する逆行列（ＷｉＶｉ，ｋ）−１を乗じて、新たな分離行列Ｗｉの第ｋ列の要素値からなる第ｋ要素ベクトルｗｉ，ｋを列毎に算出する。
【００８３】
【数１８】
2018036332.tif 000020
【００８４】
算出した第ｋ要素ベクトルｗｉ，ｋを列間で結合して新たな分離行列Ｗｉを生成する。そして、式（１９）に示すように音響信号ベクトルｘｉｊに算出した分離行列Ｗｉを乗じて推定音源信号ベクトルｙｉｊを算出する。
【００８５】
【数１９】
2018036332.tif 000021
【００８６】
ステップ（ｉ）〜（ｖ）の処理を繰り返した後、音源分離部２１は、推定音源信号ベクトルｙｉｊを周波数間で集積して得られる要素毎の変換係数について逆フーリエ変換を行うことにより推定音源信号ｙｋを求める。
【００８７】
（評価実験）
次に、本実施形態に係る音響処理装置２０についての評価実験について説明する。実験結果として、４通りの処理方式（Ａ）、（Ｂ）、（Ｄ）、（Ｅ）間でＳＤＲ改善量を考察する。方式（Ａ）は、ＩＶＡに基づく音源分離（雑音抑圧を行わない）、方式（Ｂ）は、ＩＶＡに基づく音源分離に第１の実施形態に係る雑音抑圧を適用した方式、方式（Ｄ）は、ＩＲＬＭＡに基づく音源分離（雑音抑圧を行わない）、方式（Ｂ）は、ＩＶＡに基づく音源分離に第１の実施形態に係る雑音抑圧を適用した方式である。ＩＲＬＭＡに基づく音源分離に係る基底行列の数、分離行列Ｗｉの算出に係る反復回数をそれぞれ１５、２００とした。雑音推定部におけるフィルタ係数のフィルタ長を１６００とした。また、入力ＳＮＲを−１０ｄＢ、−５ｄＢの２通りとした。その他の実験条件は、第１の実施形態で説明した条件と同様である。
【００８８】
図９は、実験により得られたＳＤＲ改善量の例を示す図である。縦軸は、ＳＤＲ改善量を示し、横軸は、２通りの入力ＳＮＲと４通りの処理方式の組を示す。方式（Ａ）、（Ｄ）間、方式（Ｂ）、（Ｅ）間でそれぞれＳＤＲ改善量を比較すると、ＩＶＡに基づく音源分離よりもＩＲＬＭＡに基づく音源分離の方が、ＳＤＲ改善量が大きくなる。また、方式（Ａ）、（Ｂ）間、方式（Ｄ）、（Ｅ）間でそれぞれＳＤＲ改善量を比較すると、ＩＶＡに基づく音源分離でも、ＩＲＬＭＡに基づく音源分離でも雑音抑圧によりＳＤＲ改善量が大きくなる。例えば、入力ＳＮＲが−１０ｄＢであるとき、方式（Ａ）ではＳＤＲ改善量は７ｄＢ、方式（Ｄ）では８．７ｄＢであるのに対し、方式（Ｂ）では１２．５ｄＢ、方式（Ｅ）では１３．２ｄＢとなった。また、雑音抑圧を伴わない方式（Ｄ）では、入力ＳＮＲが高くなってもＳＤＲ改善量が有意に変化せず、むしろＳＤＲ改善量が大きくなる傾向が認められる。これに対し、雑音抑圧を伴う方式（Ｅ）によれば、入力ＳＮＲが高くなるほど低くなる傾向が認められる。例えば、方式（Ｄ）では、入力ＳＮＲが−１０ｄＢであるときＳＤＲ改善量は８．７ｄＢとなり、入力ＳＮＲが−５ｄＢであるときＳＤＲ改善量は９．１ｄＢとなる。方式（Ｅ）では、入力ＳＮＲが−１０ｄＢであるときＳＤＲ改善量は１３．２ｄＢとなり、入力ＳＮＲが−５ｄＢであるときＳＤＲ改善量は１１．７ｄＢとなる。ＳＮＲが高くなるほど、方式（Ｅ）のＳＤＲ改善量が低下する傾向がある点は、方式（Ｂ）と同様である。
【００８９】
従って、図９に示す実験結果は、本実施形態に係る音源分離部２１は、ＩＲＬＭＡに基づく音源分離を実行することで、ＩＶＡに基づく音源分離よりも高い精度で音源成分を推定することができることを示す。また、この実験結果は、雑音除去部２３から出力される雑音抑圧信号に含まれる雑音成分がさらに少なくなり、目的音としてより高い品質の音声成分が得られることを示す。
【００９０】
以上に説明したように、上述した実施形態に係る音響処理装置２０は、複数チャネルの音響信号から複数の音源成分を推定する音源分離部２１と、複数の音源成分のうち第１の音源成分から雑音成分を除去して雑音除去信号を得る雑音除去部２３を備える。雑音除去部２３は、雑音除去信号に基づいて、複数の音源成分のうち第１の音源成分とは別個の第２の音源成分を参照して第１の音源成分に含まれる雑音成分を推定する雑音推定部２３２を備える。
この構成により、複数チャネルの音響信号から推定された第１の音源成分のうち、第２の音源成分と相関を有する成分が雑音成分として推定される。雑音除去信号として、第１の音源成分に混入された雑音成分が除去された信号が得られるので、音声などの目的音に混入した雑音が抑圧される。そのため、品質が高い目的音が得られる。
【００９１】
また、第１の実施形態及び第３の実施形態に係る音源分離部２１が推定する音源成分のチャネル数は３以上であり、雑音推定部２３２は、全てのチャネルの第２の音源成分を加算して得られる加算信号を参照信号として参照して雑音成分を推定する。
この構成により、雑音成分の推定において分離された全てのチャネルの第２の音源成分を合成して得られる参照信号が参照されるので、第１の音源成分のうち参照信号と相関を有する成分が雑音成分として推定される。従って、雑音成分の推定において一部のチャネルの第２の音源成分だけが参照される場合よりも、雑音成分の推定精度が高くなる。そのため、目的音に混入した雑音がさらに抑圧される。
【００９２】
また、第２の実施形態に係る音源分離部２１が推定する音源成分のチャネル数は３以上であり、雑音推定部２３２は、雑音除去信号に基づいて、チャネル毎に第２の音源成分を参照してチャネル別雑音成分を推定する。雑音除去部２３は、チャネル別雑音成分をチャネル間で合成して雑音成分を得る。
この構成により、各チャネルの第２の音源成分を参照して、第１の音源成分のうち各チャネルの第２の音源成分と相関を有する成分がチャネル別雑音成分としてチャネル間で独立に推定される。そのため、第１の音源成分のうち第２の音源成分と相関を有する成分の割合とタイミングのチャネル間の差異を考慮して雑音成分が求められる。従って、雑音成分の推定において全てのチャネルの第２の音源成分を加算して得られる加算信号を参照する場合よりも、雑音成分の推定精度が高くなる。
【００９３】
また、上述した実施形態において、第２の音源成分は、雑音成分の雑音源に最も近接するマイクロホンが収録した音響信号に対応している。
この構成により、第２の音源成分において雑音成分が主となる。そのため、雑音推定部２３２において第１の音源成分のうち第２の音源成分と相関を有する成分として、第１の音源成分に含まれる雑音成分を精度よく推定することができる。
【００９４】
また、上述した実施形態に係る音響処理システム１は、上述した音響処理装置２０と複数チャネルの音響信号を収録するマイクロホンを備えるロボット１０とを備える。
この構成により、ロボットに備わるマイクロホンに到来した音が音響信号として取得される。そのため、取得した音響信号から推定された第２の音源成分として、ロボットの動作により生じた自己雑音が雑音成分として推定される。推定された第１の音源成分から自己雑音が除去された雑音除去信号が得られるので、ロボットの動作に関わらず品質が高い目的音が得られる。従って、人間が活動できない空間などにおいてロボットを進入することで取得した音による探索が促進される。
【００９５】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００９６】
例えば、音源分離部２１に入力される音響信号のチャネル数Ｋは、８には限られない。Ｋは、２以上の整数であればよい。但し、Ｋが２である場合には、音源分離により得られる第２音源成分信号のチャネル数が１となる。その場合には、第１の実施形態に係る雑音除去部２３において加算部２３１が省略可能である。
また、振動モータ１２の数は、Ｋ−１には限られない。振動モータ１２の数は、１以上であってＫ−１以下であればよい。
【００９７】
ロボット１０は、柔軟索状ロボットに限られず、他の形態を有するロボット、例えば、人型ロボットであってもよい。また、Ｋ個のマイクロホン１１が備わる物体は、ロボットに限られない。かかる物体は、例えば、ドローン、模型自動車、内視鏡などであってもよい。Ｋ個のマイクロホン１１が収録したＫチャネルの音響信号の音響処理装置２０への伝送は、有線でも無線でもよい。
【００９８】
各実施形態において音源分離部２１が実行するブラインド音源分離は、ＩＶＡに基づく音源分離又はＩＲＬＭＡに基づく音源分離に限られない。当該ブラインド音源分離は、音響信号を収録するマイクロホンの位置に依存せず、各音源成分を推定できる手法であればよい。例えば、音源分離部２１は、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）に基づく音源分離を実行してもよい。
【００９９】
各実施形態における雑音推定部２３２が実行するフィルタ推定処理は、ＮＬＭＳ法に限られない。当該フィルタ推定処理は、逐次に雑音除去信号に含まれる参照信号との相関を有する成分を少なくすることができる処理である。例えば、雑音推定部２３２は、最小二乗平均（ＬＭＳ：Ｌｅａｓｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）法、逐次最小二乗法（ＲＬＳ：Ｒｅｃｕｒｓｉｖｅ  Ｌｅａｓｔ  Ｓｑｕａｒｅ）法、などを用いることができる。
【０１００】
また、音源分離およびフィルタ推定処理は、時間領域における処理、周波数領域における処理であってもよい。また、これらの処理は、全周波数帯域一括の処理に限られず、サブバンド処理であってもよい。サブバンド処理とは、所定の複数の周波数帯域（サブバンド）のそれぞれについて独立な処理である。
【０１０１】
なお、上述した実施形態及び変形例における音響処理装置２０の一部、例えば、音源分離部２１、音源選択部２２及び雑音除去部２３の全部又は一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置２０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１０２】
また、上述した実施形態及び変形例における音響処理装置２０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音響処理装置２０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【０１０３】
１…音響処理システム、１０…ロボット、１１（１１−１〜１１−８）…マイクロホン、１２（１２−１〜１２−７）…振動モータ、１３…管材、１４…カメラ、２０…音響処理装置、２１…音源分離部、２２…音源選択部、２３…雑音除去部、２３１…加算部、２３２（２３２−１〜２３２−７）…雑音推定部、２３３…減算部
【図１】
2018036332.tif 000022
【図２】
2018036332.tif 000023
【図３】
2018036332.tif 000024
【図４】
2018036332.tif 000025
【図５】
2018036332.tif 000026
【図６】
2018036332.tif 000027
【図７】
2018036332.tif 000028
【図８】
2018036332.tif 000029
【図９】
2018036332.tif 000030