(57)【要約】【課題】  放音音がある状況においても、放音音の音種によらず、意図した音源からの目的音を良好に抽出できる集音・放音装置を提供する。【解決手段】  集音・放音装置は、１又は複数のスピーカから放音すると共に、２本のマイクロホンが周囲音を捕捉するものである。スピーカから放音されて各マイクロホンで捕捉された放音非目的音を除去する、音響エコーキャンセラ構成を流用した放音非目的音除去手段と、その出力から目的音を抽出する音源分離手段とを有する。音源分離手段においては、放音非目的音を除去された入力音信号から音源分離のためのパラメータを生成し、それを、放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて修正して音源分離に用いる。【選択図】      図１
2015070291.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置において、
上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、
上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、
上記音源分離手段は、
上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、
上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、
上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、
修正されたパラメータを適用して音源分離を行う音源分離部とを有し、
放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出する
ことを特徴とする集音・放音装置。
【請求項２】
上記音源分離手段は、コヒーレンスフィルタ法に従って音源分離するものであり、上記パラメータが抑圧係数であることを特徴とする請求項１に記載の集音・放音装置。
【請求項３】
上記パラメータ修正部は、第２のパラメータである第２のコヒーレンスフィルタ係数に１．０以下の正の修正値を乗算したうえで、第１のパラメータである第１のコヒーレンスフィルタ係数から減算することで、最終的なパラメータである抑圧係数を算出することを特徴とする請求項２に記載の集音・放音装置。
【請求項４】
上記パラメータ修正部は、算出した抑圧係数にフロアリング処理を施すことを特徴とする請求項３に記載の集音・放音装置。
【請求項５】
上記音源分離手段は、上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、放音非目的音の音種を判定する音種判定部をさらに備え、上記パラメータ修正部は、判定された放音非目的音の音種を修正の有無若しくは修正方法を選択することを特徴とする請求項１〜４のいずれかに記載の集音・放音装置。
【請求項６】
少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置に適用される音源分離ユニットであって、
上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、
上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、
上記音源分離手段は、
上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、
上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、
上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、
修正されたパラメータを適用して音源分離を行う音源分離部とを有し、
放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出する
ことを特徴とする音源分離ユニット。
【請求項７】
少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置に搭載されるコンピュータが実行する音源分離プログラムであって、
上記コンピュータを、
上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、
上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段として機能させ、
機能させられる上記音源分離手段は、
上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、
上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、
上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、
修正されたパラメータを適用して音源分離を行う音源分離部とを有し、
放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出する
ことを特徴とする音源分離プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集音・放音装置、音源分離ユニット及び音源分離プログラムに関し、例えば、マイクロホンによる捕捉音声、捕捉音響などから、所定方向の音源から到来する音（以下、目的音と呼ぶ）だけを分離することを欲する通信端末、オーディオ機器などに適用し得るものである。
【背景技術】
【０００２】
例えば、スマートフォンに通話音声を入力する場合や、オーディオ機器やスマートフォンなどに音声コマンドを入力する場合などにおいては、音声が入力される機器は、利用者の口が存在すると思われる正面からの音声だけを、他の方向からの音声、音楽、雑音などと区別して抽出することが好ましい。
【０００３】
２つのマイクロホンに入力された音を捕捉し、入力音（電気信号）の位相差に基づいて周囲の雑音を抑圧して、マイクロホンの所定方位（例えば正面）から到来する目的音を抽出する方式（音源分離方式）が、特許文献１に記載されている。
【０００４】
特許文献１に第３の実施形態として記載されている目的音の抽出方法は、マイクロホンの左右に死角を有する二つの指向性を形成して得た二つの信号の相関に応じた抑圧係数を周波数成分毎に入力音信号に乗算することにより、左右から到来する雑音成分（非目的音）を抑圧する手法である。特許文献１に第４の実施形態として記載されている目的音の抽出方法は、マイクロホンの正面に死角を有する指向性を形成し、これにより得られた信号を、左右から到来する雑音成分として入力音信号から減算することにより、左右から到来する雑音成分（非目的音）を抑圧する手法である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０６１４２１号公報
【非特許文献】
【０００６】
【非特許文献１】北脇信彦著、「デジタル音声・オーディオ技術（未来ねっと技術シリーズ）」、電気通信協会発行、ｐ２１８〜ｐ２４３、１９９９年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年、図８に示すように、携帯端末（例えば、スマートフォンやタブレット端末）などの通信機能を有する集音機器２の両脇に、一対のスピーカ３Ｌ及び３Ｒを配置して接続し、このような構成で遠隔地と通話を行なう集音・放音装置１が利用されるようになってきている。また、同様な構成で、集音機器２内に記録された音楽ファイルやインターネット上の音楽配信サイトから取得した楽曲ファイルによる音（音楽）を、両脇のスピーカ３Ｌ及び３Ｒから放音させている状態で、利用者が、集音機器２のマイクロホン正面から発した音声によるコマンドを受ける方法も検討されている。
【０００８】
両脇のスピーカ３Ｌ及び３Ｒから音楽などが放音されている状態で、正面から到来する目的音を抽出し、通話相手に発話内容を伝えたり、若しくは、音声認識処理を介して音声コマンドを認識して音声コマンドに対応する処理を実行したりする場合には、スピーカ３Ｌ、３Ｒから発する音などが雑音となり、通話音質や音声認識率を大きく低下させる。
【０００９】
そこで、上述した特許文献１の記載技術のような音源分離方式を適用し、両脇のスピーカ３Ｌ及び３Ｒから到来する雑音成分を抑圧し、正面からの目的音を抽出しなければならない。特許文献１に記載の音源分離方式を適用する場合には、図９に示すように、集音機器１に、２つのマイクロホン４Ｌ、４Ｒを搭載若しくは外付けすることを要する。
【００１０】
しかしながら、利用者が集音・放音装置１から音楽を放音して楽しむ場合、その音量は大きく、大きな音量の音楽が雑音成分（非目的音）としてマイクロホン４Ｌ、４Ｒに捕捉されるため、音源分離方式を適用して目的音を抽出したとしても、抽出した目的音信号に雑音成分が多く残ってしまう。
【００１１】
これを避けようとすると、利用者は、音楽の出力（放音）を停止してから、通話音声や音声コマンドなどの入力音声を発音すれば良い。しかしながら、このように出力を停止させるキー操作などを行うのであれば、音声コマンドのメリットは薄れ、キー操作などでコマンドを入力する方が簡便である。また、着信からの通話の場合、音声の出力停止操作をできないことや、出力停止操作の実行のため着信が遅れてしまうことなども生じる。
【００１２】
そのため、放音音がある状況においても、意図した音源からの目的音を、良好なＳＮ比をもって抽出することができる、集音・放音装置、音源分離ユニット及び音源分離プログラムが望まれている。
【課題を解決するための手段】
【００１３】
第１の本発明は、少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置において、（１）上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、（２）上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、（１）上記音源分離手段は、（１−１）上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、（１−２）上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、（１−３）上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、（１−４）修正されたパラメータを適用して音源分離を行う音源分離部とを有し、（３）放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出することを特徴とする。
【００１４】
第２の本発明は、少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置に適用される音源分離ユニットであって、（１）上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、（２）上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、（１）上記音源分離手段は、（１−１）上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、（１−２）上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、（１−３）上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、（１−４）修正されたパラメータを適用して音源分離を行う音源分離部とを有し、（３）放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出することを特徴とする。
【００１５】
第３の本発明は、少なくとも２本のマイクロホンが周囲音を捕捉する集音部と、１又は複数のスピーカから放音する放音部とを有する集音・放音装置に搭載されるコンピュータが実行する音源分離プログラムであって、上記コンピュータを、（１）上記２本のマイクロホンが周囲音を捕捉した入力音信号に基づき、所定方位にある音源からの目的音を抽出する音源分離手段と、（２）上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロホンで捕捉された放音に伴う非目的音を疑似した疑似放音非目的音信号を生成し、上記各マイクロホンからの入力音信号から減算することにより、上記各マイクロホンで捕捉された放音非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段として機能させ、（１）機能させられる上記音源分離手段は、（１−１）上記放音非目的音除去手段から出力された放音非目的音を除去された入力音信号から、音源分離のための第１のパラメータを生成する第１の分離用パラメータ生成部と、（１−２）上記放音非目的音除去手段内で生成された疑似放音非目的音信号に基づいて、音源分離のための第２のパラメータを生成する第２の分離用パラメータ生成部と、（１−３）上記第１のパラメータを上記第２のパラメータを利用して修正して音源分離に利用する最終的なパラメータを得るパラメータ修正部と、（１−４）修正されたパラメータを適用して音源分離を行う音源分離部とを有し、（３）放音非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して目的音を抽出することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、放音音がある状況においても、放音音の音種によらず、意図した音源からの目的音を良好なＳＮ比をもって抽出できる集音・放音装置、音源分離ユニット及び音源分離プログラムを実現できる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態の集音・放音装置の構成を示すブロック図である。
【図２】第１の実施形態の集音・放音装置における音源分離処理部の詳細構成を示すブロック図である。
【図３】第１の実施形態の集音・放音装置における音源分離処理部内の抑圧係数算出部の詳細構成を示すブロック図である。
【図４】第２の実施形態の集音・放音装置における音源分離処理部の詳細構成を示すブロック図である。
【図５】第２の実施形態の集音・放音装置における音源分離処理部内の放音非目的音種判定部の詳細構成を示すブロック図である。
【図６】第２の実施形態に関連し、音源データの種類とコヒーレンスの挙動との関係を示す説明図である。
【図７】各実施形態の放音非目的音キャンセラ処理部として適用可能な他の詳細構成例を示すブロック図である。
【図８】従来の集音・放音装置におけるスピーカの接続の様子を示す説明図である。
【図９】従来の集音・放音装置に音源分離方式を適用する場合におけるマイクロホンの搭載の様子を示す説明図である。
【発明を実施するための形態】
【００１８】
（Ａ）第１の実施形態
以下、本発明による集音・放音装置、音源分離ユニット及び音源分離プログラムの第１の実施形態を、図面を参照しながら説明する。
【００１９】
（Ａ−１）第１の実施形態の構成
第１の実施形態の集音・放音装置は、一対のマイクロホンが搭載され、若しくは、外付けされており、かつ、一対のスピーカが搭載され、若しくは、外付けされているものである。例えば、スマートフォンやタブレット端末などの集音機器を利用している集音・放音装置であれば、一対のマイクロホンが搭載され、一対のスピーカが外付けされて構成される。また例えば、スピーカ一体型のオーディオ機器が該当する集音・放音装置であれば、一対のマイクロホンも一対のスピーカも搭載されて構成される。以上のように、一対のマイクロホン及び一対のスピーカの接続形態は多様であるが、いずれの接続形態を適用したものであっても良い。
【００２０】
以下では、第１の実施形態の集音・放音装置は、上述した図９に示すように、一対のマイクロホンが搭載され、一対のスピーカが外付けされて構成されているとして説明を行う。また、第１の実施形態の集音・放音装置における各構成要素の符号も、図９に記述されている構成要素に関しては、図９で用いている符号をそのまま用いる。
【００２１】
図１は、第１の実施形態の集音・放音装置１０の構成を示すブロック図である。
【００２２】
第１の実施形態の集音・放音装置１０は、ハードウェア的な各種構成要素を接続して構築されたものであっても良く、また、一部の構成要素（例えば、スピーカ、マイクロホン、アナログ／デジタル変換部（Ａ／Ｄ変換部）、デジタル／アナログ変換部（Ｄ／Ａ変換部）を除く部分）を、ＣＰＵ、ＲＯＭ、ＲＡＭなどのプログラムの実行構成を適用してその機能を実現するように構築されたものであっても良い。いずれの構築方法を適用した場合であっても、集音・放音装置１０の機能的な詳細構成は、図１で表す構成となっている。なお、プログラムを適用する場合において、プログラムは、集音・放音装置１０が有するメモリに装置出荷時から書き込まれているものであっても良く、また、ダウンロードによりインストールされるものであっても良い。例えば、後者の場合としては、スマートフォン用のアプリケーションとしてプログラムを用意しておき、必要とする利用者が、インターネットを介してダウンロードしてインストールする場合を挙げることができる。
【００２３】
図１において、第１の実施形態の集音・放音装置１０は、放音部２０及び集音部３０を有する。
【００２４】
放音部２０は、既存の放音部と同様な構成を有する。放音部２０は、Ｌチャンネル及びＲチャンネルの音源データ記憶部２１Ｌ及び２１Ｒ、Ｄ／Ａ変換部２２Ｌ及び２２Ｒ、並びに、スピーカ３Ｌ及び３Ｒを有する。
【００２５】
一方、集音部３０は、Ｌチャンネル及びＲチャンネルのマイクロホン４Ｌ及び４Ｒ、並びに、Ａ／Ｄ変換部３１Ｌ及び３１Ｒと、放音非目的音キャンセラ処理部３２と、図２に詳細構成を示す音源分離処理部３３とを有する。ここで、後述する音源データの入力端子を有する集音部３０の全体が音源分離ユニットとして構築されて、市販に供するものであっても良い。また、Ａ／Ｄ変換部３１Ｌ、３１Ｒ、放音非目的音キャンセラ処理部３２及び音源分離処理部３３でなる部分が、後述する音源データの入力端子を有して、音源分離ユニットとして構築され、市販に供するものであっても良い。すなわち、集音・放音装置１０は、特に、集音部３０は、音源分離ユニットを用いて構築されたものであっても良い。
【００２６】
音源データ記憶部２１Ｌ及び２１Ｒはそれぞれ、Ｌチャンネル、Ｒチャンネル用の音源データ（デジタル信号）ｓｉｇＬ、ｓｉｇＲを記憶し、図示しない放音制御部の制御下で音源データｓｉｇＬ、ｓｉｇＲを読み出して出力するものである。音源データｓｉｇＬ、ｓｉｇＲは、例えば、楽曲データであっても良く、電子書籍その他の読み上げ用などの音声データであっても良い。各音源データ記憶部２１Ｌ、２１Ｒは、ＣＤ−ＲＯＭなどの記録媒体が装填された記録媒体アクセス装置であっても良く、インターネット上のサイトなどの外部装置から通信によって取得した音源データを記憶する当該装置の記憶部によって構成されたものであっても良い。また、各音源データ記憶部２１Ｌ、２１Ｒは、例えば、ＵＳＢコネクタ接続で接続される外付けの装置が該当するものであっても良い。さらに、各音源データ記憶部２１Ｌ、２１Ｒは「記憶部」とネーミングしているが、各音源データ記憶部２１Ｌ、２１Ｒの概念には、デジタル音声放送の受信機のような、受信した音源データをリアルタイムに出力する構成をも含むものとする。
【００２７】
Ｄ／Ａ変換部２２Ｌ及び２２Ｒはそれぞれ、対応する音源データ記憶部２１Ｌ、２１Ｒから出力された音源データｓｉｇＬ、ｓｉｇＲをアナログ信号に変換して対応するスピーカ３Ｌ、３Ｒに与えるものである。
【００２８】
スピーカ３Ｌ及び３Ｒはそれぞれ、対応するＤ／Ａ変換部２２Ｌ、２２Ｒから与えられた音源信号を放音出力（発音出力）するものである。ここで、スピーカ３Ｌ及び３Ｒから放音出力された音響若しくは音声は、マイクロホン４Ｒ、４Ｌに捕捉されることを意図したものではなく、マイクロホン４Ｒ、４Ｌの捕捉機能から見たとき、非目的音になっている。
【００２９】
以上では、スピーカ３Ｌ、３Ｒから放音される音楽、音声の当初の信号形式がデジタル信号（音源データ）であるものを示したが、音源データ記憶部２１Ｌ、２１Ｒに相当する構成が、レコードプレイヤ、オーディオカセットテープレコーダ、ＡＭやＦＭのラジオ受信機などであって、アナログ信号でなる音響信号や音声信号を出力するものであっても良い。この場合には、Ｄ／Ａ変換部２２Ｌ及び２２Ｒは省略され、別途、Ｌチャンネル、Ｒチャンネル用のＡ／Ｄ変換部を設けて、アナログ信号の音響信号や音声信号をデジタル信号に変換して放音非目的音キャンセラ処理部３２に与えることになる。
【００３０】
マイクロホン４Ｒ及び４Ｌはそれぞれ、周囲音を捕捉して電気信号（アナログ信号）に変換するものである。一対のマイクロホン４Ｒ及び４Ｌにより、ステレオ信号が得られる。各マイクロホン４Ｒ、４Ｌは、当該集音・放音装置１０の正面から到来する音を主として捕捉するような指向性を有するものであるが、両脇に配置されているスピーカ３Ｌ、３Ｒから放音された音をも捕捉するものである。なお、スピーカ３Ｌ、３Ｒは、一対のマイクロホン４Ｒ及び４Ｌの両脇に配置されることが好ましいが、この配置に限定されるものではない。
【００３１】
各マイクロホン４Ｒ、４Ｌは、例えば、当該集音・放音装置１０の筐体に設けられた筒体内に取り付けられる。ここで、筒体の内面には合成樹脂でなる遮音部材が設けられ、マイクロホン４Ｒ、４Ｌが取り付けられたときに、筐体の内外を音が通過する経路ができないようになされている。これにより、筐体内部で発生した雑音や、外部から筐体内部に入り込んで反射により筐体外部に出ていこうとする雑音などを、マイクロホン４Ｒ、４Ｌが捕捉するようなことを極力防止することができる。
【００３２】
Ａ／Ｄ変換部３１Ｌ及び３１Ｒはそれぞれ、対応するマイクロホン４Ｒ、４Ｌが捕捉した入力音信号をデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲに変換して放音非目的音キャンセラ処理部３２に与えるものである。各Ａ／Ｄ変換部３１Ｌ、３１Ｒは、例えば、音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートと同じサンプリングレートのデジタル信号に変換する。
【００３３】
放音非目的音キャンセラ処理部３２には、音源データ記憶部２１Ｌ及び２１Ｒから出力された音源データｓｉｇＬ及びｓｉｇＲも与えられる。ここで、放音非目的音キャンセラ処理部３２に入力される４つのデジタル信号のサンプリングレートが揃っていることを要する。例えば、インターネットのサイトからダウンロードし、音源データ記憶部２１Ｌ及び２１Ｒに記憶された音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートが、Ａ／Ｄ変換部３１Ｌ、３１Ｒからのデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲのサンプリングレートと異なる場合には、Ｄ／Ａ変換部２２Ｌ、２２Ｒへはダウンロードした音源データｓｉｇＬ、ｓｉｇＲをそのまま与え、放音非目的音キャンセラ処理部３２へは音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートを変換した音源データを与えるようにすれば良い。
【００３４】
放音非目的音キャンセラ処理部３２は、音源データ記憶部２１Ｌ及び２１Ｒから出力された音源データｓｉｇＬ及びｓｉｇＲに基づき、入力音信号（デジタル信号）ｉｎｐｕｔＬ、ｉｎｐｕｔＲに含まれている、スピーカ３Ｌ、３Ｒから放音されることによる非目的音成分（以下、適宜、放音非目的音と呼ぶ）を除去（若しくは軽減）し、除去処理後の入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲを音源分離処理部３３に与えるものである。
【００３５】
ここで、スピーカ３Ｌ、３Ｒから放音され、マイクロホン４Ｒ、４Ｌによって捕捉される、目的音から見て不要な音（放音非目的音）は、電話通信において問題となっている音響エコーと同様にみなすことができる。そこで、第１の実施形態においては、放音非目的音キャンセラ処理部３２を、音響エコーキャンセラの技術を流用して構成している。例えば、非特許文献１には「ステレオエコーキャンセラ」が記載されている。第１の実施形態では、放音非目的音キャンセラ処理部３２として、非特許文献１の図３．７１若しくは図３．７５の記載のものを適用しているとする。
【００３６】
ステレオエコーキャンセラ構成の放音非目的音キャンセラ処理部３２では、入力音信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲから、放音目的音を除去するために、内部で、疑似的な放音目的音信号（以下、疑似放音目的音信号と呼ぶ）ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲが生成されており、この第１の実施形態の場合、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲも音源分離処理部３３に与えられる。
【００３７】
音源分離処理部３３は、図２に示す詳細構成を有し、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲと疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲとに基づき、所定方位（例えば、正面）にある音源からの目的音だけを抽出するものである。音源分離処理部３３が適用している音源分離方法は、音源の方向によって特性が変化するコヒーレンス係数を適用したコヒーレンスフィルタ法である。
【００３８】
図２において、音源分離処理部３３は、ＦＦＴ（高速フーリエ変換）部４１、第１のコヒーレンス係数計算部４２、第２のコヒーレンス係数計算部４３、抑圧係数算出部４４、抑圧係数乗算部４５及びＩＦＦＴ（逆高速フーリエ変換）部４６を有する。
【００３９】
ＦＦＴ部４１は、時間領域の信号である、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）と、疑似放音目的音信号ＰＳｅｃｈｏＬ（ｎ）、ＰＳｅｃｈｏＲ（ｎ）とをそれぞれ、周波数領域の信号ＸＬ（ｆ，Ｋ）、ＸＲ（ｆ，Ｋ）、ＹＬ（ｆ，Ｋ）、ＹＲ（ｆ，Ｋ）に変換するものである。なお、上記での「ｎ」は時刻を表すパラメータであり、「ｆ」は周波数を表すパラメータであり、「Ｋ」は変換に供する所定の入力サンプル数の塊を規定するフレームの順番を表すパラメータである。
【００４０】
第１のコヒーレンス係数計算部４２は、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）から得られた周波数領域信号ＸＬ（ｆ，Ｋ）及びＸＲ（ｆ，Ｋ）に基づいて、コヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）を計算するものである。
【００４１】
第２のコヒーレンス係数計算部４３は、疑似放音目的音信号ＰＳｅｃｈｏＬ（ｎ）、ＰＳｅｃｈｏＲ（ｎ）から得られた周波数領域信号ＹＬ（ｆ，Ｋ）及びＹＲ（ｆ，Ｋ）に基づいてコヒーレンス係数Ｙｃｏｅｆ（ｆ，Ｋ）を計算するものである。
【００４２】
コヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）、Ｙｃｏｅｆ（ｆ，Ｋ）の計算式として、特許文献１に記載のものを適用できる（特許文献１の（１）式、（２）式、（４）式参照）。
【００４３】
抑圧係数算出部４４は、２つのコヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）及びＹｃｏｅｆ（ｆ，Ｋ）から、非目的音を抑圧する抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を算出して抑圧係数乗算部４５に与えるものである。抑圧係数算出部４４は、図３に示すように、第１及び第２のコヒーレンス係数計算部４２及び４３からのコヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）及びＹｃｏｅｆ（ｆ，Ｋ）を受信する係数受信部５１と、（１）式に従って抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を演算する抑圧係数演算部５２と、得られた抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を抑圧係数乗算部４５に与える抑圧係数送信部５３とでなる。
【００４４】
ＮＲｃｏｅｆ（ｆ，Ｋ）
＝Ｘｃｏｅｆ（ｆ，Ｋ）−α×Ｙｃｏｅｆ（ｆ，Ｋ）
但し、αは０．０＜α≦１．０の範囲の値                  …（１）
抑圧係数乗算部４５は、放音非目的音が除去された入力音信号から得られた一方の周波数領域信号ＸＬ（ｆ，Ｋ）に対し、（２）式に示すように、抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を乗算して非目的音が除去された周波数領域信号（言い換えると、目的音の周波数領域信号）Ｚ（ｆ，Ｋ）を得るものである。
【００４５】
Ｚ（ｆ，Ｋ）＝ＸＬ（ｆ，Ｋ）×ＮＲｃｏｅｆ（ｆ、Ｋ）    …（２）
ＩＦＦＴ部４６は、周波数領域信号である非目的音抑圧信号Ｚ（ｆ、Ｋ）を時間領域信号ｚ（ｎ）に変換するものである。後段回路が、周波数領域信号Ｚ（ｆ、Ｋ）をそのまま処理できる構成であれば、ＩＦＦＴ部４６は省略することができる。
【００４６】
放音非目的音キャンセラ処理部３２も、音源分離処理部３３と同様に、非目的音の除去機能を有するものである。音源分離処理部３３に加えて、放音非目的音キャンセラ処理部３２を設けるようにしたのは、以下の理由による。すなわち、非目的音を一括して捉えるのではなく、放音非目的音及び背景非目的音を区別し、それぞれに適した除去方法を考慮し、放音非目的音を放音非目的音キャンセラ処理部３２で除去し、背景非目的音を音源分離処理部３３で除去することとした。すなわち、音源分離処理部３３の前処理部として放音非目的音キャンセラ処理部３２を設け、音源分離処理部３３が不得手なＬチャンネルとＲチャンネルの相関が強い非目的音成分を放音非目的音キャンセラ処理部３２で予め抑圧しておくことにより、音源分離処理部３３の機能を十分に発揮させると同時に、放音非目的音キャンセラ処理部３２で抑圧しきれなかった非目的音成分を音源分離処理部３３で抑圧し、音源分離処理部３３を単体で適用するよりもはるかに高性能な非目的音の抑圧性能を得るようにしている。
【００４７】
音源分離処理部３３の音源分離方法としてコヒーレンスフィルタ法を単に適用する場合であれば、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）から非目的音の抑圧に用いる抑圧係数を得るようにすれば良い。この第１の実施形態において、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）だけでなく、疑似放音目的音信号ＰＳｅｃｈｏＬ（ｎ）、ＰＳｅｃｈｏＲ（ｎ）をも適用して、非目的音の抑圧に用いる抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を得ている。このようにしたのは、以下の理由による。
【００４８】
スピーカ３Ｌ、３Ｒから放音される放音音が、例えば、楽曲であって、打楽器の音のような突発的に全周波数に成分を有する衝撃音（例えば、ロックにおけるドラムの音）が含まれる場合、放音非目的音キャンセラ処理部３２（の適応フィルタ）における追従が間に合わず、放音非目的音を十分に抑圧できない。また、衝撃音は、全周波数に成分を有するため、その到来方位が正面ではなくても、左右のスピーカ３Ｌ、３Ｒから放音された音同士が強い相関を有し、恰も正面から到来するような特性を有する。そのため、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）だけから非目的音の抑圧に用いる抑圧係数を得た場合には、放音非目的音が衝撃音のときに、放音非目的音の除去が不十分となる。
【００４９】
このような不都合を回避するために、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲも非目的音の抑圧に用いる抑圧係数ＮＲｃｏｅｆの形成に用いることとした。
【００５０】
放音非目的音キャンセラ処理部３２で算出される疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲは、音源データｓｉｇＬ、ｓｉｇＲにスピーカ３Ｌ、３Ｒからマイクロホン４Ｌ、４Ｒまでの伝達特性を畳み込んだ信号であるので、マイクロホン４Ｌ、４Ｒが捕捉した入力音信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲに含まれる妨害音成分と近い特性を有していると言える。従って、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲ、あるいは、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲから得られる特徴量を参照にすることで、衝撃音への抑圧性能を高めることが期待できる。
【００５１】
そのため、第１の実施形態においては、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲも非目的音の抑圧に用いる抑圧係数ＮＲｃｏｅｆの形成に用いることとした。
【００５２】
次に、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲを非目的音の抑圧に用いる抑圧係数ＮＲｃｏｅｆの形成に用いることができることを、より具体的に説明する。
【００５３】
第１の実施形態が想定する機器構成（上述した図８、図９参照）を考慮すると、妨害音が正面から到来することはあり得ない。この挙動を、特許文献１に記載のコヒーレンスのような到来方位と直結する特徴量の挙動と対応付けると、妨害音は、正面から到来する目的音と同等以上のコヒーレンス値をとらないと言うことができる。しかし、上述した通り、妨害音に衝撃音が含まれる場合には、左右のスピーカ３Ｌ、３Ｒから放音される妨害音同士の相関が著しく増し、妨害音であるにも拘わらす、正面から到来するかのような挙動をする。つまり、衝撃音が含まれる場合の妨害音のコヒーレンス値は目的音と同等以上の値となる。従って、妨害音の到来方位に応じて雑音抑圧ゲインを設定するコヒーレンスフィルタ法では、十分に妨害音を抑圧できない。ところで、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲは、放音されれば放音非目的音となる音源データｓｉｇＬ、ｓｉｇＲに、スピーカ３Ｌ、３Ｒからマイクロホン４Ｌ、４Ｒまでの伝達特性を畳み込んだ音なので、目的音成分は含まず、両脇のスピーカ３Ｌ、３Ｒから到来する妨害音成分だけに由来する信号である。よって、２つの疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲから得られるコヒーレンス値のレンジは、目的音のレンジより小さく、仮に、妨害音源データｓｉｇＬ、ｓｉｇＲに衝撃音が含まれている場合には、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲのコヒーレンスが大きくなる。逆に言えば、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲのコヒーレンスの急増によって衝撃音の発生を検出することができる。疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲから得られたコヒーレンスフィルタ係数Ｙｃｏｅｆを参照することで、衝撃音の成分を周波数毎に取得することができる。放音非目的音キャンセラ処理部３２から出力された放音非目的音が除去された入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲから得たコヒーレンスフィルタ係数Ｘｃｏｅｆを、疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲから得られたコヒーレンスフィルタ係数Ｙｃｏｅｆで（２）式に示すように調整することにより、衝撃音に由来する成分をコヒーレンスフィルタ係数から除去し、より正確な抑圧係数Ｚｃｏｅｆを算出することができる。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の集音・放音装置１０の動作を説明する。以下では、音源データが楽曲データであり、目的音が、集音・放音装置１０の正面に位置する利用者が発音した音声であるとして、適宜、説明する。
【００５５】
各音源データ記憶部２１Ｌ、２１Ｒから読み出された音源データ（楽曲データ）はそれぞれ、対応するＤ／Ａ変換部２２Ｌ、２２Ｒによってアナログ信号に変換された後、各スピーカ３Ｌ、３Ｒから放音される。このような音楽が当該集音・放音装置１０から流れているときに、利用者が当該集音・放音装置１０に向かって発音した音声は、両マイクロホン４Ｌ及び４Ｒによって捕捉される。この際、スピーカ３Ｌ、３Ｒからの音楽も流れているため、スピーカ３Ｌからの音楽も両マイクロホン４Ｌ及び４Ｒによって捕捉され、スピーカ３Ｒからの音楽も両マイクロホン４Ｌ及び４Ｒによって捕捉される。さらに、周囲の背景雑音（エアコンの駆動音、近くを走行する車両からの走行音など）も、両マイクロホン４Ｌ及び４Ｒによって捕捉される。
【００５６】
すなわち、各マイクロホン４Ｌ、４Ｒが捕捉して得た入力音信号には、利用者の音声という目的音以外に、自装置が放音した音楽という放音非目的音や、背景雑音などの非目的音（以下、適宜、背景非目的音と呼ぶ）が含まれている。
【００５７】
各マイクロホン４Ｌ、４Ｒが捕捉して得た入力音信号はそれぞれ、対応するＡ／Ｄ変換部３１Ｌ、３１Ｒによってデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲに変換されて放音非目的音キャンセラ処理部３２に与えられる。放音非目的音キャンセラ処理部３２には、音源データｓｉｇＬ及びｓｉｇＲも与えられる。
【００５８】
放音非目的音キャンセラ処理部３２においては、Ｌチャンネルに係る入力音信号（デジタル信号）ｉｎｐｕｔＬから、内部で生成した疑似放音目的音信号ＰＳｅｃｈｏＬを減算することにより、放音非目的音が除去された入力音信号ＥＣｏｕｔＬが得られ、同様に、Ｒチャンネルに係る入力音信号（デジタル信号）ｉｎｐｕｔＲから、内部で生成した疑似放音目的音信号ＰＳｅｃｈｏＲを減算することにより、放音非目的音が除去された入力音信号ＥＣｏｕｔＲが得られる。このようにして得られた放音非目的音が除去された一対に入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲが、内部生成の一対の疑似放音目的音信号ＰＳｅｃｈｏＬ、ＰＳｅｃｈｏＲと共に、音源分離処理部３３に与えられる。
【００５９】
音源分離処理部３３においては、ＦＦＴ部４１によって、時間領域信号である、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）と、疑似放音目的音信号ＰＳｅｃｈｏＬ（ｎ）、ＰＳｅｃｈｏＲ（ｎ）とがそれぞれ、周波数領域信号ＸＬ（ｆ，Ｋ）、ＸＲ（ｆ，Ｋ）、ＹＬ（ｆ，Ｋ）、ＹＲ（ｆ，Ｋ）に変換される。
【００６０】
そして、第１のコヒーレンス係数計算部４２によって、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ（ｎ）、ＥＣｏｕｔＲ（ｎ）から得られた周波数領域信号ＸＬ（ｆ，Ｋ）及びＸＲ（ｆ，Ｋ）に基づいて、コヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）が計算され、第２のコヒーレンス係数計算部４３によって、疑似放音目的音信号ＰＳｅｃｈｏＬ（ｎ）、ＰＳｅｃｈｏＲ（ｎ）から得られた周波数領域信号ＹＬ（ｆ，Ｋ）及びＹＲ（ｆ，Ｋ）に基づいてコヒーレンス係数Ｙｃｏｅｆ（ｆ，Ｋ）が計算される。
【００６１】
その後、抑圧係数算出部４４において、２つのコヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）及びＹｃｏｅｆ（ｆ，Ｋ）から、（１）式に従って、非目的音を抑圧する抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）が算出されて抑圧係数乗算部４５に与えられ、抑圧係数乗算部４５によって、放音非目的音が除去された入力音信号から得られた一方の周波数領域信号ＸＬ（ｆ，Ｋ）に抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）が周波数成分毎に乗算されて非目的音が除去された周波数領域信号Ｚ（ｆ，Ｋ）が得られる。この周波数領域信号である非目的音抑圧信号Ｚ（ｆ、Ｋ）をＩＦＦＴ部４６によって時間領域信号ｚ（ｎ）に変換することにより、目的音成分だけを含む出力信号ｏｕｔｐｕｔ（＝ｚ（ｎ））が得られる。
【００６２】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、非目的音を一括して捉えるのではなく、放音非目的音及び背景非目的音に区別し、それぞれに適した除去処理を適用して除去して目的音を抽出するようにしたので、目的音の抽出精度を非常に高いものとすることができる。
【００６３】
しかも、第１の実施形態によれば、疑似放音目的音信号から算出したコヒーレンスフィルタ係数の特性を雑音抑圧係数に反映するようにしたので、音源データが衝撃音を含んでいたとしても、非目的音を十分に抑圧することができる。
【００６４】
その結果、例えば、抽出した目的音成分である音声を通話に用いた場合には通話音質を高めることができ、抽出した目的音成分である音声を音声認識に供する場合には認識率を高めることができる。
【００６５】
（Ｂ）第２の実施形態
次に、本発明による集音・放音装置、音源分離ユニット及び音源分離プログラムの第２の実施形態を、図面を参照しながら説明する。
【００６６】
第２の実施形態は、第１の実施形態と比較すると、音源分離処理部（以下、符号３３Ａを用いる）の内部構成が異なっている。
【００６７】
図４は、第２の実施形態の音源分離処理部３３Ａの詳細構成を示すブロック図であり、第１の実施形態に係る上述した図２との同一、対応部分には、同一符号を付して示している。
【００６８】
図４において、第２の実施形態の音源分離処理部３３Ａは、ＦＦＴ部４１、第１のコヒーレンス係数計算部４２、第２のコヒーレンス係数計算部４３、抑圧係数算出部４４Ａ、抑圧係数乗算部４５及びＩＦＦＴ部４６に加え、コヒーレンス計算部４７及び放音非目的音種判定部４８を有する。また、抑圧係数算出部４４Ａも、第１の実施形態のものから変更されている。
【００６９】
コヒーレンス計算部４７は、第２のコヒーレンス係数計算部４３が得た第２のコヒーレンス係数Ｙｃｏｅｆ（ｆ，Ｋ）から、コヒーレンスＣＯＨ（Ｋ）を計算するものである。コヒーレンスＣＯＨ（Ｋ）は、特許文献１の（５）式に示すように、全Ｍ個の周波数成分毎のコヒーレンス係数Ｙｃｏｅｆ（ｆ，Ｋ）の平均値として算出される。
【００７０】
放音非目的音種判定部４８は、コヒーレンス計算部４７が得たコヒーレンスＣＯＨ（Ｋ）に基づいて、放音非目的音となる音源データｓｉｇＬ、ｓｉｇＲの音種を判定するものである。例えば、衝撃音を含む音源データｓｉｇＬ、ｓｉｇＲか、衝撃音をほとんど含まない音源データｓｉｇＬ、ｓｉｇＲかを判別するものである。
【００７１】
放音非目的音種判定部４８は、例えば、プログラムで実現されており、機能的には、図５に示すように、コヒーレンス受信部６１、長期平均計算部６２、分散計算部６３、判定部６４及び判定結果出力部６５を有する。
【００７２】
コヒーレンス受信部６１は、コヒーレンス計算部４７が得たコヒーレンスＣＯＨ（Ｋ）を取り込むものである。
【００７３】
長期平均計算部６２は、コヒーレンスＣＯＨ（Ｋ）の長期平均値ａｖｅｃｏｈ（Ｋ）を、例えば、（３）式に従って計算するものであり、分散計算部６３は、一般的な分散の計算式に従ってコヒーレンスＣＯＨ（Ｋ）の分散ｖａｒを計算するものである。
【００７４】
ａｖｅｃｏｈ（ｋ）
＝β×ＣＯＨ（Ｋ）＋（１−β）×ＣＯＨ（Ｋ−１）
但し、βは０．０＜β＜１．０の範囲の値                  …（３）
判定部６４は、コヒーレンスＣＯＨ（Ｋ）の長期平均値ａｖｅｃｏｈ（Ｋ）と分散ｖａｒとから、放音非目的音となる音源データｓｉｇＬ、ｓｉｇＲの音種を判定するものである。判定部６４は、例えば、長期平均値ａｖｅｃｏｈ（Ｋ）が予め設定されている閾値を超え、かつ、分散ｖａｒが予め設定されている閾値を超えている場合に、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含むものであると判定し、長期平均値ａｖｅｃｏｈ（Ｋ）及び分散ｖａｒの組み合わせが上記以外の場合に、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含まないものであると判定する。
【００７５】
判定結果出力部６５は、得られた音種の判定結果を、抑圧係数算出部４４Ａに与えるものである。
【００７６】
図６は、音源データｓｉｇＬ、ｓｉｇＲの楽曲が、変化が穏やかなクラシックの場合と衝撃音を含む変化が激しいロックの場合に得られたコヒーレンスＣＯＨ（Ｋ）の時間変化を示している。クラシックの場合には、コヒーレンスＣＯＨ（Ｋ）の長期平均値は小さく分散も小さい。ロックの場合には、衝撃波部分が長期平均値を引き上げると共に、分散を大きくしている。そのため、コヒーレンスＣＯＨ（Ｋ）の長期平均値及び分散に基づいて、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含むものであるか否かを判定することができる。
【００７７】
コヒーレンスを適用するようにしたのは、以下の理由による。コヒーレンスは、信号レベルで正規化されている周波数成分毎のコヒーレンス係数を平均したものであるので、放音非目的音の音量に影響を受けずに算出できる。従って、ロックとクラシックのような音量が大きく異なる楽曲同士であっても、音量に依存せずに特性を比較でき、音量が大きいクラシックを誤ってロックと判定するようなことを極力排除することができる。
【００７８】
第２の実施形態の抑圧係数算出部４４Ａは、放音非目的音種判定部４８の判定結果に応じて、抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）の算出方法を切り替えるものである。
【００７９】
例えば、抑圧係数算出部４４Ａは、放音非目的音種判定部４８の判定結果が、音源データｓｉｇＬ、ｓｉｇＲは衝撃音を含むという結果のときには、第１の実施形態と同様に（１）式に従って抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）を算出し、一方、放音非目的音種判定部４８の判定結果が、音源データｓｉｇＬ、ｓｉｇＲは衝撃音を含まないという結果のときには、第１のコヒーレンス係数計算部４２が得たコヒーレンス係数Ｘｃｏｅｆ（ｆ，Ｋ）をそのまま抑圧係数ＮＲｃｏｅｆ（ｆ，Ｋ）とする。衝撃音の有無に対し、これ以外の対応であっても良い。例えば、抑圧係数算出部４４Ａは、衝撃音の有無に応じて、（１）式におけるαを切り替えるようにしても良い（なお、衝撃音を含む場合の方がαを大きくする）。
【００８０】
第１の実施形態は、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含む場合の音源分離の精度低下を防止する工夫を有するものであるが、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含まない場合に、その工夫が却って精度に影響する恐れがある。
【００８１】
この第２の実施形態によれば、放音非目的音となる音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含むか否かに応じて、非目的音の抑圧係数の算出方法を切り替えるようにしたので、音源データｓｉｇＬ、ｓｉｇＲが衝撃音を含むか否かに拘わらず、音源分離精度を高めることができる。
【００８２】
（Ｃ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【００８３】
上記各実施形態においては、放音非目的音キャンセラ処理部３２として、ステレオエコーキャンセラの技術を流用したものを示したが、放音非目的音キャンセラ処理部３２として、図７に示すような４つのモノラルエコーキャンセラ７１ＬＬ、７１ＲＬ、７１ＬＲ、７１ＲＲの構成を利用するようにしても良い。なお、図７に示すような構成もステレオエコーキャンセラの範疇に属すると捉えることができる（非特許文献１の図３．７３参照）。
【００８４】
モノラルエコーキャンセラを用いる場合、スピーカ３Ｌ、３Ｒとマイクロホン４Ｌ、４Ｒが二つずつあるため音響経路の混雑が生じ、音響経路特性を正確に推定できず十分な抑圧効果が得られない場合がある。
【００８５】
そこで、音源データｓｉｇＬ、ｓｉｇＲの再生に先立ち、ホワイトノイズをスピーカ３Ｌだけから放音して、スピーカ３Ｌからマイクロホン４Ｌまでの音響経路特性ＨＬＬとスピーカ３Ｌからマイクロホン４Ｒまでの音響経路特性ＨＬＲを、モノラルエコーキャンセラ７１ＬＬ及び７１ＬＲの適応フィルタが推定し、次に、ホワイトノイズをスピーカ３Ｒだけから放音し、スピーカ３Ｒからマイクロホン４Ｌまでの音響経路特性ＨＲＬとスピーカ３Ｒからマイクロホン４Ｒまでの音響経路特性ＨＲＲをモノラルエコーキャンセラ７１ＲＬ及び７１ＲＲの適応フィルタが推定し、初期設定しておく。以降、４つの音響経路特性と対応する音源データとを畳み込むことで得た疑似放音非目的音信号を、マイクロホンが捕捉した入力音信号から減算することで放音非目的音を抑圧することができる。以上のように、４つのモノラルエコーキャンセラ７１ＬＬ、７１ＲＬ、７１ＬＲ、７１ＲＲの適応フィルタが、音源データの放音に先立って４つの音響経路特性をそれぞれ事前学習しておくことにより、音響経路の混雑を防ぎ、放音非目的音を抑圧することができる。
【００８６】
なお、ホワイトノイズ区間終了後に、４つのモノラルエコーキャンセラ７１ＬＬ、７１ＲＬ、７１ＬＲ、７１ＲＲの適応フィルタの係数更新を停止させ、ホワイトノイズで学習した際の係数を常時用いて放音非目的音の除去を行うようにしても良い。
【００８７】
上記第１の実施形態では、抑圧係数計算部４４が（１）式によって抑圧係数を算出するものを示したが、抑圧係数が小さくなり過ぎないように、（１）式の演算後にフロアリング処理を施すようにしても良い。このようにすると、過剰抑圧による音質低下を防ぐことができる。
【００８８】
上記第１の実施形態では、抑圧係数計算部４４が演算する（１）式における係数αが固定の場合を示したが、係数αとして可変係数を適用するようにしても良い。例えば、放音非目的音（若しくは非目的音全体）の含まれ具合に応じて係数αを制御するようにしても良い。例えば、放音非目的音となる音源データのパワーを雑音の含有量として係数αを可変するようにしても良い。これにより、雑音の含有量に応じて抑圧性能を制御することが可能となる。
【００８９】
また、第２の実施形態では、音種の判定が、音源データが衝撃音を含むか否かの判定であったが、衝撃音を強く含む、弱く含む、含まないなどの３種類以上の判定であっても良く、この場合には、衝撃音の含み方によって係数αを切り替えるようにしても良い。
【００９０】
上記各実施形態では、第１のコヒーレンス係数を、第２のコヒーレンス係数を利用して修正する演算式が（１）式に示す減算であるものを示したが、他の演算式（関数）を適用して、第２のコヒーレンス係数を利用して第１のコヒーレンス係数を修正するようにしても良い。例えば、第１のコヒーレンス係数を、第２のコヒーレンス係数を係数倍した値で除算して抑圧係数を算出するようにしても良い。
【００９１】
上記第２の実施形態では、放音非目的音（妨害音）の判定に用いる特徴量がコヒーレンスの分散及び長期平均値であるものを示したが、図６に示すような挙動を区別できるものであれば、他の統計量を用いるようにしても良い。例えば、コヒーレンスの最大値を平均値で割った値若しくは変動係数（＝標準偏差／平均値）を特徴量として用いるようにしても良い。
【００９２】
また、コヒーレンスではなく、全てではない１又は複数の周波数成分のコヒーレンス係数を用いて特徴量を算出するようにしても良い。さらに、コヒーレンス係数やコヒーレンスを演算することなく、疑似放音非目的音信号のパワー変化等に基づいて、衝撃音の有無や衝撃音の混入段階を判別するようにしても良い。さらにまた、判定に用いる特徴量は、疑似放音非目的音信号から得られる特徴量に限定されない。例えば、疑似放音非目的音信号から得られる特徴量に代え、若しくは、疑似放音非目的音信号から得られる特徴量に加え、放音非目的音キャンセラ処理部から出力された、放音非目的音が除去された入力音信号から得られる特徴量を、放音非目的音の音種の判定に用いるようにしても良い。
【００９３】
上記第２の実施形態では、音種の判定結果を、抑圧係数の算出方法に反映させるものを示したが、これに代え、若しくは、これに加え、放音非目的音キャンセラ処理部内の適応フィルタのステップサイズの変更に利用するようにしても良い。例えば、衝撃音を含む場合には、ステップサイズを大きくして追従性を速めるようにする。
【００９４】
上記各実施形態では、音源分離処理部がコヒーレンスフィルタ法に従って目的音と背景非目的音とを分離するものを示したが、分離方法はこれに限定されない。例えば、コヒーレンスフィルタ法と周波数減算法（スペクトル減算法）との組み合わせを適用するようにしても良く、コヒーレンスフィルタ法とウィーナーフィルタ法との組み合わせを適用するようにしても良く、コヒーレンスフィルタ法と周波数減算法とウィーナーフィルタ法との組み合わせを適用するようにしても良い。
【００９５】
周波数減算法を適用する場合において、入力音声信号のスペクトルから雑音成分のスペクトルを減算する比率を、第２の実施形態で判定した音種の判定結果に応じて変更するようにしても良い。また、ウィーナーフィルタ法を適用する場合において、入力音声信号のスペクトルに対して乗算するウィーナーフィルタ係数を、第２の実施形態で判定した音種の判定結果に応じて変更するようにしても良い。
【００９６】
上記各実施形態では、スピーカが２つの場合を示したが、スピーカは１つでも３つ以上であっても良い。また、マイクロホンも２つに限定されず、３以上あっても良い。スピーカとマイクロホンとの数に応じて定まる放音音響経路の数を考慮して、放音非目的音キャンセラ処理部３２の内部構成を設計すれば良い。
【００９７】
上記各実施形態では、集音・放音装置単体で全ての処理を実行するものを示したが、非目的音の除去処理などを外部のサーバに委ねて実行するようにしても良い。例えば、集音・放音装置がスマートフォンの場合において、いわゆるクラウドによってシステムを構成し、利用者から外部サーバの存在が分からないように更新しても良い。特許請求の範囲における「集音・放音装置」の請求項は、利用者からは見えない外部サーバが処理を行っている場合を含むものとする。
【符号の説明】
【００９８】
１０…集音・放音装置、
２０…放音部、２１Ｌ、２１Ｒ…音源データ記憶部、２２Ｌ、２２Ｒ…Ｄ／Ａ変換部、３Ｌ、３Ｒ…スピーカ、
３０…集音部、４Ｌ、４Ｒ…マイクロホン、３１Ｌ、３１Ｒ…Ａ／Ｄ変換部、３２…放音非目的音キャンセラ処理部、３３、３３Ａ…音源分離処理部、４１…ＦＦＴ部、４２…第１のコヒーレンス係数計算部、４３…第２のコヒーレンス係数計算部、４４、４４Ａ…抑圧係数算出部、４５…抑圧係数乗算部、４６…ＩＦＦＴ部、４７…コヒーレンス計算部、４８…放音非目的音種判定部。
【図１】
2015070291.tif 000003
【図２】
2015070291.tif 000004
【図３】
2015070291.tif 000005
【図４】
2015070291.tif 000006
【図５】
2015070291.tif 000007
【図６】
2015070291.tif 000008
【図７】
2015070291.tif 000009
【図８】
2015070291.tif 000010
【図９】
2015070291.tif 000011