(57)【要約】【課題】事前に室内インパルス応答を測定することが必要なく、また、充分な残響除去性能を達成するために非常に多くのマイクロフォンを必要としない、残響除去装置を提供する。【解決手段】残響除去装置が、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定する音声状態推定部と、音声状態推定部が推定した音声信号の離散状態の推定値と観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、逆フィルタ推定部が推定した逆フィルタと観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部とを有する。【選択図】図１
2008292845.tif 000002
【特許請求の範囲】
【請求項１】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定する音声状態推定部と、
前記音声状態推定部が推定した音声信号の離散状態の推定値と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、
前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、
前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部と
を有することを特徴とする残響除去装置。
【請求項２】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って各時刻における音声の離散状態の事後確率密度関数を推定する音声状態推定部と、
前記音声状態推定部が推定した各時刻における音声の離散状態の事後確率密度関数と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、
前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、
前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部と、
を有することを特徴とする残響除去装置。
【請求項３】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定する音声状態推定部と、
前記音声状態推定部が推定した音声信号の尤度を最大にする離散状態の時系列と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、
前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、
前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部と、
を有することを特徴とする残響除去装置。
【請求項４】
前記収束判定部が、
前記判定した結果が、収束していない場合には、前記受け取った音声信号の推定値を前記音声状態推定部に出力することにより、前記音声状態推定部、逆フィルタ推定部、および音声信号推定部の順に前記各推定を繰り返し、収束した場合には、前記各推定の繰り返しを終了させるとともに音声信号の当該推定値を出力信号として出力する、
ことを特徴とする請求項１から請求項３に記載の残響除去装置。
【請求項５】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定する音声状態推定手順と、
前記音声状態推定手順が推定した音声信号の離散状態の推定値と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、
前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、
前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順と
を有することを特徴とする残響除去方法。
【請求項６】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って各時刻における音声の離散状態の事後確率密度関数を推定する音声状態推定手順と、
前記音声状態推定手順が推定した各時刻における音声の離散状態の事後確率密度関数と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、
前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、
前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順と、
を有することを特徴とする残響除去方法。
【請求項７】
音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、
音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定する音声状態推定手順と、
前記音声状態推定手順が推定した音声信号の尤度を最大にする離散状態の時系列と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、
前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、
前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順と、
を有することを特徴とする残響除去方法。
【請求項８】
前記収束判定手順が、
前記判定した結果が、収束していない場合には、前記受け取った音声信号の推定値を前記音声状態推定手順に出力することにより、前記音声状態推定手順、逆フィルタ推定手順、および音声信号推定手順の順に前記各推定を繰り返し、収束した場合には、前記各推定の繰り返しを終了させるとともに音声信号の当該推定値を出力信号として出力する、
ことを特徴とする請求項５から請求項７に記載の残響除去方法。
【請求項９】
コンピュータに請求項５から請求項８に記載の残響除去方法の手順を実行させるための残響除去プログラム。
【請求項１０】
コンピュータに請求項５から請求項８に記載の残響除去方法の手順を実行させるための残響除去プログラムを記録したコンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、残響を伴った音響信号から、残響を取り除いた音声信号を抽出する残響除去の技術に関し、特に、音声信号の残響除去のための逆フィルタを推定する技術に関する。
【背景技術】
【０００２】
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難になるとともに、音声自体の明瞭度が低下する。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出しやすくするとともに、音声の明瞭度を回復することができる。
【０００３】
この残響除去処理は、他のさまざまな音響信号処理システムの要素技術として用いることで、そのシステム全体の性能向上につながる技術である。残響除去処理が要素技術として性能向上に寄与できるような音響信号処理システムには、例えば、以下のようなものが列挙できる。
【０００４】
１．残響除去を前処理として用いる音声認識システム。
２．残響除去により音声の明瞭度を向上させるＴＶ会議システムなどの通信システム。
３．講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生システム。
４．残響を除去することで聞き取りやすさを向上させる補聴器。
５．人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置。
【０００５】
このような残響除去処理をする残響除去法として、例えば、次の従来技術１と従来技術２との技術が知られている。
【０００６】
まず、従来技術１の残響除去法（非特許文献１参照）を、図４に示す。この従来技術１の残響除去法では、あらかじめ音源からマイクロフォンまでの室内インパルス応答を測定しておいて、ムーアペンローズ擬似逆行列に基づき室内インパルス応答の逆フィルタを求めて観測信号に適用することで、少ないマイクロフォン構成でも残響除去を行うことができる。
【０００７】
次に、従来技術２の残響除去法（非特許文献２）を、図５に示す。この従来技術２の残響除去法では、マイクロフォンで測定された観測信号を入力として用いて、話者の方向から到来する音は強調し、壁などに反射した音が到来する方向には死角を向けるような指向特性を形成することで、残響の除去を行うことができる。
【非特許文献１】Miyoshi, M., and Kaneda, Y., “Inverse filtering of room acoustics,” IEEE Trans. ASSP, 36(2), pp. 145-152, 1988.
【非特許文献２】Schmidt, R. O., “Multiple emitter location and signal parameter estimation,” IEEE Trans. AP, 34(3), pp. 276-280, 1986.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来技術１の残響除去法では、あらかじめ室内インパルス応答を用意しておく必要がある。しかしながら、残響除去を必要とする多くのアプリケーションにおいては、事前に室内インパルス応答を用意することは困難である場合が多く、従来技術１の残響除去法では、そのような状況において、あらかじめ室内インパルス応答を用意することができないために、残響除去をすることができないという問題があった。
【０００９】
また、上述した従来技術２の残響除去法では、ディジタル信号処理により形成する死角の数をｎとすると、原理的にｎ個以上のマイクロフォンが必要になる。したがって、残響が周囲のいたるところから到来するような環境においては、非常に多数のマイクロフォンによる観測信号が必要になるという問題があった。さらに、目的音と同じ方向から到来する残響については、この従来技術２の残響除去法では除去することはできないという問題があった。
【００１０】
このように、従来用いられてきた残響除去法では、事前に室内インパルス応答を測定することが必要である問題や、充分な残響除去性能を達成するためには非常に多くのマイクロフォンが必要であるという問題があった。
【００１１】
本発明は、このような事情に鑑みてなされたもので、その目的は、事前に室内インパルス応答を測定することが必要なく、また、充分な残響除去性能を達成するために非常に多くのマイクロフォンを必要としない残響除去装置、残響除去方法、残響除去プログラム、および、その記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
この発明は上述した課題を解決するためになされたもので、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定する音声状態推定部と、前記音声状態推定部が推定した音声信号の離散状態の推定値と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部とを有することを特徴とする残響除去装置である。
【００１３】
また、この発明は、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って各時刻における音声の離散状態の事後確率密度関数を推定する音声状態推定部と、前記音声状態推定部が推定した各時刻における音声の離散状態の事後確率密度関数と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部と、を有することを特徴とする残響除去装置である。
【００１４】
また、この発明は、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定する音声状態推定部と、前記音声状態推定部が推定した音声信号の尤度を最大にする離散状態の時系列と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定部と、前記逆フィルタ推定部が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定部と、前記音声信号推定部が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定部と、を有することを特徴とする残響除去装置である。
【００１５】
また、この発明は、前記収束判定部が、前記判定した結果が、収束していない場合には、前記受け取った音声信号の推定値を前記音声状態推定部に出力することにより、前記音声状態推定部、逆フィルタ推定部、および音声信号推定部の順に前記各推定を繰り返し、収束した場合には、前記各推定の繰り返しを終了させるとともに音声信号の当該推定値を出力信号として出力する、ことを特徴とする残響除去装置である。
【００１６】
また、この発明は、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定する音声状態推定手順と、前記音声状態推定手順が推定した音声信号の離散状態の推定値と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順とを有することを特徴とする残響除去方法である。
【００１７】
また、この発明は、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って各時刻における音声の離散状態の事後確率密度関数を推定する音声状態推定手順と、前記音声状態推定手順が推定した各時刻における音声の離散状態の事後確率密度関数と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順と、を有することを特徴とする残響除去方法である。
【００１８】
また、この発明は、音声入力装置で収音された残響を伴った人の声が観測信号として入力され、該観測信号から残響を除去して出力信号として出力する残響除去装置で用いられる残響除去方法であって、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定する音声状態推定手順と、前記音声状態推定手順が推定した音声信号の尤度を最大にする離散状態の時系列と前記観測信号とに基づいて逆フィルタを推定する逆フィルタ推定手順と、前記逆フィルタ推定手順が推定した逆フィルタと前記観測信号とに基づいて音声信号の推定値を推定する音声信号推定手順と、前記音声信号推定手順が推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力する収束判定手順と、を有することを特徴とする残響除去方法である。
【００１９】
また、この発明は、前記収束判定手順が、前記判定した結果が、収束していない場合には、前記受け取った音声信号の推定値を前記音声状態推定手順に出力することにより、前記音声状態推定手順、逆フィルタ推定手順、および音声信号推定手順の順に前記各推定を繰り返し、収束した場合には、前記各推定の繰り返しを終了させるとともに音声信号の当該推定値を出力信号として出力する、ことを特徴とする残響除去方法である。
【００２０】
また、この発明は、コンピュータに残響除去方法の手順を実行させるための残響除去プログラムである。
【００２１】
また、この発明は、コンピュータに残響除去方法の手順を実行させるための残響除去プログラムを記録したコンピュータに読み取り可能な記録媒体である。
【発明の効果】
【００２２】
この発明によれば、残響除去装置が、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の離散状態の推定値を推定し、推定した音声信号の離散状態の推定値と観測信号とに基づいて逆フィルタを推定し、推定した逆フィルタと観測信号とに基づいて音声信号の推定値を推定し、推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力することにより、音声信号の時系列に関する確率モデルに基づいて、音声信号がより音声らしい信号になるように逆フィルタを推定することができ、事前に室内インパルス応答を測定することが必要なく、また、充分な残響除去性能を達成するために非常に多くのマイクロフォンを必要とせずに、音声入力装置で収音された残響を伴った人の声が観測信号から残響を除去することが出来るという効果を奏する。
【００２３】
また、この発明によれば、残響除去装置が、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って各時刻における音声の離散状態の事後確率密度関数を推定し、推定した各時刻における音声の離散状態の事後確率密度関数と観測信号とに基づいて逆フィルタを推定し、推定した逆フィルタと観測信号とに基づいて音声信号の推定値を推定し、推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力することにより、音声信号の時系列に関する確率モデルに基づいて、音声信号がより音声らしい信号になるように状態系列を確率的に推定することができ、事前に室内インパルス応答を測定することが必要なく、また、充分な残響除去性能を達成するために非常に多くのマイクロフォンを必要とせずに、音声入力装置で収音された残響を伴った人の声が観測信号から残響を除去することが出来るという効果を奏する。
【００２４】
また、この発明によれば、残響除去装置が、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定し、音声状態推定部が推定した音声信号の尤度を最大にする離散状態の時系列と観測信号とに基づいて逆フィルタを推定し、推定した逆フィルタと観測信号とに基づいて音声信号の推定値を推定し、推定した音声信号の推定値を入力され、該入力された音声信号の推定値が収束したか否かを判定し、該判定した結果に基づいて音声信号の当該推定値を出力信号として出力することにより、音声信号の時系列に関する確率モデルに基づいて、音声信号がより音声らしい信号になるように状態系列を確定的に推定することができ、事前に室内インパルス応答を測定することが必要なく、また、充分な残響除去性能を達成するために非常に多くのマイクロフォンを必要とせずに、音声入力装置で収音された残響を伴った人の声が観測信号から残響を除去することが出来るという効果を奏する。
【００２５】
また、この発明によれば、残響除去装置が、音声信号の推定値が収束したか否かを判定し、判定した結果が、収束していない場合には、音声信号の推定を繰り返し、収束した場合には、音声信号の推定の繰り返しを終了させるとともに音声信号の当該推定値を出力信号として出力することにより、音声信号の推定の精度を向上させることが出来るという効果を奏する。
【発明を実施するための最良の形態】
【００２６】
＜基本原理：隠れマルコフモデル＞
まず、本実施の形態で用いる音声信号の残響除去のための隠れマルコフモデルについて説明する。
【００２７】
＜隠れマルコフモデルの定義＞
音声信号の残響除去に用いることができる音声信号時系列に関する隠れマルコフモデルの構成法について述べる。なお、隠れマルコフモデルに関する一般的な説明については、例えば、（文献１）Lawrence, R., and Juang, B.H., Fundamentals of speech recognition, 6 章, “Theory and implementation of hidden Markov model, Prentice Hall, 1993. など、多くの刊行物に示されている。
【００２８】
ここでは、本実施形態に関する隠れマルコフモデルの構成法について、説明する。まず、短時間区間の音声の特徴を表現する隠れマルコフモデルを構築するために、本実施形態では、以下の仮定を導入する。
【００２９】
（仮定１）ディジタル化された音声信号の各短時間区間（長さＮ）に含まれる標本時系列を、次の式１で示されるダブルバーｓτとする。このダブルバーｓτは、式１では、ｓの上に、バーを２つ重ねて表記している。以降、ダブルバーとは、このように、上にバーを２つ重ねた記号の表記として説明する。
【００３０】
【数１】
2008292845.tif 000003
【００３１】
この式１で、τは、短時間区間の時間インデックス、t(τ)は、短時間区間τに含まれる標本時系列の最初のインデックスを表す。すると、ダブルバーsτは、次の式２で示される有限個の状態のうち、いずれかひとつに分類することができる。
【００３２】
【数２】
2008292845.tif 000004
【００３３】
この式２で、NSは、仮定された音声の状態数、Uτは、短時間区間τにおける状態の確率変数、iは、その実現値を表す。
【００３４】
（仮定２）まず、自己相関行列riを、次の式３とする。この自己相関行列riのriは、式３での表記において、太字であり、行列である。
【００３５】
【数３】
2008292845.tif 000005
【００３６】
ここで、各状態iにおいて、短時間区間の音声信号の確率分布はその状態のみに依存し、平均０、式３の自己相関行列riの定常ガウス確率過程でモデル化できる。すなわち、次の式４および式５により、モデル化できる。
【００３７】
【数４】
2008292845.tif 000006
【００３８】
ここで、ダブルバーSτはダブルバーsτに関する確率変数を表す。なお、以下では、bi(・)を隠れマルコフモデルの出力確率と呼ぶ。
【００３９】
（仮定３）短時間区間の音声信号が、ある時刻で状態i(1<i<NS)、その次の時刻で状態j(1<j<NS)をとる確率は、状態i,jのみに依存し、次の式６で与えられる。
【００４０】
【数５】
2008292845.tif 000007
【００４１】
また、時刻０における状態(初期状態)において、状態iをとる確率は次の式７で与えられる。
【００４２】
【数６】
2008292845.tif 000008
【００４３】
以下では、ai,jを隠れマルコフモデルの状態遷移確率と呼ぶ。
【００４４】
本実施形態では、すべての状態i,jに関する隠れマルコフモデルの状態遷移確率ai,jおよび自己相関行列riをまとめて、それぞれ、ベクトルa、ベクトルbと記述することにする。すると、上記の仮定に従って、音声の短時間区間の時系列s=[ダブルバーs1、ダブルバーs2、・・・ダブルバーsＭ]の確率密度関数は、隠れマルコフモデルのパラメータΛ={ベクトルa,ベクトルb}のみから定めることができる。すなわち、時刻τにおける状態の実現値を表す変数をuτと記述し、任意の状態系列をu=[u0 u1・・・uM] と記述すると、次の式８および式９となる。なお、式８において、ベクトルaおよびベクトルbは、太字のaおよび太字のｂとして表記している。
【００４５】
【数７】
2008292845.tif 000009
【００４６】
ただし、式８および式９において、Σuは、uのすべての可能な組み合わせについての加算を表す。上記の仮定のもとで、音声の短時間区間の時系列は、状態系列を隠れ変数として持つ隠れマルコフモデルでモデル化できる。
【００４７】
上記の説明では、比較的一般的な構造を持つ隠れマルコフモデルを用いてモデル化の説明を行ったが、隠れマルコフモデル中のモデルの構造については様々な他の選択肢を考えることもできる。例えば、一例として、従来の音声認識で用いられるようなモデル構造を採用することができる。すなわち、上記のモデルでは、すべての状態間で状態遷移が起きるモデルを定義していたのに対し、初期状態から最終状態まで遷移の順序が確定しているモデルを用いてもよい。また、複数の隠れマルコフモデルを予め用意しておいて、その中で、式８で定義される尤度を最大にするモデルを適応的に選択することで、音声信号の時系列をモデル化することもできる。
【００４８】
＜隠れマルコフモデルのパラメータの事前学習＞
音声の短時間区間の時系列に関する隠れマルコフモデルを用いて残響除去を行うためには、事前にモデルのパラメータΛ={ベクトルa,ベクトルb}を用意しておく必要がある。このパラメータは、背景雑音や残響を伴わずに収音されたクリーンな音声信号のデータベースを用いれば、音声信号の尤度を最大にする隠れマルコフモデルのパラメータとして求めることができる。すなわち、音声信号のデータベースからすべての短時間区間の時系列s=[ダブルバーs1、ダブルバーs2、・・・ダブルバーsＭ]を抽出し、式９を最大にするパラメータとしてΛを決定すればよい。
【００４９】
このために、従来から広く知られている隠れマルコフモデルのパラメータ学習則を用いることができる。例えば、この学習には、Baum-Welchアルゴリズムなどが利用できる。ただし、一般的なBaum-Welchアルゴリズムでは、式５におけるガウス分布の平均を0と固定せず、また、自己相関行列のかわりに共分散行列を学習するという場合が多いため、これを式５に則した学習則に対応させることが必要である。これには、1)出力確率分布の平均値は0に固定して更新は行わない、2)共分散行列の更新式（例えば、文献１のp.352の(6.54)式）において、音声信号の各短時間区間に関する（ダブルバーsτダブルバーsτT）の値の重み付き平均を計算するかわりに、各短時間区間の自己相関行列E{ダブルバーsτダブルバーsτT}の重み付き平均を計算することで、本発明の状況に対応させることができる。この（ダブルバーsτダブルバーsτT）は、次の式１０で表記され、自己相関行列E{ダブルバーsτダブルバーsτT}は、次の式１１で表記される記号である。
【００５０】
【数８】
2008292845.tif 000010
【００５１】
また、上記の隠れマルコフモデルのパラメータ学習の高速化や精度向上のために、学習の事前に別の手法を用いてデータのクラスタリングを行っておいて、学習の初期値を決めることは有効である。ただし、音声認識などにおいて、メル周波数ケプストラム係数の時系列を隠れマルコフモデルで学習するような場合と異なり、式５におけるガウス分布の平均値はすべて0に固定されるため、データ間の距離のみに基づく一般的なクラスタリング手法を適用することはできない。これに対処する一つの方法として、音声の短時間区間ダブルバーsτを直接クラスタリングするのではなくて、その自己相関をクラスタリングするという方法が考えられる。これには、各短時間区間に関して、まず、自己相関関数を求めて、次に、LBGアルゴリズムなどの手法を用いて全自己相関関数のクラスタリングを行う。クラスタリング後に、各クラスターのセントロイドに相当する自己相関関数からToeplitz行列を構成することで、隠れマルコフモデルの出力確率に相当する式５の自己相関行列の初期値を定めることができる。さらに、式５の形式の出力確率分布を持つ隠れマルコフモデルとして、自己回帰過程のための隠れマルコフモデル（文献１の6.7節参照）を利用することも可能である。このアプローチでは、音声の短時間区間を自己回帰過程でモデル化するとともに、次の式１２で示される短時間区間の線形予測係数g、予測残差のエネルギーσ2、および自己相関関数rに関する次の式１３および式１４の関係式を用いて、出力確率分布を式５に則した形で表現する。
【００５２】
【数９】
2008292845.tif 000011
【００５３】
このモデルのパラメータ学習についても、Baum-Welchアルゴリズムに基づくものが提案されている。
【００５４】
＜隠れマルコフモデルに基づく音声信号の尤度計算＞
上記のように事前にパラメータを学習した隠れマルコフモデルに対して、ある信号時系列s=[ダブルバーs1  ダブルバーs2・・・ダブルバーsM]が与えられたときの尤度は、Forward-backwardアルゴリズムにより計算することができる。また、Forward-backwardアルゴリズムを用いると、尤度の計算と同時に、各短時間区間において隠れマルコフモデルが状態iをとる事後確率を求めることができる。
【００５５】
一方、式９のかわりに、次の式１５を尤度関数の近似式として用いることで、より効率的に尤度を計算できることが知られている。
【００５６】
【数１０】
2008292845.tif 000012
【００５７】
この式１５に基づく尤度は、Viterbiアルゴリズムを用いて計算することができる。また、Viterbiアルゴリズムを用いると、尤度の計算と同時に、その最大尤度を与える状態時系列の実現値を求めることができる。
【００５８】
＜第１の実施形態＞
＜第１の実施形態による残響除去装置の原理：Forward-backwardアルゴリズムに基づく方法＞
単一の音声信号が複数のマイクロフォンで収音されるとする。簡単のため、以下では二つのマイクロフォンで収音されたものとして説明を進める。st、xt(l)、および、dt(l)を、音声信号、観測信号、および背景雑音をディジタル化した時系列とする。tとlは、それぞれ、時間とマイクロフォンのインデックスを表すものとする。さらに、シングルバーst、シングルバーxt、および、シングルバーdtを、各信号に対応するベクトル表現（それぞれ長さLs、2Lx、2Lx）とし、次の式１６から式１８で定義されるものとする。ここで、シングルバーstとは、式１６で示されるように、stの上にバーが１つある記号である。以降、シングルバーは、このように上にバーが１つある記号の表記として説明する。
【００５９】
【数１１】
2008292845.tif 000013
【００６０】
このとき、観測過程は一般に次の式１９により、モデル化できる。
【００６１】
【数１２】
2008292845.tif 000014
【００６２】
ここで、ベクトルhは定常畳込み行列(2Lx×Ls)を表し、2チャンネルの室内インパルス応答に基づき定義されているものとする。いま、次の式２０および式２１のシングルバーｈ（l）を、話者からl番目のマイクロフォンまでの室内インパルス応答とする。
【００６３】
【数１３】
2008292845.tif 000015
【００６４】
すると、ベクトルhは、次の式２２および式２３で表現される。
【００６５】
【数１４】
2008292845.tif 000016
【００６６】
なお、以下では、音源位置で各時刻に生成された音声信号が最初に到達するマイクロフォンのインデックスlは既知であると仮定し、l=1とする。もしくは、そのようなマイクロフォンが既知でない場合は、どれか一つのマイクロフォンを選び、それ以外のマイクロフォンで受音される観測信号に充分に長い時間遅延を付加することで、仮想的に選択したチャンネルに音声が最初に到達するように定めるとする。この場合は、この遅延を付加した室内インパルス応答の系をまとめて、以下では室内インパルス応答と呼ぶことにする。さらに、観測信号のゲインと初期遅延を適切に調節することで、一般性を失わずにチャンネル1に関してh1(1)=1と正規化されているものとする。
【００６７】
まず、簡単のため、背景雑音がない（すなわち常にdt=0である）場合を考える。すると、室内インパルス応答（シングルバーh(l)）のz変換（シングルバーh(l)(z)）、すなわち室内伝達関数が異なるチャンネル間で共通ゼロ点を持たないという条件の下で、次の式２４の条件を満たす逆フィルタ（シングルバーw）が存在することが保証されている。
【００６８】
【数１５】
2008292845.tif 000017
【００６９】
ただし、式２４から式２６において、シングルバーc(l)(z)はシングルバーc(l)のz変換を表す。上記式２４の逆フィルタ（シングルバーw）を用いると、観測信号（xt）から音声信号（st）を、次の式２７により推定することができる。
【００７０】
【数１６】
2008292845.tif 000018
【００７１】
ただし、L＝Lxとした。次に、上記の式２６の両辺にダブルバーsτを乗じて整理すると、観測信号xtに関する自己回帰過程として、次の式２８を得ることができる。
【００７２】
【数１７】
2008292845.tif 000019
【００７３】
なお、式２８で、次の式２９から式３２のようにおいている。
【００７４】
【数１８】
2008292845.tif 000020
【００７５】
本実施形態では、上記の信号ダブルバーxτ、行列xτ、および、ダブルバーsτを、確率変数ダブルバーXτ、行列Xτ、および、ダブルバーSτの実現値と解釈し、残響除去は、次の式３３および式３４で定義される尤度関数を最大化するモデルパラメータΘを求めることにより実現できる。
【００７６】
【数１９】
2008292845.tif 000021
【００７７】
ここで、行列xτ:1は、式３１で定義した行列xτのベクトル列の長さを、時刻t(1)まで延長したものであり、次の式３５で定義する。
【００７８】
【数２０】
2008292845.tif 000022
【００７９】
ここで、uτ:1は、隠れマルコフモデルの時刻1からτまでの状態系列の確率変数を時間的に逆順に並べてできるベクトルである。また、モデルパラメータΘには、逆フィルタの係数シングルバーcに加えて、隠れマルコフモデルのパラメータΛが含まれているとする。なお、以下では、確率密度関数の確率変数を省略して、例えば、次の式３６の記述方法を、式３７の記述方法で記述することとする。
【００８０】
【数２１】
2008292845.tif 000023
【００８１】
すると、式３４の中の確率密度関数は、次の式３８および式３９と書き換えることができる。
【００８２】
【数２２】
2008292845.tif 000024
【００８３】
ただし、上記の書き換えで、次の式４０から式４３の関係式を用いた。
【００８４】
【数２３】
2008292845.tif 000025
【００８５】
さらに、式３９のダブルバーxτ(1)に関する確率密度関数は、式２８の関係式と、式５の定常ガウス確率過程のモデル化とにより、次の式４４および式４５と書き換えることができる。
【００８６】
【数２４】
2008292845.tif 000026
【００８７】
ここで、式３４を最大化するシングルバーcは、EM（Expectation Maximization）アルゴリズムに基づく繰り返し推定法で、効率的に求めることができる。式３４に従い、Q関数は、次の式４６および式４７で定義される。
【００８８】
【数２５】
2008292845.tif 000027
【００８９】
このE|Θ{・|Θ[n]}は、Θ[n]が与えられた条件での条件付期待値を表す関数を示す。EMアルゴリズムでは、E-stepとM-stepと呼ばれる処理を交互に繰り返すことで、次第に尤度関数を最大化する。このうち、E-stepでは、上記の期待値計算を行い、M-stepではQ関数を最大化するΘを計算する。各繰り返しにともないnを1ずつ増加させながら、次の式４８に従い、Θ[n]を順次更新していく。
【００９０】
【数２６】
2008292845.tif 000028
【００９１】
残響除去において推定すべきパラメータはシングルバーcのみであるので、実際には、Q関数の中のシングルバーcに関係する部分のみを計算すれば良い。この部分を抜き出すと、次の式４９および式５０が得られる。
【００９２】
【数２７】
2008292845.tif 000029
【００９３】
したがって、E-stepにおいては、上式５０の左辺である(シングルバーruτ[n])-1のみを計算すれば良い。これは、次のように式５１から式５４により、計算することができる。
【００９４】
【数２８】
2008292845.tif 000030
【００９５】
ここで、上式の式５２において、次の式５５に示す加算は、時刻τの状態がu'τとなるようなuのすべての組み合わせについての加算を表す。
【００９６】
【数２９】
2008292845.tif 000031
【００９７】
また、上式のs[n]は、n回目の繰り返し推定の結果求まった逆フィルタシングルバーw[n]を観測信号xtに畳込むことで得られる音声信号の推定値を表す。また、上式のp(uτ|s[n];Λ)は、パラメータΛで定まる隠れマルコフモデルの出力がs[n]となるときに、時刻τにおいて状態uτをとる確率密度関数であり、前述のようにForward-backwardアルゴリズムに従い効率的に求めることができる。最後に、M-stepにおいて、次の式５６を解くことで、式４９を最大化する更新式である次の式５７を得る。
【００９８】
【数３０】
2008292845.tif 000032
【００９９】
＜第１の実施形態による残響除去装置の構成＞
以上の第１の実施形態の原理に基づいて、図１を用いて、第１の実施形態による残響除去装置１００の構成について説明する。残響除去装置１００は、接続される音声入力装置、例えば、マイクロフォンにより収音された残響を伴った人の声が観測信号として入力され、入力された観測信号から残響を除去して出力信号として出力する。この残響除去装置１００は、音声状態推定部１と、逆フィルタ推定部２と、音声信号推定部３と、収束判定部４と、初期値推定部５と、を有する。
【０１００】
初期値推定部５は、音声入力装置から観測信号が入力され、入力された観測信号を音声信号の初期推定値として音声状態推定部１に出力する。例えば、初期値推定部５は、後述するように、観測信号を音声信号の初期推定値として、st[0]=xt(1)と定めて、音声状態推定部１に出力する。
【０１０１】
音声状態推定部１は、音声信号の初期推定値を初期値推定部５から入力され、もしくは、音声信号推定部３により推定された音声信号の推定値が音声信号推定部３から入力され、入力された音声信号の初期推定値または入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って、各時刻における音声の離散状態の事後確率密度関数を算出して推定する。
【０１０２】
逆フィルタ推定部２は、音声状態推定部１が推定した各時刻における音声の離散状態の事後確率密度関数と、音声入力装置から入力された観測信号とに基づいて、逆フィルタを推定する。
【０１０３】
音声信号推定部３は、逆フィルタ推定部２が推定した逆フィルタと、音声入力装置から入力された観測信号とに基づいて、入力された観測信号に入力された逆フィルタの推定値を畳込み演算をすることにより、音声信号の推定値を推定する。
【０１０４】
収束判定部４は、音声信号推定部３が推定した音声信号の推定値が入力され、推定した音声信号の推定値の収束を判定し、推定値が収束している場合には、推定を終了するとともに音声信号の当該推定値を出力信号として出力する。
【０１０５】
また、収束判定部４は、逆に、推定値が収束していない場合には、音声信号推定部３が推定した音声信号の推定値を音声状態推定部１に出力し、音声状態推定部１と逆フィルタ推定部２と音声信号推定部３とにより、再度、音声信号を推定し、音声信号の推定値が収束するまで音声信号を推定を繰り返す。
【０１０６】
上記の収束判定部４が、音声信号の推定値が収束するまで、音声状態推定部１、逆フィルタ推定部２、および、音声信号推定部３の処理を繰り返すことで、残響除去装置１００は、各推定の精度を向上させることが出来る。
【０１０７】
なお、収束判定部４は、例えば、内部または外部に音声信号の推定値を記憶する音声信号推定値記憶部を有しており、音声信号推定部３から入力された音声信号の推定値を、音声信号推定値記憶部に記憶する。また、この収束判定部４は、音声信号推定部３が推定した音声信号の推定値が入力されたことに応じて、音声信号推定値記憶部から音声信号の推定値を読み出し、入力された音声信号の推定値と、読み出した音声信号の推定値との差を算出し、算出した差が、予め定められた基準値以下であるか否かを判定することにより、推定した音声信号の推定値の収束を判定する。
【０１０８】
例えば、収束判定部４は、算出した差が、予め定められた基準値以下であることを検出することにより、音声信号の推定値が収束したと判定し、逆に、予め定められた基準値以下でないことを検出することにより、音声信号の推定値が収束していないと判定する。
【０１０９】
＜第１の実施形態による残響除去装置の動作＞
次に、第１の実施形態による残響除去装置１００の動作について、説明する。
（手順１０１）まず、音声状態推定部１が、音声信号の初期推定値を初期値推定部５から入力され、初期値として、n=0、シングルバーc[0]=[1 0 0・・・0]T、st[0]=xt(1)を定める。
（手順１０２）次に、音声状態推定部１が、Forward-backwardアルゴリズムに基づき、st[n]を観測信号とした場合に、隠れマルコフモデル（パラメータΛ）がとる状態系列に関する事後確率密度関数p(uτ|s[n];Λ)を算出する。
【０１１０】
（手順１０３）次に、逆フィルタ推定部２が、音声状態推定部１の算出した事後確率密度関数p(uτ|s[n];Λ)と、式５４とに基づき、(シングルバーruτ[n])-1を算出する。この(シングルバーruτ[n])-1とは、式５１の左辺の項である。
【０１１１】
（手順１０４）次に、逆フィルタ推定部２が、算出した(シングルバーruτ[n])-1と、式５７とに基づき、シングルバーc[n+1]を算出する。
（手順１０５）次に、逆フィルタ推定部２が、式２４に基づき、シングルバーc[n+1]から決まる逆フィルタ（シングルバーw[n+1]）を算出する。
（手順１０６）次に、音声信号推定部３が、逆フィルタ推定部２が算出した逆フィルタ（シングルバーw[n+1]）を、観測信号に畳込んで、音声信号の推定値s[n+1]を求める。
【０１１２】
（手順１０７）次に、収束判定部４が、s[n+1]とs[n]とを比較し、s[n+1]とs[n]との差が予め定めた基準値より小さくなったことを検出することにより、繰り返し推定が収束したと判定し、s[n+1]を残響除去信号として出力して、推定を終了する。逆に、収束判定部４が、s[n+1]とs[n]との差が予め定めた基準値より小さくないことを検出した場合には、繰り返し推定が収束していないと判定し、n=n+1とｎの値をインクリメントして、（手順１０２）からの処理を繰り返す。
【０１１３】
以上の構成とその動作により、逆フィルタを推定することができる。なお、上記の初期値の決定方法については、例えば、乱数で決定するなど、様々な他の選択肢がありえる。また、上記の収束判定については、s[n]の差分以外にも、その他の変数や尤度関数の差分を用いることもできる。もしくは繰り返し推定数を事前に決めておいて、規定回数に達したら繰り返しを終了するという方法も可能である。
【０１１４】
また、上記のアルゴリズムは、背景雑音がない場合を想定して導出したが、背景雑音がある場合についても、その雑音レベルが比較的小さい場合は、そのまま残響除去に利用することができる。すなわち、上記のアルゴリズムでは、式４９を最大にするパラメータとしてシングルバーcを求めているが、これは、次の式５８のコスト関数を最小にするシングルバーcを求めていることと等価である。
【０１１５】
【数３１】
2008292845.tif 000033
【０１１６】
この式５８において、次の式５９に示される項は、次の式６０で定義される重み付き二乗誤差を表す。
【０１１７】
【数３２】
2008292845.tif 000034
【０１１８】
背景雑音がない場合は、式３８を最小化するシングルバーcが逆フィルタの推定値を与えることはすでに述べた。これに対し、背景雑音が含まれている場合、次の式６１によるyτ(l)を、背景雑音を観測信号から取り除いた信号とすると、式５８は次の式６２のように書き換えることができる。
【０１１９】
【数３３】
2008292845.tif 000035
【０１２０】
この式６２の第一項は、前述の説明と同様、最小化することで逆フィルタを推定することができる項である。一方、第二項は、シングルバーcより求まる逆フィルタを背景雑音に適用した際の出力のエネルギーに相当する項であり、この項を最小化することで、残響除去後の背景雑音のレベルを低減することができる。したがって、両方の項を一度に最小化することで、結果として残存する背景雑音のレベルを低く抑えつつ、残響を低減することができる逆フィルタを推定できることになる。厳密な意味で、雑音抑制と残響除去を同時に実現する逆フィルタの存在は一般には保証されていないが、少なくとも、上記のコスト関数を最小化することで、両方の目的を二乗誤差最小の意味において実現する準最適な逆フィルタが推定できることになる。
【０１２１】
＜第２の実施形態＞
＜第２の実施形態による残響除去装置の原理：Viterbiアルゴリズムに基づく方法＞
次に、第２の実施形態による残響除去装置の原理について説明する。第２の実施形態においては、尤度関数を第１の実施形態の式３４のかわりに、次の式６３で定めることで、別の逆フィルタ推定法を構成する。
【０１２２】
【数３４】
2008292845.tif 000036
【０１２３】
ここで、モデルパラメータΘには、逆フィルタの係数シングルバーcと隠れマルコフモデルのパラメータΛに加えて、状態系列uM:1を含め、シングルバーcとuM:1の両方を最適化すべきパラメータとして扱う。上記の尤度関数を最大化する一つの方法は、シングルバーcとuM:1のうち、どちらか一方を固定して、他方を最適化するという操作を順に繰り返すことである。いま、uM:1[n]を固定し、式３９と式４４とに基づき、尤度関数でシングルバーcに関する部分のみを抽出すると、次の式６４が得られる。
【０１２４】
【数３５】
2008292845.tif 000037
【０１２５】
したがって、上式の式６４を最大化する値として、シングルバーcは、次の式６５のように更新できる。
【０１２６】
【数３６】
2008292845.tif 000038
【０１２７】
次に、シングルバーc[n+1]を固定して、シングルバーc[n+1]と観測信号xtから求まる音声信号の推定値をst[n+1]と書くと、式３９と式４４式とに基づき、残響除去の尤度関数はst[n+1]を出力時系列とした場合の隠れマルコフモデルの尤度関数と等価になる。したがって、隠れマルコフモデルの尤度を最大にする状態系列はViterbiアルゴリズムにより求めることができる。
【０１２８】
＜第２の実施形態による残響除去装置の構成＞
以上の第２の実施形態の原理に基づいて、図２を用いて、第２の実施形態による残響除去装置１０１の構成について説明する。残響除去装置１０１は、接続される音声入力装置、例えば、マイクロフォンにより収音された残響を伴った人の声が観測信号として入力され、入力された観測信号から残響を除去して出力信号として出力する。この残響除去装置１０１は、音声状態推定部１１と、逆フィルタ推定部１２と、音声信号推定部３と、収束判定部４と、初期値推定部５と、を有する。同図において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。
【０１２９】
音声状態推定部１１は、音声信号の初期推定値を初期値推定部５から入力され、もしくは、音声信号推定部３により推定された音声信号の推定値が音声信号推定部３から入力され、入力された音声信号の初期推定値または入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って、音声信号の尤度を最大にする離散状態の時系列を推定する。
【０１３０】
逆フィルタ推定部１２は、音声状態推定部１１が推定した音声信号の尤度を最大にする離散状態の時系列と、音声入力装置から入力された観測信号とに基づいて、逆フィルタを推定する。
【０１３１】
他の構成は、残響除去装置１０１と残響除去装置１００とは同様であるので、残響除去装置１０１は残響除去装置１００と同様に、収束判定部４が、音声信号の推定値が収束するまで、音声状態推定部１１、逆フィルタ推定部１２、および、音声信号推定部３の処理を繰り返すことで、各推定の精度を向上させることが出来る。
【０１３２】
＜第２の実施形態による残響除去装置の動作＞
次に、第２の実施形態による残響除去装置１０１の動作について、説明する。
（手順２０１）まず、音声状態推定部１１が、音声信号の初期推定値を初期値推定部５から入力され、初期値として、n=0、シングルバーc[0]=[1 0 0・・・0]T、st[0]=xt(1)を定める。
（手順２０２）次に、音声状態推定部１１が、Viterbiアルゴリズムに基づき、st[n]を観測信号とした場合に、隠れマルコフモデル（パラメータΛ）の尤度を最大にする状態系列を推定し、uτ[n]とする。
【０１３３】
（手順２０３）次に、逆フィルタ推定部１２が、音声状態推定部１１の推定した隠れマルコフモデル（パラメータΛ）の尤度を最大にする状態系列uτ[n]と、式６５とに基づき、シングルバーc[n+1]を算出する。
（手順２０４）次に、逆フィルタ推定部１２が、式２４に基づき、シングルバーc[n+1]から逆フィルタ（シングルバーw[n+1]）を算出する。
（手順２０５）次に、音声信号推定部３が、逆フィルタ推定部１２が算出した逆フィルタ（シングルバーw[n+1]）を、観測信号に畳込んで、音声信号の推定値s[n+1]を求める。
【０１３４】
（手順２０６）次に、収束判定部４が、s[n+1]とs[n]とを比較し、s[n+1]とs[n]との差が予め定めた基準値より小さくなったことを検出することにより、繰り返し推定が収束したと判定し、s[n+1]を残響除去信号として出力して、推定を終了する。逆に、収束判定部４が、s[n+1]とs[n]との差が予め定めた基準値より小さくないことを検出した場合には、繰り返し推定が収束していないと判定し、n=n+1とｎの値をインクリメントし、（手順２０２）からの処理を繰り返す。
【０１３５】
初期値の推定方法や収束の判定方法については、第２の実施形態による残響除去装置１０１は、第１の実施形態による残響除去装置１００と同様に、様々な選択肢を考えることができる。また、第２の実施形態による残響除去装置１０１の手法は、第１の実施形態による残響除去装置１００と同様に、背景雑音に対してもある程度頑健に動作することが可能である。
【０１３６】
なお、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って、残響除去装置１００の音声状態推定部１は、各時刻における音声の離散状態の事後確率密度関数を推定することにより状態系列を確率的に推定し、また、残響除去装置１０１の音声状態推定部１１は、音声信号の統計的性質を表す隠れマルコフモデルとに従って音声信号の尤度を最大にする離散状態の時系列を推定することにより状態系列を確定的に推定している。つまり、この音声状態推定部１または１１は、音声信号の初期推定値もしくは入力された音声信号の推定値と、音声信号の統計的性質を表す隠れマルコフモデルとに従って、音声信号の離散状態の推定値を推定している。
【０１３７】
＜実験結果＞
次に、図３を用いて、本実施形態による音声の確率モデルに基づく残響除去法の効果を確認した実験結果について説明する。ここでは、ATR（Advanced Telecommunications Research Institute International）音声データベースの女性話者(FKM)による5240単語の発話を用いて、隠れマルコフモデルを作成した。また、観測信号は、事前に測定した2チャンネルの室内インパルス応答(RT60=0.5秒)を女性の発話音声に畳込むことで合成した。また、標本化周波数を8kHz、Ls=9216、K=4000、N=64、および、Ns=1024とした。
【０１３８】
上記のように生成した観測信号に対して、第２の実施形態による残響除去装置１０１により残響除去を実行し、残響除去後の音声の品質に基づいて評価した。また、この実験においては、各チャンネルの逆フィルタのフィルタ長を3000とした。また、1単語の観測信号を用意した。また、図３（ｂ）では、シングルバーstの初期値として、観測信号シングルバーxtをそのまま用いた。
【０１３９】
クリーン音声、残響を付加した音声、および5回の繰り返し推定後の残響除去後の音声のスペクトログラムを、それぞれ、図３（ａ）、図３（ｂ）、図３（ｃ）に示す。なお、これらは、単語「ばくだい」を発話した場合の、スペクトログラムである。この図より、残響除去装置１０１は、残響を除去することができ、明らかに信号の品質を大変良く回復できていることがわかる。なお、ここでは残響除去装置１０１についてのみ、その効果を説明したが、残響除去装置１００についても、同様である。
【０１４０】
以上のように、本実施形態では、音声信号の時系列に関する確率モデルに基づき、結果として得られる音声信号がより音声らしい信号になるように逆フィルタを推定する推定部を与える。この音声の確率モデルを利用することの利点は、音声らしさを定量的に評価できるようになること、すなわち、確率に基づく評価関数を定義できることである。これにより、室内インパルス応答の推定値が与えられていない場合でも、音声の確率モデルに基づき観測信号を確率的により音声信号らしい信号に変換する逆フィルタを求めることができ、比較的少ない数のマイクロフォンで高品質な残響除去を実現できるようになる。
【０１４１】
より具体的には、本実施形態では、複数のマイクロフォンで測定された観測信号に対し、音声信号の時系列本来の統計的性質をモデル化した隠れマルコフモデルに基づき、観測信号の尤度を最大化するパラメータを推定することで逆フィルタを推定し、推定した逆フィルタに基づき音声信号を推定することで、少ないマイクロフォンで残響除去が実現できる。
【０１４２】
なお、図１における残響除去装置１００または図２における残響除去装置１０１の各部は、専用のハードウェアにより実現されるものであってもよく、また、この各部はメモリおよびＣＰＵ（中央演算装置）により構成され、各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１４３】
また、図１における残響除去装置１００または図２における残響除去装置１０１が有する各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、図１における残響除去装置１００または図２における残響除去装置１０１が有する各部の機能を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１４４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１４５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【０１４６】
【図１】第１の実施形態による残響除去装置の構成を示すブロック図である。
【図２】第２の実施形態による残響除去装置の構成を示すブロック図である。
【図３】実施形態の残響除去装置により残響除去をする前と後の音声信号のスペクトログラムを示す説明図である。
【図４】従来技術１による残響除去装置の構成を示すブロック図である。
【図５】従来技術２による残響除去装置の構成を示すブロック図である。
【符号の説明】
【０１４７】
１、１１  音声状態推定部
２、１２  逆フィルタ推定部
３  音声信号推定部
４  収束判定部
５  初期値推定部
１００、１０１  残響除去装置
【図１】
2008292845.tif 000039
【図２】
2008292845.tif 000040
【図３】
2008292845.tif 000041
【図４】
2008292845.tif 000042
【図５】
2008292845.tif 000043