(57)【特許請求の範囲】
【請求項１】
複数チャネルの音響信号から音源の方向を推定する音源定位部と、
前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離部と、
前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位部が推定した音源の方向に基づいて前記音源の種類を定める音源同定部と、を備え、
前記音源同定部は、一の音源と音源の種類が同一である他の音源の方向が前記一の音源の方向から所定範囲内であるとき、前記他の音源が前記一の音源と同一であると判定する
音響処理装置。
【請求項２】
複数チャネルの音響信号から音源の方向を推定する音源定位部と、
前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離部と、
前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位部が推定した音源の方向に基づいて前記音源の種類を定める音源同定部と、を備え、
前記音源同定部は、前記音源別音響信号について、前記モデルデータを用いて音源の種類毎の確率を算出し、
前記音源別音響信号に係る一の音源と音源の種類が同一である他の音源の方向と、前記一の音源の方向との差が小さいほど高い値をとる第１因子を用いて前記確率が大きくなるように調整し、
前記調整により得られる補正確率が最も高い音源の種類を前記一の音源の種類として定める
音響処理装置。
【請求項３】
前記音源同定部は、前記音源定位部が推定した音源の方向に係る存在確率である第２因子を用いて前記確率を調整し、
前記調整により得られる補正確率が最も高い音源の種類を前記一の音源の種類として定める
請求項２に記載の音響処理装置。
【請求項４】
前記音源同定部は、前記音源定位部が方向を推定した音源について、検出される音源の種類毎の音源の数が高々１個であると判定する請求項１から請求項３のいずれか一項に記載の音響処理装置。
【請求項５】
音響処理装置における音響処理方法であって、
複数チャネルの音響信号から音源の方向を推定する音源定位ステップと、
前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離ステップと、
前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位ステップで推定された音源の方向に基づいて前記音源の種類を定める音源同定ステップと、
を有し、
前記音源同定ステップは、一の音源と音源の種類が同一である他の音源の方向が前記一の音源の方向から所定範囲内であるとき、前記他の音源が前記一の音源と同一であると判定する
音響処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理装置及び音響処理方法に関する。
【背景技術】
【０００２】
環境理解において音環境の情報を取得することは重要な要素であり、人工知能を備えたロボットなどへの応用が期待されている。音環境の情報を取得するために、音源定位、音源分離、音源同定、発話区間検出、音声認識などの要素技術が用いられる。一般に、音環境において種々の音源がそれぞれ異なる位置に所在している。音環境の情報を取得するために収音点においてマイクロホンアレイなどの収音部が用いられる。収音部では、各音源からの音響信号が重畳した混合音の音響信号が取得される。
【０００３】
これまで、混合音に対する音源同定を行うために、収音された音響信号について音源定位を行い、その処理結果として各音源の方向に基づいて当該音響信号について音源分離を行うことにより、音源毎の音響信号を取得していた。
例えば、特許文献１に記載の音源方向推定装置は、複数チャネルの音響信号について音源定位部と、音源定位部が推定した各音源の方向に基づいて音源毎の音響信号を複数チャネルの音響信号から分離する音源分離部を備える。当該音源方向推定装置は、分離された音源毎の音響信号に基づいて音源毎のクラス情報を決定する音源同定部を備える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０４２４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した音源同定では分離された音源毎の音響信号が用いられるが、音源同定において音源の方向に関する情報が陽に用いられない。音源分離によって得られる音源毎の音響信号には、他の音源の成分が混合されることがある。そのため、十分な音源同定の性能が得られないことがあった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、音源同定の性能を向上することができる音響処理装置及び音響処理方法を提供する。
【課題を解決するための手段】
【０００７】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数チャネルの音響信号から音源の方向を推定する音源定位部と、前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離部と、前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位部が推定した音源の方向に基づいて前記音源の種類を定める音源同定部と、を備え、前記音源同定部は、一の音源と音源の種類が同一である他の音源の方向が前記一の音源の方向から所定範囲内であるとき、前記他の音源が前記一の音源と同一であると判定する音響処理装置である。
【０００９】
（２）本発明の他の態様は、複数チャネルの音響信号から音源の方向を推定する音源定位部と、前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離部と、前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位部が推定した音源の方向に基づいて前記音源の種類を定める音源同定部と、を備え、前記音源同定部は、前記音源別音響信号について、前記モデルデータを用いて音源の種類毎の確率を算出し、前記音源別音響信号に係る一の音源と音源の種類が同一である他の音源の方向と、前記一の音源の方向との差が小さいほど高い値をとる第１因子を用いて前記確率が大きくなるように調整し、前記調整により得られる補正確率が最も高い音源の種類を前記一の音源の種類として定める音響処理装置である。
【００１０】
（３）本発明の他の態様は、（２）の音響処理装置であって、前記音源同定部は、前記音源定位部が推定した音源の方向に係る存在確率である第２因子を用いて前記確率を調整し、
前記調整により得られる補正確率が最も高い音源の種類を前記一の音源の種類として定める。
【００１１】
（４）本発明の他の態様は、（１）から（３）のいずれかの音響処理装置であって、前記音源同定部は、前記音源定位部が方向を推定した音源について、検出される音源の種類毎の音源の数が高々１個であると判定する。
【００１２】
（５）本発明の他の態様は、音響処理装置における音響処理方法であって、音響処理装置における音響処理方法であって、複数チャネルの音響信号から音源の方向を推定する音源定位ステップと、前記複数チャネルの音響信号から前記音源の成分を表す音源別音響信号に分離する音源分離ステップと、前記音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、前記音源定位ステップで推定された音源の方向に基づいて前記音源の種類を定める音源同定ステップと、を有し、前記音源同定ステップは、一の音源と音源の種類が同一である他の音源の方向が前記一の音源の方向から所定範囲内であるとき、前記他の音源が前記一の音源と同一であると判定する音響処理方法である。
【発明の効果】
【００１３】
上述した（１）又は（５）の構成によれば、分離された音源別音響信号について、その音源の方向を手がかりとして音源の種類が定められる。そのため、音源同定の性能が向上する。また、一の音源からその方向が近い他の音源が一の音源と同一の音源と判定される。そのため、本来１個の音源が音源定位により互いに方向が近い複数の音源として検出される場合でも、それぞれの音源に係る処理が避けられ１個の音源として音源の種類が定められる。そのため、音源同定の性能が向上する。
【００１５】
上述した（２）の構成によれば、一の音源と方向が近く音源の種類が同一である他の音源について、その音源の種類との判定が促される。そのため、本来１個の音源が音源定位により互いに方向が近い複数の音源として検出される場合でも、１個の音源として音源の種類が正しく判定される。
【００１６】
上述した（３）の構成によれば、推定される音源の方向に応じて音源の種類毎に音源が存在する可能性を考慮して音源の種類が正しく判定される。
【００１７】
上述した（４）の構成によれば、それぞれ異なる方向に所在する音源の種類が異なることを考慮して音源の種類が正しく判定される。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る音響処理システムの構成を示すブロック図である。
【図２】ウグイスの鳴き声のスペクトログラムの例を示す図である。
【図３】第１の実施形態に係るモデルデータ生成処理を示すフローチャートである。
【図４】第１の実施形態に係る音源同定部の構成を示すブロック図である。
【図５】第１の実施形態に係る音源同定処理を示すフローチャートである。
【図６】第１の実施形態に係る音声処理を示すフローチャートである。
【図７】第２の実施形態に係る音源同定部の構成を示すブロック図である。
【図８】音ユニットＮグラムモデルの例を示す図である。
【図９】音ユニット群Ｎグラムモデルの例を示す図である。
【図１０】ＮＰＹ過程で生成されるＮＰＹモデルの例を示す図である。
【図１１】第２の実施形態に係る区切りデータ生成処理を示すフローチャートである。
【図１２】区間毎に判定される音源の種類の例を示す図である。
【図１３】音源同定の正答率の例を示す図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る音響処理システム１の構成を示すブロック図である。
音響処理システム１は、音響処理装置１０と、収音部２０と、を含んで構成される。
音響処理装置１０は、収音部２０から入力されるＰチャネル（Ｐは、２以上の整数）の音響信号から音源の方向を推定し、当該音響信号から音源毎の成分を表す音源別音響信号に分離する。また、音響処理装置１０は、音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、推定した音源の方向に基づいて音源の種類を定める。音響処理装置１０は、定めた音源の種類を示す音源種類情報を出力する。
【００２０】
収音部２０は、自部に到来した音を収音し、収音した音からＰチャネルの音響信号を生成する。収音部２０は、それぞれ異なる位置に配置されたＰ個の電気音響変換素子（マイクロホン）から形成される。収音部２０は、例えば、Ｐ個の電気音響変換素子の相互間の位置関係が固定されたマイクロホンアレイである。収音部２０は、生成したＰチャネルの音響信号を音響処理装置１０に出力する。収音部２０は、Ｐチャネルの音響信号を無線又は有線で送信するためのデータ入出力インタフェースを備えてもよい。
【００２１】
音響処理装置１０は、音響信号入力部１１、音源定位部１２、音源分離部１３、音源同定部１４、出力部１５、及びモデルデータ生成部１６を含んで構成される。
音響信号入力部１１は、収音部２０から入力されるＰチャネルの音響信号を音源定位部１２に出力する。音響信号入力部１１は、例えば、データ入出力インタフェースを含んで構成される。音響信号入力部１１には、収音部２０とは別個の機器、例えば、録音機、コンテンツ編集装置、電子計算機、その他の記憶媒体を備えて機器からＰチャネルの音響信号が入力されてもよい。その場合には、収音部２０は省略されてもよい。
【００２２】
音源定位部１２は、音響信号入力部１１から入力されたＰチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、２０ｍｓ）毎に定める（音源定位）。音源定位部１２は、音源定位において、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ  Ｓｉｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ；多重信号分類）法を用いて方向毎のパワーを示す空間スペクトルを算出する。音源定位部１２は、空間スペクトルに基づいて音源毎の音源方向を定める。この時点において定められる音源の数は、１個である場合もあるし、複数である場合もある。以下の説明では、時刻ｔのフレームにおけるｋｔ番目の音源方向をｄｋｔ、検出される音源の数をＫｔと表す。音源定位部１２は、音源同定を行う際には（オンライン処理）、定めた音源毎の音源方向を示す音源方向情報を、音源分離部１３及び音源同定部１４に出力する。音源方向情報は、各音源の方向［ｄ］（＝［ｄ１，ｄ２，…，ｄｋｔ，…，ｄＫｔ］；０≦ｄｋｔ＜２π，１≦ｋｔ≦Ｋｔ）を表す情報である。また、音源定位部１２は、Ｐチャネルの音響信号を音源分離部１３に出力する。音源定位の具体例については、後述する。
【００２３】
音源分離部１３には、音源定位部１２から音源方向情報とＰチャネルの音響信号が入力される。音源分離部１３は、Ｐチャネルの音響信号を音源方向情報が示す音源方向に基づいて音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部１３は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）法を用いる。以下、時刻ｔのフレームにおける音源ｋｔの音源別音響信号Ｓｋｔと表す。音源分離部１３は、音源同定を行う際には（オンライン処理）、分離した音源毎の音源別音響信号を音源同定部１４に出力する。
【００２４】
音源同定部１４は、音源定位部１２から音源方向情報と、音源分離部１３から音源毎の音源別音響信号が入力される。音源同定部１４には、音源の方向と音源の種類との関係を示すモデルデータが予め設定されている。音源同定部１４は、音源別音響信号についてモデルデータを用いて音源方向情報が示す当該音源の方向に基づいて音源毎にその音源の種類を定める。音源同定部１４は、定めた音源の種類を示す音源種類情報を生成し、生成した音源種類情報を出力部１５に出力する。音源同定部１４は、音源毎に音源種類情報に、音源別音源信号と音源方向情報を対応付けて出力部１５に出力してもよい。音源同定部１４の構成、モデルデータの構成については、後述する。
【００２５】
出力部１５は、音源同定部１４から入力された音源種類情報を出力する。出力部１５は、音源毎に音源種類情報に音源別音源信号と音源方向情報を対応付けて出力してもよい。出力部１５は、他の機器に各種の情報を出力する入出力インタフェースを含んで構成されてもよいし、これらの情報を記憶する記憶媒体を含んで構成されてもよい。また、出力部１５は、これらの情報を表示する表示部（ディスプレイ等）を含んで構成されてもよい。
【００２６】
モデルデータ生成部１６は、音源毎の音源別音響信号、音源毎の音源の種類及び音ユニットに基づいてモデルデータを生成（学習）する。モデルデータ生成部１６は、音源分離部１３から入力された音源別音響信号を用いてもよいし、予め取得した音源別音響信号を用いてもよい。モデルデータ生成部１６は、生成したモデルデータを音源同定部１４に設定する。モデルデータ生成処理については、後述する。
【００２７】
（音源定位）
次に、音源定位の一手法であるＭＵＳＩＣ法について説明する。
ＭＵＳＩＣ法は、以下に説明する空間スペクトルのパワーＰｅｘｔ（ψ）が極大であって、所定のレベルよりも高い方向ψを音源方向として定める手法である。音源定位部１２が備える記憶部には、予め所定の間隔（例えば、５°）で分布した音源方向ψ毎の伝達関数を記憶させておく。音源定位部１２は、音源から各チャネルｐ（ｐは、１以上Ｐ以下の整数）に対応するマイクロホンまでの伝達関数Ｄ［ｐ］（ω）を要素とする伝達関数ベクトル［Ｄ（ψ）］を音源方向ψ毎に生成する。
【００２８】
音源定位部１２は、各チャネルｐの音響信号ｘｐを所定のサンプル数からなるフレーム毎に周波数領域に変換することによって変換係数ｘｐ（ω）を算出する。音源定位部１２は、算出した変換係数を要素として含む入力ベクトル［ｘ（ω）］から式（１）に示す入力相関行列［Ｒｘｘ］を算出する。
【００２９】
【数１】
0006501260.tif 000002
【００３０】
式（１）において、Ｅ［…］は、…の期待値を示す。［…］は、…が行列又はベクトルであることを示す。［…］＊は、行列又はベクトルの共役転置（ｃｏｎｊｕｇａｔｅ  ｔｒａｎｓｐｏｓｅ）を示す。
音源定位部１２は、入力相関行列［Ｒｘｘ］の固有値δｉ及び固有ベクトル［ｅｉ］を算出する。入力相関行列［Ｒｘｘ］、固有値δｉ、及び固有ベクトル［ｅｉ］は、式（２）に示す関係を有する。
【００３１】
【数２】
0006501260.tif 000003
【００３２】
式（２）において、ｉは、１以上Ｐ以下の整数である。インデックスｉの順序は、固有値δｉの降順である。
音源定位部１２は、伝達関数ベクトル［Ｄ（ψ）］と算出した固有ベクトル［ｅｉ］に基づいて、式（３）に示す周波数別空間スペクトルのパワーＰｓｐ（ψ）を算出する。
【００３３】
【数３】
0006501260.tif 000004
【００３４】
式（３）において、Ｋは、検出可能な音源の最大個数（例えば、２）である。Ｋは、Ｐよりも小さい予め定めた自然数である。
音源定位部１２は、Ｓ／Ｎ比が予め定めた閾値（例えば、２０ｄＢ）よりも大きい周波数帯域における空間スペクトルＰｓｐ（ψ）の総和を全帯域の空間スペクトルのパワーＰｅｘｔ（ψ）として算出する。
【００３５】
なお、音源定位部１２は、ＭＵＳＩＣ法に代えて、その他の手法を用いて音源位置を算出してもよい。例えば、重み付き遅延和ビームフォーミング（ＷＤＳ−ＢＦ：Ｗｅｉｇｈｔｅｄ  Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ  Ｂｅａｍ  Ｆｏｒｍｉｎｇ）法が利用可能である。ＷＤＳ−ＢＦ法は、式（４）に示すように各チャネルｐの全帯域の音響信号ｘｐ（ｔ）の遅延和の二乗値を空間スペクトルのパワーＰｅｘｔ（ψ）として算出し、空間スペクトルのパワーＰｅｘｔ（ψ）が極大となる音源方向ψを探索する手法である。
【００３６】
【数４】
0006501260.tif 000005
【００３７】
式（４）において［Ｄ（ψ）］の各要素が示す伝達関数は、音源から各チャネルｐ（ｐは、１以上Ｐ以下の整数）に対応するマイクロホンまでの位相の遅延による寄与を示し、減衰が無視されている。つまり、各チャネルの伝達関数の絶対値が１である。［ｘ（ｔ）］は、時刻ｔの時点における各チャネルｐの音響信号ｘｐ（ｔ）の信号値を要素とするベクトルである。
【００３８】
（音源分離）
次に、音源分離の一手法であるＧＨＤＳＳ法について説明する。
ＧＨＤＳＳ法は、２つのコスト関数（ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）として、分離尖鋭度（Ｓｅｐａｒａｔｉｏｎ  Ｓｈａｒｐｎｅｓｓ）ＪＳＳ（［Ｖ（ω）］）と幾何制約度（Ｇｅｏｍｅｔｒｉｃ  Ｃｏｎｓｔｒａｉｎｔ）ＪＧＣ（［Ｖ（ω）］）が、それぞれ減少するように分離行列［Ｖ（ω）］を適応的に算出する方法である。分離行列［Ｖ（ω）］は、音源定位部１２から入力されたＰチャネルの音声信号［ｘ（ω）］に乗じることによって、検出される最大Ｋ個の音源それぞれの音源別音声信号（推定値ベクトル）［ｕ’（ω）］を算出するために用いられる行列である。ここで、［…］Ｔは、行列又はベクトルの転置を示す。
【００３９】
分離尖鋭度ＪＳＳ（［Ｖ（ω）］）、幾何制約度ＪＧＣ（［Ｖ（ω）］）は、それぞれ、式（５）、（６）のように表される。
【００４０】
【数５】
0006501260.tif 000006
【００４１】
【数６】
0006501260.tif 000007
【００４２】
式（５）、（６）において、｜｜…｜｜２は、行列…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ  ｎｏｒｍ）である。フロベニウスノルムとは、行列を構成する各要素値の二乗和（スカラー値）である。φ（［ｕ’（ω）］）は、音声信号［ｕ’（ω）］の非線形関数、例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ  ｔａｎｇｅｎｔ  ｆｕｎｃｔｉｏｎ）である。ｄｉａｇ［…］は、行列…の対角成分の総和を示す。従って、分離尖鋭度ＪＳＳ（［Ｖ（ω）］）は、音声信号（推定値）のスペクトルのチャネル間非対角成分の大きさ、つまり、ある１つの音源が他の音源として誤って分離される度合いを表す指標値である。また、式（６）において、［Ｉ］は、単位行列を示す。従って、幾何制約度ＪＧＣ（［Ｖ（ω）］）とは、音声信号（推定値）のスペクトルと音声信号（音源）のスペクトルとの誤差の度合いを表す指標値である。
【００４３】
（モデルデータ）
モデルデータは、音ユニットデータ、第１因子データ及び第２因子データを含んで構成される。
音ユニットデータは、音源の各種類について音を構成する音ユニット毎の統計的な性質を示すデータである。音ユニットとは、音源が発する音の構成単位である。音ユニットは、人間が発声した音声の音韻に相当する。つまり、音源が発する音は、１個又は複数の音ユニットを含んで構成される。図２は、１秒間のウグイスの鳴き声「ホーホケキョ」のスペクトログラムを示す。図２に示す例では、区間Ｕ１、Ｕ２は、それぞれ「ホーホ」、「ケキョ」に相当する音ユニットの部分である。ここで、縦軸、横軸は、それぞれ周波数、時刻を示す。濃淡は、周波数毎のパワーの大きさを表す。濃い部分ほどパワーが大きく、薄い部分ほどパワーが小さい。区間Ｕ１では周波数スペクトルは緩やかなピークを有し、ピーク周波数の時間変化は緩やかである。これに対し、区間Ｕ２では周波数スペクトルは鋭いピークを有し、ピーク周波数の時間変化がより著しい。このように、音ユニット間において、周波数スペクトルの特性が明らかに異なる。
【００４４】
音ユニットは、所定の統計分布として、例えば、多変量ガウス分布を用いてその統計的な性質を表すことができる。例えば、音響特徴量［ｘ］が与えられるとき、その音ユニットが音源の種類ｃのｊ番目の音ユニットｓｃｊである確率ｐ（［ｘ］，ｓｃｊ，ｃ）は、式（７）で表される。
【００４５】
【数７】
0006501260.tif 000008
【００４６】
式（７）において、Ｎｃｊ（［ｘ］）は、音ユニットｓｃｊに係る音響特徴量［ｘ］の確率分布ｐ（［ｘ］｜ｓｃｊ）が多変量ガウス分布であることを示す。ｐ（ｓｃｊ｜Ｃ＝ｃ）は、音源の種類Ｃがｃであるとき、音ユニットｓｃｊをとる条件付き確率を示す。従って、音源の種類Ｃがｃであることを条件とする、音ユニットｓｃｊをとる条件付き確率の総和Σｊｐ（ｓｃｊ｜Ｃ＝ｃ）は１である。ｐ（Ｃ＝ｃ）は、音源の種類Ｃがｃである確率を示す。上述した例では、音ユニットデータは、音源の種類毎の確率ｐ（Ｃ＝ｃ）、音源の種類Ｃがｃであるときの音ユニットｓｃｊ毎の条件付き確率ｐ（ｓｃｊ｜Ｃ＝ｃ）、音ユニットｓｃｊに係る多変量ガウス分布の平均値（ｍｅａｎ）、共分散行列（ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）を含んで構成される。音ユニットデータは、音響特徴量［ｘ］が与えられるとき、音ユニットｓｃｊ又は音ユニットｓｃｊを含んで構成される音源の種類ｃを判定する際に用いられる。
【００４７】
第１因子データは、第１因子を算出する際に用いられるデータである。第１因子は、一の音源が他の音源と同一である度合いを示すパラメータであって、一の音源の方向と他の音源の方向との差が小さいほど高い値をとる。第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、例えば、式（８）で与えられる。
【００４８】
【数８】
0006501260.tif 000009
【００４９】
式（８）の左辺において、Ｃ―ｋｔは、その時点の時刻ｔにおいて検出された一の音源ｋｔとは異なる音源の種類を示すのに対し、Ｃｋｔは、時刻ｔにおいて検出された一の音源ｋｔの種類を示す。即ち、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、時刻ｔにおいて検出されるｋｔ番目の音源ｋｔの種類がｋｔ番目以外の音源の種類と同一の種類ｃであるとき、一度に検出される音源の種類毎の音源の数が高々１個であることを仮定して算出される。言い換えれば、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、２個以上の音源方向について音源の種類が同一である場合、その２個以上の音源が同一の音源である度合いを示す指標値である。
【００５０】
式（８）の右辺において、ｑ（Ｃｋ’ｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、例えば、式（９）で与えられる。
【００５１】
【数９】
0006501260.tif 000010
【００５２】
式（９）において、左辺は、音源ｋｔ’の種類Ｃｋｔ’と音源ｋｔの種類Ｃｋｔがともにｃであるときにｑ（Ｃｋ’ｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）が与えられることを示す。右辺は、音源ｋｔ’の種類Ｃｋｔ’がｃである確率ｐ（Ｃｋｔ’＝ｃ）のＤ（ｄｋｔ’，ｄｋｔ）乗であることを示す。Ｄ（ｄｋｔ’，ｄｋｔ）は、例えば、｜ｄｋｔ’−ｄｋｔ｜／πである。確率ｐ（Ｃｋｔ’＝ｃ）は、０から１の間の実数であることから、式（９）の右辺は、音源ｋｔ’の方向ｄｋｔ’から音源ｋｔ’の方向ｄｋｔ’の差が小さいほど大きい。そのため、式（８）で与えられる第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、音源ｋｔの方向ｄｋｔと、音源の種類ｃが同一である他の音源ｋｔ’の方向ｄｋｔ’の差が小さいほど大きくなり、その差が大きいほど第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は小さくなる。上述した例では、第１因子データは、音源ｋｔ’の種類Ｃｋｔ’がｃである確率ｐ（Ｃｋｔ’＝ｃ）、関数Ｄ（ｄｋｔ’，ｄｋｔ）を含んで構成される。但し、確率ｐ（Ｃｋｔ’＝ｃ）に代えて、音ユニットデータに含まれる音源の種類毎の確率ｐ（Ｃ＝ｃ）が利用可能である。そのため、第１因子データにおいて確率ｐ（Ｃｋｔ’＝ｃ）は省略可能である。
【００５３】
第２因子データは、第２因子を算出する際に用いられるデータである。第２因子は、音源が静止又は所定の範囲内に所在している場合に、音源の種類毎の音源方向情報が示す音源の方向にその音源が存在する確率である。即ち、第２モデルデータは、音源の種類毎の方向分布（ヒストグラム）を含む。第２因子データは、移動音源について設定されなくてもよい。
【００５４】
（モデルデータの生成）
次に、本実施形態に係るモデルデータ生成処理について説明する。
図３は、本実施形態に係るモデルデータ生成処理を示すフローチャートである。
（ステップＳ１０１）モデルデータ生成部１６は、予め取得した音源別音響信号について、その区間毎に音源の種類と音ユニットとを対応付ける（アノテーション）。モデルデータ生成部１６は、例えば、音源別音響信号のスペクトログラムをディスプレイに表示させる。モデルデータ生成部１６は、入力デバイスからの音源の種類、音ユニット及び区間を示す操作入力信号に基づいて、当該区間と音源の種類と音ユニットを対応付ける（図２参照）。その後、ステップＳ１０２に進む。
【００５５】
（ステップＳ１０２）モデルデータ生成部１６は、音源の種類と音ユニットを区間毎に対応付けた音源別音響信号に基づいて音ユニットデータを生成する。より具体的には、モデルデータ生成部１６は、音源の種類毎の区間の割合を、音源の種類毎の確率ｐ（Ｃ＝ｃ）として算出する。また、モデルデータ生成部１６は、各音源の種類について音ユニット毎の区間の割合を音ユニットｓｃｊ毎の条件付き確率ｐ（ｓｃｊ｜Ｃ＝ｃ）として算出する。モデルデータ生成部１６は、音ユニットｓｃｊ毎の音響特徴量［ｘ］の平均値と共分散行列を算出する。その後、ステップＳ１０３に進む。
【００５６】
（ステップＳ１０３）モデルデータ生成部１６は、第１因子モデルとして、関数Ｄ（ｄｋｔ’，ｄｋｔ）とそのパラメータを示すデータを取得する。例えば、モデルデータ生成部１６は、入力デバイスからそのパラメータを示す操作入力信号を取得する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）モデルデータ生成部１６は、第２因子モデルとして、音源の種類毎に音源別音響信号の区間毎の音源の方向の頻度（方向分布）を表すデータを生成する。モデルデータ生成部１６は、方向間の累積頻度が音源の種類によらず所定の値（例えば、１）となるように、方向分布を正規化してもよい。その後、図３に示す処理を終了する。モデルデータ生成部１６は、取得した音ユニットデータ、第１因子モデル、第２因子モデルを音源同定部１４に設定する。なお、ステップＳ１０２、Ｓ１０３、Ｓ１０４の実行順序は、上述の順序に限られず、任意の順位であってもよい。
【００５７】
（音源同定部の構成）
次に、本実施形態に係る音源同定部１４の構成について説明する。
図４は、本実施形態に係る音源同定部１４の構成を示すブロック図である。
音源同定部１４は、モデルデータ記憶部１４１、音響特徴量算出部１４２及び音源推定部１４３を含んで構成される。モデルデータ記憶部１４１には、予めモデルデータを記憶させておく。
【００５８】
音響特徴量算出部１４２は、音源分離部１３から入力された音源毎の音源別音響信号についてフレーム毎に、その物理的な特徴を示す音響特徴量を算出する。音響特徴量は、例えば、周波数スペクトルである。音響特徴量算出部１４２は、周波数スペクトルについて主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を行って得られた主成分を音響特徴量として算出してもよい。主成分分析において、音源の種類の差異に寄与する成分が主成分として算出される。そのため、周波数スペクトルよりも次元が低くなる。なお、音響特徴量として、メルスケール対数スペクトル（ＭＳＬＳ：Ｍｅｌ  Ｓｃａｌｅ  Ｌｏｇ  Ｓｐｒｃｔｒｕｍ）、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）なども利用可能である。
音響特徴量算出部１４２は、算出した音響特徴量を音源推定部１４３に出力する。
【００５９】
音源推定部１４３は、音響特徴量算出部１４２から入力された音響特徴量について、モデルデータ記憶部１４１に記憶された音ユニットデータを参照して、音源の種類ｃの音ユニットｓｃｊである確率ｐ（［ｘ］，ｓｃｊ，ｃ）を算出する。音源推定部１４３は、確率ｐ（［ｘ］，ｓｃｊ，ｃ）の算出の際、例えば、式（７）を用いる。音源推定部１４３は、算出した確率ｐ（［ｘ］，ｓｃｊ，ｃ）を各時刻ｔにおける音源ｋｔ毎に音ユニットｓｃｊ間で総和をとることによって音源の種類ｃ毎の確率ｐ（Ｃｋｔ＝ｃ｜［ｘ］）を算出する。
【００６０】
音源推定部１４３は、音源定位部１２から入力された音源方向情報が示す各音源についてモデルデータ記憶部１４１に記憶された第１因子データを参照して、第１因子（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）を算出する。第１因子（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）を算出する際、音源推定部１４３は、例えば、式（８）、（９）を用いる。ここで、音源方向情報が示す各音源について、一度に検出される音源の種類毎の音源の数が高々１個であると仮定されてもよい。上述したように、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）は、一の音源が他の音源と同一であって、一の音源の方向と他の音源の方向との差が小さいほど、大きい値をとる。算出される値は、有意に０よりも大きい正の値をとる。
【００６１】
音源推定部１４３は、音源定位部１２から入力された音源方向情報が示す各音源方向についてモデルデータ記憶部１４１に記憶された第２因子データを参照して、第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）を算出する。第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）は、方向ｄｋｔ毎の頻度を表す指標値である。
音源推定部１４３は、算出した確率ｐ（Ｃｋｔ＝ｃ｜［ｘ］）を、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）と第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）とを用いて調整することによって、音源の種類がｃである度合いを示す指標値として補正確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）を音源毎に算出する。音源推定部１４３は、補正確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）の算出において、例えば、式（１０）を用いる。
【００６２】
【数１０】
0006501260.tif 000011
【００６３】
式（１０）において、κ１、κ２は、それぞれ第１因子、第２因子の影響を調整するための予め定めたパラメータである。即ち、式（１０）は、音源の種類ｃの確率ｐ（Ｃｋｔ＝ｃ｜［ｘ］）を、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）のκ１乗と第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）のκ２乗を乗じることによって補正することを示す。補正により、補正確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）は、未補正の確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）よりも大きくなる。なお、第１因子と第２因子のいずれか又はいずれの因子も算出できない音源の種類ｃについては、音源推定部１４３は、算出できない因子に係る補正を行わずに、補正確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）を得る。
音源推定部１４３は、式（１１）に示すように、音源方向情報が示す各音源の種類ｃｋｔ＊として、補正確率が最も高い音源の種類に定める。
【００６４】
【数１１】
0006501260.tif 000012
【００６５】
音源推定部１４３は、音源毎に定めた音源の種類を示す音源種類情報を生成し、生成した音源種類情報を出力部１５に出力する。
【００６６】
（音源同定処理）
次に、本実施形態に係る音源同定処理について説明する。
図５は、本実施形態に係る音源同定処理を示すフローチャートである。
音源推定部１４３は、ステップＳ２０１−Ｓ２０５に示す処理を音源方向毎に繰り返す。音源方向は、音源定位部１２から入力された音源方向情報で指定される。
【００６７】
（ステップＳ２０１）音源推定部１４３は、音響特徴量算出部１４２から入力された音響特徴量について、モデルデータ記憶部１４１に記憶された音ユニットデータを参照して、音源の種類ｃ毎の確率ｐ（Ｃｋｔ＝ｃ｜［ｘ］）を算出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）音源推定部１４３は、その時点の音源方向と他の音源方向についてモデルデータ記憶部１４１に記憶された第１因子データを参照して、第１因子（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）を算出する。その後、ステップＳ２０３に進む。
（ステップＳ２０３）音源推定部１４３は、その時点の音源方向についてモデルデータ記憶部１４１に記憶された第２因子データを参照して、第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）を算出する。その後、ステップＳ２０４に進む。
【００６８】
（ステップＳ２０４）音源推定部１４３は、算出した確率ｐ（Ｃｋｔ＝ｃ｜［ｘ］）を、第１因子ｑ１（Ｃ―ｋｔ＝ｃ｜Ｃｋｔ＝ｃ；［ｄ］）と第２因子ｑ２（Ｃｋｔ＝ｃ；［ｄ］）とを用いて、例えば、式（１０）を用いて補正確率ｐ’（Ｃｋｔ＝ｃ｜［ｘ］）を算出する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）音源推定部１４３は、その時点の音源方向に係る音源の種類を、算出した補正確率が最も高い音源の種類に定める。音源推定部１４３は、その後、未処理の音源方向がなくなるとき、ステップＳ２０１−Ｓ２０５の処理を終了する。
【００６９】
（音声処理）
次に、本実施形態に係る音声処理について説明する。
図６は、本実施形態に係る音声処理を示すフローチャートである。
（ステップＳ２１１）音響信号入力部１１は、収音部２０からのＰチャネルの音響信号を音源定位部１２に出力する。その後、ステップＳ２１２に進む。
（ステップＳ２１２）音源定位部１２は、音響信号入力部１１から入力されたＰチャネルの音響信号について空間スペクトルを算出し、算出した空間スペクトルに基づいて音源毎の音源方向を定める（音源定位）。音源定位部１２は、定めた音源毎の音源方向を示す音源方向情報とＰチャネルの音響信号を音源分離部１３と音源同定部１４に出力する。その後、ステップＳ２１３に進む。
（ステップＳ２１３）音源分離部１３は、音源定位部１２から入力されたＰチャネルの音響信号を、音源方向情報が示す音源方向に基づいて音源毎の音源別音響信号に分離する。音源分離部１３は、分離した音源別音響信号を音源同定部１４に出力する。その後、ステップＳ２１４に進む。
【００７０】
（ステップＳ２１４）音源同定部１４は、音源定位部１２から入力された音源方向情報と音源分離部１３から入力された音源別音響信号について、図５に示す音源同定処理を行う。音源同定部１４は、音源同定処理により定めた音源毎の音源の種類を示す音源種類情報を出力部１５に出力する。その後、ステップＳ２１５に進む。
（ステップＳ２１５）音源同定部１４から入力された音源種類情報のデータを出力部１５に出力する。その後、図６に示す処理を終了する。
【００７１】
（変形例）
上述では、音源推定部１４３は、式（８）、（９）を用いて第１因子を算出する場合を例にしたが、これには限られない。音源推定部１４３は、一の音源の方向と他の音源の方向との差の絶対値が小さいほど、大きくなる第１因子を算出できればよい。
また、音源推定部１４３は、算出した第１因子を用いて音源の種類毎の確率を算出する場合を例にしたが、これには限られない。音源推定部１４３は、音源の種類が一の音源と同一である他の音源の方向が一の音源の方向から所定の範囲内であるとき、当該他の音源が当該一の音源と同一の音源であると判定してもよい。その場合、音源推定部１４３は、当該他の音源について補正した確率の算出を省略してもよい。そして、音源推定部１４３は、当該他の音源に係るその音源の種類に係る確率を第１因子として加算することにより、当該一の音源に係るその音源の種類に係る確率を補正してもよい。
【００７２】
以上に説明したように、本実施形態に係る音響処理装置１０は、複数チャネルの音響信号から音源の方向を推定する音源定位部１２と、複数チャネルの音響信号から方向を推定した音源の成分を表す音源別音響信号に分離する音源分離部１３とを備える。また、音響処理装置１０は、分離された音源別音響信号について、音源の方向と音源の種類との関係を示すモデルデータを用い、音源定位部１２が推定した音源の方向に基づいて音源の種類を定める音源同定部１４を備える。
この構成により、分離された音源別音響信号について、その音源の方向を手がかりとして音源の種類が定められる。そのため、音源同定の性能が向上する。
【００７３】
また、音源同定部１４は、一の音源と音源の種類が同一である他の音源の方向が前記一の音源の方向から所定範囲内であるとき、他の音源が一の音源と同一であると判定する。
この構成により、一の音源からその方向が近い他の音源が一の音源と同一の音源と判定される。そのため、本来１個の音源が音源定位により互いに方向が近い複数の音源として検出される場合でも、それぞれの音源に係る処理が避けられ１個の音源として音源の種類が定められる。そのため、音源同定の性能が向上する。
【００７４】
また、音源同定部１４は、モデルデータを用いて算出した音源の種類毎の確率を、一の音源の方向と音源の種類が同一である他の音源の方向との差が小さいほど一の音源が他の音源と同一である度合いである第１因子を用いて補正して算出される指標値に基づいて一の音源の種類を定める。
この構成により、一の音源と方向が近く音源の種類が同一である他の音源について、その音源の種類との判定が促される。そのため、本来１個の音源が音源定位により互いに方向が近い複数の音源として検出される場合でも、１個の音源として音源の種類が正しく判定される。
【００７５】
また、音源同定部１４は、音源定位部１２が推定した音源の方向に係る存在確率である第２因子を用いて補正して算出される指標値に基づいて音源の種類を定める。
この構成により、推定される音源の方向に応じて音源の種類毎に音源が存在する可能性を考慮して音源の種類が正しく判定される。
また、音源同定部１４は、音源定位部１２が方向を推定した音源について、検出される音源の種類毎の音源の数が高々１個であると判定する。
この構成により、それぞれ異なる方向に所在する音源の種類が異なることを考慮して音源の種類が正しく判定される。
【００７６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る音響処理システム１において、音響処理装置１０の音源同定部１４は、次に説明する構成を備える。
【００７７】
図７は、本実施形態に係る音源同定部１４の構成を示すブロック図である。
音源同定部１４は、モデルデータ記憶部１４１、音響特徴量算出部１４２、第１音源推定部１４４、音ユニット列生成部１４５、区切り決定部１４６及び第２音源推定部１４７を含んで構成される。
モデルデータ記憶部１４１は、モデルデータとして音ユニットデータ、第１因子データ及び第２因子データの他、音源の種類毎の区切りデータを記憶する。区切りデータは、１個又は複数の音ユニット列から構成される音ユニット列の区切りを定めるためのデータである。区切りデータについては後述する。
【００７８】
第１音源推定部１４４は、音源推定部１４３と同様に音源毎に音源の種類を定める。第１音源推定部１４４は、さらに音源毎の音響特徴量［ｘ］についてＭＡＰ推定（Ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒｉ ｅｓｔｉｍａｔｉｏｎ；最大事後確率推定）を行って音ユニットｓ＊を定める（式（１２））。
【００７９】
【数１２】
0006501260.tif 000013
【００８０】
より具体的には、第１音源推定部１４４は、音響特徴量［ｘ］についてモデルデータ記憶部１４１に記憶された音ユニットデータを参照し、定めた音源の種類に係る音ユニット毎ｓｃｊの確率ｐ（ｓｃｊ｜［ｘ］）を算出する。第１音源推定部１４４は、算出した確率ｐ（ｓｃｊ｜［ｘ］）が最も大きい音ユニットを、音響特徴量［ｘ］に係る音ユニットｓｋｔ＊として定める。第１音源推定部１４４は、各フレームについて音源毎に定めた音ユニットと音源方向を示すフレーム別音ユニット情報を音ユニット列生成部１４５に出力する。
【００８１】
音ユニット列生成部１４５は、第１音源推定部１４４からフレーム別音ユニット情報が入力される。音ユニット列生成部１４５は、現フレームにおける音源方向が過去のフレームにおける音源方向から所定範囲内の音源が同一であると判定し、同一であると判定した音源の現フレームにおける音ユニットを過去のフレームにおける音ユニットを後置する。過去のフレームとは、ここでは、現フレームから所定フレーム数（例えば、１〜３フレーム）過去までのフレームを意味する。音ユニット列生成部１４５は、この後置する処理を音源毎に各フレームについて順次繰り返すことにより音源ｋ毎の音ユニット列［ｓｋ］（＝［ｓ１，ｓ２，ｓ３，  …，ｓｔ，…，ｓＬ］）を生成する。Ｌは、各音源の一回の音の発生に含まれる音ユニットの数を示す。音の発生とは、その開始から停止までのイベントを意味する。例えば、前回の音の発生から所定時間（例えば、１〜２秒）以上、音ユニット列が検出されない場合、第１音源推定部１４４は、その音の発生が停止したと判定する。その後、音ユニット列生成部１４５は、現フレームにおける音源方向が過去のフレームにおける音源方向から所定範囲外の音源を検出するとき、新たに音が発生すると判定する。音ユニット列生成部１４５は、音源ｋ毎の音ユニット列を示す音ユニット列情報を区切り決定部１４６に出力する。
【００８２】
区切り決定部１４６は、モデルデータ記憶部１４１に記憶した音源の種類ｃ毎の区切りデータを参照して、音ユニット列生成部１４５から入力された音ユニット列［ｓｋ］の区切り、つまり音ユニット群ｗｓ（ｓは、音ユニット群の順序を示す整数）からなる音ユニット群系列を定める。つまり、音ユニット群系列は、音ユニットからなる音ユニット系列が音ユニット群ｗｓ毎に区切られたデータ系列である。区切り決定部１４６は、モデルデータ記憶部１４１に記憶された区切りデータを用いて複数の音ユニット群系列の候補毎に出現確率、つまり認識尤度を算出する。
【００８３】
区切り決定部１４６は、音ユニット群系列の候補毎の出現確率を算出する際、その候補に含まれる音ユニット群毎のＮグラムが示す出現確率を順次乗算する。音ユニット群のＮグラムの出現確率は、その音ユニット群の直前までの音ユニット群系列が与えられたときに、その音ユニット群が出現する確率である。この出現確率は、上述した音ユニット群Ｎグラムモデルを参照して与えられる。個々の音ユニット群の出現確率は、その音ユニット群の先頭の音ユニットの出現確率に、その後の音ユニットのＮグラムの出現確率を順次乗算して算出することができる。音ユニットのＮグラムの出現確率は、その音ユニットの直前までの音ユニット系列が与えられたときに、その音ユニットが出現する確率である。先頭の音ユニットの出現確率（ユニグラム）、音ユニットのＮグラムの出現確率は、音ユニットＮグラムモデルを参照して与えられる。区切り決定部１４６は、音源の種類ｃ毎に出現確率が最も高い音ユニット群系列を選択し、選択した音ユニット群系列の出現確率を示す出現確率情報を第２音源推定部１４７に出力する。
【００８４】
第２音源推定部１４７は、式（１３）に示すように、区切り決定部１４６から入力された出現確率情報が示す音源の種類ｃ毎の出現確率のうち、出現確率が最も高い音源の種類ｃ＊を音源ｋの音源の種類として定める。第２音源推定部１４７は、定めた音源の種類を示す音源種類情報を出力部１５に出力する。
【００８５】
【数１３】
0006501260.tif 000014
【００８６】
（区切りデータ）
次に、区切りデータについて説明する。区切りデータは、複数の音ユニットが連接してなる音ユニット列を、複数の音ユニット群に区切るために用いられるデータである。区切り（ｓｅｇｍｅｎｔａｔｉｏｎ）とは、一の音ユニット群とその直後の音ユニット群との間の境界である。音ユニット群とは１つの音ユニット又は複数の音ユニットが連接してなる音ユニット系列である。音ユニット、音ユニット群及び音ユニット列は、それぞれ自然言語における音素もしくは文字、単語及び文に相当する単位である。
【００８７】
区切りデータは、音ユニットＮグラムモデルと音ユニット群Ｎグラムモデルとを含む統計モデルである。この統計モデルを、以下の説明では音ユニット・音ユニット群Ｎグラムモデルと呼ぶことがある。区切りデータ、つまり音ユニット・音ユニット群Ｎグラムモデルは、自然言語処理における言語モデルの一種である文字・単語Ｎグラムモデルに相当する。
【００８８】
音ユニットＮグラムモデルは、任意の音ユニット系列において１つまたは複数の音ユニットの後に出現する音ユニット毎の確率（Ｎグラム）を示すデータである。音ユニットＮグラムモデルでは、区切りを１つの音ユニットとして扱ってもよい。以下の説明では、音ユニットＮグラムモデルとは、その確率を含んで構成される統計モデルを指すこともある。
【００８９】
音ユニット群Ｎグラムモデルは、任意の音ユニット群系列において１つ又は複数の音ユニット群の後に出現する音ユニット群毎の確率（Ｎグラム）を示すデータである。つまり、音ユニット群の出現確率と、少なくとも１個の音ユニット群からなる音ユニット群系列が与えられているときに次の音ユニット群の出現確率とを示す確率モデルである。以下の説明では、音ユニット群Ｎグラムモデルとは、その確率を含んで構成される統計モデルを指すこともある。
音ユニット群Ｎグラムモデルでは、区切りも音ユニット群Ｎグラムを構成する一種の音ユニット群として扱われてもよい。音ユニットＮグラムモデル、音ユニット群Ｎグラムモデルは、自然言語処理における単語モデル、文法モデルにそれぞれ相当する。
【００９０】
区切りデータは、従来から音声認識で用いられた統計モデル、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ；混合ガウスモデル）、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ；隠れマルコフ）として構成されたデータであってもよい。本実施形態では、１つ又は複数のラベルと確率モデルを規定する統計量との組が、その後に現れる音ユニットを示すラベルと対応付けて音ユニットＮグラムモデルが構成されてもよい。そして、１つ又は複数の音ユニット群と確率モデルを規定する統計量との組が、その後に出現する音ユニット群と対応付けて音ユニット群Ｎグラムモデルが構成されてもよい。確率モデルを規定する統計量は、確率モデルがＧＭＭである場合には、多変量ガウス分布毎の混合重み係数、平均値、共分散行列であり、確率モデルがＨＭＭである場合には、多変量ガウス分布毎の混合重み係数、平均値、共分散行列及び遷移確率である。
【００９１】
音ユニットＮグラムモデルでは、入力された１つ又は複数のラベルに対して、その後に出現する音ユニットの出現確率を与えるように、事前学習によって統計量を定めておく。事前学習では、その後に出現する他の音ユニットを示すラベルの出現確率が０となるように条件を課してもよい。音ユニット群Ｎグラムモデルも、入力された１つ又は複数の音ユニット群に対して、その後に現れる各音ユニット群の出現確率を与えるように事前学習によって統計量を定めておく。事前学習では、その後に出現する他の音ユニット群の出現確率が０となるように条件を課してもよい。
【００９２】
（区切りデータの例）
次に、区切りデータの例について説明する。上述したように、区切りデータは、音ユニットＮグラムモデルと音ユニット群Ｎグラムモデルとを含んで構成される。Ｎグラムとは、１個の要素が出現する確率（ユニグラム（ｕｎｉｇｒａｍ））とＮ−１（Ｎは、１よりも大きい整数）個の要素（例えば、音ユニット）の系列が与えられたときに次の要素が出現する確率を示す統計的なモデルの総称である。ユニグラムは、モノグラム（ｍｏｎｏｇｒａｍ）とも呼ばれる。特に、Ｎ＝２、３の場合、Ｎグラムは、それぞれバイグラム（ｂｉｇｒａｍ）、トライグラム（ｔｒｉｇｒａｍ）と呼ばれる。
【００９３】
図８は、音ユニットＮグラムモデルの例を示す図である。
図８（ａ）、（ｂ）、（ｃ）は、それぞれ音ユニットユニグラム、音ユニットバイグラム、音ユニットトライグラムの例を示す。
図８（ａ）は、１個の音ユニットを示すラベルと音ユニットユニグラムが対応付けられていることを示す。図８（ａ）の第２行では、音ユニット「ｓ１」と音ユニットユニグラム「ｐ（ｓ１）」とが対応付けられている。ここで、ｐ（ｓ１）は、音ユニット「ｓ１」の出現確率を示す。図８（ｂ）の第３行では、音ユニット系列「ｓ２ｓ１」と音ユニットバイグラム「ｐ（ｓ１｜ｓ２）」とが対応付けられている。ここで、ｐ（ｓ１｜ｓ２）は、音ユニットｓ２が与えられているときに、音ユニットｓ２が出現する確率を示す。図８（ｃ）の第２行では、音ユニット系列「ｓ１ｓ１ｓ１」と音ユニットトライグラム「ｐ（ｓ１｜ｓ１ｓ１）」とが対応付けられている。
【００９４】
図９は、音ユニット群Ｎグラムモデルの例を示す図である。
図９（ａ）、（ｂ）、（ｃ）は、それぞれ音ユニット群ユニグラム、音ユニット群バイグラム、音ユニットトライグラムの例を示す。
図９（ａ）は、１個の音ユニット群を示すラベルと音ユニット群ユニグラムが対応付けられていることを示す。図９（ａ）の第２行では、音ユニット群「ｗ１」と音ユニット群ユニグラム「ｐ（ｗ１）」とが対応付けられている。１個の音ユニット群は、１個又は複数個の音ユニットから形成される。
図９（ｂ）の第３行では、音ユニット群系列「ｗ２ｗ１」と音ユニット群バイグラム「ｐ（ｗ１｜ｗ２）」とが対応付けられている。図９（ｃ）の第２行では、音ユニット群系列「ｗ１ｗ１ｗ１」と音ユニット群トライグラム「ｐ（ｗ１｜ｗ１ｗ１）」とが対応付けられている。図９に示す例では、音ユニット群毎のラベルが付されているが、これに代えて音ユニット群のそれぞれを形成する音ユニット系列が用いられていてもよい。その場合には、音ユニット群間で区切りを示す区切り符号（例えば、｜）が挿入されていてもよい。
【００９５】
（モデルデータ生成部）
次に、本実施形態に係るモデルデータ生成部１６（図１）が行う処理について説明する。
モデルデータ生成部１６は、音源別音響信号の区間毎に対応付けられた音ユニットを、時刻の順序に並べて音ユニット列を生成する。モデルデータ生成部１６は、生成した音ユニット系列にから所定の手法、例えば、ＮＰＹ（Ｎｅｓｔｅｄ  Ｐｉｔｍａｎ−Ｙｏｒ）過程を用いて音源の種類ｃ毎に区切りデータを生成する。ＮＰＹ過程は、従来、自然言語処理に用いられていた手法である。
【００９６】
本実施形態では、自然言語処理における文字、単語、文に代えて、それぞれ音ユニット、音ユニット群、音ユニット列をＮＰＹ過程に適用する。つまり、ＮＰＹ過程は、音ユニット系列の統計的な性質を音ユニット群Ｎグラムと音ユニットＮグラムとの入れ子（ネスト）構造で統計モデルを生成するために行われる。ＮＰＹ過程によって生成された統計モデルは、ＮＰＹモデルと呼ばれる。モデルデータ生成部１６は、音ユニット群Ｎグラムと音ユニットＮグラムを生成する際、それぞれＨＰＹ（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｐｉｔｍａｎ−Ｙｏｒ）過程を用いる。ＨＰＹ過程は、ディリクレ過程を階層的に拡張した確率過程である。
【００９７】
ＨＰＹ過程を用いて音ユニット群Ｎグラムを生成する際、モデルデータ生成部１６は、音ユニット群系列［ｈ’］の次の音ユニット群ｗの生起確率ｐ（ｗ｜［ｈ’］）に基づいて、音ユニット群系列［ｈ］の次の音ユニット群ｗの生起確率ｐ（ｗ｜［ｈ］）を算出する。生起確率（ｐ（ｗ｜［ｈ］）を算出する際、モデルデータ生成部１６は、例えば、式（１４）を用いる。ここで、音ユニット群系列［ｈ’］は、直近までのｎ−１個の音ユニット群からなる音ユニット群系列ｗｔ−ｎ−１…ｗｔ−１である。ｔは、現在の音ユニット群を識別するインデックスを示す。音ユニット群系列［ｈ］は、音ユニット群系列［ｈ’］にその直前の音ユニット群ｗｔ−ｎを付加したｎ個の音ユニット群からなる音ユニット群系列ｗｔ−ｎ…ｗｔ−１である。
【００９８】
【数１４】
0006501260.tif 000015
【００９９】
式（１４）において、ｃ（ｗ｜［ｈ］）は、音ユニット群系列［ｈ］が与えられているときに音ユニット群ｗが生起した回数（Ｎグラムカウント）を示す。ｃ（［ｈ］）は、回数ｃ（ｗ｜［ｈ］）の音ユニット群ｗ間での総和Σｗｃ（ｗ｜［ｈ］）である。τｋｗは、音ユニット群系列［ｈ’］が与えられているときに音ユニット群ｗが生起した回数（Ｎ−１グラムカウント）を示す。τｋは、τｋｗの音ユニット群ｗ間での総和Σｗτｋｗである。θは、強度パラメータ（ｓｔｒｅｎｇｔｈ  ｐａｒａｍｅｔｅｒ）を示す。強度パラメータθは、算出しようとする生起確率ｐ（ｗ｜［ｈ］）からなる確率分布を基底測度に近似する度合いを制御するパラメータである。基底測度とは、音ユニット群もしくは音ユニットの事前確率である。ηは、ディスカウントパラメータ（ｄｉｓｃｏｕｎｔ  ｐａｒａｍｅｔｅｒ）を示す。ディスカウントパラメータηは、与えられた音ユニット群系列［ｈ］が与えられているときの音ユニット群ｗが生起した回数による影響を緩和する度合いを制御するパラメータである。モデルデータ生成部１６は、パラメータθ、ηを定める際、例えば、予め定めた候補値からそれぞれギブスサンプリング（Ｇｉｂｂｓ  ｓａｍｐｌｉｎｇ）を行うことで最適化を行ってもよい。
【０１００】
モデルデータ生成部１６は、上述したように、ある次数の生起確率ｐ（ｗ｜［ｈ’］）を基底測度として用いることにより、その次数よりも１次高い次数の生起確率ｐ（ｗ｜［ｈ］）を算出する。しかしながら、音ユニット群の境界、つまり区切りに係る情報が与えられていない場合、基底測度を得ることができない。
そこで、モデルデータ生成部１６は、ＨＰＹ過程を用いて音ユニットＮグラムを生成し、生成した音ユニットＮグラムを音ユニット群Ｎグラムの基底測度として用いる。従って、ＮＰＹモデルと区切りの更新とが交互に行われることで区切りデータが全体として最適化される。
【０１０１】
モデルデータ生成部１６は、音ユニットＮグラムを生成する際、与えられた音ユニット系列［ｓ’］の次の音ユニットｓの生起確率ｐ（ｓ｜［ｓ’］）に基づいて、音ユニット系列［ｓ］の次の音ユニットｓの生起確率ｐ（ｓ｜［ｓ］）を算出する。モデルデータ生成部１６は、生起確率ｐ（ｓ｜［ｓ］）を算出する際、例えば、式（１５）を用いる。ここで、音ユニット系列［ｓ’］は、直近までのｎ−１個の音ユニットからなる音ユニット系列ｓｌ−ｎ−１，…，ｓｌ−１である。ｌは、現在の音ユニットを識別するインデックスを示す。音ユニット系列［ｓ］は、音ユニット系列［ｓ’］にその直前の音ユニットｓｌ−ｎを付加したｎ個の音ユニットからなる音ユニット系列ｓｌ−ｎ，…，ｓｌ−１である。
【０１０２】
【数１５】
0006501260.tif 000016
【０１０３】
式（１５）において、δ（ｓ｜［ｓ］）は、音ユニット系列［ｓ］が与えられているときに音ユニットｓが生起した回数（Ｎグラムカウント）を示す。δ（［ｓ］）は、回数δ（ｓ｜［ｓ］）の音ユニットｓ間での総和Σｓδ（ｓ｜［ｓ］）である。ｕ［ｓ］ｓは、音ユニット系列［ｓ］が与えられているときに音ユニットｓが生起した回数（Ｎ−１グラムカウント）を示す。ｕｓは、σ［ｓ］ｓの音ユニットｓ間での総和Σｓσ［ｓ］ｓである。ξ、σは、それぞれ強度パラメータ、ディスカウントパラメータである。モデルデータ生成部１６は、上述したようにギブスサンプリングを行って強度パラメータξ、ディスカウントパラメータσを定めてもよい。
なお、モデルデータ生成部１６には、音ユニットＮグラムの次数、音ユニット群Ｎグラムの次数は、予め設定しておいてもよい。音ユニットＮグラムの次数、音ユニット群Ｎグラムの次数は、例えば、それぞれ１０次、３次である。
【０１０４】
図１０は、ＮＰＹ過程で生成されるＮＰＹモデルの例を示す図である。
図１０に示されるＮＰＹモデルは、音ユニット群Ｎグラムと音ユニットＮグラムモデルを含んで構成される音ユニット群・音ユニットＮグラムモデルである。
モデルデータ生成部１６は、音ユニットＮグラムモデルを生成する際、例えば、音ユニットｓ１の出現確率を示すユニグラムｐ（ｓ１）に基づいて、バイグラムｐ（ｓ１｜ｓ１）、ｐ（ｓ１｜ｓ２）を算出する。モデルデータ生成部１６は、バイグラムｐ（ｓ１｜ｓ１）に基づいて、トライグラムｐ（ｓ１｜ｓ１ｓ１）、ｐ（ｓ１｜ｓ１ｓ２）を算出する。
【０１０５】
そして、モデルデータ生成部１６は、算出された音ユニットＮグラム、つまり、これらのユニグラム、バイグラム、トライグラム等を基底測度Ｇ１’として用いて、音ユニット群Ｎグラムに含まれる音ユニット群ユニグラムを算出する。例えば、ユニグラムｐ（ｓ１）は、音ユニットｓ１からなる音ユニット群ｗ１の出現確率を示すユニグラムｐ（ｗ１）の算出に用いられる。モデルデータ生成部１６は、ユニグラムｐ（ｓ１）とバイグラムｐ（ｓ１｜ｓ２）を、音ユニット系列ｓ１ｓ２からなる音ユニット群ｗ２のユニグラムｐ（ｗ２）の算出に用いる。モデルデータ生成部１６は、ユニグラムｐ（ｓ１）、バイグラムｐ（ｓ１｜ｓ１）、トライグラムｐ（ｓ１｜ｓ１ｓ２）を、音ユニット系列ｓ１ｓ１ｓ２からなる音ユニット群ｗ３のユニグラムｐ（ｗ３）の算出に用いる。
【０１０６】
モデルデータ生成部１６は、音ユニット群Ｎグラムモデルを生成する際、例えば、音ユニット群ｗ１の出現確率を示すユニグラムｐ（ｗ１）を基底測度Ｇ１として用いて、バイグラムｐ（ｗ１｜ｗ１）、ｐ（ｗ１｜ｗ２）を算出する。また、モデルデータ生成部１６は、バイグラムｐ（ｗ１｜ｗ１）を基底測度Ｇ１１として用いて、トライグラムｐ（ｗ１｜ｗ１ｗ１）、ｐ（ｗ１｜ｗ１ｗ２）を算出する。
このようにして、モデルデータ生成部１６は、選択した音ユニット群系列に基づいて、ある次数の音ユニット群のＮグラムに基づいて、より高次の音ユニット群のＮグラムを順次算出することができる。そして、モデルデータ生成部１６は、生成した区切りデータをモデルデータ記憶部１４１に記憶する。
【０１０７】
（区切りデータ生成処理）
次に、本実施形態に係る区切りデータ生成処理について説明する。
モデルデータ生成部１６は、モデルデータ生成処理として図３に示す処理の他、次に説明する区切りデータ生成処理を行う。
図１１は、本実施形態に係る区切りデータ生成処理を示すフローチャートである。
（ステップＳ３０１）モデルデータ生成部１６は、音源別音響信号とその区間毎に対応付けられた音ユニットを取得する。モデルデータ生成部１６は、取得した音源別音響信号の区間毎に対応付けられた音ユニットを、時刻の順序に並べて音ユニット列を生成する。その後、ステップＳ３０２に進む。
（ステップＳ３０２）モデルデータ生成部１６は、生成した音ユニット系列に基づいて音ユニットＮグラムを生成する。その後、ステップＳ３０３に進む。
（ステップＳ３０３）モデルデータ生成部１６は、生成した音ユニットＮグラムを基底測度として音ユニット群のユニグラムを生成する。その後、ステップＳ３０４に進む。
【０１０８】
（ステップＳ３０４）モデルデータ生成部１６は、生成した音ユニットＮグラムの要素毎の１個又は複数の音ユニット、音ユニット群及びそのユニグラムを対応付けた変換テーブルを生成する。次に、モデルデータ生成部１６は、生成した変換テーブルを用いて、生成した音ユニット系列を複数通りの音ユニット群系列に変換し、変換した複数通りの音ユニット群系列のうち出現確率が最も高い音ユニット群系列を選択する。その後、ステップＳ３０５に進む。
（ステップＳ３０５）モデルデータ生成部１６は、選択した音ユニット群系列に基づいて、ある次数の音ユニット群のＮグラムを基底測度として用いて、その次数より１次高い次数の音ユニット群のＮグラムを順次算出する。その後、図１１に示す処理を終了する。
【０１０９】
（評価実験）
次に、本実施形態に係る音響処理装置１０を動作させて行った評価実験について説明する。評価実験において、都市部の公園で収録した８チャネルの音響信号を用いた。収録される音には、音源として鳥の鳴き声が含まれる。音響処理装置１０により得られた音源毎の音源別音声信号について、その区間毎に音源の種類と音ユニットを示すラベルを人手で付加したリファレンス（ＩＩＩ：リファレンス）を取得した。リファレンスの一部の区間を、モデルデータの生成に用いた。その他の部分の音響信号について、音響処理装置１０を動作させることで、音源別音声信号の区間毎に音源の種類を定めた（ＩＩ：本実施形態）。比較のため、従来法として音源分離により得られた音源別音声信号について、ＭＩＳＩＣ法による音源定位とは独立に、ＧＨＤＳＳによる音源分離により得られた音源別音響信号について音ユニットデータを用いて区間毎に音源の種類を定めた（Ｉ：分離・同定）。また、パラメータκ１、κ２を、それぞれ０．５とした。
【０１１０】
図１２は、区間毎に判定される音源の種類の例を示す図である。図１２は、上から順に（Ｉ）分離・同定について得られた音源の種類、（ＩＩ）本実施形態について得られた音源の種類、（ＩＩＩ）リファレンスについて得られた音源の種類、（ＩＶ）収録された音響信号のうち１つのチャネルのスペクトログラムを示す。（Ｉ）〜（ＩＩＩ）では、縦軸は音源の方向を示し、（ＩＶ）では、縦軸は周波数を示す。（Ｉ）〜（ＩＶ）のいずれも、横軸は時刻である。（Ｉ）〜（ＩＩＩ）では、線種により音源の種類が表される。太い実線、太い破線、細い実線、細い破線、一点破線は、それぞれキビタキの鳴き声、ヒヨドリの鳴き声、メジロ１の鳴き声、メジロ２の鳴き声、その他の音源、を示す。（ＩＶ）では、パワーの大きさが濃淡で表される。濃い部分ほど、パワーが大きいことを示す。（Ｉ）、（ＩＩ）の冒頭部分を囲む枠内の２０秒間では、リファレンスの音源の種類が示され、それ以降の区間では、推定された音源の種類が示される。
【０１１１】
（Ｉ）と（ＩＩ）を比較すると、分離・同定よりも本実施形態の方が、音源毎の音源の種類が正しく判定されている。（Ｉ）によれば、分離・同定では、２０秒以降において音源の種類がメジロ２、又はその他と判定される傾向がある。これに対し、（ＩＩ）によれば、このような傾向が認められず、よりレファレンスに近い判定がなされる。この結果は、本実施形態の第１因子により、同一時刻において複数の音源が検出されるとき、音源分離により完全に複数の音源からの音が分離されない場合でも、それぞれ異なる種類の音源との判定が促進されることによると考えられる。図１３の（Ｉ）によれば、分離・同定では正答率は０．４５に過ぎないのに対し、（ＩＩ）によれば、本実施形態では、正答率は０．５８に向上する。
【０１１２】
但し、図１２の（ＩＩ）と（ＩＩＩ）を比較すると、本実施形態では、方向が１３５°付近の音源について本来「その他の音源」と認識されるべき音源の種類が「キビタキ」と誤認識される傾向がある。また、方向が−１６５°付近の音源については「キビタキ」が「その他の音源」と誤判定される傾向がある。「その他の音源」については、判定対象の音源として、その音響的な特徴が特定されていないため、本実施形態の第２因子により音源の種類による音源の方向の分布の影響が現れたものと考えられる。各種のパラメータの調整や、音源の種類をより詳細に定めることにより、かかる正答率をさらに向上させることができると考えられる。調整対象のパラメータには、例えば、式（１０）、（１１）のκ１、κ２、音源の種類毎の確率が低い場合において、音源の種類の判定を棄却するための確率の閾値、などがある。
【０１１３】
（変形例）
なお、本実施形態に係る第２音源推定部１４７は、音源ｋ毎の音ユニット列について、音源の種類毎にその音源の種類に係る音ユニットの数を計数し、計数した数が最も多い音源の種類を当該音ユニット列に係る音源の種類として定めてもよい（多数決）。その場合には、区切り決定部１４６や、モデルデータ生成部１６における区切りデータの生成を省略することができる。そのため、音源の種類を定める際の処理量を低減することができる。
【０１１４】
以上に説明したように、本実施形態に係る音響処理装置において、音源同定部１４は、音源の方向に基づいて定めた音源の種類に係る音の構成単位である音ユニットを複数個含む音ユニット列を生成し、生成した音ユニット列に含まれる音ユニットに係る音源の種類毎の頻度に基づいて当該音ユニット列に係る音源の種類を定める。
この構成により、各時刻における音源の種類の判定が総合されるので、音の発生に係る音ユニット列について、音源の種類が的確に判断される。
【０１１５】
また、音源同定部１４は、少なくとも１個の音ユニットを含む音ユニット列を少なくとも１個の音ユニット群に区切る確率を示す音源の種類毎の区切りデータを参照して、音源の方向に基づいて定めた音ユニット列が音ユニット群毎に区切られた音ユニット群系列の確率を算出する。また、音源同定部１４は、音源の種類毎に算出した確率に基づいて音源の種類を定める。
この構成により、音源の種類によって異なる音響的な特徴やその時間変化や繰り返しの傾向を考慮した確率が算出される。そのため、音源同定の性能が向上する。
【０１１６】
なお、上述した実施形態及び変形例において、モデルデータ記憶部１４１に、モデルデータが記憶されていれば、モデルデータ生成部１６は省略されてもよい。モデルデータ生成部１６が行うモデルデータ生成する処理は、音響処理装置１０の外部の装置、例えば、電子計算機で行われてもよい。
また、音響処理装置１０は、さらに収音部２０を含んで構成されてもよい。その場合には、音響信号入力部１１が省略されてもよい。音響処理装置１０は、音源同定部１４が生成した音源種類情報を記憶する記憶部を備えてもよい。その場合には、出力部１５が省略されてもよい。
【０１１７】
なお、上述した実施形態及び変形例における音響処理装置１０の一部、例えば、音源定位部１２、音源分離部１３、音源同定部１４及びモデルデータ生成部１６をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態及び変形例における音響処理装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音響処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【０１１８】
以上、図面を参照してこの発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１１９】
１…音響処理システム、１０…音響処理装置、１１…音響信号入力部、１２…音源定位部、１３…音源分離部、１４…音源同定部、１５…出力部、１６…モデルデータ生成部、２０…収音部、１４１…モデルデータ記憶部、１４２…音響特徴量算出部、１４３…音源推定部、１４４…第１音源推定部、１４５…音ユニット列生成部、１４６…区切り決定部、１４７…第２音源推定部
【図１】
0006501260.tif 000017
【図２】
0006501260.tif 000018
【図３】
0006501260.tif 000019
【図４】
0006501260.tif 000020
【図５】
0006501260.tif 000021
【図６】
0006501260.tif 000022
【図７】
0006501260.tif 000023
【図８】
0006501260.tif 000024
【図９】
0006501260.tif 000025
【図１０】
0006501260.tif 000026
【図１１】
0006501260.tif 000027
【図１２】
0006501260.tif 000028
【図１３】
0006501260.tif 000029