(57)【要約】【課題】少量の学習データであっても、十分な音響認識精度を得る。【解決手段】音響特徴量変換装置１は、音源分離部１２と、音響特徴量抽出部１３と、音響特徴量規格化部１４とを有する。音源分離部１２は、音響信号取得部に１０よって取得された音響信号から、対象の機器を音源とする音響信号を分離する。音響特徴量抽出部１３は、音源分離部１２によって分離された音響信号から音響特徴量を抽出する。音響特徴量規格化部１４は、機器を音源とする音響信号と機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部１１によって取得された機器の稼動パラメータをもとに、音響特徴量抽出部１３によって抽出された音響特徴量から、機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成する。【選択図】図１
2020160344.tif 000002
【特許請求の範囲】
【請求項１】
音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離部と、
前記音源分離部によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出部と、
音響特徴量規格化部または音響特徴量拡張部と、を有し、
前記音響特徴量規格化部は、
前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成し、
前記音響特徴量拡張部は、
前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する
ことを特徴とする音響特徴量変換装置。
【請求項２】
前記音源分離部は、前記稼動パラメータをもとに、前記機器を音源とする音響信号を分離することを特徴とする請求項１に記載の音響特徴量変換装置。
【請求項３】
前記音響特徴量抽出部は、前記稼動パラメータをもとに音響特徴量を抽出することを特徴とする請求項１に記載の音響特徴量変換装置。
【請求項４】
前記稼動パラメータは、前記機器の稼動状態を示す物理量、または、前記機器の稼動状態を制御する制御信号であることを特徴とする請求項１に記載の音響特徴量変換装置。
【請求項５】
前記機器の稼動パラメータは、前記稼動パラメータ取得部によって取得された前記機器の複数種類の稼動パラメータを含むことを特徴とする請求項１に記載の音響特徴量変換装置。
【請求項６】
前記音源分離部、前記音響特徴量抽出部、前記音響特徴量規格化部、および前記音響特徴量拡張部のいずれか少なくとも１つは、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づいて構成されたニューラルネットワークを用いることを特徴とする請求項１に記載の音響特徴量変換装置。
【請求項７】
請求項１〜６のいずれか１項に記載の音響特徴量変換装置と、
前記音響特徴量変換装置によって生成された前記規格化音響特徴量または前記拡張後音響特徴量を記憶する音響特徴量記憶部と、
前記音響特徴量記憶部に記憶される前記規格化音響特徴量または前記拡張後音響特徴量を用いて音響モデルを学習する音響モデル学習部と、
前記音響モデル学習部によって学習された音響モデルを記憶する音響モデル記憶部と
を有することを特徴とする音響モデル学習装置。
【請求項８】
請求項７に記載の音響モデル学習装置によって学習された前記音響モデルと、認識対象の機器の音響信号および稼動パラメータをもとに前記音響特徴量変換装置によって生成された前記規格化音響特徴量または前記拡張後音響特徴量とを用いて、該音響信号の認識を行う音響認識部
を有することを特徴とする音響認識装置。
【請求項９】
音響特徴量変換装置が実行する音響特徴量変換方法であって、
音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離工程と、
前記音源分離工程によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出工程と、
音響特徴量規格化工程および音響特徴量拡張工程のいずれか一方と、を有し、
前記音響特徴量規格化工程は、
前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出工程によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成し、
前記音響特徴量拡張工程は、
前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動パラメータをもとに、前記音響特徴量抽出工程によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する
ことを特徴とする音響特徴量変換方法。
【請求項１０】
請求項１〜６のいずれか１項に記載の音響特徴量変換装置としてコンピュータを機能させるための音響特徴量変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響特徴量変換装置、音響モデル学習装置、音響認識装置、音響特徴量変換方法、および音響特徴量変換プログラムに関する。
【背景技術】
【０００２】
例えば特許文献１には、音響モデルを学習するための学習データが不足している場合であっても、音響認識において実用レベルの性能を確保するために、擬似的な学習データを生成することで、音響認識の対象とするタスク（以下、認識対象タスクと呼ぶ）に対して音響モデルを適応させる技術が開示されている。ここで、認識対象タスクとは、元々の音響モデルに対して、音源の物理的な状態、音1の伝達環境、雑音タイプなどの音響的特徴が異なるタスクである。
【０００３】
一般的に、音響認識の性能は、認識対象タスクの複雑さに対する学習データの網羅性に依存する。タスクの複雑さとは、音源の物理的な状態、音の伝達環境、雑音タイプなどの前述の音響的特徴がとりうる多様な変化がどれだけ複雑かということである。
【０００４】
つまり、認識対象タスクの学習データが不足している場合、そのまま音響モデルを認識対象タスクに適応させたとしても、十分な認識精度を得られない場合が多い。そこで、通常は、十分な種類の音響条件で学習データの収録を行ったうえで、それらの学習データをデータ拡張によって水増しすることで、所望の網羅性を有した学習データ群を形成し、この学習データ群を用いて音響モデルを適応させることが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１８６５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来技術のように、所望の網羅性を有した学習データ群を形成するには、多大な経済的、時間的コストを要する。また、所望の網羅性を有した学習データ群は、膨大なデータストレージ容量を要し、また、認識対象タスクに対する音響モデルの適応に多大な計算時間を要する。加えて、音響モデルは、認識対象タスクの複雑さに応じて複雑となり、データストレージ容量、および学習にかかる計算時間が増大する。
【０００７】
すなわち、十分な音響認識精度を確保するために所望の網羅性を有した学習データ群は、データ量が多く、データセットの収録に時間および労力を要し、膨大なデータストレージ容量を要し、学習モデルが複雑となるために学習時間が増大するという問題がある。
【０００８】
本発明は、上述の課題を考慮してなされたものであり、少量の学習データであっても、十分な音響認識精度を得ることを１つの目的とする。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明においては、１つの手段として、音響特徴量変換装置は、音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離部と、前記音源分離部によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出部と、音響特徴量規格化部または音響特徴量拡張部と、を有する。前記音響特徴量規格化部は、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成する。前記音響特徴量拡張部は、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する。
【発明の効果】
【００１０】
本発明によれば、例えば、少量の学習データであっても、十分な音響認識精度を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。
【図２】図２は、実施例１の音響特徴量変換処理フローを例示する図である。
【図３】図３は、実施例１の音響モデル学習処理フローを例示する図である。
【図４】図４は、実施例１の音響認識処理フローを例示する図である。
【図５】図５は、実施例２の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。
【図６】図６は、実施例２の音響特徴量変換処理フローを例示する図である。
【図７】図７は、実施例２の音響モデル学習処理フローを例示する図である。
【図８】図８は、実施例２の音響認識処理フローを例示する図である。
【図９】図９は、実施例３の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。
【図１０】図１０は、実施例３の音響特徴量変換処理フローを例示する図である。
【図１１】図１１は、実施例３の音響モデル学習処理フローを例示する図である。
【図１２】図１２は、実施例３の音響認識処理フローを例示する図である。
【図１３】図１３は、実施例４の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。
【図１４】図１４は、実施例４の音響特徴量変換処理フローを例示する図である。
【図１５】図１５は、実施例４の音響モデル学習処理フローを例示する図である。
【図１６】図１６は、実施例４の音響認識処理フローを例示する図である。
【図１７】図１７は、音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータを例示する図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づき、本発明の実施例を詳述する。本明細書において、各図面の同一参照番号は、同一あるいは類似の構成または処理を示し、後出の実施例の説明では既出の実施例との差分のみを説明し、後出の説明が省略される場合がある。また、各実施例および各変形例は、本発明の技術思想の範囲内かつ整合する範囲内で一部または全部を組合せることができる。
【００１３】
以下の実施例では、認識対象タスクとなる機器の稼動パラメータと、観測される入力音響信号の間に相関関係があることを利用することで、稼動パラメータをもとに音響信号の特徴量データの規格化を行う。ここで、機器とは、例えば、モータやプレス機などである。また、稼動パラメータには、例えば、機器の稼動速度や、動作周期、圧力、流量などの物理量に限らず、機器の制御信号といった、機器に取り付けたセンサや制御装置などから得られるパラメータも含まれる。
【００１４】
そして、認識対象タスクにおける学習データが、十分な認識精度で音響モデルを学習するのに十分な量が得られない場合を想定しており、少量の学習データであっても識別精度を向上させ、データセットの収録に必要な時間および労力を削減し、必要なデータストレージ容量を削減し、機械学習のモデルを軽量化し、学習時間を削減する。以下の実施例では、概して、以下の（１）〜（５）の流れで音響信号の特徴量データの規格化、音響モデルの学習、および音響認識を行う。
【００１５】
（１）認識対象タスクとなる機器から発せられる入力音響信号と、この機器の稼動パラメータとの間に相関があることを前提とし、入力音響信号と稼動パラメータとからそれぞれ抽出した音響特徴量を、機器の任意の稼動パラメータをもとに規格化した規格化後音響特徴量に変換する変換器を生成する。ここで、稼動パラメータは、例えば、機器の稼動速度や、流量、圧力、またはその他の物理量である。
（２）生成した変換器を用いて、学習データを規格化後音響特徴量に変換する。
（３）変換した規格化後音響特徴量を用いて、音響モデルを学習する。
（４）学習した音響モデルを用いて、音響認識器を生成する。
（５）生成した変換器を用いて、入力音響信号を規格化後音響特徴量に変換し、音響認識器を用いて、入力音響信号の音響認識を行う。
【実施例１】
【００１６】
実施例１では、認識対象タスクとなる機器から観測される入力音響信号と、この機器の稼動パラメータの間に相関が存在するとき、その相関を利用して、入力音響信号と稼動パラメータから、入力音響信号を特定の稼動パラメータに規格化された規格化後音響特徴量に変換する。相関の一例は、機器の稼動速度に応じて音響信号のスペクトルピークが上昇するなどである。また、変換された規格化後音響特徴量からなる学習データをもとに音響モデルの学習を行い、音響特徴量変換装置によって変換された規格化後音響特徴量を音響モデルによって認識する。
【００１７】
＜実施例１の音響特徴量変換装置、音響モデル学習装置、音響認識装置の構成＞
図１は、実施例１の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。図１では、音響モデル学習装置２および音響認識装置３が、音響特徴量変換装置１を共有する構成を図示している。しかし、図１は、あくまで説明の便宜のために過ぎず、音響モデル学習装置２および音響認識装置３は、それぞれ別の音響特徴量変換装置１を含む別装置であってもよい。あるいは、図１に示すように、音響モデル学習装置２および音響認識装置３は、音響特徴量変換装置１を共有する別装置もしくは一体装置であってもよい。
【００１８】
実施例１の音響特徴量変換装置１は、図１に示すように、音源分離部１２、音響特徴量抽出部１３、および音響特徴量規格化部１４を含む。図１に示す音響信号取得部１０は、後述のように、認識対象タスクとなる機器が発する音を収集するマイクロホンなどの集音装置である。稼動パラメータ取得部１１は、後述のように、認識対象タスクとなる機器の稼動パラメータを取得する。
【００１９】
図１では、音響特徴量変換装置１は、音源分離部１２、音響特徴量抽出部１３、および音響特徴量規格化部１４のすべてを含む場合を例示するが、音源分離部１２および音響特徴量抽出部１３のいずれか、あるいは両方を含まない構成とすることもできる。また、図１では、音源分離部１２の出力が音響特徴量抽出部１３へと入力され、音響特徴量抽出部１３の出力が音響特徴量規格化部１４へと入力される構成を例示するが、音源分離部１２の出力を音響特徴量規格化部１４へと入力し、音響特徴量規格化部１４の出力を音響特徴量抽出部１３の入力とすることもできる。
【００２０】
また、実施例１の音響モデル学習装置２は、図１に示すように、音響特徴量変換装置１の各構成部に加えて、規格化後音響特徴量記憶部２１、音響モデル学習部１５、および音響モデル記憶部２２を含む。なお、規格化後音響特徴量記憶部２１および音響モデル記憶部２２の少なくとも一方は、音響モデル学習装置２から独立した記憶部として構成されていてもよい。
【００２１】
また、実施例１の音響認識装置３は、図１に示すように、音響特徴量変換装置１の各構成部に加えて、音響認識部１６を含む。
【００２２】
＜実施例１の音響特徴量変換処理＞
図２は、実施例１の音響特徴量変換処理フローを例示する図である。実施例１の音響特徴量変換処理は、音響特徴量変換装置１によって、音響特徴量変換の際に実行される。
【００２３】
図２において、先ず、ステップＳ１０では、音響特徴量変換装置１は、音響信号取得部１０を介して入力音響信号が入力され、稼動パラメータ取得部１１を介して稼動パラメータ、例えば稼動速度などのデータが入力される。入力音響信号は、単一あるいは複数のマイクロホンなどの集音装置によって取得される。このとき、入力音響信号は、マイクロホンなどを用いてリアルタイムに取得されてもよいし、例えばコンピュータやボイスレコーダなどの録音機器を用いてハードディスクドライブなどの記憶装置に録音したデータをもってオフラインで取得されてもよい。
【００２４】
また、稼動パラメータについては、例えば、認識対象タスクとなる機器に備え付けられたセンサなどによって得られるものや、機器の制御装置が出力する制御信号から得られるものや、操作者によって入力されるものや、プログラムや装置などによって音響信号などの他の観測値から推定可能なものであってもよい。さらに、稼動パラメータについては、稼動速度のほか、例えば、圧力、流量、温度などの、機器の稼動状態を示す物理量に限らず、機器の稼動状態を目標に向けて制御する制御信号や、制御パラメータなどでもよい。
【００２５】
続いて、ステップＳ１１では、音源分離部１２は、例えば、雑音や残響および認識対象タスクの機器以外の音源からの音といった雑音が含まれた、ステップＳ１０で入力された入力音響信号から、認識対象タスクの機器から発せられる音響信号のみを抽出および分離した分離後音響信号を算出する。
【００２６】
続いて、ステップＳ１２では、音響特徴量抽出部１３は、ステップＳ１１で算出されたアナログの分離後音響信号から、ディジタルの音響特徴量を算出する。このとき算出される音響特徴量は、例えば、スペクトログラム、メル特徴量、メルケプストラム特徴量などである。
【００２７】
続いて、ステップＳ１３では、音響特徴量規格化部１４は、稼動パラメータをもとに音響特徴量規格化モデルの初期化を行う。具体的には、音響特徴量規格化部１４は、機器の稼動時に発せられる音響信号と稼動パラメータの間に相関があることを利用し、音響特徴量と機器の稼動パラメータのデータとから、稼動パラメータで規格化された規格化特徴量を算出する。このとき利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって算出できる相関や、統計的な計算または機械学習によって求められる相関などが挙げられる。
【００２８】
ここで、稼動パラメータを稼動速度とする例で説明する。入力音響信号をｓ、入力稼動速度をｘ、規格化後音響信号をｓ´とすると、入力稼動速度ｘをもとに、入力音響信号ｓを、特定の稼動速度αのときの規格化後音響信号ｓ´に規格化する音響特徴量規格化モデルＦαは、例えば下記式（１）のように表される。
【００２９】
【数１】
2020160344.tif 000003
【００３０】
このとき、規格化される際の特定の稼動速度は、例えば、操作者によって指定されるものや、学習データの稼動速度の分布から自動的に生成されるものなどである。また、この時の規格化は、速度についての無次元化などである。
【００３１】
＜実施例１の音響モデル学習処理＞
図３は、実施例１の音響モデル学習処理フローを例示する図である。実施例１の音響モデル学習処理は、音響モデル学習装置２によって、音響モデル学習の際に実行される。図３におけるステップＳ１０〜Ｓ１２は、図２と同様である。
【００３２】
図３において、ステップＳ１２に続いてステップＳ１４では、音響モデル学習装置２は、音響特徴量変換装置１を使用して生成された音響特徴量規格化モデルを用いて、ステップＳ１０で入力された入力音響信号の音響特徴量規格化を行う。ステップＳ１４において、音響特徴量規格化モデルによって規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部２１に記憶される。
【００３３】
続いて、ステップＳ１５では、音響モデル学習部１５は、規格化後音響特徴量記憶部２１に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部１５によって学習された音響モデルは、音響モデル記憶部２２に記憶される。
【００３４】
＜実施例１の音響認識処理＞
図４は、実施例１の音響認識処理フローを例示する図である。実施例１の音響認識処理は、音響認識装置３によって、音響認識の際に実行される。図４におけるステップＳ１０〜Ｓ１２は、図２および図３と同様である。
【００３５】
図４において、ステップＳ１２に続いてステップＳ１４では、音響認識装置３は、音響特徴量変換装置１を使用して生成された音響特徴量規格化モデルを用いて、図４のステップＳ１０で入力された入力音響信号の音響特徴量規格化を行う。
【００３６】
ステップＳ１４に続いてステップＳ１６では、音響認識部１６は、音響特徴量変換装置１によって規格化された規格化後音響特徴量と音響モデル記憶部２２に記憶された音響モデルを用いて識別を行う。
【００３７】
なお、図２に示した実施例１の音響特徴量変換処理、図３に示した実施例１の音響モデル学習処理、図４に示した実施例１の音響認識処理の処理フローのそれぞれで、ステップＳ１３またはステップＳ１４と、ステップＳ１２とは、その実行順番が入れ替わりうる。その際、例えば、音源分離部１２から出力される分離後音響信号は、音響特徴量規格化部１４に入力され、例えば稼動速度により規格化された規格化後音響信号などが出力される。この規格化後音響信号は、音響特徴量抽出部１３へと入力され、規格化後音響特徴量が算出される。
【００３８】
このように、実施例１によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、稼動パラメータによりデータの規格化を行うことで、データ量を実効的に増加させ、精度良い学習モデルの学習を行うことができる。また、識別時にも、同様のデータ規格化を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
【実施例２】
【００３９】
実施例２は、実施例１と比べて、音響特徴量変換装置の音源分離部および音響特徴量抽出部のそれぞれが、音響特徴量規格化部と同様に稼動パラメータを参照する点が異なる。
【００４０】
実施例１では、音響特徴量規格化部においてのみ稼動パラメータを参照していたが、音源分離部および音響特徴量抽出部でも稼動パラメータを参照して用いることで、さらに、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減することが可能になる。以下では、上述の実施例１との相違点を中心に述べる。
【００４１】
＜実施例２の音響特徴量変換装置、音響モデル学習装置、音響認識装置の構成＞
図５は、実施例２の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例２の音響特徴量変換装置１Ｂは、図５に示すように、音源分離部１７、音響特徴量抽出部１８、および音響特徴量規格化部１４を含む。
【００４２】
また、実施例２の音響モデル学習装置２Ｂは、図５に示すように、音響特徴量変換装置１Ｂの各構成部に加えて、規格化後音響特徴量記憶部２１、音響モデル学習部１５、および音響モデル記憶部２２を含む。
【００４３】
また、実施例２の音響認識装置３Ｂは、図５に示すように、音響特徴量変換装置１Ｂの各構成部に加えて、音響認識部１６を含む。
【００４４】
実施例２では、音響特徴量変換装置１Ｂの音源分離部１７および音響特徴量抽出部１８において、稼動パラメータ取得部１１から取得された稼動パラメータが参照される点が、実施例１と異なる点である。
【００４５】
ここで、実施例２において、音源分離部１７、音響特徴量抽出部１８、および音響特徴量規格化部１４のすべてにおいて稼動パラメータが参照される必要はなく、音源分離部１７、音響特徴量抽出部１８、および音響特徴量規格化部１４のうち少なくとも１つ以上の処理部で稼動パラメータが参照されていればよい。
【００４６】
音源分離部１７、音響特徴量抽出部１８、および音響特徴量規格化部１４のそれぞれは、稼動パラメータを参照する場合には、後述するように、例えば機器を音源とする音響信号と機器の稼動パラメータとの相関関係に基づいて構成されたニューラルネットワークを用いたものであってもよい。
【００４７】
他方、音源分離部１７は、稼動パラメータを参照しない場合には、実施例１の音源分離部１２と同等の機能を含む処理部となる。また、音響特徴量抽出部１８は、稼動パラメータを参照しない場合には、実施例１の音響特徴量抽出部１３と同等の処理機能を含む処理部となる。
【００４８】
＜実施例２の音響特徴量変換処理＞
図６は、実施例２の音響特徴量変換処理フローを例示する図である。実施例２の音響特徴量変換処理は、音響特徴量変換装置１Ｂによって、音響特徴量変換の際に実行される。図６におけるステップＳ１０は、図２と同様である。
【００４９】
図６において、ステップＳ１０に続いてステップＳ１７では、音源分離部１７は、ステップＳ１０で取得された稼動パラメータをもとに音源分離を行う。具体的には、例えば同じ機種の機器が並んで動作していて、音源方向による音源分離が不可能な場合を考える。このとき、それぞれの機器が別々の稼動速度で動作している場合、音源となるそれぞれの機器の稼動速度と、それぞれの機器か発しうる音響信号の組合せ問題を解くことで、音源分離を行うことができる。音源分離を行う方法は、例えば、考えられる組合せすべてを試行する単純な繰り返し演算であったり、機械学習であったりなど、周知の方法を用いることができる。
【００５０】
ステップＳ１７に続いてステップＳ１８では、音響特徴量抽出部１８は、ステップＳ１０で取得された稼動パラメータを参照して音響特徴量の抽出を行う。具体的には、例えば、（Ａ）バンドパスフィルタを設定する、（Ｂ）フィルタバンクを形成する、（Ｃ）フーリエ変換のパラメータを変更するなどである。
【００５１】
（Ａ）バンドパスフィルタの設定について説明する。稼動速度が分かっている場合、どの周波数帯域に有効な特徴量が含まれているのかをある程度推定することができることを利用し、バンドパスフィルタを設定することができる。この時の稼動パラメータに対する有効な周波数帯域の推定は、例えば、人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるもの、ニューラルネットワークを用いたものなどである。
【００５２】
（Ｂ）フィルタバンクの形成について説明する。バンドパスフィルタの設定と同様に、稼動速度がわかっている場合、どの周波数帯域に有効な特徴量が含まれているのかをある程度推定することができることを利用し、任意の周波数帯域に注目するようなフィルタバンクを形成することができる。この時のフィルタバンクの形成は、例えば、人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるものや、ニューラルネットワークを用いたものなどである。
【００５３】
（Ｃ）フーリエ変換のパラメータの変更について説明する。稼動パラメータに応じて有効な特徴量がどのように音響信号内に発生するか推定できることを利用し、例えば、窓サイズやシフト長などのフーリエ変換のパラメータを設定することができる。この時のパラメータは、例えば人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるものや、ニューラルネットワークを用いたものなどである。
【００５４】
上記（Ａ）〜（Ｃ）によって、例えば、雑音に対して頑健な音響識別が可能となり、また、音響信号の圧縮効率が向上するなど、実施例１で得られた効果に加えて、さらに、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減することができる。
【００５５】
ステップＳ１８に続いてステップＳ１９において、音響特徴量規格化部１４は、音響特徴量規格化モデルの初期化を行う。音響特徴量規格化部１４は、認識対象タスクとなる機器の稼動時に発せられる音響信号と稼動パラメータの間に相関があることを利用し、音響特徴量と機器の稼動パラメータのデータとから、稼動パラメータで規格化された規格化特徴量を算出する。
【００５６】
このとき、利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって表現できる相関や、統計的な計算または機械学習によって求められる相関などが挙げられる。
【００５７】
例えば、入力音響信号をｓ、入力稼動パラメータをｘ、規格化後音響信号をｓ´とすると、入力稼動パラメータｘをもとに、入力音響信号ｓを、特定の稼動パラメータαのときの規格化後音響信号ｓ´に規格化する音響特徴量規格化モデルＦαは、例えば下記式（２）のように表される。
【００５８】
【数２】
2020160344.tif 000004
【００５９】
このとき、規格化される際の特定の稼動パラメータは、例えば、操作者によって指定されるものや、学習データの稼動パラメータの分布から自動的に生成されるものなどである。また、この時の規格化は、稼動パラメータについての無次元化などである。
【００６０】
＜実施例２の音響モデル学習処理＞
図７は、実施例２の音響モデル学習処理フローを例示する図である。実施例２の音響モデル学習処理は、音響モデル学習装置２Ｂによって、音響モデル学習の際に実行される。図７におけるステップＳ１０、Ｓ１７〜Ｓ１８は、図６と同様である。
【００６１】
図７において、ステップＳ１８に続いてステップＳ２０では、音響モデル学習装置２Ｂは、音響特徴量変換装置１Ｂを使用して生成された音響特徴量規格化モデルおよびステップＳ１０で入力された稼動パラメータを用いて、ステップＳ１０で入力された入力音響信号の規格化を行う。ステップＳ２０において、音響特徴量規格化モデルによって規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部２１に記憶される。
【００６２】
ステップＳ２０に続いてステップＳ１５では、音響モデル学習部１５は、規格化後音響特徴量記憶部２１に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部１５によって学習された音響モデルは、音響モデル記憶部２２に記憶される。
【００６３】
＜実施例２の音響認識処理＞
図８は、実施例２の音響認識処理フローを例示する図である。実施例２の音響認識処理は、音響認識装置３Ｂによって、音響認識の際に実行される。図８におけるステップＳ１０、Ｓ１７〜Ｓ１８は、図６および図７と同様である。
【００６４】
図８において、ステップＳ１８に続いてステップＳ２０では、音響認識装置３Ｂは、音響特徴量変換装置１Ｂを使用して生成された音響特徴量規格化モデルを用いて、ステップＳ１０で入力された稼動パラメータをもとに入力音響信号の規格化を行う。
【００６５】
ステップＳ２０に続いてステップＳ１６では、音響認識部１６は、音響特徴量変換装置１Ｂによって規格化された規格化後音響特徴量と、音響モデル記憶部２２に記憶されている音響モデルを用いて識別を行う。
【００６６】
なお、図６に示した実施例２の音響特徴量規格化処理、図７に示した実施例２の音響モデル学習処理、図８に示した実施例２の音響認識処理の処理フローのそれぞれで、ステップＳ１９またはステップＳ２０と、ステップＳ１８とは、実施例１と同様に、その実行順番が入れ替わりうる。その際、例えば、音源分離部１７から出力される分離後音響信号は、音響特徴量規格化部１４に入力され、稼動パラメータにより規格化された規格化後音響信号などが出力される。この規格化後音響信号は、音響特徴量抽出部１８へと入力され、規格化後音響特徴量が出力される。
【００６７】
このように、実施例２によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、稼動パラメータによるデータの規格化に加えて、音源分離と音響特徴量抽出においても稼動パラメータを参照することで、より効果的に、識別精度を向上させ、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
【実施例３】
【００６８】
実施例３は、実施例１〜２と比較して、音響特徴量変換装置１Ｃにおいて、稼動パラメータを参照して、音響特徴量の規格化ではなく拡張を行う点が異なる。データ拡張を行うことで、データセットの網羅性を向上させ、学習した音響モデルの識別精度を向上させる。以下では、上述の実施例２との相違点を中心に述べる。
【００６９】
＜実施例３の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の構成＞
図９は、実施例３の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例３の音響特徴量変換装置１Ｃは、図９に示すように、音源分離部１７、音響特徴量抽出部１８、および音響特徴量拡張部１９を含む。
【００７０】
また、実施例３の音響モデル学習装置２Ｃは、図９に示すように、音響特徴量変換装置１Ｃの各構成部に加えて、拡張後音響特徴量記憶部２３、音響モデル学習部１５、および音響モデル記憶部２２を含む。
【００７１】
また、実施例３の音響認識装置３Ｃは、図９に示すように、音響特徴量変換装置１Ｃの各構成部に加えて、音響認識部１６を含む。
【００７２】
実施例３では、音響特徴量変換装置１Ｃにおいて、音響特徴量拡張部１９では、音響特徴量を規格化する代わりに、データ拡張している点が、実施例２と異なる点である。
【００７３】
ここで、実施例３において、音源分離部１７、音響特徴量抽出部１８、および音響特徴量拡張部１９のすべてにおいて稼動パラメータが参照される必要はなく、音源分離部１７、音響特徴量抽出部１８、および音響特徴量拡張部１９のうち少なくとも１つ以上の処理部で稼動パラメータが参照されていればよい。
【００７４】
音源分離部１７、音響特徴量抽出部１８、および音響特徴量拡張部１９のそれぞれは、稼動パラメータを参照する場合には、後述するように、例えば機器を音源とする音響信号と機器の稼動パラメータとの相関関係に基づいて構成されたニューラルネットワークを用いたものであってもよい。
【００７５】
他方、音源分離部１７は、稼動パラメータを参照しない場合には、実施例１の音源分離部１２と同様の機能を含む処理部となる。また、音響特徴量抽出部１８は、稼動パラメータを参照しない場合には、実施例１の音響特徴量抽出部１３と同様の処理機能を含む処理部となる。また、音響特徴量拡張部１９は、稼動パラメータを参照しない場合には、稼動パラメータを用いずにデータ拡張を行う処理部となる。
【００７６】
＜実施例３の音響特徴量変換処理＞
図１０は、実施例３の音響特徴量変換処理フローを例示する図である。実施例３の音響特徴量変換処理は、音響特徴量変換装置１Ｃによって、音響特徴量変換の際に実行される。図１０におけるステップＳ１０、Ｓ１７〜Ｓ１８は、図６と同様である。
【００７７】
図１０において、ステップＳ１８に続いてステップＳ２１では、音響特徴量拡張部１９は、音響特徴量抽出部１８によって抽出された音響特徴量を用いて、音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張することで、拡張後音響特徴量群を生成する。音響特徴量拡張部１９は、機器の稼動時に発せられる音響信号と稼動パラメータとの間には相関があることを利用する。
【００７８】
このとき利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって表現できる相関や、統計的な計算または機械学習によって求められる相関などがあげられる。
【００７９】
ここで、特定の稼動パラメータｘのときの音響信号または音響特徴量をｓｘとすると、音響特徴量拡張モデルＦ´ｘによって、任意の稼動パラメータαのときの音響信号または音響特徴量ｓαは、下記式（３）のように示される。
【００８０】
【数３】
2020160344.tif 000005
【００８１】
上記式（３）を用いることで、音響特徴量変換装置１Ｃにおいて、音響特徴量拡張部１９は、音響特徴量抽出部１８から出力された入力音響特徴量を、複数の任意の稼動パラメータでの音響特徴量へと変換および拡張し、拡張後音響特徴量群を生成する。
【００８２】
＜実施例３の音響モデル学習処理＞
図１１は、実施例３の音響モデル学習処理フローを例示する図である。実施例３の音響モデル学習処理は、音響モデル学習装置２Ｃによって、音響モデル学習の際に実行される。図１１におけるステップＳ１０、Ｓ１７〜Ｓ１８は、図１０と同様である。
【００８３】
図１１において、ステップＳ１８に続いてステップＳ２１では、音響モデル学習装置２Ｃは、音響特徴量変換装置１Ｃを使用して音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張する。例えば、稼動パラメータが稼動速度である場合、音響特徴量拡張部１９は、音響特徴量抽出部１８によって抽出された音響特徴量から、音響特徴量を複数の稼動速度での音響特徴量へと変換および拡張することで、拡張後音響特徴量群を生成し、拡張後音響特徴量記憶部２３に記憶される。
【００８４】
続いて、ステップＳ２２では、音響モデル学習部１５は、拡張後音響特徴量記憶部２３に記憶された拡張後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法が用いられる。音響モデル学習部１５によって学習された音響モデルは、音響モデル記憶部２２に記憶される。
【００８５】
＜実施例３の音響認識処理＞
図１２は、実施例３の音響認識処理フローを例示する図である。実施例３の音響認識処理は、音響認識装置３Ｃによって、音響認識の際に実行される。図１２におけるステップＳ１０、Ｓ１７〜Ｓ１８は、図１０および図１１と同様である。
【００８６】
図１２において、ステップＳ２１では、音響認識装置３Ｃは、音響特徴量変換装置１Ｃを使用して音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張する。具体的には、音響特徴量拡張部１９は、音響特徴量抽出部１８によって抽出された音響特徴量から、例えば稼動パラメータを稼動速度とした場合、音響特徴量を複数の稼動速度での音響特徴量へと変換および拡張することで、拡張後音響特徴量群が生成される。
【００８７】
ステップＳ２１に続いてステップＳ２３では、音響認識部１６は、音響特徴量変換装置１Ｃによって拡張された拡張後音響特徴量と、音響モデル記憶部２２に記憶されている音響モデルとを用いて識別を行う。音響認識部１６は、音響特徴量変換装置１によって拡張されたそれぞれの音響特徴量に対して識別を行い、その結果を統合することによって識別精度を向上させることが可能となる。
【００８８】
ここで、図１０に示した実施例３の音響特徴量規格化処理、図１１に示した実施例３の音響モデル学習処理、図１２に示した実施例３の音響認識処理の処理フローのそれぞれで、ステップＳ１８とステップＳ２１とは、その実行順番が入れ替わりうる。その際、例えば、音源分離部１７から出力される分離後音響信号は、音響特徴量拡張部１９に入力され、稼動パラメータにより拡張された拡張後音響信号群が出力され、拡張後音響信号群が音響特徴量抽出部１８に入力され、拡張後音響特徴量群が出力される。
【００８９】
また、図１１で示した実施例３の音響モデル学習処理、図１２で示した実施例３の音響認識処理のそれぞれについて、音響特徴量の拡張を行っているが、必ずしも音響モデル学習装置２Ｃ、音響認識装置３Ｃの両方で音響特徴量の拡張が行われる必要はなく、音響モデル学習装置２Ｃ、音響認識装置３Ｃのうちの少なくとも1つ以上の装置内で音響特徴量の拡張が行われていればよい。
【００９０】
このように、実施例３によれば、認識対象タスクに関する学習データを十分に用意できない場合に、稼動パラメータによりデータの拡張を行うことでデータ量を水増しし、また、識別時にも同様のデータ拡張を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減する。
【実施例４】
【００９１】
実施例４は、実施例１と比べて、複数の稼動パラメータを参照する音響特徴量変換装置と、その音響特徴量変換装置を用いた、音響モデル学習装置および音響認識装置を開示する。以下では、実施例１との相違点を中心に述べる。
【００９２】
機器の稼動時に発せられる音響信号と稼動パラメータとの間には相関があるという前提のもと、実施例１では、単一の稼動パラメータを参照していたのに比べ、実施例４では、音響特徴量変換装置が複数の稼動パラメータを参照することで、例えばより高い圧縮効率のデータ規格化などが可能となる。これによって、実施例４によれば、必要なストレージ容量の削減や、機械学習のモデルの軽量化、学習にかかる時間的コストの削減をよりいっそう図ることができる。
【００９３】
＜実施例４の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の構成＞
図１３は、実施例４の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例４の音響特徴量変換装置１Ｄは、図１３に示すように、音源分離部１２、音響特徴量抽出部１３、音響特徴量規格化部１１２、音源データ記憶部２４、音源モデル学習部１１３、および音源モデル記憶部２５を含む。
【００９４】
また、実施例４の音響モデル学習装置２Ｄは、図１３に示すように、音響特徴量変換装置１Ｄの各構成部に加えて、規格化後音響特徴量記憶部２１、音響モデル学習部１５、および音響モデル記憶部２２を含む。
【００９５】
また、実施例４の音響認識装置３Ｄは、図１３に示すように、音響特徴量変換装置１Ｄの各構成部に加えて、音響認識部１６を含む。
【００９６】
実施例４では、稼動パラメータ取得部１１０および稼動パラメータ取得部１１１のそれぞれから取得された２種類の稼動パラメータが、参照される。しかし、取得および参照される稼動パラメータは、２種類に限らず、少なくとも２種類以上の稼動パラメータが参照されていればよい。
【００９７】
＜実施例４の音響特徴量変換処理＞
図１４は、実施例４の音響特徴量変換処理フローを例示する図である。実施例４の音響特徴量変換処理は、音響特徴量変換装置１Ｄによって、音響特徴量規格化の際に実行される。図１４におけるステップＳ１０は、図２と概ね同様であり、稼動パラメータの取得元が複数である点が異なる。
【００９８】
図１４において、ステップＳ１０に続いてステップＳ２４では、音源分離部１２は、例えば、雑音や残響および認識対象タスクの機器以外の音源からの音といった、雑音の含まれた入力音響信号から、認識対象タスクの機器から発せられる音響信号のみを抽出および分離し、分離後音響信号を算出する。このとき、音源分離部１２は、例えば、実施例２で示したように、稼動パラメータを参照して、音源の分離を行うものなどであってもよい。
【００９９】
続いてステップＳ２５では、音響特徴量抽出部１３は、アナログの分離後音響信号から、ディジタルの音響特徴量を算出する。このとき、算出される音響特徴量は、例えば、スペクトログラムや、メル特徴量や、メルケプストラム特徴量などであってもよい。また、このとき、音響特徴量抽出部１３は、例えば、実施例２で示したように、稼動パラメータを参照して、音源の分離を行うものなどであってもよい。音響特徴量抽出部１３によって抽出された音響特徴量と、稼動パラメータ取得部１１０で取得された稼動パラメータＡと、稼動パラメータ取得部１１１で取得された稼動パラメータＢとが紐付けられ、音源データ記憶部２４に記憶される。
【０１００】
続いてステップＳ２６では、音源モデル学習部１１３は、音源データ記憶部２４に記憶された、音響特徴量抽出部１３によって抽出された音響特徴量と、稼動パラメータ取得部１１０によって取得された稼動パラメータＡと、稼動パラメータ取得部１１１によって取得された稼動パラメータＢとを用いて、音源モデルの学習を行う。
【０１０１】
具体的には、音源モデル学習部１１３は、機器の稼動時に発せられる音響信号と複数の稼動パラメータの間に相関があることを利用し、音響特徴量と機器の複数の稼動パラメータから、複数の稼動パラメータで音響特徴量を規格化するための音源モデルを生成する。このとき、利用する音響信号と稼動パラメータの相関は、例えば、統計的な計算や、機械学習によって求められる相関などが挙げられる。
【０１０２】
ここで、例えば、入力音響信号をｓ、入力稼動パラメータＡをｘＡ、入力稼動パラメータＢをｘＢ、規格化後音響信号をｓ´とすると、入力稼動パラメータＡと入力稼動パラメータＢが、それぞれ特定の稼動パラメータαＡ、αＢのとき、入力音響信号ｓを規格化後音響信号ｓ´に規格化する音響特徴量規格化モデルＦαＡ，αＢは、下記式（４）のように表される。
【０１０３】
【数４】
2020160344.tif 000006
【０１０４】
このとき、規格化される特定の稼動パラメータは、例えば、操作者によって指定されるものや、学習データの稼動パラメータの分布から自動的に生成されるものなどである。また、音響特徴量規格化モデルでは、２つの稼動パラメータが参照されているが、必ずしも２つではなく、少なくとも２つ以上の稼動パラメータが参照されていればよい。このようにして生成された音響特徴量規格化モデルは、音源モデル記憶部２５に記憶される。
【０１０５】
＜実施例４の音響モデル学習処理＞
図１５は、実施例４の音響モデル学習処理フローを例示する図である。図１５におけるステップＳ１０、Ｓ２４〜Ｓ２５は、図１４と同様である。
【０１０６】
ステップＳ２５に続いてステップＳ２７では、音響モデル学習装置２Ｄは、音響特徴量変換装置１Ｄを使用して音響特徴量の規格化を行う。音響特徴量変換装置１Ｄの音響特徴量規格化部１１２は、稼動パラメータ取得部１１０で取得された稼動パラメータＡと、稼動パラメータ取得部１１１で取得された稼動パラメータＢと、音源モデル記憶部２５に記憶された音響特徴量規格化モデルとを用いて、音響特徴量の規格化を行う。音響特徴量規格化部１１２によって、例えば、任意の稼動速度、圧力、外気温のときの音響特徴量が、指定された稼動速度、圧力、外気温のときの音響特徴量へと規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部２１に記憶される。
【０１０７】
ステップＳ２７に続いてステップＳ１５では、音響モデル学習部１５は、規格化後音響特徴量記憶部２１に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部１５によって学習された音響モデルは、音響モデル記憶部２２に記憶される。
【０１０８】
＜実施例４の音響認識処理＞
図１６は、実施例４の音響認識処理フローを例示する図である。図１６におけるステップＳ１０、Ｓ２４〜Ｓ２５は、図１４および図１５と同様である。
【０１０９】
図１６において、ステップＳ２５に続いてステップＳ２７では、音響認識装置３Ｄは、音響特徴量変換装置１Ｄを用いて音響特徴量の規格化を行う。音響特徴量変換装置１Ｄは、音響特徴量規格化部１１２において、稼動パラメータ取得部１１０で取得された稼動パラメータＡと、稼動パラメータ取得部１１１で取得された稼動パラメータＢと、音源モデル記憶部２５に記憶された音響特徴量規格化モデルとを用いて、音響特徴量の規格化を行う。
【０１１０】
ステップＳ２７に続いてステップＳ１６では、音響認識部１６は、音響特徴量変換装置１Ｄによって規格化された規格化後音響特徴量と音響モデル記憶部２２に記憶された音響モデルを用いて識別を行う。
【０１１１】
ここで、図１４に示した実施例４の音響特徴量規格化処理、図１５に示した実施例４の音響モデル学習処理、図１６に示した実施例４の音響認識処理の処理フローのそれぞれで、ステップＳ２５と、ステップＳ２６またはステップＳ２７とは、その実行順番が入れ替わりうる。
【０１１２】
その際、例えば、音源分離部１２から出力される分離後音響信号は、音源データ記憶部２４に記憶されるとともに、音響特徴量規格化部１１２に入力される。音源モデルの学習は、音響信号に対して行われ、稼動パラメータにより規格化された規格化後音響信号が音響特徴量規格化部１１２から出力される。規格化後音響信号は、音響特徴量抽出部１３に入力され、規格化後音響特徴量が出力される。
【０１１３】
このように、実施例４によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、複数の稼動パラメータによりデータの規格化を行うことで、実効的なデータ量を拡張し、また、識別時にも同様のデータ規格化を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
【０１１４】
＜音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータ＞
図１７は、音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータを例示する図である。実施例１〜４の音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄは、例えば、中央演算装置（ＣＰＵ：Central  Processing  Unit）５３００、主記憶装置（ＲＡＭ：Random  Access  Memory）５４００などを有する汎用または専用のコンピュータ５０００に、音響特徴量変換処理、音響モデル学習処理、音響認識処理の各プログラムが読み込まれて構成された装置である。
【０１１５】
コンピュータ５０００は、例えば、主記憶装置５４００と協働する中央演算装置５３００の制御のもとで各処理を実行する。
【０１１６】
コンピュータ５０００は、中央演算装置５３００、主記憶装置５４００、入力装置５６００（例えばキーボード、マウス、タッチパネル等）、および出力装置５７００（例えば外部ディスプレイモニタに接続されたビデオグラフィックカード）が、メモリコントローラ５５００を通して相互接続される。コンピュータ５０００において、音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄを実現するための各プログラムがＩ／Ｏ（Input／Output）コントローラ５２００を介してＳＳＤやＨＤＤ等の外部記憶装置５８００から読み出されて、中央演算装置５３００および主記憶装置５４００の協働により実行されることにより、音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄのそれぞれが実現される。
【０１１７】
あるいは、音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄを実現するための各プログラムは、ネットワークインターフェース５１００を介した通信により外部のコンピュータから取得されてもよい。音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄを実現するための各プログラムは、頒布可能な記憶媒体に格納され、読み取り装置によってこの記憶媒体から読み出されて取得されてもよい。
【０１１８】
また、音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄの各処理部への入力、出力および処理の途中で算出されるデータは、例えば、主記憶装置５４００へと格納され、必要に応じて他の処理にも用いられる。また、音響特徴量変換装置１〜１Ｄ、音響モデル学習装置２〜２Ｄ、および音響認識装置３〜３Ｄの各処理部の少なくとも一部が集積回路などのハードウェアによって構成されていてもよい。
【０１１９】
また、音響モデル学習装置２〜２Ｄが備える各記憶部は、ＲＡＭなどの主記憶装置５４００や、ハードディスクや光ディスクやフラッシュメモリ（Flash  Memory）のような補助記憶装置、またはデータベースのようなミドルウェアによって構成することができる。音響モデル学習装置２〜２Ｄが備える各記憶部は、理論的な分割が行われていればよく、物理的にひとつの記憶装置に記憶されていてもよい。
【０１２０】
本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や、削除、置換、統合、もしくは分散をすることが可能である。また実施例で示した各構成や各処理は、処理効率あるいは実装効率に基づいて適宜分散または統合してもよい。
【符号の説明】
【０１２１】
１，１Ｂ，１Ｃ，１Ｄ：音響特徴量変換装置、２，２Ｂ，２Ｃ，３Ｄ：音響モデル学習装置、３，３Ｂ，３Ｃ，３Ｄ：音響認識装置、１０：音響信号取得部、１１，１１０，１１１：稼動パラメータ取得部、１２，１７：音源分離部、１３，１８：音響特徴量抽出部、１４，１１２：音響特徴量規格化部、１５：音響モデル学習部、１６：音響認識部、１９：音響特徴量拡張部、１１３：音源モデル学習部、２１：規格化後音響特徴量記憶部、２２：音響モデル記憶部、２３：拡張後音響特徴量記憶部、２４：音源データ記憶部、２５：音源モデル記憶部、５０００：コンピュータ
【図１】
2020160344.tif 000007
【図２】
2020160344.tif 000008
【図３】
2020160344.tif 000009
【図４】
2020160344.tif 000010
【図５】
2020160344.tif 000011
【図６】
2020160344.tif 000012
【図７】
2020160344.tif 000013
【図８】
2020160344.tif 000014
【図９】
2020160344.tif 000015
【図１０】
2020160344.tif 000016
【図１１】
2020160344.tif 000017
【図１２】
2020160344.tif 000018
【図１３】
2020160344.tif 000019
【図１４】
2020160344.tif 000020
【図１５】
2020160344.tif 000021
【図１６】
2020160344.tif 000022
【図１７】
2020160344.tif 000023