(57)【要約】  適応化部（７）は、誤差算出部（６）に算出された誤差が減少するようにＤＮＮ（５）におけるノード間の接続重みを示す重み行列の重みを、学習話者数（Ｎ）ごとに、または学習話者数（Ｎ）ごとかつ話者適応層（５−３）の出力（ｘｏｕｔ）の次元数（Ｄｏｕｔ）ごとに算出する。
2018029777.tif 000002
【特許請求の範囲】
【請求項１】
入力層、出力層および前記入力層と前記出力層との間にある１層以上の中間層を有し、前記１層以上の中間層のいずれかに話者適応層があるディープニューラルネットワークにおける前記出力層の出力データと教師データとの誤差を算出する誤差算出部と、
学習話者の学習データから求められた前記ディープニューラルネットワークのノード間の接続重みを示す重み行列を入力して、前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列の重みを、学習話者数ごとに、または学習話者数ごとかつ前記話者適応層の出力の次元数ごとに算出する第１の適応化部と
を備えたことを特徴とする話者適応化装置。
【請求項２】
入力層、出力層および前記入力層と前記出力層との間にある１層以上の中間層を有し、前記１層以上の中間層のいずれかに話者適応層があるディープニューラルネットワークにおける前記出力層の出力データと教師データとの誤差を算出する誤差算出部と、
学習話者の学習データから求められた前記ディープニューラルネットワークのノード間の接続重みを示す重み行列を入力して、前記誤差算出部により算出された誤差が減少するように、前記重み行列により重み付けされた前記話者適応層の出力の１次元のオフセットまたは前記話者適応層の出力と同じ次元のオフセットを、学習話者数ごとに算出する第２の適応化部と
を備えたことを特徴とする話者適応化装置。
【請求項３】
前記第２の適応化部は、前記話者適応層の出力のオフセットの算出に加えて、前記誤差算出部により算出された誤差が減少するように、前記重み行列の重みを学習話者数ごとに算出することを特徴とする請求項２記載の話者適応化装置。
【請求項４】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第１の適応化部は、前記重み行列の重みをクラスごとに算出することを特徴とする請求項１記載の話者適応化装置。
【請求項５】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第２の適応化部は、前記重み行列のオフセットをクラスごとに算出することを特徴とする請求項２記載の話者適応化装置。
【請求項６】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第２の適応化部は、前記話者適応層の出力のオフセットおよび前記重み行列の重みをクラスごとに算出することを特徴とする請求項３記載の話者適応化装置。
【請求項７】
前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列を修正する第３の適応化部と、
前記第１の適応化部による前記話者適応層の適応化と前記第３の適応化部による前記話者適応層の適応化とを切り替える切り替え部と
を備えたことを特徴とする請求項１記載の話者適応化装置。
【請求項８】
前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列を修正する第３の適応化部と、
前記第２の適応化部による前記話者適応層の適応化と前記第３の適応化部による前記話者適応層の適応化とを切り替える切り替え部と
を備えたことを特徴とする請求項２記載の話者適応化装置。
【請求項９】
請求項１記載の話者適応化装置と、
前記ディープニューラルネットワークと、
話者適応化装置により適応対象話者に前記話者適応層が適応された前記ディープニューラルネットワークを用いて音声認識する音声認識部と
を備えたことを特徴とする音声認識装置。
【請求項１０】
請求項１記載の話者適応化装置が、前記ディープニューラルネットワークを適応対象の話者に適応させるステップと、
音声認識部が、適応対象話者に前記話者適応層が適応された前記ディープニューラルネットワークを用いて音声認識するステップと
を備えたことを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（以下、ＤＮＮと記載する）を用いた音響モデルを話者に適応させる話者適応化装置、これを用いた音声認識装置および音声認識方法に関する。
【背景技術】
【０００２】
音声認識では、話者に音響モデルを適応化させることで認識性能が向上する。例えば、Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ（以下、ＨＭＭと記載する）を用いた音声認識では、音響特徴量の出力確率分布としてＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ（以下、ＧＭＭと記載する）が広く利用されている（非特許文献１参照）。ＧＭＭでは、最尤基準に基づいてモデルパラメータを学習することで、モデルパラメータを話者に適応させている。ただし、音声認識の精度をさらに向上させるため、ＨＭＭを用いた音声認識において、ＧＭＭの代わりにＤＮＮを用いることが提案されている。【０００３】
ＤＮＮを用いた話者適応の手法として、例えば、特許文献１および非特許文献３に記載される適応方法が挙げられる。この適応方法では、ＤＮＮにおける複数のレイヤのうちの特定のレイヤを話者適応層としている。
また、非特許文献２には、ｉ−ベクトルといった補助特徴量を用いてＤＮＮを話者適応する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０２８０６号公報
【非特許文献】
【０００５】
【非特許文献１】ＭＪＦ  Ｇａｌｅｓ，  “  Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ  ｆｏｒ  ＨＭＭ−ｂａｓｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ”，  Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ，  １２，  ７５−９８，  １９９８．
【非特許文献２】Ｍ．  Ｄｅｌｃｒｏｉｘ，  Ｋ．  Ｋｉｎｏｓｈｉｔａ，  Ｔ．  Ｈｏｒｉ，  ａｎｄ  Ｔ．  Ｎａｋａｔａｎｉ，  “  Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｆａｓｔ  Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ  Ａｄａｐｔａｔｉｏｎ  ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＣＡＳＳＰ，  ４５３５−４５３９，  ２０１５．
【非特許文献３】Ｔ．  Ｏｃｈｉａｉ，  Ｓ．  Ｍａｔｓｕｄａ，  Ｈ．  Ｗａｔａｎａｂｅ，  Ｘ．  Ｌｕ，  Ｃ．  Ｈｏｒｉ，  ａｎｄ  Ｓ．  Ｋａｔａｇｉｒｉ，  “  Ｓｐｅａｋｅｒ  Ａｄａｐｔｉｖｅ  Ｔｒａｉｎｉｎｇ  ｆｏｒ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  Ｅｍｂｅｄｄｉｎｇ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｎｅｔｗｏｒｋｓ  ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＣＡＳＳＰ，  ４６０５−４６０９，  ２０１５．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１および非特許文献３に記載される適応方法は、適応データを大量に利用する場合は有効であるが、通常は、それほど多くの適応データを利用することは難しい。【０００７】
また、非特許文献２に記載される適応方法では、補助特徴量を利用することから、話者適応における演算量が多く、補助特徴量の精度によって話者適応の精度が大きく変化するという課題があった。【０００８】
この発明は上記課題を解決するもので、補助特徴量を利用することなく、適応データを大量に用いなくても、適切にＤＮＮの話者適応を行うことができる話者適応化装置、音声認識装置および音声認識方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る話者適応化装置は、誤差算出部と第１の適応化部とを備える。誤差算出部は、入力層、出力層および入力層と出力層との間にある１層以上の中間層を有し、１層以上の中間層のいずれかに話者適応層があるＤＮＮにおける出力層の出力データと教師データとの誤差を算出する。第１の適応化部は、学習話者の学習データから求められたＤＮＮにおけるノード間の接続重みを示す重み行列を入力して、誤差算出部により算出された誤差が減少するように、話者適応層における重み行列の重みを、学習話者数ごとに、または学習話者数ごとかつ話者適応層の出力の次元数ごとに算出する。
【発明の効果】
【００１０】
この発明によれば、ＤＮＮの出力層の出力データと教師データとの誤差が減少するように話者適応層におけるノード間の接続重みを示す重み行列の重みを、学習話者数ごとに、または学習話者数ごとかつ話者適応層の出力の次元数ごとに算出している。従って、補助特徴量を利用せずにＤＮＮの話者適応が可能である。また、適応データを大量に用いなくても適切にＤＮＮの話者適応を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る音声認識装置の構成例を示すブロック図である。
【図２】実施の形態１に係る話者適応化装置およびＤＮＮの構成例を示すブロック図である。
【図３】図３Ａは、実施の形態１に係る話者適応化装置の機能を実現するハードウェア構成を示すブロック図である。図３Ｂは、実施の形態１に係る話者適応化装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
【図４】実施の形態１に係る音声認識装置の動作を示すフローチャートである。
【図５】ＤＮＮの出力例を示す図である。
【図６】この発明の実施の形態２に係る音声認識装置の構成例を示すブロック図である。
【図７】実施の形態２に係る話者適応化装置およびＤＮＮの構成例を示すブロック図である。
【図８】実施の形態２に係る音声認識装置の動作を示すフローチャートである。
【図９】この発明の実施の形態３におけるＤＮＮの構成例を示す図である。
【図１０】実施の形態３に係る話者適応化装置の動作の一部を示すフローチャートである。
【図１１】この発明の実施の形態４に係る話者適応化装置およびＤＮＮの構成例を示すブロック図である。
【図１２】この発明の実施の形態５に係る話者適応化装置およびＤＮＮの構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る音声認識装置１の構成例を示すブロック図である。また、図２は、話者適応化装置４およびＤＮＮ５の構成例を示すブロック図である。
音声認識装置１は、図１に示すように、特徴量抽出部２、音声認識部３ａ，３ｂ、話者適応化装置４およびＤＮＮ５を備える。また、話者適応化装置４は、図２に示すように、誤差算出部６、適応化部７および記憶部８を備える。
【００１３】
特徴量抽出部２は、不図示のマイクで集音された話者音声を入力し、入力した話者音声から音声の特徴量を抽出する。例えば、特徴量抽出部２は、話者音声に対して音響特徴量分析を施すことにより、特徴ベクトルの時系列を特徴量として抽出する。
音声認識部３ａは、特徴量抽出部２により抽出された音声の特徴量に基づいて話者音声の音声認識を行い、この音声認識結果に基づいてアライメント情報を求める。
なお、アライメント情報とは、時系列の音声認識が得られたときに、各時刻とその時刻とにおけるＨＭＭの状態（状態番号）である。
【００１４】
音声認識部３ｂは、適応対象話者に適応されたＤＮＮ５を用いて話者音声の音声認識を行う。この音声認識部３ｂにより得られた認識結果が、最終的な音声認識結果として後段の出力装置に出力される。
なお、図１では、音声認識部３ａと音声認識部３ｂとを別々に設けた構成を示したが、音声認識部を１つとし、この音声認識部に双方の機能を持たせてもよい。
【００１５】
話者適応化装置４は、音声認識部３ａから入力したアライメント情報に基づいて、ＤＮＮ５を適応対象話者に適応させる。
ＤＮＮ５は、多数の層を有するニューラルネットワークであり、入力層５−１、出力層５−５、および入力層５−１と出力層５−５との間に設けられた１層以上の中間層５−２〜５−４を有する。
【００１６】
入力層５−１は、ＤＮＮ５で最初に情報が入力される層であって、複数の入力ノードを有する。出力層５−５は、認識対象の数の出力ノードを有する層である。中間層５−２〜５−４は、それぞれが複数のノードを有しており、これらのいずれか１つの層が話者適応のための中間層となる。図２の例では、中間層５−２と中間層５−４との間にある中間層が話者適応層５−３となっている。
【００１７】
誤差算出部６は、ＤＮＮ５における出力層５−５の出力データと教師データとの誤差を算出する。例えば、誤差算出部６は、音声認識部３ａから入力されたアライメント情報に基づいて、適応対象話者から発話された音声の特徴量が入力層５−１に入力されたときに出力層５−５から出力されるべき出力データを特定する。そして、誤差算出部６は、この出力データを教師データとして、実際に出力層５−５から出力されたデータとの間の誤差を算出する。このような誤差の算出方法は、誤差逆伝搬法として知られている。
【００１８】
適応化部７は、この発明における第１の適応化部を具体化したものであり、ＤＮＮ５における話者適応層５−３を適応対象話者に適応させる。話者適応層５−３を適応対象話者に適応させる場合、適応対象話者の音声からなる適応データを用いれば、適応対象話者に対する話者適応の効果は高くなる。ただし、これには、適応対象話者の音声からなる適応データを大量に集める必要がある。
【００１９】
そこで、適応化部７は、ＤＮＮ５における中間層５−２〜５−４のいずれか１つを話者適応層５−３とし、Ｎ人の学習話者の学習データでＤＮＮ５の学習を行って予め得られたＮ個の重み行列Ｗｎを話者適応に用いる。
なお、添え字ｎは、Ｎ人の学習話者のうちのいずれかの学習話者を示す添え字であり、１からＮまでの正の整数である。ＤＮＮ５の各ノードには、接続重みとバイアスとが付与されており、重み行列Ｗｎは、ＤＮＮ５におけるノード間の接続重みを要素とする行列である。
【００２０】
適応化部７は、誤差算出部６により算出された誤差が減少するように話者適応層５−３における重み行列Ｗｎの重みｗｎを算出する。
または、適応化部７は、重み行列Ｗｎの重みｗｎを、話者適応層５−３の出力の次元数ごとに算出する。
【００２１】
記憶部８は、前述した特定の話者の特性によらない話者独立な学習データを記憶する。
実施の形態１における記憶部８には、Ｎ人の学習話者の学習データから求められた重み行列データ８−１〜８−Ｎが記憶される。なお、重み行列データ８−１〜８−Ｎは、重み行列Ｗｎ（ｎ＝１〜Ｎ）である。
図２では、話者適応化装置４が記憶部８を内蔵する構成を示したが、これに限定されるものではない。すなわち、記憶部８は、話者適応化装置４から読み出しが可能な外部記憶装置に構築されていてもよい。
【００２２】
話者適応化装置４における誤差算出部６と適応化部７の各機能は、処理回路により実現される。すなわち、話者適応化装置４は、ＤＮＮ５における出力層５−５の出力データと教師データとの誤差を算出し、誤差が減少するように話者適応層５−３における重み行列Ｗｎの重みｗｎを算出するための処理回路を備える。
処理回路は、専用のハードウェアであってもメモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。
【００２３】
図３Ａは、話者適応化装置４の機能を実現するハードウェアの処理回路を示しており、図３Ｂは、話者適応化装置４の機能を実現するソフトウェアを実行するハードウェア構成を示している。図３Ａに示すように、処理回路が専用のハードウェアの処理回路１００である場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。誤差算出部６と適応化部７の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２４】
図３Ｂに示すように、処理回路がＣＰＵ１０１である場合、誤差算出部６と適応化部７の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより、実現される。ソフトウェアとファームウェアは、プログラムとして記述され、メモリ１０２に格納される。
ＣＰＵ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、話者適応化装置４は、ＣＰＵ１０１により実行されるときに、出力層５−５の出力データと教師データとの誤差を算出し、誤差が減少するように重みｗｎを算出する処理が結果的に実行されるプログラムを格納するメモリ１０２を備えている。また、これらのプログラムは、誤差算出部６と適応化部７の手順または方法をコンピュータに実行させるものである。
【００２５】
メモリ１０２とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などが該当する。
【００２６】
なお、誤差算出部６と適応化部７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、誤差算出部６は、専用のハードウェアの処理回路１００でその機能を実現し、適応化部７は、ＣＰＵ１０１がメモリ１０２に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
【００２７】
次に動作について説明する。
図４は、音声認識装置１の動作を示すフローチャートである。
まず、特徴量抽出部２が、マイクで集音された話者音声を入力して、入力した音声から特徴量を抽出する（ステップＳＴ１）。音声の特徴量は、例えば、特徴ベクトルの時系列である。また、音声の特徴量を示すデータは、特徴量抽出部２から音声認識部３ａおよびＤＮＮ５に入力される。
【００２８】
次に、音声認識部３ａが、特徴量抽出部２により抽出された音声の特徴量に基づいて、話者音声の音声認識を行う（ステップＳＴ２）。
さらに、音声認識部３ａは、この音声認識結果に基づいてアライメント情報を取得する（ステップＳＴ３）。このようにして得られたアライメント情報は、音声認識部３ａから話者適応化装置４に入力される。
【００２９】
誤差算出部６は、適応対象話者の発話音声の特徴量が入力されたＤＮＮ５の出力データと教師データとの誤差を算出する（ステップＳＴ４）。教師データは、アライメント情報から決定される。
なお、アライメント情報は、前述したように教師データなしで音声認識部３ａによって発話音声を音声認識して得てもよいが、適応対象話者の適応データが示す発話内容が既知であれば、この発話内容に基づいてアライメント情報を得てもよい。
【００３０】
適応化部７は、記憶部８からＮ個の重み行列Ｗｎを入力して、誤差算出部６により算出された誤差が減少するように重み行列Ｗｎの重みｗｎを算出する（ステップＳＴ５）。
そして、適応化部７は、前述のようにして算出した重みｗｎに基づいて、話者適応層５−３を適応対象話者に適応させる（ステップＳＴ６）。
【００３１】
例えば、実施の形態１では、話者適応層５−３の出力ｘｏｕｔが、下記式（１）に従って算出される。下記式（１）において、出力ｘｏｕｔは、複数の次元の要素を有したベクトルで表される。Ｗｎは学習話者ｎの学習データに対する重み行列であり、ｗｎは重み行列Ｗｎの重みである。このように下記式（１）では、各重み行列に対して１つの重みが規定されている。入力ｘｉｎは、話者適応層５−３の前段にある中間層５−２の出力、すなわち、話者適応層５−３の入力である。入力ｘｉｎは複数の次元の要素を有したベクトルで表される。
2018029777.tif 000003
【００３２】
適応対象話者から発話された音声の特徴量がＤＮＮ５の入力層５−１に入力されると、この情報が中間層５−２、話者適応層５−３、中間層５−４と順に伝搬して出力層５−５から出力される。
適応化部７は、入力層５−１に入力された音声の特徴量、アライメント情報および上記式（１）を用いて、話者適応層５−３の入力ｘｉｎと話者適応層５−３の出力ｘｏｕｔとを求める。次に、適応化部７は、学習話者ｎの学習データに対する重み行列Ｗｎを記憶部８から読み出し、重み行列Ｗｎと入力ｘｉｎと出力ｘｏｕｔとを用いて、上記式（１）に従って重みｗｎを算出する。
【００３３】
適応化部７は、誤差算出部６により順次算出される誤差が減少するように重みｗｎの値を修正する。そして、適応化部７は、上記誤差が予め定められた閾値よりも小さくなったときの重みｗｎを、学習話者ｎの学習データの重み行列Ｗｎに対する最終的な重みとして上記式（１）に設定する。この処理は、適応化部７によってＮ個の重み行列Ｗｎの数だけ行われ、これにより、話者適応層５−３が適応対象話者に適応される。すなわち、適応が必要なパラメータの個数はＮ個である。
【００３４】
なお、適応化部７は、話者適応層５−３の出力ｘｏｕｔを、下記式（２）に従って算出してもよい。下記式（２）において、“．＊”はベクトルの要素ごとの積である。
また、重み行列Ｗｎの重みｗｎは、出力ｘｏｕｔと同じ次元数Ｄｏｕｔの要素を有したベクトルで表される。
2018029777.tif 000004
【００３５】
適応化部７は、誤差算出部６により順次算出される誤差が減少するように重みｗｎの値を修正し、上記誤差が予め定められた閾値よりも小さくなったときの重みｗｎを、学習話者ｎの学習データの重み行列Ｗｎに対する最終的な重みとして上記式（２）に設定する。
この処理は、適応化部７によってＮ個の重み行列Ｗｎのそれぞれで出力ｘｏｕｔの次元数だけ行われ、これにより話者適応層５−３が適応対象話者に適応される。
すなわち、出力ｘｏｕｔの次元数をＤｏｕｔとした場合、適応が必要なパラメータの個数はＮ×Ｄｏｕｔ個である。
【００３６】
上記式（１）で得られる話者適応層５−３の出力ｘｏｕｔは、重みｗｎで重み付けられた重み行列Ｗｎを用いて話者適応層５−３の入力ｘｉｎを重み付けしたＮ個分の演算値を平均した値であったが、これに限定されるものではない。
例えば、下記式（３）に示すようにＮ個分の上記演算値のうちの最大値を出力ｘｏｕｔとしてもよい。また、ｍａｘｒは、行ごとに最大の要素を返すことを表している。
2018029777.tif 000005
【００３７】
また、適応化部７が、上記式（２）における重みｗｎでベクトルの要素ごとに重み付けられた重み行列Ｗｎを用いて話者適応層５−３の入力ｘｉｎを順次重み付けする。
このようにして得られたＮ×Ｄｏｕｔ個分の演算値のうちの最大値を話者適応層５−３の出力ｘｏｕｔとしてもよい。
【００３８】
ステップＳＴ７において、音声認識部３ｂは、話者適応層５−３が適応対象話者に適応されたＤＮＮ５を用いて音声認識を行う。例えば、ＤＮＮ５の出力層５−５の出力は、音声認識に用いられるＨＭＭの状態ごとの事後確率である。音声認識部３ｂは、出力層５−５から出力されるＨＭＭの状態ごとの事後確率を用いて、特徴量抽出部２が抽出した音声の特徴量のパターンに対してパターンマッチングを行い、パターンマッチングに基づく類似度を算出する。音声認識部３ｂは、このようにして算出した類似度に基づいて音声認識結果を生成して出力する。
【００３９】
また、ＤＮＮ５の中間層５−４からの出力を用いて音声認識を行ってもよい。
図５は、ＤＮＮ５の出力例を示す図であり、中間層５−４で得られた特徴量を出力する場合を示している。この場合、中間層５−４からの出力は、例えば、ボトルネック特徴量として後段の音声認識部３ｂの音声認識に使用される。
ここで、ボトルネック特徴量とは、中間層のノード数を少なくしたボトルネック構造のＤＮＮ５から抽出される特徴量である。
【００４０】
以上のように、実施の形態１に係る話者適応化装置４において、適応化部７は、誤差算出部６により算出された誤差が減少するように、話者適応層５−３における重み行列Ｗｎの重みｗｎを算出する。
または、適応化部７は、重み行列Ｗｎの重みｗｎを、話者適応層５−３の出力ｘｏｕｔの次元数Ｄｏｕｔごとに算出する。
従来の技術では、適応が必要なパラメータの個数がＤｉｎ×Ｄｏｕｔ個となっていたが、話者適応化装置４では、パラメータの個数がＮ個またはＮ×Ｄｏｕｔ個となる。
このように、話者適応化装置４では、適応データを大量に用いなくても適切にＤＮＮ５の話者適応を行うことができる。
また、ｉ−ベクトルといった補助特徴量が不要であるので、演算量が軽減され、さらに話者適応の精度が補助特徴量の精度に影響されることがない。
【００４１】
また、従来の技術では、話者適応を精度よく行うためには、多数の適応データが必要であった。これに対して、話者適応化装置４では、例えば上記式（１）〜（３）のように、Ｎ個分の平均値または最大値を出力ｘｏｕｔとしている。これにより、適応データが少なくても話者適応の精度を保つことができる。すなわち、適応データが少ない場合の頑健性を向上させることができる。
【００４２】
さらに、実施の形態１に係る音声認識装置１は、話者適応化装置４と、ＤＮＮ５と、話者適応化装置４により話者適応層５−３が適応対象話者に適応されたＤＮＮ５を用いて、音声認識する音声認識部３ｂとを備える。このように構成することで、話者適応化装置４の上記効果が得られる音声認識装置１を実現することができる。
【００４３】
さらに、実施の形態１に係る音声認識方法では、話者適応化装置４が、ＤＮＮ５を適応対象の話者に適応させるステップと、音声認識部３ｂが、話者適応層５−３が適応対象話者に適応されたＤＮＮ５を用いて音声認識するステップとを備える。これにより、話者適応化装置４の上記効果が得られる音声認識方法を提供することができる。
【００４４】
実施の形態２．
図６は、この発明の実施の形態２に係る音声認識装置１Ａの構成例を示すブロック図である。図７は、話者適応化装置４ＡおよびＤＮＮ５Ａの構成例を示すブロック図である。
音声認識装置１Ａは、図６に示すように特徴量抽出部２、音声認識部３ａ，３ｂ、話者適応化装置４ＡおよびＤＮＮ５Ａを備える。
話者適応化装置４Ａは、図７に示すように誤差算出部６、適応化部７Ａおよび記憶部８を備える。なお、図６および図７において、図１および図２と同一の構成要素には同一の符号を付して説明を省略する。
【００４５】
話者適応化装置４Ａは、話者適応層５Ａ−３の出力ｘｏｕｔのオフセットｏｎに基づいてＤＮＮ５Ａを適応対象話者に適応させる。ＤＮＮ５Ａは、多数の層を有するニューラルネットワークであって、入力層５−１、出力層５−５、および入力層５−１と出力層５−５との間に設けられた１層以上の中間層５−２〜５−４を有する。図７では、中間層５−２と中間層５−４との間にある中間層が話者適応層５Ａ−３となっている。
なお、話者適応層５Ａ−３は、オフセットｏｎに基づいて適応対象話者に適応された中間層である。
【００４６】
適応化部７Ａは、この発明における第２の適応化部を具体化したものであって、ＤＮＮ５Ａにおける話者適応層５Ａ−３を適応対象話者に適応させる。具体的には、適応化部７Ａは、誤差算出部６により算出された誤差が減少するように、重み行列Ｗｎによって重み付けされた話者適応層５Ａ−３の出力ｘｏｕｔのオフセットｏｎを算出する。このとき、１次元のオフセットｏｎ、または話者適応層５Ａ−３の出力ｘｏｕｔと同じ次元のオフセットｏｎが算出される。
【００４７】
また、話者適応化装置４Ａにおける誤差算出部６と適応化部７Ａの各機能は、処理回路により実現される。誤差算出部６と適応化部７Ａの各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、誤差算出部６は、図３Ａに示した専用のハードウェアの処理回路１００でその機能を実現し、適応化部７Ａは、図３Ｂに示したＣＰＵ１０１がメモリ１０２に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
【００４８】
次に動作について説明する。
図８は、音声認識装置１Ａの動作を示すフローチャートである。図８におけるステップＳＴ１からステップＳＴ４までの処理およびステップＳＴ７の処理は、図４と同様であるので、説明を省略する。
ステップＳＴ５ａにおいて、適応化部７Ａは、記憶部８からＮ個の重み行列Ｗｎを入力して、誤差算出部６により算出された誤差が減少するように、重み行列Ｗｎにより重み付けされた話者適応層５Ａ−３の出力ｘｏｕｔのオフセットｏｎを算出する。
この後に、適応化部７Ａは、このようにして算出したオフセットｏｎに基づいて、話者適応層５Ａ−３を適応対象話者に適応させる（ステップＳＴ６ａ）。
【００４９】
例えば、実施の形態２では、話者適応層５Ａ−３の出力ｘｏｕｔが下記式（４）に従って算出される。下記式（４）において、ｏｎは重み行列Ｗｎのオフセットである。
下記式（４）には、話者適応層５Ａ−３の出力ｘｏｕｔのオフセットｏｎとして１次元のオフセットが規定される。
2018029777.tif 000006
【００５０】
適応対象話者から発話された音声の特徴量が、ＤＮＮ５Ａの入力層５−１に入力されると、この情報が中間層５−２、話者適応層５Ａ−３、中間層５−４と順に伝搬して出力層５−５から出力される。
適応化部７Ａは、入力層５−１に入力された音声の特徴量とアライメント情報と上記式（４）とを用いて、話者適応層５Ａ−３の入力ｘｉｎと話者適応層５−３の出力ｘｏｕｔとを求める。次に、適応化部７Ａは、学習話者ｎの学習データに対する重み行列Ｗｎを記憶部８から読み出し、重み行列Ｗｎと入力ｘｉｎと出力ｘｏｕｔとを用い、上記式（４）に従ってオフセットｏｎを算出する。
【００５１】
ここで、適応化部７Ａは、誤差算出部６により順次算出された誤差が減少するように、オフセットｏｎの値を修正する。次に、適応化部７Ａは、誤差が予め定められた閾値よりも小さくなったときのオフセットｏｎを、最終的なオフセットとして上記式（４）に設定する。この処理は、適応化部７ＡによってＮ個の重み行列Ｗｎの数だけ行われて、これにより、話者適応層５Ａ−３が適応対象話者に適応される。すなわち、適応が必要なパラメータの個数はＮ個である。
【００５２】
なお、適応化部７Ａは、話者適応層５−３の出力ｘｏｕｔを下記式（５）に従って算出してもよい。下記式（５）におけるオフセットｏｎは話者適応層５Ａ−３の出力ｘｏｕｔと同じ次元数Ｄｏｕｔの要素を有したベクトルとして表される。
2018029777.tif 000007
【００５３】
適応化部７Ａは、誤差算出部６により順次算出される誤差が減少するようにオフセットｏｎの値を修正する。次に、適応化部７Ａは、誤差が予め定められた閾値よりも小さくなったときのオフセットｏｎを最終的なオフセットとして上記式（５）に設定する。
この処理は、適応化部７ＡによってＮ個の重み行列Ｗｎのそれぞれで出力ｘｏｕｔの次元数Ｄｏｕｔだけ行われ、これにより話者適応層５Ａ−３が適応対象話者に適応される。すなわち、適応が必要なパラメータの個数はＮ×Ｄｏｕｔ個である。
【００５４】
上記式（４）で得られる話者適応層５Ａ−３の出力ｘｏｕｔは、重み行列Ｗｎで重み付けされた話者適応層５Ａ−３の入力ｘｉｎに１次元のオフセットｏｎが加算されたＮ個分の演算値を平均した値であったが、これに限定されるものではない。
例えば、上記式（３）と同様に、Ｎ個分の上記演算値のうちの最大値を出力ｘｏｕｔとしてもよい。また、適応化部７Ａが、重み行列Ｗｎで重み付けされた話者適応層５Ａ−３の入力ｘｉｎに、話者適応層５Ａ−３の出力ｘｏｕｔと同じ次元のオフセットｏｎを加算する。このように算出されたＮ×Ｄｏｕｔ個分の演算値のうちの最大値を、話者適応層５Ａ−３の出力ｘｏｕｔとしてもよい。
【００５５】
以上のように、実施の形態２に係る話者適応化装置４Ａにおいて、適応化部７Ａは、誤差算出部６により算出された誤差が減少するように、１次元のオフセットｏｎまたは話者適応層５Ａ−３の出力ｘｏｕｔと同じ次元のオフセットｏｎを算出する。
このようにオフセットｏｎを適応させることで、適応が必要なパラメータの個数が、実施の形態１と同様にＮ個またはＮ×Ｄｏｕｔ個となる。従って、適応データを大量に用いなくても適切にＤＮＮ５Ａの話者適応を行うことができる。
また、ｉ−ベクトルといった補助特徴量が不要であるので、演算量が軽減され、さらに話者適応の精度が補助特徴量の精度に影響されることがない。
【００５６】
また、従来の技術では、話者適応を精度よく行うためには、多数の適応データが必要であった。これに対して、話者適応化装置４Ａでは、例えば、Ｎ個分の平均値または最大値を出力ｘｏｕｔとすることで、話者適応の精度を保つことができる。すなわち、適応データが少ない場合の頑健性を向上させることができる。
【００５７】
さらに、実施の形態２に係る音声認識装置１Ａは、話者適応化装置４Ａと、ＤＮＮ５Ａと、話者適応化装置４Ａにより話者適応層５−３が適応対象話者に適応されたＤＮＮ５Ａを用いて音声認識する音声認識部３ｂとを備える。このように構成することで、話者適応化装置４Ａの上記効果が得られる音声認識装置１Ａを実現することができる。
【００５８】
さらに、実施の形態２に係る音声認識方法では、話者適応化装置４Ａが、ＤＮＮ５Ａを適応対象の話者に適応させるステップと、音声認識部３ｂが、話者適応層５Ａ−３が適応対象話者に適応されたＤＮＮ５Ａを用いて音声認識するステップとを備える。
これにより、話者適応化装置４Ａの上記効果が得られる音声認識方法を提供することができる。
【００５９】
実施の形態３．
実施の形態３に係る話者適応化装置は、話者適応層の出力のオフセットを算出することに加え、誤差算出部により算出された誤差が減少するように重み行列の重みを算出する。
そこで、以降の説明では、実施の形態３に係る話者適応化装置の構成については、図７を参照する。
【００６０】
図９は、この発明の実施の形態３におけるＤＮＮ５Ｂの構成例を示す図である。
なお、図９で記載を省略したが、入力層５−１と話者適応層５Ｂ−３との間および話者適応層５Ｂ−３と出力層５−５との間には、中間層５−２，５−４があるものとする。
図９に示すＤＮＮ５Ｂにおいて、話者適応層５Ｂ−３が、重み行列Ｗｎの重みｗｎと出力ｘｏｕｔのオフセットｏｎとによって適応対象話者に適応されている。
また、話者適応層５Ｂ−３には、重みｗｎとして、上記式（１）と同様に、各重み行列に対して１つの重みが設定されており、オフセットｏｎとして、上記式（４）と同様に、１次元のオフセットが設定されている。
【００６１】
話者適応層５Ｂ−３の入力をｘｉｎ、出力をｘｏｕｔとし、話者適応層５Ｂ−３の出力ｘｏｕｔは、例えば、ｗｎＷｎｘｉｎに対して１次元のオフセットｏｎが加算された演算値のＮ個分の平均値で表される。また、Ｎ個分の上記演算値のうちの最大値を、話者適応層５Ｂ−３の出力ｘｏｕｔとしてもよい。
【００６２】
また、重み行列Ｗｎの重みｗｎは、上記式（２）と同様に、話者適応層５Ｂ−３の出力ｘｏｕｔの次元数Ｄｏｕｔごとに設定された重みであってもよい。さらに、出力ｘｏｕｔのオフセットｏｎは、上記式（４）と同様に出力ｘｏｕｔと同じ次元のオフセットｏｎであってもよい。この場合、話者適応層５Ｂ−３の出力ｘｏｕｔは、例えば、ｗｎ．＊（Ｗｎｘｉｎ）に出力ｘｏｕｔと同じ次元のオフセットｏｎが加算された演算値の平均値または最大値で表される。
【００６３】
さらに、話者適応層５Ｂ−３の出力ｘｏｕｔが、ｗｎＷｎｘｉｎに出力ｘｏｕｔと同じ次元のオフセットｏｎが加算された演算値の平均値または最大値であってもよい。
さらに、話者適応層５Ｂ−３の出力ｘｏｕｔが、ｗｎ．＊（Ｗｎｘｉｎ）に１次元のオフセットｏｎが加算された演算値の平均値または最大値であってもよい。
すなわち、実施の形態３における話者適応層５Ｂ−３では、重み行列Ｗｎの重みｗｎと話者適応層５Ｂ−３の出力のオフセットｏｎとを組み合わせたパラメータで適応対象話者に適応されていればよい。
【００６４】
次に動作について説明する。
図１０は、実施の形態３に係る話者適応化装置４Ａの動作の一部を示すフローチャートであり、話者適応層５Ｂ−３の適応処理に関する部分を示している。なお、図１０に示すステップＳＴ５ｂおよびステップＳＴ６ｂは、図８に示した一連の処理におけるステップＳＴ５ａおよびステップＳＴ６ａの代わりに実行される。
以降では、ステップＳＴ５ｂおよびステップＳＴ６ｂ以外の処理については説明を省略する。
【００６５】
ステップＳＴ５ｂにおいて、適応化部７Ａは、記憶部８からＮ個の重み行列Ｗｎを入力し、誤差算出部６により算出された誤差が減少するように、重み行列Ｗｎにより重み付けされた話者適応層５Ｂ−３の出力ｘｏｕｔのオフセットｏｎを算出する。
さらに、適応化部７Ａは、誤差算出部６によって算出された誤差が減少するように重み行列Ｗｎの重みｗｎを算出する。
ステップＳＴ６ｂにおいて、適応化部７Ａは、ステップＳＴ５ｂで算出したオフセットｏｎと重みｗｎとに基づいて、話者適応層５Ｂ−３を適応対象話者に適応させる。
【００６６】
以上のように、実施の形態３に係る話者適応化装置４Ａにおいて、適応化部７Ａは、出力ｘｏｕｔのオフセットｏｎの算出に加え、誤差算出部６により算出された誤差が減少するように重み行列Ｗｎの重みｗｎを算出する。
このように構成しても、適応データを大量に用いなくても適切にＤＮＮ５Ｂの話者適応を行うことができる。
【００６７】
実施の形態４．
実施の形態１〜３に係る話者適応化装置では、学習話者数Ｎが多くなると、これに伴い適応すべきパラメータの数も増加する。このため、学習話者の学習データの数Ｎが過度に多くなると、話者適応に要する演算量も過度に増えてしまう。
そこで、実施の形態４に係る話者適応化装置は、Ｎ個の重み行列ＷｎをＮよりも少ない数ＭのクラスにクラスタリングしてＭ個の重み行列Ｗｍに減らす。これにより、Ｎが過度に多くなっても、話者適応に要する演算量の増加を軽減することができる。なお、添え字のｍは、１からＭまでの正の整数である。
【００６８】
図１１は、この発明の実施の形態４に係る話者適応化装置４ＢおよびＤＮＮ５の構成例を示すブロック図である。話者適応化装置４Ｂは、誤差算出部６、適応化部７Ｂ、記憶部８およびクラスタリング部９を備える。なお、図１１において、図２と同一の構成要素には同一の符号を付して説明を省略する。
【００６９】
クラスタリング部９は、記憶部８に記憶されたＮ個の重み行列Ｗｎをクラス１０−１〜１０−Ｍにクラスタリングして、Ｍ個の重み行列Ｗｍを求める。
なお、クラスタリングの方法としては、例えば、Ｗｎ間の距離に基づくｋ−ｍｅａｎｓクラスタリングが挙げられる。
また、クラスタリング部９が、重み行列Ｗｎをベクトル化してＤｉｎ×Ｄｏｕｔ行、Ｎ列の行列を求めて、求めた行列に対してスペクトルクラスタリングを施してもよい。
以降、クラス１０−１〜１０−Ｍにクラスタリングされた重み行列をＷ’１，・・・，Ｗ’Ｍとする。
【００７０】
適応化部７Ｂは、クラスタリングされた重み行列Ｗ’１，・・・，Ｗ’Ｍを入力して、誤差算出部６により算出された誤差が減少するように、重み行列Ｗ’ｍの重みｗｍを算出する。例えば、話者適応層５−３の出力ｘｏｕｔが、下記式（６）に従って算出される。
下記式（６）において、Ｗ’ｍは、クラス１０−１〜１０−Ｍにクラスタリングされた重み行列であり、ｗｍは、重み行列Ｗ’ｍの重みである。
なお、下記式（６）では、クラス１０−１〜１０−Ｍの各重み行列に対して１つの重みが規定される。
2018029777.tif 000008
【００７１】
適応化部７Ｂは、誤差算出部６により順次算出される誤差が減少するように、重みｗｍの値を修正する。次に、適応化部７Ｂは、上記誤差が予め定められた閾値よりも小さくなったときの重みｗｍを、重み行列Ｗ’ｍに対する最終的な重みとして上記式（６）に設定する。この処理は、適応化部７ＢによってＭ個の重み行列Ｗ’ｍの数だけ行われ、これにより、話者適応層５−３が適応対象話者に適応される。すなわち、適応が必要なパラメータの個数はＭ個である。
【００７２】
なお、適応化部７Ｂは、話者適応層５−３の出力ｘｏｕｔを、下記式（７）に従って算出してもよい。下記式（７）における重み行列Ｗ’ｍの重みｗｍは、出力ｘｏｕｔと同じ次元数Ｄｏｕｔの要素を有したベクトルで表される。
2018029777.tif 000009
【００７３】
適応化部７Ｂは、誤差算出部６により順次算出される誤差が減少するように重みｗｍの値を修正する。
次に、適応化部７Ｂは、誤差が予め定められた閾値よりも小さくなったときの重みｗｍを、重み行列Ｗ’ｍに対する最終的な重みとして上記式（７）に設定する。この処理は、適応化部７ＢによってＭ個の重み行列Ｗ’ｍのそれぞれで出力ｘｏｕｔの次元数Ｄｏｕｔだけ行われ、これにより話者適応層５−３が適応対象話者に適応される。すなわち、適応が必要なパラメータの個数はＭ×Ｄｏｕｔ個である。
なお、上記式（６）および（７）は、出力ｘｏｕｔをＭ個の平均値としたが、Ｍ個のうちの最大値を出力ｘｏｕｔとしてもよい。
【００７４】
また、話者適応化装置４Ｂにおける誤差算出部６と適応化部７Ｂとクラスタリング部９の各機能は、処理回路により実現される。誤差算出部６と適応化部７Ｂとクラスタリング部９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、誤差算出部６は、図３Ａに示した専用のハードウェアの処理回路１００でその機能を実現し、適応化部７Ｂおよびクラスタリング部９は、図３Ｂに示したＣＰＵ１０１がメモリ１０２に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
【００７５】
また、これまで、実施の形態１の構成にクラスタリング部９が設けられた場合を示したが、実施の形態２または実施の形態３の構成にクラスタリング部９を設けてもよい。
このように構成しても、話者適応に要する演算量の増加を軽減することができる。
【００７６】
例えば、実施の形態２の構成にクラスタリング部９を設けた場合、話者適応層５Ａ−３が、出力ｘｏｕｔのオフセットｏｍによって適応対象話者に適応される。
適応化部７Ａは、上記式（４）または（５）におけるｗｎとＷｎとを、ｗｍとＷ’ｍとに置き換えた式に従って、オフセットｏｍを算出する。
【００７７】
さらに、実施の形態３の構成にクラスタリング部９を設けた場合、話者適応層５Ｂ−３が、重み行列Ｗ’ｍの重みｗｍと出力ｘｏｕｔのオフセットｏｍとによって適応対象話者に適応される。適応化部７Ａは、ｗｎとＷｎとを、ｗｍとＷ’ｍとに置き換えてオフセットｏｍと重みｗｍとを算出する。
【００７８】
以上のように、実施の形態４に係る話者適応化装置４Ｂは、クラスタリング部９を備える。クラスタリング部９は、重み行列Ｗｎを学習話者数Ｎよりも少ない数Ｍのクラスにクラスタリングする。実施の形態４における適応化部は、クラスタリング部９によりクラスタリングされた重みｗｍおよびオフセットｏｍのうちの少なくとも一方をクラスごとに算出する。これにより、Ｎが過度に多くなっても適切にＤＮＮ５の話者適応を行うことができる。
【００７９】
実施の形態５．
図１２は、この発明の実施の形態５に係る話者適応化装置４ＣおよびＤＮＮ５の構成例を示すブロック図である。話者適応化装置４Ｃは、誤差算出部６、適応化部７，１１、記憶部８および切り替え部１２を備える。なお、図１２において、図２と同一の構成要素には同一の符号を付して説明を省略する。
【００８０】
適応化部１１は、この発明における第３の適応化部を具体化したものであり、ＤＮＮ５における話者適応層５−３を適応対象話者に適応させる。具体的には、適応化部１１が、記憶部８からＮ個の重み行列Ｗｎを入力して、誤差算出部６により算出された誤差が減少するように、話者適応層５−３における重み行列Ｗｎを修正する。
重み行列Ｗｎにより話者適応層５−３の入力ｘｉｎが重み付けされるので、適応が必要なパラメータの個数はＤｉｎ×Ｄｏｕｔ個となる。
【００８１】
切り替え部１２は、予め定められた条件に応じて、適応化部７による話者適応層５−３の適応化と適応化部１１による話者適応層５−３の適応化とを切り替える。
学習話者数Ｎが多い場合、Ｎ個の重み行列Ｗｎに基づいて話者適応を行った方が、重みｗｎに基づく適応処理よりも話者適応の効果が大きくなる。
【００８２】
そこで、切り替え部１２は、学習話者数Ｎが閾値以上になった場合、適応化部７による適応化から適応化部１１による適応化へ切り替える。これにより、話者適応の効果を向上させることができる。
また、切り替え部１２は、適応化部７による適応化および適応化部１１による適応化のうち、誤差算出部６により算出された誤差が小さい方に切り替えてもよい。
【００８３】
また、話者適応化装置４Ｃにおける誤差算出部６と適応化部７と適応化部１１と切り替え部１２の各機能は、処理回路により実現される。誤差算出部６と適応化部７と適応化部１１と切り替え部１２の各機能について、一部を専用のハードウェアで実現して、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、誤差算出部６は、図３Ａに示した専用のハードウェアの処理回路１００でその機能を実現し、適応化部７，１１と切り替え部１２とは、図３Ｂに示したＣＰＵ１０１がメモリ１０２に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
【００８４】
なお、図１２では、適応化部１１および切り替え部１２を実施の形態１の構成に設けた場合を示したが、実施の形態２から実施の形態４までに示した各構成に設けてもよい。
すなわち、切り替え部１２が、予め定められた条件に応じて、適応化部７Ａまたは適応化部７Ｂによる適応化と、適応化部１１による適応化とを切り替えるようにしてもよい。
【００８５】
以上のように、実施の形態５に係る話者適応化装置４Ｃは、適応化部１１と切り替え部１２とを備える。適応化部１１は、誤差算出部６により算出された誤差が減少するように話者適応層５−３における重み行列Ｗｎを修正する。切り替え部１２は、適応化部７による適応化と適応化部１１による適応化とを切り替える。このように構成することで、話者適応の効果を向上させることができる。
【００８６】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせあるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８７】
この発明に係る話者適応化装置は、ＨＭＭを用いた音声認識技術に広く適用することが可能である。
【符号の説明】
【００８８】
１，１Ａ  音声認識装置、２  特徴量抽出部、３ａ，３ｂ  音声認識部、４、４Ａ〜４Ｃ  話者適応化装置、５，５Ａ，５Ｂ  ＤＮＮ、５−１  入力層、５−２，５−４  中間層、５−３，５Ａ−３，５Ｂ−３  話者適応層、５−５  出力層、６  誤差算出部、７，７Ａ，７Ｂ，１１  適応化部、８  記憶部、８−１〜８−Ｎ  重み行列データ、９  クラスタリング部、１０−１〜１０−Ｍ  クラス、１２  切り替え部、１００  処理回路、１０１  ＣＰＵ、１０２  メモリ。
【図１】
2018029777.tif 000010
【図２】
2018029777.tif 000011
【図３】
2018029777.tif 000012
【図４】
2018029777.tif 000013
【図５】
2018029777.tif 000014
【図６】
2018029777.tif 000015
【図７】
2018029777.tif 000016
【図８】
2018029777.tif 000017
【図９】
2018029777.tif 000018
【図１０】
2018029777.tif 000019
【図１１】
2018029777.tif 000020
【図１２】
2018029777.tif 000021
【手続補正書】
【提出日】平成30年2月8日(2018.2.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明に係る話者適応化装置は、誤差算出部と第１の適応化部とを備える。誤差算出部は、入力層、出力層および入力層と出力層との間にある１層以上の中間層を有し、１層以上の中間層のいずれかに話者適応層があるＤＮＮにおいて、適応対象話者の音声を入力データとして得られた出力層の出力データと教師データとの誤差を算出する。第１の適応化部は、適応対象話者以外の話者である学習話者の学習データから求められたＤＮＮにおけるノード間の接続重みを示す重み行列を入力して、誤差算出部により算出された誤差が減少するように、話者適応層における重み行列の重みを、学習話者数ごとに、または学習話者数ごとかつ話者適応層の出力の次元数ごとに算出する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力層、出力層および前記入力層と前記出力層との間にある１層以上の中間層を有し、前記１層以上の中間層のいずれかに話者適応層があるディープニューラルネットワークにおいて、適応対象話者の音声を入力データとして得られた前記出力層の出力データと教師データとの誤差を算出する誤差算出部と、
前記適応対象話者以外の話者である学習話者の学習データから求められた前記ディープニューラルネットワークのノード間の接続重みを示す重み行列を入力して、前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列の重みを、学習話者数ごとに、または学習話者数ごとかつ前記話者適応層の出力の次元数ごとに算出する第１の適応化部と
を備えたことを特徴とする話者適応化装置。
【請求項２】
入力層、出力層および前記入力層と前記出力層との間にある１層以上の中間層を有し、前記１層以上の中間層のいずれかに話者適応層があるディープニューラルネットワークにおいて、適応対象話者の音声を入力データとして得られた前記出力層の出力データと教師データとの誤差を算出する誤差算出部と、
前記適応対象話者以外の話者である学習話者の学習データから求められた前記ディープニューラルネットワークのノード間の接続重みを示す重み行列を入力して、前記誤差算出部により算出された誤差が減少するように、前記重み行列により重み付けされた前記話者適応層の出力の１次元のオフセットまたは前記話者適応層の出力と同じ次元のオフセットを、学習話者数ごとに算出する第２の適応化部と
を備えたことを特徴とする話者適応化装置。
【請求項３】
前記第２の適応化部は、前記話者適応層の出力のオフセットの算出に加えて、前記誤差算出部により算出された誤差が減少するように、前記重み行列の重みを学習話者数ごとに算出することを特徴とする請求項２記載の話者適応化装置。
【請求項４】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第１の適応化部は、前記重み行列の重みをクラスごとに算出することを特徴とする請求項１記載の話者適応化装置。
【請求項５】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第２の適応化部は、前記重み行列のオフセットをクラスごとに算出することを特徴とする請求項２記載の話者適応化装置。
【請求項６】
前記重み行列を、学習話者数よりも少ない数のクラスにクラスタリングするクラスタリング部を備え、
前記第２の適応化部は、前記話者適応層の出力のオフセットおよび前記重み行列の重みをクラスごとに算出することを特徴とする請求項３記載の話者適応化装置。
【請求項７】
前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列を修正する第３の適応化部と、
前記第１の適応化部による前記話者適応層の適応化と前記第３の適応化部による前記話者適応層の適応化とを切り替える切り替え部と
を備えたことを特徴とする請求項１記載の話者適応化装置。
【請求項８】
前記誤差算出部により算出された誤差が減少するように、前記話者適応層における前記重み行列を修正する第３の適応化部と、
前記第２の適応化部による前記話者適応層の適応化と前記第３の適応化部による前記話者適応層の適応化とを切り替える切り替え部と
を備えたことを特徴とする請求項２記載の話者適応化装置。
【請求項９】
請求項１記載の話者適応化装置と、
前記ディープニューラルネットワークと、
話者適応化装置により適応対象話者に前記話者適応層が適応された前記ディープニューラルネットワークを用いて音声認識する音声認識部と
を備えたことを特徴とする音声認識装置。
【請求項１０】
請求項１記載の話者適応化装置が、前記ディープニューラルネットワークを適応対象の話者に適応させるステップと、
音声認識部が、適応対象話者に前記話者適応層が適応された前記ディープニューラルネットワークを用いて音声認識するステップと
を備えたことを特徴とする音声認識方法。
【国際調査報告】
2018029777.tif 000022
2018029777.tif 000023
2018029777.tif 000024
2018029777.tif 000025
2018029777.tif 000026
2018029777.tif 000027