(57)【要約】【課題】参照音声が入力音声に含まれているか否かの判断を行うこと。【解決手段】音声認識装置１００は、周波数ｘと時間ｔによる入力パターンと、周波数ｙと時間τとによる参照パターンとに対して、２次元連続動的計画法を適用することにより、入力パターンの座標ｆ（ｔ，ｘ）と参照パターンの座標ｚ（τ，ｙ）との非線形のマッチング処理を行い、累積した累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）を算出する累積局所距離算出手段１４と、Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の変化状態よりｄｉｐを検出するｄｉｐ検出手段１４と、Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の変化状態より差値ｈを算出する差値算出手段１４と、差値ｈ≧第１閾値の場合に、局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が第２閾値以下となる対象領域を検出する参照パターン領域検出手段１４と、対象領域の検出により、入力音声に参照音声が含まれると判断する音声判断手段１５とを有する。【選択図】  図２
2019066690.tif 000002
【特許請求の範囲】
【請求項１】
第１所定時間毎に入力音声を周波数領域のデータに変換させることにより、周波数ｘ（１≦ｘ≦Ｘ）と時間ｔとの２次元データによって構成される入力パターンと、第２所定時間毎に参照音声を周波数領域のデータに変換させることにより、周波数ｙ（１≦ｙ≦Ｘ）と時間τ（１≦τ≦Ｔ）との２次元データによって構成される参照パターンとを用いて、前記入力パターンの座標ｆ（ｔ，ｘ）の値から、ｘ＝１からｘ＝Ｘまでの前記座標ｆ（ｔ，ｘ）の値の和を除算することにより、正規化された前記座標ｆ（ｔ，ｘ）の値を算出し、前記参照パターンの座標ｚ（τ，ｙ）の値から、ｙ＝１からｙ＝Ｘまでの前記座標ｚ（τ，ｙ）の値の和を除算することにより、正規化された前記座標ｚ（τ，ｙ）の値を算出し、２次元連続動的計画法によって、前記入力パターンの前記座標ｆ（ｔ，ｘ）と前記参照パターンの前記座標ｚ（τ，ｙ）との非線形のマッチング処理を行うことにより、正規化された前記座標ｆ（ｔ，ｘ）の値から正規化された前記座標ｚ（τ，ｙ）の値を減算した値の絶対値を示す局所距離ｄ（ｔ，ｘ，τ，ｙ）を算出し、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積して累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）を算出する累積局所距離算出手段と、
該累積局所距離算出手段により算出された前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値をＴとＸとの積で除算したＤ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）を算出し、前記Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の値の時間ｔにおける変化状態より谷底部分を示すｄｉｐを検出するｄｉｐ検出手段と、
該ｄｉｐ検出手段によって検出された前記ｄｉｐの発生時間をｔ＊とし、時間ｔ＊−２Ｔから時間ｔ＊までの時間区間における前記Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値から、時間ｔ＊におけるＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を差し引いた値を、差値ｈとして算出する差値算出手段と、
該差値算出手段により算出された差値ｈが、予め設定された第１閾値よりも大きい場合に、累積局所距離Ｄ（ｔ＊，Ｘ，Ｔ，Ｘ）の（ｔ＊，Ｘ，Ｔ，Ｘ）からバックトレース処理を行うことにより、前記座標ｆ（ｔ，ｘ）の正規化された値と、当該座標ｆ（ｔ，ｘ）に最適にマッチングする前記座標ｚ（τ，ｙ）の正規化された値とによって局所距離ｄ（ｔ，ｘ，τ，ｙ）の値を算出し、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が予め設定された第２閾値以下となる前記参照パターンの前記座標ｚ（τ，ｙ）の集合を、対象領域として検出する参照パターン領域検出手段と、
該参照パターン領域検出手段により前記対象領域が検出された場合に、前記入力音声に前記参照音声が含まれると判断する音声判断手段と
を有することを特徴とする音声認識装置。
【請求項２】
参照パターン領域検出手段は、前記対象領域が検出された場合に、当該対象領域を構成する前記座標ｚ（τ，ｙ）の最小の時間τｓと最大の時間τｅとを検出し、
前記音声判断手段は、前記参照音声のうち前記時間τｓから前記時間τｅまでの時間範囲に含まれる音声が、前記入力音声に含まれると判断すること
を特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記入力音声を前記第１所定時間毎に周波数領域のデータに変換する周波数変換手段と、
該周波数変換手段により変換された前記周波数領域のデータが正規化されて、変換された時間順に記録される入力パターン記録手段と
を有し、
前記入力パターン記録手段は、前記周波数変換手段によって新しいデータが生成される毎に、当該入力パターン記録手段に記録されている最も古いデータを消去し、前記新しいデータを、当該新しいデータの直前に生成されたデータの次に記録させ、
累積局所距離算出手段は、前記入力パターン記録手段に記録された全てのデータを記録された順番を維持したまま読み出して前記入力パターンとして用いることにより、前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の算出を行うこと
を特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項４】
参照音声が入力音声に含まれているか否かを判断するための音声認識装置の音声認識プログラムであって、
前記音声認識装置の制御手段に、
第１所定時間毎に前記入力音声を周波数領域のデータに変換させることにより、周波数ｘ（１≦ｘ≦Ｘ）と時間ｔとの２次元データによって構成される入力パターンと、第２所定時間毎に前記参照音声を周波数領域のデータに変換させることにより、周波数ｙ（１≦ｙ≦Ｘ）と時間τ（１≦τ≦Ｔ）との２次元データによって構成される参照パターンとを用いて、前記入力パターンの座標ｆ（ｔ，ｘ）の値から、ｘ＝１からｘ＝Ｘまでの前記座標ｆ（ｔ，ｘ）の値の和を除算することにより、正規化された前記座標ｆ（ｔ，ｘ）の値を算出させ、前記参照パターンの座標ｚ（τ，ｙ）の値から、ｙ＝１からｙ＝Ｘまでの前記座標ｚ（τ，ｙ）の値の和を除算することにより、正規化された前記座標ｚ（τ，ｙ）の値を算出させ、２次元連続動的計画法によって、前記入力パターンの前記座標ｆ（ｔ，ｘ）と前記参照パターンの前記座標ｚ（τ，ｙ）との非線形のマッチング処理を行わせることにより、正規化された前記座標ｆ（ｔ，ｘ）の値から正規化された前記座標ｚ（τ，ｙ）の値を減算した値の絶対値を示す局所距離ｄ（ｔ，ｘ，τ，ｙ）を算出させ、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積して累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）を算出させる累積局所距離算出機能と、
該累積局所距離算出機能により算出された前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値をＴとＸとの積で除算したＤ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）を算出させ、前記Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の値の時間ｔにおける変化状態より谷底部分を示すｄｉｐを検出させるｄｉｐ検出機能と、
該ｄｉｐ検出機能により検出された前記ｄｉｐの発生時間をｔ＊とし、時間ｔ＊−２Ｔから時間ｔ＊までの時間区間における前記Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値から、時間ｔ＊におけるＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を差し引いた値を、差値ｈとして算出させる差値算出機能と、
該差値算出機能により算出された差値ｈが、予め設定された第１閾値よりも大きい場合に、累積局所距離Ｄ（ｔ＊，Ｘ，Ｔ，Ｘ）の（ｔ＊，Ｘ，Ｔ，Ｘ）からバックトレース処理を行わせることにより、前記座標ｆ（ｔ，ｘ）の正規化された値と、当該座標ｆ（ｔ，ｘ）に最適にマッチングする前記座標ｚ（τ，ｙ）の正規化された値とによって局所距離ｄ（ｔ，ｘ，τ，ｙ）の値を算出させ、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が予め設定された第２閾値以下となる前記参照パターンの前記座標ｚ（τ，ｙ）の集合を、対象領域として検出させる参照パターン領域検出機能と、
該参照パターン領域検出機能により前記対象領域が検出された場合に、前記入力音声に前記参照音声が含まれると判断させる音声判断機能と
を実現させることを特徴とする音声認識プログラム。
【請求項５】
前記制御手段に、
前記参照パターン領域検出機能において、前記対象領域が検出された場合に、当該対象領域を構成する前記座標ｚ（τ，ｙ）の最小の時間τｓと最大の時間τｅとを検出させ、
前記音声判断機能において、前記参照音声のうち前記時間τｓから前記時間τｅまでの時間範囲に含まれる音声が、前記入力音声に含まれると判断させること
を特徴とする請求項４に記載の音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識を行うための音声認識装置および音声認識プログラムに関する。
【背景技術】
【０００２】
従来より、複数話者によって複数の会話が行われる環境で、自分の興味のある話題を聴き取る効果として、「カクテルパーティ効果」が知られている。例えば、たくさんの人々が別々の話題で話しをしている場合でも、カクテルパーティ効果によって、興味のある人の会話や、興味のある内容の会話などを、自然と聴き取ることができる。
【０００３】
「カクテルパーティ効果」に関する人間の能力を、工学的に実現したいという要望が高まっている。しかしながら、「カクテルパーティ効果」を工学的に実現することは、容易ではない。「カクテルパーティ効果」を工学的に実現するための研究として、混合音声の分離に関する研究が知られている（例えば、特許文献１、非特許文献１〜非特許文献６参照）。混合音声とは、上述のように複数話者によって行われる複数の会話からなる音声などが該当する。
【０００４】
混合音声の分離に関する一般的な研究では、話者の数以上のマイクを設置し、各マイクにより収音される複数音声の波形に基づいて、各話者の音声の分離を行う。このような混合音声の分離に関する技術分野は「blind source separation」と呼ばれる。混合音声の分離に関する主な手法として、「独立成分分析（Independent component analysis）」(以下、ＩＣＡと称する)と呼ばれる技術が用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１２５３９７号明細書
【非特許文献】
【０００６】
【非特許文献１】Edited by Pierre Comon, Christian Jutten, Handbook of Blind Source Separation: Independent Component Analysis and Applications, Academic Press, Chapter 8,2010, pp.281-324
【非特許文献２】Emmanuel Vincent, Nancy Bertin, Remi Gribonval, Frederic Bimot, From Blind to Guided Audio Source Separation: How models and side information can improve the separation of sound, IEEE Signal Processing Magazine, Volume: 31, Issue 3, May 2014, pp.107-115
【非特許文献３】Sebastian Ewert, Bryan Pardo, Meinard Mueller, Mark D. Plumbley, Score-Informed Source Separation for Musical Audio Recordings: An overview, IEEE Signal Processing Magazine, Volume: 31, Issue 3, May 2014, pp.116-124
【非特許文献４】Simon Arberet, Pierre Vandergheynst, R. Carrillo, J. Thiran, Y. Wiaux,"Sparse reverberant audio source separation via reweighted analysis", IEEE Transactions on Speech, Audio and Language Processing, Vol. 21, No. 7, Jul. 2013, pp. 1391-1402
【非特許文献５】Simon Arberet, Pierre Vandergheynst,"Reverberant Audio Source Separation via Sparse and Low-Rank Modeling", IEEE Signal Processing Letters, Vol. 21, Issue 4, January 28, 2014, pp.404-408
【非特許文献６】Antoine Liutkus, Derry Fitzgerald, Zafar Rafii, Bryan Pardo, Laurent Daudet,"Kernel Additive Models for Source Separation", IEEE Transactions on Signal Processing, Vol. 62, Issue 16, pp.4298-4310, August 15, 2014
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＩＣＡが実際に用いられる状況は、話者の人数が２〜３名程度の場合が多い。５名以上の話者がいる状況では、ＩＣＡによって、混合音声の分離を実現することが難しい。また、話者が途中で増加したり減少したりする場合にも、良好に混合音声を分離することが難しくなる。さらに、ＩＣＡでは、話者以上の数のマイクを設置する必要がある。このため、ＩＣＡでは、収音器材を多数設置するための機器準備負担や設置作業負担等が生じる。
【０００８】
また、「カクテルパーティ効果」を工学的に実現するためには、ＩＣＡにより混合音声の波形を分離した後に、音声認識を別途行う必要が生じる。従って、「カクテルパーティ効果」を工学的に実現するためには、複数のマイクが必要とされることや、混合音声が、ＩＣＡで分離可能な音声であることや、音声分離後に音声の認識処理を行う必要があることなど、複数の課題をそれぞれ解決する必要があった。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、参照音声が入力音声に含まれているか否かを判断することが可能な音声認識装置および音声認識プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る音声認識装置は、第１所定時間毎に入力音声を周波数領域のデータに変換させることにより、周波数ｘ（１≦ｘ≦Ｘ）と時間ｔとの２次元データによって構成される入力パターンと、第２所定時間毎に参照音声を周波数領域のデータに変換させることにより、周波数ｙ（１≦ｙ≦Ｘ）と時間τ（１≦τ≦Ｔ）との２次元データによって構成される参照パターンとを用いて、前記入力パターンの座標ｆ（ｔ，ｘ）の値から、ｘ＝１からｘ＝Ｘまでの前記座標ｆ（ｔ，ｘ）の値の和を除算することにより、正規化された前記座標ｆ（ｔ，ｘ）の値を算出し、前記参照パターンの座標ｚ（τ，ｙ）の値から、ｙ＝１からｙ＝Ｘまでの前記座標ｚ（τ，ｙ）の値の和を除算することにより正規化された前記座標ｚ（τ，ｙ）の値を算出し、２次元連続動的計画法によって、前記入力パターンの前記座標ｆ（ｔ，ｘ）と前記参照パターンの前記座標ｚ（τ，ｙ）との非線形のマッチング処理を行うことにより、正規化された前記座標ｆ（ｔ，ｘ）の値から正規化された前記座標ｚ（τ，ｙ）の値を減算した値の絶対値を示す局所距離ｄ（ｔ，ｘ，τ，ｙ）を算出し、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積して累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）を算出する累積局所距離算出手段と、該累積局所距離算出手段により算出された前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値をＴとＸとの積で除算したＤ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）を算出し、前記Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の値の時間ｔにおける変化状態より谷底部分を示すｄｉｐを検出するｄｉｐ検出手段と、該ｄｉｐ検出手段によって検出された前記ｄｉｐの発生時間をｔ＊とし、時間ｔ＊−２Ｔから時間ｔ＊までの時間区間における前記Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値から、時間ｔ＊におけるＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を差し引いた値を、差値ｈとして算出する差値算出手段と、該差値算出手段により算出された差値ｈが、予め設定された第１閾値よりも大きい場合に、累積局所距離Ｄ（ｔ＊，Ｘ，Ｔ，Ｘ）の（ｔ＊，Ｘ，Ｔ，Ｘ）からバックトレース処理を行うことにより、前記座標ｆ（ｔ，ｘ）の正規化された値と、当該座標ｆ（ｔ，ｘ）に最適にマッチングする前記座標ｚ（τ，ｙ）の正規化された値とによって局所距離ｄ（ｔ，ｘ，τ，ｙ）の値を算出し、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が予め設定された第２閾値以下となる前記参照パターンの前記座標ｚ（τ，ｙ）の集合を、対象領域として検出する参照パターン領域検出手段と、該参照パターン領域検出手段により前記対象領域が検出された場合に、前記入力音声に前記参照音声が含まれると判断する音声判断手段とを有することを特徴とする。
【００１１】
また、本発明に係る音声認識プログラムは、参照音声が入力音声に含まれているか否かを判断するための音声認識装置の音声認識プログラムであって、前記音声認識装置の制御手段に、第１所定時間毎に前記入力音声を周波数領域のデータに変換させることにより、周波数ｘ（１≦ｘ≦Ｘ）と時間ｔとの２次元データによって構成される入力パターンと、第２所定時間毎に前記参照音声を周波数領域のデータに変換させることにより、周波数ｙ（１≦ｙ≦Ｘ）と時間τ（１≦τ≦Ｔ）との２次元データによって構成される参照パターンとを用いて、前記入力パターンの座標ｆ（ｔ，ｘ）の値から、ｘ＝１からｘ＝Ｘまでの前記座標ｆ（ｔ，ｘ）の値の和を除算することにより、正規化された前記座標ｆ（ｔ，ｘ）の値を算出させ、前記参照パターンの座標ｚ（τ，ｙ）の値から、ｙ＝１からｙ＝Ｘまでの前記座標ｚ（τ，ｙ）の値の和を除算することにより、正規化された前記座標ｚ（τ，ｙ）の値を算出させ、２次元連続動的計画法によって、前記入力パターンの前記座標ｆ（ｔ，ｘ）と前記参照パターンの前記座標ｚ（τ，ｙ）との非線形のマッチング処理を行わせることにより、正規化された前記座標ｆ（ｔ，ｘ）の値から正規化された前記座標ｚ（τ，ｙ）の値を減算した値の絶対値を示す局所距離ｄ（ｔ，ｘ，τ，ｙ）を算出させ、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積して累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）を算出させる累積局所距離算出機能と、該累積局所距離算出機能により算出された前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値をＴとＸとの積で除算したＤ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）を算出させ、前記Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の値の時間ｔにおける変化状態より谷底部分を示すｄｉｐを検出させるｄｉｐ検出機能と、該ｄｉｐ検出機能により検出された前記ｄｉｐの発生時間をｔ＊とし、時間ｔ＊−２Ｔから時間ｔ＊までの時間区間における前記Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値から、時間ｔ＊におけるＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を差し引いた値を、差値ｈとして算出させる差値算出機能と、該差値算出機能により算出された差値ｈが、予め設定された第１閾値よりも大きい場合に、累積局所距離Ｄ（ｔ＊，Ｘ，Ｔ，Ｘ）の（ｔ＊，Ｘ，Ｔ，Ｘ）からバックトレース処理を行わせることにより、前記座標ｆ（ｔ，ｘ）の正規化された値と、当該座標ｆ（ｔ，ｘ）に最適にマッチングする前記座標ｚ（τ，ｙ）の正規化された値とによって局所距離ｄ（ｔ，ｘ，τ，ｙ）の値を算出させ、算出された当該局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が予め設定された第２閾値以下となる前記参照パターンの前記座標ｚ（τ，ｙ）の集合を、対象領域として検出させる参照パターン領域検出機能と、該参照パターン領域検出機能により前記対象領域が検出された場合に、前記入力音声に前記参照音声が含まれると判断させる音声判断機能とを実現させることを特徴とする。
【００１２】
さらに、上述した音声認識装置および音声認識プログラムは、前記対象領域が検出された場合に、当該対象領域を構成する前記座標ｚ（τ，ｙ）の最小の時間τｓと最大の時間τｅとを検出し、前記参照音声のうち前記時間τｓから前記時間τｅまでの時間範囲に含まれる音声が、前記入力音声に含まれると判断するものであってもよい。
【００１３】
また、上述した音声認識装置は、前記入力音声を前記第１所定時間毎に周波数領域のデータに変換する周波数変換手段と、該周波数変換手段により変換された前記周波数領域のデータが正規化されて、変換された時間順に記録される入力パターン記録手段とを有し、前記入力パターン記録手段は、前記周波数変換手段によって新しいデータが生成される毎に、当該入力パターン記録手段に記録されている最も古いデータを消去し、前記新しいデータを、当該新しいデータの直前に生成されたデータの次に記録させ、累積局所距離算出手段は、前記入力パターン記録手段に記録された全てのデータを記録された順番を維持したまま読み出して前記入力パターンとして用いることにより、前記累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の算出を行うものであってもよい。
【発明の効果】
【００１４】
本発明に係る音声認識装置および音声認識プログラムでは、入力音声を２次元の入力パターンとし、参照音声を２次元の参照パターンとして、２次元連続動的計画法によって、非線形のマッチング処理を行うことにより、参照音声が入力音声に含まれるかを判断する。このため、入力音声として複数話者が同時に発声した音であっても、波形分離を行うことなく、１つのまとまった音（単一音声）として音声認識を行うことができる。従って、音声分離処理や音声分離後に個別に音声認識処理を行う必要がなく、処理の迅速化と処理負担の軽減を図ることが可能になる。
【００１５】
また、複数話者の発声を１つのまとまった音（単一音声）として音声認識を行うので、話者が途中で増加したり減少したりした場合であっても、話者の増減を考慮することなく音声認識を行うことができる。
【００１６】
さらに、音声認識処理において、入力音声を２次元の入力パターンとし、参照音声を２次元の参照パターンとして、２次元データと２次元データとによるパターンマッチングにより音声認識を行うため、時間の異なるベクトルの要素をも考慮した音声認識処理を行うことができる。このため、従来の音声認識処理のように、入力音声あるいは参照音声をベクトルデータと捉えて音声認識を行う場合に比べて、より高い精度で音声認識を行うことができる。
【００１７】
また、本発明に係る音声認識装置および音声認識プログラムでは、Ｄ（ｔ，Ｘ，Ｔ，Ｘ）／（Ｔ・Ｘ）の値の時間ｔにおける変化状態に基づいて差値ｈを算出し、差値ｈが予め設定された第１閾値よりも大きい場合に、局所距離ｄ（ｔ，ｘ，τ，ｙ）の値が予め設定された第２閾値以下となる参照パターンの対象領域を検出できるかを調べることによって、入力音声に参照音声が含まれるか否かの判断を行うことができる。
【００１８】
特に、本発明に係る音声認識装置および音声認識プログラムでは、対象領域が検出された場合に、当該対象領域を構成する座標ｚ（τ，ｙ）の最小の時間τｓと最大の時間τｅとを検出することによって、参照音声のうち時間τｓから時間τｅまでの時間範囲に含まれる音声が、入力音声に含まれると判断すること可能になる。
【００１９】
さらに、入力パターン記録手段において、周波数変換手段によって新しいデータが生成される毎に、変換された時間順に記録されたデータのうち最も古いデータを消去し、新しいデータを、当該新しいデータの直前に生成されたデータの次に記録させ、累積局所距離算出手段が、入力パターン記録手段に記録された全てのデータを記録された順番を維持したまま読み出して入力パターンとして用いて、累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の算出を行う。このため、継続的に入力される入力音声を対象として参照音声の音声認識処理を行うことが可能になる。また、音声認識処理の処理対象となる入力音声は、音声の始端および終端によって制限されることはない。従って、本発明に係る音声認識装置および音声認識プログラムでは、エンドレスに続く入力音声を音声認識処理の対象として用いることが可能になる。
【図面の簡単な説明】
【００２０】
【図１】実施の形態に係る音声認識装置の概略構成を示したブロック図である。
【図２】実施の形態に係るＣＰＵが、プログラムに基づいて実行する機能を示したブロック図である。
【図３】マッチング処理により求められたＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の時間変化を示した図であって、（ａ）は、ｄｉｐにおけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値がゼロになる場合を示し、（ｂ）は、ｄｉｐにおけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値がゼロでない場合を示した図である。
【図４】参照データが「明日は晴れかな、雨かな」という音声データの場合に、入力データの中に「晴れかな」に該当する音声が含まれている場合を説明するための図である。
【図５】実施の形態に係るマッチング処理部の処理内容を示したフローチャートである。
【図６】ベクトルベースのマッチング処理を基本とする従来の音声認識処理手法を説明するための図である。
【図７】参照データや入力データを、領域ベースのデータとして捉えてマッチング処理を行うことを説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る音声認識装置の一例を、図面を用いて詳細に説明する。図１は、音声認識装置の概略構成を示したブロック図である。音声認識装置１００は、マイク１と、ＣＰＵ(Central Processing Unit：制御手段、累積局所距離算出手段、ｄｉｐ検出手段、差値算出手段、参照パターン領域検出手段)２と、ＲＯＭ（Read Only Memory）３と、ＲＡＭ（Random Access Memory：入力パターン記録手段）４と、記録部（入力パターン記録手段）５と、表示部６とを有している。音声認識装置１００は、例えば、複数の話者が存在する空間であって、複数の話者により異なる内容の会話が平行して進行される空間に設置される。
【００２２】
マイク１は、上述したように、異なる内容の会話が並行して進行される空間の音声を収音する。本実施の形態に係る音声認識装置１００では、マイク１が１台だけ設置される場合を一例として示す。しかしながら、マイク１の設置台数は、必ずしも１台に限定されない。複数の話者により異なる内容の会話が行われる空間の音を、単一音声として収音することができれば、マイク１の設置台数は制限を受けない。
【００２３】
記録部５は、一般的なハードディスク等によって構成されている。なお、記録部５の構成は、ハードディスクだけに限定されるものではなく、フラッシュメモリ、ＳＳＤ（Solid State Drive / Solid State Disk）などであってもよい。記録部５には、音声認識を行うための音声データが、参照データとして記録される。参照データは、文章や単語等の文言（以下、これらを「文記号」と称する）を内容とする音声（参照音声）に基づいて生成される。
【００２４】
ＣＰＵ２は、マイク１により収音された入力音声（入力音、入力データ）に、参照音声（参照データ）が含まれているか否かの音声認識処理を行う。具体的に、ＣＰＵ２は、次述するＲＯＭ３に記録されるプログラム（後述する図５のフローチャートに基づくプログラム等）を読み出して実行することによって、音声認識処理を行う。
【００２５】
ＲＯＭ３には、ＣＰＵ２における処理内容を示したブログラム等が記録される。ＲＡＭ４は、ＣＰＵ２の処理に利用されるワークエリアとして用いられる。ＲＡＭ４は、次述するバッファーメモリ部１２やワーキングメモリ１４ａとして用いられる。例えば、ＲＡＭ４がバッファーメモリ部１２として用いられる場合、ＲＡＭ４には、マイク１で収音された音声データが入力データとして記録される。また、ＲＡＭ４が、ワーキングメモリ１４ａとして用いられる場合、ＲＡＭ４は、２次元連続動的計画法を用いたマッチング処理およびバックトレース処理用のワーキングエリアとして利用される。
【００２６】
表示部６は、入力音声（入力データ）に参照音声（参照データ）が含まれるか否かの判断結果等を表示するために用いられる。表示部６には、液晶ディスプレイや、ＣＲＴディスプレイなどの一般的な表示装置が用いられる。
【００２７】
次に、入力データと参照データとに基づいて、ＣＰＵ２が、音声認識処理を行う方法について説明する。図２は、ＣＰＵ２が、ＲＯＭ３に記録されたプログラムに基づいて実行する機能を示したブロック図である。図２に示すように、音声認識装置１００は、Ａ／Ｄ変換部１０と、ＦＦＴ部（周波数変換手段、累積局所距離算出手段）１１と、バッファーメモリ部（入力パターン記録手段）１２と、参照データメモリ部１３と、マッチング処理部（制御手段、累積局所距離算出手段、ｄｉｐ検出手段、差値算出手段、参照パターン領域検出手段）１４と、検出判定部（制御手段、音声判断手段）１５とを有している。
【００２８】
Ａ／Ｄ変換部１０には、マイク１が接続されている。Ａ／Ｄ変換部１０は、マイク１によって収音された入力音声を、アナログデータからデジタルデータへと変換する処理を行う。マイク１によって収音される入力音声は、エンドレスな音声波形である。例えば、複数話者が同時に発話した音声が重なって単一音声となった音声波形が該当する。Ａ／Ｄ変換部１０では、マイク１で収音されたアナログデータである入力音声を、例えば、１２ｋＨｚや１６ｋＨｚのサンプリングレートでデジタルデータへ変換する。Ａ／Ｄ変換部１０で変換されたデジタルデータは、ＦＦＴ部１１へ出力される。
【００２９】
ＦＦＴ部１１は、Ａ／Ｄ変換部１０によってデジタルデータに変換された入力音声を、時間領域のデータから周波数領域のデータへと変換する処理を行う。詳細には、ＦＦＴ部１１は、デジタルデータに変換された入力音声に対して窓関数を用いてフィルタ処理した後に、高速フーリエ変換処理を行う。ＦＦＴ部１１により高速フーリエ変換処理されたデータは、例えば、２０のバンド数を備えるスペクトルベクトルとして求められる。本実施の形態では、このスペクトルベクトルをフレームベクトルと称する。このフレームベクトルは、一般的な音声分析において用いられるデータである。なお、フレームベクトル（スペクトルベクトル）のバンド数は、必ずしも２０には限定されず、１２や１６等のバンド数であってもよい。
【００３０】
フレームベクトルは、ＦＦＴ部１１によって逐次作成される。また、上述したように、入力音声は、マイク１によりエンドレスに収音される。従って、ＦＦＴ部１１において逐次、高速フーリエ変換処理を行うことによって、エンドレスに収音される入力音声に対応したフレームベクトルを作成することができる。本実施の形態では、一例として、５ｍｓｅｃ毎（第１所定時間毎）にフレームベクトルが作成されるものとする。なお、フレームベクトルの作成間隔は、５ｍｓｅｃには限定されず、８ｍｓｅｃであっても、あるいは、１２ｍｓｅｃであっても、その他の作成間隔であってもよい。
【００３１】
さらに、ＦＦＴ部１１は、高速フーリエ変換処理によって作成されたフレームベクトルに対して、音声の波形の大きさを時間毎に正規化する処理を行う。入力音声に基づいてフレームベクトルが作成された時間をｔとする。この時間ｔは、入力音声がマイク１を介してＦＦＴ部１１に入力された時間にも該当する。時間ｔに作成されたフレームベクトル（スペクトルベクトル）をｆ（ｔ，ｘ）で示す。但し、１≦ｘ≦Ｘ，ｔ＝１，２，・・・とする。ｘは、フレームベクトルのバンド数を示し、本実施の形態では、上述したようにＸ＝２０である。ＦＦＴ部１１は、ｘ＝１からｘ＝Ｘまでのｆ（ｔ，ｘ）の値の和を求めて、求められた和の値でｆ（ｔ，ｘ）の値を除算することにより、正規化されたフレームベクトルの値を算出する。
【００３２】
正規化後のフレームベクトルをｆ'（ｔ，ｘ）とすると、ｆ'（ｔ，ｘ）の値は、
【数１】
2019066690.tif 000003
・・・式１
により求められる。そして、ＦＦＴ部１１は、正規化されたフレームベクトルｆ'（ｔ，ｘ）の値を、改めてｆ（ｔ，ｘ）に設定する。
【００３３】
つまり、高速フーリエ変換処理により求められた入力音声のフレームベクトルに対して正規化処理が行われたフレームベクトルの値が、ｆ（ｔ，ｘ）の値となる。
【００３４】
この正規化処理によって、ｆ（ｔ，ｘ）の値は、０≦ｆ（ｔ，ｘ）≦１となる。なお、本実施の形態に係る入力音声では、実質的にエンドレスな時間区間として時間ｔを判断するが、その詳細については後述する。このようにして作成されたフレームベクトルは、バッファーメモリ部１２へ出力される。
【００３５】
バッファーメモリ部１２には、ＦＦＴ部１１によって正規化されたフレームベクトル（以下、正規化されたフレームベクトルを、単にフレームベクトルと称する）が時系列的に記録される。つまり、フレームベクトルは、ＦＦＴ部１１によって作成（変換）された時間順にバッファーメモリ部１２に記録される。
【００３６】
バッファーメモリ部１２には、ＴＭ個（ＴＭフレーム）分のフレームベクトルを記録することが可能なメモリ容量が確保されている。例えば、５ｍｓｅｃ毎に作成されるフレームベクトルのＴＭ個分のデータ、つまり、５ｍｓｅｃ×ＴＭの時間長の入力音声のデータを記録することが可能である。そして、ＦＦＴ部１１によりＴＭ＋１個目の新しいフレームベクトルが作成された場合、バッファーメモリ部１２は、先入先出処理（First-In First-Out処理）によって、記録されている１番古いフレームベクトルを消去して、記録されている他のフレームベクトルをＦＦＴ部１１によって作成された順番に並べて記録させ、ＴＭ個目に作成されたフレームベクトル（一番新しいフレームベクトルの直前に作成（変換）されたフレームベクトル）の次に、一番新しいフレームベクトル（ＴＭ＋１個目のフレームベクトル）を記録させる。
【００３７】
バッファーメモリ部１２に記録されるＴＭ個分のフレームベクトルのデータ群を、入力データと称する。上述したように、フレームベクトルは、入力音声を周波数領域に変換したデータであるため、周波数毎の信号レベルが記録されたベクトルデータとなる。さらに、バッファーメモリ部１２には、５ｍｓｅｃ毎に逐次作成されるフレームベクトルがＴＭ個（ＴＭフレーム）記録されているため、入力データは、縦軸を周波数とし、横軸を時間とする２次元データであって、各座標に信号レベルが記録されたデータに該当する。
【００３８】
参照データメモリ部１３には、所定の音声（所定の文記号の音声）を記録した参照データが記録される。参照データは、参照音声をデジタルデータ化したものである。参照データを作成する場合には、まず、単語や文などの記号表現（文記号）を作る。その後、これらの記号表現（文記号）を合成音に変換して波形を作成することにより、参照音声が作成される。本実施の形態では、参照音声を有限の音声とする。つまり、参照音声の波形は、有限の時間区間により構成されるものとする。
【００３９】
作成された参照音声を、例えば、５ｍｓｅｃ毎（第２所定時間毎）に高速フーリエ変換することにより、参照データ用のフレームベクトルが生成される。参照データ用のフレームベクトルに対しても、音声の波形の大きさを時間毎に正規化する処理が行われる。参照データの音声波形の時間をτで示す。時間τの範囲は１≦τ≦Ｔとする。時間Ｔに関しては後述する。時間τにおいて高速フーリエ変換処理により生成された参照データ用のフレームベクトル（スペクトルベクトル）をｚ（τ，ｙ）で示す。但し、１≦ｙ≦Ｘとする。ｘは、参照データ用のフレームベクトルにおけるバンド数を示し、本実施の形態では、上述したようにＸ＝２０とする。参照データ用のフレームベクトルｚ（τ，ｙ）に関しても、ｙ＝１からｙ＝Ｘまでのｚ（τ，ｙ）の値の和を求めて、求められた和の値によりｚ（τ，ｙ）の値を除算することにより、正規化されたフレームベクトル（スペクトルベクトル）の値を算出する。
【００４０】
正規化後のフレームベクトルをｚ'（τ，ｙ）とすると、ｚ'（τ，ｙ）の値は、
【数２】
2019066690.tif 000004
・・・式２
により求められる。そして、正規化されたフレームベクトルｚ'（τ，ｙ）の値を、改めてｚ（τ，ｙ）に設定する。
【００４１】
つまり、ｚ（τ，ｙ）は、高速フーリエ変換処理により求められた参照データ用のフレームベクトルに対して、正規化処理が行われたものになる。この正規化処理によって、ｚ（τ，ｙ）の値は、０≦ｆ（τ，ｙ）≦１となる。
【００４２】
参照データは、上述したように、５ｍｓｅｃ毎（第２所定時間毎）のフレームベクトルがＴ個（Ｔフレーム）（但し、ＴＭ＞Ｔとする）集まることにより構成される。また、参照データは、入力データと同様のデータ形式であり、２０のバンド数からなるスペクトルベクトルによって構成される。このため、本実施の形態における参照データは、一例として、２０バンド（２０個）の要素を備えたフレームベクトルが、Ｔ個（Ｔフレーム）存在するデータと判断することができる。つまり、縦２０、横Ｔの長さのマトリックスによって、１つの参照データを表現することができる。
【００４３】
参照データに用いられる有限の音声データ（参照音声）として、本実施の形態では、上述したように、合成音声を利用する。例えば、「明日は晴れかな、雨かな」という文記号に基づいて、音声合成ソフト等を用いた人工的な音声データ（合成音による波形データ）を生成する。参照データメモリ部１３に記録される参照データは、上述した入力データと同様のデータ形式、つまり、縦軸を周波数とし、横軸を時間とする２次元データであって、各座標に信号レベルが記録されたデータとなる。
【００４４】
なお、参照データにおいてフレームベクトルが作成される間隔（第２所定時間毎）は、５ｍｓｅｃに限定されない。フレームベクトルの作成間隔は、８ｍｓｅｃであっても、あるいは、１２ｍｓｅｃであっても、その他の作成間隔であってもよい。
【００４５】
マッチング処理部１４は、バッファーメモリ部１２に記録される入力データ（入力音声のフレームベクトルが正規化されＴＭ個集まったデータ群）と、参照データメモリ部１３に記録される参照データ（参照データ用のフレームベクトルが正規化されＴ個集まったデータ群）とを読み出して、２次元連続動的計画法を用いたデータのマッチング処理およびバックトレース処理を行う。マッチング処理部１４には、マッチング処理およびバックトレース処理に用いるワーキングメモリ１４ａが設けられている。ワーキングメモリ１４ａは、マッチング処理およびバックトレース処理の計算に必要なメモリ量が確保されている。マッチング処理に必要なメモリ量については、後述する。
【００４６】
マッチング処理部１４では、２次元連続動的計画法を用いてマッチング処理およびバックトレース処理を行うが、既に説明したように、マッチング処理およびバックトレース処理の対象となる入力データは、エンドレスな入力音声に基づく複数のフレームベクトルによって構成され、単位時間毎に入力データの内容が更新されるという特徴がある。このため、マッチング処理部１４では、エンドレスに更新される入力データを用いて２次元連続動的計画法を行う。本実施の形態では、エンドレスに更新される入力データを用いて行われる２次元連続動的計画法を、「インクリメンタル２次元連続動的計画法」と称する。
【００４７】
また、縦軸を周波数とし、横軸を時間とする入力データの２次元のデータパターンを、入力パターンと称する。入力パターンでは、既に説明したように、時間を示す横軸をｔ，周波数を示す縦軸をｘで示し、１≦ｘ≦Ｘとする。また、入力データの時間ｔは、バッファーメモリ部１２において、一番新しいフレームベクトルの作成（変換）時間を示している。バッファーメモリ部１２に記録される入力データは、１番新しいフレームベクトルが記録される際に、１番古いフレームベクトルが消去されるため、実質的にエンドレスな時間区間と判断できる。
【００４８】
さらに、縦軸を周波数とし、横軸を時間とする参照データの２次元のデータパターンを、参照パターンと称する。参照パターンでは、既に説明したように、時間を示す横軸をτ，周波数を示す縦軸をｙで示し、１≦τ≦Ｔ，１≦ｙ≦Ｘとする。
【００４９】
マッチング処理部１４は、参照パターン（τ，ｙ）と入力パターン（ｔ，ｘ）とのマッチング処理およびバックトレース処理を、２次元連続動的計画法を用いて行う。２次元連続動的計画法の処理内容は公知の技術内容である。例えば、特開２０１０−１６５１０４号明細書において、参照画像と入力画像（対象画像）との２つの画像のマッチング処理に関する説明が記載されている。入力画像を画像ｆ（ｉ，ｊ）とし、参照画像を画像ｇ（ｍ，ｎ）とすると、２次元連続動的計画法を用いることにより、画像ｆ（ｉ，ｊ）と画像ｇ（ｍ，ｎ）との間の最適な画素の対応を求めることができる。
【００５０】
２次元連続動的計画法では、各変数ｉ，ｊ，ｍ，ｎからなる４次元空間を構築し、４次元における局所距離ｄ（ｉ，ｊ，ｍ，ｎ）＝｜ｆ（ｉ，ｊ）−ｇ（ｍ，ｎ）｜を算出する。さらに、局所距離ｄ（ｉ，ｊ，ｍ，ｎ）を累積した変数を累積局所距離Ｄ（ｉ，ｊ，ｍ，ｎ）とする。ｉを固定し、固定したｉについて、１≦ｊ≦Ｊ，１≦ｍ≦Ｍ，１≦ｎ≦Ｎとして、ｊ，ｍ，ｎの値をそれぞれ前述の範囲で動かす（変更する）ことによって、累積局所距離Ｄ（ｉ，ｊ，ｍ，ｎ）の計算を行う。この計算において、ｉ，ｊ，ｍ，ｎを、上述したｔ，ｘ，τ，ｙに対応させることによって、本実施の形態における累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を求めることができる。なお、ｊ，ｍ，ｎに対応するｘ，τ，ｙの範囲は、既に説明したように、１≦ｘ≦Ｘ，１≦τ≦Ｔ，１≦ｙ≦Ｘである。
【００５１】
累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）は、時間ｔにおける局所距離ｄを最適累積した値である。このため、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の値が小さいほど、最適な座標の対応関係が求められたと判断される。つまり、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の値が小さいほど、参照パターンと入力パターンとがより合致するものと考えることができる。
【００５２】
累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を求める場合には、入力パターンの時間を示すｔの値を、１つずつ増加させる。このように、従来から知られている２次元連続動的計画法を用いて、時間ｔを１つずつ増加させ（時間ｔを進行させ）ながら、時間ｔの増加（進行）に応じて、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）等を計算する（演算を進行する）手法が、上述した「インクリメンタル２次元連続動的計画法」の特徴である。マッチング処理部１４では、インクリメンタル２次元連続動的計画法に基づいて、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を算出する。
【００５３】
さらに、マッチング処理部１４では、算出された累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）に基づいて、２次元連続動的計画法におけるバックトレース処理を行う。バックトレース処理を行うことにより、入力パターンの座標（ｔ，ｘ）と参照パターンの座標（τ，ｙ）との間の最適な座標の対応を求めることができる。なお、バックトレース処理は、動的計画法において一般に用いられる公知の処理であって、上述した特開２０１０−１６５１０４号明細書などにおいて、詳細に説明されている。
【００５４】
累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）は、時間−周波数からなる２次元の参照パターンと、入力時間（時刻）が時間ｔまでの時間−周波数からなる２次元の入力パターンとの、２次元的なマッチング結果を示している。マッチング結果となる累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）は、時間のスカラー値に該当するため、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の算出結果を時間方向に並べて出力することによって、時間毎の累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の値の変化状態を、１つの波を打つような系列によって示すことができる。
【００５５】
マッチング処理部１４は、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を算出した後に、値Ｘと値Ｔとを掛け合わせた値（Ｘ・Ｔ）で、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の値を除算することにより、Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）を求める。累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）は、ＴとＸとに依存する値であるため、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の値を（Ｘ・Ｔ）で割ることによって、Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値が０と１との間に常に収まる値となる。Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）は、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を正規化したものに該当する。
【００５６】
図３（ａ）（ｂ）は、マッチング処理により求められたＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の時間変化（変化状態）を示した図である。図３（ａ）（ｂ）に示すように、Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の出力を示す波の軌跡には、谷をつくるところや、山をなすところが生じる。図３（ａ）（ｂ）に示すような局所的な谷の部分（谷底部分）を、ｄｉｐ（局所くぼみ）と称する。
【００５７】
図３（ａ）は、ｄｉｐにおけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値がゼロになる場合を示しており、図３（ｂ）は、ｄｉｐにおけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値がゼロでない場合を示している。図３（ａ）（ｂ）に示す波の軌跡において、有効なｄｉｐが存在する場合には、ｄｉｐが発生する時間ｔ＊の参照パターンと、時間ｔ＊以前の入力パターンとが、部分的あるいは全部で一致する。入力パターンは、時間ｔ＊以前において切れ目なく連続的に入力されている。このため、どの時間（時刻）を始め（時間的始点）として、参照パターンと入力パターンとが部分的あるいは全部で一致するかは、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）の局所値を与える時間ｔ＊（有効なｄｉｐが発生する時間）において、累積局所距離Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）を示す座標（ｔ＊,Ｘ,Ｔ,Ｘ）から、２次元連続動的計画法によるバックトレース処理を行って、（ｔ＊２,１,１,１）となる時間ｔ＊２を、事後的に求めることによって判断することができる。
【００５８】
図３（ａ）（ｂ）に示すようにｄｉｐが発生する時間（時刻）を、時間ｔ＊とし、［ｔ＊−２Ｔ,ｔ＊］（ｔ＊−２Ｔからｔ＊まで）の区間におけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値を求める。その最大値からＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を差し引いた値を、差値ｈとする。Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値は、０から1までの間に含まれる値であるため、差値ｈも０≦ｈ≦1となる。本実施の形態に係る音声認識装置１００では、差値ｈが予め設定される第１閾値を超えた値である場合に、音声認識に有効なｄｉｐが存在すると判断される。
【００５９】
ここで、第１閾値は、実験等によって予め設定される値である。例えば、参照音声が含まれると判断し得るぎりぎりの入力音声と参照音声とを実験的に用いて、差値ｈを求めることによって、入力音声に参照音声が含まれるか否かの境界となる閾値（第１閾値）を、予め設定することができる。
【００６０】
［ｔ＊−２Ｔ,ｔ＊］の区間は、時間ｔ＊を終端とするときに、始端となり得る限界、つまりマッチング可能な範囲の限界を考慮して決定されたものである。［ｔ＊−２Ｔ,ｔ＊］の区間におけるＤ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の最大値は、時間ｔ＊を終端とする入力パターンの要素の中で、参照パターンと最もマッチングされていない要素が存在することを意味する。また、上述の差値ｈは、最もマッチングされていない段階から、部分的にマッチングを行ったことによる累積値の減少を示す値である。この理由は、既に説明したように、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）が局所距離ｄの累積値であるためである。
【００６１】
Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）がゼロの場合（つまり、累積局所距離Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）がゼロの場合）（図３（ａ）の場合）には、２次元のデータパターンで構成される参照パターンの要素の値が、同じく２次元のデータパターンで構成される入力パターンの中の最適に対応する全ての要素の値と、完全に合致する区間が存在する。このように、対応する全ての要素の値が完全に合致することを完全マッチングと称する。
【００６２】
完全マッチングの場合には、参照パターンの要素の値が、入力パターンの中の最適に対応する全ての要素の値と完全に合致することになるが、カクテルパーティ効果が有効と判断され得る状況は、必ずしも参照パターンの要素の値が、対応する全ての入力パターンの要素の値と完全に合致する場合だけではない。
【００６３】
例えば、参照パターンに該当する参照音声が所定の文記号が発せられた女性の音声であり、入力パターンに該当する入力音声が同じ文記号が発せられた男性の音声である場合であっても、それぞれの音声の文記号が同じであれば、参照音声が入力音声に含まれると判断され、カクテルパーティ効果が有効と判断され得る。この場合には、参照パターンの要素の値が、入力パターンの中の最適に対応する全ての要素の値と完全に合致（完全マッチング）したものではなく、部分的に合致（部分マッチング）したものになる。完全に合致すること（完全マッチング）は例外的であり、通常は部分的に合致すること（部分マッチング）が多い。
【００６４】
部分マッチングに該当する場合であっても、参照音声に含まれる所定の文記号が、入力音声に含まれていると認識できれば、カクテルパーティ効果に該当する音声認識を行うことができる。つまり、部分マッチングになる場合であっても、参照パターンの文記号に該当する要素が、入力パターンの中の最適に対応する要素に含まれると判断される場合がある。このため、本実施の形態に係る音声認識装置１００では、参照パターンの要素の値が、入力パターンの中の最適に対応する要素の値と部分的に合致する場合に該当する、部分マッチングに基づいて音声認識を行う。
【００６５】
音声認識を行う場合には、累積局所距離Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）の（ｔ＊,Ｘ,Ｔ,Ｘ）からバックトレース処理を行う。累積局所距離Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）のバックトレース処理は、４次元空間の中にある格子点(ｔ，ｘ，τ，ｙ)を探索する処理に該当する。この４次元空間のバックトレースによる探索点(ｔ，ｘ，τ，ｙ)を、(ｔ，ｘ)と(τ，ｙ)との対として考える。バックトレース処理により求められる探索点(ｔ，ｘ，τ，ｙ)は、参照データの２次元のデータパターン（参照パターン）である時間−周波数パターンの座標（τ，ｙ）が、入力データの２次元のデータパターン（入力パターン）である時間−周波数の座標（ｔ，ｘ）に、マッチングしている部分の座標を示すことになる。マッチングしている座標の局所距離は、ｄ(ｔ，ｘ，τ，ｙ)である。局所距離ｄ(ｔ，ｘ，τ，ｙ)の値を（τ，ｙ）点の上に投影して（配置して）、明暗パターンを作成する。
【００６６】
そして、格子点（τ，ｙ）点の値が、予め設定された第２閾値（この閾値は０と１との間の値となる）以下となる格子点の領域を求める。この第２閾値は、予め実験等によって設定される値である。格子点の値が第２閾値以下となる格子点の座標やその領域で、参照パターン（τ，ｙ）と入力パターン(ｔ，ｘ)とが、最適にマッチングしていると判断することができる。すなわち、局所距離ｄ(ｔ，ｘ，τ，ｙ)の値が、予め設定される第２閾値以下となる場合に、参照パターン（τ，ｙ）と入力パターン(ｔ，ｘ)とが、最適にマッチングしていると判断することができる。
【００６７】
具体的には、参照パターン（参照データ）の座標ｚ（τ，ｙ）と、入力パターン（入力データ）の座標ｆ（ｔ，ｘ）とを用いて、局所距離ｄ(ｔ，ｘ，τ，ｙ)を、
局所距離ｄ(ｔ，ｘ，τ，ｙ)＝｜ｆ（ｔ，ｘ）−ｚ（τ，ｙ）｜
により求めて、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を算出する。さらに、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）からバックトレース処理を行うことによって、参照パターンの座標ｚ（τ，ｙ）と入力パターンの座標ｆ(ｔ，ｘ)とが最適にマッチングする座標の局所距離ｄ(ｔ，ｘ，τ，ｙ)を求める。
【００６８】
このようにして求められた局所距離ｄ(ｔ，ｘ，τ，ｙ)が第２閾値以下となる、格子点（τ，ｙ）の領域を求めることにより、入力パターンの座標ｆ（ｔ，ｘ）と参照パターンの座標ｚ（τ，ｙ）との対応座標（時間−周波数）を求めることができる。
【００６９】
次に、第２閾値以下となる座標ｚ（τ，ｙ）点によって構成される領域の中から、最大となる領域を見つけて、その領域のもつ最小の時間と最大の時間とを求めることによって、領域の始端と終端とを求める。
【００７０】
具体的には、局所距離ｄ(ｔ，ｘ，τ，ｙ)の値が第２閾値以下となる参照パターン（参照データ）の領域の中から最大の領域を求める。次に、求められた参照パターン（参照データ）の最大となる領域の範囲で最小の時間と最大の時間とを求める。つまり、局所距離ｄ(ｔ，ｘ，τ，ｙ)の値が、第２閾値以下となる参照パターンの対応する座標（τ，ｙ）のうち、時間τが最小となる時間と最大となる時間とを求める。
【００７１】
図４は、局所距離ｄ(ｔ，ｘ，τ，ｙ)の値が第２閾値以下となる最大の領域を示している。この領域に基づいて、最小の時間τｓと最大の時間τｅとが求められる。図４には、参照パターン（参照データ）が「明日は晴れかな、雨かな」という文記号の音声データであって、入力パターン（入力データ）の中に、「晴れかな」に該当する文記号の音声データが含まれている場合、つまり、部分マッチングが成立する場合が一例として示されている。参照パターン（参照データ）の全体の音声（文記号の合成音声）は、「明日は晴れかな、雨かな」であるが、図４における参照パターン（参照データ）の領域の時間τｓから時間τｅまでに対応する音声（合成音声）の文記号は、「晴れかな」である。この参照データの時間τｓから時間τｅまでの部分は、エンドレスに入力される入力データ（例えば、複数話者による同時発話の音声データ）の中から認識された部分に該当することになる。
【００７２】
図５は、上述したマッチング処理部１４の処理内容を示したフローチャートである。上述したように、マッチング処理部１４は、時間−周波数の２次元のデータパターンからなる参照パターン（τ，ｙ）と、同じく時間−周波数の２次元のデータパターンからなる入力パターン（ｔ,ｘ）とに対して、インクリメンタル２次元連続動的計画法を適用する。そして、マッチング処理部１４は、局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積した、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を求める（Ｓ．１、累積局所距離算出機能）。
【００７３】
マッチング処理部１４は、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を（Ｔ・Ｘ）で除算したＤ（ｔ,Ｘ,Ｔ,Ｘ）/（Ｔ・Ｘ）の値の時間変化に基づいて、波の軌跡のうちｄｉｐ（谷底部分）を検出する（Ｓ．２、ｄｉｐ検出機能）。次に、ｄｉｐに該当する時間を時間ｔ＊として、［ｔ＊−２Ｔ,ｔ＊］の区間における差値ｈを求める（Ｓ．３、差値算出機能）。その後、マッチング処理部１４は、差値ｈが、予め設定される第１閾値以上であるか否かの判断を行う（Ｓ．４、参照パターン領域検出機能）。
【００７４】
差値ｈが第１閾値よりも小さい場合（Ｓ．４においてＮｏの場合）、マッチング処理部１４は、参照パターンの全体あるいは一部の音声データが、入力パターンの中に含まれていないと判断する。そして、マッチング処理部１４は、参照パターンが入力パターンに含まれていない旨の情報を検出判定部１５へ出力する（Ｓ.５）。
【００７５】
一方で、差値ｈが第１閾値以上の場合（Ｓ．４においてＹｅｓの場合）、マッチング処理部１４は、累積局所距離Ｄ（ｔ＊,Ｘ,Ｔ,Ｘ）の（ｔ＊,Ｘ,Ｔ,Ｘ）からバックトレース処理を行うことによって、参照パターンの座標ｚ（τ，ｙ）と入力パターンの座標ｆ（ｔ，ｘ）との最適なマッチングが成立する座標の局所距離ｄ（ｔ，ｘ，τ，ｙ）を算出する（Ｓ．６、参照パターン領域検出機能）。
【００７６】
そして、求められた局所距離ｄ（ｔ，ｘ，τ，ｙ）が第２閾値以下となる参照パターンの領域が存在するか否かを判断する（Ｓ．７、参照パターン領域検出機能）。つまり、局所距離ｄ（ｔ，ｘ，τ，ｙ）が第２閾値以下となる参照パターンの座標（τ，ｙ）が存在するか否かの判断を行う。局所距離ｄ（ｔ，ｘ，τ，ｙ）が第２閾値以下となる参照パターンの領域が存在しない場合（Ｓ．７においてＮｏの場合）、マッチング処理部１４は、参照パターンが入力パターンに含まれていない旨の情報を検出判定部１５へ出力する（Ｓ.５）。
【００７７】
一方で、局所距離ｄ（ｔ，ｘ，τ，ｙ）が第２閾値以下となる参照パターンの領域（座標）が存在する場合（Ｓ．７においてＹｅｓの場合）、マッチング処理部１４は、求められた領域の範囲における最小の時間τｓと最大の時間τｅとを求める（Ｓ．８、参照パターン領域検出機能）。そして、最小の時間から最大の時間までの時間範囲を示す対応時間範囲の情報を、検出判定部１５へ出力する（Ｓ．９）。
【００７８】
参照パターンが入力パターンに含まれていない旨の情報を出力（Ｓ．５）した後、あるいは、対応時間範囲の情報を出力（Ｓ．９）した後、マッチング処理部１４は、ＦＦＴ部１１によって入力パターン（入力データ）用の新しいフレームベクトルが生成され、バッファーメモリ部１２に記録された一番古いフレームベクトルが消去され、新しいフレームベクトルが記録されたか否かの判断を行う。つまり、マッチング処理部１４は、バッファーメモリ部１２に記録される入力データ（入力パターン）が更新された否かを判断する（Ｓ．１０）。
【００７９】
バッファーメモリ部１２が更新されていない場合（Ｓ．１０においてＮｏの場合）、マッチング処理部１４は、バッファーメモリ部１２が更新されるまでＳ．１０の処理を繰り返す。バッファーメモリ部１２が更新された場合（Ｓ．１０においてＹｅｓの場合）、マッチング処理部１４は、処理をＳ．１に移行する。つまり、マッチング処理部１４は、参照パターン（τ，ｙ）と、新たな入力パターン（ｔ,ｘ）とに対して、２次元連続動的計画法を適用することにより、局所距離ｄ（ｔ，ｘ，τ，ｙ）を累積した、累積局所距離Ｄ（ｔ,Ｘ,Ｔ,Ｘ）を求める処理（Ｓ．１）を実行し、その後、上述した処理（Ｓ．２〜Ｓ．１０）を実行する。
【００８０】
検出判定部１５は、マッチング処理部１４から、参照パターンが入力パターンに含まれていない旨の情報や、対応時間範囲の情報を取得する。そして、検出判定部１５は、取得した情報に基づいて、参照パターンの音声（文記号の音声）が、入力パターンに含まれるか否かの判断を行う（音声判断機能）。
【００８１】
参照パターンが入力パターンに含まれていない旨の情報を、マッチング処理部１４から取得した場合（Ｓ．５の場合）、検出判定部１５は、参照パターンの音声（文記号の音声）が、入力パターンに全く含まれていなかった（存在しなかった）と判断する（音声判断機能）。そして、検出判定部１５は、参照音声が入力音声に全く含まれていなかった旨の情報を表示部６に出力する。表示部６は、検出判定部１５より受信した情報を表示し、ユーザにマッチングが成立しなかったことを報知する。
【００８２】
また、最小の時間τｓから最大の時間τｅまでの時間範囲を示す対応時間範囲の情報を、マッチング処理部１４から取得した場合（Ｓ．９の場合）、検出判定部１５は、参照パターンの全部または一部の音声（文記号の音声）が、入力パターンに含まれていた（存在した）と判断する（音声判断機能）。そして、検出判定部１５は、参照音声が、入力音声に含まれている旨の情報を表示部６に出力する。さらに、検出判定部１５は、参照音声における対応時間範囲（時間τｓから時間τｅまで）の音声（文記号の音声）が、入力音声に含まれていた旨の情報を表示部６に出力する。表示部６は、検出判定部１５より受信した情報を表示し、ユーザに部分マッチングが成立したことを報知する（音声判断機能）。
【００８３】
このように、マッチング処理部１４が、図５に示した処理を実行し、検出判定部１５が、マッチング処理部１４の処理結果に基づいてマッチングの有無を表示部６に表示させることによって、ユーザに対して、入力パターンに参照パターンの全体あるいは一部が含まれていること（Ｓ．９の場合）、あるいは、入力パターンに参照パターンが全く含まれていないこと（Ｓ．５の場合）を知らせることができる。ユーザは、表示部６に表示される結果によって、複数話者による混合音声（入力音声）に、所定の音声（参照音声、文記号の音声）が含まれるか否かの判断を行うことが可能となる。
【００８４】
なお、上述したように、実施の形態に係る音声認識装置１００では、参照音声の時間τｓから最大の時間τｅまでの時間範囲の文記号が入力音声に含まれると判断される。特に、Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値がゼロ（０）に近い場合は，始端となる時間τｓが１となり、終端となる時間τｅがＴになる場合がある。この場合は参照音声の文記号の全てが入力音声に含まれると判断されることになる。通常の部分マッチングでは、始端となる時間τｓが１より大きな値となり、終端となる時間τｅがＴより小さな値となる。その結果、参照音声の文記号の一部が認識対象になる。また、ｄｉｐが深くなるほど、入力音声に含まれる参照音声の部分（その部分に対応する文記号）の長さが長くなる。
【００８５】
次に、本実施の形態に示した音声認識方法と、従来より知られている音声認識方法との違いについて説明する。本実施の形態に示した参照パターンのマトリックス（２次元の表現である時間−周波数のパターン）により定まる領域は、２次元平面の部分領域である。このため、参照パターンのマトリックスにおいて、時間軸と周波数軸とを考えることができ、時間軸において一部、周波数軸でも一部となる領域が存在することになる。また、その領域の形状は様々である。従って、本実施の形態における参照データは、時間と周波数とからなる２次元的な点の領域的集まりとして捉えることができ、時間毎に作られる音声分析用のベクトルという単位を扱っているのではない。
【００８６】
一方で、従来の音声認識研究においては、ほとんどの場合、参照データがベクトル単位で判断されている。例えば、従来の音声認識研究として、時間的遷移によるベクトル単位のマッチング処理、音声認識の典型手法の１つである隠れマルコフモデル（Hidden Markov Model）で用いられるコードのベクトル単位の量子化処理、あるいはベクトルの連続分布作成等の研究が行われてきた。このように、参照データの捉え方、考え方の点においても、本実施の形態に係る音声認識装置１００の処理方法は、従来の音声認識の処理方法と異なっている。
【００８７】
なお、例外として、時間−周波数のパターンにおけるフォルマントのトラッキング手法が知られている。このトラッキング手法は、時間−周波数のパターンにおいて、値の大きい点（フォルマントと称する）を追跡し、追跡結果に基づいて、主に母音の認識を行うことを特徴とする。しかしながら、この追跡結果は、あくまで点列の軌跡の結果であり、「領域を示す２次元のパターン同士を、２次元連続動的計画法を用いて最適マッチングすることによって、部分領域の検出を行う」という、本実施の形態に係る音声認識方法を行うものではない。
【００８８】
従来の手法では、上述したように、参照データがベクトル単位で判断されているため、動的計画法を用いて、参照パターンの時間変化によるマッチングを行う方法が一般的に行われている。ベクトル単位で時間変化の類似性を求める場合、話者の話すスピードの相異により、参照パターンの時間変化と入力パターンの時間変化とが異なるときには、参照パターンと入力パターンとでパターンの変化状態が一致しない。このため、動的計画法を用いることによって、時間変化による非線形の整合を行う。ここで、従来の方法で整合を求める場合、データがベクトル単位で判断されているため、整合する量が、以下のベクトル間の距離ｄ（ｔ，τ）によって求められる。
【数３】
2019066690.tif 000005
・・・式３
ここで、ｆ０（ｔ，ｘ）は、入力パターンにおけるベクトルのｘ要素を示し、ｚ０（τ，ｘ）は参照パターンにおけるベクトルのｘ要素を示す。式３に示すように、それぞれの要素の差分（ｆ０（ｔ，ｘ）−ｚ０（τ，ｘ））の絶対値の和を求めることによって、ベクトルを基準とする入力パターンのｆ０（ｔ，ｘ）と、ベクトルを基準とする参照パターンのｚ０（τ，ｘ）以外の要素ｚ０（τ，ｙ）（ｙ≠ｘ）との関係が、検出対象から外される。そして、話者の話すスピードの違いにより、ベクトルを基準とする参照データと、ベクトルを基準とする入力データとの対応点が異なるという問題を、動的計画法におけるマッチング（整合）を行い、時間軸tと時間軸τとの対応を取ることにより解決して、音声認識処理を行う。このように、ベクトルを基準として音声認識処理を行う方法は、ベクトルベースのマッチング処理と呼ばれており、従来の音声認識処理において、広く用いられる手法である。
【００８９】
図６は、ベクトルベースのマッチング処理を基本とする、従来の音声認識処理手法を説明するための図である。図６では、ベクトルを単位としているので、時間の異なる複数のベクトルの集合（ベクトル群）の中の要素の類似性は、音声認識の対象にならない。あくまで、ベクトル同士の類似性しか認識の対象として扱われないという特徴がある。
【００９０】
しかしながら、本実施の形態に係る音声認識装置１００の音声認識方法では、参照データや入力データを、ベクトルベースのデータとして捉えるのではなく、領域ベースのデータとして捉えて、マッチング処理を行うことを特徴としている。
【００９１】
図７は、参照データや入力データを、領域ベースのデータとして捉えてマッチング処理を行うことを説明するための図である。本実施の形態で用いるインクリメンタル２次元連続動的計画法では、時間−周波数からなる２次元の参照パターンと、入力波形の分析結果を示すパターンであって、時間−周波数のパターンからなる２次元の入力パターンとの間で、領域における非線形の対応が求められる。
【００９２】
そして、音声認識装置１００のマッチング処理部１４では、マッチングする領域の面積に比例する値として、上述したＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値を求める。Ｄ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値が減少して、局所的な最小値を示す箇所にｄｉｐ（局所くぼみ）が発生する。ｄｉｐ（局所くぼみ）が発生する時間をｔ＊とし、既に説明したように、［ｔ＊−２Ｔ,ｔ＊］区間におけるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の最大値を示す時間から、ｄｉｐが発生する時間ｔ＊までＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値が減少する。このＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の減少は、マッチング（整合）する領域によって生じる。このような領域におけるマッチングは、図６を用いて説明したような、ベクトルベース（フレーム単位）のマッチング処理では発生しない。参照パターン（時間−周波数）における全ての（時間−周波数）座標と、入力パターン（時間−周波数）における全ての（時間−周波数）座標とで、非線形の対応が取れていなければ、領域におけるマッチングは発生しない。また、その出力となるＤ（ｔ,Ｘ,Ｔ,Ｘ）／（Ｘ・Ｔ）の値の軌跡によってｄｉｐ（局所くぼみ）を求める場合には、インクリメンタル２次元連続動的計画法を用いることが最適である。
【００９３】
マッチング処理部１４に設けられるワーキングメモリ１４ａは、上述したインクリメンタル２次元連続動的計画法におけるマッチング処理等に用いられる。インクリメンタル２次元連続動的計画法では、入力音声がエンドレスに入力されるが、ワーキングメモリ１４ａのメモリ量は、エンドレスな容量とすることができない。このため、実際に計算に用いる範囲に、メモリ量を限定して、フレーム毎に、すなわち、時間ｔ毎に、ワーキングメモリ１４ａの内容を更新する。このデータ更新によって、入力音声がエンドレスに入力される場合であっても、一定のメモリ量によって、累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値の計算が可能となる。
【００９４】
時間ｔにおいて、入力パターンの周波数ｘを、１≦ｘ≦Ｘ、参照パターンの周波数を、１≦ｙ≦Ｘ、時間τを、１≦τ≦Ｔとして、累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値を、１つの入力スペクトルについて計算する。累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の値の計算に影響する時間ｔの範囲は、［ｔ−２Ｔ，ｔ］の範囲であり、一定である。従って、必要なメモリ量は、時間ｔの範囲の最大値２Ｔと、時間τの最大値Ｔと、参照パターンおよび入力パターンの周波数の最大値Ｘとを用いて、２Ｔ×Ｘ×Ｘ×Ｔとなる。このメモリ量（２Ｔ×Ｘ×Ｘ×Ｔ）は、一定である。時間ｔがｔ＋１となった場合には、累積局所距離Ｄ（ｔ，Ｘ，Ｔ，Ｘ）の全体を時間＋１だけずらして、つまり、時間ｔに該当するデータを時間ｔ−１にずらして、新たに入力された入力パターンを用いて計算を行う。
【００９５】
以上、本発明に係る音声認識装置および音声認識プログラムについて、音声認識装置１００を一例として示し、詳細に説明を行った。しかしながら、本発明に係る音声認識装置および音声認識プログラムは、実施の形態における音声認識装置１００の構成には限定されない。
【００９６】
例えば、実施の形態に係る音声認識装置１００では、マイク１が１台しか設けられていない場合を示して説明した。しかしながら、マイクの設置台数は１つに限定されるものではない。本発明に係る音声認識装置および音声認識プログラムでは、複数話者が同時に発声した音を１つの音（波形、単一音声）として捉えて、１つの音（単一音声）から、参照データに該当する音の認識を行うことを特徴とする。このため、従来より知られている技術であるＩＣＡのように、混合音声の波形を分離する必要がない。従って、複数話者の発した音を１つの音（波形）として収音できれば十分であり、１つの音（波形）（単一音声）として収音可能であれば、マイクは１台であっても、複数台であっても特に限定されるものではない。
【００９７】
また、実施の形態に係る音声認識装置１００では、入力音声がマイク１により収音され、ＦＦＴ部１１によって継続的に周波数領域のデータに変換されて、入力音声がエンドレスに入力される場合について説明した。しかしながら、必ずしも、入力音声がエンドレスに入力される構成には限定されない。本発明に係る音声認識装置および音声認識プログラムでは、参照データを、時間−周波数からなる２次元の参照パターンとし、入力データを時間−周波数からなる２次元の入力パターンとして、２次元連続動的計画法を用いて、入力パターンと参照パターンとの非線形のマッチング処理を行うことによって、音声認識処理を行うことを特徴とする。
【００９８】
このため、入力データを時間−周波数からなる２次元の入力パターンとして用いることが可能であれば、入力音声は必ずしもエンドレスな音声には限定されず、有限な入力音声に基づくものであっても、本発明に係る音声認識装置等に用いることが可能である。従って、入力される複数話者の音声に基づいて音声認識処理を行う場合、入力される音声は、始端と終端を想定していないエンドレスの音（波形）を対象とすることができるのはもちろんであるが、始端または終端の一方あるは双方を想定した音（波形）を対象として、音声認識処理を行うことも可能である。
【００９９】
さらに、実施の形態に係る音声認識装置１００の参照データメモリ部１３に記録される参照データとして、音声合成ソフト等を用いて生成された人工的な音声データ（合成音による波形データ）を用いる場合について説明を行った。しかしながら、本発明に係る音声認識装置および音声認識プログラムに用いられる参照データは、必ずしも人工的な音声データに限定されない。本発明に係る音声認識装置および音声認識プログラムでは、入力パターンと参照パターンとの非線形のマッチング処理により、音声認識処理を行う。このため、参照データが文記号を含む音声データであれば、参照データのデータ形式（種類）は、特に限定されるものではない。
【０１００】
本発明に係る音声認識装置および音声認識プログラムでは、時間−周波数からなる２次元のデータパターンの非線形のマッチングにより、音声認識を行うため、参照データは、音の基本となる文記号を波形にしたものであればよい。このため、参照データは、合成音声の種類（男性音や女性音）に左右されず、あるいは、人間の音声を直接録音して生成したものであってもよい。このように、参照データと入力データとの非線形なマッチング処理により音声認識処理を行うことができるため、様々な音声データを参照データとして用いることができる。また、参照データと入力データとの非線形なマッチング処理により音声認識処理を行うことができるため、不特定話者が同時に複数発話する状況において、途中で話者の増加や減少が生じて、入力データにおける話者数等が変化する場合であっても、音声認識を行うことが可能になる。
【０１０１】
また、本発明に係る音声認識装置および音声認識プログラムでは、入力データにおける波形分離などを行うことなく、入力音声を単一音声として捉えて、音声認識処理を行う。このため、音声分離等の複数の処理を必要とせず、例えば、図５に示したような１つの処理方式によって、音声認識処理を行うことができる。このため、処理の簡略化を図ることができ、処理負担の増大や処理遅延等の発生を抑制することが可能になる。
【符号の説明】
【０１０２】
１     …マイク
２     …ＣＰＵ（制御手段、累積局所距離算出手段、ｄｉｐ検出手段、差値算出手段、参照パターン領域検出手段）
３     …ＲＯＭ
４     …ＲＡＭ（入力パターン記録手段）
５     …記録部（入力パターン記録手段）
６     …表示部
１０   …Ａ／Ｄ変換部
１１   …ＦＦＴ部（周波数変換手段、累積局所距離算出手段）
１２   …バッファーメモリ部（入力パターン記録手段）
１３   …参照データメモリ部
１４   …マッチング処理部（制御手段、累積局所距離算出手段、ｄｉｐ検出手段、差値算出手段、参照パターン領域検出手段）
１４ａ  …ワーキングメモリ
１５   …検出判定部（制御手段、音声判断手段）
１００  …音声認識装置
【図１】
2019066690.tif 000006
【図２】
2019066690.tif 000007
【図３】
2019066690.tif 000008
【図４】
2019066690.tif 000009
【図５】
2019066690.tif 000010
【図６】
2019066690.tif 000011
【図７】
2019066690.tif 000012