(57)【要約】【課題】音響モデルの教師なし取得のための改良型の自動化方法およびシステムを提供すること。【解決手段】教師なし音声の区分化またはＳＵスポッティングを使用してトレーニングセグメント（Ｘ）を見つけ、モデル・プール（Ｐ）が空である場合、第１スピーチ・シラブル・モデルをトレーニングし、それをプールに追加する。上記以外の場合は、与えられたセグメント（Ｘ）に最良に合致するモデル・プール（Ｐ）内の既存のモデル（Ｆ）を求め、モデル（Ｆ）を使用して新しいトレーニングセグメント（Ｘ）をスコアリングし、スコアが事前定義されたしきい値未満である場合は、トレーニングセグメント（Ｘ）に対する新しいモデルを作成し、それをプールに追加し、上記以外の場合は、新しいトレーニングセグメント（Ｘ）を使用してモデル（Ｆ）を改良または再推定する。【選択図】図１
2008090272.tif 000002
【特許請求の範囲】
【請求項１】
スピーチ・シラブル・モデルのプール（Ｐ）を取得する方法であって、
教師なし音声の区分化またはＳＵスポッティングを使用してトレーニングセグメント（Ｘ）を見つけるステップと、
前記モデル・プール（Ｐ）が空である場合、第１スピーチ・シラブル・モデルをトレーニングし、それを前記プールに追加するステップと、
上記以外の場合、
・与えられたセグメント（Ｘ）に最良に合致する前記モデル・プール（Ｐ）内の既存のモデル（Ｆ）を求めるステップと、
・前記モデル（Ｆ）を使用して前記新しいトレーニングセグメント（Ｘ）をスコアリングするステップと、
・前記スコアが事前定義されたしきい値未満である場合、前記トレーニングセグメント（Ｘ）に対する新しいモデルを作成し、それを前記プールに追加し、
上記以外の場合、前記新しいトレーニングセグメント（Ｘ）を使用して前記モデル（Ｆ）を改良または再推定するステップと、
上記各ステップを反復するステップと
を含む方法。
【請求項２】
少なくとも前記第１モデルの取得中、子供に向けられた発話が入力として使用される請求項１に記載の方法。
【請求項３】
前記入力が、教師なし音声の区分化モジュールと、音声単位ベースのセグメントに対する既に取得したモデルを使用するモデル・スポッタ・モジュールとによって解析される請求項２に記載の方法。
【請求項４】
前記トレーニングセグメント（Ｘ）に対する新しいモデルを作成するステップが、前記モデル・パラメータ（Ｆ）を使用するステップを含む請求項１に記載の方法。
【請求項５】
前記モデル・プールを調整するステップをさらに含む前記請求項のいずれかに記載の方法。
【請求項６】
前記モデル・プールを調整するステップが、モデル・スポッティング・カバレッジに基づく請求項５に記載の方法。
【請求項７】
前記モデル・プールを調整するステップが、モデル選択性に基づく請求項５に記載の方法。
【請求項８】
前記スコアが、モデル・スポッティング・カバレッジとモデル選択性を組み合わせた尺度である請求項５に記載の方法。
【請求項９】
モデル選択性がトレーニングセグメント同時発生として表現される請求項８に記載の方法。
【請求項１０】
トレーニングセグメント同時発生の尺度が、２つの各スピーチ・シラブル・モデルについて、同じ音声のセグメントが与えられた場合にトレーニングセグメントを生成する確率を記述するマトリックスである請求項９に記載の方法。
【請求項１１】
各スピーチ・シラブル・モデルが、
音声ストリーム中のそのモデル化音声シラブルをスポッティングするのに使用可能であり、
１つまたは複数の音声スニペットをトレーニングセグメントとして使用することができ、
音声のセグメントが与えられた場合に、再構築スコアを計算することができる請求項１に記載の方法。
【請求項１２】
各スピーチ・シラブル・モデルが隠れマルコフ・モデル（ＨＭＭ）である請求項１１に記載の方法。
【請求項１３】
スピーチ・シラブル・モデルのプール（Ｐ）を取得するシステムであって、
音声の区分化モジュールと、
音声単位モデル・スポッタと、
トレーニングセグメントジェネレータと、
音声単位モデル・トレーニング・モジュールと
を備えるシステム。
【請求項１４】
プール・サイズ調整器をさらに備える請求項１に記載のシステム。
【請求項１５】
コンピュータ上で実行されたときに、請求項１から１２のいずれかに記載の方法を実施する命令を含むコンピュータ・ソフトウェア・プログラム製品。
【請求項１６】
請求項１５に記載のソフトウェアが記録されたコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声の単位ごとに別個のモデルを使用して音声の音響上の構造を学習するために子供に向けられた発話（ｃｈｉｌｄ  ｄｉｒｅｃｔｅｄ  ｓｐｅｅｃｈ）の特性を利用する技法に関する。得られる音響モデルは、例えば、マルチ・モーダル・システムでの音声の区分化、シラブル検出、または音声認識のために使用することができる。音声の構造を認識および学習することのできるシステムは、ここで提案される本発明に固有のものであり、自動音声認識システムおよび合成音声合成システムでの応用を見出すことができる。
【背景技術】
【０００２】
一般に、どんな音声認識研究も、口語の構造および意味を自動的に取得するシステムを構築することを目的とする。しかし、今日まで、すべての一般的自動音声認識（ＡＳＲ）フレームワークは、事前定義された文法を使用して事前定義された単語を検出するように設計されている。そのようなシステムでは、全く学習しないことが起こりうるという問題がある。基礎をなすモデルは、注釈付き音声データベースを使用してあらかじめトレーニングされ、認識中は固定されたままである。しかし、人間的な音声処理は、認識中も学習を必要とすることは明らかであり、オンライン学習システムを開発することにあまり努力が払われなかった。これまでのところ、提案されたすべての手法は、音声取得のための計算モデルを提案することに失敗している。
【０００３】
（本発明と同様に）完全に教師なしの方式でシステムが音声の意味を取得することを可能にするためには、まず言語の音響上の構造を取得することが必要である。その理由は、別個の音響事象（ａｃｏｕｓｔｉｃａｌ  ｅｖｅｎｔ）に意味を割り当てるためには、音声発話（ｕｔｔｅｒａｎｃｅ）内のこの音響事象を区分化できることが必要であるからである。したがって、音声の区分化を学習することは、（少なくとも一部は）音声意味論の学習に先行しなければならない。最良の区分化の結果は、区分化のために使用されるモデルが、区分化すべき言語の音響上の構造を可能なだけ多く取り込む場合に得られる。このことは、音声の各基本単位が別個のモデルでモデル化される場合に当てはまる。こうした基本の音声単位（ＳＵ）は、言語的知識に基づいて様々な方式で定義することができる。それらを、推定すべき少数の音声単位（ＳＵ）モデルと、音響音声構造をできるだけ完全に取り込むことの間の兼ね合いとして選ぶ必要がある。
【０００４】
本発明の結果、トレーニング音声データに含まれる基本の音声単位を記述する音響モデル（ＡＭ）が得られるので、最初に、そのようなモデルを生成するために周知の音声認識システムで使用される方法を説明する。
【０００５】
教師あり音響モデル取得(supervised acoustic model acquisition)
音声処理の文献において、音響モデル取得（ＡＭＡ）とは、注釈付き音声発話を使用して、音素またはシラブルと同様に、基本の音声単位（ＳＵ）についてのモデルのパラメータを推定するプロセスを指す。これまでのところ、この手法を単にＡＭＡとして参照することで十分であった。今日まで、教師なしの方式で音声単位（ＳＵ）モデルを学習する方法は提案されていなかったからである。そのような教師ありの手法と、本発明による教師なし音響モデル取得のための方法とを明確にするために、両者の手法を、それぞれ教師ありＡＭＡおよび教師なしＡＭＡと呼ぶことにする。
【０００６】
モデル・トレーニング方法は、別個の音声単位（ＳＵ）をモデル化するのに使用される数学的構造に強く依存する。それらを置き換えるいくつかの試みがあるが、通常は隠れマルコフ・モデル（ＨＭＭ）が音声単位（ＳＵ）モデルとして使用される。その理由は、注釈付き音声データベースが与えられると、異なる音声単位（ＳＵ）モデルをトレーニングするのに適用することができる隠れマルコフ・モデル（ＨＭＭ）中心方法の集まりが存在するためである。注釈は、事前記録された音声発話に対してのみ利用可能であるので、モデル・トレーニングは、モデルをオンライン音声認識タスクに対して使用することのできる前のオフラインでの実施に制限される。さらに、一般的な隠れマルコフ・モデル（ＨＭＭ）トレーニングのための方法は、音声単位（ＳＵ）モデルのパラメータを推定するために大量のデータを必要とし、したがってオンライン学習には適していない。
【０００７】
認識中、推定された音声単位（ＳＵ）モデルが、事前定義された単語辞書を使用して単語モデルに連結される。その後で、得られた単語モデルが、どの単語移行が可能であるかを定義する文法に従って、大きな認識モデルに組み込まれる。着信音声を使用して、認識モデルによって最良の経路が求められ、それによって、検出された単語のシーケンス、すなわち最も可能性の高い音声単位（ＳＵ）のシーケンスが得られる。
【０００８】
オフライン・トレーニングに対する制限に加えて、教師ありＡＭＡに伴う別の問題が、やはり（常に有限ではあるが）極めて大量の注釈付きトレーニング・データでは、あらゆる可能な発話をモデル化することが可能ではないことから生じる。したがって、教師ありのシラブル・ベースのＡＭＡのために使用される注釈付きトレーニング・データベースが与えられると、適切なトレーニング・データが欠如しているために、モデル化されないシラブルを想像することが常に可能である。
【０００９】
教師あり音声の区分化(supervised speech segmentation)
人工ニューラル・ネットワークは、セグメントの始まり（ｓｅｇｍｅｎｔ  ｏｎｓｅｔ）を検出するように一般にトレーニングされ、セグメント注釈付き、または少なくとも始まり注釈付きの音声データベースを利用する。この人工ニューラル・ネットワークに加えて、教師あり音声の区分化研究における主な焦点は、セグメントスポッティングのための隠れマルコフ・モデル（ＨＭＭ）関連の技法についてである。その目的で、隠れマルコフ・モデル（ＨＭＭ）ベースのキーワード・スポッティングが音声認識のために提案された。それによって、単一の音声単位（ＳＵ）モデル（ａ．ｋ．ａ．キーワード・モデル）が一般に、各モデル移行間に挿入される専用フィラー・モデルと共に隠れマルコフ・モデル（ＨＭＭ）に埋め込まれる。フィラー・モデルまたはガーベッジ・モデルが、音声単位（ＳＵ）モデルによって記述されない、処理される発話中のすべての部分をモデル化するように設計される。そのようなシステムは高い区分化の品質を与える。単一の音声単位（ＳＵ）モデルは、注釈付き音声データを使用してあらかじめトレーニングする必要がある。
【００１０】
このようにしてトレーニングされたシステムが、制限のない自発的音声発話に対処することを可能とするために、近年では上述の教師ありＡＭＡが、トレーニング用のより大きな音声データベースに適用された。そのような試みの基本的概念は、理論的かつ現実的に難しいフィラー／ガーベッジ・モデルの概念の使用を回避することである。しかし、どれだけ多くのデータがトレーニングのために使用されたとしても、後で教師なし認識／区分化中に生じるすべての音声単位（ＳＵ）をそのような手法で扱うことができるわけではない。
【００１１】
一般には、適切なフィラー・モデルの選択は、隠れマルコフ・モデル（ＨＭＭ）ベースのセグメントスポッティングの主な欠点である。近頃は、セグメントスポッティングのためのフィラー・モデルに依拠しない作品はほとんど提示されなかった。それでも、そのような方法は、音声単位（ＳＵ）モデル・トレーニングのための注釈付き音声を必要とする。
【００１２】
教師なし音声の区分化(unsupervised speech segmentation)
文献ではモデル・ベースの音声の区分化がより強力であることが示されているが、モデルなしの手法は、準備トレーニングなしに白紙状態から動作するという長所を有する。したがって、例えば、セグメント生成のための単純なエネルギー・ベースのレベル追跡が、半ダース未満の事前定義パラメータを使用することによって可能となる。大部分の教師なし音声の区分化方法は、音声信号が、所与の感度しきい値に応じてセグメント境界を生成するのに最小値が使用される１次元特徴空間にマッピングされる。
【００１３】
モデル・ベースの（これまでのところは教師ありの）手法と比べて強力でないことの理由は、音声の構造が少数の１組のパラメータのみを使用して符号化されるためである。より厳密には、モデルなし手法は、モデル・ベースの音声処理のような、音声の基本単位ごとの専用モデルを含まない。これは一つの単語の音声制御インターフェースのようないくつかの応用例に対しては十分であるが、区分化性能は、自発的音声を人間のように区分化するのに必要な要求をはるかに超えている。
【００１４】
再帰的ニューラル・ネットワーク・モデルを使用していくつかの基本的な試みが行われた。トレーニングの後、こうしたモデルは、発話境界から、発話内の単語境界までを一般化することができた。そのようなニューラル・ネットワーク・ベースの方法でｈｉｔ：ｆａｌｓｅ−ａｌａｒｍ比２．３：１が達成されたが、メモリ容量が限られているために、これらが現実の音声の区分化作業には適していないことは明らかである。さらに、報告されたすべてのＡＮＮベースの手法は、手作業で注釈を付けたシンボルの特徴コーパスを使用する。単一音声モデルに制限されているために、そのような方法は、モデル・ベースの区分化に匹敵する区分化の結果を生成することができない。
【００１５】
非特許文献１および非特許文献３では、文字化すべき音声信号が、教師なしの方法によってシラブル状の単位に区分化される。次いで、類似のセグメントが、教師なしクラスタ化技法を使用してグループ化される。クラスタごとに専用モデルが導出される。
【００１６】
この方法は魅力的に見えるが、この方法は、セグメントの組が、モデル化する言語のすべてのシラブルを含むことを想定している。本発明による手法とは対照的に、この手法ではオンライン・トレーニングが可能ではない。さらに、この手法は、すべてのシラブルを見つけるために教師なし区分化方法を想定している。本発明による手法は、そのような過度に楽観的な想定を行わず、何らかの形で事前区分化されたセグメントを教師なし区分化方法によって見つけることのみを期待する。ここで、専用音声単位（ＳＵ）モデルが後で使用されて、別の埋め込まれた音声単位が明らかとなる。
【００１７】
非特許文献２では、特徴フレームの教師なし増分クラスタ化が子供に向けられた発話に適用され、１組のガウス分布が推定される。これらは、トレーニング用の発話に含まれる基礎をなす音声クラスをモデル化すると想定される。この手法は音声モデルに基づくが、注釈が使用されなかったので知覚的に動機付けられたものである。特殊なクラスタ化方式のために、この手法を増分式に適用することができ、したがって、音声の音響モデルをオンライン可能な方式で取得するという意味では、ここで提案される方法と非常に類似している。実際、分析／モデルはセグメントではなく、もっぱらフレームに依存するので、子供に向けられた発話を自発的音声と置き換えることができる。
【００１８】
そのような教師なしの手法は魅力的に見えるが、得られる音声モデルは、非常に基本的なレベルの音声を表し、音声処理のために実際に使用することができない。実際、音声の特性は利用されず、調査した問題がベクトルのオンライン・クラスタ化に帰する可能性がある。
【非特許文献１】Hema A. Murthy, T. Nagarajan, and N. Hemalatha. Automatic segmentation and labeling of continuous speech without bootstrapping. In EUSIPCO, 2004. Poster-presentation.
【非特許文献２】Giampiero Salvi. Ecological language acquisition via incremental model-based clustering. 2005.
【非特許文献３】G.L. Sarada, N. Hemalatha, T. Nagarajan, and Hema A. Murthy. Automatic transcription of continuous speech using unsupervised and incremental training, 2004. Poster-Presentation at Inter Speech 2004.
【発明の開示】
【発明が解決しようとする課題】
【００１９】
したがって、本発明の目的は、音響モデルの教師なし取得のための改良型の自動化方法およびシステムを提供することである。
【課題を解決するための手段】
【００２０】
この目的は、本発明に従って、独立請求項１で定義された方法によって達成される。有利な実施形態がこの独立請求項で定義される。
【００２１】
本発明の概念は、単純な教師なし音声の区分化方法と教師あり音声の区分化方法を組み合わせて、白紙状態からモデル・ベースの言語表現をブートストラップすることである。利用可能な音声単位に関するモデルがない限り、ブートストラッピングは、教師なし区分化のみを利用して、モデル生成およびトレーニングのためのトレーニングセグメントを生成する。新しいモデルが導出されるとすぐに、その新しいモデルがモデル・ベースのセグメント検出のために使用され、追加のトレーニングセグメントが生成される。
【００２２】
そのような概念を機能させるために、トレーニングに必要な音声データベースが、親が子供の人生の最初の数年の間に子供と意思を通わせるのに用いられる子供に向けられた発話（ＣＤＳ）と同様に設定される。
【００２３】
低い音声速度で話され、ある量の一つの単語の発話からなる場合、良好な了解度を有すると想定される。マージナル・ブレークによって境界が定められたこうした短い発話は、しばしば１つのシラブルのみからなると想定することができる。システムが教師なし音声セグメンタによって提供されるこうしたモノシラビック・トレーニングセグメントのみを使用して第１モデルを取得した場合、さらに複雑なトレーニング音声への移行が可能である。
【００２４】
添付の図と共に以下の詳細な説明を考慮するときに、本発明の上記およびその他の態様、特徴、および利点がより明らかとなるであろう。
【発明を実施するための最良の形態】
【００２５】
基本の音声単位（ＳＵ）およびそのモデルの選択
モデル・ベースの音声処理フレームワークをセットアップするための第１のステップは、モデル化すべき音声の適切な基本単位を選ぶことである。現況技術で隠れマルコフ・モデル（ＨＭＭ）ベースの音声認識器は一般に、音素に関するモデルを利用し、音素は、言語の任意の２つの異なる単語間を区別するのに十分である１組の音声である。言語の各単語を表現するのに、少数の１組の音素（約４０）だけで理論的には十分であるが、共調音効果（ｃｏ−ａｒｔｉｃｕｌａｔｏｒｙ  ｅｆｆｅｃｔ）に対処することに加えて、音素間の移行をモデル化することがしばしば必要である。
【００２６】
教師なし音声取得フレームワークでは、音素の言語的概念は適切ではない。音響モデル・ベースの音声表現を子供のようにブートストラップするためには、シラブルのようなより知覚的な概念を利用することが必要である。シラブルは、任意選択の初期子音マージンおよび最終子音マージンを有する１組の後続の音声と定義することができる。知覚的定義をここで与えたが、利用可能な別の言語的定義も存在する。
【００２７】
音素またはその他の言語知覚的実体の代わりにシラブルを基本音響単位として使用するという考えは、既に現況技術で周知であると考えることができる。しかし、教師ありＡＭＡに対するシラブルの使用は主に、複雑な多音素モデル化を回避し、共調音効果の適切なモデル化を保持することを動機としたものであり、ここでは、シラブルの使用は、教師なし知覚中心の音声構造取得を可能にするために非常に重要である。
【００２８】
隠れマルコフ・モデル（ＨＭＭ）は様々な音声単位（ＳＵ）に対する数学的モデルとして使用するのに十分適しているが、ここで説明する手法は、隠れマルコフ・モデル（ＨＭＭ）に対して利用可能な計算方法に基づいて何らかの形で設計される大部分のＡＳＲフレームワークのように、隠れマルコフ・モデル（ＨＭＭ）に制限されない。実際、あらゆる種類の音声単位（ＳＵ）モデルは、以下が当てはまる限り、教師なしＡＭＡフレームワークでの使用に適している。
【００２９】
（１）モデルを使用して、音声ストリーム中のそのモデル化された音声単位（ＳＵ）をスポッティングすることができ、
（２）モデルが、１つまたは複数の音声スニペットをトレーニングセグメントとして使用することができ、
（３）音声のセグメントが与えられた場合に、モデルが、ある種の再構築スコアを計算することができる。
【００３０】
ブートストラッピング・プロセス
図１に、本発明の一実施形態によるスピーチ・シラブル・モデルのプールを取得する方法の流れ図を示す。
【００３１】
セグメントスポッティングまたは教師なし音声を使用して見つかった音声のセグメントをＸとする。言い換えれば、セグメントのソースは、教師なし音声セグメンタか、またはそれ自体の代表をスポッティングした既存の音声単位（ＳＵ）モデルでよい。本発明の一実施形態では、教師なしのエネルギー・ベースの音声の区分化手法または隠れマルコフ・モデル（ＨＭＭ）に基づくフィラー・モデル・フリー・キーワード検出方法を使用してセグメントを生成することができる。
【００３２】
ステップ１１０では、モデル・プールが空であるかどうかが判定される。そうである場合、ステップ１２０で、第１スピーチ・シラブル・モデルがトレーニングされ、プールに追加される。
【００３３】
言い換えれば、最初は、音声単位（ＳＵ）モデルが音響モデルに含まれなくてよい。教師なし音声の区分化モジュールのみによって着信音声が解析される。子供に向けられた発話を入力として使用して、シラブル長のセグメントがあまり音声ストリーム中に埋め込まれていない場合、すなわち区分化しやすい場合、すなわち音声速度があまり高くない場合にシラブル長のセグメントを検出することが可能となる。
【００３４】
こうした初期トレーニングセグメントを使用して第１シラブル・モデルをトレーニングすることができる。すべての初期トレーニングセグメントが同じシラブルを含むと仮定することはできないので、このモデルを一般的シラブル・モデルと考えるべきであり、特定のシラブルのモデルと考えるべきではない。
【００３５】
モデル・プールが空でない場合、方法はステップ１４０に分岐し、プールＰ内に既に存在するモデルＦが、与えられたセグメントＸを説明する可能性が最も高いと判定される。次いで、ステップ１５０では、判定されたモデルＦが使用されてセグメントＸがスコアリングされる。
【００３６】
ステップ１６０では、スコアが事前定義したしきい値未満であるかどうかが判定される。そうである場合、新しいモデルがステップ１７０で作成され、プールに追加される。そうでない場合、新しいトレーニングセグメントＸがステップ１８０で使用され、モデルＦが改良または再推定される。
【００３７】
言い換えれば、音響モデルが少なくとも１つの音声単位（ＳＵ）モデルを含むとする。新しいトレーニングセグメントＸが２倍の方式で処理される。まず、与えられたセグメントに最良に合致する音声単位（ＳＵ）モデルＦが求められる。次の２つの場合を考慮しなければならないと想定する。
【００３８】
１．ＸをスコアリングするためにＦを使用する信頼尺度が、ユーザ定義しきい値未満である。この場合、モデルＦは、Ｘに対して適切なモデルであるようには見えない。しかし、Ｆはプール内のＸに対する最良のモデルであることが判明したので、Ｘに対する新しいモデルが作成される。一実施形態では、このステップは、初期化のためにＦのモデル・パラメータを使用することを含む。次いで、新しいモデルをＦと異なるものとするために、セグメントＸを使用して、第１パラメータ更新を実施することができる。
【００３９】
２．信頼尺度がユーザ定義しきい値を超過する。モデルＦは、現セグメントＸをモデル化するのに適切であるように見え、したがって、Ｆを改良／再推定するのに現セグメントＸが使用される。
【００４０】
特定の量のトレーニングセグメントが使用されて、単一シラブル・モデルのパラメータが推定されたとすると、それを使用して音声ストリームを観測することができる。音声ストリームに添付され、このとき、モデル化したものと同じ音声単位（ＳＵ）を含むセグメントを検出することができる。このとき、モデル・ベースの検出／区分化が何らかの別の部分に適用されるので、トレーニングに使用される音声を、以前に必要であったものよりもＣＤＳ状ではないものとすることが可能である。あまり強力でない教師なし音声の区分化のみを使用したときに必要であったように、新しく添付された音声単位（ＳＵ）モデルによって検出すべきセグメントがモノシラビック発話であると想定する必要はもはやない。
【００４１】
上述の方法は、オンライン音声構造取得および分析のために使用するのに適している。既存の音声単位（ＳＵ）モデルおよび教師なし音声の区分化方法に基づいて、着信音声をオンザフライで解析することができる。区分化の結果および認識結果を、追加のモデル・トレーニングおよび／または外部処理のために使用することができる。
【００４２】
言い換えれば、上述の方法は、トレーニングされたモデルを適用して音声を解析する。モデルがそれ自体の認識を首尾よく検出した場合、音声ストリーム中の位置によるセグメント情報を使用して、新しいトレーニングセグメントを生成することができる。こうしたセグメントは、セグメント自体からなることができるが、異なるセグメントの境界キューを使用することによって生成されたセグメントからなることもできる。この手順を増分式に使用して、システムは、言語の完全な音響上の構造を取得することができる。
【００４３】
言い換えれば、第１トレーニングセグメントがプール内でモデル化される場合、それらを使用して、連続的音声の新しいセグメントを生成することができる。モデル・スポッタは、連続的音声内のこうしたモデル化されたセグメントおよびその境界を認識するからである。これにより、トレーニングセグメントジェネレータが音声の新しいセグメントを生成することが可能となる。例えば、「ｔｈｉｓ」、「ｉｓ」、「ｒｅｄ」という単語が（互いに分離された）子供に向けられた発話で発音されたので、システムがそれらの単語を区分化した場合、「ｔｈｉｓ  ｉｓ  ａ  ｒｅｄ  ｃｕｂｅ」のような滑らかに話された文に遭遇することにより、スポッタは「ｔｈｉｓ」、「ｉｓ」、「ｒｅｄ」を区分化し、セグメントジェネレータが新しいトレーニングセグメント「ａ」および「ｃｕｂｅ」を生成することが可能となる。
【００４４】
モデルプール・サイズ制限
トレーニングセグメントを２倍の方式で生成し、それらをモデル改良およびモデル・プール拡張のために使用する上記の手順が与えられた場合、教師なしトレーニング済み音響モデルでのシラブル・モデルの数は、経時的に単調増加する。したがって、意味のある、可能な限り多くのコンパクト音響モデルを保証するために、モデル・プールのサイズを制限することが非常に重要である。
【００４５】
したがって、本発明の一実施形態では、モデル・スポッティング・カバレッジおよびモデル選択性に基づいてモデル・プールを調整することができる。
【００４６】
モデル・スポッティング・カバレッジは、既存のモデル・プールを使用して音声信号をどれほど良好にモデル化することができるかを記述する。ＳＵの発生ごとに少なくとも１つのモデルが（その代表をスポッティングすることに関して）アクティブとなった場合に１となり、どのモデルもＳＵモデルアクティブ化とならない場合に０となる。部分的カバレッジでは、０と１の間となる。この尺度に基づいて、開発中のモデルの成長を束縛するように調整基準を定義することができる。
【００４７】
モデル選択性は、ＳＵプール・スポッティング活動がどれほどまばらであるか、すなわちセグメントモデルのうちのどれほどが同時にアクティブであるかを記述する。そのセグメントモデルが多いほど、モデル・プールがより冗長となる。理想的には、時間当たり１つのモデルがアクティブとなる。したがって、モデル選択性は、冗長性の低いプールを達成するためにいくつかのモデルを除去すべきかどうかを定義することができる。これにより、別個の音声単位（ＳＵ）モデル間の差が暗黙的に増大する。本発明の一実施形態では、モデル選択性の可能な実現は、トレーニングセグメント同時発生（ｃｏ−ｏｃｃｕｒｒｅｎｃｅ）の尺度を計算することである。
【００４８】
このマトリックス値尺度は、２つの各シラブル・モデルについて、同じ音声のセグメントが与えられた場合にブートストラッピングのためのトレーニングセグメントを生成する確率を記述する。そのような尺度を、長期区分化活動パターンを使用して計算することができる。例えば、２つのシラブル・モデルが長時間にわたって同じ音声のセグメントに関するトレーニングセグメントを生成する場合、両者のモデルが同一のシラブルであることは明らかである。しきい値を使用して、この同時発生尺度に基づいてそのような類似のモデルを除去またはマージすることができる。この種の除去はさらに、生成されるセグメントのまばらさを保証する。冗長なモデル・プールのみを除去することを可能とするために、現モデル・スポッティング・カバレッジに応じて除去しきい値を修正することができる。デフォルトしきい値に応じて、音響モデルは、広いシラブル・カテゴリのみのためのモデル、またはより特定の音声単位（ＳＵ）モデルを含むことができる。
【００４９】
図２に、本発明の一実施形態によるスピーチ・シラブル・モデルのプールを取得するシステムの処理グラフを示す。音声特徴２０５が教師なし音声の区分化モジュール２１０および音声単位モデル・スポッタ２２０によって解析される。教師なし音声の区分化モジュール２１０は単純な音声セグメント１１５を導出し、単純な音声セグメント１１５はトレーニングセグメントジェネレータ２３０に入力することができる。音声単位モデル・スポッタ２２０はモデル・ベースのセグメント１２５を導出し、モデル・ベースのセグメント１２５は、同様にトレーニングセグメントジェネレータ２３０に入力することができる。本発明にとっては重要ではないので、さらに詳細な特徴抽出をここではスキップすることができる。
【００５０】
トレーニングセグメントジェネレータ２３０はトレーニングセグメント２３５を生成し、その後で、音声単位モデルをトレーニングするためにトレーニングセグメント２３５を音声単位モデル・トレーニング・モジュール２４０で使用することができる（詳細については図１を参照）。音声単位モデル・トレーニング・ユニットは、トレーニング済み音声単位モデルを音声単位モデル・プール２５５に出力する。音声単位モデル・プール２５５のサイズは、音声単位モデル・スポッタ２２０のモデル認識確率２４５に基づいて、プール・サイズ調整器で調整することができる。
【００５１】
結論
教師なしＡＭＡとマージされた音声単位（ＳＵ）認識のための方法を、教師なし音声の区分化と教師あり音声の区分化の概念を組み合わせることによって提案した。
【００５２】
この手法は、子供に向けられた発話と類似の音声データを利用する。もっぱら知覚的な処理を可能にするために、基本モデル化単位としてのシラブルのより知覚的な概念を優先して、音素をスキップした。教師なし音声の区分化を使用して、音声ストリーム中で部分的に事前セグメントされる、第１シラブルのモデル・ブートストラッピングのためのトレーニングセグメントを生成した。後で、単純な教師なし音声の区分化が適切なセグメントを生成することに失敗した場合、既存の音声単位（ＳＵ）モデルを使用して、より複雑な発話のためのトレーニングセグメントを生成することができる。シラブル・モデルの数は、同時発生する区分化活動の提案される尺度に基づくモデル・プルーニングを使用することによって束縛される。
【００５３】
教師つきＡＭＡと比較して、得られる音響モデルは、既に処理された音声発話をモデル化するのに実際に必要なシラブル・モデルのみを含むことになる。提案される教師なしＡＭＡ手法は、トレーニングおよび認識のための別々のステージを１つの統合フレームワークとして組み合わせるので、新しい未知のシラブルを、その外観に基づいて遅れずにモデル化することができる。教師つきＡＭＡを使用すると、これは不可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態によるスピーチ・シラブル・モデルのプールを取得する方法の流れ図である。
【図２】本発明の一実施形態による処理グラフである。
【符号の説明】
【００５５】
２１０  教師なし音声の区分化モジュール
２２０  音声単位モデル・スポッタ
２３０  トレーニングセグメントジェネレータ
２４０  音声単位モデル・トレーニング・モジュール
２５５  音声単位モデル・プール
【図１】
2008090272.tif 000003
【図２】
2008090272.tif 000004
【外国語明細書】
１. Title of Invention
2008090272.tif 000005
２. Detailed Description of Invention
2008090272.tif 000006
2008090272.tif 000007
2008090272.tif 000008
2008090272.tif 000009
2008090272.tif 000010
2008090272.tif 000011
2008090272.tif 000012
2008090272.tif 000013
2008090272.tif 000014
2008090272.tif 000015
2008090272.tif 000016
2008090272.tif 000017
2008090272.tif 000018
2008090272.tif 000019
2008090272.tif 000020
2008090272.tif 000021
2008090272.tif 000022
３. Brief Description of Drawings
2008090272.tif 000023
Claims
2008090272.tif 000024
2008090272.tif 000025
2008090272.tif 000026
1. Abstract
2008090272.tif 000027
2. Representative Drawing
Fig. １
2008090272.tif 000028
Figure１
2008090272.tif 000029
Figure 2