(57)【特許請求の範囲】
【請求項１】
プロセッサが信号からパターンを認識するための方法（２００）であって、
前記パターンを含む第１の情報を形成する第１の信号をプロセッサが受信すること（２１０）と、
前記受信された第１の信号から第１の離散化された１次元シンボル・シーケンスをプロセッサが形成し（２１５、２２０、２２５）、タグによって第１の前記シーケンスにおける前記パターンを特定することと、
第１の前記シーケンスが前記タグと関連する遅延でシンボル・シーケンスの遷移を有する場合、前記タグに関する第１の前記シーケンスの各遅延と対応するマトリックスの要素に頻度データをインクリメントすることにより、プロセッサが遷移頻度マトリックスを得ること（２３０、２３５）と、
各遷移確率行列における各要素が各遅延での前記タグの確率を表す場合に全ての遷移による遷移頻度マトリックスを正規化することによってプロセッサが遷移確率マトリックスを得る（２４０）とともに、各遷移および各遅れでの各タグの確率を第１の前記シーケンスにおいて表すタグ確率マトリックスを前記遷移確率マトリックスから得ることと、
第２の情報を形成する第２の信号をプロセッサが受信すること（２７０）と、
最大値を有するタグを検出するために各タグに対する異なる遅延での全ての遷移の確率を加算することにより、および、異なる遅延での第２の前記シーケンスにおけるシンボル・シーケンスの全ての遷移に対する各タグ確率マトリックスからタグの確率を確定することにより、前記受信された第２の信号から形成される、第２のシンボル・シーケンスにおける前記パターンをプロセッサが認識すること（２８０、２８５）と
を含む、方法。
【請求項２】
前記最大値タグを検出するために認識される前記パターンの予測される期間と対応する長さを有する一次的な時間窓において得られる合計確率を加算することをさらに含む、請求項１に記載の方法。
【請求項３】
前記認識の結果がローパス・フィルタまたはメジアン・フィルタによって処理される、請求項１または２に記載の方法。
【請求項４】
ローパス・フィルタまたはメジアン・フィルタの長さが前記パターンの長さによって概算される、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記第１のシーケンスにおける前記遷移の前記発生の前記収集された頻度データを、前記遷移頻度マトリックスに記憶すること（２３５）をさらに含む、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記第２の信号を前記第２のシーケンスの形で表現されるために、該第２の信号が離散化され、量子化される、請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
スピーチ認識または画像認識のために使用される、請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
コンピュータ・プログラムがプロセッサによって実行されるときに、請求項１乃至７のいずれか１項の前記方法を実行するように構成されたコンピュータ・プログラム。
【請求項９】
信号からパターンを認識するために請求項１乃至７のいずれか１項の前記方法（２００）を実行するように構成された装置であって、前記装置が
前記パターンを含む第１の情報を形成する第１の信号を受信する（２１０）プロセッサと、
前記受信された第１の信号から第１の離散化された１次元シンボル・シーケンスを形成し（２１５、２２０、２２５）、タグによって第１の前記シーケンスにおける前記パターンを特定するプロセッサと、
第１の前記シーケンスが前記タグと関連する遅延でシンボル・シーケンスの遷移を有する場合、前記タグに関する第１の前記シーケンスの各遅延と対応する行列の要素に頻度データをインクリメントすることにより遷移頻度マトリックスを得るプロセッサと、
各遷移確率行列における各要素が各遅延での前記タグの確率を表す場合に全ての遷移による遷移頻度マトリックスを正規化することによって遷移確率マトリックスを得る（２４０）とともに各遷移および各遅れでの各タグの確率を第１の前記シーケンスにおいて表すタグ確率マトリックスを前記遷移確率マトリックスから得るプロセッサと、
第２の情報を形成する第２の信号を受信するプロセッサ（２７０）と、
最大値を有するタグを検出するために各タグに対する異なる遅延での全ての遷移の確率を加算することにより、および、異なる遅延での第２の前記シーケンスにおけるシンボル・シーケンスの全ての遷移に対する各タグ確率マトリックスからタグの確率を確定することにより、前記受信された第２の信号から形成される、第２のシンボル・シーケンスにおける前記パターンを認識する（２８０、２８５）プロセッサと
を含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン発見およびパターン認識のための方法に関する。また、本発明は、パターン発見およびパターン認識のためのコンピュータ・プログラム製品に関する。さらに、本発明は、パターン発見およびパターン認識のための装置に関する。
【背景技術】
【０００２】
すべてのパターン発見法における基本的な考え方は、生成された（学習された）モデルと解析されている現在のパターンとの間の１つまたは複数の類似点を測定するために、統計的規則性をモデル化し、モデルを実際の表示と比較することである。
【０００３】
シーケンス（sequence）の中のパターンをモデル化し、認識するために使用される、知られている方法および技術の１つは、モデル化されるべきシーケンスがマルコフ性（Markov property）を有することを仮定するマルコフ・モデルである。マルコフ性を有することは、現在の状態が与えられると、将来の状態は、過去の状態とは無関係であるということを意味する。言い換えれば、現在の状態のみの記述が、プロセスの将来の展開に影響を与えうるすべての情報を完全に保持する。将来の状態は、確定プロセスの代わりに確率プロセスを通して到達される。
【０００４】
各ステップにおいて、システムは、ある一定の確率分布にしたがって、現在の状態から別の状態にその状態を変えてよく、または同じ状態に留まってよい。状態の変化は遷移と呼ばれ、種々の状態変化に関連する確率は、遷移確率と呼ばれる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くの物理的プロセスと、その物理的プロセスによって生成される、対応する観測可能なシーケンスとが、高次の相関係数によって測定されうる時間構造（temporal structure）など、強い構造（strong structure）を有する。したがって、使用される時間分解能に応じて、生成されるシーケンスは、将来の状態が過去の状態とは無関係であるマルコフ連鎖によって正確にモデル化されえない、（時間または空間にわたる）広い構造（wide structure）を有してよい。
【課題を解決するための手段】
【０００６】
本発明の１つの目的は、パターン発見およびパターン認識のための方法、パターン発見およびパターン認識のためのコンピュータ・プログラム製品、ならびにパターン発見およびパターン認識のための装置を提供することにある。
【０００７】
本発明の目的は、概念に関連する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグが受けられ、遷移確率マトリックスが、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから得られ、各タグおよび各距離に対する遷移確率マトリックスが、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために習得される方法を提供することによって履行される。
【０００８】
また、本発明の目的は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受け、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得て、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習するコンピュータ・プログラム製品を提供することによって履行される。
【０００９】
さらに、本発明の目的は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受け、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得て、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習する装置を提供することによって履行される。
【００１０】
本発明の一実施形態は、独立請求項１による方法に関する。
【００１１】
加えて、本発明の一実施形態は、独立請求項１０によるコンピュータ・プログラム製品に関する。
【００１２】
また、本発明の一実施形態は、独立請求項１１による装置に関する。
【００１３】
さらに、実施形態は、従属請求項の中で定義される。
【００１４】
本発明の一実施形態によれば、方法は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受けることと、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得ることと、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習することとを含む。
【００１５】
本発明の実施形態による方法は、例えば、ソフトウェアがパターン発見およびパターン認識の処理を実行するコンピュータ・システム、ラップトップ、または携帯電話であってよい装置において実施されうる。第２に、パターン発見およびパターン認識の処理は、パターン発見およびパターン認識の処理を実施するように適合されているプロセッサ（例えば、ディジタル・シグナル・プロセッサ（ＤＳＰ）チップ）によって実行されうる。
【００１６】
用語「概念」（パターン）は、１シーケンスにおける（または２つの異なるシーケンスの間の）ある種の統計的規則性のことを言い、その概念は、他の概念（他の規則性）と異なり、すべてのノイズ状の不規則性と明確な対比をなす。
【００１７】
用語「タグ」は、あるシーケンスと関係づけられた徴候のことを言い、あるいはいくつかのタグが同じシーケンスと関係づけられ、これらの関連性が、概念と呼ばれる。
【００１８】
用語「遷移」は、シーケンス・シンボル（インデックス、ラベル）対のことを言う。シーケンス・シンボルは、シーケンスの基本的要素であり、シーケンス・シンボル対は、対の内部のシーケンス・シンボル間に距離を有する（言い換えれば、各シンボル対は、シーケンスの中にある一定の位置および相互の間隔（位置の違い）を有する）。
【００１９】
本発明の一実施形態によれば、前の一実施形態で開示される方法は、概念を含む第１の情報を受けることを含む。第１の情報は、例えばスピーチまたは画像であってよい。
【００２０】
本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、タグを第１のシーケンスと関係づけることを含む。
【００２１】
本発明の一実施形態によれば、前の一実施形態のいずれかで開示される方法は、概念を含む第１の情報を離散化することおよび量子化すること、ならびに第１の情報を１次元の（１Ｄ−）第１のシーケンスの形で表示することを含む。また、視覚的（空間的）２Ｄ情報は、１Ｄシーケンスを形成するために異なる方法でサンプリングされうる。このため、詳細な説明は、シーケンシャル（１Ｄ）情報のみに限定する。より複雑な場合では、１セットの１Ｄシーケンス、ならびにこれらのシーケンス間の関連性（例えば、聴覚的表示と視覚的表示との間の関連性）を処理することが可能である。
【００２２】
本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、第１のシーケンスにおけるシーケンス・シンボル間の遷移の発生の頻度データを収集することを含む。その方法は、各タグに対する、頻度データからなる、少なくとも１つのマトリックスを含むマトリックスの群で定式化される。群の中のマトリックスの数は、シーケンスから収集されたシンボル対の異なる距離の数、および概念に関連するタグの数に応じて決まる（例えば、マトリックスＭ（ａ、ｂ｜距離、タグ）、ここでａ×ｂがマトリックスのサイズを画定し、マトリックスの数は距離のタグ倍に等しい）。
【００２３】
本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、第１のシーケンスにおける遷移の発生の頻度データを、遷移頻度マトリックスに記憶することを含む。
【００２４】
本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、後で示す式（１）〜式（３）によって、遷移頻度マトリックスを遷移確率マトリックスに正規化することを含む。
【００２５】
本発明の一実施形態によれば、第２のシーケンス（複数可）が第２の実際の情報から処理される、前の実施形態のいずれかで開示される方法は、第２の情報を第２のシーケンス（複数可）の形で表示するために、第２の情報を離散化し、量子化することによる概念を含む。
【００２６】
本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、例えばスピーチ認識または画像認識に関するパターン認識のために使用される。使用された、方法を実行するアルゴリズムは、離散的な量子化された形で与えられる情報ストリームを取り込む。情報は、任意の時変プロセス、例えば視聴覚信号によって生成されてよく、または、情報は、空間的に変化するだけの、例えば静止画像であってよい。
【００２７】
本発明の実施形態による方法は、装置、例えばコンピュータ・システム、ラップトップ、または携帯電話の中で実施されてよく、ソフトウェアが、パターン発見およびパターン認識の処理を実行する。
【００２８】
第２に、パターン発見およびパターン認識の処理は、パターン発見およびパターン認識の処理を実施するように適合された、プログラムされたプロセッサ（例えば、ディジタル・シグナル・プロセッサ（ＤＳＰ）チップ）によって実行されうる。
【００２９】
本発明の実施形態による方法を実行するアルゴリズムは、実際のシーケンスから証拠（evidence）を収集することによって統計を学習し、これらのシーケンスに対する統計モデルを構築し、それらの統計モデルをパターン発見およびパターン分類に適用する。
【００３０】
統計は、空間的事例では異なる空間距離において、または時間的事例では異なる遅延において見出されるシーケンス・シンボル対の頻度に基づく。時間シーケンスの事例では、シーケンス・シンボル対は、状態遷移として解釈されてよく、それらの対応する相対頻度は、対応する遷移確率を生じさせるために正規化されうる。異なるシーケンス・シンボル対の発生の数が、頻度マトリックスまたは表を形成するために収集されうる。あらゆる空間距離または時間的距離（遅延）は、それ自体のマトリックスまたは表を生成する。それに応じて、結合的統計が、２つの異なるシーケンスの間に生成されうる。
【００３１】
遷移統計が、マルチモーダル入力（タグ）の存在と結びつけられ、それにより、各タグが、タグに関連する時系列の中で１つの概念（パターン）を示す。モデルを訓練した後、前に学習された概念のうちの１つである知られていない概念が、新しいシーケンスから認識されうる。アルゴリズムは、シーケンスが高レベルの歪みおよびノイズで損なわれる状態において、および、事象の従属性が時間または空間にわたって分散され、それにより、隣接事象が、互いに従属するものと確実にみなすことができない状態において、特にパターン認識に対して調整される。
【００３２】
本発明の実施形態による方法とマルコフ連鎖との間の１つの違いは、本発明の実施形態による方法は、シーケンスから統計的証拠を収集し、最初に異なる距離において見出されるすべてのラベル対の数をカウントし、次いで、２つの異なる正規化（詳細な説明における式（１）および式（２））を実施し、活性化マトリックスの最終セットを導くために実行される第３の正規化の前に、これら２つの統計的表示を組み合わせることである。
【００３３】
導かれた表示のうちの１つだけ、遅延１の状態遷移マトリックスが、マルコフ連鎖法で知られる表示と同等である。活性化マトリックスの誘導において使用される他の２つの表示では、統計的証拠の取り扱いが、以前から知られている取り扱いとは大幅に異なる。
【００３４】
別の違いは、マルコフ連鎖は、典型的には１より大きい遅延にわたる統計を使用せず、マルコフ連鎖が使用するときは、統計は、単なるマトリックスの乗算（チャップマン−コルモゴロフの方程式）によって遅延１の遷移マトリックスから導かれうることである。本発明の実施形態による方法では、より大きな遅延にわたる統計が、シーケンスから直接取り込まれ、マトリックスの乗算によって近似値が求められる（概算される）ものではない。
【００３５】
本発明の実施形態による方法とマルコフ連鎖との間の第３の違いは、本発明の実施形態による方法は、あらゆる概念（式（２））および異なる距離のラベル対に対して得られたすべての活性化マトリックス（式（４））に対する２つの異なる表示を並列に使用することである。したがって、組み合わされた活性化パターンは、現在または前の状態に従属するばかりでなく、活性化マトリックスのセットによって説明されるシーケンスの中のすべての前の事象にも従属する。
【００３６】
本発明の実施形態による方法の利点は、外乱（disturbance）により、有限の時間窓または空間窓の中で元の情報が完全に壊されたかまたは著しく損なわれたデータを取り扱うときに明らかになる。元の情報は、モデルが、近隣にある利用可能な情報を利用できるときにのみ、さらには、モデルが、周辺にある損なわれていない情報に基づいて適切に連想することができるときにのみ、修復（訂正）されうる。
【００３７】
次に、本発明の態様が、例示的実施形態を添付の図面と併せて参照することによって、より詳細に説明される。
【図面の簡単な説明】
【００３８】
【図１】本発明の有利な一実施形態による、パターン発見およびパターン認識のための方法を示す例示的な概要流れ図である。
【図２Ａ】本発明の有利な一実施形態による、パターン発見のための方法を示す例示的流れ図である。
【図２Ｂ】本発明の有利な一実施形態による、パターン認識のための方法を示す例示的流れ図である。
【図３】活性化のメジアン・フィルタをかけない時間の関数としての、発声における単語の表示の活性化を示す図である。
【図４】活性化のメジアン・フィルタリングをかけた時間の関数としての、発声における単語の表示の活性化を示す図である。
【図５】アルゴリズムの特徴学習曲線を示す図である。
【発明を実施するための形態】
【００３９】
図１は、本発明の実施形態によるパターン発見およびパターン認識の方法１００を説明する概要流れ図を表す。
【００４０】
最初に、ステップ１１０で、データ、例えばスピーチ認識処理においていくつかの単語を含む発声が収集される。
【００４１】
収集されたデータは、ステップ１２０の間に処理され、それにより、処理されたデータから統計的規則性（パターン）を見出すことができ、見出されたパターンに対する統計モデルが生成される。学習段階において、同時に存在する外部のタグが、パターンのセットのうちのどの１つ（後で認識される）が実際のシーケンスのどこかに存在するかを示す。
【００４２】
最後に、ステップ１３０で、生成されたパターンの統計モデルと実際のパターンとの間の類似性を発見するために、パターンの統計モデルが、新しい、以前には見られなかった実際のデータと比較される。
【００４３】
図２Ａは、より詳細な本発明の実施形態による発見方法２００を説明する流れ図を、単なる１つの例によって開示する。
【００４４】
ステップ２０５における方法の開始の間に、方法を実行するコンピュータおよび／またはアプリケーションがスイッチを入れられ、アプリケーションのセット・アップの定義、および異なる変数およびパラメータの初期化など、パターンの学習プロセス、発見および認識の前に必要な段階が提供される。
【００４５】
この場合は、ユーザが、パターンの学習、発見および認識を考慮してセット・アップ、変数およびパラメータを定義する。
【００４６】
次に、ステップ２１０で、人によって話された１つまたは複数の単語を含む発声など、学習（訓練）プロセスにおいて使用される情報が、受信器、例えばマイクロフォン、および受信された音響信号をパターン発見およびパターン認識のソフトウェアに適切な形に修正することができる信号処理ユニットを介して、パターン発見およびパターン認識のソフトウェアに導入される。
【００４７】
ステップ２１５で、受信された情報（サンプル）が離散化され量子化されて、その後、ステップ２２０で、離散する量子化された情報が、１Ｄ−シーケンスまたは複数のシーケンスの形で表される。
【００４８】
次いで、ステップ２２５で、シーケンス（複数可）と関係づけるいくつかの事象（パターン）が、例えば数字またはアルファベットでありうるタグによって特定される。
【００４９】
それで、システムへの入力は、離散要素の時系列、もしくは１Ｄ−シーケンスを形成するためにサンプリングされた空間情報、および訓練段階における、シーケンスに関連するいくつかの事象またはパターンを特定するタグからなる。いくつかの場合では、１つの情報モダリティが、別のモダリティに対するタグを提供してよい。シーケンスの基本的要素はラベルと呼ばれ、最も簡単な場合では、シーケンスの基本的要素は、ベクトル量子化コードブックにおける項目と呼ばれてよく、またはシーケンスの基本的要素は、時系列もしくは画像の任意の種類の量子化によって生み出されうる。より複雑な場合では、シーケンスの基本的要素は、情報のいくつかの高レベルの表示、例えば透明な定性的特性を反映することができる事象または項目と呼ばれてよい。１つの例は、株式市場および複雑な計量経済学的プロセスのモデリングでありうる。他の情報源（可能な別のモダリティ源）が、いわゆる概念タグｃの１セットによって表示される。
【００５０】
タグは、通常、時系列入力と関係づけられた別のプロセス（例えば、スピーチ認識の場合に別のモダリティ状の視覚または触知覚において実施されるカテゴリー化プロセス、または時系列に関連することが望まれる、手動で定義される事象のいくつかの他の群）の不変出力を表示する整数値である。
【００５１】
また、メカニズムは、反対方向に働くことができ、音響事象は、視覚的パターンを学習するためのタグとして働くことができる。１つのモダリティが、学習を助けるために他のモダリティに対するタグを形成することができる。より一般的には、方法は、異なるモダリティ間の統計的関連性の構築を可能にする。これは、（エージェントおよび人によって）意味の構成および学習をモデル化し理解する途上における主要な問題の１つである。
【００５２】
ステップ２３０で、概念（タグ）が活性化され、シーケンスが表示されるとき、アルゴリズムが、シーケンスの中の距離ｌにおけるラベル対（遷移）の発生の頻度データを収集し始める。
【００５３】
ステップ２３５で、アルゴリズムは、収集されたラベル対の発生の頻度データを、ヒストグラム表またはマトリックスＴ（遷移頻度マトリックス）に記憶する。元のラベルは、対応するラベル対の発生の数が必要なときに、Ｔに対するポインタとして使用されうる。
【００５４】
次のステップ２４０の間に、Ｔ内に収集されたヒストグラムは、次いで、別の表示Ｐを生み出すために使用される。
【００５５】
アルゴリズムの基幹（backbone）は、Ｎｑ×ＮｑのサイズのマトリックスＰｌ、ｃであり、ここでＮｑは、遷移確率マトリックスに類似するが、明確に定義された確率を含まず、代わりに一種の累積確率合計を含む、コードブックのサイズである。コードブックは、概念ｃが同時に存在する中で、ラベルａ［ｔ−ｌ］からラベルａ［ｔ］までの正規化された遷移確率の記録を保持し、ここでｌ、ｃ、ｔ∈Ｚであり、ｌはセットｌ＝｛ｌ１，ｌ２，ｌ３、．．．，ｌｎ｝の１項（member）であり、ｃはセットｃ＝｛１，２，３，．．．，Ｎｃ｝の１項である。言い換えれば、Ｎｃはシステムに導入された概念の総数である。仮にＮｌ＝‖ｌ‖と定義すれば、特定の遅延における各概念に対して１つの、合計Ｎｐ＝Ｎｌ＊ＮｃのＰマトリックスのインスタンス（instance）が存在する。マトリックスＴｌ、ｃは、それが、概念ｃが存在する中で、ラベルａ［ｔ−ｌ］からラベルａ［ｔ］までの正規化された確率の代わりに遷移頻度の記録を保持することを除いて、Ｐｌ、ｃと同様である。
【００５６】
Ｐの値は、３段階の正規化プロセスのために、０と１との間の範囲内の古典的確率ではないので、Ｐの値は活性化値と呼ばれ、Ｐは活性化マトリックスと呼ばれる。Ｐに記憶される活性化値は、Ｔに記憶される頻度情報を使用することによって計算される。
【００５７】
次に、訓練が方法の中にいかにして提供されるかが表示される。表記法を簡単にするために、マトリックスＰｌ、ｃおよびＴｌ、ｃの要素は、Ｐ（ａｉ，ａｊ｜ｌ，ｃ）およびＴ（ａｉ，ａｊ｜ｌ，ｃ）の形で表示され、ここで最初の２つの変数ａｉおよびａｊはラベルのマトリックス要素インデックス（ａｉからａｊへの遷移、またはａｉおよびａｊの共起）を定義し、一方、ｌは遅延を定義し、ｃは概念を定義する。
【００５８】
入力は、訓練シーケンスＳ＝｛ｓ１，ｓ２，．．．，ｓｎ｝およびシーケンス関連の概念Ｖ＝｛ｖ１，ｖ２，．．．，ｖｎ｝からなり、ここで各ｖｉ＝｛ｃ１，ｃ２，．．．，ｃｎ｝であり、ｖ∈ｃである。遅延ｌにおいて発生するシーケンスｓｉの中のすべての遷移は、遷移頻度マトリックスＴｌ、ｃに更新され、ここでｃはｓｉに関連するｖｉの１項である。このプロセスは、訓練材料の中ですべてのＳに対して繰り返される。
【００５９】
以下の疑似コードの例は、遷移頻度の収集プロセスを示す。
for i = 1:length{S}
s = S(i);
v = V(i)
for lag = 1:length(l)
for t = 1:length(s)
for c = 1:length(v)
T(s[t-lag],s[t] | lag,c) = T(s[t-lag],s[t]lag,c) +1;
end
end
end
end
【００６０】
ステップ２４０で、訓練材料の中で発生するすべての遷移が加算され、遷移頻度マトリックスＴに記憶されるので、遷移確率を各ラベルからすべての他のラベルΣｘＰｒ（ａｉ、ａｘ）＝１に、
【数１】
0005611232.tif 000002
を行うことで正規化することによって、マトリックスが遷移確率マトリックスＰ’に正規化される。ここでＮｑは、時系列におけるコードブックのサイズ、すなわち一意の要素の数である。
【００６１】
特定の遷移がすべての他の遷移に変わって１つのタグが存在する間に発生する確率が、Ｐ’ ｌ、ｃに累積的に加算される。
【００６２】
【数２】
0005611232.tif 000003
【００６３】
このことが、概念の存在において非常に一般的なこれらの遷移の値を高める。マトリックスは、この時点で、次の状態の確率がマトリックスに加算されないという意味で、もはや明確に定義された遷移確率マトリックスではないことに留意されたい。それゆえ、Ｐの値は、今後は、（概念に固有の）活性化値と呼ばれ、認識プロセスの結果は概念活性化と呼ばれる。
【００６４】
最後に、任意の他の概念の代わりに１つの概念ｃｋが存在する間に遷移が発生する確率が、
【数３】
0005611232.tif 000004
を行うことで最後の活性化マトリックスＰに組み入れられる。
【００６５】
言い換えれば、タグｃの場合にａｉからａｊへの遷移の累積確率が、すべての可能なタグｃの間に同じ遷移が発生する確率の合計で除される。仮に遷移が、すべての概念に対して等しい確度になり、それゆえ情報化値を含まないならば、遷移は、１／Ｎｃの確率を有することになる。それゆえ、すべてのマトリックスの中の各要素は、完全にランダムな場合に対してゼロ活性化を有するために、および他の概念の間により多く発生する遷移に対して負の値を有するために、その値から減算された１／Ｎｃを有する。前述の１／Ｎｃ減算は、必ずしも必要なステップではないが、１／Ｎｃ減算は、プロセスをより便利にする。
【００６６】
訓練が完了したとき、方法は、ステップ２４５で終了する。
【００６７】
図２Ｂは、本発明の実施形態によるパターン認識法２６０を説明する流れ図を、単なる１つの例によって示す。
【００６８】
ステップ２６５での認識プロセスの開始は、発見プロセスの開始と同様である。
【００６９】
ステップ２７０で、プロセスは、第２の情報、実際の入力データをシステムに導入され、ステップ２７５および２８０の間に、第２の情報が、パターンを有する１つまたは複数のシーケンスの形で実際の入力データを提示するために、離散化および量子化することによって処理される。
【００７０】
次に、ステップ２８５で、実際の入力データからの概念が、シーケンス（複数可）の遷移を調査する（study）ことによって確定される。遷移は、各距離および各タグに関する遷移確率Ｐを有する。これらの確率は、学習段階の間に推定される。確率は、活性化関数Ａを生成するために組み合わされ、最高の活性化レベルを有する概念が認識される。
【００７１】
それゆえ、実際の入力シーケンスが与えられると、時間ｔにおける概念ｃｉの活性化レベルは、入力シーケンスの後方履歴だけが含まれるときに、
【数４】
0005611232.tif 000005
として表現されうる。
【００７２】
パターン認識が完了したときに、ステップ２９０で、方法は終了する。
【００７３】
また、仮にシーケンスの中の最大遅延ｍａｘ（ｌ）までの後続のラベルが予め知られているならば、Ｐ（ｓ［ｔ］，ｓ［ｔ＋ｌ］｜ｌｄ，ｃｉ）活性化値を式（４）の合計に含めることによって、双方向認識プロセスを有することができる。このことが、認識された事象の局所化を強める。なぜなら、活性化曲線のピーク値は、特定の概念に対して主要な統計的支援が存在する一点に集中し、遷移確率に関してその点周りに対称に分布するようになるからである。
【００７４】
式（４）は、各概念の候補に対する局所活性化推定を提供するが、多くの用途では、認識されている事象は、後に続くいくつかの時間フレームにわたって広がるので、より大きな時間窓の中で活性化出力を考察することが有用である。このことを行うための１つの可能性は、より大きな時間窓の中で活性化曲線を、最初にローパス・フィルタまたはメジアン・フィルタにかけることである。次いで、これらの概念に関する時間的活性化曲線のそれぞれが、活性化値の最大累積合計を有する長さＬｉ∈［Ｌｍｉｎ，Ｌｍａｘ］の部分列を探索される。各概念モデルｃに対してこれらの部分列が見出された後、最大の累積合計を有する部分列ｉが、概念仮説ｃｉを画定する。
【００７５】
Ｌｍｉｎは、認識決定プロセスの中に含まれる情報に対する最小の時間的制限を設定し、少なくとも最短の可能な事象が認識されるのと同じほどの長さであるべきである。同様に、Ｌｍａｘは、情報の統合に対する時間的上限を画定し、少なくとも最長の可能な事象が認識されるのと同じほどの長さであるべきである。しかし、１事象の前後関係が、多くの場合、事象自体の手がかり（cue）を含み、遷移確率マトリックスに埋め込まれた統計は、この情報を考慮に入れるので、Ｌｍａｘに対してさらに大きな値を有することが、いくつかの状況において有利でありうる。
【００７６】
上記の式（２）および式（４）における加算（一次結合）が、値１を有する重み付け係数によって実施される。しかし、１でない値を有する重み付け係数αを使用することが可能である。これらの値は、いくつかの付加的な基準に基づいて、例えば、反復的にパターン認識の成功に基づいて確定されうる。
【００７７】
さらに、いくつかの情報源を組み入れるために、いくつかの、同時に量子化された入力ストリームに対してすべてのアルゴリズムを並列に実行することも可能である。このことが、頻度マトリックスおよび活性化マトリックスを、ＴΨ（ａｉ，ａｊ｜ｌ，ｃ）およびＰΨ（ａｉ，ａｊ｜ｌ，ｃ）の形に変換し、ここでΨは入力ストリームが処理された数を表示する。各遅延における各概念に対して、かつ各ストリームに対して別個の概念マトリックスを構築するために、訓練が、単一ストリームの条件に対して同様に実施される。試験段階において、すべてのストリームからの確率出力が組み合わされて、時間ｔにおける概念ｃｉの確率
【数５】
0005611232.tif 000006
を得る。ここでωΨは、各入力ストリームに対して確定される重み付け係数である。
【００７８】
図３および図４に、説明されたパターン認識法に関する結果の例を示す。
【００７９】
概念マトリックスアルゴリズムが、教師なし単語学習実験に適用された。目的は、４人の話し手によってブリティッシュ・イングリッシュで話された４０００の発声（男性２人および女性２人、１０００発声／人）を含むコーパスから１１の異なるキーワードを学習することであった。各発声は、１つまたは２つのキーワードを含み、これらのキーワードの存在を別のモダリティでシミュレーションするメタタグを付帯する。約３０００の発声が訓練に割り当てられ、残りの１０００の発声が試験のために割り当てられるときに、１００％の認識精度が達成される。
【００８０】
スピーチ材料が、ｋ平均法クラスタ化アルゴリズムを用いて、１ストリームのベクトル量子化（ＶＱ）インデックス（フレーム長１０ｍｓ、コードブック・サイズＮ＝１５０）に量子化された。静的ＭＦＣＣベクトルのユークリッド距離が、距離の単位（measure）として使用された。訓練が、１回に１発声ずつ、その関連する概念タグを伴って実施された。試験段階では、発声のＶＱストリームだけが入力として使用され、システムは、どのキーワード（概念タグ）が発声の中に埋め込まれているかを認識しなければならなかった。活性化曲線が、１５０ｍｓで窓をかけられ、Ｌｍｉｎが３５０ｍｓ、Ｌｍａｘが４５０ｍｓに設定されて、メジアン・フィルタにかけられた。
【００８１】
図３は、発声「Ｄａｄｄｙ  ｃｏｍｅｓ  ｃｌｏｓｅｒ（父さんが近づいてくる）」における内部概念（すなわち単語）表示の活性化を、活性化のメジアン・フィルタをかけない時間の関数として例示する。図３の上側に、各概念の活動が、確率値を有する個別の曲線を示す時間の関数として示され、下側に、各概念に対して見出された部分列の最良の累積合計が示される。得られた（winning）概念の部分列の境界が、矢で指示される。
【００８２】
図４は、メジアン・フィルタをかけた同じプロセスを示す。正しいキーワード「ｄａｄｄｙ（父さん）」が、他の単語候補に対して明確なマージンを有して認識されることが、図から分かる。また、メジアン・フィルタリングは、より大きな時間窓にわたって情報を統合し、それゆえ、入力から連続的支援を受ける概念と、入力の中になんらかの知られている構造を単にランダムに見出す概念との間の違いを強める。上側に、各概念の活動が、確率値を有する個別の曲線を示す時間の関数として示され、下側に、各概念に対して見出された部分列の最良の累積合計が示される。得られた概念の部分列の境界が、矢で指示される。
【００８３】
図５は、アルゴリズムの特徴学習曲線を、訓練された発声の数を関数として表示する。学習曲線は、認識率が、ほんの数トークン（token）後に非常に速やかに増大し、３０００の発声において１００％の精度に到達することを示す。最初の５００の発声を、右下に詳細に示す。
【００８４】
本発明が、これまで、上述の実施形態を参照して上で説明され、本発明いくつかの利点が例示された。本発明が、これらの実施形態に限定されないばかりでなく、本発明の趣旨および範囲内の、考えられるすべての可能な実施形態、ならびに以下の特許請求の範囲を含むことは明らかである。
【図１】
0005611232.tif 000007
【図２Ａ】
0005611232.tif 000008
【図２Ｂ】
0005611232.tif 000009
【図３】
0005611232.tif 000010
【図４】
0005611232.tif 000011
【図５】
0005611232.tif 000012