(57)【要約】  話者に依存する音声認識のための方法であって、以下のステップを有しており、すなわち：音声コマンドを含む音声信号（ＳＳ）を検出し；当該音声信号（ＳＳ）を複数の時間フレームに分解し（Ｆ）；相応する特徴ベクトル（Ｆ＿ＩＳ）を形成することによって、検出された各時間フレーム内の前記音声信号を特徴付けし；１つまたは複数の特徴ベクトル（Ｆ＿ＩＳ）から、特徴ベクトルシーケンスを形成し；当該特徴ベクトルシーケンスを格納し；前記特徴ベクトルシーケンスを音声リソース（ＨＭＭ−Ｌ１）内のモデルベクトルのシーケンスに割り当て、ここで当該音声リソースは多数のモデルベクトルを有しており；割り当て情報を格納し、ここで当該割り当て情報は、前記モデルベクトルのシーケンスへの前記特徴ベクトルシーケンスの割り当てを示しており；前記モデルベクトルシーケンスに割り当てられた音声コマンドを認識する、ステップを有している、話者に依存する音声認識のための方法。
2007500367.tif 000002
【特許請求の範囲】
【請求項１】
話者に依存する音声認識のための方法であって、以下のステップを有しており、
ａ）音声コマンドを含む音声信号（ＳＳ）を検出し、
ｂ）当該音声信号（ＳＳ）を複数の時間フレームに分解し（Ｆ）、
ｃ）相応する特徴ベクトル（Ｆ＿ＩＳ）を形成することによって、検出された各時間フレーム内の前記音声信号を特徴付けし、
ｄ）１つまたは複数の前記特徴ベクトル（Ｆ＿ＩＳ）から、特徴ベクトルシーケンスを形成し、
ｅ）当該特徴ベクトルシーケンスを格納し、
ｆ）前記特徴ベクトルシーケンスを音声リソース（ＨＭＭ−Ｌ１）内のモデルベクトルのシーケンスに割り当て、ここで当該音声リソースは多数のモデルベクトルを有しており、
ｇ）割り当て情報（ＶＯＣ−ＳＤ−Ｌ１）を格納し、ここで当該割り当て情報は、前記モデルベクトルシーケンスへの前記特徴ベクトルシーケンスの割り当てを示しており、
ｈ）前記モデルベクトルシーケンスに割り当てられた音声コマンドを識別し、
ｉ）設定された音声リソース（ＨＭＭ−Ｌ１）を別の音声リソース（ＨＭＭ−Ｌ２）に切り替え、
ｊ）前記格納された特徴ベクトルシーケンスを新たに設定された音声リソース（ＨＭＭ−Ｌ２）内のモデルベクトルシーケンスに割り当て、
ｋ）当該新たな割り当て情報（ＶＯＣ−ＳＤ−Ｌ２）を格納する、
ステップを有している、
ことを特徴とする、話者に依存する音声認識のための方法。
【請求項２】
前記音声信号（ＳＳ）は音響単位から構成されている、請求項１記載の方法。
【請求項３】
前記音声リソース（ＨＭＭ−Ｌ）は音声信号の音響単位のHidden- Markov-モデリングに基づく、請求項１または２記載の方法。
【請求項４】
前記音響単位は１つの語または１つの音素によって構成される、請求項１から３までのいずれか１項記載の方法。
【請求項５】
前記音響単位は単語セグメントまたは類似の音素のグループによって構成される、請求項１から４までのいずれか１項記載の方法。
【請求項６】
異なる音声リソース（HMM−L１，HMM−L２）を、異なる言語または異なる音声環境に割り当てる、請求項１から５までのいずれか１項記載の方法。
【請求項７】
異なる音声環境は、異なる周辺雑音状況をあらわす、請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記特徴ベクトル（Ｆ＿ＩＳ）または前記特徴ベクトルシーケンスは、モデルベクトルまたはモデルベクトルシーケンスへの割り当ての前に、マトリクス乗算（ＬＤＡ−Ｌ１，ＬＤＡ−Ｌ２）によって、自身の次元において低減される、請求項１から７までのいずれか１項記載の方法。
【請求項９】
次元低減のための前記マトリクスは、線形判別分析または主成分分析または独立成分分析から定められる、請求項８記載の方法。
【請求項１０】
請求項１から９までのいずれか１項に記載された話者に依存した音声認識および、殊に言語に依存する話者に依存しない音声認識を用いた方法。
【請求項１１】
請求項１から１０までのいずれか１項に記載された方法を実施するコミュニケーション機器（ＣＤ）であって、
・音声信号（ＳＳ）を採取するためのマイクロフォン（ＭＭ）と、
・前記音声信号（ＳＳ）を処理するためのプロセッサユニット（ＣＰＵ）と、
・前記音声信号（ＳＳ）から得られたデータを格納するための格納ユニット（ＳＵ）と、
・話者に依存した、およびオプショナルに話者に依存しない音声認識のために設けられている、前記マイクロフォン（Ｍ）と結合された音声認識装置を有している、
ことを特徴とするコミュニケーション機器。
【請求項１２】
請求項１１に記載されたコミュニケーション機器を作動させる方法であって、
話者に依存して作成された語彙集と話者に依存しないで作成された語彙集を同時に使用する、
ことを特徴とする、コミュニケーション機器を作動させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識方法並びに、音声認識装置を伴うコミュニケーション機器、殊に携帯電話または携帯可能なコンピュータに関する。
【０００２】
コミュニケーション機器、例えば携帯電話または携帯可能なコンピュータは近年、移動中での使用を容易にするためにますます小型化されている。このように小型化が進んだことによって、携帯性が改善された他に、他方で操作の快適性に関する重大な問題が持ち上がっている。従来のコミュニケーション機器と比較してハウジング表面はより小さくなっているので、もはやハウジング表面に機器の機能範囲に相当する数のキーを設けることは不可能である。
【０００３】
キーに増大する機能を重複させることも操作快適性にとって有益ではないので、高価なコミュニケーション機器は音声制御機能を有している。音声制御機能は、コミュニケーション機器内で音声認識が可能であることを前提としている。
【０００４】
従って多くのコミュニケーション機器は、話者に依存しない音声制御を提供している。公知の短縮ダイヤルの場合のようにこのためにユーザは音声制御時に例えば命令語（例えば「選択」、「電話帳」、「緊急電話」、「戻る」、「了解」等）を入力する。これらの命令語と接続された電話アプリケーションはユーザによって直接的に相応の方法で使用される。しかもユーザ自身はこのために事前に、このシステムをこれらの語彙でトレーニングする必要はない。
【０００５】
話者に依存しないこのような音声認識のためには、多数の異なる人物による語彙の音声サンプルがデータバンク内に集められなければならない。これらの音声サンプルは、この音声認識システムのユーザ領域の代表的側面を形成する。代表的側面であることを確実にするために、人物の選択時には種々異なる方言、種々異なる年齢段階および性別が考慮される。いわゆる「クラスター方法」（例えば反復アルゴリズム）によって、類似した音声サンプルがグループないしいわゆるクラスターにまとめられる。これらのグループないしクラスターにはそれぞれ１つの音素、１つの音素クラスターまたは可能な場合には単語全体も割り当てられる。これによって、各グループないしは各クラスター内に、音素ないしは音素クラスターないし単語全体の複数の典型的な代表が、相応するモデルベクトルの形で存在する。このようにして、僅かな代表によって、多くの異なる人物の発話様式が把握される。
【０００６】
ユーザにとっては、生産側で予め設定された命令語の語彙集および場合によって名称は快適ではある。しかしこれはユーザ特有の順応、例えば新たな命令の追加をカバーしていない。これは殊に名称の選択時、特別な音声制御時、名称発声時の特定の番号の場合に選択される。従って高価な機器は、話者に依存しない音声制御に対して付加的に、話者に依存する音声制御も提供する。
【０００７】
話者に依存する音声認識システムは各ユーザに対して最適化される。なぜなら初めて使用する前にその声でトレーニングされなければならないからである。これは「音声入力（Einsagen）」ないし「Ｓａｙ−ｉｎ」またはトレーニングである。これは、少なくとも１つの特徴ベクトルから特徴ベクトルシーケンスを作成するために用いられる。
【０００８】
話者に依存する音声認識と話者に依存しない音声認識が組み合わせて使用されるこの種のシステムが図１において、作動時の状態で、すなわち音声認識時の状態で、示されている。特徴抽出ＦＥの枠内で音声信号ＳＳが複数の時間フレームないしフレームに時間的に分けられるＦ（フレーミング）。さらに、事前処理されるＰＰ。時間フレームは音と一致する、または複数の音を有している。同じように１つの音は複数の時間フレームによって構成され得る。事前処理ＰＰの枠内においてフーリエ変換が行われる。
【０００９】
このような変換の結果並びに別の処理ステップの結果として、特徴ベクトルＦ_ＩＳが生じる。これは線形判別分析ＬＤＡ−Ｌ（Linear Discriminant Analysis）を用いて次元低減される。これによって、次元が低減された特徴ベクトルＦ_Ｓが生じる。次元低減ＬＤＡ−Lは言語固有に実施されるので、これによって作成された次元低減された特徴ベクトルも言語固有である。次元低減されたこの特徴ベクトルＦ_Ｓから出発して、話者に依存しない音声認識ＨＭＭ−ＳＩが単言語音声リソースＨＭＭ−Ｌをベースにして実施される。択一的に、話者に依存する音声認識ＳＤが、特徴ベクトルＦ_ＩＳに基づいて実施される。
【００１０】
話者に依存しない音声認識ＨＭＭ−ＳＩの場合には、該当する次元低減された特徴ベクトルＦ_Ｓと、音声リソースＨＭＭ−Ｌ内にあるモデルベクトルとの間の間隔Ｄが計算される。この間隔計算に基づいて、作動中に、モデルベクトルへの割り当てが求められる、ないしはモデルベクトルシーケンスへの特徴ベクトルシーケンスの割り当てが求められる。許可されたモデルベクトルシーケンスに関する情報は、話者に依存しない語彙集ＶＯＣ−ＳＩ−Ｌ内に存在する。これは生産側ないし製造者側で作成されたものである。例えばトレリスアルゴリズムを使用した検索Ｓ時には、割り当てないしはモデルベクトルのシーケンスは、間隔計算から出発して、語彙集ＶＯＣ−ＳＩ−Ｌを用いて求められる。検索Ｓ時には、結果Ｒとして、モデルベクトルに割り当てられた命令語が得られる。
【００１１】
付加的に設定された話者に依存する音声認識ＳＤは、例えば「Dynamic Time Warping」ＤＴＷまたはニューロンネットワークに基づいて、すなわち相関に基づいて、またはパターン照合方法、または当業者に公知の別の手法で実施される。
【００１２】
ここでの欠点は、図１に示されたシステムにおいて、話者に依存する音声認識と話者に依存しない音声認識を混合することができないということである。すなわち、これが話者に依存する音声認識であるか否か、または話者に依存しない音声認識であるか否かが、音声認識前に判明していなければならない。
【００１３】
この混合を可能にするために、話者に依存しない音声認識ＨＭＭ−ＳＩの場合に、話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ１も作成することが提案されている。これは図２において、この種のシステムでのトレーニングないしＳａｙ−ｉｎの枠内で示されている。図２では、既に図１にあらわれているオブジェクトまたはステップに同じ参照符号が付与されている。
【００１４】
ここでは、次元が低減された特徴ベクトルＦ_Ｓから出発して、音声リソースＨＭＭ−Ｌ１内にあるモデルベクトルに対する距離計算Ｄが実施される。この距離は、インデックスないし割り当て情報へ変換されるＤ２Ｉ。この割り当て情報は、この場合には、話者に依存する語彙集ＶＯＣ−ＳＤ−ＬＩもあらわす。
【００１５】
次に図３には、図２でトレーニングにおいて示されたシステムが動作中状態、すなわち音声認識時で示されている。ここで同じオブジェクトまたはステップには再び同じ参照符号が付与されている。
【００１６】
話者に依存する語彙集も、音声リソースＨＭＭ−Ｌ１に基づいて、すなわちその中に存在するモデルベクトルまでの距離計算Ｄによって作成されるので、図３に示されたシステムでは、話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ１と話者に依存しない語彙集ＶＯＣ−ＳＩ−ＬＩが言語Ｌ１において混合される。これによって、図１のシステムで生じていた混合問題が取り除かれる。
【００１７】
ここでの欠点は、語彙集作成のために音声リソースＨＭＭ−Ｌ１を使用したことによって、このシステムが言語依存性（sprachenabhaengig）であるということである。なぜなら、音声リソースＨＭＭ−Ｌ１は特定の言語または音声環境（Sprachumgebung）をあらわしているからである。これに関して割り当て情報が格納されている。
【００１８】
このような従来技術から出発して、本発明の課題は、前述したシステムの欠点を除去した、この方法に対する択一的な方法を提供することである。殊に本発明の課題は、話者に依存した音声制御および話者に依存しない音声制御がユーザフレンドリーに組み合わせて使用可能である、音声認識方法ないし音声認識装置を有するコミュニケーション機器を提供することである。
【００１９】
前述の課題は独立請求項１に記載された方法および請求項１１に記載されたコミュニケーション装置によって解決される。発展形態は従属請求項に記載されている。
【００２０】
音声信号、すなわち例えば単語またはセンテンスは、少なくとも１つの音響単位から成る。音響単位とは、１つまたは複数の音節、音素、音素グループ、単語セグメントまたはセンテンスの場合には単語でもあると理解される。このような音声信号はまずは時間区間に分解される。
【００２１】
各時間区間内の音声信号は特徴ベクトルによってあらわされる。
【００２２】
一般的に、意味を有している単位（すなわち例えば制御命令ないし命令語）は、複数の音声フレームが順次列にされることによってはじめて生じるので、まずは特徴ベクトルシーケンスが構成される。ここでは、シーケンス内に１つの特徴ベクトルのみが生じ得る。一般的には、特徴ベクトルシーケンス内の特徴ベクトルの数は、例えば制御命令または時間区間の長さないしは時間フレームによって制限される。
【００２３】
特徴ベクトルシーケンスはここでモデルベクトルシーケンスに割り当てられる。音声認識するために、例えば冒頭に記載したように、音声の意味を有する単位がモデルベクトルによってモデリングされる。多数のモデルベクトルが１つの音声リソース内に含まれている。これはすなわち、例えば、モデルベクトルによる音声認識を目的とした特定の言語の表示（Darstellung）である。同じように音声リソースは、定められた周辺環境、例えば自動車内での特定の音声の表示ないし「作動モード」をあらわし得る。この周辺環境によって例えば周辺音量が定められる。
【００２４】
特定の音声リソースにおける音声認識のために、モデルベクトルシーケンスへの特徴ベクトルシーケンスの割り当てないし割り当て情報が格納される。この特徴ベクトルシーケンスは例えばＳａｙ−ｉｎないしトレーニングによって作成される。格納は例えばいわゆる語彙集（Vokabular）において行われる。
【００２５】
モデルベクトルシーケンスによって、音声リソースを用いて音声認識が行われる。音声リソースは、多数のモデルベクトルの他に、少なくともさらに、２つのモデルベクトル間の移行確率（Uebergangswahrscheinlichkeiten）を含む。
【００２６】
ここで本発明の中心となるのは、モデルベクトルシーケンスへの特徴ベクトルシーケンスの割り当てだけを格納するのではなく、この特徴ベクトルシーケンス自体も格納することである。
【００２７】
これは次のような利点を有している。すなわち音声リソースの切り替え時に、すなわち例えば別の言語への切り替え時に、特徴ベクトルシーケンスを構成する音声信号を新たに採取しなくてよいという利点を有している。話者に依存するシステムと話者に依存しないシステムが並行して使用される場合にもこれは可能である。
【００２８】
必要な格納場所を低減するために、特徴ベクトルシーケンスは、モデルベクトルシーケンスへの割り当て時に、自身の次元に関して低減される。このような低減は例えば線形判別分析を用いて行われる。このように低減することによって、モデルベクトル自体が低減された次元で格納され、従って音声リソースのために必要な格納場所が小さくなる。特徴ベクトルないし特徴ベクトルシーケンスの次元低減は割り当ての枠内ではじめて行われるが、特徴ベクトルないし特徴ベクトルシーケンスの低減されていない表示が得続けられるということは重要である。
【００２９】
有利には、特徴ベクトルシーケンスの音声リソースの切り替え時には、直接的に、他の音声ソース内のモデルベクトルシーケンスが割り当てられる。
【００３０】
基礎となる音声リソースは殊に、いわゆるHidden-Markov Modell (HMM)を使用して作成される。ここでは各音響単位（例えば音素）に対して、例えば単語の構成時の次のユニットへの移行確率が基礎とされる。ＨＭＭは、話者に依存しない音声認識時に良好に使用可能であるという利点を有しており、従って例えば話者に依存する命令に加えて、ユーザ自身によってトレーニングされる必要のない、より広範の語彙が事前設定可能である。
【００３１】
この種の話者に依存する音声認識と話者に依存しない音声認識が組み合わされる場合に特別な利点が生じる。格納されている、話者に依存し、言語に依存しない（sprachenunabhaengigen）特徴ベクトルのシーケンスに基づいて、特徴ベクトルシーケンスとモデルベクトルシーケンスの間で割り当てを行うことができる。このような割り当ては、例えば話者に依存しない音声認識の枠内で既にユーザに対して事前設定されて存在する割り当てと共通である。すなわちここでは、音声認識は共通の多数の割り当てないし共通の「語彙集」を用いる。従って異なる音声認識間で交換されない。
【００３２】
これは殊に次のような利点を有している。すなわち、それが話者に依存しない音声命令であるか、話者に依存する音声命令であるか否かが事前に判明している必要がないという利点を有している。なぜなら、例えばこれに依存する音声認識が投入されるからである。
【００３３】
適切なコミュニケーション機器は少なくとも１つのマイクロフォンを有している。このマイクロフォンによって音声信号が検出される。さらにプロセッサユニットを有しており、これによって音声信号が処理される。すなわち例えば時間フレームへの分解または時間フレームに対する特徴ベクトルの抽出が行われる。さらに、処理された音声信号を格納するため、並びに少なくとも１つの音声リソースを格納するために格納ユニットが設けられている。音声認識自体のために、マイクロフォン、格納ユニットおよび音声認識装置が共に作用する。
【００３４】
本発明のさらなる利点を、図にも示されている、選択された実施形態に基づいてより詳細に説明する。
【００３５】
図１には、従来技術に相応する、組み合わされた話者に依存する音声認識と話者に依存しない音声認識の経過が示されている。ここでは話者に依存する音声認識と話者に依存しない音声認識は混合されない。
図２には、従来技術に相応する、音声リソースＨＭＭ-Ｌ１を有するシステムでのトレーニングないし「Ｓａｙ−ｉｎ」の流れが示されている。作成された語彙集VOC−SD−L１は、話者および言語依存であり、話者に依存する音声認識と話者に依存しない音声認識（図示されていない）とが組み合わせて使用可能である；
図３には、図２に示されたシステムが、作動中に、すなわち音声認識時に、話者に依存する音声認識と話者に依存しない音声認識の組み合わせのもとで実現されている。ここでは２つの技術は混合されるが、言語依存である。
図４には、本発明の実施形態に従ったシステムでのトレーニングないし「Ｓａｙ−ｉｎ」の経過が示されている。
図５には、本発明の実施形態に相応した第１の音声リソースL１から第２の音声リソースL２への、図４に従って作成されたユーザフレンドリーな語彙集の音声リソースの切り替え時の、ユーザの相互作用無しに行われるトランスコーディングの流れが示されている。
図６には、動作時の、図４および図５に示された実施形態が示されている。
図７には、音声信号の時間的な分割および事前処理の枠内での個々のステップの流れが示されている。
図８には、音声認識方法を実行するためのコミュニケーション機器が示されている。
【００３６】
より良く理解するために、まずは基礎となる幾つかの概念を説明する。各音声は、各音声に対して特有の音素に分けられる。音素は、さらに意味を細かくする音モジュールまたは音である。例えば母音はこのような音素である。しかし音素は複数の文字から構成されていてもよく、唯一の音、例えば「sch」や「ch」に相当し得る。従って、正書法と発音との間に相違があるので、文字は自動的には音素と同等に扱えない。ドイツ語においては、例えば文字「a」は、例えば単語「Hase」の場合のように長く発音される場合もあるし、単語「Hass」の場合のように短く発音される場合もある。同じ文字であるが、異なる音素である。発音が異なるので、ある言語内の音素は自動的に他の言語内の音素と同等に扱えない。
【００３７】
ここで音声認識の基本的な流れを、音素ベースの音声認識に基づいて説明する。
【００３８】
上述したように、音素に基づかず、単語または単語セグメントに基づく音声認識もある。
【００３９】
音素ベースの音声認識では該当するデータストリームを分析するために、音声信号が短い時間窓（いわゆるフレーム）に分割される。これは、例えば１０または２０ミリ秒の長さを有している。引き続き、話を解釈するために必要であるエレメントのみが計算されるないし抽出される。従って音声認識部は例えば、話者の声、性別、話す速度、音域の変動および背景雑音等に関する情報をフィルタリングする。これは主に次のことに用いられる。すなわち音声認識時に生じるデータ量を低減することに用いられる。音声認識時に発生するデータ量が多く、通常はリアルタイムでなく、殊にコミュニケーション機器内に設けられているような、コンパクトな計算ユニットによって処理されない場合にはこのことが必要とされる。
【００４０】
抽出された音声信号ないし音響信号からフーリエ変換値が形成される。ここで音声信号は周波数に従って分解される。このフーリエ変換値を、場合によっては複数の可能な窓関数の少なくとも１つと結合させることによって、コントラストの上昇および／または音声信号の雑音成分の低減が実現される。ここでこの窓関数は、制限された時間窓において０でない値を有している。結果としては、一連の特徴ベクトルないしトランスクリプションのシーケンスが得られる。これは、音声信号の時間的な経過特性を示している。
【００４１】
個々の特徴ベクトルは特徴ベクトルの種々異なるクラスに割り当てられる。特徴ベクトルのこれらのクラスは、類似した特徴ベクトルの各グループを含む。特徴ベクトルを、特徴ベクトルの個々のクラスに割り当てることによって音声信号が識別される。すなわち、これは発音表記内に存在する。特徴ベクトルのクラスに、どの音が該当する特徴ベクトルクラスによってあらわされるかに関する情報が割り当てられる場合、発音表記に意味内容が割り当てられる。
【００４２】
特徴ベクトルのクラスはそれ自体では、どの音が現時点で話されたのかに関する明確な情報を提供しない。特徴ベクトルのクラスがこのような音情報をあらわすためには、音声採取が必要である。ここから特徴ベクトルのクラスに個々の音ないし音素、音素クラスターまたは単語全体が割り当てられる。音素セグメントとも称される音素クラスターは、同時に複数の個々の音素を１つのユニットにまとめる。これによって同じように全体的に音声認識時に処理されるべきデータ量が低減される。
【００４３】
音声認識時のこれまでのステップは主に、データ低減およびデータ準備に用いられる。次に意味内容ないしテキストへの変換が行われる。ここで認識ルーチンは最も可能性の高い単語シーケンスを作成する。このような確率に対する計算の基礎として、主な音声認識器は今日では音声リソースを使用する。ここでこの音声リソースは、いわゆる「Hidden-Markov-Modell」またはHMMを使用して作成される。このようなモデルは、個々の話者が、単語または個々の音節を異なる長さで発音する、または接続するという困難性を克服する。このような時間的な歪みは、関数では正確にあらわされない。従ってここでは、その多様な会話方式にもかかわらず単語を認識するこのモデルが使用される。簡単に言えば、個々の音素間の移行確率がいわゆる「前方−後方アルゴリズム（Vorwaerts-Rueckwaerts-Algorithmus）」によって計算される。この場合にはどの状態、すなわち音素のどのシーケンスが最も確率が高いかが求められる。
【００４４】
生産側ないしは製造者側で、音声リソース（すなわち多数のモデルベクトル）が作成される。この音声リソースによって、特定の音声が表現可能である。さらに音声リソースでは、個々のモデルベクトル間の移行確率が定められ、これによって例えば音声内の単語が形成可能である。
【００４５】
次に、ここで全般的に説明してきた音声認識を、図面を用いてより詳細に説明する。このために図４には、本発明の構成に相応する「Ｓａｙ−ｉｎ」ないしトレーニングが概略的に示されている。同じ特徴またはステップには、図１、２および３と同じ参照番号が付与されている。
【００４６】
音声信号ＳＳにははじめに、特徴抽出ＦＥが施される。この特徴抽出は一般的にまずは、時間フレームないしはフレームＦ（フレーミング）への分割を含む。これは、後置接続された、フレームに分割された音声信号の処理部ＰＰを有する。これは一般的にフーリエ変換を含む。オプショナルでさらに障害ノイズ抑圧ないしチャネル補償が行われる。ここではチャネルとは、マイクロフォンからＡＤ変換器までの経路であると理解されたい。ここでは障害ノイズが補償される。このチャネルは例えばカーキットまたは移動無線機器自体においてマイクロフォンが異なるので変化する。空間が異なる場合にも、チャネルは異なる特性を有する。なぜなら、音響作用へのパルス応答が異なるからである。
【００４７】
例えば、特徴抽出ＦＥの枠内のステップは、特徴ベクトルを求めるために、図７に示されているように経過する。
【００４８】
信号を時間フレームに分割Ｆした後に、事前処理ＰＰが行われる。これは以下のステップを含む：すなわち、有限インパルス応答フィルタないし「finite impulse response filter（FIR）」による信号のフィルタリングＦＩ、いわゆるアンチエイリアシング、すなわち、実際にはもとめられていない周波数の使用を回避するためのハミング窓の形成ＡＡを含む。引き続き、迅速ないし「速い」フーリエ変換ＦＥＴが実施される。結果はパワースペクトルないし「Power−Spektrum」であり、ここではパワーが周波数に対してあらわされる。このようなパワースペクトルには、人間の聴覚に整合させるために、１５ 三角フィルタ（15 Dreiecks-Filtern）によるいわゆる「メル（Mel）」フィルタリングＭＦが施される。ここでの結果は、１５係数であろう。これは動的な領域を低減させるために例えば対数化され、diskrete Cosinustransformation DCTを介して、１２のいわゆる「ケプストラム」係数が求められる。これによってここで対数化されたエネルギーとともに１３の係数が存在する。このようにして求められたベクトルはＭＦＣＣベクトルないしメルフィルタケプストラム係数ベクトルとも称される。このような係数の誤り易さを低減するために、いわゆるデルタ構成ＤＡおよびデルタ−デルタ構成ＤＤＡが実施される。ここでは先行するフレームと先先行するフレームとの間の関係が求められる。この関係もそれぞれ１３の係数によってあらわされる。従ってこのような一連の変換が経過した後には、３９の係数が存在する。この３９の係数は特徴ベクトルのエントリー(Eintraege）ないしはコンポーネントをあらわしている。上述したルーチンは、選択された例である。当業者には、特徴抽出の多種多様な方法が公知である。従ってここでは詳細には立ち入らない。
【００４９】
再び図４を参照されたい。これらのプロセスの結果が、言語に依存しない特徴ベクトルＦ＿ＩＳである。少なくとも１つの言語に依存しない特徴ベクトルＦ＿ＩＳのシーケンスは、話者に依存する、言語に依存しない特徴ベクトルＦ＿ＩＳの集積またはデータバンクＦＶ−ＳＤ（Ｆ＿ＩＳ）内に格納される。
【００５０】
他方では言語に依存しない特徴ベクトルＦ＿ＩＳは処理されて、話者に依存し、言語に依存するボキャブラリーにされる。このようにして、格納場所低減のために、いわゆる線形判別分析ＬＤＡ−Ｌ１時に、既に生産側で作成されたＬＤＡマトリクスによりマトリクス乗算が施される。ここでこの判別分析は音声リソース（Ｌ１）に対して固有である。
【００５１】
この時点から、言語に依存する特徴ベクトルＦ＿Ｓが存在する。言語に依存しない特徴ベクトルＦ＿ＩＳと比較して、言語に依存する特徴ベクトルは、次元低減時の、損失を伴うデータ低減に基づいて、より少ない情報内容を含んでいる。従って、言語依存特徴ベクトルＦ＿Ｓから、再び、言語に依存しない特徴ベクトルＦ＿ＩＳを作成することはできない。
【００５２】
ＬＤＡマトリクスによって乗算することによって、殊に対角化が行われる。ここではベースベクトルから適切な固有システムを選択することによって、特徴ベクトルの次元が低減される。このようなＬＤＡマトリクスは言語に固有である。なぜなら、種々異なる言語または言語モードないし音声環境は異なるので、固有ベクトルも異なるからである。これは既に工場側で求められている。このようなマトリクスが、例えばいわゆるサブ音素および別の下位グループ、例えば「ｄの音」に基づいて、平均値形成および相応する重み付けによってどのように求められるかは、当業者には公知であるので、ここで詳細には説明しない。
【００５３】
例えばＬＤＡ乗算の枠内で２つの（順次連続する）３９−ディメンジョナルＭＦＣＣベクトルが７８−ディメンジョナルスーパーベクトルにまとめられる。これは、７８×２４ＬＤＡマトリクスによって乗算される。結果は、２４ディメンジョナルのいわゆるＰｏｓｔ−ＬＤＡ特徴ベクトルである。Ｐｏｓｔ−ＬＤＡ特徴ベクトルは言語依存である。なぜなら、ＬＤＡマトリクスが言語依存であるからである。音声リソースは殊に大量のモデルベクトルであると理解されたい。これによって言語があらわされる。さらに音声リソースは、特定の環境における音声もあらわすことができる。これは例えば車両内でのコミュニケーション機器の使用時に用いられる。ここではハンドフリー会話によって制限される。通常の会話時とは異なる雑音レベルが存在する。
【００５４】
ここで再び図４を参照されたい。ここでは話者に依存しないＨＭＭ−モデリングＨＭＭ＿ＳＩの枠内で、この特徴ベクトルがまずはモデルベクトルの存在するグループに割り当てられる。このような割り当ては、モデルベクトルまでの距離計算Ｄを介して行われる。これは例えば最も類似するモデルベクトルを求めることに相応する。ここでモデルベクトルは、単言語のＨＭＭ−音声リソースＨＭＭ−Ｌ内に存在する。特徴ベクトルとモデルベクトルないし特徴ベクトルシーケンスとモデルベクトルシーケンスとの間のこの割り当て情報は、いわゆる語彙集内に格納される。音声リソースＬ１に対する話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ１は、音声リソースＨＭＭ−Ｌ１からのモデルベクトルまでの距離計算Ｄおよび距離の変換Ｄ２１を介して、割り当てないしインデックス情報のために作成される。
【００５５】
図２および図３に記載されたような従来技術とは異なって、言語に依存しない特徴ベクトルないし特徴ベクトルシーケンスも格納される。これによって制御命令が記述される。これは基本的に、音声リソースの切り換え時にＳａｙ−ｉｎを新たに行う必要がないという利点を有している。
【００５６】
ここで図５を参照されたい。別の音声リソースＨＭＭ−Ｌ２への切り換え時に、言語に依存する次元低減ＬＤＡ−Ｌ２がこのような言語に依存しないベクトルＦ＿ＩＳに基づいて行われる。
【００５７】
例えばユーザはユーザ表面を介して言語Ｌ１から言語Ｌ２へ切り換える、またはコミュニケーション機器のために自動車装備（カーキット）の使用時には自動的に、静かな音声環境Ｌ１から騒々しい音声環境Ｌ２へ切り換えられる。すなわちＬ１ないしＬ２は言語または音声環境をあらわす。
【００５８】
引き続きいわゆるトランスコーディングＴＣが行われる。これは、言語に依存する特徴ベクトルＦ＿Ｓを音声リソースからのモデルベクトルに割り当てること、ないしは言語に依存する特徴ベクトルＦ＿Ｓのシーケンスをモデルベクトルのシーケンスに割り当てることである。そのトレーニングが図４に示されている命令語のトランスコーディングを次に図５において示す。トランスコーディングＴＣは既に生産者側で作成された音声リソースＨＭＭ−Ｌ２を用いてオフラインで行われる。すなわちユーザとの相互作用なしに、データバンクＦＶ−ＳＤ（Ｆ＿ＩＳ）内に格納されている言語に依存しない特徴ベクトルＦ＿ＩＳに基づいて行われる。従ってこの場合には、例えば生産側ないし製造者側で、音声リソースＨＭＭ−Ｌ２が作成された各音声に対して、割り当てひいては制御命令が作成される。ここでユーザは能動的に寄与する必要はない。
【００５９】
図５において、フレームへの時間的な分割Ｆおよび事前処理ＰＰが破線で示されている。なぜなら、トレーニングとは異なりトランスコーディング時には音声信号は使用されず、従ってこのユニットは必要なく、むしろトレーニング中に作成され、格納される、言語に依存しない特徴ベクトルＦ＿ＩＳが使用される。
【００６０】
まとめると、トランスコーディングの結果は、話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ２である。これは、音声リソースＨＭＭ−Ｌ２に基づいて、言語に依存しない、格納された特徴ベクトルを用いて作成されている。話者に依存するこの語彙集は、特徴ベクトルとモデルベクトルからのシーケンス間の割り当てを含む。
【００６１】
ここで図６を参照されたい。ここで図６では、図４でトレーニング時のものが示され、図５でトランスコーディング時のものが示された音声認識システムの作動時のものが示されている。同じ概念には再び同じ参照番号が付与されている。
【００６２】
例えば言語または音声環境Ｌ２が選択され、図５におけるトランスコーディングが行われる。従って次元低減ＬＤＡ−Ｌ２は、言語または音声環境Ｌ２に依存して行われる。
【００６３】
距離計算Ｄは、言語または音声環境Ｌ２に対する音声リソースＨＭＭ−Ｌ２を使用して行われる。検索Ｓは、ここで話者に依存しない語彙集ＶＯＣ−ＳＩ−Ｌ２と話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ２に基づいて行われる。ここで、話者に依存しない語彙集は、図３に示された、音声周辺環境Ｌ２に対する話者に依存しない語彙集ＶＯＣ−ＳＩ−Ｌ１に相当する。すなわち、生産側で作成された語彙集ＶＯＣ−ＳＩ−Ｌ２は同時に、すなわち話者に依存する音声認識および話者に依存しない音声認識を選択することなく、話者に依存する語彙集ＶＯＣ−ＳＤ−Ｌ２とともに使用される。
【００６４】
言い換えれば、これは次のような利点を有する。すなわち、話者に依存する語彙集と話者に依存しない語彙集が次のように相互に隣り合って存在するという利点を有する。すなわち、音声認識に対して、話者に依存する命令が行われるか否か、または話者に依存しない命令が行われるか否かを知る必要がないように相互に隣り合って存在する。これによって、例えば構成された命令の柔軟性が格段に高められる。話者に依存する命令または話者に依存しない命令が行われるか否かを判別することは、例えば次のような場合に必要である。すなわち、話者に依存する音声認識が特徴ベクトルを使用して経過し、話者に依存しない音声認識が、割り当て情報に基づいて行われる場合である。
【００６５】
最後に図８には、コミュニケーション機器が示されている。このコミュニケーション機器は、説明した音声認識を実施するのに適している。コミュニケーション機器ＣＤは、少なくとも１つのマイクロフォンＭとプロセッサユニットＣＰＵを有している。マイクロフォンによって音声信号が検出され、プロセッサユニットによって音声信号が処理される。すなわち、時間フレームに分割されるまたは時間フレームに対して特徴ベクトルを抽出する。さらに、処理された音声信号を格納する格納ユニットＳＵ並びに少なくとも１つの音声リソースが設けられている。音声認識自体のためにマイクロフォン、格納ユニットおよび音声認識装置ＳＥが共同で作用する。
【図面の簡単な説明】
【００６６】
【図１】従来技術に相応する、組み合わされた話者に依存する音声認識と話者に依存しない音声認識の経過が示されている。ここでは話者に依存する音声認識と話者に依存しない音声認識は混合されない。
【図２】従来技術に相応する、音声ソースHMM−Ｌ１を有するトレーニングないし「Ｓａｙ−ｉｎ」の流れが示されている。作成されたボキャブラリーVOC−SD−L１は、話者および音声依存であり、話者に依存しないかつ話者に依存しない音声認識（図示されていない）と組み合わせて使用可能である；
【図３】図２に示されたシステムが、作動中に、すなわち音声認識時に、話者に依存する音声認識と話者に依存しない音声惜別の組み合わせによって実現されている。ここでは２つの技術は混合される。しかしこれらは音声依存である。
【図４】図本発明の実施形態に従ったシステムでのトレーニングないし「Ｓａｙ−ｉｎ」の経過が示されている。
【図５】図４に従って作成されたユーザフレンドリーなボキャブラリーの、第１の音声ソースL１から第２の音声ソースL２への、本発明の実施形態に相応した、ユーザの相互作用無しに行われるトランスコーディングの経過が示されている。
【図６】図４および図５に示された実施形態の作動が示されている。
【図７】音声信号の時間的な分断および事前処理の枠内での個々のステップの経過が示されている。
【図８】音声認識方法を実施するためのコミュニケーション機器が示されている。
【符号の説明】
【００６７】
ＡＡ  アンチエイリアジングに対する窓の形成
ＣＤ  コミュニケーション機器
Ｄ  距離計算
Ｄ２Ｉ  割り当て情報変換に対する距離ないし「インデックスまでの距離」
ＤＡ  デルタ分析
ＤＣＴ  離散フーリエ変換
ＤＤＡ  デルタ−デルタ分析
Ｆ  時間フレームないし「フレーミング」への分割
ＦＥ  特徴抽出ないし「フィーチャエクストラクション」
ＦＩ  フィルタリング
ＦＶ−ＳＤ（Ｆ＿ＩＳ）  本発明に相応するトレーニングないし「セイイン」時の格納されたＦ＿ＩＳベクトルのデータバンク
ＨＭＭ−Ｌ  単言語音声リソース
ＨＭＭ−Ｌ１  言語または音声環境Ｌ１における音声リソース
ＨＭＭ−Ｌ２  言語または音声環境Ｌ２における音声リソース
ＨＭＭ−ＳＩ  話者に依存しないHidden-Markov-モデル
ＬＤＡ−Ｌ  言語または音声環境Ｌに対する線形判別分析ないし「リニアディスクリミナントアナライズ」
ＬＯＧ  対数
Ｍ  マイクロフォン
ＭＦ  メル−フィルタリング
ＰＰ  事前処理ないし「プレプロセッシング」
Ｒ  結果
Ｓ  検索ないし「Ｓｅａｒｃｈ」
ＳＥ  音声認識ユニット
ＳＳ  音声信号
ＳＵ  格納ユニット
ＴＣ  トランスコーディング
ＶＯＣ−ＳＤ−Ｌ１  言語または音声環境Ｌ１内の話者に依存する割り当て情報ないし語彙集
ＶＯＣ−ＳＩ−Ｌ１  言語または音声環境Ｌ１内の話者に依存しない割り当て情報ないし語彙集
ＶＯＣ−ＳＩ−Ｌ２  言語または音声環境Ｌ２内の話者に依存しない割り当て情報ないし語彙集
【図１】
2007500367.tif 000003
【図２】
2007500367.tif 000004
【図３】
2007500367.tif 000005
【図４】
2007500367.tif 000006
【図５】
2007500367.tif 000007
【図６】
2007500367.tif 000008
【図７】
2007500367.tif 000009
【図８】
2007500367.tif 000010
【手続補正書】
【提出日】平成18年3月27日(2006.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
話者に依存する音声認識のための方法であって、以下のステップを有しており、
ａ）話者の、音声コマンドを含む音声信号（ＳＳ）を検出し、
ｂ）当該音声信号（ＳＳ）を複数の時間フレームに分解し（Ｆ）、
ｃ）相応する特徴ベクトル（Ｆ＿ＩＳ）を形成することによって、検出された各時間フレーム内の前記音声信号を特徴付けし、
ｄ）１つまたは複数の前記特徴ベクトル（Ｆ＿ＩＳ）から、特徴ベクトルシーケンスを形成し、
ｅ）当該言語に依存しない特徴ベクトルシーケンスを格納し、
ｆ）前記言語に依存しない特徴ベクトルシーケンスを音声リソース（ＨＭＭ−Ｌ１）内の言語に依存するモデルベクトルシーケンスに割り当て、ここで当該音声リソースは多数の言語に依存するモデルベクトルを有しており、
ｇ）割り当て情報（ＶＯＣ−ＳＤ−Ｌ１）を格納し、ここで当該割り当て情報は、前記言語に依存するモデルベクトルシーケンスへの前記言語に依存しない特徴ベクトルシーケンスの割り当てを示しており、
ｈ）前記言語に依存するモデルベクトルシーケンスに割り当てられた音声コマンドを識別し、
ｉ）設定された音声リソース（ＨＭＭ−Ｌ１）を別の音声リソース（ＨＭＭ−Ｌ２）に切り替え、
ｊ）前記格納された、言語に依存しない特徴ベクトルシーケンスを、新たに設定された音声リソース（ＨＭＭ−Ｌ２）内の、言語に依存するモデルベクトルシーケンスに割り当て、
ｋ）当該新たな割り当て情報（ＶＯＣ−ＳＤ−Ｌ２）を格納する、
ステップを有している、
ことを特徴とする、話者に依存する音声認識のための方法。
【請求項２】
前記音声信号（ＳＳ）は音響単位から構成されている、請求項１記載の方法。
【請求項３】
前記音声リソース（ＨＭＭ−Ｌ）は音声信号の音響単位のHidden- Markov-モデリングに基づく、請求項１または２記載の方法。
【請求項４】
前記音響単位は１つの語または１つの音素によって構成される、請求項１から３までのいずれか１項記載の方法。
【請求項５】
前記音響単位は単語セグメントまたは類似の音素のグループによって構成される、請求項１から４までのいずれか１項記載の方法。
【請求項６】
異なる音声リソース（HMM−L１，HMM−L２）を、異なる言語または異なる音声環境に割り当てる、請求項１から５までのいずれか１項記載の方法。
【請求項７】
異なる音声環境は、異なる周辺雑音状況をあらわす、請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記特徴ベクトル（Ｆ＿ＩＳ）または前記特徴ベクトルシーケンスは、モデルベクトルまたはモデルベクトルシーケンスへの割り当ての前に、マトリクス乗算（ＬＤＡ−Ｌ１，ＬＤＡ−Ｌ２）によって、自身の次元において低減される、請求項１から７までのいずれか１項記載の方法。
【請求項９】
次元低減のための前記マトリクスは、線形判別分析または主成分分析または独立成分分析から定められる、請求項８記載の方法。
【請求項１０】
請求項１から９までのいずれか１項に記載された話者に依存した音声認識および、殊に言語に依存する話者に依存しない音声認識を用いた方法。
【請求項１１】
請求項１から１０までのいずれか１項に記載された方法を実施するコミュニケーション機器（ＣＤ）であって、
・音声信号（ＳＳ）を採取するためのマイクロフォン（ＭＭ）と、
・前記音声信号（ＳＳ）を処理するためのプロセッサユニット（ＣＰＵ）と、
・前記音声信号（ＳＳ）から得られたデータを格納するための格納ユニット（ＳＵ）と、
・話者に依存した、およびオプショナルに話者に依存しない音声認識のために設けられている、前記マイクロフォン（Ｍ）と結合された音声認識装置を有している、
ことを特徴とするコミュニケーション機器。
【請求項１２】
請求項１１に記載されたコミュニケーション機器を作動させる方法であって、
話者に依存して作成された語彙集と話者に依存しないで作成された語彙集を同時に使用する、
ことを特徴とする、コミュニケーション機器を作動させる方法。
【国際調査報告】
2007500367.tif 000011
2007500367.tif 000012
2007500367.tif 000013
2007500367.tif 000014
2007500367.tif 000015
2007500367.tif 000016