(57)【要約】認識対象単語の音声認識標準パターンの登録を必要とせず音声認識により位置情報を検索できる音声認識機能付きカーナビゲーションシステムを提供する。ユーザの発声する音声を音響分析した入力音響特徴ベクトルと、音節又は音素を音響単位とし所定の音響単位毎の音響モデルとを照合し、関連づけられた音響単位認識候補列を出力する音響単位認識手段（１１５）と、この音響単位認識候補列とカーナビゲーションシステム本体から取得した位置情報とを関連づけて単語・位置情報関連辞書に登録する単語・位置情報登録手段（１１８）と、上記入力音響特徴ベクトルと上記単語・位置情報関連辞書の各音響単位認識候補列の音響特徴ベクトルとを照合して尤度を計算し、この尤度が所定の閾値以上となる音響単位認識候補列に関連づけられた位置情報をカーナビゲーション本体に出力する位置情報検索・出力手段（１１９）とを備えた。
2003088209.tif 000002
【特許請求の範囲】
【請求項１】
音声入力手段により入力されたユーザの発声する音声を音響分析して入力音響特徴ベクトルを出力する音響分析手段と、音節又は音素を音響単位とし所定の音響単位毎の音響モデルを予め記憶する音響モデル記憶手段と、この音響モデルと上記入力音響特徴ベクトルとを照合し関連づけられた音響単位認識候補列を出力する音響単位認識手段と、この音響単位認識候補列とカーナビゲーションシステム本体から取得した位置情報とを関連づけて単語・位置情報関連辞書に登録する単語・位置情報登録手段と、上記音響分析手段により出力された入力音響特徴ベクトルと上記単語・位置情報関連辞書の各音響単位認識候補列の音響特徴ベクトルとを照合して尤度を計算しこの尤度が所定の閾値以上となる音響単位認識候補列に関連づけられた位置情報をカーナビゲーション本体に出力する位置情報検索・出力手段とを備えることを特徴とするカーナビゲーションシステム用音声認識装置。
【請求項２】
人間が発声する実音響単位が上記音響分析手段の認識精度のために異なる認識結果として認識される確率を各認識結果音響単位毎に予め記憶する音響単位混同行列記憶手段と、上記音響単位認識手段が出力する音響単位認識候補列の各音響単位とこの音響単位について上記音響単位混同行列記憶手段が記憶する確率が所定の閾値以上となる上記認識結果音響単位とを置換し上記音響単位認識候補列の類似候補を出力する単語展開手段とを備え、
上記単語・位置情報登録手段は、この類似候補をカーナビゲーションシステム本体から取得した位置情報に関連づけて上記単語・位置情報関連辞書に登録する構成とされたことを特徴とする請求の範囲１記載のカーナビゲーション用音声認識登録装置。
【請求項３】
複数の単語をその読みが類似するものにそれぞれグループ化して予め作成した各単語グループから選択した一つの代表単語とそのグループとの関連を記憶する類似単語インデックス手段と、上記類似単語インデックス手段の記憶するグループ毎の代表単語の音響特徴ベクトルと所定の音響特徴ベクトルとを照合してそれぞれの尤度を計算しそのうち所定の閾値以上となる尤度の代表単語が属するグループの各単語の音響特徴ベクトルと上記所定の音響特徴ベクトルとをそれぞれ照合して尤度を計算し最も尤度が高い単語を出力するグループ内類似単語検索手段とを備えることを特徴とする音声認識インデックス検索装置。
【請求項４】
複数の単語からなる元集合から一つの単語を代表単語として選択する代表単語選択手段と、この代表単語の音響特徴ベクトルとの尤度が所定の閾値となる音響特徴ベクトルを有する単語を上記元集合から抽出して代表単語と同じグループに含める音響類似単語グルーピング手段と、このグループに属する単語を元集合から除いた単語の集合を上記代表単語選択ステップの処理する元集合としてこの代表単語選択ステップに引き渡す元集合置換手段とを備えることを特徴とする音声認識インデックス作成手段。
【請求項５】
上記位置情報検索・出力手段は、請求の範囲３又は請求の範囲５記載の音声認識インデックス検索装置を備え、上記単語・位置情報関連辞書と外部記憶装置とが記憶する単語とその読みと位置情報とをこの音声認識インデックス検索装置により検索し出力する構成とされたことを特徴とする請求の範囲１に記載するカーナビゲーションシステム用音声認識装置。
【請求項６】
上記単語展開手段は、上記類似候補の音響単位ごとに上記音響単位混同行列記憶手段が記憶する確率を抽出して類似候補の確率リストを出力し、上記単語・位置情報登録手段は、この確率リストを上記類似候補とともに上記位置情報と関連づけて上記単語・位置情報関連辞書に登録し、上記位置情報検索・出力手段は、この単語・位置情報関連辞書が記憶する類似単語候補とこの類似単語の確率リストを読み込みこの確率リストの確率が所定の閾値以上の場合は上記入力音響特徴ベクトルと上記音響特徴ベクトル生成手段が出力した音響特徴ベクトルとを照合して尤度を計算しこの尤度が所定の閾値以上となる音響単位認識候補列を出力しこの確率が上記所定の閾値未満の場合は外部記憶装置が記憶する単語とその読みと位置情報を請求の範囲３記載の音声認識インデックス検索装置により検索する構成とされたことを特徴とする請求の範囲５記載のカーナビゲーションシステム用音声認識装置。
【請求項７】
現在位置検出手段と、地図データ記憶手段と、画像表示手段と、画像内指示手段と、目的地入力手段と、音声認識装置とを備えたカーナビゲーションシステムにおいて、この音声認識装置は請求の範囲１又は請求の範囲２又は請求の範囲５又は請求の範囲６記載のいずれか一の音声認識装置とすることを特徴とするカーナビゲーションシステム。
【発明の詳細な説明】
技術分野
本発明は、音声認識装置を用いたカーナビゲーションシステムに係るものである。
背景技術
カーナビゲーションシステムにおいては、走行中の操作の負荷を軽減し、特別な訓練を受けないユーザにとっても使いやすい操作インターフェースを実現するために、音声認識装置を搭載することが多くなってきている。このようなカーナビゲーション用音声認識装置では、一般に入力された音声を特定するために、予め認識対象となる音声の周波数分布などを分析し、例えばスペクトルや基本周波数の時系列情報等を特徴として抽出し、そのパターンを対応させて格納する音声認識用辞書を備えている。そのための音声認識辞書としては、一般に不特定多数の話者を対象とした音声の周波数分布などに対して統計的処理を行ったものをパターン（以下、標準パターンとする）化し、そのパターンを単語と共に登録する不特定話者辞書及び、特定の話者を対象に入力音声のパターンを単語と共に登録する特定話者辞書がある。このような辞書は非常に多くの単語とその標準パターンを含んでいるため、外部記憶装置が記憶する場合が多い。
このような音声認識装置においては、認識すべき音声が入力されると、外部記憶装置より上記両辞書に格納された各単語の標準パターンを順次読み込み、入力された音声の周波数パターンとこれらの標準パターンをパターンマッチングにより比較照合し、各単語に対する類似度を算出する。次に算出された類似度が最も高い単語（パターンが最も近い単語）を、入力された音声であると認識し、その単語を出力するようにしている。つまり、入力された単語の周波数分布のパターンがどの単語パターンに最もよく似ているかを調べることによって、入力音声を判定している。
従来の音声認識装置および音声認識装置を利用したカーナビゲーションシステムは以上のように構成されているので、標準パターンを作成するために、音声認識される可能性のある単語の読み（例えば、「目的地設定」は「もくてきちせってい」と読むという情報）をあらかじめ記憶しておく必要があるという問題点があった。
また、別の従来の音声認識装置では、各単語の標準パターンのために費やすメモリを削減するため、登録時には全単語の標準パターンを一時的に作成して認識するが、そのうち認識が成功した単語についてのみ単語パターンを保持し、実際の使用時には保持している単語パターンのみについて照合を行う方式をとるものもある。
また、従来の音声認識装置および音声認識装置を利用したカーナビゲーションシステムは以上のように構成されているので、認識が成功した単語でなければ、特定辞書に単語パターンを標準パターンとして登録することができない。このため、認識が成功することのない単語の読み方、すなわち、あらかじめ用意された単語の読み以外の読み方では登録できないという問題点があった。
また、従来の音声認識装置および音声認識装置を利用したカーナビゲーションシステムは以上のように構成されているので、単語を認識するためには少なくとも一度はその単語を使用している必要があり、それまで一度も使用されていない単語を認識することができないという問題点があった。
また、従来の音声認識装置及び音声認識装置を利用したカーナビゲーションシステムは以上のように構成されているので、外部記憶装置が記憶する大量の単語とその標準パターンを順次読み出して、照合処理を行うために処理時間を要し、応答性能を得にくいという問題点があった。
本発明は、上述のような課題を解決するためになされたもので、ユーザの発声した音声を標準パターンとして登録するようにすることで、予め音声認識をする必要のある単語の読みを記憶する必要性を廃し、標準的な読み以外の読みをも認識可能とすることを目的とする。
また、音響単位混同行列を用いて登録されたユーザの音声とそれに音響上類似する語を展開し、この類似語をあわせて登録することで、検索時に発声されたユーザの音声と登録されたユーザの音声の認識照合精度を高めることを目的とする。
さらに、外部記憶装置中に記憶された単語とその読みをも用いて照合する場合には、読みの類似する単語をグルーピングし、各グループの代表単語とユーザの発声した音声との認識照合を行い、その尤度が所定の閾値以上となる場合のみユーザの発声した音声とそのグループに属する他の単語との照合を実行することで、無駄な照合処理を廃し、また外部記憶装置の単語と読みをグループ単位でメモリにロードすることでメモリの使用効率を向上することを目的とする。
発明の開示
第１の発明に係る音声認識装置は、音声入力手段により入力されたユーザの発声する音声を音響分析して入力音響特徴ベクトルを出力する音響分析手段と、音節又は音素を音響単位とし所定の音響単位毎の音響モデルを予め記憶する音響モデル記憶手段と、この音響モデルと上記入力音響特徴ベクトルとを照合し音響単位認識候補列を出力する音響単位認識手段と、この音響単位認識候補列とカーナビゲーションシステム本体から取得した位置情報とを関連づけて単語・位置情報関連辞書に登録する単語・位置情報登録手段と、上記音響分析手段により出力された入力音響特徴ベクトルと上記単語・位置情報関連辞書の各音響単位認識候補列の音響特徴ベクトルとを照合して尤度を計算しこの尤度が所定の閾値以上となる音響単位認識候補列に関連づけて単語・位置情報関連辞書が記憶する位置情報をカーナビゲーション本体に出力する位置情報検索・出力手段とを備えるものである。
第２の発明に係る音声認識装置は、上記音響分析手段の認識精度により人間が発声する発声音響単位が異なる認識結果として認識される確率を各認識結果毎に予め記憶する音響単位混同行列記憶手段と、上記音響単位認識手段が出力する音響単位認識候補列の各音響単位ごとに上記認識確率が一定閾値以上となる認識結果音響単位からなる認識結果音響単位リストを抽出する音響単位混同行列検索手段と、上記音響単位認識候補列の各音響単位をその認識結果音響単位リストの認識結果音響単位に置換することにより得られる上記音響単位認識候補列の類似候補を出力する単語展開手段とを備え、
上記単語・位置情報登録手段が、この類似候補をカーナビゲーションシステム本体から取得した位置情報とを関連づけて上記単語・位置情報関連辞書に登録する構成としたものである。
第３の発明に係る音声認識インデックス検索装置は、複数の単語をその読みが類似するものにグループ化しそのグループの中の一つの単語を代表単語としてこの代表単語とそのグループの関連を記憶する類似単語インデックス手段と、上記類似単語インデックス手段の記憶するグループ毎の代表単語の音響特徴ベクトルと所定の音響特徴ベクトルとを照合してそれぞれの尤度を計算しそのうち所定の閾値以上となる尤度の代表単語が属するグループの各単語の音響特徴ベクトルと上記所定の音響特徴ベクトルとをそれぞれ照合して尤度を計算し最も尤度が高い単語を出力するグループ内類似単語検索手段とを備えるものである。
第４の発明に係る音声認識インデックス作成手段は、複数の単語からなる元集合から一つの単語を代表単語として選択する代表単語選択手段と、この代表単語の音響特徴ベクトルとの尤度が所定の閾値となる音響特徴ベクトルを有する単語を上記元集合から抽出して代表単語と同じグループに含める音響類似単語グルーピング手段と、このグループに属する単語を元集合から除いた単語の集合を上記代表単語選択ステップの処理する元集合としてこの代表単語選択ステップに引き渡す元集合置換手段とを備えるものである。
第５の発明に係る音声認識装置は、上記位置情報検索・出力手段が、第３の発明又は第５の発明に係る音声認識インデックス検索装置を備え、この位置情報検索・出力手段を、上記単語・位置情報関連辞書と外部記憶装置とが記憶する単語とその読みと位置情報とをこの音声認識インデックス検索装置により検索し出力する構成としたものである。
第６の発明に係る音声認識装置は、上記単語・位置情報登録手段が、上記音響分析手段の認識精度により上記音響単位認識候補列の各音響単位がこの音響単位に対応する上記音響単位認識候補列の類似候補の音響単位として認識される確率を上記音響単位認識候補列の音響単位毎に上記音響単位混同行列記憶手段より読み込み音響単位毎の確率を含む上記類似候補の確率リストを作成して上記類似候補とこの確率リストとを上記単語・位置情報関連辞書に登録するとともに、
上記位置情報検索・出力手段が、上記単語・位置情報関連辞書が記憶する類似単語候補とこの類似単語の確率リストを読み込みこの確率リストの確率が所定の閾値以上の場合は上記入力音響特徴ベクトルと上記音響特徴ベクトル生成手段が出力した音響特徴ベクトルとを照合して尤度を計算しこの尤度が所定の閾値以上となる音響単位認識候補列を出力し、
この確率が上記所定の閾値未満の場合は外部記憶装置が記憶する単語とその読みと位置情報を第３の発明又は第５の発明に係る音声認識インデックス検索装置により検索する構成としたものである。
第７の発明に係るカーナビゲーションシステムは、現在位置検出手段と、地図データ記憶手段と、画像表示手段と、画像内指示手段と、目的地入力手段と、音声認識装置とを備え、この音声認識装置を第１の発明又は第２の発明又は第６の発明又は第７の発明のいずれか一の音声認識装置とするものである。
発明を実施するための最良の形態
以下に、本発明に係るカーナビゲーションシステム用音声認識装置を各実施例に従って図面に基づいて説明する。
実施例１．
図１は、本発明の実施例１の音声認識装置付きナビゲーションシステム装置のシステム構成を示したものである。図において、１０１は車両の現在位置を検出する現在位置検出手段であって、周知構成の地磁気センサ、ジャイロスコープ、距離センサ及び衛星からの電波に基づいて車両の位置を検出するＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）のためのＧＰＳ受信機を有している。制御手段は、これらの各センサが性質の異なる誤差を有しているため、各々補間しながら使用する。
１０２は地図データ記憶手段であって、位置検出の精度向上のための所謂マップマッチング用データ、地図データ及び目印データを含む各種データを記憶している。地図データ記憶手段１０２が用いる記憶媒体としては、ＣＤ−ＲＯＭを用いるのが一般的であるが、ＤＶＤ−ＲＯＭ、メモリカードなどの他の媒体を用いるようにしてもよい。
１０３は画面を表示するための表示手段であって、一般的にはカラー表示機能を備えており、その画面には、現在位置検出手段１０１から入力された車両現在位置マークと、地図データ記憶手段１０２より入力された地図データと、さらに地図上に表示する誘導経路や後述する設定地点の目印などの付加データとを重ねて表示するようになっている。
１０４は画像内指示手段であって、ポインタなど、表示手段によって表示された画像の一部を特定する指示手段である。
１０５は目的地の位置や名称を入力する目的地入力手段であって、例えばリモートコントロール端末（以下、リモコンと称する）に対する操作を受信するリモコンセンサや操作スイッチ群により実現され、目的地の位置や名称を入力するために用いるが、その他カーナビゲーションシステムに対して指示を入力するためにも用いられる。操作スイッチ群は、例えば、表示手段と一体になったタッチスイッチ若しくはメカニカルスイッチなどが用いられる。
１１１はマイクなど音声を取り込む音声入力手段であって、音声をデジタル信号に変換する。１１２は音声切り出し手段であって、音声入力手段１１１が取り込んだ音声から、無音区間やノイズ区間を除き、人間の発声している範囲のみ検出する手段である。１１３は音響分析手段であって、音声切り出し手段１１２が切り出した音声から、音声認識に適するような特徴を抽出する手段である。
１１４は音響モデル記憶手段であって、各音響単位（たとえば、日本語では、音節（あ／ａ／、い／ｉ／、う／ｕ／、え／ｅ／、お／ｏ／、か／ｋａ／、き／ｋｉ／、く／ｋｕ／、け／ｋｅ／、こ／ｋｏ／、など））とその音響パターンを記憶している。１１５は単語・位置情報関連辞書であって、認識対象となる単語とその音響パターンとこの単語に関連する位置情報が登録されるが、初期状態（工場出荷時）にはなにも登録されていない。１１６は位置情報取得手段であって、カーナビゲーションシステム本体より位置情報を取得し出力する手段である。１１７は音響単位認識手段であって、音響分析手段１１３が抽出した入力音声の特徴と、音響モデル記憶手段が記憶している音響単位の音響パターンを照合して連続音声認識を行い、尤度（確からしさ）の最も高い音響単位の列を認識候補として出力する手段である。１１８は単語・位置情報登録手段であって、音響単位認識手段１１７が出力した認識候補を位置情報取得手段１１６から取得した位置情報とともに単語・位置情報関連辞書１１５に登録する手段である。１１９は位置情報・検索出力手段であって、単語・位置情報関連辞書１１５に登録されている各単語と音響モデル記憶手段が記憶している音響単位の音響パターンから各単語の音響特徴ベクトルを生成し、音響分析手段１１３が抽出した入力音声の音響特徴ベクトルとの尤度を計算した上で、単語・位置情報関連辞書１１５の記憶する単語の中から入力音声とこの尤度の高い単語の上位Ｎ個（Ｎは整数）を認識候補とし、単語・位置情報関連辞書１１５がこの認識候補に関連づけて記憶している位置情報をカーナビゲーションシステム本体に出力する手段である。
次に動作を図２を用いて説明する。ここでは、日本語を例にとり、音響単位を音節として説明する。最初に、単語を登録する場合の動作について説明する。まずユーザは、目的地入力手段１０５に付属する操作スイッチを用いて、登録処理の指示を入力する（ステップＳ１００：ＹＥＳ）。次にユーザが登録したい位置（たとえば自宅など）を目的地入力手段１０５により入力すると（ステップＳ２０１）、表示手段１０３は入力した目的地を含む地図画面を表示する（ステップＳ２０２）。次にユーザは、画像内指示手段１０４によって登録したい位置（この場合、自宅）を画面上に指示する（ステップＳ２０３）。次にユーザはその名称を発声（たとえば「自分の家」など）する（ステップＳ２０４）。
音声入力手段１１１は入力された音声に対してサンプリングを行い、デジタルデータに変換して、このデータを音声切り出し手段１１２に送付する。音声切り出し手段１１２は、入力されたデータのうち、入力された音声のパワー情報などを利用して無音区間やノイズ区間を除き、実際に音声である部分を切り出す。次に音響分析手段１１３は音声切り出し手段１１２が切り出した区間の音声データから、音声認識に適するような特徴（たとえば周知であるメルケプストラムなどの特徴）を抽出する（ステップＳ２０５）。次に音響単位認識手段１１７は、音響モデル記憶手段１１４が記憶している各音響単位（この場合は音節）の特徴と、音響分析手段１１３が出力した特徴から連続音声認識を行い、尤もらしい音響単位列（この場合は音節列）を認識候補として出力する。この場合には認識性能が良好であれば、「じぶんのいえ」という音節列が認識候補になる（ステップＳ２０６）。
次に位置情報取得手段１１６は、画像内指示手段１０４によって指示されている地図上の位置を地図データ記憶手段１０２から取得し、これを出力する。例えばこの場合では、自宅の住所の位置情報（東経・北緯や番地など）を出力する。次に単語・位置情報登録手段１１８は、音響単位認識手段１１７が出力した認識候補の音節列を、位置情報取得手段１１６が出力した位置情報とともに単語・位置情報関連辞書１１５に登録する。この場合には、「じぶんのいえ」という音節列が自宅の住所（例えば「鎌倉市大船５−１−１」）とともに単語・位置情報関連辞書１１５に登録される。
以上の処理を繰り返すことによって、単語を登録する。
次に、カーナビゲーションシステムによる住所検索の動作について説明する。まずユーザは検索処理の指示を入力する（ステップＳ１００：ＮＯ）。次にユーザは検索・表示させたい住所（たとえば「自分の家」）を発声する（ステップＳ１０１）。
音声入力手段１１１は、入力された音声に対してサンプリングを行い、デジタルデータに変換して、音声切り出し手段１１２に送付する。音声切り出し手段１１２は、入力されたデータのうち、入力された音声のパワー情報などを基準にして無音区間やノイズ区間を除き、実際に音声である部分を切り出す。次に音響分析手段１１３は、音声切り出し手段１１２が切り出した区間の音声データから、音声認識に適するような特徴（たとえば周知であるメルケプストラムなどの特徴）を、音響特徴ベクトルとして抽出する（ステップＳ１０２）。次に、位置情報検索・出力手段１１９は、単語・位置情報関連辞書１１５に格納された単語の音響単位に基づいて、音響モデル記憶手段１１４が記憶する音響パターンを合成し、単語・位置情報関連辞書１１５の音響特徴ベクトルを生成し、この音響特徴ベクトルと音響分析手段１１３が出力した音響特徴ベクトルとを照合して単語認識を行い、尤度の高い単語を認識結果単語とする。この場合には、「じぶんのいえ」という単語が認識結果単語となる（Ｓ１０３）。
次に位置情報検索・出力手段１１９は、認識結果単語の尤度が所定閾値より以上かどうかを検定し、所定閾値未満の場合（ステップＳ１０４：ＮＯ）には認識が失敗したとして、エラー表示をし、音声入力待ち状態になる。認識結果単語の尤度が所定閾値より以上の場合には（ステップＳ１０４：ＹＥＳ）、単語・位置情報関連辞書１１５が認識結果単語と関連づけて格納する位置情報を取得し、カーナビゲーション本体に出力する。この場合には「鎌倉市大船５−１−１」という位置情報が出力される。次に表示手段１０３は、取得された位置情報が示す位置が中央になるように、地図情報を画像表示させる。
以上の処理によりユーザは、自分の自由な読み方による目的地の呼び名の音声を登録し、また音声により検索することが可能になる。
また、本実施例は以上のように構成されているので、工場出荷時において予め住所の読みを準備する必要がなく、またこのことにより、ユーザによって使用される見込みがないにも関わらず工場出荷時には一通り揃えておく必要があった音声データを廃することができるので、その音声データのために用いていた記憶容量を削減できるという効果がある。
また、上記位置情報検索・出力手段１１９は、単語・位置情報関連辞書に登録された単語に対してのみ認識処理を行うので、検索対象となる単語数が一般的に少なく、類似単語も少ないことから、認識が高速かつ高精度であるという効果がある。
また、本実施例では、登録処理において、尤度の高い音節列を１つのみ登録するようにしたが、尤度の高い音響単位列を上位Ｎ個（Ｎは整数）を登録することにしてもよい。この場合、例えば「自分のいえ」という発声に対して、第１位の音節列「じぶんのいえ」、第２位の音節列「じぶんのゆえ」、などを同じ位置情報に関連づけて単語・位置情報関連辞書に登録する。また所定の閾値を超える尤度を有する音響単位列を単語・位置情報関連辞書に登録するようにしても同様である。このように構成すれば、位置情報検索を行う際の単語認識において、発声のあいまい性などを許容するカーナビゲーションシステムを提供することができる。
また、ここでは日本語による音声認識について説明したため、日本語の最小発声単位である音節について説明したが、外国語の場合は、子音などを考慮して、例えば音素などの最小の発声単位での認識手段と、音響モデルを用いれば、同様な実施例が構成できることはいうまでもない。
実施例２．
次に本発明の別の実施例に係る音声認識装置について説明する。実施例２は、登録時の認識結果に誤りが含まれていても、認識性能が劣化しにくい音声認識装置を提供するものである。図３は本実施例に係る音声認識装置をナビゲーションシステム装置に適用した場合のシステム構成を示したものである。図において、２０１は単語展開手段であり、認識結果から類似候補を展開するものである。また、２０２は音響単位混同行列記憶手段であり、音響単位混同行列を記憶している。また、図４と図６は処理の流れを説明する図、図５と図７は説明のための図である。ここでは、日本語を例にとり、音響単位を音節として説明する。
音響単位混同行列記憶手段２０２が記憶する音響単位混同行列（この場合は音節混同行列）は、図５に示すように、認識処理上混同しやすい音響単位（この場合は音節）の対が行列の形で表現されている。各行列の要素は、条件付き確率で表現されている。実際の発声がＸであり、このＸの認識結果がＹとなる条件付き確率をＰ（Ｘ｜Ｙ）と表すこととする。たとえば認識結果が音節「か（／ｋａ／）」であっても、実際の発声は「た（／ｔａ／）」であった確率Ｐ（ｔａ｜ｋａ）と表す。この条件付き確率は、事前に大量データによって計算される。事前に大量データを用いた認識により、音節「か（／ｋａ／）」である認識結果がＮ個あり、このうち音節「た（／ｔａ／）」を実際の発声とするものがＭ個あった場合には、Ｐ（ｔａ｜ｋａ）＝Ｍ／Ｎとして計算する。理想的には、実際の発生が「か（／ｋａ／）」である場合、認識結果の音節も「か（／ｋａ／）」であるべきなので、Ｐ（ｋａ｜ｋａ）は１となり、その他の成分（例えばＰ（ｔａ｜ｋａ））は０となる。しかし実際には、認識性能の限界などにより、そうとはならない。これらの値は多人数かつ大量のデータによって事前に計算をしておく。以降、Ｐ（ｋａ｜ｋａ）など、認識結果音節と実際の発声音節が一致している条件付き確率を、音響単位混同行列の対角成分と呼び、Ｐ（ｔａ｜ｋａ）など、認識結果音節と実際の発声音節が一致していない条件付き確率を、音響単位混同行列の非対角成分と呼ぶ。
次に動作を説明する。ステップＳ２０１乃至ステップＳ２０６は、実施例１と同じであるので説明を省略する。次に単語展開手段２０１は、音響単位認識手段１１７が出力した音節列をもとに、それと認識処理上類似している音響単位列（この場合は音節列）を作成する（ステップＳ３０１）。次に単語・位置情報登録手段１２０は、音響単位認識手段１１７が出力した音響単位列（音節列）と、単語展開手段が出力した音響単位列を、位置情報取得手段１１６が取得した位置情報とともに単語・位置情報関連辞書１１５に登録する（ステップＳ３０２）。
類似している音節列は、図６に示す処理によって作成される。まず変数ｉを１に初期化する（ステップＳ４０１）。次に音響単位認識手段１１７が出力した音節列の第ｉ番目の音節を取得する。この取得した音節をａとする（ステップＳ４０２）。次に或る音節ｂ（≠ａ）について、音響単位混同行列記憶手段２０２が記憶している音響単位混同行列を参照して、条件付き確率Ｐ（ｂ｜ａ）を取得する（ステップＳ４０３）。その後、Ｐ（ｂ｜ａ）が所定閾値より大きいかどうかを調べ、大きい場合には第ｉ音節を置き換える代替候補として記憶しておく（ステップＳ４０４、ステップＳ４０５）。以上の処理をすべての音節ｂ（≠ａ）について行ない（ステップＳ４０６）、さらに変数ｉをインクリメントして音節列の各音節について行う（ステップＳ４０７、ステップＳ４０８）。次に第ｉ音節を認識結果のままの場合と代替候補にした場合の音節列をすべての組み合わせで作成し、それらを類似単語とする。
図７に処理例を示す。例えば発声が「ｇｏｒｕｈｕｊｏｏ」（ゴルフ場）であるにもかかわらず、音節認識手段の性能の限界により、認識音節列が「ｇｏｒｕｃｕｚｏｏ」であったとする。このとき、Ｐ（ｈｕ｜ｃｕ）、Ｐ（ｕ｜ｃｕ）、Ｐ（ｊｏ｜ｚｏ）がそれぞれ所定閾値より大きいので、第３音節の代替候補としてｈｕとｕが、第４音節の代替候補としてｊｏが記憶される。認識結果の音節と代替候補のすべての組み合わせにより類似候補を作成すると、類似候補は、「ｇｏｒｕｃｕｚｏｏ」、「ｇｏｒｕｈｕｚｏｏ」、「ｇｏｒｕｕｚｏｏ」、「ｇｏｒｕｃｕｊｏｏ」、「ｇｏｒｕｈｕｊｏｏ」、「ｇｏｒｕｕｊｏｏ」の６つとなる。これらの類似候補について、同じ位置情報に関連づけて単語・位置情報関連辞書１１５に登録する。
住所検索は、実施例１と同じ処理を行うが、検索時に「ゴルフ場」と発声した場合、上記の６つの単語のいずれかが認識結果となれば、ゴルフ場の位置が正しく表示される。
実施例２は以上のように構成されているので、単語登録時の認識結果に誤りが含まれていても、認識性能が劣化しにくい音声認識装置を提供することができる。
また、実施例２では、類似単語の作成において、尤度の高い音節列についてのみ類似単語を作成するようにしたが、尤度の高い音節列を上位Ｎ個（Ｎは整数）について、それぞれの類似単語を作成するようにしてもよい。このように構成すれば、単語認識の際に、発声のあいまい性などをさらに許容する音声認識装置を提供することができる。
また、ここでは日本語による音声認識について説明したため、日本語の最小発声単位である音節について説明したが、外国語の場合は、子音などを考慮して、例えば音素などの最小の発声単位での認識手段と、認識辞書、混同行列を用いれば、同様な実施例が構成できることはいうまでもない。
実施例３．
次に本発明のさらに別の実施例に係る音声認識装置について説明する。実施例３は、検索時に単語辞書に登録されていない単語を発声した場合であっても、この単語に関連づけられた情報を検索できる音声認識装置を提供するものである。図８は本実施例に係る音声認識装置付きナビゲーションシステムのシステム構成を示したものである。図において、１２１は外部記憶手段であり、例えばＤＶＤなどの大容量記憶手段によって構成され、住所など検索対象となる単語と読みと対応する位置情報が記憶されている。１２２は音声認識インデックス装置であり、これは外部記憶手段に格納されている単語と読みを部分的に読み込んで記憶するための補助的記憶装置であって、通常は、外部記憶手段に格納されている単語と読みを一度に格納できる容量の数分の１以下のメモリが割り当てられている。
次に動作を図９を用いて説明する。登録時の処理（ステップＳ２０１〜ステップＳ２０８）は実施例１と同じであるので説明を省略する。検索時の処理でステップＳ１０１乃至ステップＳ１０４は実施例１と同じであるため、説明を省略する。次に単語認識手段１１４は、各認識候補の尤度がすべて所定閾値より小さい場合（ステップＳ１０４：ＮＯ）、発声された単語がまだ単語・位置情報関連辞書１１５に登録されていないと判断する。この場合は、音声認識インデックス装置１２２に対して入力音声の音響特徴ベクトルを与えて、外部記憶手段１２１にある住所の単語と読みの情報と位置情報の検索を要求する（ステップＳ５０１）。音声認識インデックス装置は、外部記憶装置の内容から入力音声の音響特徴ベクトルと単語の読みが一致する単語を検索して、その単語に関連づけられる位置情報を検索結果とするので、その検索結果が成功かどうかを検定する（ステップＳ５０２）。この結果が成功である場合は、表示手段１０３は取得した位置情報の位置を画面の中央に表示させる。検索結果が失敗（該当する情報なし）の場合（ステップＳ５０２：ＮＯ）、制御手段は認識エラーとして認識できなかった旨の表示を表示手段により行う。
以上の処理により、まだ登録処理を行なっていない単語についても、外部記憶装置を参照するので、認識処理が可能となる。
実施例４．
次に、上記音声認識インデックス装置の実施例について説明する。この音声認識インデックス装置は、音声認識対象となる単語が大量にある場合に、メモリ使用量を抑制しながら高速に音声認識を行うものである。図１０は実施例４に係るシステム構成を示したものである。図において、３０１はグループ内類似単語検索手段である。３０２は類似単語インデックス手段、３０３は代表単語テーブルであり、この音響認識インデックス装置が検索対象とする複数の単語の中から選択した単語を保持するテーブルである。３０４は単語グループ群であり、検索対象となる複数の単語の中から代表単語テーブル３０３の各代表単語に音響的に類似する単語同士を分類したグループの集合である。
次に動作を図１１を用いて説明する。図１１では、類似単語インデックス手段３０２が記憶する代表単語配列のｉ番目の要素を表現するために、代表単語（ｉ）という表記を用いている。まずｉ＝１としてｉを初期化する（ステップＳ６０１）。次に代表単語（ｉ）の音響特徴ベクトルを生成する（ステップＳ６０２）。この音響特徴ベクトルは電源投入時や検索処理時毎に生成する必要は必ずしもなく、代表単語の読み情報として予め与えられたものを用いてもよい。また電源投入時や検索処理時毎に生成する場合は音素や音節に基づく音響モデルと代表単語の音素や音節とから音響特徴ベクトルを合成してもよい。
次に、代表単語（ｉ）の音響特徴ベクトルと検索キーとなる入力音響特徴ベクトルとの尤度を計算し（ステップＳ６０３）、この尤度が所定の閾値以上か否かを検定する（ステップＳ６０４）。この尤度が所定の閾値以上である場合（ステップＳ６０４：ＹＥＳ）は、類似単語インデックス手段が代表単語（ｉ）に関連づけて記憶するグループの中から、入力音響特徴ベクトルとの尤度が最大の単語となる単語を求める（ステップＳ６０５）。ステップＳ６０４において尤度が所定の閾値未満の場合（ステップＳ６０４：ＮＯ）はｉに１を加え（ステップＳ６０７）、次の代表単語の評価を行う。
なおステップＳ６０５を実行する時点において、代表単語（ｉ）に関連するグループが外部記憶装置上にあり、まだメモリ上に存在していない場合は、このグループに属する単語と読みとその単語に関連する情報（位置情報など）をメモリに読み込む処理を実行してもよい。またその一方で、すでに入力音響特徴ベクトルとの尤度が所定の閾値以上にはならなかった代表単語が存在する場合は、その代表単語に関連するグループ内の単語を記憶していたメモリを解放することによって、この検索処理に使用するメモリの総量を抑制することも可能となる。
また、代表単語テーブル３０３の保持する各単語は、事前に所定の単語としておくこともできるし、また後述するように検索対象となる複数の単語の中から自動的に決定することも可能である。さらに、代表単語テーブル３０３はこの音響認識インデックス装置の電源投入時に作成してもよいし、外部記憶装置に予め記憶させておいた所定の代表単語テーブルを読み込むように処理してもよい。
また、単語グループ群３０４が含む個々のグループは、論理的な概念であるため、物理的にまとまって存在している必要はなく、例えば代表単語テーブル３０３にそのグループの代表単語とともにそのグループに属する単語と読みと関連づけられた情報の存在場所に対するポインタやアドレスのみを保持する形態で処理することも可能である。
また実施例４では、外部記憶装置は、カーナビゲーション装置の一部であるものとして説明したが、無線によるデータ転送手段を介して、他の装置に存在する記憶装置をアクセスしても同等な効果を奏する。この場合、代表単語テーブルも無線通信によって取得する方法も考えられる。
実施例５．
次に、複数の単語を音響的に類似する単語のグループに分類し、その中から代表単語を選択する音声認識インデックス作成手段の実施例について説明する。上記音響認識インデックス装置は、複数かつ任意の単語を含む単語の集合の中から入力音響ベクトルに基づいて一致する単語を効率的に検索する手段を提供するが、この音響認識インデックス装置によって効率的に単語の検索を実行するためには、代表単語同士が相互に音響的に非類似であって、かつ検索対象となる複数の単語が必ずいずれかの代表単語に音響的に類似し、その代表単語のグループに属する必要がある。この音声認識インデックス作成装置は、複数単語を相互に十分尤度が離れた複数のグループに分類することを目的とするものである。
図１２は本発明の音声認識インデックス作成方法の実施例に係る構成を示したものである。図１２において、４０１は、音声認識の対象となる複数の単語を含む元集合から、代表単語を選択する代表単語選択手段である。代表単語選択手段４０１が選択する代表単語は、元集合が含む複数の単語のうちの任意の一つの単語でよい。４０２は音響類似単語グルーピングステップであって、元集合が含む複数の単語から代表単語選択手段４０１が選択した代表単語以外の単語のうち、読みがこの代表単語と類似する単語を選択する。ここでは、代表単語の音響特徴ベクトルと元集合に含まれる各単語の音響特徴ベクトルとの尤度を計算し、この尤度が所定の閾値以上となる単語を代表単語に関連するグループに属するものと判定する。４０３は元集合置換手段であって、音響類似単語手段によって抽出された上記代表単語に読みが類似する単語を元集合から取り除き、この状態の元集合をもとの元集合に置換し、上記代表単語選択手段４０１が再度処理可能とする。
次に、動作を図１３を用いて説明する。最初に元集合の単語の個数を検定する（ステップＳ８０１）。元集合に含まれる単語の個数が０である場合は、もはや代表単語の選定も単語のグルーピングも必要がないことになるため、処理を終了する（ステップＳ８０１：ＮＯ）。一方、元集合の単語の個数が０でない場合は、代表単語の設定と単語のグルーピングを行う必要があるから、次のステップに進む（ステップＳ８０１：ＹＥＳ）。
次に、元集合の単語のリストの先頭要素を代表単語とする（ステップＳ８０２）。なお本実施例では、処理を最も簡単にするために元集合の単語のリストの先頭要素を機械的に代表単語としているが、代表単語とは音響的に相互に類似する単語の集合のどの要素でもよく、またこの後に続くステップで代表単語に音響的に類似する単語を事後的に元集合の中から収集していくことになるので、この時点における代表単語は元集合のどの要素でもよい。
次に、代表単語の音響特徴ベクトルを求める（ステップＳ８０３）。元集合に含まれる単語が外部記憶装置上にある場合は、各単語の読みに替えて、あるいは各単語の読みとともに音響特徴ベクトルを予め各単語に関連づけて記憶させておいてもよい。また各単語の音響的な情報が単語の読みのみである場合は、音素又は音節に基づく音響パターンを予め音響モデルとして記憶しておき、さらに各単語の読みを音素又は音節に分解してそれぞれの音響単位の音響モデルの音響パターンを合成する方法によっても、代表単語の音響特徴ベクトルを求めることができる。
次に、インデックス変数ｉの値を２に初期化する。この初期値は代表単語以外の単語と代表単語との照合を行うために設定するものであり、ステップＳ８０２において元集合の単語リストの先頭要素でない要素を代表単語として選定した場合は、この代表単語と重複しないように他の単語を選択できる初期値を選択する必要がある。
次に、元集合の単語リストのｉ番目の要素の音響特徴ベクトルを求める（ステップＳ８０５）。音響特徴ベクトルを求める方法についてはステップＳ８０３で説明したので、ここでは省略する。
次に、代表単語と元集合の単語リストのｉ番目の要素とを照合するためにそれぞれの音響特徴ベクトルの間の尤度を計算する（ステップＳ８０６）。続いてこの尤度が所定の閾値以上となるか否かを検定する（ステップＳ８０７）。この尤度が所定の閾値以上となる場合（ステップＳ８０７：ＹＥＳ）は、このｉ番目の要素を代表単語のグループに追加する（ステップＳ８０８）。その一方で、ｉ番目の要素に除去マークを付ける（ステップＳ８０９）。ステップＳ８０９において、ｉ番目の要素に除去マークを付けるのは、後の処理において、現在の元集合からこの単語を消去するためであるが、ステップＳ８０９で除去マークを付けずに直接元集合からこの単語を消去してもよい。ただしこの場合は、インデックス変数ｉと単語リスト中の単語の関係及び元集合に含まれる単語数の調整を行う必要がある。
次に、インデックス変数ｉに１を加え（ステップＳ８１０）、このｉが元集合の単語の個数以下か否かを検定する（ステップＳ８１１）。ｉが元集合の単語の個数以下となる場合（ステップＳ８１１：ＹＥＳ）は、この代表単語に音響的に類似する単語の探索が単語リストの終端までまだ到達していないことを意味するから、ステップＳ８０５からの処理を繰り返す。しかし、ｉが元集合の単語の個数を超える場合（ステップＳ８１１：ＮＯ）は、この代表単語に音響的に類似する単語の探索が単語リストの終端に到達したことを意味するから、この元集合にはこの代表単語に音響的に類似する単語はこれ以上存在しないことになる。この場合は、それまでにステップＳ８０９で除去マークを付けた単語を元集合から除去する（ステップＳ８１２）。これにより、次の代表単語とグループの選定処理における元集合は、これまで選定された代表単語とそのグループに属する単語を含まないこととなり、単語が複数のグループに重複して属することを回避できる。続いて、ステップＳ８０１の処理に戻り、他の代表単語の選定とその代表単語に音響的に類似する単語のグルーピングを続行する。
一方、ステップＳ８０７において、尤度が所定閾値未満となる場合（ステップＳ８０７：ＮＯ）は、この単語はこの代表単語に関連するグループに属さないことを意味するから、この単語をこの代表単語に関連するグループに追加する処理は行わず、ステップＳ８１０に移って、元集合が含む次の単語の処理の準備を行う。
以上が、本発明に係る音声認識インデックス作成手段の実施例である。
なお、ステップＳ８０７における所定の閾値を大きくすると、ある代表単語に音響的に類似するとしてこの代表単語のグループに属することとなる単語の数が減少することとなり、逆に数多くの代表単語とグループを選定する必要が出てくる。したがって、本発明に係る音響認識インデックス装置における代表単語と入力音響特徴ベクトルとの照合回数が増加することになる。しかしその一方で、この所定の閾値を大きくすることで、グループに属する単語の数が減少するので、各グループに含まれる単語に関連する情報（読み情報やその他の情報）を記憶するために必要となるメモリの量は削減できることになる。
これに対して、ステップＳ８０７における所定の閾値を小さくすると、ある代表単語と音響的に類似する単語の個数が増加するので、一つのグループに属する単語の個数も増えることになり、その結果、代表単語の総数は減少することになる。そのため、本発明に係る音響認識インデックス装置における代表単語と入力音響特徴ベクトルとの照合回数は減少することとなるが、代表単語と入力音響ベクトルとの照合が成功した後のそのグループ内の単語との照合回数は反対に増加することになる。
さらに、ステップＳ８０７における所定の閾値は、本発明に係る音響認識インデックス装置における入力音響特徴ベクトルと代表単語との照合を行う際に用いる閾値と同じ値を用いた方がよい。そうでないと、音響認識インデックスの作成時には代表単語と類似すると判断された単語が、音響認識インデックスによる検索時には代表単語とは非類似となる、あるいはその逆となることも考えられるからである。
以上で、本発明に係る音声認識インデックス作成手段の実施例に関する説明を終える。
以上述べた実施例１〜実施例５について、各手段はハードウエア・ソフトウエアのいずれでも構成できることはいうまでもない。また、ソフトウエアによって構成する場合には、そのソフトウエアプログラムを記録した記録媒体が必要となる。
産業上の利用の可能性
本発明は上記のように構成されているので、ユーザが音声によって位置情報を検索する場合、ユーザが入力した音声と上記の音声認識登録装置によって予め単語・位置情報関連辞書に登録された単語情報とを照合することで、その単語に関連づけられた位置情報を求めるため、標準パターンを予め登録しておかなくても位置情報を検索することが可能となる。
また本発明は上記のように構成されているので、音響単位混同行列に基づいて展開された単語も上記単語・位置情報関連辞書に登録されるため、音声入力手段の認識精度やユーザの発声状況によって本来発生した単語とは異なった単語と認識されうる場合であっても、上記単語・位置情報関連辞書に展開された単語と照合を行うことにより正しい位置情報を検索することができる。
また本発明は上記のように構成されているので、大量の単語との音声認識照合を行う場合に、音響上類似する単語との照合のみを行うため、無駄な照合処理を廃することができる。
また本発明は上記のように構成されているので、大量の単語との音声認識照合を行う場合に、音響上類似する単語との照合のみを行うため、無駄な照合処理を廃することができる。
また本発明は上記のように構成されているので、複数の単語を音響的に類似する単語群に分類することができ、また代表単語も自動的に決定することが可能となる。
また本発明は上記のように構成されているので、任意の複数単語とこれに関連づけられた情報を音声により高速かつメモリの使用効率よく検索することを可能となる。
また本発明は上記のように構成されているので、ユーザが登録した任意の単語に関連づけられた位置情報を、認識精度の劣化をカバーしつつ検索可能とする一方で、外部記憶装置が記憶する単語と位置情報の検索を高速かつ低メモリ使用量にて可能とするものである。
【図面の簡単な説明】
図１は本発明の実施例１を示すカーナビゲーションシステム用音声認識登録装置の構成図、
図２は本発明の実施例１を示すカーナビゲーションシステム用音声認識登録装置に係る処理のフローチャート、
図３は本発明の実施例２を示すカーナビゲーションシステム用音声認識登録装置の構成図、
図４は本発明の実施例２を示すカーナビゲーションシステム用音声認識登録装置に係る処理のフローチャート、
図５は本発明の実施例２における音響単位混同行列の例を示す図、
図６は本発明の実施例２におけるカーナビゲーションシステム用音声認識登録装置において、類似している音節列を作成する処理を示すフローチャート、
図７は本発明の実施例２におけるカーナビゲーションシステム用音声認識登録装置において、音響単位認識結果の音響単位を類似候補によって置換することにより得られる展開単語の例を示す図、
図８は本発明の実施例３におけるカーナビゲーションシステム用音声認識登録装置の構成図、
図９は本発明の実施例３におけるカーナビゲーションシステム用音声認識登録装置に係る処理を示すフローチャート、
図１０は本発明の実施例４における音声認識インデックス検索装置の構成図、
図１１は本発明の実施例４における音声認識登録装置による処理のフローチャート、
図１２は本発明の実施例５における音声認識インデックス作成方法を示す構成図、
図１３は本発明の実施例５における音声認識インデックス作成方法による処理を示すフローチャートである。
【図１】
2003088209.tif 000003
【図２】
2003088209.tif 000004
【図３】
2003088209.tif 000005
【図４】
2003088209.tif 000006
【図５】
2003088209.tif 000007
【図６】
2003088209.tif 000008
【図７】
2003088209.tif 000009
【図８】
2003088209.tif 000010
【図９】
2003088209.tif 000011
【図１０】
2003088209.tif 000012
【図１１】
2003088209.tif 000013
【図１２】
2003088209.tif 000014
【図１３】
2003088209.tif 000015
【国際調査報告】
2003088209.tif 000016
2003088209.tif 000017
2003088209.tif 000018
2003088209.tif 000019