(57)【特許請求の範囲】
【請求項１】
地図を可視出力する表示手段と、
少なくとも前記地図を構成する複数のオブジェクト毎の表示図形情報と話題情報とを含む地図情報を登録する地図データベースと、
操作者により行なわれた操作を介して前記可視出力された地図上のオブジェクトの選択を受け付ける前記表示手段上に設けられたオブジェクト選択受付手段と、
前記選択されたオブジェクト情報に対応する前記話題情報を前記地図データベースから抽出する第１の抽出手段と、
前記抽出された話題情報に応じた音声辞書を利用して、前記操作者から入力される音声情報から前記音声辞書に登録されたキーワードを複数抽出する第２の抽出手段と、
前記抽出されたキーワードから、前記操作者の意図を表すキーワード列を抽出する第３の抽出手段と、
前記地図データベースから前記抽出された話題情報と前記抽出されたキーワード列とに対応する前記地図情報を検索する検索手段と、
を備え、前記表示手段は前記検索された地図情報を表示することを特徴とする音声対話型ナビゲーション装置。
【請求項２】
前記オブジェクト選択受付手段よりオブジェクトの選択を受け付けた後、所定時間の計時を行う計時手段を更に備え、
前記第１の抽出手段は、前記計時手段により前記所定時間が計時される以前に入力された音声情報から前記抽出を行うことを特徴とする請求項１に記載の音声対話型ナビゲーション装置。
【請求項３】
前記第２の抽出手段は、
前記抽出された複数のキーワードを所定の存在確率に応じて並び替えるソート手段と、
前記並び替えられた順に、前記各キーワードの品詞に基づく連続性を判定する判定手段とを備え、
前記判定手段において連続性を有すると判定されたキーワードを、前記キーワード列として出力することを特徴とする請求項１又は２に記載の音声対話型ナビゲーション装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は音声を用いた対話型のナビゲーション装置に関し、特に、音声入力とポインティング装置からの入力とを併用した音声対話型ナビゲーション装置に関する。
【０００２】
【従来の技術】
現在普及しつつあるナビゲーションシステムでは、タッチパネルやリモコンスイッチ等の操作スイッチとメニュー表示を用いて情報検索あるいは機器操作を行なうようになっている。例えば、特開平５−７２９７３号ではタッチパネルを用いている。このため、このような従来のナビゲーションシステムでは、所望の情報を検索するまでの操作が複雑で、運転中の運転者にこのような複雑な操作を強いることは好ましくない。
【０００３】
一方、音声処理技術の進歩と共に、ナビゲーションシステムに音声認識を導入することが提案されている。例えば、特開平５−９９６７９号や特開平３−２１８１７号等。前述のタッチパネルなどは運転者の手動作を必要とするのに対し、音声入力は手動作を不要とし、その点で操作性の向上が期待される。
【０００４】
【発明が解決しようとする課題】
しかしながら、ナビゲーションシステムに適用され得る音声認識技術は孤立単語認識処理技術により行なっているために、例えば、「駐車場！」等と区切って発話する必要があるなど、ユーザの発話は制約されている。また、システムが会話の複雑な構造を理解することは困難であり、そのために、目的の情報を得るためには何段階にも分けて発話する必要があり、煩わしい。さらに、システムの持っている会話認識の手法は必ずしも人間の会話の順序とは異なるために、ユーザはどのような順序で、何を喋ってよいのか分からず、このようなシステムは結局運転者にとって使いにくいものとなっている。
【０００５】
運転者の自然な会話を認識するためには、連続音声認識技術の適用が考えられるが、高度の技術と高性能なハードウエアが必要であり、コストが高く一般用途には現実的でない。
【０００６】
【課題を解決するための手段】
そこで、本発明の目的は、音声入力と操作装置からの入力とを併用し、両入力を互いに補完させ合うことにより、低いコストで高い認識精度を得ることのできる音声対話型ナビゲーション装置を提案する。上記課題を達成するための本発明の構成は、地図を可視出力する表示手段と、少なくとも前記地図を構成する複数のオブジェクト毎の表示図形情報と話題情報とを含む地図情報を登録する地図データベースと、操作者により行なわれた操作を介して前記可視出力された地図上のオブジェクトの選択を受け付ける前記表示手段上に設けられたオブジェクト選択受付手段と、前記選択されたオブジェクト情報に対応する前記話題情報を前記地図データベースから抽出する第１の抽出手段と、前記抽出された話題情報に応じた音声辞書を利用して、前記操作者から入力される音声情報から前記音声辞書に登録されたキーワードを複数抽出する第２の抽出手段と、前記抽出されたキーワードから、前記操作者の意図を表すキーワード列を抽出する第３の抽出手段と、前記地図データベースから前記抽出された話題情報と前記抽出されたキーワード列とに対応する前記地図情報を検索する検索手段と、を備え、前記表示手段は前記検索された地図情報を表示することを特徴とする。
【０００７】
本発明の他の目的は、前記オブジェクト選択受付手段よりオブジェクトの選択を受け付けた後、所定時間の計時を行う計時手段を更に備え、前記第１の抽出手段は、前記計時手段により前記所定時間が計時される以前に入力された音声情報から前記抽出を行うことを特徴とする。
【０００８】
本発明の他の目的は、前記第２の抽出手段は、前記抽出された複数のキーワードを所定の存在確率に応じて並び替えるソート手段と、前記並び替えられた順に、前記各キーワードの品詞に基づく連続性を判定する判定手段とを備え、前記判定手段において連続性を有すると判定されたキーワードを、前記キーワード列として出力することを特徴とする。
【０００９】
【実施例】
以下、本発明の実施例について添付図面を参照しながら詳細に説明する。
図１は実施例の経路誘導装置のシステム構成を示す。このシステムは、ＧＰＳや車速センサからの信号を入力して自車位置を検出すると、その周辺の地図情報を表示し、合わせて音声認識により運転者の意図を判断して、最適な地図情報を表示出力するというものである。このために、図１のシステムは、運転者の音声を入力するためのマイク１と、このマイク１から入力された音声信号を処理して単語を抽出する音声認識処理部３と、地図や推奨経路などを表示する表示装置６と、この表示装置６の表示画面の上に設けられ指などによって目的地を入力するためのタッチパネル７と、大量の地図情報を含む地図データベース５と、ＧＰＳや車速センサからの信号を入力して自車位置を検出すると共に、音声認識処理部３が抽出した単語からキーワードを抽出して、運転者の位置を推論するナビゲーション演算処理部４と、渋滞情報や道路工事情報などの一過性の情報を入力するための交通情報受信装置２と、音声を発して運転者に注意等を喚起する音声出力装置８などを具備する。
【００１０】
地図データベース５には、例えば、交差点や大きな建物、有名な地点に対してノードが設定されており、地図情報としては、ノードの位置、１つのノードにリンクされている他のノードの識別子、ノード間の距離等を含む。図２は、表示装置６上における表示画面の例を示し、この画面に基づく運転者の操作を説明することにより、実施例の原理的な動作を説明する。図２において、１００は自車の現在位置を表し、ナビゲーション演算処理部４がＧＰＳ信号や車速センサ等に基づいて演算したものである。また、１０、１１、１２は自車位置１００の周辺にある３箇所の駐車場を示す。今、運転者は、これら３箇所の駐車場の中で最も安い駐車場を探しているものとする。図３は、図２に示された表示で、運転者（図３において"Ｕ"で示す）と交わす会話である。
【００１１】
先ず、図２のように、３つの駐車場のマーカが表示されている状態で、運転者は駐車場の例えばマーカ１１にタッチしたとする。タッチした位置はタッチパネル装置７を介して処理部４に入力されるであろう。そして運転者はマイク１を介して「ここの値段はいくら？」とシステムに聞く。すると、システムは、駐車場の１１の料金を、例えば「３０分で３００円です」と答える。処理部４は、タッチパネル７を介して入力された運転者のタッチ位置に対応する地図情報が「駐車場」であることは容易に判断することができる。そして、「ここの値段はいくら？」と言う入力会話の中から「値段」というキーワードを抽出する。そして、「駐車場」と言う操作情報と「値段」と言うキーワードとを連結して、処理部４は、運転者が要求しているのはタッチした「駐車場１１の値段である」と推論する。通常の言語認識では、「ここ」という単語を解析し、前後の会話の中から「ここ」は「どこどこの駐車場であろう」と推論する。しかしながらこのような従来の自然言語認識では高度の情報処理を有するためにシステム規模が膨大になる。ところがこの実施例では、タッチ入力された「操作情報」と会話から抽出された「キーワード」とは互いに連関している筈のものであると前提とし「操作情報」と「キーワード」とから演繹される推論を出力するものである。この実施例の操作（マン−マシーン・インタフェース）においては、表示された地図オブジェクトをポインティングするという操作が含まれているために、暗黙のうちにユーザの発話をガイドすることになり、始めてのユーザでも容易に使うことができる。例えば、駐車場アイコンを操作している運転者は、駐車場情報の何らかの属性データを検索しようという意識を暗に持っているため、何を喋ってよいか迷わないからである。換言すれば、処理部４は、このような意識を暗黙の前提とするために、属性データの検索が容易になるのである。
【００１２】
さらに、ポインティング操作と抽出されたキーワードをキーとして認識辞書を動的に切り換えることにより、認識すべき言語の探索範囲を大幅に限定でき、低コストのシステムでも認識率が大幅に向上することができる。
図２，図３の例で、さらに運転者が「一番安い駐車場は？」と発声したとする。すると、処理部４は、「一番」と「安い」と「駐車場」というキーワードを会話から抽出して、運転者が「一番安い駐車場」を探している推論する。もしもマーカ１２の駐車場が一番安いのであれば、マーカ１２がブリンクされる。
【００１３】
さらに、実施例の装置の構成および動作を詳細に説明する。
図４は、音声認識処理部３における処理を示す。マイク１からは連続発話された音声信号が入力される。処理部３は、先ず、この音声信号に対して、音声区間検出の前処理を行ない、次にＬＰＣ−メルケプストラムによる音響特徴分析を行ない、さらに特徴量をベクトル量子化する。抽出されたベクトルは、連続ＤＰマッチングの手法によりテンプレートに登録されているキーワードと照合される。キーワードが抽出されると、タッチパネル操作情報と加味されて意図の理解が行なわれる。この理解は後述するように格構造の分析に基づいてなされる。
【００１４】
図５は、タブレットから入力された操作情報とマイク１から入力された音声情報とに基づいて、運転者の意図が理解され出力されるまでを表すブロック図である。図６は、実施例のナビゲーションシステムの全体制御手順を示すフローチャートである。
図６において、タブレットにおいて運転者が操作するのを待つ。換言すれば、図６の制御手順はタブレット操作があって始めて起動される。タブレット操作があると、ステップＳ４でその操作された位置座標（操作情報）が検出される。ステップＳ６では、地図データベース５から、操作位置に対応するオブジェクトを検索する。
【００１５】
図７は地図データベース５の構造を説明する。地図データベースは、多くのオブジェクトレコードからなる。オブジェクトとは、交差点、駐車場、大きな建物、道路等の地図データである。１つのオブジェクトレコードは、そのオブジェクトに与えられた識別子としての「オブジェクト名」と、そのオブジェクトに与えられた「タッチ領域」（この領域内のアドレスにタッチするとそのオブジェクトが選択されたことを意味する）と、このオブジェクトの表示図形の形状を示す「図形データ」（オブジェクトが駐車場であれば、Ｐの表示図形）と、このオブジェクトに与えられた「話題」（オブジェクトが駐車場であれば、「駐車場」、「駐車料金」、「空き」など）等からなる。これらのデータは、オブジェクト毎に、前もってデータベースに与えられているものである。地図情報には、一時的に外部から交通情報受信機２を介して与えられるもの（以下、「交通情報」と呼ぶ）がある。このような交通情報には、図形として出力すべき情報（例えば、渋滞の程度としての渋滞の長さなど）や、音声として出力すべきもの（駐車場の「料金」や「待ち時間」）がある。この実施例では、これら交通情報には、図形として表示すべき（Ｒとマーク）、音声として出力すべき（Ｓとマーク）の種別のほかに、その交通情報をここのオブジェクトに付属するものとして、受信機から入力する毎に地図データベースに入力してある。
【００１６】
従って、ステップＳ６では、ステップＳ４で入力した座標地と、オブジェクトファイル中の「タッチ領域」とを比較することにより、運転者がどの表示されているオブジェクトにタッチしたかを検出する。ステップＳ８では、検索したオブジェクトに付属している「話題」を抽出する。図２，図３の例では、駐車場のオブジェクトにタッチしたので、そのオブジェクトの話題として、例えば、「駐車場」「料金」「空き」などが抽出されるであろう。図５において、地図データベースから「話題」が抽出されて出力されていることが示されている。
【００１７】
ステップＳ１０ではタイマ（不図示）を起動する。ステップＳ１２では、このタイマがタイムアウト（例えば、５秒）する前に音声入力があったことを確認する。タイマを設けたのは、タブレット操作と音声入力とを関連づけるためである。
音声入力があれば、ステップＳ１４でその音声信号中から「キーワード」を単語毎に抽出する。キーワードの抽出は、テンプレートとの比較によるＤＰマッチングに拠る。図８に、テンプレートの例を示す。テンプレートは、「話題」毎に辞書化され、ベクトル量子化に拠る「コード」と「キーワード」との組み合わせからなる。話題毎に分類したのは、認識対象を限定して探索効率を上げるためである。
【００１８】
ステップＳ１６では、認識されて得たこれらのキーワードを、存在確率の高い順にソートして並べる。図９に、音声信号から抽出されたキーワードが確率順に並べられて示されている。図９の例では、一番高い確率が“一番”に、２番目の確率が“料金”に、３番目の確率が“近い”に、４番目の確率が“最も”に与えられている。尚、これらのキーワードは、音声信号から音声認識処理部３が「そのような単語が発声されたであろう」として認識したものであって、必ずしも発声したものとは限らない。また、存在確率が高い順にならべられたキーワード列は、その順で発声されたとは限らない。
【００１９】
ステップＳ１８では、ステップＳ８で検出された操作情報の「話題」に関連する「意図理解管理テーブル」を検索する。「駐車場」という「話題」に関連する「意図理解管理テーブル」の例を図１０に示す。図１０のテーブル中、Ｓ，Ｃ，Ａ等は「格」を示し、「駐車場」という「話題」に関連する格の例を図１１に示す。
【００２０】
図１１に示した「格−単語テーブル」において、格Ｓは副詞を示し、「一番」や「最も」などがその例である。格Ｃは形容詞を示し、「高い」や「近い」や「安い」などがその例である。格Ａは名詞を示し、「値段」や「距離」などがその例である。格Ｖは動詞を示し、「見せて」や「教えて」などがその例である。
このようにして得た「キーワード列」から、運転者の意図を、「格−単語テーブル」「意図理解管理テーブル」を利用しながら抽出する（ステップＳ２０）。ここで、音声信号から図９のようにえられたキーワード列に基づいて「意図理解管理テーブル」が具体的にどのように利用されるかを説明する。図１０のテーブルの中で、「現在受諾している格構造」と「受諾可能な格」でもって２つの連続するキーワードが形成される。「現在受諾している格構造」が先のキーワードであり、「受諾可能な格」がそれに続く格である。Ｓ列〜Ｖ列中の、×印はそのような組み合わせが存在しない場合を示し、○印はそのような組み合わせが存在する場合を示す。例えば、Ｓ行において、格Ｓに続いて、格Ｓや格Ａや格Ｖが存在することはあり得ないことを示し、格Ｃや格Ｖの存在は許されることを示している。図１１の例では、「一番値段」（ＳＡの組み合わせ）や「一番見せて」（ＳＶの組み合わせ）というキーワード列は存在せず、「一番高い」というキーワード列は存在し得ることを意味する。「出力可」のフラグは、キーワード列が存在しえても、意味出力を行なうには足りないかいなかを示すものである。図１０の例において、ＳＣという列は存在しえても、意味としての出力を行なうことはできないことを示す。また、ＡＶという列（例えば、「値段見せて」）は組み合わせが存在し、「意図」として意味のあるものとして出力可能であるということである。
【００２１】
このようなルールの下で、図９のキーワード列が入力したとする。先ず、最初の最も確率の高い“一番”は格Ｓであるから、図１０のテーブルに従えば、格Ｓに続くことが許される格はＣのみであるので、格Ａである“料金”は刎ねられる。“料金”に続いて確率の高いキーワードは“近い”であり、この格はＣであるので、ＳＣという列は存在を許される。そこで、現在受諾している格構造はＳＣと更新される。このＳＣのキーワード列に続いて受諾可能な格はＶのみであるので、図９の入力列の中で、Ｓ格である“最も”は刎ねられ、次の入力キーワードである“教えて”が検査される。“教えて”の格はＶであり、しかもＳＣＶと言うキーワード列は「出力可」とマークされているので、結局、“一番近い教えて”が意図として出力される。
【００２２】
ステップＳ２２では、ステップＳ２０で出力された「意図」に対応する「出力ルール」を得る。ステップＳ２４では、ステップＳ２０で得られた「意図」に基づいて、同じ「話題」を有するオブジェクトが探索され、探索されたオブジェクトの中から「交通情報」を抽出する。そして、ステップＳ２６では、ステップＳ２２で得た「出力ルール」に基づいてナビゲーション情報を出力する。
【００２３】
以上説明した実施例のナビゲーション装置によれば、
▲１▼：タッチパネルから得られた「操作情報」に従って「話題」（ユーザの関心範囲）を抽出し、この「話題」と、他方、音声入力によって得られたキーワードとを用いて、地図情報を検索するようにしているので、音声認識処理に高度な認識技術を用いなくとも、目的の地図情報を探索することができる。
▲２▼：「話題」（ユーザの関心範囲）に応じたテンプレートファイルから発声されたキーワードを抽出しているので、音声認識処理の効率が上がる。
▲３▼：「話題」に応じた「格−単語テーブル」、「意図理解管理テーブル」を用いているので、意図を推論するときの速度が向上する。
▲４▼：意図理解は、タッチパネル操作があって始めて起動されるようにしているので、無意識のうちの会話によってシステムが誤動作することが防止される。
▲４▼：また、タッチパネル操作から所定時間以内の音声入力のみを受け付けるので、同じく誤動作を防止できる。
【００２４】
本発明はその主旨を逸脱しない範囲で種々変形が可能である。
上記実施例は、主に駐車場を探す場合におけるナビゲーションの例であった。本発明は、例えば、交差点におけるナビゲーションにも適用可能である。
例えば、図１２に示すように、表示装置上に、４方向の交差点が前方にあることを示す表示がなされているとする。運転者が交差点のオブジェクトをタッチすると、システムは、「話題」として「交差点」を認識する。この時点で、「交差点名は？」と音声入力すると、キーワードとして、「交差点」と「名」とが得られ、システムは運転者の意図として、「交差点」という「話題」において、交差点の名前を知りたがっていることを推論する。さらに、「後何メートル？」という入力があれば、この音声信号から「メートル」というキーワードを抽出する。そして、「交差点」という話題と「メートル」というキーワードとから、運転者の意図が、現在地からその交差点までの距離にあると推論する。
【００２５】
図１３の例では、運転者が「品川」というオブジェクトをタッチした場合を示している。この「品川」というオブジェクトには、話題として、「目的地」「経由地」が設定されている。そこで、運転者が「混んでる」と発声すれば、この音声信号の中から、「混ん」をキーワードとして認識する。そして、「目的地」「経由地」という話題と、「混ん」というキーワードとから、システムは品川方向の混雑度を運転者が知りたがっていると推論する。
【００２６】
上記実施例では、操作情報はタッチパネルを介して入力しているが、別途メニュー表示から入力するようにしてもよい。
【００２７】
【発明の効果】
以上説明した本発明の音声対話型ナビゲーション装置は、音声入力と操作装置からの入力とを併用し、両入力を互いに補完させ合うことにより、低いコストで高い認識精度を得ることができる。
【図面の簡単な説明】
【図１】実施例のナビゲーションシステムのブロック図。
【図２】実施例の動作を駐車場を例にして示すときの表示画面の一例を示す図。
【図３】図２の画面に対応した対話の一例を示す図。
【図４】実施例のシステムにおける音声認識所の手順を説明するブロック図。
【図５】実施例における、意図解析の手順を説明する図。
【図６】実施例の制御手順を示すフローチャート。
【図７】実施例に用いられている地図データベースの構造を説明する図。
【図８】実施例に用いられている音声辞書の構成を示す図。
【図９】認識されたキーワード列の例を示す図。
【図１０】意図理解管理テーブルの一例を示す図。
【図１１】格−単語テーブルの一例を示す図。
【図１２】交差点におけるナビゲーションでの表示例を示す図。
【図１３】交差点におけるナビゲーションでの表示例を示す図。
【図１】
0003582069.tif 000002
【図２】
0003582069.tif 000003
【図３】
0003582069.tif 000004
【図４】
0003582069.tif 000005
【図５】
0003582069.tif 000006
【図６】
0003582069.tif 000007
【図７】
0003582069.tif 000008
【図８】
0003582069.tif 000009
【図９】
0003582069.tif 000010
【図１０】
0003582069.tif 000011
【図１１】
0003582069.tif 000012
【図１２】
0003582069.tif 000013
【図１３】
0003582069.tif 000014