(57)【要約】【課題】音声の誤認識とタッチパネルの誤操作とに起因する誤入力を低減することができる音声入力装置を提供する。【解決手段】音声入力装置における信号処理装置１４は、音声入力とタッチパネルディスプレイ５による操作入力とを双方行った場合に、音声を音声認識した音声認識候補と、タッチパネルディスプレイ５による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定する。【選択図】図３
2007127895.tif 000002
【特許請求の範囲】
【請求項１】
発話音声を入力する音声入力手段と、
前記音声入力手段によって入力された発話音声を音声認識し、音声認識結果に応じたシステム応答を生成する音声認識手段と、
前記音声認識手段によって生成された前記システム応答を出力する出力手段と、
表示画面の接触操作によって情報の入力を行うことが可能とされるタッチパネル式の表示手段と、
前記表示手段を用いて入力された情報を認識し、認識結果に応じたシステム応答を生成する入力情報認識手段と、
前記音声入力手段による音声入力と前記表示手段による操作入力とを双方行った場合に、前記音声入力手段による音声入力を前記音声認識手段によって音声認識した音声認識候補と、前記表示手段による操作入力を前記入力情報認識手段によって認識した入力候補との共通性が高い候補を入力候補として決定する処理手段とを備えること
を特徴とする音声入力装置。
【請求項２】
前記表示手段は、複数の選択肢としての複数のメニュー項目スイッチを表示するものであり、
前記音声認識手段は、前記表示手段に表示された複数のメニュー項目スイッチのうち、任意に選択されたメニュー項目スイッチに対応する語彙を前記音声入力手段によって音声入力した発話音声と、当該選択されたメニュー項目スイッチに対応する認識対象語との一致度を示すスコアを求め、
前記入力情報認識手段は、前記表示手段に表示された複数のメニュー項目スイッチのうち、任意のメニュー項目スイッチの接触による選択操作時における当該表示手段上での操作位置に応じて、各メニュー項目スイッチが操作されたか否かの確からしさを示すスコアを求め、
前記処理手段は、前記音声認識手段によって求められたスコアと、前記入力情報認識手段によって求められたスコアとに基づいて、前記音声認識手段によって音声認識した音声認識候補と、前記入力情報認識手段によって認識した入力候補との共通性が高い候補を入力候補として決定すること
を特徴とする請求項１記載の音声入力装置。
【請求項３】
前記表示手段は、各文字に対応した複数の文字スイッチを所定順序で配列して表示するものであり、
前記音声認識手段は、前記表示手段に表示された複数の文字スイッチのうち、任意に選択された文字スイッチに対応する文字を前記音声入力手段によって音声入力した発話音声と、当該選択された文字スイッチに対応する認識対象語との一致度を示すスコアを求め、
前記入力情報認識手段は、前記表示手段に表示された複数の文字スイッチのうち、任意の文字スイッチの接触による選択操作時における当該表示手段上での操作位置に応じて、各文字スイッチが操作されたか否かの確からしさを示すスコアを求め、
前記処理手段は、前記音声認識手段によって求められたスコアと、前記入力情報認識手段によって求められたスコアとに基づいて、前記音声認識手段によって音声認識した音声認識候補と、前記入力情報認識手段によって認識した入力候補との共通性が高い候補を入力候補として決定すること
を特徴とする請求項１記載の音声入力装置。
【請求項４】
前記表示手段は、任意の文字を手書き入力可能とされるものであり、
前記音声認識手段は、前記音声入力手段によって音声入力した発話音声と、認識対象語との一致度を示すスコアを求め、
前記入力情報認識手段は、前記表示手段に手書き入力された文字の確からしさを示すスコアを求め、
前記処理手段は、前記音声認識手段によって求められたスコアと、前記入力情報認識手段によって求められたスコアとに基づいて、前記音声認識手段によって音声認識した音声認識候補と、前記入力情報認識手段によって認識した入力候補との共通性が高い候補を入力候補として決定すること
を特徴とする請求項１記載の音声入力装置。
【請求項５】
入力された発話音声を音声認識し、音声認識結果に応じたシステム応答を生成する音声認識工程と、
前記音声認識工程にて生成された前記システム応答を出力する出力工程と、
表示画面の接触操作によって情報の入力を行うことが可能とされるタッチパネル式の表示手段を用いて入力された情報を認識し、認識結果に応じたシステム応答を生成する入力情報認識工程と、
前記音声入力工程における音声入力と前記表示手段による操作入力とを双方行った場合に、前記音声入力工程にて入力された音声を前記音声認識工程にて音声認識した音声認識候補と、前記表示手段による操作入力を前記入力情報認識工程にて認識した入力候補との共通性が高い候補を入力候補として決定する処理工程とを備えること
を特徴とする音声入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を入力する音声入力装置及び音声入力方法に関する。
【背景技術】
【０００２】
従来から、入力された音声を認識することにより、その音声に基づく所定の処理を行うことが可能な音声入力装置が提案されている。また、入力手段として、音声入力手段の他にタッチパネル等も併有し、音声入力が困難な場合にタッチパネルによる入力に切り替えることにより、同一の選択肢を音声とタッチパネルという異なる手段を用いて入力可能とする音声入力装置も提案されている（例えば、特許文献１等参照。）。
【特許文献１】特開平７−２６５４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の音声入力装置においては、音声入力が困難な場合であってタッチパネルによる入力に切り替えた場合であっても、タッチパネル入力時に操作位置がずれてしまうと、誤入力が生じてしまうという問題があった。特に、従来の音声入力装置においては、一般に、音声入力によって入力可能な項目数が多く、同様の選択肢をタッチパネルに表示した場合には、各項目の間隔が非常に狭くなることから、操作位置のずれを誘引し、誤入力の発生を招来しやすいという問題があった。
【０００４】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、音声の誤認識とタッチパネルの誤操作とに起因する誤入力を低減することができる音声入力装置及び音声入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明にかかる音声入力装置は、音声入力手段による音声入力とタッチパネル式の表示手段による操作入力とを双方行った場合に、音声入力手段による音声入力を音声認識した音声認識候補と、表示手段による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定することにより、上述の課題を解決する。
【０００６】
また、本発明にかかる音声入力方法は、音声入力工程における音声入力とタッチパネル式の表示手段による操作入力とを双方行った場合に、音声入力工程にて入力された音声を音声認識した音声認識候補と、表示手段による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定することにより、上述の課題を解決する。
【発明の効果】
【０００７】
本発明にかかる音声入力装置及び音声入力方法においては、入力された音声を音声認識した音声認識候補と、タッチパネル式の表示手段による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定することから、音声の誤認識と表示手段を用いた誤操作とに起因する誤入力を低減することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
この実施の形態として示す音声入力装置は、車両や、携帯端末装置などに搭載されるナビゲーション装置に適用した場合の構成である。この音声入力装置をナビゲーション装置に適用すると、ナビゲーション装置で要求される各種機能を、ユーザとシステムとのインタラクティブな対話によって動作させることができる。
【００１０】
なお、本発明は、これに限定されるものではなく、各種情報処理装置に搭載されて、各種機能をインタラクティブに段階的に動作させることができる、どのようなアプリケーションにも適用することができる。
【００１１】
［第１の実施の形態］
［音声入力装置の構成］
まず、図１を用いて、本発明の第１の実施の形態として示す音声入力装置の構成について説明をする。
【００１２】
音声入力装置は、信号処理ユニット１と、マイク２と、スピーカ３と、入力装置４と、タッチパネルディスプレイ５とを備えている。なお、本発明にかかわる主要構成要素ではないことから、図示しないが、携帯端末装置のナビゲーション装置であれば、他に送受信手段を備えた構成であってもよく、また、車両に搭載されたナビゲーション装置であれば、送受信手段または通信接続手段などを備えた構成であってもよい。
【００１３】
信号処理ユニット１は、マイク２から入力されるユーザによって発話された音声をデジタル音声信号に変換して出力するＡ／Ｄコンバータ１１と、システム応答として信号処理装置１４から出力されるデジタル音声信号をアナログ音声信号に変換して出力するＤ／Ａコンバータ１２と、Ｄ／Ａコンバータ１２から出力されるアナログ音声信号を増幅する出力アンプ１３と、信号処理装置１４と、外部記憶装置１５とを備えている。
【００１４】
信号処理装置１４は、ＣＰＵ（Central Processing Unit）２１と、メモリ２２とを備えており、マイク２から、Ａ／Ｄコンバータ１１を介して入力されるユーザによって発話された音声の音声認識処理を実行し、音声認識結果に応じたシステム応答を生成して出力する。また、信号処理装置１４は、バージイン機能を備えており、当該信号処理装置１４によるシステム応答に割り込むように入力されたユーザの発話音声に対しても音声認識処理を実行することができる。さらに、信号処理装置１４は、タッチパネルディスプレイ５を用いて入力された情報を認識し、認識結果に応じたシステム応答を生成して出力する。
【００１５】
ＣＰＵ２１は、信号処理装置１４を統括的に制御する制御手段である。ＣＰＵ２１は、メモリ２２に記憶されている処理プログラムを読み出して実行し、音声認識処理を制御したり、バージイン機能の制御を行ったりする。
【００１６】
通常、バージイン機能は、有効となっておらず機能していない。バージイン機能は、システム応答に対して、ユーザによる割り込み発話がなされると予測された場合にのみ有効となり、割り込み発話に対する音声認識処理が実行される。
【００１７】
メモリ２２は、ＣＰＵ２１で実行される処理プログラムや、使用頻度の高い各種データなどをあらかじめ記憶している。また、メモリ２２は、ＣＰＵ２１によって音声認識処理が実行される場合には、外部記憶装置１５から読み出された認識対象語及びその音響モデルが格納されることにより、認識対象語の辞書が構築される。
【００１８】
信号処理装置１４のＣＰＵ２１は、このメモリ２２に構築された辞書を参照して、ユーザによって発話された発話音声の音声特徴パターンと、認識対象語の音響モデルの音声パターンとの一致度を演算することで音声認識処理を行う。
【００１９】
外部記憶装置１５は、ナビゲーション装置で使用される各種データや、信号処理装置１４で実行される音声認識処理で使用される認識対象データや、システム応答用の音声データなどが記憶されている。外部記憶装置１５は、認識対象データとして、音声認識処理で音声認識の対象となる認識対象語や、認識対象語の音響モデル、さらに、認識対象語とその接続関係を規定したネットワーク文法などの言語モデルを記憶している。認識対象語の音響モデルは、音響的に意味を持つ部分単語モデルを定義したものである。
【００２０】
認識対象語の音響モデルは、音響的に意味を持つ部分単語モデルを定義したものであり、一般的な発話速度で発話される際の通常発話と、通常発話を一旦行った際に誤認識されたと判断した後に、ユーザによって発話される訂正発話（言い直し発話）とのそれぞれ対応した音響モデルが用意されている。
【００２１】
また、ネットワーク文法とは、認識対象語の接続関係を規定するためのルールであり、例えば、図２に示すような階層構造で表すことができる。図２に示す例では、認識対象語である“駅名”を下位の階層Ｂとし、この下位の階層Ｂに接続される上位の階層Ａとして“都道府県名”を規定している。
【００２２】
信号処理装置１４は、図２に示すように認識対象語に対して規定された階層構造をなすネットワーク文法を用いることで、ユーザによって、例えば、「神奈川県の鶴見駅」といったような発話がなされた場合でも、音声認識をすることができる。
【００２３】
また、“都道府県名”と、“駅名”とを、それぞれ個別に有するネットワーク文法を切り替えて用いれば、「神奈川県」で発話が一旦完了され、その後「鶴見駅」と発話された場合でも音声認識をすることができる。
【００２４】
マイク２は、ユーザの発話音声を、当該音声入力装置に入力する。マイク２から入力されたユーザの発話音声は、電気信号である音声信号に変換され、Ａ／Ｄコンバータ１１でデジタル音声信号に変換されて信号処理装置１４に供給される。
【００２５】
スピーカ３は、システムの発話として、信号処理装置１４から出力され、Ｄ／Ａコンバータ１２でアナログ音声信号に変換され、出力アンプ１３で信号増幅されたアナログ音声信号を音声として出力する。
【００２６】
入力装置４は、ユーザによって押下される発話スイッチ４ａ及び訂正スイッチ４ｂを備えている。発話スイッチ４ａは、音声認識の開始指示を行うためのスイッチである。一方、訂正スイッチ４ｂは、ユーザによって発話された音声が、システムにおいて誤認識された場合に、訂正を行うためのスイッチである。なお、この訂正スイッチ４ｂを一定期間押し続けると、音声認識処理を途中で終了させることができる。
【００２７】
タッチパネルディスプレイ５は、例えばＬＣＤ（液晶表示装置）などで実現され、ナビゲーションの行き先や、探索条件設定時のガイダンス表示を行ったり、経路誘導などの画面を表示したり、信号処理装置１４による音声認識処理結果である応答画像を表示させたりする。また、タッチパネルディスプレイ５は、ユーザが表示画面を接触操作することにより、表示された項目の選択操作や文字の手書き入力など、各種情報の入力を行うことが可能とされ、入力内容に応じた信号を信号処理装置１４に供給する。
【００２８】
［音声入力装置の動作］
このような構成からなる音声入力装置は、図３に示す一連の手順にしたがった処理動作を行う。なお、同図においては、ナビゲーション装置の所定の機能を動作させる場合に、ユーザが、要求される設定事項を音声入力装置を介して入力し、ナビゲーション装置を動作させるまでの一連の処理工程を示している。
【００２９】
まず、音声入力装置における信号処理装置１４は、ステップＳ１において、ユーザによる発話スイッチ４ａの操作によって発話開始が指示されたことに応じて、発話された音声に対する音声認識処理を開始する。
【００３０】
続いて、信号処理装置１４は、ステップＳ２において、認識対象語として待ち受ける文法（言語モデル）を読み出し、メモリ２２に設定する。すなわち、信号処理装置１４は、認識対象データとして外部記憶装置１５に記憶されている音声認識処理で音声認識の対象となる認識対象語や、認識対象語の音響モデル、さらには、認識対象語とその接続関係を規定したネットワーク文法などの言語モデルを読み出し、メモリ２２に設定する。ここで、認識対象語は、例えば図４に示すように、複数階層構造からなる。そして、信号処理装置１４は、例えば図５に示すように、行き先設定を行うための「行き先」、経路の探索条件を設定するための「探索条件」、所望の施設の情報を表示するための「施設表示」、所望の電話番号を入力して発呼するための「電話番号」、操作マニュアルなどを表示するための「ヘルプ」といった、車両用のナビゲーション装置及び車両用の電子機器に対する指示からなる複数の認識対象語を音声によって択一的に入力させるための各種メニュー項目スイッチをタッチパネルディスプレイ５に表示させる。なお、タッチパネルディスプレイ５に表示されるメニュー項目スイッチに対応する認識対象語は、図４に示した複数階層構造のうち、最上位階層に規定されているものである。
【００３１】
ユーザは、このようなタッチパネルディスプレイ５に表示されたメニュー項目スイッチを視認することにより、どのような認識対象語を発話すればよいかを把握することができる。なお、図５においては、５つの認識対象語がメニュー項目スイッチとして表示されている様子を示しているが、これらは代表例であり、信号処理装置１４は、これら以外のメニュー項目スイッチを選択肢としてタッチパネルディスプレイ５に表示させてもよい。また、同図中５ａは、音声認識結果を表示する認識結果表示領域である。信号処理装置１４は、どの語彙が認識されたかをユーザに報知するために、認識結果表示領域５ａに音声認識候補の１位となった語彙を表示させる。これにより、ユーザは、表示されている語彙以外の語彙が音声認識結果となった場合などには、後述するように訂正を行うことが可能となる。
【００３２】
信号処理装置１４は、このようにして認識対象語として待ち受ける文法をメモリ２２に設定すると、図３中ステップＳ３において、外部記憶装置１５に記憶された告知音声データを読み出して、Ｄ／Ａコンバータ１２、出力アンプ１３、スピーカ３を介して出力させることで、処理を開始した旨をユーザに告知し、発話要求を行う。
【００３３】
すなわち、ユーザは、スピーカ３を介して出力される、信号処理装置１４による処理が開始された旨を知らせる告知音声を聞いたことに応じて、認識対象データに含まれる認識対象語の発話を開始する。ユーザによって発話され、マイク２を介して入力された音声は、Ａ／Ｄコンバータ１１でデジタル音声信号に変化されて、信号処理装置１４に出力される。
【００３４】
そして、信号処理装置１４は、ユーザによって発話された音声の取り込みを開始する。
【００３５】
通常、信号処理装置１４は、発話スイッチ４ａの操作がなされるまでは、Ｄ／Ａコンバータ１２の出力（デジタル音声信号）の平均パワーを演算している。信号処理装置１４は、上述したステップＳ１において、発話スイッチ４ａの操作がなされると、演算された平均パワーと、入力されたデジタル音声信号の瞬間パワーとを比較する。そして、信号処理装置１４は、入力されたデジタル音声信号が、演算された平均パワーよりも所定値以上大きくなった場合に、ユーザが発話をした音声区間であると判断して、音声の取り込みを開始する。その後も、信号処理装置１４は、平均パワーの演算を継続して実行し、平均パワーが所定値よりも小さくなった場合に、ユーザの発話が終了したと判断をする。
【００３６】
続いて、信号処理装置１４は、ステップＳ４において、取り込まれた発話音声と、外部記憶装置１５からメモリ２２に読み込まれた認識対象語との一致度演算を開始する。一致度は、音声区間部分のデジタル音声信号と、個々の認識対象語がどの程度似ているのかをスコアとして示したものである。例えば、信号処理装置１４は、スコアの値が大きい認識対象語ほど一致度が高いと評価する。なお、信号処理装置１４は、この一致度演算を実行している間も、並列処理により音声取り込みを継続して実行する。
【００３７】
そして、信号処理装置１４は、ステップＳ５において、デジタル音声信号の瞬間パワーが所定時間以上、所定値以下となったことに応じて、ユーザの発話が終了したと判断し、音声取り込みを終了する。
【００３８】
信号処理装置１４は、音声取り込みを終了すると、ステップＳ６において、ステップＳ４における一致度演算が終了するまで待機し、一致度が大きい順序で複数の音声認識候補を求め、システム応答として出力する。ここで、最も一致度が大きい音声認識候補が「行き先」であったとすると、信号処理装置１４は、システム応答として「行き先」を出力する。具体的には、信号処理装置１４は、図示しない音声合成処理機能を用いて音声認識結果である「行き先」を音声信号に変換する。この音声信号は、Ｄ／Ａコンバータ１２でアナログ音声信号に変換され、出力アンプ１３で信号増幅された上で、スピーカ３を介して音声として出力される。
【００３９】
続いて、信号処理装置１４は、ステップＳ７において、ユーザによるタッチパネルディスプレイ５の操作があるか否かを所定時間待ち受ける。すなわち、音声入力装置においては、ユーザによる発話音声「行き先」に対して誤認識が発生した場合には、タッチパネルディスプレイ５による操作入力を行うことによって誤認識を訂正することができる。ここで、信号処理装置１４は、タッチパネルディスプレイ５の操作がなかった場合には、音声認識結果をユーザが認容したと判断し、ステップＳ１０へと処理を移行する一方で、タッチパネルディスプレイ５の操作があった場合には、音声認識結果をユーザが否定したと判断し、ステップＳ８へと処理を移行する。なお、ここでは、タッチパネルディスプレイ５の操作がなく、ステップＳ１０へと処理を移行したものとする。
【００４０】
信号処理装置１４は、ステップＳ１０へと処理を移行すると、ユーザによる訂正スイッチ４ｂの押下があるか否かを所定時間待ち受ける。すなわち、音声入力装置においては、ユーザによる発話音声「行き先」に対して誤認識が発生した場合に対する訂正手段として、タッチパネルディスプレイ５による操作入力の他に、再度の音声入力を設けており、訂正スイッチ４ｂの押下に応じて、音声認識処理以前の状態に戻ることができる。ここで、信号処理装置１４は、訂正スイッチ４ｂの押下がなかった場合には、音声認識結果をユーザが認容したと判断し、ステップＳ１１へと処理を移行する一方で、訂正スイッチ４ｂの押下があった場合には、音声認識結果をユーザが否定したと判断し、ステップＳ３からの処理をやり直す。なお、ここでは、ユーザによる発話音声「行き先」に対して、システム応答が「行き先」となり、ステップＳ１１へと処理を移行したものとする。
【００４１】
信号処理装置１４は、ステップＳ１１へと処理を移行すると、出力された認識対象語よりも下位階層の語彙があるか否かを判定する。ここで、信号処理装置１４は、下位階層の語彙があった場合には、ステップＳ２へと処理を戻し、下位階層に応じた待ち受け処理、すなわち、メモリ２２への代表語彙の提示と認識対象語の設定を行う。一方、信号処理装置１４は、下位階層の語彙がない場合には、ステップＳ１２において、音声認識結果を決定し、その音声認識結果に応じた処理を行う。なお、ここでは、先に図４に示したように、前回の発話音声「行き先」に対しては下位階層が存在するため、信号処理装置１４は、ステップＳ２へと処理を移行することになる。
【００４２】
信号処理装置１４は、このような発話をともなうステップＳ２ないしステップＳ１１の処理を繰り返し行い、下位の階層まで処理を進める。また、信号処理装置１４は、このような処理の過程で、タッチパネルディスプレイ５に表示させる画面を遷移させる。この具体例として、図４に示した階層構造にしたがって発話を行った場合における画面遷移の具体例について図６に示す。
【００４３】
まず、信号処理装置１４は、図６中Ａに示すように、外部記憶装置１５に記憶された「コマンドをどうぞ」といった内容からなるシステムメッセージの音声データを読み出して、Ｄ／Ａコンバータ１２、出力アンプ１３、スピーカ３を介して出力させることで、ユーザに所望のメニュー項目スイッチに対応する発話要求を行うとともに、先に図５に示した内容と同様の第１階層に対応する画面をタッチパネルディスプレイ５に表示させる。
【００４４】
信号処理装置１４は、この画面に表示されたメニュー項目スイッチのうち、ユーザが「行き先」を発話するのに応じて、図６中Ｂに示すように、認識結果表示領域５ａに音声認識候補の１位となった「行き先」という語彙を表示させる。そして、信号処理装置１４は、所定時間後に、同図中Ｃに示すように、外部記憶装置１５に記憶された「行き先のコマンドをどうぞ」といった内容からなるシステムメッセージの音声データを読み出して、Ｄ／Ａコンバータ１２、出力アンプ１３、スピーカ３を介して出力させることで、ユーザに所望のメニュー項目スイッチに対応する発話要求を行うとともに、第２階層に対応する画面へとタッチパネルディスプレイ５の表示内容を遷移させる。ここでは、第２階層に対応するメニュー項目スイッチとして、「住所」、「施設」、「登録地」、「履歴」、「電話番号」といった、「行き先」を設定するために設けられた方法に対応する複数の認識対象語を表示している様子を示している。
【００４５】
信号処理装置１４は、この画面に表示されたメニュー項目スイッチのうち、ユーザが「施設」を発話するのに応じて、図６中Ｄに示すように、認識結果表示領域５ａに音声認識候補の１位となった「施設」という語彙を表示させる。そして、信号処理装置１４は、所定時間後に、同図中Ｅに示すように、外部記憶装置１５に記憶された「施設のジャンルをどうぞ」といった内容からなるシステムメッセージの音声データを読み出して、Ｄ／Ａコンバータ１２、出力アンプ１３、スピーカ３を介して出力させることで、ユーザに所望のメニュー項目スイッチに対応する発話要求を行うとともに、第３階層に対応する画面へとタッチパネルディスプレイ５の表示内容を遷移させる。ここでは、第３階層に対応するメニュー項目スイッチとして、「駅」、「遊園地」、「スキー場」、「空港」、「ホテル」といった、「施設」のジャンルに対応する複数の認識対象語を表示している様子を示している。
【００４６】
信号処理装置１４は、この画面に表示されたメニュー項目スイッチのうち、ユーザが「スキー場」を発話するのに応じて、図６中Ｆに示すように、認識結果表示領域５ａに音声認識候補の１位となった語彙を表示させる。なお、ここでは、ユーザが施設のジャンルとして「スキー場」と発話したにもかかわらず、これを第３階層に規定されている施設のジャンル名称と照合した結果「駅」であるものと誤認識し、認識結果表示領域５ａに音声認識候補の１位となった「駅」という語彙を誤表示している様子を示しており、図３中ステップＳ７に対応する処理を示している。信号処理装置１４は、所定時間後に、同図中Ｇに示すように、外部記憶装置１５に記憶された「駅名をどうぞ」といった内容からなるシステムメッセージの音声データを読み出して、Ｄ／Ａコンバータ１２、出力アンプ１３、スピーカ３を介して出力させることで、ユーザに所望の駅名の発話要求を行う。また、信号処理装置１４は、施設のジャンルが最下位階層の語彙であることから、認識結果表示領域５ａのみが設けられた画面へとタッチパネルディスプレイ５の表示内容を遷移させる。
【００４７】
ここで、かかる誤認識が発生したときの音声認識結果の具体例について図７に示す。ここでは、３つの音声認識候補が得られた場合を示しており、第１位は、スコアが０．０８５となった「駅」であり、第２位は、スコアが０．０８０となった「スキー場」であり、第３位は、スコアが０．０３３となった「名所」である。したがって、信号処理装置１４は、ユーザが施設のジャンルとして「スキー場」と発話したにもかかわらず、認識結果表示領域５ａに音声認識候補の１位となった「駅」という語彙を誤表示してしまうことになる。
【００４８】
このような状況において、例えば図８に示すように、ユーザがタッチパネルディスプレイ５を用いて他のメニュー項目スイッチ、すなわち、正しいメニュー項目スイッチである「スキー場」を選択することによって訂正を試みた場合には、信号処理装置１４は、図３中ステップＳ７からステップＳ８へと処理を移行する。なお、図８は、図６中Ｆに示した内容と同様の画面である。ここで、ユーザは、「スキー場」に訂正するために、そのメニュー項目スイッチを接触することによって選択操作しようとしたが、操作位置がずれてしまい、「温泉」というメニュー項目スイッチを誤選択してしまったとする。
【００４９】
信号処理装置１４は、このような誤選択操作が発生した場合には、ユーザの意図とは異なる「温泉」というメニュー項目スイッチに誤訂正してしまう可能性がある。しかしながら、信号処理装置１４は、この直後に、図３中ステップＳ８及びステップＳ９の処理を行うことにより、誤訂正の発生を低減することができる。
【００５０】
すなわち、信号処理装置１４は、ステップＳ８において、ユーザによるタッチパネルディスプレイ５上の操作位置に基づいて、入力候補を求めて出力する。具体的には、信号処理装置１４は、例えば図９に示すように、現実に選択操作された同図中Ａで示す位置を最大値として、その操作位置Ａから離れるほど値が小さくなるように、操作されたか否かの確からしさを算出する。なお、同図においては、全てのメニュー項目スイッチが選択された可能性を考慮して、全てのメニュー項目スイッチを入力候補として求めたが、その確からしさとして、操作位置Ａを最大値１．０とし、その操作位置Ａから離れるほど値が小さくなるように算出した場合を示している。
【００５１】
そして、信号処理装置１４は、図３中ステップＳ９において、先に図７に示した音声認識候補と、図８及び図９に示した入力候補とに基づいて、スコアを再度算出する。具体的には、信号処理装置１４は、図７に示した３つの音声認識候補のうち、第１位の「駅」については、そのスコアが０．０８５であったが、図８及び図９に示す確からしさが０．７であることから、そのスコアを０．０８５×０．７＝０．０６０として再計算する。また、信号処理装置１４は、図７に示した３つの音声認識候補のうち、第２位の「スキー場」については、そのスコアが０．０８０であったが、図８及び図９に示す確からしさが０．９であることから、そのスコアを０．０８０×０．９＝０．０７２として再計算する。同様に、信号処理装置１４は、図７に示した３つの音声認識候補のうち、第３位の「名所」については、そのスコアが０．０３３であったが、図８及び図９に示す確からしさが０．７であることから、そのスコアを０．０３３×０．７＝０．０２３として再計算する。
【００５２】
信号処理装置１４は、このようなスコアの再計算を行うことにより、最もスコアが高い「スキー場」を選択操作された入力候補として決定する。
【００５３】
そして、信号処理装置１４は、ステップＳ１０において、ユーザによる訂正スイッチ４ｂの押下がなかった場合には、ステップＳ１１において、施設のジャンルが最下位階層の語彙であることから、ステップＳ１２へと処理を移行し、音声認識結果を決定し、その音声認識結果に応じた処理を行う。例えば、ナビゲーション装置に適用された音声入力装置においては、入力候補として決定された「スキー場」を「行き先」として設定する処理を行い、一連の処理を終了する。
【００５４】
音声入力装置は、このような一連の手順にしたがった処理動作を行い、音声入力された結果及びタッチパネルディスプレイ５による入力結果の双方を有効に評価することにより、双方に誤り要因があった場合であっても適切な入力を行い、ナビゲーション装置の所定の機能を動作させることができる。
【００５５】
［第１の実施の形態の効果］
以上詳細に説明したように、第１の実施の形態として示した音声入力装置においては、音声入力とタッチパネルディスプレイ５による操作入力とを双方行った場合に、信号処理装置１４により、音声入力を音声認識した音声認識候補と、タッチパネルディスプレイ５による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定する。
【００５６】
これにより、この音声入力装置においては、音声の誤認識とタッチパネルディスプレイ５を用いた誤操作とが双方発生した場合であっても、これらに起因する誤入力を低減することができる。
【００５７】
また、音声入力装置においては、タッチパネルディスプレイ５に複数の選択肢としての複数のメニュー項目スイッチを表示した場合には、信号処理装置１４により、当該タッチパネルディスプレイ５に表示された複数のメニュー項目スイッチのうち、任意に選択されたメニュー項目スイッチに対応する語彙を音声入力した発話音声と、当該選択されたメニュー項目スイッチに対応する認識対象語との一致度を示すスコアを求めるとともに、任意のメニュー項目スイッチの接触による選択操作時における当該タッチパネルディスプレイ５上での操作位置に応じて、各メニュー項目スイッチが操作されたか否かの確からしさを示すスコアを求める。そして、音声入力装置においては、信号処理装置１４により、音声認識して求められたスコアと、各メニュー項目スイッチが操作されたか否かの確からしさを示すスコアとに基づいて、音声認識した音声認識候補と、タッチパネルディスプレイ５による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定する。
【００５８】
これにより、音声入力装置においては、騒音などによる音声の誤認識と、表示された各項目の間隔が狭いなどの理由によって発生したタッチパネルディスプレイ５の誤操作とが双方発生した場合であっても、正しい入力結果を得ることができる可能性を高くすることができる。
【００５９】
［第２の実施の形態］
つぎに、本発明の第２の実施の形態として示す音声入力装置について説明をする。
【００６０】
この第２の実施の形態として示す音声入力装置は、図１を用いて説明した第１の実施の形態として示す音声入力装置と同一の構成である。したがって、第２の実施の形態として示す音声入力装置の構成については、同一符号を付すことによってその説明を省略する。
【００６１】
また、この第２の実施の形態として示す音声入力装置は、上述した第１の実施の形態として示した音声入力装置と同様に、音声の誤認識とタッチパネルディスプレイ５の誤操作とが双方発生した場合であっても、誤入力を低減することができるものであり、その処理動作は、第１の実施の形態として示した音声入力装置の処理動作として図３に示したフローチャートのうち、ステップＳ７ないしステップＳ９の処理内容が異なるだけである。したがって、以下では、第２の実施の形態として示す音声入力装置の処理動作として図３に示したフローチャートを用い、そのうち、変更があったステップＳ７ないしステップＳ９の処理内容についてのみ説明するものとする。
【００６２】
［音声入力装置の動作］
まず、先に図６中Ｇに示したように、外部記憶装置１５に記憶された「駅名をどうぞ」といった内容からなるシステムメッセージの音声データに基づいて、ユーザが駅名として「よこはま」と発話した場合に、図１０に示すようなスコアからなる音声認識候補が得られた場合を考える。ここでは、３つの音声認識候補が得られた場合を示しており、第１位は、スコアが０．０６９となった「まいはま」であり、第２位は、スコアが０．０５６となった「よこはま」であり、第３位は、スコアが０．０２５となった「よこすか」である。
【００６３】
この場合、ユーザが駅名として「よこはま」と発話したにもかかわらず、「まいはま」と誤認識されたことを受けて、図３中ステップＳ７において、タッチパネルディスプレイ５を用いて正しい駅名である「よこはま」を入力することによって訂正を試みる。具体的には、信号処理装置１４は、例えば図１１に示すように、認識結果表示領域５ａに音声認識候補の１位となった「まいはま」という語彙を誤表示した状態で、全ての平仮名文字に対応した文字スイッチを５０音順に配列してタッチパネルディスプレイ５に表示させ、ユーザに他の語彙を入力させる。ここで、ユーザは、「よこはま」に訂正するために、「よ」、「こ」、「は」、「ま」という４つの文字スイッチを選択操作しようとしたが、操作位置がずれてしまい、図１２に示すように、「よ」、「そ」、「な」、「は」という文字スイッチを誤選択してしまったとする。
【００６４】
信号処理装置１４は、このような誤選択操作が発生した場合には、ユーザの意図とは異なる駅又は存在しない駅に誤訂正してしまう可能性がある。しかしながら、信号処理装置１４は、この直後に、図３中ステップＳ８及びステップＳ９の処理を行うことにより、誤訂正の発生を低減することができる。
【００６５】
すなわち、信号処理装置１４は、ステップＳ８において、ユーザによるタッチパネルディスプレイ５上の操作位置に基づいて、入力候補を求めて出力する。具体的には、信号処理装置１４は、例えば図１３に示すように、現実に選択操作された「よ」、「そ」、「な」、「は」という４つの文字スイッチの位置を最大値として、その位置から離れるほど値が小さくなるように、操作されたか否かの確からしさを算出する。なお、同図においては、全ての文字スイッチが選択された可能性を考慮して、選択操作毎に、全ての文字スイッチを入力候補として求めたが、その確からしさとして、「よ」、「そ」、「な」、「は」という４つの文字スイッチの位置を最大値１．０とし、その位置から離れるほど値が小さくなるように算出した場合を示している。信号処理装置１４は、各文字を結び付ける系列を入力候補とする。
【００６６】
そして、信号処理装置１４は、図３中ステップＳ９において、先に図１０に示した音声認識候補と、図１３に示した入力候補とに基づいて、スコアを再度算出する。具体的には、信号処理装置１４は、図１０に示した３つの音声認識候補のうち、第１位の「まいはま」については、そのスコアが０．０６９であったが、図１３において「ま」、「い」、「は」、「ま」と遷移する経路は同図中Ａの矩形で囲んだ文字列からなる経路であり、その確からしさは、０．６×０．７×０．９×０．９であることから、そのスコアを０．０６９×０．６×０．７×０．９×０．９＝０．０２３として再計算する。また、信号処理装置１４は、図１０に示した３つの音声認識候補のうち、第２位の「よこはま」については、そのスコアが０．０５６であったが、図１３において「よ」、「こ」、「は」、「ま」と遷移する経路は同図中Ｂの楕円で囲んだ文字列からなる経路であり、その確からしさは、１．０×０．９×０．９×０．９であることから、そのスコアを０．０５６×１．０×０．９×０．９×０．９＝０．０４０として再計算する。同様に、信号処理装置１４は、図１０に示した３つの音声認識候補のうち、第３位の「よこすか」については、そのスコアを０．０２５×１．０×０．９×０．８×０．６＝０．０１１として再計算する。
【００６７】
信号処理装置１４は、このようなスコアの再計算を行うことにより、最もスコアが高い「よこはま」を選択操作された入力候補として決定する。
【００６８】
音声入力装置は、このような一連の手順にしたがった処理動作を行い、音声入力された結果及びタッチパネルディスプレイ５による入力結果の双方を有効に評価することにより、双方に誤り要因があった場合であっても適切な入力を行い、ナビゲーション装置の所定の機能を動作させることができる。
【００６９】
［第２の実施の形態の効果］
以上詳細に説明したように、第２の実施の形態として示した音声入力装置においては、タッチパネルディスプレイ５に、各文字に対応した複数の文字スイッチを所定順序で配列して表示した場合には、信号処理装置１４により、当該タッチパネルディスプレイ５に表示された複数の文字スイッチのうち、任意に選択された文字スイッチに対応する語彙を音声入力した発話音声と、当該選択された文字スイッチに対応する認識対象語との一致度を示すスコアを求めるとともに、任意の文字スイッチの接触による選択操作時における当該タッチパネルディスプレイ５上での操作位置に応じて、各文字スイッチが操作されたか否かの確からしさを示すスコアを求める。そして、音声入力装置においては、信号処理装置１４により、音声認識して求められたスコアと、各文字スイッチが操作されたか否かの確からしさを示すスコアとに基づいて、音声認識した音声認識候補と、タッチパネルディスプレイ５による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定する。
【００７０】
これにより、音声入力装置においては、騒音などによる音声の誤認識と、表示された各項目の間隔が狭いなどの理由によって発生したタッチパネルディスプレイ５の誤操作とが双方発生した場合であっても、正しい入力結果を得ることができる可能性を高くすることができる。
【００７１】
［第３の実施の形態］
つぎに、本発明の第３の実施の形態として示す音声入力装置について説明をする。
【００７２】
この第３の実施の形態として示す音声入力装置は、図１を用いて説明した第１の実施の形態として示す音声入力装置と同一の構成である。したがって、第３の実施の形態として示す音声入力装置の構成については、同一符号を付すことによってその説明を省略する。
【００７３】
また、この第３の実施の形態として示す音声入力装置は、上述した第１の実施の形態及び第２の実施の形態として示した音声入力装置と同様に、音声の誤認識とタッチパネルディスプレイ５の誤操作とが双方発生した場合であっても、誤入力を低減することができるものであり、その処理動作は、第１の実施の形態及び第２の実施の形態として示した音声入力装置の処理動作として図３に示したフローチャートのうち、ステップＳ７ないしステップＳ９の処理内容が異なるだけである。したがって、以下では、第３の実施の形態として示す音声入力装置の処理動作として図３に示したフローチャートを用い、そのうち、変更があったステップＳ７ないしステップＳ９の処理内容についてのみ説明するものとする。
【００７４】
［音声入力装置の動作］
まず、先に図６中Ｇに示したように、外部記憶装置１５に記憶された「駅名をどうぞ」といった内容からなるシステムメッセージの音声データに基づいて、ユーザが駅名として「よこはま」と発話した場合に、図１４に示すようなスコアからなる音声認識候補が得られた場合を考える。ここでは、３つの音声認識候補が得られた場合を示しており、第１位は、スコアが０．０６９となった「まいはま」であり、第２位は、スコアが０．０５６となった「よこはま」であり、第３位は、スコアが０．０２５となった「よこすか」である。
【００７５】
この場合、ユーザが駅名として「よこはま」と発話したにもかかわらず、「まいはま」と誤認識されたことを受けて、図３中ステップＳ７において、タッチパネルディスプレイ５を用いて正しい駅名である「よこはま」を入力することによって訂正を試みる。具体的には、信号処理装置１４は、例えば図１５に示すように、認識結果表示領域５ａに音声認識候補の１位となった「まいはま」という語彙を誤表示した状態で、任意の文字を手書き入力するための手書き入力領域５ｂをタッチパネルディスプレイ５に表示させ、ユーザに他の語彙を入力させる。ここで、ユーザは、「よこはま」に訂正するために、例えば図１６に示すように、「よ」という文字を最初に手書き入力領域５ｂに手書き入力し、順次、「こ」、「は」、「ま」という文字を手書き入力する。このとき、信号処理装置１４は、手書き入力された各文字をパターンマッチングすることにより、各文字の確からしさを示すスコアとともに入力候補を求める。ここでは、図１７に示すように、各文字のスコアが最も高い入力候補として、「お」、「こ」、「は」、「ま」が得られたものとする。
【００７６】
信号処理装置１４は、このような誤認識が発生した場合には、ユーザの意図とは異なる駅又は存在しない駅に誤訂正してしまう可能性がある。しかしながら、信号処理装置１４は、この直後に、図３中ステップＳ８及びステップＳ９の処理を行うことにより、誤訂正の発生を低減することができる。
【００７７】
すなわち、信号処理装置１４は、ステップＳ８において、ユーザによって手書き入力された内容に基づいて、入力候補を求めて出力する。具体的には、信号処理装置１４は、例えば図１７に示すように、スコアが高い順序で入力候補として可能性がある文字を求める。同図においては、各文字について、下方ほど確からしさが小さい入力候補を示している。信号処理装置１４は、各文字を結び付ける系列を入力候補とする。また、信号処理装置１４は、手書き入力された内容からは現れない文字については、「−」などの記号で代表させ、そのスコアを一律に０．１０として算出する。
【００７８】
そして、信号処理装置１４は、図３中ステップＳ９において、先に図１４に示した音声認識候補と、図１７に示した入力候補とに基づいて、スコアを再度算出する。具体的には、信号処理装置１４は、図１４に示した３つの音声認識候補のうち、第１位の「まいはま」については、そのスコアが０．０６９であったが、図１７において「ま」、「い」、「は」、「ま」と遷移する経路は同図中Ａの矩形で囲んだ文字列からなる経路であり、その確からしさは、０．１０×０．１０×０．７１×０．５９であることから、そのスコアを０．０６９×０．１０×０．１０×０．７１×０．５９＝０．０００２９として再計算する。また、信号処理装置１４は、図１４に示した３つの音声認識候補のうち、第２位の「よこはま」については、そのスコアが０．０５６であったが、図１７において「よ」、「こ」、「は」、「ま」と遷移する経路は同図中Ｂの楕円で囲んだ文字列からなる経路であり、その確からしさは、０．５９×０．７３×０．７１×０．５９であることから、そのスコアを０．０５６×０．５９×０．７３×０．７１×０．５９＝０．０１０として再計算する。同様に、信号処理装置１４は、図１４に示した３つの音声認識候補のうち、第３位の「よこすか」については、そのスコアを０．０２５×０．５９×０．７３×０．１×０．１＝０．００１１として再計算する。
【００７９】
信号処理装置１４は、このようなスコアの再計算を行うことにより、最もスコアが高い「よこはま」を選択操作された入力候補として決定する。
【００８０】
音声入力装置は、このような一連の手順にしたがった処理動作を行い、音声入力された結果及びタッチパネルディスプレイ５による入力結果の双方を有効に評価することにより、双方に誤り要因があった場合であっても適切な入力を行い、ナビゲーション装置の所定の機能を動作させることができる。
【００８１】
［第３の実施の形態の効果］
以上詳細に説明したように、第３の実施の形態として示した音声入力装置においては、タッチパネルディスプレイ５が任意の文字を手書き入力可能とされる場合には、信号処理装置１４により、音声入力された発話音声と認識対象語との一致度を示すスコアを求めるとともに、手書き入力された文字の確からしさを示すスコアを求める。そして、音声入力装置においては、信号処理装置１４により、音声認識して求められたスコアと、手書き入力された文字の確からしさを示すスコアとに基づいて、音声認識した音声認識候補と、タッチパネルディスプレイ５による操作入力を認識した入力候補との共通性が高い候補を入力候補として決定する。
【００８２】
これにより、音声入力装置においては、騒音などによる音声の誤認識と、表示された各項目の間隔が狭いなどの理由によって発生したタッチパネルディスプレイ５の誤操作とが双方発生した場合であっても、正しい入力結果を得ることができる可能性を高くすることができる。
【００８３】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態として示す音声入力装置の構成について説明するブロック図である。
【図２】ネットワーク文法について説明するための図である。
【図３】本発明の実施の形態として示す音声入力装置の処理動作について説明するフローチャートである。
【図４】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、複数階層構造からなる認識対象語について説明するための図である。
【図５】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、メニュー項目スイッチが表示されたタッチパネルディスプレイの表示内容の具体例について説明するための図である。
【図６】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、図４に示した階層構造にしたがって発話を行った場合におけるタッチパネルディスプレイの画面遷移の具体例について説明するための図である。
【図７】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、音声認識結果の具体例について説明するための図である。
【図８】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、タッチパネルディスプレイを用いて選択するメニュー項目スイッチの訂正を試みる様子を説明するための図である。
【図９】本発明の第１の実施の形態として示す音声入力装置の処理動作について説明するための図であり、メニュー項目スイッチが表示されたタッチパネルディスプレイ上の操作位置に基づいて求められる入力候補の具体例について説明するための図である。
【図１０】本発明の第２の実施の形態として示す音声入力装置の処理動作について説明するための図であり、音声認識結果の具体例について説明するための図である。
【図１１】本発明の第２の実施の形態として示す音声入力装置の処理動作について説明するための図であり、文字スイッチが表示されたタッチパネルディスプレイの表示内容の具体例について説明するための図である。
【図１２】本発明の第２の実施の形態として示す音声入力装置の処理動作について説明するための図であり、文字スイッチを誤選択した様子を説明するための図である。
【図１３】本発明の第２の実施の形態として示す音声入力装置の処理動作について説明するための図であり、文字スイッチが表示されたタッチパネルディスプレイ上の操作位置に基づいて求められる入力候補の具体例について説明するための図である。
【図１４】本発明の第３の実施の形態として示す音声入力装置の処理動作について説明するための図であり、音声認識結果の具体例について説明するための図である。
【図１５】本発明の第３の実施の形態として示す音声入力装置の処理動作について説明するための図であり、手書き入力領域が設けられたタッチパネルディスプレイの表示内容の具体例について説明するための図である。
【図１６】本発明の第３の実施の形態として示す音声入力装置の処理動作について説明するための図であり、文字を手書き入力した様子を説明するための図である。
【図１７】本発明の第３の実施の形態として示す音声入力装置の処理動作について説明するための図であり、手書き入力された文字に基づいて求められる入力候補の具体例について説明するための図である。
【符号の説明】
【００８５】
１  信号処理ユニット
２  マイク
３  スピーカ
４  入力装置
４ａ  発話スイッチ
４ｂ  訂正スイッチ
５  タッチパネルディスプレイ
５ａ  認識結果表示領域
５ｂ  手書き入力領域
１１  Ａ／Ｄコンバータ
１２  Ｄ／Ａコンバータ
１３  出力アンプ
１４  信号処理装置
１５  外部記憶装置
２１  ＣＰＵ
２２  メモリ
【図１】
2007127895.tif 000003
【図２】
2007127895.tif 000004
【図３】
2007127895.tif 000005
【図４】
2007127895.tif 000006
【図５】
2007127895.tif 000007
【図６】
2007127895.tif 000008
【図７】
2007127895.tif 000009
【図８】
2007127895.tif 000010
【図９】
2007127895.tif 000011
【図１０】
2007127895.tif 000012
【図１１】
2007127895.tif 000013
【図１２】
2007127895.tif 000014
【図１３】
2007127895.tif 000015
【図１４】
2007127895.tif 000016
【図１５】
2007127895.tif 000017
【図１６】
2007127895.tif 000018
【図１７】
2007127895.tif 000019