(57)【要約】【課題】迅速かつ正確に入力操作を行うこと。【解決手段】本発明に係る入力装置は、操作受付部と、選択部と、認識部と、判定部と、確認部とを備える。操作受付部は、ユーザの操作を受け付ける。選択部は、複数の予測辞書の中から操作受付部が受け付けた操作に対応する予測辞書を選択する。認識部は、選択部によって選択された予測辞書に基づいてユーザの音声の認識および当該認識の信頼度の算出を行う。判定部は、認識部によって算出された信頼度に基づき、認識部による認識結果の正誤をユーザに確認するか否かを判定する。確認部は、判定部によって認識結果の正誤を確認すると判定された場合に、ユーザに認識結果を確認させる。【選択図】図１
2018028733.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作を受け付ける操作受付部と、
複数の予測辞書の中から前記操作受付部が受け付けた前記操作に対応する前記予測辞書を選択する選択部と、
前記選択部によって選択された前記予測辞書に基づいて前記ユーザの音声の認識および当該認識の信頼度の算出を行う認識部と、
前記認識部によって算出された前記信頼度に基づき、前記認識部による認識結果の正誤を前記ユーザに確認するか否かを判定する判定部と、
前記判定部によって前記認識結果の正誤を確認すると判定された場合に、前記ユーザに前記認識結果を確認させる確認部と
を備えることを特徴とする入力装置。
【請求項２】
前記認識部は、
前記操作受付部が前記操作の受け付けの継続中である場合に前記音声を認識し、前記継続中以外である場合に前記音声を認識しないこと
を特徴とする請求項１に記載の入力装置。
【請求項３】
前記操作受付部は、
操作面における所定領域へのタッチ操作を受け付け、前記所定領域以外の前記タッチ操作を受け付けず、
前記認識部は、
前記操作受付部が前記タッチ操作を受け付けた場合に、前記音声を認識すること
を特徴とする請求項１または２に記載の入力装置。
【請求項４】
前記判定部は、
前記認識部の前記認識結果が前記選択された前記予測辞書に含まれない場合に、前記ユーザに正誤を確認すると判定すること
を特徴とする請求項１、２または３に記載の入力装置。
【請求項５】
前記確認部は、
前記判定部が前記認識結果の正誤を前記ユーザに確認すると判定した場合に、前記予測辞書に基づいて入力候補リストを表示装置へ出力し、
前記操作受付部は、
前記入力候補リストの中から入力候補の選択操作を受け付けること
を特徴とする請求項１〜４のいずれか一つに記載の入力装置。
【請求項６】
前記判定部は、
前記選択部によって画像の縮尺変更に関する前記予測辞書が選択された場合に、前記ユーザに正誤を確認しないと判定すること
を特徴とする請求項１〜５のいずれか一つに記載の入力装置。
【請求項７】
請求項１〜６のいずれか一つに記載の入力装置と、
前記入力装置による出力結果に基づいて画像を表示する表示部と
を備えることを特徴とする表示装置。
【請求項８】
ユーザの操作を受け付ける操作受付工程と、
複数の予測辞書の中から前記操作受付工程において受け付けた前記操作に対応する前記予測辞書を選択する選択工程と、
前記選択工程において選択された前記予測辞書に基づいて前記ユーザの音声の認識および当該認識の信頼度の算出を行う認識工程と、
前記認識工程において算出された前記信頼度に基づき、前記認識工程による認識結果の正誤を前記ユーザに確認するか否かを判定する判定工程と、
前記判定工程において前記認識結果の正誤を確認すると判定された場合に、前記ユーザに前記認識結果を確認させる確認工程と
を含むことを特徴とする入力装置の制御方法。
【請求項９】
ユーザの操作を受け付ける操作受付手順と、
複数の予測辞書の中から前記操作受付手順において受け付けた前記操作に対応する前記予測辞書を選択する選択手順と、
前記選択手順において選択された前記予測辞書に基づいて前記ユーザの音声の認識および当該認識の信頼度の算出を行う認識手順と、
前記認識手順において算出された前記信頼度に基づき、前記認識手順による認識結果の正誤を前記ユーザに確認するか否かを判定する判定手順と、
前記判定手順において前記認識結果の正誤を確認すると判定された場合に、前記ユーザに前記認識結果を確認させる確認手順と
をコンピュータに実行させることを特徴とする入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置、入力装置の制御方法、表示装置および入力プログラムに関する。
【背景技術】
【０００２】
複数の音声認識辞書の中からユーザの操作に応じた音声認識辞書を選択して用いることで音声認識の精度を向上させる音声認識装置がある。かかる音声認識装置としては、画面上に表示した地図から検索範囲を絞り込む操作をユーザに行わせ、絞り込んだ検索範囲に対応した音声認識辞書を選択して用いる技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３７２９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来の技術では、音声認識の認識結果が誤っていた場合については考慮されていなかった。このため、認識結果が誤っていた場合、ユーザは検索範囲を絞り込む操作からやり直さざるをえず、音声入力に要する全体的な時間がかさんでしまうおそれがあった。
【０００５】
本発明は、上記に鑑みてなされたものであって、迅速かつ正確に入力操作を行うことができる入力装置、入力装置の制御方法、表示装置および入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本実施形態に係る入力装置は、操作受付部と、選択部と、認識部と、判定部と、確認部とを備える。操作受付部は、ユーザの操作を受け付ける。選択部は、複数の予測辞書の中から前記操作受付部が受け付けた前記操作に対応する前記予測辞書を選択する。認識部は、前記選択部によって選択された前記予測辞書に基づいて前記ユーザの音声の認識および当該認識の信頼度の算出を行う。判定部は、前記認識部によって算出された前記信頼度に基づき、前記認識部による認識結果の正誤を前記ユーザに確認するか否かを判定する。確認部は前記判定部によって前記認識結果の正誤を確認すると判定された場合に、前記ユーザに前記認識結果を確認させる。
【発明の効果】
【０００７】
本発明によれば、迅速かつ正確に入力操作が可能な入力装置、入力装置の制御方法、表示装置および入力プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態に係る入力装置の制御方法の概要を示す図である。
【図２】図２は、本実施形態に係る表示装置の構成を示すブロック図である。
【図３Ａ】図３Ａは、予測辞書データベースの具体例を示す図である。
【図３Ｂ】図３Ｂは、予測辞書の具体例を示す図である。
【図４】図４は、乗員認証における入力操作を説明する図である。
【図５Ａ】図５Ａは、目的地設定における入力操作を説明する図（その１）である。
【図５Ｂ】図５Ｂは、目的地設定における入力操作を説明する図（その２）である。
【図５Ｃ】図５Ｃは、目的地設定における入力操作を説明する図（その３）である。
【図６Ａ】図６Ａは、画像の縮尺変更の場面を示す図（その１）である。
【図６Ｂ】図６Ｂは、画像の縮尺変更の場面を示す図（その２）である。
【図７】図７は、本実施形態に係る入力装置が実行する入力手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明に係る入力装置、入力装置の制御方法、表示装置および入力プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態により、この発明が限定されるものではない。
【００１０】
まず、本実施形態に係る入力装置の制御方法の概要について図１を用いて説明する。図１は、本実施形態に係る入力装置の制御方法の概要を示す図である。なお、図１では、ユーザが、入力装置１を用いてオーディオの楽曲検索を行う場合について説明する。
【００１１】
また、図１には、本実施形態に係る入力装置１が、例えば、表示部と操作部とを一体に備えたタッチパネルディスプレイである場合について図示している。また、入力装置１は、周囲の音を集音するマイクＭに接続されるものとする。
【００１２】
ここで、上記した従来技術では、複数の予測辞書の中から、ユーザの操作に応じた予測辞書を選択して用いることで、音声認識の認識精度を向上させることにしている。
【００１３】
しかしながら、かかる従来技術では、音声認識の認識結果に誤りがある場合については考慮されていなかった。このため、誤認識があった場合、予測辞書を選択する操作から再度やり直すなど、音声入力に要する全体的な時間がかさんでしまうおそれがあった。
【００１４】
そこで、本実施形態に係る入力装置１では、音声認識の認識結果に加えて音声認識の信頼度を算出し、算出した信頼度に基づいて音声認識の認識結果をユーザに確認するか否かを判定することとした。これにより、信頼度が低い場合にはユーザに認識結果を修正する機会を付与することができるとともに、信頼度が高い場合にはユーザへの確認そのものを省略することができる。したがって、正しい認識結果を得るまでの全体的な時間を短縮することができる。以下、入力装置１の制御方法の概要についてさらに具体的に説明する。
【００１５】
ユーザが指で楽曲検索ボタンを操作した場合、入力装置１は、楽曲検索の操作としてユーザの操作を受け付ける（ステップＳ１）。続いて、入力装置１は、複数の予測辞書Ｄの中から、楽曲検索に対応する予測辞書Ｄ１を選択する（ステップＳ２）。
【００１６】
ここで、予測辞書Ｄとは、音声認識で認識する文字列と、かかる文字列に対応する音声データとが関連付けられた辞書を指す。例えば、楽曲検索に対応する予測辞書Ｄ１は、オーディオに登録された曲名と、かかる曲名に対応する音声データとが関連付けて記憶された辞書である。
【００１７】
また、入力装置１は、複数の予測辞書Ｄ１〜Ｄ３・・・を備えており、ステップＳ１で受け付けた操作に応じて異なる予測辞書Ｄを選択する。
【００１８】
続いて、入力装置１は、予測辞書Ｄ１に基づいて音声を認識するとともに、上記した信頼度を算出する（ステップＳ３）。具体的には、まず、入力装置１は、ユーザの音声をマイクＭから音声信号として取得する。続いて、入力装置１は、音声信号と、選択した予測辞書Ｄ１に記憶された音声データとを照合し、例えば、予測辞書Ｄ１に登録された曲名の中から最も近い曲名を認識結果とする。
【００１９】
ここで、予測辞書Ｄ１に類似した曲名が複数存在する場合などに、誤った曲名を認識しかねない。そこで、入力装置１では、認識結果となった曲名に類似する曲名の個数などに基づいて認識結果の信頼度を算出する。そして、算出した信頼度に基づき、認識結果の正誤をユーザに確認するか否かを判定する（ステップＳ４）。なお、ステップＳ４の詳細については図２以降を用いて後述する。
【００２０】
ここで、入力装置１は、認識結果をユーザに確認すると判定した場合、すなわち、上記した信頼度が低い場合、タッチパネルディスプレイに認識結果である曲名を表示し、ユーザに認識結果の正誤を確認させる（ステップＳ５）。
【００２１】
そして、入力装置１は、ユーザによる認識結果の正誤に対応する操作を受け付けることで、認識結果を確定させる。
【００２２】
これにより、ユーザはかかる認識結果が誤っていた場合に直ちに修正することができる。換言すると、ユーザは正確に入力を行うことができる。
【００２３】
一方、ステップＳ４の判定において、ユーザに認識結果の正誤を確認しないと判定した場合、すなわち、上記した信頼度が高い場合、入力装置１は、認識結果をユーザに確認せず認識結果を確定させる。これにより、入力装置１は、認識結果をユーザに確認しない分だけ時間を短縮することができる。
【００２４】
このように、本実施形態に係る入力装置１の制御方法では、音声認識を行う際に認識結果の信頼度を算出し、算出した信頼度を用いてユーザに認識結果を確認するか否かを判定する。したがって、ユーザは迅速かつ正確に入力操作を行うことができる。
【００２５】
また、入力装置１では、選択した予測辞書Ｄに基づいて音声を認識するため、全ての予測辞書Ｄに基づいて音声を認識する場合よりも、音声認識の処理負荷を軽減することが可能となる。
【００２６】
なお、上述した例では、入力装置１がタッチパネルディスプレイである場合について例示したが、これに限られず、入力装置１は、操作部と表示部と別体とすることにしてもよい。また、操作部として、上記したタッチパネルに加え、ボタンや、マウス、キーボードなどの入力デバイスを用いることができる。また、上記した入力デバイスを所定の数だけ併用することにしてもよい。
【００２７】
以下、上記した制御方法によって制御される入力装置１を含む表示装置１００について説明する。また、以下では、表示装置１００が車両に搭載された車載装置５０の表示装置として機能する場合について説明するが、スマートフォンやタブレット端末、パソコンについても適用することもできる。
【００２８】
図２を用いて本実施形態に係る入力装置１を含む表示装置１００の構成例について説明する。図２は、本実施形態に係る表示装置１００の構成を示すブロック図である。
【００２９】
図２に示すように、表示装置１００は、入力装置１と、タッチパネルディスプレイ３０とを備える。また、表示装置１００は、車載装置５０と、マイクＭとに接続される。なお、タッチパネルディスプレイ３０に入力装置１を含める構成とすることにしてもよい。
【００３０】
このようにすることで、ユーザはタッチパネルディスプレイ３０の表示部３２に表示された表示画像に連動してタッチ操作を行うことができるため、入力に要する全体的な時間を省略することが可能となる。
【００３１】
車載装置５０は、例えば、車両に搭載されたオーディオ、ナビゲーションシステム、エアコンなどの各種機器を含む。また、車載装置５０は、入力装置１による入力結果に基づいて上記した各種機器を制御する。また、車載装置５０は、制御結果を反映させた表示画像をタッチパネルディスプレイ３０の表示部３２に表示させる。
【００３２】
タッチパネルディスプレイ３０は、操作部３１と、表示部３２とを備える。また、タッチパネルディスプレイ３０は、例えば、車両のセンターコンソールなど、ユーザが視認および操作が容易な位置に配置される。
【００３３】
操作部３１は、例えば、操作面を備える静電容量方式の入力デバイスである。また、操作部３１は、ユーザによってタッチ操作された場合、かかるタッチ操作に基づく操作内容を示す操作信号を入力装置１の操作受付部１１に出力する。
【００３４】
具体的には、操作部３１は、タッチ操作のタッチ位置を検出すると、かかるタッチ位置に対応する操作信号を車載装置５０から取得し、かかる操作信号を操作受付部１１に出力する。
【００３５】
例えば、操作部３１は、楽曲検索のボタンが押下された場合に、楽曲検索を示す操作信号を操作受付部１１に出力する。また、操作部３１は、地図などの画像が押下された場合、かかる地図が押下された旨を示す操作信号を車載装置５０に出力する。また、操作部３１は、タッチ操作を検出している場合に、常にタッチ位置に応じた操作信号を操作受付部１１に出力するものとする。
【００３６】
表示部３２は、例えば、液晶ディスプレイであり、車載装置５０の各種機器の動作状況や、後述する認識部１３による音声の認識結果などを表示することで、認識結果をユーザに確認させる。
【００３７】
入力装置１は、制御部１０と記憶部２０とを備える。制御部１０は、例えば、ＣＰＵ（Central  Processing  Unit）であり、入力装置１の全体制御を行う。また、制御部１０は、操作受付部１１と、選択部１２と、認識部１３と、判定部１４と、確認部１５とを備える。
【００３８】
操作受付部１１は、ユーザの操作を受け付ける。具体的には、操作受付部１１は、操作部３１を介して入力されたユーザからの操作に基づく操作信号を受け付ける。そして、操作受付部１１は、操作信号に応じた操作指示を選択部１２に出力する。
【００３９】
また、操作受付部１１は、例えば、操作の受け付け継続中である場合に、認識部１３に対して音声認識を許可する許可通知を出力する。つまり、操作受付部１１が操作を受け付けていない状態では、認識部１３は、許可通知を出力せず、認識部１３は、音声を認識しないことになる。
【００４０】
すなわち、ユーザが操作面を押下しながら発話した場合にのみ、認識部１３は、かかる発話を認識する。これにより、ユーザの意図しないタイミングでの音声入力を抑制することができる。
【００４１】
また、操作受付部１１は、操作部３１の操作面における所定領域へのタッチ操作を受け付け、かかる所定領域以外へのタッチ操作を受け付けないことにしてもよい。
【００４２】
換言すると、ユーザが操作面の所定領域を押下しながら発話した場合にのみ、認識部１３は、かかる発話を認識することにしてもよい。したがって、音声認識が行われる操作面の領域が限定されるため、ユーザの意図しない音声入力をより抑制することができる。なお、所定領域は、操作指示に連動した領域、すなわち、例えば、表示部３２に操作ボタンが表示された領域であることが好ましい。
【００４３】
また、操作受付部１１は、操作の受け付け継続中以外のタイミングで許可通知を出力することにしてもよい。すなわち、認識部１３は、操作受付部１１が操作の受け付けの継続中以外にも音声を認識することにしてもよい。かかる場合に、例えば、操作受付部１１は、操作部３１から操作信号を取得した場合に、許可通知を所定期間連続して認識部１３に出力することとすればよい。
【００４４】
また、操作受付部１１は、タッチパネルディスプレイ３０の操作部３１以外からもユーザの操作を受け付けることができる。例えば、ユーザの物理的な操作ボタンの操作を受け付けたり、あるいは、ユーザの撮像画像から挙動を検出し、かかる挙動に基づいてユーザの操作を受け付けたりすることもできる。
【００４５】
具体的には、操作受付部１１は、タッチパネルディスプレイ３０の近傍に配置された目的地設定ボタンや、楽曲検索ボタンを押下する操作を受け付け、押下されたボタンに応じて目的地設定や、楽曲検索を示す操作指示を選択部１２に出力することもできる。
【００４６】
また、操作受付部１１は、ユーザの撮像画像からユーザの視線方向や、指の向きなどの挙動を検出し、視線方向や、指の向きの先に位置する機器に対する操作として受け付けることもできる。
【００４７】
ユーザの視線方向または、指の向きがオーディオに向いている場合に、操作受付部１１は、例えば、オーディオに関連した操作（例えば、楽曲検索など）として受け付けることもできる。
【００４８】
選択部１２は、複数の予測辞書の中から操作受付部１１が受け付けたユーザの操作に対応する予測辞書を選択する。具体的には、選択部１２は、操作受付部１１から取得した操作指示に対応する予測辞書を記憶部２０の予測辞書データベース２１から選択する。そして、選択部１２は、選択した予測辞書の識別子を認識部１３に出力する。なお、以下では、かかる識別子を「予測辞書Ｎｏ」で表す。
【００４９】
認識部１３は、選択部１２によって選択された予測辞書に基づいてユーザの音声の認識および当該認識の信頼度の算出を行う。まず、認識部１３による音声の認識処理について説明する。
【００５０】
認識部１３は、選択部１２から予測辞書Ｎｏと、マイクＭから入力される音声信号とを取得する。続いて、認識部１３は、予測辞書データベース２１から予測辞書Ｎｏが一致する予測辞書を参照して、かかる予測辞書の音声データと、マイクＭから入力される音声信号との特徴量を比較する。
【００５１】
比較の結果、認識部１３は、予測辞書の中から尤度が高い文字列を抽出する。そして、認識部１３は、抽出した文字列をテキストデータとして判定部１４に出力する。また、認識部１３は、選択部１２から受け取った予測辞書Ｎｏを認識部１３に渡す。
【００５２】
ここで、認識部１３は、文字を認識する度に一文字ずつテキストデータに変換し、かかるテキストデータを判定部１４に出力するものとする。
【００５３】
続いて、認識部１３による信頼度の算出方法について説明する。ここで、図３Ａおよび図３Ｂを用いて予測辞書データベース２１および予測辞書について説明しておく。図３Ａは、予測辞書データベース２１の具体例を示す図である。
【００５４】
図３Ａに示すように、予測辞書データベース２１は、複数の予測辞書を記憶し、予測辞書ごとに、機器、操作指示、予測辞書Ｎｏ、登録数などが関連付けられて記憶される。
【００５５】
乗員認証に対応する予測辞書１には、例えば、過去に車両に乗車した乗員の名前などの文字列が登録されている。また、目的地設定に対応する予測辞書２には、住所、地名、施設名などの文字列が登録されている。また、楽曲検索に対応する予測辞書４は、曲名やアーティスト名、アルバム名、プレイリスト名などの文字列が登録されている。
【００５６】
そして、地図縮尺変更および周囲モニター画像縮尺変更には、同一の予測辞書３が対応しており、予測辞書３には、例えば、拡大および縮小など画像の縮尺変更を意味するキーワードを含む文字列が登録されている。
【００５７】
ここで、信頼度とは、音声認識において他の文字列との誤認識のしにくさを示す指標である。また、かかる信頼度は、例えば、予測辞書ごとに登録されている文字列の個数（同図に示す登録数）に応じて５段階で決定される。
【００５８】
例えば、予測辞書に登録された文字列の数が少ない程、信頼度は高くなるように算出される。これは、予測辞書に登録された文字列の数が多い程、音声認識によって他の文字列と間違える可能性が高くなるためである。
【００５９】
具体的には、認識部１３は、例えば、選択部１２から入力される予測辞書Ｎｏの登録数を予測辞書データベース２１から参照して信頼度を算出する。
【００６０】
例えば、認識部１３は、予測辞書の登録数が１０個未満である場合に、かかる予測辞書の信頼度を「５」として算出し、かかる登録数が１０〜４９個の間である場合に、信頼度を「４」として算出する。
【００６１】
また、認識部１３は、登録数が５０〜９９個の間である場合に、信頼度を「３」として算出し、登録数が１００〜１９９個の間である場合に、信頼度を「２」として算出する。また、登録数が２００個以上である場合に、信頼度を「１」として算出する。そして、認識部１３は、認識結果となるテキストデータと、算出した信頼度とを判定部１４に通知する。
【００６２】
なお、上記した信頼度の算出方法は、一例にすぎず、任意に変更することができる。また、認識部１３は、例えば、類似した文字列の数などを考慮して信頼度を算出することにしてもよい。かかる場合に、例えば、認識部１３は、類似した文字列の数が多い程、信頼度が低くなるように算出する。
【００６３】
なお、認識部１３は、認識結果から認識の信頼度を算出することにしてもよい。ここで、図３Ｂを用いて予測辞書の具体例について説明する。図３Ｂは、予測辞書の具体例を示す図である。図３Ｂに示すように、予測辞書の文字列に、グループ、頻度、音声データ等が関連付けられて記憶される。
【００６４】
ここで、グループとは、例えば、音声データが類似する文字列を同一の集合体としたものである。図３Ｂでは、文字列「Ａ」と、文字列「Ａ´」とは、音声データが類似しており、文字列「Ａ」および文字列「Ａ´」と、文字列「Ｂ」とは類似しない音声データであるものとする。
【００６５】
したがって、図３Ｂに示す例では、文字列「Ａ」と、文字列「Ａ´」とがグループ「Ａ」に分類される。また、文字列「Ｂ」は、類似した音声データが同一の予測辞書内に存在しないため、グループには属していない。
【００６６】
ここで、認識部１３は、例えば、認識結果となる文字列の属しているグループの数に応じて信頼度を算出する。また、認識部１３は、算出した信頼度を、図３Ａを参照して算出した信頼度（以下、「予測辞書に基づく信頼度」と記載する）の値に加算して、加算した値の信頼度を判定部１４に出力することもできる。
【００６７】
具体的には、認識部１３は、認識した文字列が、どのグループにも属していない場合に、信頼度が高くなるように算出する。この場合に、認識部１３は、信頼度の値を「１」として算出し、算出した値を上記した予測辞書に基づく信頼度に加算して判定部１４に通知する。
【００６８】
また、例えば、認識部１３は、認識した文字列がグループに属している場合に、信頼度を「−１」として算出し、算出した「−１」を予測辞書に基づく信頼度に加算、すなわち、「１」を減算して判定部１４に通知する。
【００６９】
このように、認識部１３は、認識した文字列がグループに属していない場合に、信頼度が高くなるように算出する。これは、グループに属していない文字列を、同一の予測辞書内の他の文字列と間違う可能性が低いためである。したがって、かかる場合に、信頼度を高く算出することで、ユーザに認識結果を確認させる回数を低減させることができる。これにより、ユーザの確認処理の処理負荷を軽減することができる。
【００７０】
なお、認識部１３は、認識結果の文字列が長い程、信頼度が低くなるように算出するなど、認識部１３の算出方法は、上記の例に限定されるものではない。また、後述する確認部１５が文字列ごとに正誤率を算出し、認識部１３は、かかる正誤率に基づいて信頼度を算出することにしてもよい。
【００７１】
また、認識部１３は、認識結果となるテキストデータが参照した予測辞書に含まれない場合、信頼度を低く算出する。これにより、かかる場合に、判定部１４では、かかるテキストデータの正誤をユーザに確認すると判定する。そして、確認部１５では、かかるテキストデータの正誤をユーザに確認することとなる。
【００７２】
これは、テキストデータが予測辞書に含まれない場合は、かかるテキストデータを誤認識している可能性が高いためである。このようにすることで、誤ったテキストデータが車載装置５０に出力されるのを抑制することができる。
【００７３】
また、図３Ｂに示す頻度とは、文字列ごとに使用される頻度を示している。図３Ｂに示す例では、文字列「Ａ」と、文字列「Ｂ」との頻度は「低」であり、文字列「Ａ´」の頻度は、「高」である場合について例示している。しかしながら、頻度の表記は、「高」や「低」に限定されるものではなく、文字列ごとの頻度の順序を識別可能であれば問わない。
【００７４】
なお、かかる頻度は、例えば、判定部１４によって更新される。例えば、判定部１４が、認識部１３から入力されるテキストデータに基づいて、同じテキストデータが入力される度に、頻度を上げるように更新することができる。なお、かかる頻度に基づく処理については、図５Ａ〜図５Ｃを用いて後述する。
【００７５】
図２に戻って判定部１４について説明する。判定部１４は、認識部１３によって算出された信頼度に基づいて認識部１３による認識結果の正誤をユーザに確認するか否かを判定する。
【００７６】
具体的には、判定部１４は、認識部１３から通知される信頼度が所定の閾値以下である場合に、認識結果の正誤をユーザに確認すると判定する。この場合に、判定部１４は、テキストデータを確認部１５に出力し、ユーザに確認するように指示する。
【００７７】
判定部１４は、かかる信頼度が所定の閾値より大きい場合に、認識結果の正誤をユーザに確認することなく確定させる。この場合に、判定部１４は、テキストデータを車載装置５０に出力する。
【００７８】
なお、所定の閾値は、例えば、信頼度の値が「４」であるが、動的に変更可能であるものとする。例えば、ハンズフリー通話などで電話帳を呼び出して通話を行う場合などに閾値を高く設定させることにしてもよい。換言すると、入力の重要度に応じて閾値を変更することにしてもよい。
【００７９】
確認部１５は、判定部１４によって認識部１３による認識結果をユーザに確認すると判定された場合に、ユーザに認識結果を確認させる。具体的には、確認部１５は、判定部１４から認識結果の正誤の確認を指示された場合に、認識結果となるテキストデータをタッチパネルディスプレイ３０の表示部３２に出力し、表示する。
【００８０】
これにより、ユーザは、テキストデータの正誤を確認することができる。なお、確認部１５は、かかるテキストデータをスピーカ（不図示）からテキスト読み上げ機能を用いて音声として出力するなど、認識結果をユーザに提示する方法については問わない。
【００８１】
そして、操作受付部１１は、例えば、操作部３１を介してユーザによるテキストデータの正誤の結果に応じた操作を受け付け、かかる結果に応じた操作信号を確認部１５に出力する。
【００８２】
確認部１５は、正誤結果として正しい旨の操作信号を取得した場合、かかる認識結果のテキストデータを車載装置５０に出力する。また、確認部１５は、かかる操作信号が誤りである旨の操作信号を取得した場合、予測候補リストや文字入力を行うキーボードなどの画面を表示部３２に表示する。
【００８３】
ここで、予測候補リストとは、例えば、認識結果と同一のグループに属する文字列のリストである。これは、音声認識に誤りがあった場合、ユーザの発話は、同一のグループに属した他の文字列である可能性が高いためである。
【００８４】
つまり、確認部１５は、認識結果に誤りがあった場合に、予測候補リストを表示部３２に表示し、ユーザの予測候補リストから入力候補の選択操作を受け付ける。このようにすることで、ユーザは、修正を迅速に行うことができる。
【００８５】
また、確認部１５は、音声によってもユーザによる正誤の判定結果を取得することができる。具体的には、まず、確認部１５は、テキストデータを表示部３２に表示した以降に認識部１３から入力されるテキストデータを取得する。
【００８６】
続いて、確認部１５は、かかるテキストデータに、「ハイ」や「ソウダヨ」などの認識結果を肯定するキーワードが含まれる場合、正しい認識結果であるとする。一方、かかるテキストデータに、「チガウ」、「マチガッテイル」などの認識結果を否定するキーワードが含まれる場合に、誤った認識結果であるとする。
【００８７】
なお、この場合に、確認部１５は、認識部１３の信頼度を算出する処理を一時的にいったん中断させて、上記したキーワードが入力された場合に、かかる処理を再開させるものとする。このようにすることで、かかるキーワード自体をユーザに確認させることを抑止することができる。
【００８８】
また、確認部１５は、選択部１２によって選択された予測辞書に基づいて音声認識の途中で予測候補リストを表示部３２に表示することもできる。かかる点については図５Ａ〜図５Ｃを用いて後述する。
【００８９】
記憶部２０は、予測辞書データベース２１を備える。また、記憶部２０は、例えばＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。なお、予測辞書データベース２１については、図３Ａおよび図３Ｂを用いて既に説明したため、ここでの説明は省略する。
【００９０】
続いて、図４〜図６Ｂを用いて表示装置１００の入力操作の具体例について説明する。なお、図４、図５Ａ〜図５Ｃでは、認識部１３の認識結果の正誤をユーザに確認する場合について説明し、図６Ａおよび図６Ｂでは、かかる認識結果の正誤をユーザに確認しない場合について説明する。
【００９１】
まず、図４を用いて乗員認証に誤りがあった場合を例に、表示装置１００の入力操作について説明する。図４は、乗員認証における入力操作を説明する図である。
【００９２】
なお、乗員認証とは、車両の乗員を認証することで、乗員にあわせた音楽などの車内サービスを提供することを目的とするものである。また、乗員認証は、例えば、車両のＡＣＣ電源が起動したタイミングで行われる。
【００９３】
例えば、車載装置５０は、かかるタイミングで車両に搭載されたカメラ（不図示）で車室内の乗員を撮像し、撮像画像から乗員ごとに顔認証機能を用いることで各乗員を認証する。
【００９４】
また、図４には、乗員認証による認識結果をタッチパネルディスプレイ３０に表示し、ユーザに認識結果の正誤を確認している場面について図示している。
【００９５】
具体的には、図４に示すように、タッチパネルディスプレイ３０には、認証した各乗員の名前と、顔とを含む乗員画像が表示される。また、かかる乗員画像は、例えば、乗員の座席に対応する位置に表示される。また、各乗員の座席の位置を明確にするため、運転席の上側には、運転席を示すハンドルが表示される。
【００９６】
例えば、ユーザが、認識結果としてＢさんに誤りがあることに気づき、Ｂさんを修正しようとしてＢさんの乗員画像が表示された領域Ｒ１を指で押下したとする。
【００９７】
ここで、タッチパネルディスプレイ３０の操作部３１は、かかる領域Ｒ１を押下する操作に基づき、乗員認証を示す操作信号を入力装置１の操作受付部１１に出力する。
【００９８】
続いて、操作受付部１１は、かかる操作信号に基づく操作指示を選択部１２に出力する。また、操作受付部１１は、許可通知を認識部１３に出力する。ここで、選択部１２は、かかる操作指示に基づいて予測辞書１を選択し、選択した予測辞書１を認識部１３に渡す（図３Ａ参照）。
【００９９】
認識部１３は、例えば、操作受付部１１から上記した許可通知を取得している場合、すなわち、ユーザが領域Ｒ１を押下している場合に、予測辞書１に基づく音声認識を行う。
【０１００】
ここで、認識部１３は、許可通知を取得している状態で「ここは」、「この場所は」などのタッチ位置を特定する所定のキーワードを認識した場合に、予測辞書に基づく音声認識処理を開始することにしてもよい。
【０１０１】
これにより、タッチ位置と、かかるキーワードとの双方に基づいてユーザの音声認識と所望する意思とを確認することができる。したがって、ユーザが意図せずタッチパネルディスプレイ３０を押下した場合などの音声入力による誤入力を抑止することができる。
【０１０２】
また、認識部１３は、予測辞書に基づく音声入力を開始すると、認識結果であるテキストデータ、すなわち、乗員名を判定部１４に出力する。また、認識部１３は、認識の信頼度を算出し、算出した信頼度を判定部１４に出力する。
【０１０３】
判定部１４は、上記したようにかかる信頼度を閾値以下と判定し、認識結果となる乗員名を確認部１５に出力し、ユーザに乗員名を確認させるように指示する。
【０１０４】
そして、確認部１５では、かかる指示に基づき、乗員名を表示部３２に表示することで、ユーザに乗員名の正誤を確認する。ここで、確認部１５は、乗員名に乗員画像などの画像を併用してユーザに認識結果の正誤を確認することにしてもよい。
【０１０５】
例えば、予測辞書データベース２１に乗員画像が記憶されている場合、確認部１５は、乗員画像を表示部３２に表示することにしてもよい。また、確認部１５は、乗員名のテキストデータを車載装置５０に出力し、車載装置５０によりかかる乗員名の乗員画像を表示部３２に表示することにしてもよい。
【０１０６】
このように、乗員画像などの画像を併用して認識結果を表示することで、ユーザは文字のみから認識結果を確認する場合に比べて、より直感的に認識結果を把握することができる。
【０１０７】
そして、確認部１５は、操作受付部１１から入力される操作信号や、認識部１３から入力される肯定や否定を意味するテキストデータに基づいて認識結果の正誤を確認することとなる。
【０１０８】
続いて、図５Ａ〜図５Ｃを用いて、目的地設定を行う場合の入力操作について説明する。図５Ａ〜図５Ｃは、目的地設定における入力操作を示す図である。なお、図５Ａには、タッチパネルディスプレイ３０に目的地設定画面が表示されている場面を示している。また、以下の入力操作は、オーディオの楽曲検索の場合についても適用することができる。
【０１０９】
また、選択部１２によって目的地設定に対応する予測辞書２を既に選択済みであるものとして説明する（図３Ａ参照）。
【０１１０】
例えば、ユーザがタッチパネルディスプレイ３０の表示部３２に表示された目的地設定画面のカーソルＰを押下した状態、すなわち、操作受付部１１が操作の受け付け継続中である状態で、「トウキョウ」と発声したとする。かかる場合に、操作受付部１１は、許可通知を認識部１３に出力する。
【０１１１】
認識部１３は、許可通知を取得すると、予測辞書２に基づいて音声を認識し、テキストデータとして「トウキョウ」を判定部１４に出力する。また、認識部１３は、信頼度を算出し、算出した信頼度を判定部１４に出力する。
【０１１２】
判定部１４は、かかる信頼度を閾値以下として判定し、認識部１３から入力された「トウキョウ」のテキストデータを確認部１５に出力し、ユーザに確認するように指示する。
【０１１３】
ここで、確認部１５は、予測辞書に基づいて予測候補リストを表示部３２に出力することもできる。具体的には、確認部１５は、例えば、予測辞書データベース２１の予測辞書２から「トウキョウ」から始まる文字列ごとの頻度を参照する。そして、例えば、確認部１５は、表示部３２に頻度の高い順に予測候補リストを表示する。
【０１１４】
図５Ｂでは、表示部３２に予測候補リストである候補地として、東京ディズニーランド、東京駅などが表示される場合について例示している。
【０１１５】
ここで、例えば、東京ディズニーランドが表示された領域Ｒｐ１をユーザが押下すると、操作受付部１１は、操作部３１を介して領域Ｒｐ１の選択操作を受け付け、かかる操作に対応する操作信号を確認部１５に出力する。
【０１１６】
確認部１５は、かかる操作信号を取得すると、「東京ディズニーランド」のテキストデータを車載装置５０に出力する。これにより、車載装置５０では、目的地が「東京ディズニーランド」に設定される。
【０１１７】
このように、頻度などの履歴に基づいて予測候補リストを表示し、ユーザに選択させることで、入力操作を迅速に行うことができる。
【０１１８】
また、例えば、ユーザが領域Ｒｐ１や、領域Ｒｐ２を選択せずに、続けて「ディズニーランド」と発話した場合に、認識部１３は、「東京ディズニーランド」のテキストデータを判定部１４を介して確認部１５に出力する。
【０１１９】
確認部１５は、かかるテキストデータを表示部３２に表示する。ここで、表示部３２には、例えば、図５Ｃに示す確認画像が表示される。
【０１２０】
例えば、「はい」が表示された領域Ｒ２をユーザがタッチ操作すると、確認部１５は、「東京ディズニーランド」に対応するテキストデータを車載装置５０に出力し、目的地が決定される。
【０１２１】
また、「いいえ」が表示された領域Ｒ３をユーザがタッチ操作した場合、確認部１５は、例えば、他の予測候補リストを表示部３２に出力する。かかる場合に、確認部１５は、例えば、頻度や現在地からの距離に基づいて予測候補リストを表示する。なお、かかる予測候補リストは、図５Ｂに示した候補地を除外して表示することが好ましい。
【０１２２】
また、「戻る」が表示された領域Ｒ４をユーザがタッチ操作すると、操作受付部１１は、かかるタッチ操作に基づく操作信号を操作受付部１１から取得して、確認部１５に出力する。確認部１５は、かかる操作信号を取得すると、例えば、表示部３２を図５Ａに示した目的地設定画面に戻す。これにより、ユーザは、目的地設定を初めからやり直すことが可能となる。
【０１２３】
また、「手入力」が表示された領域Ｒ５をユーザがタッチ操作した場合、例えば、確認部１５は、タッチパネルディスプレイ３０に手入力用のキーボードを表示する。これにより、ユーザは、かかるキーボードを用いて手入力による確実な入力操作が可能となる。
【０１２４】
なお、確認部１５は、図５Ｃに示す画面の状態で、ユーザが、認識部１３から領域Ｒ２〜Ｒ５に対応するテキストデータが入力されると、領域Ｒ２〜Ｒ５に対応した処理を実行することもできる。すなわち、ユーザは、領域Ｒ２〜領域Ｒ５に対応する内容を発話することで、領域Ｒ２〜Ｒ５に対応した各操作を行うこともできる。
【０１２５】
このように、音声入力によって目的地などを入力することができるため、ユーザは、長い文字列を容易に入力することができる。なお、例えば、目的地設定の予測辞書２を、施設、住所、地名ごとにさらに分割し、分割された予測辞書を選択可能にすることにしてもよい。
【０１２６】
続いて、図６Ａおよび図６Ｂを用いて画像の縮尺を変更する場合の入力操作について説明する。図６Ａおよび図６Ｂは、画像の縮尺変更の場面を示す図である。
【０１２７】
なお、図６Ａおよび図６Ｂでは、周囲モニター画像の縮尺を変更する場合について説明するが、地図画像の縮尺を変更する場合や、その他、画像の縮尺を変更する場合にも適用することができる。
【０１２８】
また、選択部１２によって周囲モニター画像の縮尺変更に対応する予測辞書３を既に選択済みであるものとする（図３Ａ参照）。
【０１２９】
ここで、周囲モニター画像とは、車両の周囲に配置されたカメラによって撮像された撮像画像を合成し、例えば、車両の上方から見下ろすように車両の周囲の様子を示す画像である。
【０１３０】
図６Ａでは、周囲モニター画像に、自車両Ｃ１と、自車両Ｃ１の右側後方に、他車両Ｃ２とが存在する場面を図示している。また、ここでは、自車両Ｃ１が後進するものとする。
【０１３１】
例えば、周囲モニター画像を拡大して表示したい場合に、タッチパネルディスプレイ３０の拡大したい箇所へのタッチ操作を行いながら「拡大」と発話したものとする。
【０１３２】
認識部１３は、操作受付部１１から上記した許可通知を取得し、かかる許可通知を取得している状態でマイクＭから入力される音声信号を「拡大」のテキストデータに変換する。また、認識部１３は、信頼度を算出し、算出した信頼度を判定部１４に出力する。
【０１３３】
上記したように、この場合に、判定部１４は、認識結果をユーザに確認しないと判定し、テキストデータをユーザに確認することなく車載装置５０に出力する。
【０１３４】
車載装置５０では、かかるテキストデータが入力されると、操作部３１からユーザのタッチ位置を取得し、かかるタッチ位置を中心として、画像を所定倍率だけ拡大して、拡大した画像を表示部３２に表示する。
【０１３５】
これにより、図６Ｂに示すように、ユーザがタッチ操作した位置の画像が拡大して表示されることとなる。なお、例えば、ユーザが、画像をタッチしながら「縮小」と発話した場合は、タッチ位置を中心として縮小された画像が表示されることとなる。
【０１３６】
このように、タッチ操作と、音声入力とを併用して画像の縮尺を変更するため、ユーザは、容易に画像の縮尺を変更することができる。また、かかる場合に、認識結果の正誤をユーザに確認しないため、画像の縮尺変更に要する全体的な時間を短縮することができる。
【０１３７】
続いて、図７を用いて本実施形態に係る入力装置１が実行する入力手順について説明する。図７は、本実施形態に係る入力装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理は、入力装置１の制御部１０によって繰り返し実行される。
【０１３８】
図７に示すように、まず、操作受付部１１は、ユーザの操作を受け付ける（ステップＳ１０１）。続いて、選択部１２は、かかる操作に基づいて予測辞書を選択する（ステップＳ１０２）。
【０１３９】
続いて、認識部１３は、予測辞書に基づいて音声を認識する（ステップＳ１０３）。また、認識部１３は、選択部１２が選択した予測辞書に基づいて認識の信頼度を算出する（ステップＳ１０４）。
【０１４０】
続いて、判定部１４は、認識部１３によって算出された信頼度が閾値を超えるか否かを判定する（ステップＳ１０５）。かかる判定において、信頼度が閾値より大きい場合（ステップＳ１０５，Ｙｅｓ）、判定部１４は、認識結果をユーザに確認せず、認識結果を車載装置５０に出力し（ステップＳ１１０）、処理を終了する。
【０１４１】
また、ステップＳ１０５の判定において、予測辞書の信頼度が閾値以下である場合（ステップＳ１０５，Ｎｏ）、確認部１５は、認識結果を表示部３２に出力し、ユーザに確認させる（ステップＳ１０６）。
【０１４２】
続いて、確認部１５は、ユーザは認識結果を正しいと判断したか否かを判定する（ステップＳ１０７）。ステップＳ１０７の判定において、ユーザが認識結果を正しいと判断した場合（ステップＳ１０７，Ｙｅｓ）、確認部１５は、認識結果を車載装置５０に出力して（ステップＳ１１０）、処理を終了する。
【０１４３】
また、ステップＳ１０７の判定においてユーザが認識結果を誤りと判断した場合（ステップＳ１０７，Ｎｏ）、確認部１５は、表示部３２に予測候補リストを表示する（ステップＳ１０８）。なお、ステップＳ１０８において、確認部１５は、入力用のキーボードを表示部３２に表示することにしてもよい。
【０１４４】
続いて、確認部１５は、選択操作を受け付けて（ステップＳ１０９）、選択された認識結果を車載装置５０に出力して（ステップＳ１１０）、処理を終了する。
【０１４５】
上述してきたように、本実施形態に係る入力装置１は、操作受付部１１と、選択部１２と、認識部１３と、判定部１４と、確認部１５とを備える。操作受付部１１は、ユーザの操作を受け付ける。選択部１２は、複数の予測辞書の中から操作受付部１１が受け付けた操作に対応する予測辞書を選択する。認識部１３は、選択部１２によって選択された予測辞書に基づいてユーザの音声の認識および当該認識の信頼度の算出を行う。判定部１４は、認識部１３によって算出された信頼度に基づき、認識部１３による認識結果の正誤をユーザに確認するか否かを判定する。確認部１５は判定部１４によって認識結果の正誤を確認すると判定された場合に、ユーザに認識結果を確認させる。したがって、迅速かつ正確に入力操作を行うことができる。
【０１４６】
なお、上述した実施形態では、判定部１４が認識部１３によって算出された信頼度に応じて確認の要否を判定する場合について説明したが、これに限られない。すなわち、認識部１３は、認識結果を全て確認部１５に出力し、確認部１５は、認識結果を全て確認することにしてもよい。
【符号の説明】
【０１４７】
１      入力装置
１０      制御部
１１      操作受付部
１２      選択部
１３      認識部
１４      判定部
１５      確認部
２１      予測辞書データベース
５０      車載装置
１００      表示装置
【図１】
2018028733.tif 000003
【図２】
2018028733.tif 000004
【図３Ａ】
2018028733.tif 000005
【図３Ｂ】
2018028733.tif 000006
【図４】
2018028733.tif 000007
【図５Ａ】
2018028733.tif 000008
【図５Ｂ】
2018028733.tif 000009
【図５Ｃ】
2018028733.tif 000010
【図６Ａ】
2018028733.tif 000011
【図６Ｂ】
2018028733.tif 000012
【図７】
2018028733.tif 000013