(57)【特許請求の範囲】
【請求項１】
手操作、及び音声による入力を受け付ける入力部と、
移動体の走行状態を判定する走行状態判定部と、
前記走行状態判定部により判定された走行状態において、前記入力部が受け付ける入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定部と、
前記項目実行可否判定部による判定に従い、手操作による実行可否、及び音声による実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成部と、
前記表示内容作成部により作成された表示態様で項目それぞれを表示する表示部とを備える、移動体用入力装置。
【請求項２】
前記入力部が受け付けた入力の実行可否を決定する実行項目決定部を更に備え、
前記表示内容作成部は、前記実行項目決定部により決定された内容に従い、前記入力部による入力操作の操作結果を作成し、前記表示部は、前記表示内容作成部により作成された前記操作結果を表示することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項３】
前記項目実行可否判定部は、項目が機能的に実行不可能なときは、手操作、又は音声入力かにかかわらず実行不可能であると判定することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項４】
前記表示内容作成部は、音声による操作のみが可能な項目と手操作、及び音声による操作が可能な項目とが区別可能な表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項５】
前記表示内容作成部は、音声操作により項目が実行可能であることを、前記項目の文字部分を強調する表示態様で表示内容を作成することを特徴とする、請求項４に記載の移動体用入力装置。
【請求項６】
前記表示内容作成部は手操作、音声操作により項目が実行可能であることを、各操作のシンボルマークを使って表示内容を作成することを特徴とする、請求項４に記載の移動体用入力装置。
【請求項７】
前記表示内容作成部は音声操作により項目が実行可能であることを項目名称のふりがなを使って表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項８】
前記表示内容作成部は、項目が音声による操作のみが可能である場合、及び手操作と音声による操作が可能である場合と、手操作と音声による操作の両方が不可能である場合とを区別可能な表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項９】
前記表示内容作成部は、手操作と音声操作双方による項目選択が可能である場合は立体的に項目を表示する表示態様を、音声操作のみ項目選択が可能である場合は２次元的に表示する表示態様を、手操作と音声操作の両方とも項目選択が不可能である場合はトーンダウンかつ２次元的に表示する表示態様を作成することを特徴とする、請求項８に記載の移動体用入力装置。
【請求項１０】
前記表示内容作成部は、音声操作による選択のみ項目選択が可能な項目を手操作により選択された場合、前記項目が音声による操作のみ可能であることを示す表示内容を強調表示する表示態様で作成することを特徴とする、請求項１に記載の移動体用入力装置。
【請求項１１】
前記表示内容作成部は、前記項目が音声による操作のみ可能であることを、前記項目の項目名称を強調表示、又は発話語彙若しくは項目名称を含むポップアップで表示する表示態様で作成することを特徴とする、請求項１０に記載の移動体用入力装置。
【請求項１２】
前記実行項目決定部は、音声操作による項目選択が不可能であった場合、音声操作用辞書内の前記項目に対応する語彙を音声認識処理の検索対象外とすることを特徴とする、請求項２に記載の移動体用入力装置。
【請求項１３】
前記表示内容作成部は、音声操作で使用された語彙、及び／又は手操作にて選択された項目の語彙を履歴として表示する表示内容を作成することを特徴とする、請求項２に記載の移動体用入力装置。
【請求項１４】
手操作、及び音声による入力を受け付ける入力ステップと、
移動体の走行状態を判定する走行状態判定ステップと、
前記走行状態判定ステップにより判定された走行状態において、前記入力ステップで受け付けた入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定ステップと、
前記項目実行可否判定ステップによる判定に従い、手操作による実行可否、及び音声による項目操作の実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成ステップと、
前記表示内容作成ステップにより作成された表示態様でそれぞれの項目を表示する表示ステップとを備える、移動体用入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に設置された機器の入力操作に関し、より特定的には、ユーザによるメニュー各項目の選択により、所定の動作を実行する移動体用入力装置、及び方法に関する。
【背景技術】
【０００２】
移動体に設置される機器は、特に、運転の安全性の面から、走行中であるか停車中であるかにより操作項目を制限している場合がある。例えば、車両に搭載されるカーナビゲーション装置においては、自車を目的地まで誘導するナビゲーション機能のみでなく、ＣＤ、ＤＶＤ、ＨＤＤ等の様々なメディアを用いた音楽ファイルの再生等の多機能化が進んでいるため、様々な機能がひとつの機器に集約されている。
【０００３】
これらの機能のメニューは、階層化して表示されることが一般的であり、その多機能性からメニューの階層も深く、複雑になってきている。図１９に示すような表示によって、ユーザはメニュー階層をリモコンやタッチパネル等の入力部を用いて、各ボタンを押しながら階層を辿ることで機器を操作するのが一例である。この操作を運転中に行うことは、ハンドル操作がおろそかになる等の安全性の面から一部の機能のみが利用可能な構成となっている。
【０００４】
図２０に示すように、ほとんどの機能は、ボタンをトーンダウン表示することで操作ができない旨をユーザに提示し、入力をしても機能が実行できないように制限されている。例えば、赤信号によって車が停止している状態でメニュー階層をたどっていた場合、青信号になって自車を走行させたときには、次に停車するときまで続きが入力できないようになっている。また、カーナビゲーションという機器の特徴から、走行中と判定するとメニュー操作画面を終了後、地図画面に遷移してしまい、次に停車したときには、メニュー操作を最初から要求する場合もある。
【０００５】
従来の移動体用入力装置は、メニュー階層をたどっている途中に走行判定部によって走行中と判定された場合、所定の操作をすることによって、自車がある決まった速度と判定されたときに、前回のメニュー操作の続きが前回の操作履歴を残しつつ入力できるものがある。（例えば、特許文献１参照）。他には、走行中でも機器操作が可能な音声入力部を備えたものがある。これは、音声認識用の辞書に登録された専用コマンドをユーザが発話することで、機能を実行するというものである。この方法を用いることで、ユーザはハンドルから手を離すことなく安全に操作ができるようになる。しかし、音声認識の専用コマンドは数百にもわたり、それら全てをユーザが記憶するというのは不可能であり、その都度、取扱説明書を開いて専用コマンドを探すのは現実的ではない。また、音声認識用のヘルプ画面を表示する事で、一部の専用コマンドをユーザが知ることもできるが、必ずしもユーザが所望している機能を実行できるとは限らない。さらに、メニュー階層をリモコンやタッチパネル等を使ってたどり、最終的にコマンドを実行する際に、音声認識用の専用コマンド名をユーザに報知することで、音声入力の利用促進をはかったものもある。（例えば、特許文献２参照）
【特許文献１】特開２００５−４９１１０号公報
【特許文献２】特開２００１−２１６１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、メニュー階層をたどるという操作を、前回停車時に操作していたメニューの上位階層を提示することで、次に停車した場合においても継続して操作ができるように表示するものであるが、ある決まった速度まで落とさない限り走行中と判定され、当該走行中においては前回停車したときの続きを入力することができなかった。つまり、基本的には、走行中に入力操作をすることはできず、根本的な解決はなされていない。
また、上記特許文献２では、リモコン、タッチパネル等を用いてメニュー階層をたどり、コマンドを実行する際に、ユーザに音声認識用の専用コマンド名を報知することで利用促進を図っている。しかし、ユーザがよく利用するコマンドで、数が少なければ記憶することもができるが、ユーザが実行したいコマンドを全て記憶するのは難しく、またユーザの知りたい音声認識用の専用コマンドを探す手間が掛かるという問題がある。
【０００７】
本発明は、上記問題に鑑みてなされた。すなわち、走行中であるか停車中であるかの区別なく、安全にメニュー階層等をたどることができ、簡易に機器が操作できる移動体用入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の局面は、移動体入力装置に向けられている。本発明は、手操作、及び音声による入力を受け付ける入力部と、移動体の走行状態を判定する走行状態判定部と、走行状態判定部により判定された走行状態において、前記入力部が受け付ける入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定部と、項目実行可否判定部による判定に従い、手操作による実行可否、及び音声による実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成部と、表示内容作成部により作成された表示態様で項目それぞれを表示する表示部とを備える。
【０００９】
また、入力部が受け付けた入力の実行可否を決定する実行項目決定部を更に備え、表示内容作成部は、前記実行項目決定部により決定された内容に従い、入力部による入力操作の操作結果を作成し、表示部は、表示内容作成部により作成された操作結果を表示することが好ましい。
【００１０】
また、項目実行可否判定部は、項目が機能的に実行不可能なときは、手操作、又は音声入力かにかかわらず実行不可能であると判定することが好ましい。
【００１１】
また、表示内容作成部は、音声による操作のみが可能な項目と手操作、及び音声による操作が可能な項目とが区別可能な表示態様を作成することが好ましい。
【００１２】
また、表示内容作成部は、音声操作により項目が実行可能であることを、前記項目の文字部分を強調する表示態様で表示内容を作成することが好ましい。
【００１３】
また、表示内容作成部は手操作、音声操作により項目が実行可能であることを、各操作のシンボルマークを使って表示内容を作成することが好ましい。
【００１４】
また、表示内容作成部は音声操作により項目が実行可能であることを項目名称のふりがなを使って表示態様を作成することが好ましい。
【００１５】
また、表示内容作成部は、項目が音声による操作のみが可能である場合、及び手操作と音声双方による操作が可能である場合と、手操作と音声による操作の両方が不可能である場合とを区別可能な表示態様を作成することが好ましい。
【００１６】
また、表示内容作成部は、手操作と音声操作双方による項目選択が可能である場合は立体的に項目を表示する表示態様を、又は音声操作のみ項目選択が可能である場合は２次元的に表示する表示態様を、又は手操作と音声操作の両方とも項目選択が不可能である場合はトーンダウン、且つ２次元的に表示する表示態様を作成することが好ましい。
【００１７】
また、表示内容作成部は、音声操作による選択のみ項目選択が可能な項目を手操作により選択された場合、前記項目が音声による操作のみ可能であることを示す表示内容を強調表示する表示態様で作成することが好ましい。
【００１８】
また、表示内容作成部は、前記項目が音声による操作のみ可能であることを、前記項目の項目名称を強調表示、又は発話語彙若しくは項目名称を含むポップアップで表示する表示態様で作成することが好ましい。
【００１９】
また、実行項目決定部は、音声操作による項目選択が不可能であった場合、音声操作用辞書内の前記項目に対応する語彙を音声認識処理の検索対象外とすることが好ましい。
【００２０】
また、表示内容作成部は、音声操作で使用された語彙、及び／又は手操作にて選択された項目の語彙を履歴として表示する表示内容を作成することが好ましい。
【００２１】
本発明の第２の局面は、移動体入力方法に向けられている。本発明は、手操作、及び音声による入力を受け付ける入力ステップと、移動体の走行状態を判定する走行状態判定ステップと、前記走行状態判定ステップにより判定された走行状態において、前記入力ステップで受け付けた入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定ステップと、項目実行可否判定ステップによる判定に従い、手操作による実行可否、及び音声による項目操作の実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成ステップと、表示内容作成ステップにより作成された表示態様でそれぞれの項目を表示する表示ステップとを備える。
【発明の効果】
【００２２】
以上説明したように、本発明の各局面によれば、走行中であるか停車中であるかに関わらず、操作できる項目が音声操作であるか手操作であるかを予めユーザに提示することで、現在の状況で操作可能な項目と操作方法が何であるかが分かり、音声操作と手操作を区別することなく入力操作をすることが可能な移動体用入力装置を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下に、図面を参照して、本発明の実施の形態に係る移動体用入力装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。
【００２４】
図１は本発明の移動体用入力装置の概略構成を示すブロック図である。本入力装置は、入力部１００と走行状態取得部２００と制御部３００と表示部４００と実行部５００で構成される。
【００２５】
入力部１００は、例えば、走行中でも操作が可能な代表例としての音声による入力操作を受け付けるマイクロフォン、及び走行中は操作不可能な代表例としての手の接触による入力操作を受け付けるタッチパネルである。なお、本実施の形態では、手による入力操作に関しては、特に２次元座標を入力するタッチパネルでの入力を想定しているが、リモコン等による入力でもよい。
【００２６】
走行状態取得部２００は本発明の装置が搭載されている移動体（本実施の形態においては自動車とし、自車と呼ぶ）が走行状態にあることを制御部３００に入力するためのものである。その方法としては、車速パルス情報が入力されてもよいし、ＧＰステップＳ信号が入力されてもよい。また、停車状態ではないことを知らせるためにサイドブレーキが引かれている状態、もしくはギアがパーキング状態になっているかどうかが入力されてもよい。
【００２７】
表示部４００は、カーナビゲーションやオーディオ等の状態を表示する装置であって、液晶ディスプレイ、有機ＥＬ、ＣＲＴモニター、プロジェクターから投影された映像を表示する、例えば、スクリーン、ヘッドアップディスプレイである。
【００２８】
制御部３００は走行状態判定部６００と機能論理判定部７００と項目実行可否判定部８００と実行項目決定部９００と表示内容作成部１０００とからなる。各々の詳細を次に説明する。
【００２９】
走行状態判定部６００は、走行状態取得部２００より、信号を受け取り、自車が走行状態にあるかどうかを判断する。走行状態取得部２００からの信号が車速パルスであった場合、その車速パルスがある基準値を境に、基準値以上であれば走行状態を「走行中」と判定し、基準値未満であれば走行状態を「停車中」と判定する。その結果を項目実行可否判定部８００に出力する。
【００３０】
機能論理判定部７００は、メニューを構成する項目が、機能的に実行可能かどうかを判定する処理を行う。例えば、カーナビゲーションにおいて、目的地までの経路案内をしていない場合、機能論理判定部７００は、「案内中止」という項目を機能的に実行不可能状態と判定し、機能論理判定フラグを「実行不可能」と立てる。このような機能論理判定フラグを各項目に対して立て、項目実行可否判定部８００に出力する。
【００３１】
項目実行可否判定部８００は、走行状態判定部６００から走行状態が付与された項目を受け取り、機能論理判定部７００から機能論理判定フラグが付与された項目を受け取る。これらから、各項目が実行可能であるか、不可能であるかを示す項目実行可否フラグを全ての項目に対して付与する処理を行う。
【００３２】
実行項目決定部９００は、入力部１００からの信号と、項目実行可否判定部８００から項目実行可否フラグを受け取り、これら受け取った情報を元に、最終的に項目の実行可否を判定し、実行部５００と表示内容作成部１０００に情報を出力する。
【００３３】
表示内容作成部１０００は、メニューを構成する項目が実行可能か不可能かをユーザに提示する内容を作成するもので、作成した内容を表示部４００に出力する。表示内容の作成は、入力部１００からの信号によって表示内容を作成する場合と、入力部１００からの信号に関係なく、項目実行可否判定部８００からの情報から作成する場合がある。詳しくは、後述する。
【００３４】
次に、図２を用いて、項目実行可否判定部８００の処理の流れを示す。まず、項目実行可否判定部８００は、機能論理判定部７００から受け取った機能論理判定フラグを確認する（ステップＳ８０１）。
【００３５】
ステップＳ８０１において、項目実行可否判定部８００は、「実行不可能」とフラグが立っていた場合、いかなる入力に対しても項目実行は不可能であるという意味で、その項目に対しては、項目実行可否フラグに「項目実行不可」というフラグを立てる処理を行う（ステップＳ８１２）。一方、ステップＳ８０１において、項目実行可否判定部８００は、「実行可能」フラグを機能論理判定部７００から受け取った場合、対象の項目に対して、走行強制フラグを保持しているかを判定する（ステップＳ８０２）。走行強制フラグとは、停車中か走行中かによって項目実行が可能か不可能かを決定する項目に付与している。例えば、カーナビゲーションにおいては、「自宅に帰る」という項目はワンボタンで実行可能なため、走行中であるか停車中であるかに関係なく実行できる。このような項目の場合、走行強制フラグが付与されていない。
【００３６】
ステップＳ８０２において、項目実行可否判定部８００は、走行強制フラグが立っていない場合、項目実行可否フラグを、いかなる入力に対しても実行可能であるという意味で、その項目に対しては「項目実行可」というフラグを立てる処理を行う（ステップＳ８１０）。一方、ステップＳ８０２において、項目実行可否判定部８００は、走行強制フラグが立っている場合、走行状態を確認する（ステップＳ８０３）。
【００３７】
ステップＳ８０３において、項目実行可否判定部８００は、走行状態判定部６００から受け取った走行状態を参照し、「停車中」であれば、ステップＳ８１０に処理を進める。一方、ステップＳ８０３において、項目実行可否判定部８００は、走行状態判定部６００から受け取った走行状態を参照し、走行状態が「走行中」であれば、項目実行は音声のみ実行可能であるという意味で、項目実行可否フラグに「音声のみ項目実行可」と立てる処理を行う（ステップＳ８１１）。
【００３８】
ステップＳ８１０、ステップＳ８１１、ステップＳ８１２にて項目実行可否フラグが立てられたら、項目実行可否判定部８００は、全ての項目について項目実行可否フラグが付与されたかどうかを判定する（ステップＳ８２０）。
【００３９】
ステップＳ８２０において、付与されていないと判定された場合、項目実行可否判定部８００は、ステップＳ８０１に処理を戻し、付与されたと判定された場合処理を終了する。この項目実行可否フラグを実行項目決定部９００と表示内容作成部１０００に出力する。
【００４０】
ここで、本実施の形態の説明の便宜上、図１を図３と図４に分けて説明する。図３は、図１の項目実行可否判定部８００が直接、表示内容作成部１０００に出力しない場合のブロック図であり、入力部１００からの入力が実行項目決定部９００に入り、主に入力部１００からの信号によって表示内容作成部１０００が作成する表示内容を説明するための図である。図４は図１の入力部１００と実行項目決定部９００と実行部５００を除いたものであり、入力部１００からの信号に関係なく、表示内容作成部１０００が作成する表示内容を説明するためのブロック図である。
【００４１】
まず、図３について説明する。実行項目決定部９００は、入力部１００からの信号と、項目実行可否判定部８００から項目実行可否フラグを受け取る。また、入力部１００からの信号は、手操作による入力であれば、タッチパネルの接触位置座標が入力され、音声操作による入力であれば音声信号が入力される。また本実施の形態では手操作の対象機器としてタッチパネルを想定しているが、リモコンや機器周辺に付属しているエスカッションスイッチとしても、それらのスイッチが押下されたことによって、どの項目を選択したかを入力部１００からの出力として実行項目決定部９００に渡してもよい。受け取った情報を元に、最終実行項目可否フラグを立て、この情報を実行部５００に出力し、表示内容作成部１０００には項目可否判定フラグと選択された項目の情報を出力する。
【００４２】
入力部１００からの入力が手操作による場合についての実行項目決定部９００の処理の流れについて、図５ａを用いて説明する。
【００４３】
ステップＳ９０１ａで入力された接触位置の座標から、実行項目決定部９００は、接触位置座標に対応した項目を抽出する。ステップＳ９０２ａで抽出された項目に対して、実行項目決定部９００は、項目実行可否フラグの３種類（「項目実行可」、「項目実行不可」、「音声のみ項目実行可」）のうち、どのフラグかを判定する。接触位置が「項目実行不可」「音声のみ項目実行可」のフラグが立っている項目に対応する位置だった場合、実行項目決定部９００は、その項目は実行しない。この場合、実行項目決定部９００は、最終実行項目可否フラグを「項目実行不能」とし（ステップＳ９０４ａ）、処理を終了する（ステップＳ９０５ａ）。また、接触位置が「項目実行可」のフラグが立っている項目に対応する位置だった場合、実行項目決定部９００は、最終実行項目可否フラグを「項目実行」とし（ステップＳ９０３ａ）、処理を終了する（ステップＳ９０５ａ）。実行部５００は、最終実行項目可否フラグに基づいて、入力部１００によって選択された項目を実行処理する。表示内容作成部１０００は、入力部１００によって選択された項目と、その接触位置と、項目実行可否フラグが入力され、表示内容を作成し、表示部４００に出力する。
【００４４】
表示内容作成部１０００について、項目実行可否フラグとして「項目実行可」が入力された場合を説明する。この場合、選択された項目を実行するため、選択された項目をトーンアップして、次の階層画面に遷移するか、最終的な機能を実行するための画面に遷移する。最終的な機能というのは、メニュー階層の末端にある項目のことを指し、所定の機能を実行する項目である。例えば、カーナビゲーションの場合、「行き先」→「周辺検索」→「コンビニ」→「経由地設定」という階層メニューのとき、「経由地設定」というのはコマンドとなり、機能としては、現在地周辺のコンビニを検索し、経由地として設定する機能である。
【００４５】
表示内容作成部１０００が、項目実行可否フラグとして「項目実行不可」を入力された場合について説明する。この場合、選択された項目は機能的に実行できないため、その旨をユーザにフィードバックする表示内容を作成する。ここで、図６を参照する。例えば、経路案内をしていないときに、”案内中止“という項目１０３０が選択されたとする。その場合、「項目実行不可」というフラグが”案内中止“という項目１０３０に付加されているため、経路を案内しているときに使用する旨をポップアップ１０３１（新しく表示領域を作成し、その中に注意喚起等の内容を表示させるもの）を用いてフィードバックする表示をする。なお、入力待機状態等のＣＰＵが処理中でいかなる入力も一時的に受け付けない場合も同様に、その旨をユーザにフィードバックする表示をする。これにより、ユーザは間違った項目を選択したこと、又は、入力待機状態であることに気付く。またこのときに、接触位置を考慮して、選択した項目から吹き出しの表示形状を作成して、選択項目を明示してもよい。さらに、輝度や色調、フォント、文字の大きさを変更して、選択された項目１０３０を強調表示してもよい。
【００４６】
項目実行可否フラグが「音声操作のみ実行可能」の場合について説明する。この場合、音声操作による入力しか受け付けないため、項目を実行できない。つまり、音声入力であれば項目を実行することができるため、その旨をユーザにフィードバックする表示内容を作成する。図７を参照して、さらに説明する。例えば、ユーザが走行中に経由地を設定するために、「経由地」という項目１０３３を選択したとする。この場合、「経由地」という項目１０３３は音声操作による入力のみを受け付けるので、手操作を禁止していることを吹き出し１０３４を用いて伝え、さらに音声による入力を促す。このときに、音声入力の発話語彙を伝える。これにより、ユーザはどのように項目を音声で入力してよいかが分かり、音声操作に簡単に切り替えられる。また、発話語彙の部分だけフォントを大きくしたり、カギ括弧で発話語彙をくくったり、ふりがなをふったりすることで、他の文字列に埋もれることなく、視認性よく発話語彙だけを見つけることができる。また、接触位置を考慮して、選択された項目から吹き出しているような表示形状を作成することで、どの項目をユーザが選択したかを再確認できる。図８に示す例は、吹き出しではなく、選択された項目１０３５自体が強調表示される例である。選択された項目が発話による入力のみを受け付けることを示すアイコン１０２１を表示作成する。これにより、発話語彙以外の文字列を表示しないため、運転中のユーザに多くの文字を読ませることなく安全に操作でき、かつ、アイコンを表示することで、発話による入力しか項目を選択できない旨をユーザにフィードバックすることができる。また、「経由地」という文字列を項目１０３５に記載されている文字列と項目の色との差をはっきりさせることで読みやすくなる。また、ふりがなをふることで強調表示し、ユーザに発話による入力を誘導するようにしてもよい。
【００４７】
入力部１００からの入力が音声操作による場合の実行項目決定部９００の処理について、基本的な処理の流れを図５ｂを用いて説明する。実行項目決定部９００は、ステップＳ９０１ｂで入力された発話語彙について音声認識処理を行い、あらかじめ用意されている辞書内のどの語彙に該当するかの処理を行う。ここでの音声認識処理には、現在一般に普及している確率統計モデルを用いた隠れマルコフモデル（ＨＭＭ）等を適用する。また、音声認識処理には、複数の発話語彙を認識し、それらを区別して音声認識が可能になる連続音声認識処理を適用してもよい。この連続認識処理技術も既に公知の技術を用いることとする。次に、実行項目決定部９００は、該当した発話語彙がどの項目を指すかを抽出する（ステップＳ９０２ｂ）。
【００４８】
ステップＳ９０１ｂの音声認識処理とステップＳ９０２ｂの項目抽出の部分のブロック図を示した図１８を用いてさらに詳しく説明する。音声認識部９１０は、入力部１００から発話語彙を受け取る。受け取った発話語彙は発話語彙決定部９１１に渡され、辞書格納部９１２内に格納されている語彙とのマッチングを行い、一番もっともらしい語彙を発話語彙及び項目間関連抽出部９２０に出力する。次に、発話語彙及び項目決定部９２１は、入力された発話語彙がどの項目に対応するかを、発話語彙及び項目間関連度格納部９２２を参照し、発話語彙が指す項目を決定し、処理を終了する。該当する項目を抽出したら、その項目の項目実行可否フラグを参照し、「項目実行可」もしくは「音声のみ項目実行可」であれば、最終項目実行可否フラグを「項目実行」とし、「項目実行不可」であれば最終項目実行可否フラグを「項目実行不能」とし、処理を終了する。また、図５ｃに示すように、先に各項目に対して、項目実行可否フラグを抽出しておき、「項目実行不可」の項目に対応する語彙をステップＳ９０２ｃで、マッチング対象から外すために、認識対象外フラグを立てる処理を入れる。
これにより、発話語彙決定部９１１が辞書格納部９１２に格納されている語彙と発話語彙とのマッチングをする前に、認識対象外フラグが立っているかどうかを確認して、フラグが立っていない辞書格納部９１２に格納されている語彙に対して、マッチングを行う処理が追加される。こうすることで、マッチングする際に、音声認識の対象となる語彙が減少することや、認識語彙の音素パターンが近い語彙どうしが共存していた場合等で、片方が削除された場合、もう一方の語彙の認識率が向上する等の効果がある。実行部５００は実行項目決定部９００から選択された項目の最終項目実行可否フラグに基づいて、実行処理をする。
【００４９】
次に、項目実行可否フラグが「項目実行可」と「音声のみ項目実行可」であった場合について図９ａおよび図９ｂを用いて画面表示に関して詳しく説明する。表示内容作成部１０００は選択された項目と、項目実行可否フラグを受け取り、表示内容を作成し、表示部４００に作成した内容を出力する。図９ａは音声入力前の画面表示である。あらかじめ、発話した語彙が文字として表示される発話語彙表示部１０１０を設けておく。ユーザによって発話された場合、発話語彙表示部１０１０に音声認識処理をした結果を表示する。ここで、「周辺施設」と発話された場合、発話語彙表示部１０１０に「周辺施設」と表示し、次の画面に遷移する。なお、次の画面に遷移したときに発話語彙表示部１０１０に「周辺施設」と初めて表示してもよい。また図９ｂに示すように、項目が選択された時点で、その項目を強調表示し、選択されたことをユーザに提示することで、ユーザは実行項目を確認することができる。次に、図１０に示すように、「周辺施設」以下の階層に画面遷移し、続いて「ガソリンスタンド」と発話し、音声認識処理にて認識された語彙が「ガソリンスタンド」となった場合、発話語彙表示部１０１０には、「ガソリンスタンド」を表示する。この際、図１１に示すように、ユーザが今まで発話した語彙を履歴として残しつつ、「ガソリンスタンド」を表示してもよい。履歴を残すことで、ユーザが今まで辿ってきた階層を確認することができる。これに
より、ユーザが操作途中で運転に集中する場合が生じたときに、後で操作するような場合、続きの操作がスムーズに行える。
【００５０】
次に、項目実行可否フラグが「項目実行不可」の場合について説明する。この場合、機能的に項目実行が不可能であるため、手操作による入力の場合と同様とする。ただし、接触位置座標については、音声操作の場合はないため、代替として項目の情報としてあらかじめ保持している、項目ごとの座標情報を使用する。
【００５１】
ここで、図４を用いて、項目実行可否判定部８００から項目実行可否フラグが付いた項目を情報として受け取り、表示内容作成部１０００で作成する表示内容について説明する。図１２、図１３、図１４、図１５、図１６、図１７はそれぞれ、項目可否判定フラグが「項目実行可」、「項目実行不可」、「音声のみ項目実行可」の項目が全て入っている場合であり、”自宅”という項目１００１は「項目実行可」、”経由地”、”電話番号”、”周辺施設”、”登録地点”という項目１００２、項目１００３、項目１００４、項目１００５は「音声のみ項目実行可」、”案内中止”という項目１００６は「項目実行不可」のフラグが立っている。
【００５２】
図１２は、音声操作による項目実行が可能である項目１００１、１００２、１００３、１００４、１００５の項目名をカギ括弧でくくることで示し、手操作による項目実行が不可能である項目１００２、１００３、１００４、１００５をトーンダウンした状態で表した場合である。項目名をカギ括弧でくくることによって発話可能状態を示しているので、煩雑な表示をしなくても音声による可能な状態をユーザに提示することができ、かつ、表示されている文字列を発話することで項目を選択できるというヒントを与えることができる。
【００５３】
図１３は、音声操作と手操作による項目実行が可能である旨を、シンボルマーク１０２０、１０２１で示した場合である。項目実行が不可能である場合は、シンボルマーク上にバツ印を追加したシンボルマーク１０２２、１０２３を表示した例である。この場合、項目自体の意匠を変えずに項目より小さいシンボルマークを追加するだけでよい。この場合、項目の色調処理をトーンダウンする色調処理した場合に比べ、バツ印を加えた方が処理も軽く、別途トーンダウンした項目と変更する場合に比べても、項目よりシンボルマークのほうが小さいため、データ容量も小さくできる。また、ユーザはバツが付いているシンボルマークに対しては、入力無効であることが直感的にわかりやすい。なお、シンボルマークにバツ印を付ける以外に、シンボルマーク自体を表示しない場合や、シンボルマークをトーンダウンするといった場合も想定できる。
【００５４】
図１４は、音声操作による項目実行が可能であることを項目１００１、１００２、１００３、１００４、１００５の項目名にふりがなをふることで示し、手操作による項目実行が不可能である旨を、項目をトーンダウンした状態で表した場合である。この場合、解像度の低い表示装置を使用していた場合、画数の多い漢字で項目名を表記した場合、視認性が悪くなる。そこで、発話可能であるという旨を伝えると同時に、項目名が読みやすくなるという効果が考えられる。
【００５５】
図１５は、音声操作のみ操作可能である項目１００２、１００３、１００４、１００５は、手操作による項目実行が不可能なである旨をトーンダウンで示し、発話可能である項目名周辺をトーンダウンせずに表示した例である。これにより、発話可能な項目名だけトーンダウンしていないため、ユーザは項目名が読みやすくなり、項目名を読んで発話するユーザにとっても、なんら入力を妨げない。また、音声操作及び手操作による項目実行が不可能な項目１００６に対しては、項目名もトーンダウンすることで、項目名が読みにくくなり、心理的にも発話しにくい状態にしている。
【００５６】
図１６は、音声操作及び手操作による項目実行が可能である項目１００１と、音声操作のみ項目実行が可能な項目１００２、１００３、１００４、１００５と、項目実行不可能な項目１００６に対して、それぞれ固有の色を割り当てた場合を表した例である。この場合、ユーザは視認性よく各項目の状態を確認することができる。
【００５７】
図１７は、音声操作及び手操作による項目実行が可能である項目１００１は、立体的に項目を表示し、音声操作のみ操作可能である項目１００２、１００３、１００４、１００５は、２次元的に項目を表示し、項目実行不可能な項目１００６に対しては、２次元的に表示しながらトーンダウンして表示する。これにより、手操作による項目実行が不可能である項目が分かりやすく、かつ項目実行が不可能であることも、トーンダウンしているため全く項目が実行できないことが、更に分かりやすくなっている。なお、図１２から図１７で示した例を組み合わせて表示してもよい。
【００５８】
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００５９】
以上のように、本発明に係る移動体用入力装置は、走行中であるか停車中であるかによって操作できる項目が、音声操作であるか手操作であるかをあらかじめユーザに提示することができるので、特に移動体に搭載され、階層的に構成されるメニューにおいて、入力操作する機器等に有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態の構成を示すブロック図
【図２】メニュー内の項目が操作可能かどうかを判断する流れをあらわすフローチャート
【図３】本発明一実施の形態の入力部が関与した場合の構成を示すブロック図
【図４】本発明の実施形態の入力部が関与していない場合の構成を示すブロック図
【図５ａ】手による操作によって、項目選択がなされた場合、項目実行が可能かどうかをあらわす動作フローチャート
【図５ｂ】音声による操作によって、項目選択がなされた場合、項目実行が可能かどうかをあらわす動作フローチャート
【図５ｃ】音声による操作によって、項目実行が不可能な場合、先に音声認識用辞書から項目に関連する語彙をはずす処理をあらわす動作フローチャート
【図６】項目実行不可であるときの表示内容の一例を示した図
【図７】音声による操作でのみ項目選択が可能である項目を、手による操作で項目選択を行った場合の一例を示した図
【図８】音声による操作でのみ項目選択が可能である項目を、手による操作で項目選択を行った場合の一例を示した図
【図９ａ】音声による操作入力前の画面の一例を示した図
【図９ｂ】音声による操作で項目が選択された場合に、項目が強調表示された一例を示した図
【図１０】音声による操作で、発話された語彙が表示された場合の一例を示した図
【図１１】音声による操作で、発話された語彙が表示された場合の一例を示した図
【図１２】音声による操作で項目選択可能な項目の表示内容の一例を示した図
【図１３】音声による操作と手による操作によって、項目選択が可能かどうかの表示内容の一例を示した図
【図１４】音声による操作と手による操作によって、項目選択が可能かどうかの表示内容の一例を示した図
【図１５】音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図
【図１６】音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図
【図１７】音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図
【図１８】音声による操作が、項目を選択するための構成を示すブロック図
【図１９】従来の停車中の表示内容の一例を示した図
【図２０】従来の走行中の表示内容の一例を示した図
【符号の説明】
【００６１】
１００    入力部
２００    走行状態取得部
３００    制御部
４００    表示部
５００    実行部
６００    走行状態判定部
７００    機能論理判定部
８００    項目実行可否判定部
９００    実行項目決定部
９１０    音声認識部
９１１    発話語彙決定部
９１２    辞書格納部
９２０    発話語彙及び項目間関連抽出部
９２１    発話語彙及び項目決定部
９２２    発話語彙及び項目間関連度格納部
１０００    表示内容作成部
１００１    手操作と音声操作の両方とも項目実行可能な項目
１００２、１００３、１００４、１００５    手操作のみ項目実行可能な項目
１００６    手操作と音声操作の両方とも項目実行不可能な項目
１０１０    発話語彙表示部
１０３０    音声操作と手操作で実行できない項目
１０３１    項目実行できないことを伝える吹き出し
１０３３    音声でのみ操作可能な項目
【図１】
0004805279.tif 000002
【図２】
0004805279.tif 000003
【図３】
0004805279.tif 000004
【図４】
0004805279.tif 000005
【図５ａ】
0004805279.tif 000006
【図５ｂ】
0004805279.tif 000007
【図５ｃ】
0004805279.tif 000008
【図６】
0004805279.tif 000009
【図７】
0004805279.tif 000010
【図８】
0004805279.tif 000011
【図９ａ】
0004805279.tif 000012
【図９ｂ】
0004805279.tif 000013
【図１０】
0004805279.tif 000014
【図１１】
0004805279.tif 000015
【図１２】
0004805279.tif 000016
【図１３】
0004805279.tif 000017
【図１４】
0004805279.tif 000018
【図１５】
0004805279.tif 000019
【図１６】
0004805279.tif 000020
【図１７】
0004805279.tif 000021
【図１８】
0004805279.tif 000022
【図１９】
0004805279.tif 000023
【図２０】
0004805279.tif 000024