(57)【要約】  情報処理装置であって、車載装置全体の動作を制御する車載装置制御部と、物体との距離の測定及びジェスチャーの検出ができるセンシング部と、映像・画像を表示する表示部と、から構成される。センシング部は常時、表示部の前方に物体がどの距離に存在するかを監視しており、ドライバーの手が表示部の前方の特定の領域１に侵入したことを検知した場合、表示部に表示された特定のアイコンをドライバー側に移動する。さらにスピーカーを備えた場合、アイコンの移動とともに効果音や音声をスピーカーから出力する。ドライバーの手が領域１よりも表示部に近い領域２に侵入したことを検知した場合、アイコンの下層に存在するメニューを展開するように扇状に広がって表示し、効果音をスピーカーから出力する。さらに表示したメニューを一定時間表示するよう動作し、この状態において、一定時間が経過するか、ドライバーが身振りなどのジェスチャーを行うか、スイッチ入力部に入力が受け付けられるかするまで表示し続ける。
2015001875.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手の距離と位置を検知するセンシング部と、
画像または映像を表示する表示部と、
装置全体の動作を制御する装置制御部と、を備え、
前記装置制御部は、
前記センシング部において、ユーザの手が所定の領域の中で検知されると、
前記表示部に表示されたアイコンの表示位置を移動すること
を特徴とした情報処理装置。
【請求項２】
前記装置制御部は、
前記センシング部において、前記所定の領域よりも前記表示部に近い領域で前記ユーザの手が検知されると、前記アイコンの下層にあたるメニューを表示すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記装置制御部は、
前記メニューを一定時間表示すること
を特徴とした請求項２に記載の情報処理装置。
【請求項４】
ユーザのジェスチャーを検知するジェスチャー検出部を備え、
前記装置制御部は、
前記メニューを表示しているときに
前記ジェスチャー検出部にてユーザの動作を検出した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項５】
ユーザの発話を認識する音声認識部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記音声認識部にてユーザの発話を認識した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項３に記載の情報処理装置。
【請求項６】
ユーザの入力を受け付けるスイッチ部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記スイッチ部にてユーザの入力を受け付けた場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項７】
スピーカー部を備え、
前記装置制御部は、
前記センシング部がユーザの手を所定の領域内で検知したときに、
前記スピーカー部から所定の音声を出力すること、
を特徴とした請求項１記載の情報処理装置。
【請求項８】
前記装置制御部は、
前記アイコンを移動させたあと、
所定時間経過後に、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項１記載の情報処理装置。
【請求項９】
触覚インターフェイス部を備え、
前記装置制御部は、
前記、センシング部がユーザの手を所定の領域で検知した際に、
前記触覚インターフェイス部にて、所定の触覚情報をユーザに提示すること、
を特徴とした請求項１に記載の情報処理装置。
【請求項１０】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記メニューが表示されるときに、音声または触覚情報を出力すること、
を特徴とした請求項２に記載の情報処理装置。
【請求項１１】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記アイコンが初期の表示位置に戻るときに、音声または触覚情報を出力すること
を特徴とした請求項８に記載の情報処理装置。
【請求項１２】
車両の走行状態を受け付ける走行状態入力部を備え、
前記装置制御部は、
前記走行状態入力部から得られた走行状態に応じて、
所定の前記メニューについて表示の形態を変えること、
を特徴とした請求項１に記載の情報処理装置。
【発明の詳細な説明】
【参照による取り込み】
【０００１】
本出願は、２０１３年７月５日に出願された日本特許出願第２０１３−１４１３０４号の優先権を主張し、その内容を参照することにより本出願に取り込む。
【技術分野】
【０００２】
本発明は、情報処理装置に関する。
【背景技術】
【０００３】
特開２０１１−１７０５９８(特許文献１)には、タッチパネルのレイアウトを左手指と右手指の操作に適したものに変更することで、ユーザがタッチパネルでの操作をしやすくする効果が期待できるタッチパネル入力装置について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７０５９８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら前述した技術及び従来の技術では、画面に表示されたボタンをタッチするために、ユーザは手を伸ばしてタッチしなくてはならない。また、画面に表示されたボタンを注視しながらタッチするためユーザの視線は操作する対象に奪われてしまう。さらに、階層化されたメニューを表示するためにユーザは何回もタッチの操作が必要となり、操作回数や操作時間が増える。また、ジェスチャーによる操作の場合、規定の動作を行う必要があり、ユーザが動作を覚えなくてはならない。
本発明の課題は、ユーザが大きく手を伸ばす必要がなく、また、視線を長い間奪うことがなく、かつ、操作に要する操作回数ができるだけ少なく、所望の操作ができる情報処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明による情報処理装置の一例である車載装置に関して、ドライバーのディストラクション（ｄｉｓｔｒａｃｔｉｏｎ:運転操作以外の作業で運転から注意を逸らすこと）を低減して所望の操作を実現できる車載装置であり、車載装置全体の動作を制御する車載装置制御部と、物体との距離の測定及びジェスチャーの検出ができるセンシング部と、タッチによる入力が可能なタッチ入力部と、映像・画像を表示する表示部と、音を出力するスピーカーとから構成される。【０００７】
センシング部は、表示部の前方にある物体の距離を監視しており、ドライバーの手が表示部の前方の特定の領域１に侵入したことを検知した場合、車載装置制御部は表示部に表示された特定のボタンやアイコンをドライバー側に移動させるとともに、効果音をスピーカーから出力するよう制御する。センシング部が、ドライバーの手が領域１よりも表示部に近い領域２に侵入したことを検知した場合、車載装置制御部はアイコンの下層に存在するメニューを展開して表示し、効果音をスピーカーから出力するよう制御する。そして表示したメニューを一定時間表示するよう制御する。この状態になった後、一定時間が経過するか、ドライバーが身振りなどのジェスチャーを行うか、表示されたメニューがタッチされるかするまで、メニューを表示し続ける。
【発明の効果】
【０００８】
本発明によれば、ユーザが大きく手を伸ばす必要がなく、また、視線を長い間奪われることがなく、かつ、操作に要する操作の回数ができるだけ少なく、所望の操作を行うことができる。
本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一実施例における車載装置の構成図である。
【図２】本発明の第一実施例におけるセンシング部の設置例である。
【図３】本発明の第一実施例における車載装置の動作フローである。
【図４】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図５】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図６】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図７】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図８】表示部１１２の表示内容の図である。
【図９】表示部１１２の表示内容の図である。
【図１０】本発明の第二実施例における車載装置の動作フローである。
【図１１】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図１２】本発明の第三実施例におけるセンシング部の設置例である。
【図１３】本発明の第三実施例における車載装置の動作フローである。
【図１４】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図１５】表示部１１２の表示内容とユーザの手の検出領域の図である。
【図１６】ユーザの手の検出領域の図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
１．第一実施例
図１は本実施例における車載装置１０１のブロック図である。尚、本実施例における車載装置１０１は、進行方向に向かって右側にハンドルが配設された車両に搭載されるものとする。
【００１１】
車載装置制御部１０２は、ＣＰＵ及びこれにより実行されるソフトウェアにより構成され、車載装置１０１の動作全体を制御する部分であり、距離検出部１０４と位置検出部１０５とジェスチャー検出部１０６を有する。具体的には、基本的なカーナビゲーションシステムとしての動作を制御するとともに、各種入力情報に基づいて、出力する内容を制御する。
【００１２】
距離検出部１０４は、後述するセンシング部１０３から出力された電圧に基づいて、センシング部１０３からユーザの手までの距離を算出する。位置検出部１０５は、センシング部１０３から出力された電圧に基づいて、ユーザの手がどの位置に存在するのかを特定する。更に、ジェスチャー検出部１０６はセンシング部１０３から出力された電圧に基づいて、ユーザが所定の動作（以下、「ジェスチャ」）を行ったかどうかを判定する。
【００１３】
センシング部１０３は、赤外線を照射する投光器と、近距離（例えば、５ｃｍ以内）にある物体により反射された赤外線を受光する受光器と、を有する赤外線距離センサにより構成される。センシング部１０３は、受光器が受光した光量に応じた電圧を車載装置制御部１０２に出力する。
【００１４】
図２は、センシング部１０３を含む表示部１１２の具体例を示す。センシング部１０３は、複数の赤外線距離センサ１０３Ａ〜１０３Ｃを有し、赤外線センサ１０３Ａ〜１０３Ｃは、表示部１１２の右端に、縦に並んで配置される。赤外線センサ１０３Ａ〜１０３Ｃは、夫々独立して、受光器が受光した光量に応じた電圧を車載装置制御部１０２に出力する。ドライバーであるユーザが表示部１１２の前面に手を差し出している間、センシング部１０３の前方にユーザの手や腕があることになる。
【００１５】
このとき、何れの赤外線センサ１０３Ａ〜１０３Ｃがユーザの手などを検出しているのかを特定することにより、車載装置制御部１０２は、ユーザの手が、表示部１１２の上側、中側及び下側の何れにあるのかを検出することができる。また、車載装置制御部１０２は、センシング部１０３により出力された電圧の高さにより、例えば、ユーザの指とセンシング部１０３との距離を知ることができる。
【００１６】
尚、図２に示されるように、本実施例では、センシング部１０３から第一の距離（例えば、５ｃｍ）までの表示部１１２前方の空間を領域１とし、センシング部１０３から第二の距離（例えば、２．５ｃｍ）までの表示部１１２前方の空間であって、表示部１１２の上側半分を領域２と定義し、更に、センシング部１０３から第二の距離（例えば、２．５ｃｍ）までの表示部１１２前方の空間であって、表示部１１２の下側半分を領域３と定義している。
【００１７】
車載装置制御部１０２は、これらの各距離と、センシング部１０３から出力される電圧値と、ユーザの手などを検出した赤外線距離センサの種別と、の関係を定めたデータテーブルを記憶し、このデータテーブルと、実際にセンシング部１０３から出力された電圧とに応じて、ユーザの手などが、領域１〜３の何れに存在するのかを特定する。
【００１８】
なお、センシング部１０３を構成する赤外線距離センサの数及び設置位置は、本実施例に限られるものではない。図２のセンシング部１０３は、右ハンドル車の場合、ドライバーの手が右側から来ると考えられるため表示部１１２の右側に設置する例を表している。左ハンドル車の場合は、ドライバーの手が左側から来ることが考えられるため表示部１１２の左側に設置するようにしてもよい。また、パーソナルコンピュータやデジタルサイネージなどに適用する場合、利き手側にセンシング部１０３を設置するようにしてもよい。センシング部１０３を用いて車載装置制御部１０２が特定する領域の数も、本実施例に限られない。
【００１９】
また、センシング部１０３を構成するものとしては、赤外線距離センサに限られず、例えば、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、又はイメージセンサなどのセンサ、並びに、データ処理を行うマイコン及びマイコン上で動作するソフトウェアで構成しても良い。
【００２０】
再び、図１に戻り、音声認識部１０８は、マイクロホン１０７から得られた音データを基に、音声認識を行い、入力された音声を文字情報や車載装置１０１への操作を示す信号に変換する。
【００２１】
スイッチ入力部１０９は、車載装置１０１に設置されたスイッチが押下されたかどうかを車載装置制御部１０２に伝達する。
【００２２】
タッチ入力部１１０は、タッチされた座標を車載装置制御部１０２に伝達する。
【００２３】
走行状態入力部１１１は、車載装置１０１が設置された車両の状態に関する情報を入力する部分であり、車速、アクセル、各種ブレーキの状態、などの情報を車載装置制御部１０２に伝達する。
【００２４】
表示部１１２は、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）、などのディスプレイ装置と、映像コンテンツやＧＵＩ（Graphical User Interface）などの表示処理に必要な演算処理装置やメモリを有する装置である。尚、本実施例における表示部１１２は、タッチ入力部１１０と一体化されたタッチパネルが適用される。スピーカー１１３は、音を外部に出力する手段である。
【００２５】
触覚インターフェイス部１１４は、ユーザが接触するデバイスに設置されており、例えば、ハンドルや着座シートなどに設置される。車載装置制御部１０２から命令されたタイミングで振動や微弱な電流を流すなどし、触覚を介してユーザに情報を伝える。
【００２６】
図３のフローチャートを用いて、車載装置制御部１０２の動作を説明する。本フローチャートは車両のエンジンが始動すると車載装置１０１の動作が開始する。なお、図４に示すように表示部１１２には、地図や時刻などのナビゲーションに関する情報と各種アイコンが表示される。本実施例では、NAVIアイコンとAVアイコンが表示されている。本実施例では、ユーザが項目を選択するための項目選択画面が階層化されて車載装置制御部１０２により記憶されている。
【００２７】
車載装置制御部１０２は、センシング部１０３を起動させる（Ｓ３０１：「センシング部起動」）。そして図４に示すような領域１の中にユーザの手が検出されるかどうかを監視し、図５に示すように、領域１の中にユーザの手を検出した場合（Ｓ３０２：「領域１に手を検出？」Yes）、車載装置制御部１０２は、第一の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３０３：「スピーカーから効果音を出力」）。ここでの効果音は、例えば手が領域１に入ったことを示すような「ポンッ」などの音や、物体が移動するような「シュルッ」などの音である。
【００２８】
車載装置制御部１０２は、例えば図５におけるNAVIボタンのように、表示部１１２により表示されている所定のアイコンを右側、即ちドライバー側に移動するように表示部１１２を制御する（Ｓ３０４：「所定のアイコンを所定の位置に移動」）。ここで、NAVIボタンは「NAVI」という文字を図形の中に表示しているが、図形の中に表示せず、「NAVI」という文字だけを表示して、領域１の中にユーザの手が検出されたとき、「NAVI」という文字だけが所定位置に移動するようにしても良い。その後、センシング部１０３が領域１の中にユーザの手を検知しなくなれば（Ｓ３０５：「領域１内に手が存在？」No）、車載装置制御部１０２は、第二の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３０６：「スピーカーから効果音を出力」）。
【００２９】
ここでの効果音は、例えば手が領域から出たことを示すような「ポンッ」などの音や、物体が移動するような「シュルッ」などの音である。そして、車載装置制御部１０２は、移動したアイコンを図４に示す初期の表示位置に戻すよう表示部１１２を制御する（Ｓ３０７：「アイコンを初期位置に戻す」）。
【００３０】
センシング部１０３が、領域１の中にユーザの手が存在し（Ｓ３０５：「領域１内に手が存在？」Yes）、かつ図６における領域２の中でユーザの手を検知した場合（Ｓ３０８：「領域２か領域３内に手が存在？」領域２）、車載装置制御部１０２は、図６に示すように、NAVIアイコンの下層にあたるメニューを、扇状に広がって表示するよう表示部１１２を制御する（Ｓ３０９：「所定のアイコンのメニューを展開」）。本実施例では、NAVIアイコンの下層にあたるメニューである「目的地」、「周辺検索」、「地点登録」および「自宅」のメニューがそれぞれ表示される。
【００３１】
同様に、ユーザの手が図７における領域３に、センシング部１０３が検知した場合は（Ｓ３０８：「領域２か領域３内に手が存在？」領域３）、車載装置制御部１０２は、図７に示すようにAVアイコンの下層にあたるメニューを扇状に広がって表示するよう表示部１１２を制御する（Ｓ３１０：「所定のアイコンのメニューを展開」）。本実施例では、「AV」アイコンの下層にあたるメニューである「ＦＭ/ＡＭ」、「リスト」、「曲送り」および「曲戻し」がそれぞれ表示される。
【００３２】
車載装置制御部１０２は、画面上の動きに合わせた第三の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３１１：「スピーカーから効果音を出力」）。ここでの効果音は、例えば物が拡散するような「シャッ」などの音を出力する。また、メニューが展開するように表示された状態を知らせるよう「カチッ」などの効果音を用いてもよい。
【００３３】
その後、車載装置制御部１０２は、扇状に広がって展開したように表示したメニューを一定時間表示し続ける（Ｓ３１２：「メニューの展開を固定」）。ジェスチャー検出部１０６が、例えばセンシング部１０３の前方でユーザがバイバイの動作をするなどのジェスチャーを検出した場合（Ｓ３１３：「所定のジェスチャーを検出？」Yes）、車載装置制御部１０２は、扇状に広がって展開したように表示したメニューの表示をやめ（Ｓ３１４：「展開されたメニューを閉じる」）、Ｓ３０６、Ｓ３０７のステップに移る。
【００３４】
ジェスチャー検出部１０６がユーザのジェスチャーを検出せず（Ｓ３１３：「所定のジェスチャーを検出？」No）、一定時間、例えばメニューが表示されてから10秒間が経過した場合（Ｓ３１５：「所定の時間が経過？」Yes）、車載装置制御部１０２は、Ｓ３１４のステップの処理を実行する。表示されたメニューがタッチされるなどして、ユーザの入力操作を受け付けると、タッチにより選択したメニューが、それまで表示されていたアイコンの場所にアイコンとして表示され、選択したメニューの下層にあるメニューが扇状に広がって表示される。例えば、「目的地」をタッチにより選択した場合、「目的地」がNAVIアイコンを表示していた場所にアイコンとして表示され、「目的地」の下層にあるメニューが扇状に広がって表示される。メニューを選択して最下層まで進み、所望の項目を選択すると（Ｓ３１６：「ユーザの入力操作が終了？」Yes）、車載装置制御部１０２は、アイコンをメニューの最上位にして初期の表示位置に戻し（Ｓ３１７：「アイコンを初期位置に戻す」）、Ｓ３０２のステップの処理を実行する。
【００３５】
メニューが表示されると、Ｓ３１３、Ｓ３１５、Ｓ３１６の条件判定を繰り返し行う。なお、図３における動作フローにおいて、一度、領域２か３のどちらかでユーザの手を検知し、Ｓ３１２の処理でメニューが表示されても、その後、別の領域で手が検知された場合は、新たに検知した領域に対応したメニューの表示（Ｓ３０９かＳ３１０）を行うような構成としても良い。これによって、ユーザがタッチすることなくメニューが表示されるため、タッチ操作の回数を減らし、操作時間を減らすことができる。
【００３６】
なお、Ｓ３１３においては所定のジェスチャーを検出したかどうかを判定するが、音声認識部１０８において所定の発話を検知したかどうかを判定するような構成としてもよい。所定の発話とは例えば、「キャンセル」や「ホーム」、「戻る」などの言葉を適用可能である。これによって、ユーザがセンシング部１０３の前に手をかざさずに、展開するように扇状に表示されたメニューの表示をやめることができるため、ユーザの注意を車両の運転から逸らしてしまう可能性をより低減することが期待できる。また、ハードスイッチやステアリングコントローラなどのボタン押下で展開するように表示されていたメニューの表示をやめてアイコンを初期の表示位置に戻すようにしても良い。
【００３７】
また、スピーカー１１３から効果音や音声を出力する構成を、スピーカー１１３の効果音の出力の代わり、もしくはスピーカー１１３の効果音の出力と同時に、触覚ＩＦ部１１４を作動させるような構成としてもよい。これによって、周囲の騒音が大きくスピーカー１１３からの音がユーザに聞こえないような場合でも、ユーザの触感を通して情報を伝達することができるため、ユーザに適切に操作の状況を伝えることができる。
【００３８】
以上の通り、本実施例によれば、ドライバーが表示部１１２に手をかざすだけで、所定のアイコンがドライバー側に移動して表示部１１２に表示されるため、ドライバーは運転の姿勢を大きく崩すことなくそのアイコンの下層にあたるメニューのタッチ操作を行うことができる。
【００３９】
また、目的のアイコンをタッチすることなく手を側に近づけるだけで、アイコンの下層にあたるメニューが表示されるため、タッチ操作の手間、回数または時間を減らすことができ、操作に伴ってドライバーが車両の運転から注意を逸らしてしまう可能性を低減することができる。
【００４０】
さらに、一度メニューを表示した状態が一定時間継続されることで、ドライバーが一旦手をハンドルに戻しても、再度操作する際、メニューが表示された状態で操作を再開できるため、メニューを表示しなおす時間等を削減できる。また、メニューの表示をやめる際には、一定時間の経過や、ジェスチャー、又は音声認識など簡単な操作で実現可能なため、車両の運転から注意を逸らしてしまう可能性を減らすことができる。
【００４１】
なお、Ｓ３０９もしくはＳ３１０にて、メニューを表示する際に、走行状態入力部１１１からの情報を基に、操作可能なメニューを制限するような構成としてもよい。具体的には、走行状態入力部１１１の入力から走行状態を判断し、車両が走行状態ではない場合は、全てのメニューについて操作が可能とし、車両が走行状態の場合は、一部のメニューの操作を規制する。
【００４２】
本実施例では、図８のように、「目的地」と「周辺検索」のメニューを走行中は操作できないようグレーアウトしタッチ操作不可とする。これによって、走行中にドライバーが複雑な操作を行うことを未然に防ぐため、安全運転に寄与することができる。また、領域１の中に手が検知されない状態で、初期の表示位置に表示されているアイコンをタッチした場合は、図９に示すように、走行状態に関わらず全てのメニューの操作が可能なようにする。これによって、運転をしないドライバー以外の人物、例えば助手席の人物であれば走行中でも複雑な操作が可能となる。
【００４３】
なお、図２におけるセンサ素子の設置について、センサ数がより少ない場合、例えば、１０３Ｂのみを用いた構成の場合は、本実施例で説明した動作について、二つの領域のどちらかに手が入ったかを区別しないで、図４における領域１に手が入ったかどうかの判定動作を行う。具体的には、領域１にて手が検知されたら、ドライバーから遠いアイコンをドライバーに近づけ、さらに手が近づいたことが検知された場合は、そのアイコンの下層にあたるメニューを展開するように扇状に広がって表示させる。その後の動作については図３のフローと同様である。
【００４４】
２．第二実施例
本実施例における装置の構成は図１に記載の車載装置１０１と同様である。図１０の動作フローを用いて、本実施例における車載装置１０１の動作について詳細を説明する。なお、図３と同様の動作を行うステップにおいては、図１０中に図３と同じ通し番号を付し、説明を省略する。
【００４５】
車載装置制御部１０２は、センシング部１０２の情報に基づいてユーザの手が領域１の中に存在すると検知すると、車載装置制御部１０２は、表示部１１２に表示されている所定のアイコン（NAVIボタン）を移動するよう表示部１１２を制御し（Ｓ３０２からＳ３０４）、移動したアイコンの下層にあたるメニューを図１１に示すように表示部１１２に展開するように表示するよう、制御する（Ｓ１００１：「メニューを展開」）。
【００４６】
その後、車載装置制御部１０２は、センシング部１０２の情報に基づいて図６に示されているような領域２の中にユーザ手が存在すると検知すると（Ｓ１００２：「領域２か３内に手が存在？」領域２）、スピーカー１１３から第三の効果音を出力するよう制御する（Ｓ１００４：「スピーカーから効果音を出力」）。
【００４７】
一方、車載装置制御部１０２は、図７に示されているような領域３の中にユーザの手が存在すると検知した場合は（Ｓ１００２：「領域２か３内に手が存在？」領域３）、既に表示部１１２に表示されているNAVIアイコンの下層のメニューの表示をやめ、もう一方のアイコン（AVアイコン）の下層のメニューを扇状に広がって表示するよう制御する（Ｓ１００３：「メニューの展開を閉じ、所定のアイコンのメニューを展開」）。
【００４８】
また、Ｓ３０６の処理を実行した後は、車載装置制御部１０２は、NAVIアイコンまたはAVアイコンの下層にあたるメニューの表示をやめるよう表示部１１２を制御する処理（Ｓ１００５「展開されたメニューを閉じる」）が追加される。
【００４９】
なお、Ｓ１００１において、表示される下層のメニューは、NAVIアイコンに限らず、AVアイコンであっても良い。さらに、これらの表示の設定に関しては、ユーザが事前に決定しておけるような構成としても良い。これによって、ユーザの嗜好に沿ったメニューの表示ができ、所望の操作を実現するまでの手間、操作数をより低減することができる。
【００５０】
以上の動作を行う車載装置１０１によって、ドライバーは手を伸ばすだけで、表示部１１２に表示されているアイコンがドライバー側に移動し、表示されているアイコンの下層のメニューボタンが表示されるため、ドライバーは運転の姿勢を大きく崩すことなく車載装置の操作を行うことができ、タッチ操作の手間、回数または時間を減らすことができるため、車両の運転から注意を逸らしてしまう可能性を低減することができる。
【００５１】
３．第三実施例
本実施例においては、装置の構成は図１に記載の車載装置１０１と同様である。また、ドライバー側のユーザの手の動きに対する動作に関しては前述の実施例と同様である。以下では、本実施例の特徴である、助手席側のユーザの手の検知を行う動作について説明する。
【００５２】
図１２は本実施例におけるセンシング部１０３の設置例である。表示部１１２に対して、右ハンドル車両におけるドライバー側に縦に配置されており、１０３Ａ、１０３Ｂ、１０３Ｃの３箇所にセンサ素子を設置している。さらに、表示部１１２の横方向にも１０３Ｄと１０３Ｅの２個の素子を設置する。これによって、実施例１または実施例２で説明したようにドライバー側の手を検知するとともに、図１２下図に示すように助手席側のユーザの手の位置と距離を検出することが可能となる。
【００５３】
図１３の動作フローを用いて、本実施例における車載装置１０１の動作について詳細を説明する。
【００５４】
まず車両のエンジンが始動するなどして、車載装置１０１の動作が開始する。図１４に示すように車載装置制御部は、表示部１１２に、地図や時刻などのナビゲーションに関する情報と各種アイコンが表示されるように制御する。
【００５５】
本実施例は、表示部１１２にNAVIアイコンとAVアイコンが表示される。センシング部１０３は図１４に示すような領域４（センシング部１０３から第一の距離にある表示部１１２の前方、左半分の領域）の中に、助手席のユーザの手が検出されるかどうかを監視し、図１５に示すように、センシング部１０３が領域４にユーザの手が存在すると検出した場合（Ｓ１３０２「領域４に手を検出？」：Yes）、車載装置制御部１０２は、スピーカー１１３から第四の効果音や音声を出力するよう制御する（Ｓ１３０３：「スピーカーから効果音を出力」）。効果音は物体が移動するような音、例えば「シュルッ」などのような音を出力する。
【００５６】
そして車載制御装置１０２は、表示部１１２に表示されているアイコン（図１５におけるNAVIアイコン）を助手席側に移動する（Ｓ１３０４：「所定のアイコンを所定の位置に移動」）ように制御する。その後、センシング部１０３が領域４にユーザの手を検知しなくなると、（Ｓ１３０５：「領域４内に手が存在？」No）、車載装置制御部１０２は、スピーカー１１３から効果音や音声を出力するよう制御する（Ｓ１３０６：「スピーカーから効果音を出力」）。
【００５７】
効果音は物体が移動するような音、例えば「シュルッ」などのような音を出力する。また、車載装置制御部１０２は、助手席側へ移動したアイコンを初期の表示位置に戻すよう表示部１１２を制御する（Ｓ１３０７：「アイコンを初期位置に戻す」）。
【００５８】
車載装置制御部１０２は、センシング部１０３が領域４にユーザの手を検知し（Ｓ１３０５：「領域４内に手が存在？」Yes）、かつ図１６における領域５（センシング部１０３から第二の距離にある表示部１１２の前方、左半分の領域）でもユーザの手を検知した場合（Ｓ１３０８：「領域５か領域６内に手が存在？」領域５）、NAVIアイコンの下層にあたるメニューを展開するように表示する（Ｓ１３０９：「所定のアイコンのメニューを展開」）よう、表示部１１２を制御する。
【００５９】
本実施例では、NAVIアイコンの下層にあたるメニュー「目的地」、「周辺検索」、「地点登録」、「自宅」がそれぞれ表示される。同様に、センシング部１０３が図１６における領域６（センシング部１０３から第二の距離にある表示部１１２の前方、右半分の領域）にユーザの手を検知すると（Ｓ１３０８：「領域５か領域６内に手が存在？」領域６）、車載装置制御部１０２はAVアイコンの下層にあたるメニューを表示するよう表示部１１２を制御する（Ｓ１３１０）。
【００６０】
本実施例では、AVアイコンの下層にあたるメニュー「ＦＭ/ＡＭ」、「リスト」、「曲送り」、「曲戻し」がそれぞれ表示される。
【００６１】
Ｓ１３０９もしくはＳ１３１０の処理を行うときに、車載装置制御部１０２は、表示部１１２の処理に合わせた効果音や音声をスピーカー１１３から出力するよう制御する（Ｓ１３１１：「スピーカーから効果音を出力」）。例えば物が拡散するような「シャッ」などのような音を出力する。
【００６２】
その後、そのメニューを表示する（Ｓ１３１２：「メニューの展開を固定」）。ユーザがジェスチャー（例えば、センシング部１０３の前方でバイバイの動作をする、など）を行ったことを、センシング部１０２が検出した場合（Ｓ１３１３：「所定のジェスチャーを検出？」Yes）、表示していたメニューの表示をやめ（Ｓ１３１４：「展開されたメニューを閉じる」）、Ｓ１３０６、Ｓ１３０７の処理をする。ジェスチャーは検出されず（Ｓ１３１３：所定のジェスチャーを検出？」No）、所定の時間、例えばメニューが表示されてから10秒間が経過した場合（Ｓ１３１５：「所定の時間が経過？」Yes）、Ｓ１３１４へ進み、展開するように表示しているメニューの表示をやめる。
【００６３】
また、表示されているメニューをタッチするなどして、ユーザの入力操作を受け付けると、タッチにより選択したメニューが、それまで表示されていたアイコンの場所にアイコンとして表示され、選択したメニューの下層にあるメニューが扇状に広がって表示される。例えば、「目的地」をタッチにより選択した場合、「目的地」がNAVIアイコンを表示していた場所にアイコンとして表示され、「目的地」の下層にあるメニューが扇状に広がって表示される。メニューを選択して最下層まで進み、所望の項目を選択すると（Ｓ１３１６：「ユーザの入力操作が終了？」Yes）、車載装置制御部１０２は、アイコンをメニューの最上位にしてドライバー側に移動したアイコンを初期の表示位置に戻すよう表示部１１２を制御し（Ｓ１３１７：「アイコンを初期位置に戻す」）、Ｓ１３０２の処理を行う。
【００６４】
アイコンの下層にあたるメニューが表示された後は、Ｓ１３１３、Ｓ１３１５、Ｓ１３１６の処理を繰り返し行う。なお、図１３における動作フローにおいて、領域５か６のどちらかでユーザの手を検知し、Ｓ１３１２の処理でメニューが表示されつづけても、その後、別の領域で手が検知された場合は、新たに検知した領域に対応したメニューの表示（Ｓ１３０９かＳ１３１０）を行うような構成としても良い。
【００６５】
これによって、ユーザがスムーズにメニューの表示を切り替えることができるため、所望のメニューが探索しやすくなる。また、Ｓ１３１３においては所定のジェスチャーを検出したかどうかを判定するが、音声認識部１０８において所定の発話が検知された場合を判定するような構成としてもよい。所定の発話とは例えば、「キャンセル」や「ホーム」、「戻る」などの任意の言葉を設定する。これによって、ユーザがセンシング部１０３の前に手をかざさずに、メニューの表示をやめてアイコンを初期の表示位置に戻すことができる。また、ハードスイッチやステアリングコントローラなどのボタン押下で展開するように表示されていたメニューの表示をやめて、アイコンを初期の表示位置に戻すようにしても良い。
【００６６】
以上のような動作フローに基づいて車載装置を動作させることで、ドライバーのみならず助手席の人が手をかざすだけで、メニューが助手席側に表示される。また、所望の操作を行う際に、目的のアイコンをタッチすることなく手を側に近づけるだけで、アイコンの下層にあたるメニューが表示されるため、タッチ操作の手間、回数を減らすことができる。また、メニューの表示をやめる場合には、一定時間の経過や、ジェスチャー、音声認識で解除が可能なため、助手席側の人物のディストラクションはほとんど生じない。
【００６７】
なお、全ての実施例において車載装置を例に説明したが、本発明はこれに限るものではなく、パーソナルコンピュータやデジタルサイネージなどのディスプレイ部と入力手段を有するものにおいて適用することができる。
【００６８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００６９】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００７０】
１０１  車載装置
１０２  車載装置制御部
１０３  センシング部
１０４  距離検出部
１０５  位置検出部
１０６  ジェスチャー検出部
１０７  マイクロホン
１０８  音声認識部
１０９  スイッチ入力部
１１０  タッチ入力部
１１１  走行状態入力部
１１２  表示部
１１３  スピーカー
１１４  触覚ＩＦ部
【図１】
2015001875.tif 000003
【図２】
2015001875.tif 000004
【図３】
2015001875.tif 000005
【図４】
2015001875.tif 000006
【図５】
2015001875.tif 000007
【図６】
2015001875.tif 000008
【図７】
2015001875.tif 000009
【図８】
2015001875.tif 000010
【図９】
2015001875.tif 000011
【図１０】
2015001875.tif 000012
【図１１】
2015001875.tif 000013
【図１２】
2015001875.tif 000014
【図１３】
2015001875.tif 000015
【図１４】
2015001875.tif 000016
【図１５】
2015001875.tif 000017
【図１６】
2015001875.tif 000018
【手続補正書】
【提出日】平成28年6月27日(2016.6.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの手の距離と位置を検知するセンシング部と、
画像または映像を表示する表示部と、
装置全体の動作を制御する装置制御部と、を備え、
前記装置制御部は、
前記センシング部において、ユーザの手の存在が所定の領域の中で検知されると、前記表示部に表示されたアイコンの表示位置を手の存在が検知された方向に移動し、
前記センシング部において、前記所定の領域よりも前記表示部に近い領域で前記ユーザの手の存在が検知されると、手の存在が検知された領域に対応する表示部に表示されている前記アイコンの下層にあたるメニューを表示すること、
を特徴とした情報処理装置。
【請求項２】
前記装置制御部は、前記アイコンの下層にあたるメニューが表示された前記表示部において、ユーザの手の前記表示部への接触により入力操作をおこなうことを特徴とした請求項１に記載の情報処理装置。
【請求項３】
前記装置制御部は、
前記メニューを一定時間表示すること
を特徴とした請求項１に記載の情報処理装置。
【請求項４】
ユーザのジェスチャーを検知するジェスチャー検出部を備え、
前記装置制御部は、
前記メニューを表示しているときに
前記ジェスチャー検出部にてユーザの動作を検出した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項５】
ユーザの発話を認識する音声認識部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記音声認識部にてユーザの発話を認識した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項３に記載の情報処理装置。
【請求項６】
ユーザの入力を受け付けるスイッチ部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記スイッチ部にてユーザの入力を受け付けた場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項７】
スピーカー部を備え、
前記装置制御部は、
前記センシング部がユーザの手を所定の領域内で検知したときに、
前記スピーカー部から所定の音声を出力すること、
を特徴とした請求項１記載の情報処理装置。
【請求項８】
前記装置制御部は、
前記アイコンを移動させたあと、
所定時間経過後に、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項１記載の情報処理装置。
【請求項９】
触覚インターフェイス部を備え、
前記装置制御部は、
前記、センシング部がユーザの手を所定の領域で検知した際に、
前記触覚インターフェイス部にて、所定の触覚情報をユーザに提示すること、
を特徴とした請求項１に記載の情報処理装置。
【請求項１０】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記メニューが表示されるときに、音声または触覚情報を出力すること、
を特徴とした請求項１に記載の情報処理装置。
【請求項１１】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記アイコンが初期の表示位置に戻るときに、音声または触覚情報を出力すること
を特徴とした請求項８に記載の情報処理装置。
【請求項１２】
車両の走行状態を受け付ける走行状態入力部を備え、
前記装置制御部は、
前記走行状態入力部から得られた走行状態に応じて、
所定の前記メニューについて表示の形態を変えること、
を特徴とした請求項１に記載の情報処理装置。
【手続補正書】
【提出日】平成28年11月29日(2016.11.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの手の距離と位置を検知するセンシング部と、
画像または映像を表示する表示部と、
車両の走行状態を受け付ける走行状態入力部と、
ユーザのタッチ入力を受け付けるタッチ入力部と、
装置全体の動作を制御する装置制御部と、を備え、
前記装置制御部は、
前記センシング部において、ユーザの手の存在が所定の領域の中で検知されると、前記表示部に表示されたアイコンの表示位置を手の存在が検知された方向に移動し、
前記センシング部において、前記所定の領域よりも前記表示部に近い領域で前記ユーザの手の存在が検知されると、手の存在が検知された領域に対応する表示部に表示されている前記アイコンの下層にあたるメニューを、前記走行状態入力部から得られた走行状態に応じて形態を変えて表示し、
前記タッチ入力部において、初期の表示位置に表示されているアイコンに対するユーザのタッチ入力を受け付けると、前記走行状態入力部から得られた車両の走行状態にかかわらず、タッチ入力を受け付けた前記アイコンの下層にあたるメニューを表示すること、
を特徴とした情報処理装置。
【請求項２】
前記装置制御部は、前記アイコンの下層にあたるメニューが表示された前記表示部において、ユーザの手の前記表示部への接触により入力操作をおこなうことを特徴とした請求項１に記載の情報処理装置。
【請求項３】
前記装置制御部は、
前記メニューを一定時間表示すること
を特徴とした請求項１に記載の情報処理装置。
【請求項４】
ユーザのジェスチャーを検知するジェスチャー検出部を備え、
前記装置制御部は、
前記メニューを表示しているときに
前記ジェスチャー検出部にてユーザの動作を検出した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項５】
ユーザの発話を認識する音声認識部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記音声認識部にてユーザの発話を認識した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項３に記載の情報処理装置。
【請求項６】
ユーザの入力を受け付けるスイッチ部を備え、
前記装置制御部は、
前記メニューが表示されているときに、
前記スイッチ部にてユーザの入力を受け付けた場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
を特徴とした請求項３に記載の情報処理装置。
【請求項７】
スピーカー部を備え、
前記装置制御部は、
前記センシング部がユーザの手を所定の領域内で検知したときに、
前記スピーカー部から所定の音声を出力すること、
を特徴とした請求項１記載の情報処理装置。
【請求項８】
前記装置制御部は、
前記アイコンを移動させたあと、
所定時間経過後に、前記アイコンを初期の表示位置に戻すこと
を特徴とした請求項１記載の情報処理装置。
【請求項９】
触覚インターフェイス部を備え、
前記装置制御部は、
前記、センシング部がユーザの手を所定の領域で検知した際に、
前記触覚インターフェイス部にて、所定の触覚情報をユーザに提示すること、
を特徴とした請求項１に記載の情報処理装置。
【請求項１０】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記メニューが表示されるときに、音声または触覚情報を出力すること、
を特徴とした請求項１に記載の情報処理装置。
【請求項１１】
スピーカー部または接触インターフェイス部を備え、
前記装置制御部は、
前記アイコンが初期の表示位置に戻るときに、音声または触覚情報を出力すること
を特徴とした請求項８に記載の情報処理装置。
【国際調査報告】
2015001875.tif 000019
2015001875.tif 000020
2015001875.tif 000021
2015001875.tif 000022