(57)【要約】  情報表示装置は、所定の情報を示す補助画像を外界画像に重畳させて表示可能な表示装置と、ユーザのジェスチャを検出するジェスチャ検出部と、ユーザの視線を検出する視線検出部と、ジェスチャ検出部及び視線検出部の検出結果に基づいて、表示装置の表示を制御する制御部と、を備える。前記補助画像は、第１補助画像及び、当該第１補助画像とは異なる第２補助画像を含み、制御部は、外界画像におけるユーザの第１部位に第１補助画像を重畳させて表示装置に表示中に、第１部位とは異なる第２部位に第１補助画像とは異なる第２補助画像を表示させることを指示する表示開始用ジェスチャをジェスチャ検出部が検出する場合、視線検出部によって検出された視線が第２部位に対応する所定領域以外に向いていると、表示開始用ジェスチャを無効とする。
2020171098.tif 000002
【特許請求の範囲】
【請求項１】
所定の情報を示す補助画像を外界画像に重畳させて表示可能な表示部と、  ユーザのジェスチャを検出するジェスチャ検出部と、  前記ユーザの視線を検出する視線検出部と、  前記ジェスチャ検出部及び前記視線検出部の検出結果に基づいて、前記表示部の表示を制御する制御部と、を備え、  前記補助画像は、第１補助画像及び、当該第１補助画像とは異なる第２補助画像を含み、  前記制御部は、前記外界画像における前記ユーザの第１部位に前記第１補助画像を重畳させて前記表示部に表示中に、前記第１部位とは異なる第２部位に前記第２補助画像を表示させることを指示する表示開始用ジェスチャを前記ジェスチャ検出部が検出する場合、前記視線検出部によって検出された視線が前記第２部位に対応する所定領域以外に向いていると、前記表示開始用ジェスチャを無効とする、  情報表示装置。
【請求項２】
前記制御部は、前記所定領域以外に前記視線が向く状態が所定時間以上維持される場合、前記視線が前記所定領域以外に向いていると判断する、  請求項１に記載の情報表示装置。
【請求項３】
前記制御部は、前記第１補助画像又は前記第２補助画像の表示中に表示内容を切り替える指示を示す内容切替用ジェスチャを前記ジェスチャ検出部が検出する場合、前記第１補助画像又は前記第２補助画像を他の補助画像に変更する、  請求項１又は２に記載の情報表示装置。
【請求項４】
前記内容切替用ジェスチャは、前記第１部位又は前記第２部位を用いるジェスチャである、  請求項３に記載の情報表示装置。
【請求項５】
前記制御部は、前記外界画像において前記補助画像が重畳される前記第１部位又は前記第２部位の移動に追従して前記補助画像の位置を変更する、  請求項１から４のいずれか１項に記載の情報表示装置。
【請求項６】
前記制御部は、前記補助画像の表示中に表示を終了させる指示を示す終了用ジェスチャを前記ジェスチャ検出部が検出する場合、前記補助画像の表示を終了する、  請求項１から５のいずれか１項に記載の情報表示装置。
【請求項７】
前記第１部位及び前記第２部位は、前記ユーザの左右で互いに同じ側の部位である、  請求項１から６のいずれか１項に記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、情報表示装置に関する。
【背景技術】
【０００２】  ＡＲ（拡張現実）技術を用いてユーザの身体上に各種情報を表示する情報表示装置が知られている。例えば、非特許文献１には、カメラを用いてユーザの手ひらを検出し、当該手のひらにＡＲ技術により電話用キーパッドを表示する技術が記載される。また、非特許文献１には、手のひらの表裏や回転を検出してメニューを切り替えることが記載される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】佐々木 博史、“ウェアラブルコンピュータに適した手を用いたデバイスレスインタフェースに関する研究”、［online］、2003年3月24日、奈良先端科学技術大学院大学、［平成30年11月14日検索］、インターネット〈URL：https://library.naist.jp/mylimedio/dllimedio/showpdf2.cgi/DLPDFR002510_P1-95〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】  非特許文献１に記載の技術では、カメラの視野内に検出対象が検出されると、ユーザの意図にかかわらず、表示の切り替えが行われてしまうという課題がある。
【課題を解決するための手段】
【０００５】  以上の課題を解決するために、本発明の好適な態様に係る情報表示装置は、所定の情報を示す補助画像を外界画像に重畳させて表示可能な表示部と、ユーザのジェスチャを検出するジェスチャ検出部と、前記ユーザの視線を検出する視線検出部と、前記ジェスチャ検出部及び前記視線検出部の検出結果に基づいて、前記表示部の表示を制御する制御部と、を備え、前記補助画像は、第１補助画像及び、当該第１補助画像とは異なる第２補助画像を含み、前記制御部は、前記外界画像における前記ユーザの第１部位に第１補助画像を重畳させて前記表示部に表示中に、前記第１部位とは異なる第２部位に前記第１補助画像とは異なる第２補助画像を表示させることを指示する表示開始用ジェスチャを前記ジェスチャ検出部が検出する場合、前記視線検出部によって検出された視線が前記第２部位に対応する所定領域以外に向いていると、前記表示開始用ジェスチャを無効とする。
【発明の効果】
【０００６】  本発明に係る情報表示装置によれば、ユーザが表示開始用ジェスチャを偶然に行ってしまっても、視線検出部よって検出された視線が第２部位に対応する所定領域以外に向いていると、表示開始用ジェスチャが無効となるので、ユーザの意図に反して第１補助画像から第２補助画像に表示が切り替わることが低減される。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る情報表示装置の使用状態の外観を示す図である。
【図２】実施形態に係る情報表示装置を示すブロック図である。
【図３】第１表示開始用ジェスチャを説明するための図である。
【図４】ユーザの第１部位の一例である腕に表示される第１補助画像の一例を示す図である。
【図５】第２表示開始用ジェスチャを説明するための図である。
【図６】ユーザの第２部位の一例である手に表示される第２補助画像の一例を示す図である。
【図７】第１補助画像の表示中における第２表示開始用ジェスチャの検出時にユーザの視線が第２部位に向かない状態の一例を示す図である。
【図８】第１部位の移動に追従して表示される第１補助画像の状態の一例を示す図である。
【図９】第１補助画像の表示中における第２表示開始用ジェスチャの検出時にユーザの視線が第２部位に向く状態の一例を示す図である。
【図１０】第１補助画像から切り替えられて表示される第２補助画像の状態の一例を示す図である。
【図１１】内容切替用ジェスチャにより第１補助画像から切り替えられて表示される第３補助画像の一例を示す図である。
【図１２】内容切替用ジェスチャにより第２補助画像から切り替えられて表示される第４補助画像の一例を示す図である。
【図１３】補助画像の表示を終了させるための終了用ジェスチャの一例を示す図である。
【図１４】実施形態に係る情報表示装置の動作を示すフローチャートである。
【図１５】実施形態に係る情報表示装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】[１．実施形態]［１．１．情報表示装置の概要］  図１は、実施形態に係る情報表示装置１０の使用状態の外観を示す図である。図１に示す情報表示装置１０は、ユーザＵの頭部に装着される、シースルー型のヘッドマウントディスプレイである。シースルー型のヘッドマウントディスプレイは、ＡＲ技術を用いてユーザＵに視認される補助画像を虚像として外界画像に重畳して表示する。当該外界画像は、ユーザＵの周囲の外界の光により形成される映像である。ユーザＵに視認される当該外界画像は、現実の外界画像でもよいし、ユーザＵの周囲を撮像して表示した仮想的な外界画像でもよい。すなわち、情報表示装置１０は、ビデオシースルー方式及び光学シースルー方式のいずれでもよい。
【０００９】  情報表示装置１０は、ユーザＵのジェスチャを検出して、当該補助画像を表示する。このとき、当該外界画像には、ユーザＵの所定の部位が仮想的又は現実的な画像として含まれており、当該補助画像は、当該所定の部位に重ねて表示される。本実施形態では、当該所定の部位は、ユーザＵの腕ＡＲ及び手ＨＮのそれぞれに設定される。なお、「ジェスチャ」とは、ユーザＵの所定の部位がある状態から異なる状態となるまでの一連の動作をいう。
【００１０】  情報表示装置１０は、ユーザＵの互いに異なる複数の部位に補助画像を切り替えて表示する。ここで、当該複数の部位には、部位ごとに、異なる補助画像及びジェスチャが事前に割り当てられる。また、情報表示装置１０は、ユーザＵの視線を検出可能であり、複数の補助画像のうちの一の補助画像の表示中に、他の補助画像を表示するためのジェスチャが検出された場合、ユーザＵの視線に基づいて、当該一の補助画像から当該他の補助画像に表示を切り替えるか否かの判断を行う。このため、ユーザＵの意図しない補助画像の切り替えが低減される。
【００１１】［１．２．情報表示装置を用いるシステムのハードウェア構成］  図２は、実施形態に係る情報表示装置１０を示すブロック図である。図２に示すように、情報表示装置１０は、処理装置１１、記憶装置１２、通信装置１３、表示装置１４、撮像装置１５、姿勢センサ１６及びこれらの装置を接続するバス１７を備える。バス１７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。なお、図示しないが、情報表示装置１０は、後述する補助画像に用いる時刻情報、曜日情報、天気情報及びメール情報等の各種情報を生成又は取得するための各種ハードウェア又は各種ソフトウェアを含む。
【００１２】  処理装置１１は、情報表示装置１０の全体を制御するプロセッサであり、例えば単数又は複数のチップで構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１１の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
【００１３】  記憶装置１２は、処理装置１１が読取可能な記録媒体であり、処理装置１１が実行する制御プログラムＰ１を含む複数のプログラム、及び処理装置１１が使用する登録情報Ｄ１を含む各種のデータを記憶する。記憶装置１２は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。なお、制御プログラムＰ１及び登録情報Ｄ１については、後述する１．３．情報表示装置１０の機能の説明において詳述する。
【００１４】  通信装置１３は、他の装置と通信する機器であり、移動体通信網又はインターネット等のネットワークを介して他の装置と通信する機能、近距離無線通信によって他の装置と通信する機能を備える。近距離無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又は、ＷｉＦｉ（登録商標）等が挙げられる。なお、通信装置１３は、必要に応じて設ければよく、省略してもよい。
【００１５】  表示装置１４は、ユーザＵに視認される各種補助画像を虚像として外界画像に重畳させて表示する「表示部」の一例である。表示装置１４は、処理装置１１による制御のもとで、各種補助画像を表示する。表示装置１４は、例えば液晶表示パネル、又は有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネル又は光スキャナー等を含んで構成される。ここで、表示装置１４は、シースルー型のヘッドマウントディスプレイを実現するための光源及び光学系等の各種構成を適宜に含む。
【００１６】  撮像装置１５は、被写体を撮像し、その撮像画像を示すデータを出力する装置である。撮像装置１５は、例えば撮像光学系及び撮像素子を含んで構成される。撮像光学系は、少なくとも１つの撮像レンズを含む光学系であり、プリズム等の各種の光学素子を備えてもよいし、ズームレンズやフォーカスレンズ等を備えてもよい。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary MOS）イメージセンサー等で構成される。ここで、撮像装置１５の撮像可能な領域は、表示装置１４の表示可能な領域の一部又は全部を含む。
【００１７】  姿勢センサ１６は、表示装置１４又は撮像装置１５の姿勢の変化に応じたデータを出力するセンサである。姿勢センサ１６は、例えば、加速度センサ及びジャイロセンサのうちの一方又は両方を含んで構成される。当該加速度センサとしては、例えば、互いに直交する３軸の各方向の加速度を検出するセンサが好適に用いられる。当該ジャイロセンサとしては、例えば、互いに直交する３軸の各軸まわりの角速度又は角加速度を検出するセンサが好適に用いられる。なお、姿勢センサ１６は、必要に応じて設ければよく、省略してもよい。
【００１８】［１．３．情報表示装置の機能］  処理装置１１は、記憶装置１２から読み取った制御プログラムＰ１を実行することによって、ジェスチャ検出部１１１、視線検出部１１２及び制御部１１３として機能する。したがって、情報表示装置１０は、ジェスチャ検出部１１１、視線検出部１１２及び制御部１１３を備える。
【００１９】  ジェスチャ検出部１１１は、ユーザＵのジェスチャを検出する。より具体的には、ジェスチャ検出部１１１は、撮像装置１５からのデータと記憶装置１２からの登録情報Ｄ１とに基づいて、ユーザＵの所定のジェスチャを検出する。例えば、ジェスチャ検出部１１１は、登録情報Ｄ１を用いて、撮像装置１５からのデータが示す撮像画像からユーザＵの腕ＡＲ及び手ＨＮの位置及び形状を特定し、当該位置及び当該形状の変化に基づいて、当該変化の速度が所定速度以上となるジェスチャを検出する。ここで、ユーザＵの腕ＡＲ及び手ＨＮの位置及び形状の変化の速度が当該所定速度よりも遅い場合、ジェスチャ検出部１１１がジェスチャを検出しないため、ジェスチャ検出部１１１が誤検出することを低減できる。
【００２０】  本実施形態のジェスチャ検出部１１１は、後述する第１表示開始用ジェスチャＧＥＳ１、第２表示開始用ジェスチャＧＥＳ２、内容切替用ジェスチャＧＥＳ３及び終了用ジェスチャＧＥＳ４の４つのジェスチャを検出可能である。当該４つのジェスチャは、画像の表示開始用、内容切替用および終了用の３つの種別に分類される。これらのジェスチャに関する情報は、ジェスチャ情報として登録情報Ｄ１に含まれる。当該ジェスチャ情報は、例えば、初期設定として予め設定されていてもよいし、任意のジェスチャを撮像装置１５が撮像して得られる情報をユーザごとに登録した情報でもよい。なお、各種別に割り当てられるジェスチャの態様の数は、１つ以上であればよく、前述の数に限定されない。また、各ジェスチャの態様は、後述の例示に限定されないし、ジェスチャの種別（表示開始用、内容切替用または終了用の種別）との組み合わせも任意である。ジェスチャ検出部１１１におけるジェスチャの検出には、例えば、テンプレートマッチング等の画像処理技術を用いることができる。この場合、登録情報Ｄ１に含まれるジェスチャ情報は、例えば、テンプレートマッチングに用いるテンプレート画像に関する情報等を含む。また、ジェスチャ検出部１１１におけるジェスチャの検出の判断基準は、例えば、機械学習等の結果に応じて変化してもよい。また、ジェスチャ検出部１１１は、前述の姿勢センサ１６の検出結果も併せて用いてジェスチャを検出することで、ジェスチャの検出精度を高めることもできる。
【００２１】  視線検出部１１２は、ユーザＵの視線を検出する。本実施形態では、表示装置１４及び撮像装置１５とユーザＵの頭部との位置関係が固定であることから、後述する視野領域ＦＶ内に設定される所定の位置ＰＣが当該視線の方向にある位置として用いられる。なお、視線検出部１１２は、撮像素子等を用いてユーザＵの目の動きを検出し、その検出結果に基づいてユーザＵの視線を検出してもよい。
【００２２】  制御部１１３は、ジェスチャ検出部１１１及び視線検出部１１２の検出結果に基づいて、表示装置１４の表示を制御する。具体的には、制御部１１３は、表示装置１４に補助画像を表示させていない状態において、ジェスチャ検出部１１１が所定のジェスチャを検出する場合、視線検出部１１２の検出結果の如何にかかわらず、当該ジェスチャに対応する補助画像を表示装置１４に表示させる。これに対し、制御部１１３は、表示装置１４に補助画像を表示させている状態において、ジェスチャ検出部１１１が所定のジェスチャを検出する場合、視線検出部１１２の検出結果が所定条件を満たすか否かを判断する。そして、当該所定条件を満たす場合、制御部１１３は、当該ジェスチャに対応する補助画像を表示装置１４に表示させる。一方、当該所定条件を満たさない場合、制御部１１３は、当該ジェスチャに対応する補助画像の表示又は切り替えを行わない。本実施形態の制御部１１３は、補助画像として、後述する第１補助画像Ｇ１、第２補助画像Ｇ２、第３補助画像Ｇ３または第４補助画像Ｇ４を表示装置１４に表示させる。以下、各ジェスチャ及び各補助画像について詳述する。
【００２３】  図３は、第１表示開始用ジェスチャＧＥＳ１を説明するための図である。第１表示開始用ジェスチャＧＥＳ１は、ユーザＵの後述の第１部位Ｒ１に後述の第１補助画像Ｇ１を表示させることを指示する表示開始ジェスチャである。図３では、表示される補助画像がない場合に、第１表示開始用ジェスチャＧＥＳ１がユーザＵの視野領域ＦＶ内に映る状態の一例が図示される。視野領域ＦＶは、外界画像ＥＩにおける補助画像を重畳させて表示可能な領域である。視野領域ＦＶは、例えば、表示装置１４の表示可能な領域、又は撮像装置１５の撮像可能な領域である。図３に示す視野領域ＦＶまたは外界画像ＥＩは、横長の矩形をなす。図３に示すように、視野領域ＦＶまたは外界画像ＥＩの横方向がＸ方向、縦方向がＹ方向と表記される。図３に示すように、第１表示開始用ジェスチャＧＥＳ１は、腕ＡＲおよび手ＨＮを図３中の実線で示す状態ＰＯＳ１から図３中の二点鎖線で示す状態ＰＯＳ２へ変化させる動作である。本実施形態の第１表示開始用ジェスチャＧＥＳ１は、一般に腕時計を見る際に行われる動作である。ここで、状態ＰＯＳ１は、ユーザＵの前方に手ＨＮを突き出した状態である。状態ＰＯＳ２は、状態ＰＯＳ１よりもユーザＵに近い位置に手ＨＮを引き寄せた状態である。
【００２４】  図４は、ユーザＵの第１部位Ｒ１の一例である腕ＡＲに表示される第１補助画像Ｇ１の一例を示す図である。他の補助画像が表示されていない状態で前述の第１表示開始用ジェスチャＧＥＳ１が検出される場合、図４に示すように、状態ＰＯＳ２の腕ＡＲに設定される第１部位Ｒ１に第１補助画像Ｇ１が表示される。図４に示す例では、第１部位Ｒ１が腕ＡＲの手首部分に設定され、第１補助画像Ｇ１が時刻を表す画像である。このように、制御部１１３は、ジェスチャ検出部１１１が第１表示開始用ジェスチャＧＥＳ１を検出する場合、外界画像ＥＩにおけるユーザＵの第１部位Ｒ１に第１補助画像Ｇ１を表示装置１４に表示させる。なお、他の補助画像が表示されている状態では、後述する第１補助画像Ｇ１から第２補助画像Ｇ２への切り替えと同様にユーザＵの視線の向きを考慮して第１補助画像Ｇ１を表示するか否かが判断される。
【００２５】  図５は、第２表示開始用ジェスチャＧＥＳ２を説明するための図である。第２表示開始用ジェスチャＧＥＳ２は、ユーザＵの後述の第２部位Ｒ２に後述の第２補助画像Ｇ２を表示させることを指示する表示開始ジェスチャである。図５では、表示される補助画像がない場合に、第２表示開始用ジェスチャＧＥＳ２がユーザＵの視野領域ＦＶ内に映る状態の一例が図示される。図５に示すように、第２表示開始用ジェスチャＧＥＳ２は、腕ＡＲおよび手ＨＮを図５中の実線で示す状態ＰＯＳ２から図５中の二点鎖線で示す状態ＰＯＳ３へ変化させる動作である。本実施形態の第２表示開始用ジェスチャＧＥＳ２は、手ＨＮのひらを見る際に行われる動作である。ここで、状態ＰＯＳ２は、前述の通りであるが、第２表示開始用ジェスチャＧＥＳ２の開始時の手ＨＮは、握った状態に限られず、開いた状態であってもよい。状態ＰＯＳ３は、状態ＰＯＳ２よりも手ＨＮの先をユーザＵの前方に向けて、手ＨＮを開いた状態である。
【００２６】  図６は、ユーザＵの第２部位Ｒ２の一例である手ＨＮに表示される第２補助画像Ｇ２の一例を示す図である。他の補助画像が表示されていない状態で前述の第２表示開始用ジェスチャＧＥＳ２が検出される場合、図６に示すように、状態ＰＯＳ３の手ＨＮに設定される第２部位Ｒ２に第２補助画像Ｇ２が表示される。図５では、第２部位Ｒ２が手ＨＮのひら部分に設定され、第２補助画像Ｇ２がメールを表す画像である場合が例示される。
【００２７】  ここで、第１部位Ｒ１及び第２部位Ｒ２は、ユーザＵの左右で互いに同じ側（本実施形態では左側）の部位である。このため、第１部位Ｒ１及び第２部位Ｒ２が属する側とは異なる側の片方の腕又は手等が使えない状況下でも、第１部位Ｒ１及び第２部位Ｒ２が属する片方の腕ＡＲ又は手ＨＮ等のみを用いて表示を行うことができる。この結果、第１部位Ｒ１と第２部位Ｒ２とが互いに異なる側の腕又は手等の部位である場合に比べて、ユーザＵにとっての利便性を高めることができる。
【００２８】  図７は、第１補助画像Ｇ１の表示中における第２表示開始用ジェスチャＧＥＳ２の検出時にユーザＵの視線が第２部位Ｒ２に向かない状態の一例を示す図である。図８は、第１部位Ｒ１の移動に追従して表示される第１補助画像Ｇ１の状態の一例を示す図である。第１補助画像Ｇ１が表示される状態では、図７に示すように、第２表示開始用ジェスチャＧＥＳ２が検出されても、ユーザＵの視線の位置ＰＣが第２部位Ｒ２を向いていない場合、第２補助画像Ｇ２が表示されない。この場合、図８に示すように、第１補助画像Ｇ１が表示される状態が維持される。ここで、第１補助画像Ｇ１の位置は、腕ＡＲの移動に追従して移動する。
【００２９】  このように、制御部１１３は、外界画像ＥＩにおいて補助画像が重畳されるユーザＵの部位の移動（位置の変化）に追従して補助画像の位置を変更する。このため、ユーザＵが第１部位Ｒ１又は第２部位Ｒ２を移動させても、第１補助画像Ｇ１又は第２補助画像Ｇ２を含む物体がユーザＵの身体に装着されているかのような表示状態を提供できる。
【００３０】  また、ユーザＵの視線が第２部位Ｒ２を向いているか否かは、第２部位Ｒ２に重なる所定領域（図示の例では破線で囲まれる領域）内に位置ＰＣが位置する状態が所定時間以上（例えば１秒以上）維持されるか否かによって判断される。したがって、制御部１１３は、第２部位Ｒ２に対応する所定領域以外にユーザＵの視線が向く状態が所定時間以上維持される場合、当該視線が当該所定領域以外に向いていると判断する。このため、ユーザＵの視線のふらつき等によりユーザＵの意図に反して第１補助画像Ｇ１から第２補助画像Ｇ２に表示が切り替わることが低減される。なお、制御部１１３は、第１部位Ｒ１に重なる所定の領域内にユーザＵの視線が向く状態が所定時間以上維持されるか否かに基づいて、当該視線が第１部位Ｒ１に向いているか否かも判断する。
【００３１】  図９は、第１補助画像Ｇ１の表示中における第２表示開始用ジェスチャＧＥＳ２の検出時にユーザＵの視線が第２部位Ｒ２に向く状態の一例を示す図である。図１０は、第１補助画像Ｇ１から切り替えられて表示される第２補助画像Ｇ２の状態の一例を示す図である。第１補助画像Ｇ１が表示される状態では、図９に示すように、第２表示開始用ジェスチャＧＥＳ２が検出されるとき、ユーザＵの視線の位置ＰＣが第２部位Ｒ２を向いている場合、図１０に示すように、第１補助画像Ｇ１から切り替えられて第２補助画像Ｇ２が表示される。
【００３２】  このように、制御部１１３は、第１補助画像Ｇ１の表示中にジェスチャ検出部１１１が第２表示開始用ジェスチャＧＥＳ２を検出する場合、ユーザＵの視線が第２部位Ｒ２に向いているか否かを判断する。そして、制御部１１３は、視線が第２部位Ｒ２に向いている場合、外界画像ＥＩにおける第２部位Ｒ２に第２補助画像Ｇ２を表示装置１４に表示させる。言い換えると、制御部１１３は、外界画像ＥＩにおけるユーザＵの第１部位Ｒ１に第１補助画像Ｇ１を重畳させて表示装置１４に表示中に、第２表示開始用ジェスチャＧＥＳ２をジェスチャ検出部１１１が検出する場合、視線検出部１１２よって検出された視線が第２部位Ｒ２に対応する所定領域以外に向いていると、第２表示開始用ジェスチャＧＥＳ２を無効とする。このため、ユーザＵは、第１補助画像Ｇ１から第２補助画像Ｇ２に表示を切り替えることを希望する場合、第２表示開始用ジェスチャＧＥＳ２を行うだけでなく、意図的に視線を第２部位Ｒ２に向けなければならない。この結果、ユーザＵが第２表示開始用ジェスチャＧＥＳ２を偶然に行ってしまっても、ユーザＵの意図に反して第１補助画像Ｇ１から第２補助画像Ｇ２に表示が切り替わることが低減される。
【００３３】  ここで、第２部位Ｒ２は第２補助画像Ｇ２の表示位置であるため、第１補助画像Ｇ１から第２補助画像Ｇ２に表示を切り替えることを希望する際に視線を第２部位Ｒ２に向けるという動作は、ユーザＵにとって極めて自然な動作である。このため、第１補助画像Ｇ１から第２補助画像Ｇ２に表示を切り替える際に視線を第２部位Ｒ２に向けるという動作を要しても、操作性を低下させることはない。また、第１補助画像Ｇ１から第２補助画像Ｇ２に表示が切り替わる際、補助画像の表示位置が第１部位Ｒ１から第２部位Ｒ２に変わる。したがって、情報表示装置１０では、ユーザＵの意図に反して補助画像の表示位置が第１部位Ｒ１から第２部位Ｒ２に変わることが低減されるともいえる。なお、第３補助画像Ｇ３から第２補助画像Ｇ２への切り替え、及び第２補助画像Ｇ２又は第４補助画像Ｇ４から第１補助画像Ｇ１への切り替えについても同様に、ユーザＵの意図に反した切り替えが低減される。
【００３４】  図１１は、内容切替用ジェスチャＧＥＳ３により第１補助画像Ｇ１から切り替えられて表示される第３補助画像Ｇ３の一例を示す図である。内容切替用ジェスチャＧＥＳ３は、表示内容を切り替える指示を示すジェスチャである。第１補助画像Ｇ１が表示される状態では、図１１に示すように、内容切替用ジェスチャＧＥＳ３が検出される場合、第１補助画像Ｇ１から切り替えられて第３補助画像Ｇ３が表示される。本実施形態の内容切替用ジェスチャＧＥＳ３は、手ＨＮを小刻みに振る動作である。図１１では、第３補助画像Ｇ３が曜日を表す画像である場合が例示される。ここで、第３補助画像Ｇ３は第１部位Ｒ１に表示される。また、図示しないが、第３補助画像Ｇ３が表示される状態で内容切替用ジェスチャＧＥＳ３が検出される場合、第３補助画像Ｇ３から切り替えられて第１補助画像Ｇ１が表示される。なお、第１補助画像Ｇ１と第３補助画像Ｇ３との切り替えは、内容切替用ジェスチャＧＥＳ３の検出のみに基づいて行ってもよいし、内容切替用ジェスチャＧＥＳ３の検出だけでなくユーザＵの視線が第１部位Ｒ１に向く場合に行ってもよい。
【００３５】  図１２は、内容切替用ジェスチャＧＥＳ３により第２補助画像Ｇ２から切り替えられて表示される第４補助画像Ｇ４の一例を示す図である。第２補助画像Ｇ２が表示される状態では、図１２に示すように、内容切替用ジェスチャＧＥＳ３が検出される場合、第２補助画像Ｇ２から切り替えられて第４補助画像Ｇ４が表示される。図１２では、第４補助画像Ｇ４が天気を表す画像である場合が例示される。ここで、第４補助画像Ｇ４は第２部位Ｒ２に表示される。また、図示しないが、第４補助画像Ｇ４が表示される状態で内容切替用ジェスチャＧＥＳ３が検出される場合、第４補助画像Ｇ４から切り替えられて第２補助画像Ｇ２が表示される。なお、第２補助画像Ｇ２と第４補助画像Ｇ４との切り替えは、内容切替用ジェスチャＧＥＳ３の検出のみに基づいて行ってもよいし、内容切替用ジェスチャＧＥＳ３の検出だけでなくユーザＵの視線が第２部位Ｒ２に向く場合に行ってもよい。
【００３６】  このように、制御部１１３は、第１補助画像Ｇ１又は第２補助画像Ｇ２の表示中にジェスチャ検出部１１１が第１表示開始用ジェスチャＧＥＳ１及び第２表示開始用ジェスチャＧＥＳ２とは異なる内容切替用ジェスチャＧＥＳ３を検出する場合、第１補助画像Ｇ１又は第２補助画像Ｇ２を他の補助画像である第３補助画像Ｇ３又は第４補助画像Ｇ４に変更する。このため、第１部位Ｒ１又は第２部位Ｒ２に複数種の情報を切り替えて表示することができる。この結果、複数種の情報を同時に表示する場合に比べて、各情報の表示内容を大きくして見やすくすることができる。
【００３７】  ここで、内容切替用ジェスチャＧＥＳ３は、第１部位Ｒ１又は第２部位Ｒ２を用いるジェスチャである。このため、ユーザＵの左側の腕又は手、及び右側の腕又は手のうち、第１部位Ｒ１又は第２部位Ｒ２が属する側とは異なる側の片方の腕又は手等が使えない状況下でも、第１部位Ｒ１又は第２部位Ｒ２が属する側の片方の腕ＡＲ又は手ＨＮ等のみを用いて表示及び表示の切り替えの双方を行うことができる。この結果、両方の腕又は手等を用いて表示及び表示の切り替えを行う場合に比べて、ユーザＵにとっての利便性を高めることができる。
【００３８】  図１３は、補助画像の表示を終了させるための終了用ジェスチャＧＥＳ４の一例を示す図である。終了用ジェスチャＧＥＳ４は、表示を終了させる指示を示すジェスチャである。図１３に示すように、終了用ジェスチャＧＥＳ４が検出される場合、補助画像の表示が終了される。本実施形態の終了用ジェスチャＧＥＳ４は、腕ＡＲを捻る動作を繰り返して手ＨＮを震わせる動作である。図１３では、第３補助画像Ｇ３が表示される状態で終了用ジェスチャＧＥＳ４が検出される場合が例示される。この例示では、第３補助画像Ｇ３の表示が終了する。なお、他の補助画像が表示される場合も同様に、終了用ジェスチャＧＥＳ４が検出される場合、補助画像の表示が終了する。
【００３９】  このように、制御部１１３は、第１補助画像Ｇ１又は第２補助画像Ｇ２の表示中にジェスチャ検出部１１１が第１表示開始用ジェスチャＧＥＳ１及び第２表示開始用ジェスチャＧＥＳ２とは異なる終了用ジェスチャＧＥＳ４を検出する場合、第１補助画像Ｇ１又は第２補助画像Ｇ２の表示を終了する。このため、ユーザＵの意図するタイミングで第１補助画像Ｇ１又は第２補助画像Ｇ２の表示を終了させることができる。また、物理的なスイッチ等を用いて表示を終了する場合に比べて、ユーザＵにとっての利便性が高い。
【００４０】［１．４．情報表示装置の動作］  図１４及び図１５は、実施形態に係る情報表示装置１０の動作を示すフローチャートである。以下、図１４及び図１５に基づいて、制御部１１３による表示制御の流れを説明する。制御部１１３は、図１４に示すように、まず、第１表示開始用ジェスチャＧＥＳ１が検出されたか否かを判断する（Ｓ１）。第１表示開始用ジェスチャＧＥＳ１が検出されない場合（Ｓ１のＮＯ）、制御部１１３は、後述するステップＳ６に移行し、第２表示開始用ジェスチャＧＥＳ２が検出されたか否かを判断する。一方、第１表示開始用ジェスチャＧＥＳ１が検出された場合（Ｓ１のＹＥＳ）、制御部１１３は、第１補助画像Ｇ１とは異なる他の補助画像の表示中であるか否かを判断する（Ｓ２）。
【００４１】  他の補助画像の表示中でない場合（Ｓ２のＮＯ）、制御部１１３は、後述するステップＳ５に移行し、第１補助画像Ｇ１を表示装置１４に表示させる。一方、他の補助画像の表示中である場合（Ｓ２のＹＥＳ）、制御部１１３は、ユーザＵの視線が第１部位Ｒ１に向いている状態が所定時間以上維持されているか否かを判断する（Ｓ３）。
【００４２】  当該状態が所定時間以上維持されていない場合（Ｓ３のＮＯ）、制御部１１３は、後述するステップＳ６に移行し、第２表示開始用ジェスチャＧＥＳ２が検出されたか否かを判断する。一方、当該状態が所定時間以上維持されている場合（Ｓ３のＹＥＳ）、制御部１１３は、表示中の他の補助画像の表示を終了し（Ｓ４）、第１補助画像Ｇ１を表示装置１４に表示させ（Ｓ５）、その後、後述するステップＳ６に移行する。なお、ステップＳ４とＳ５の順序が逆でもよい。
【００４３】  ステップＳ６では、制御部１１３は、第２表示開始用ジェスチャＧＥＳ２が検出されたか否かを判断する。第２表示開始用ジェスチャＧＥＳ２が検出されない場合（Ｓ６のＮＯ）、制御部１１３は、後述するステップＳ１１に移行し、内容切替用ジェスチャＧＥＳ３が検出されたか否かを判断する。一方、第２表示開始用ジェスチャＧＥＳ２が検出された場合（Ｓ６のＹＥＳ）、制御部１１３は、第２補助画像Ｇ２とは異なる他の補助画像の表示中であるか否かを判断する（Ｓ７）。
【００４４】  他の補助画像の表示中でない場合（Ｓ７のＮＯ）、制御部１１３は、後述するステップＳ１０に移行し、第２補助画像Ｇ２を表示装置１４に表示させる。一方、他の補助画像の表示中である場合（Ｓ７のＹＥＳ）、制御部１１３は、ユーザＵの視線が第２部位Ｒ２に向いている状態が所定時間以上維持されているか否かを判断する（Ｓ８）。
【００４５】  当該状態が所定時間以上維持されていない場合（Ｓ８のＮＯ）、制御部１１３は、後述するステップＳ１１に移行し、内容切替用ジェスチャＧＥＳ３が検出されたか否かを判断する。一方、当該状態が所定時間以上維持されている場合（Ｓ８のＹＥＳ）、制御部１１３は、表示中の他の補助画像の表示を終了し（Ｓ９）、第２補助画像Ｇ２を表示装置１４に表示させ（Ｓ１０）、その後、ステップＳ１１に移行する。なお、ステップＳ９とＳ１０の順序が逆でもよい。
【００４６】  図１５に示すように、ステップＳ１１では、制御部１１３は、内容切替用ジェスチャＧＥＳ３が検出されたか否かを判断する。内容切替用ジェスチャＧＥＳ３が検出されない場合（Ｓ１１のＮＯ）、制御部１１３は、後述するステップＳ１４に移行し、終了用ジェスチャＧＥＳ４が検出されたか否かを判断する。一方、内容切替用ジェスチャＧＥＳ３が検出された場合（Ｓ１１のＹＥＳ）、制御部１１３は、第１補助画像Ｇ１、第２補助画像Ｇ２、第３補助画像Ｇ３及び第４補助画像Ｇ４のうちのいずれかの補助画像の表示中であるか否かを判断する（Ｓ１２）。
【００４７】  いずれかの補助画像の表示中でない場合（Ｓ１２のＮＯ）、制御部１１３は、後述するステップＳ１４に移行し、終了用ジェスチャＧＥＳ４が検出されたか否かを判断する。一方、いずれかの補助画像の表示中である場合（Ｓ１２のＹＥＳ）、制御部１１３は、表示中の補助画像を変更し（Ｓ１３）、その後、後述するステップＳ１４に移行する。ここで、制御部１１３は、第１補助画像Ｇ１の表示中である場合、第３補助画像Ｇ３に変更する。第２補助画像Ｇ２の表示中である場合、第４補助画像Ｇ４に変更する。また、第３補助画像Ｇ３の表示中である場合、第１補助画像Ｇ１に変更する。第４補助画像Ｇ４の表示中である場合、第２補助画像Ｇ２に変更する。
【００４８】  ステップＳ１４では、制御部１１３は、終了用ジェスチャＧＥＳ４が検出されたか否かを判断する。終了用ジェスチャＧＥＳ４が検出されない場合（Ｓ１４のＮＯ）、制御部１１３は、後述するステップＳ１７に移行する。一方、終了用ジェスチャＧＥＳ４が検出された場合（Ｓ１４のＹＥＳ）、制御部１１３は、前述のステップＳ１２と同様にいずれかの補助画像の表示中であるか否かを判断する（Ｓ１５）。いずれかの補助画像の表示中でない場合（Ｓ１５のＮＯ）、後述するステップＳ１７に移行する。一方、いずれかの補助画像の表示中である場合（Ｓ１５のＹＥＳ）、表示中の補助画像の表示を終了し（Ｓ１６）、その後、後述するステップＳ１７に移行する。
【００４９】  ステップＳ１７では、制御部１１３は、ユーザＵからのジェスチャの検出を終了させるための終了指示があるか否かを判断する。当該終了指示は、例えば、情報表示装置１０の図示しないスイッチ等の入力装置により受け付けられる。そして、制御部１１３は、終了指示がない場合（Ｓ１７のＮＯ）、前述のステップＳ１に戻り、一方、終了指示がある場合（Ｓ１７のＹＥＳ）、終了する。
【００５０】[２．変形例]  本発明は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【００５１】（１）上述した実施形態では、第１補助画像Ｇ１が時刻を表す画像であり、第２補助画像Ｇ２がメールを表す画像であり、第３補助画像Ｇ３が曜日を表す画像であり、第４補助画像Ｇ４が天気を表す画像である場合が例示される。当該例示に限定されず、各補助画像の表示内容は、任意である。なお、第３補助画像Ｇ３及び第４補助画像Ｇ４の一方または両方の表示は、省略してもよい。
【００５２】（２）上述した実施形態では、ユーザＵの手首又は手のひらに補助画像を表示する場合が例示される。補助画像の表示部位は、ユーザＵの身体の部位であればよく、当該例示に限定されず、例えば、足等であってもよい。
【００５３】（３）上述した実施形態において、ユーザＵの左側の部位に補助画像を表示する場合が例示される。当該例示に限定されず、例えば、ユーザＵの右側の部位に補助画像を表示してもよいし、ユーザＵの左右の両側の部位に補助画像を表示してもよい。
【００５４】（４）上述した各実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。  また、上述した各実施形態の説明に用いた「装置」という文言は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
【００５５】（５）上述した各実施形態における処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００５６】（６）上述した各実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【００５７】（７）上述した各実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【００５８】（８）上述した各実施形態では、記憶装置１２は、処理装置１１が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ−ＲＯＭ（Compact  Disc−ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、ネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。
【００５９】（９）上述した各実施形態において、説明した情報及び信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【００６０】（１０）図２に例示された各機能は、ハードウェア及びソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。
【００６１】（１１）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。  また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【００６２】（１２）上述した各実施形態において、情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
【００６３】（１３）上述した各実施形態において、情報表示装置１０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
【００６４】（１４）上述した各実施形態において、「接続された(connected)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。
【００６５】（１５）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【００６６】（１６）本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【００６７】（１７）上述した各実施形態において「含む(including)」、「含んでいる（comprising）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【００６８】（１８）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
【００６９】（１９）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組合わせてもよい。
【符号の説明】
【００７０】１０…情報表示装置、１４…表示装置（表示部）、１１１…ジェスチャ検出部、１１２…視線検出部、１１３…制御部、ＡＲ…腕、Ｇ１…第１補助画像、Ｇ２…第２補助画像、Ｇ３…第３補助画像、Ｇ４…第４補助画像、ＧＥＳ１…第１表示開始用ジェスチャ、ＧＥＳ２…第２表示開始用ジェスチャ、ＧＥＳ３…内容切替用ジェスチャ、ＧＥＳ４…終了用ジェスチャ、ＨＮ…手、Ｒ１…第１部位、Ｒ２…第２部位、Ｕ…ユーザ。
【図１】
2020171098.tif 000003
【図２】
2020171098.tif 000004
【図３】
2020171098.tif 000005
【図４】
2020171098.tif 000006
【図５】
2020171098.tif 000007
【図６】
2020171098.tif 000008
【図７】
2020171098.tif 000009
【図８】
2020171098.tif 000010
【図９】
2020171098.tif 000011
【図１０】
2020171098.tif 000012
【図１１】
2020171098.tif 000013
【図１２】
2020171098.tif 000014
【図１３】
2020171098.tif 000015
【図１４】
2020171098.tif 000016
【図１５】
2020171098.tif 000017
【国際調査報告】
2020171098.tif 000018
2020171098.tif 000019
2020171098.tif 000020
2020171098.tif 000021