(57)【要約】【課題】入力操作を容易に行える入力システム及び入力プログラムを提供する。【解決手段】実施形態によれば、表示装置と、センサ部と、制御部と、を備えた入力システムが提供される。前記表示装置は、第１視覚要素を含む虚像を表示する。前記センサ部は、前記虚像に対する入力に関する信号を生成する。前記制御部は、前記センサ部からの前記信号に基づいて、前記第１視覚要素に対応する、前記虚像を含む面上の前記虚像以外の領域である第１選択可能領域への入力を検知して、前記第１視覚要素が選択されたときの第１処理を行う。【選択図】図１
2017091350.tif 000002
【特許請求の範囲】
【請求項１】
第１視覚要素を含む虚像を表示する表示装置と、
前記虚像に対する入力に関する信号を生成するセンサ部と、
前記センサ部からの前記信号に基づいて、前記第１視覚要素に対応する、前記虚像を含む面上の前記虚像以外の領域である第１選択可能領域への入力を検知して、前記第１視覚要素が選択されたときの第１処理を行う制御部と、
を備えた入力システム。
【請求項２】
前記制御部は、前記第１視覚要素に対応し、前記虚像内の前記第１視覚要素の周りの一部に設けられた第２選択可能領域への入力を検知して、前記第１処理をさらに行う請求項１記載の入力システム。
【請求項３】
前記第１選択可能領域は、前記虚像と接する請求項１記載の入力システム。
【請求項４】
前記第１視覚要素に対応し、前記面上の前記虚像以外の別の領域である第３選択可能領域であって、前記虚像と接しない第３選択可能領域をさらに含む請求項３記載の入力システム。
【請求項５】
前記虚像は、第２視覚要素をさらに含み、
前記制御部は、前記第２視覚要素に対応し、前記面上の前記虚像以外の別の領域である第３選択可能領域への入力を検知して、前記第２視覚要素が選択されたときの第２処理を行う請求項１記載の入力システム。
【請求項６】
前記制御部は、物理オブジェクトの動線の延長線または観視者の視線の延長線に基づいて前記入力を検知する請求項１〜５のいずれか１つに記載の入力システム。
【請求項７】
前記制御部は、物理オブジェクトの位置に基づいて前記入力を検知する請求項１〜５のいずれか１つに記載の入力システム。
【請求項８】
前記制御部は、前記物理オブジェクトが所定領域内にある時間に基づいて前記入力を検知する請求項７記載の入力システム。
【請求項９】
前記制御部は、前記第１選択可能領域が前記物理オブジェクトの前記動線の前記延長線上及び前記視線の前記延長線上の少なくともいずれかにある第１状態から、前記第１視覚要素が前記物理オブジェクトの前記動線の前記延長線上及び前記視線の前記延長線上の少なくともいずれかにある第２状態へ変化することを検知する請求項６記載の入力システム。
【請求項１０】
前記制御部は、前記第１視覚要素が前記物理オブジェクトの前記動線の前記延長線上及び前記視線の前記延長線上の少なくともいずれかにある第２状態から、前記第１選択可能領域が前記物理オブジェクトの前記動線の前記延長線上及び前記視線の前記延長線上の少なくともいずれかにある第１状態へ変化することを検知する請求項６記載の入力システム。
【請求項１１】
前記表示装置は、
画像情報を含む第１光を出射する表示部と、
前記第１光を投影する投影部と、
前記投影部からの前記第１光の少なくとも一部を反射し、前景からの第２光の少なくとも一部を透過する光学部と、
を含む請求項１〜１０のいずれか１つに記載の入力システム。
【請求項１２】
第１視覚要素を含む虚像を表示する表示装置と、
前記虚像に対する入力に関する信号を生成するセンサ部と、
前記センサ部からの前記信号に基づいて、前記第１視覚要素に対応する、前記虚像を含む面上の前記虚像以外の領域である第１選択可能領域への入力を検知して、前記虚像上の少なくとも一部の領域が選択されたときの第１処理を行う制御部と、
を備えた入力システム。
【請求項１３】
第１視覚要素を含む虚像を表示する工程と、
前記虚像に対する入力に関する信号を生成する工程と、
前記信号に基づいて、前記第１視覚要素に対応する、前記虚像を含む面上の前記虚像以外の領域である第１選択可能領域への入力を検知して、前記第１視覚要素が選択されたときの第１処理を行う工程と、
を、コンピュータに実行させる入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、入力システム及び入力プログラムに関する。
【背景技術】
【０００２】
観視者の頭部に装着可能なヘッドマウントディスプレイ（ＨＭＤ、頭部装着型表示装置）等の表示装置がある。表示装置は、例えば、画像情報を含む画像光を出射する投影部と、画像光を反射する光学部（コンバイナ）と、を含む。光学部において画像光が観視者の眼に向けて反射される。これにより、観視者に対して画像が虚像として表示される。このような表示装置の入力システムにおいては、観視者が容易に入力操作を行えることが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５１９６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、入力操作を容易に行える入力システム及び入力プログラムを提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、表示装置と、センサ部と、制御部と、を備えた入力システムが提供される。前記表示装置は、第１視覚要素を含む虚像を表示する。前記センサ部は、前記虚像に対する入力に関する信号を生成する。前記制御部は、前記センサ部からの前記信号に基づいて、前記第１視覚要素に対応する、前記虚像を含む面上の前記虚像以外の領域である第１選択可能領域への入力を検知して、前記第１視覚要素が選択されたときの第１処理を行う。
【図面の簡単な説明】
【０００６】
【図１】図１（ａ）及び図１（ｂ）は、第１の実施形態に係る入力システムを例示する模式図である。
【図２】第１の実施形態に係る入力システムを例示するブロック図である。
【図３】第１の実施形態に係る入力システムの入力方法を例示する模式図である。
【図４】参考例に係る入力システムを用いた入力方法を例示する模式図である。
【図５】第１の実施形態に係る入力システムの入力方法を例示するフローチャート図である。
【図６】図６（ａ）及び図６（ｂ）は、第２の実施形態に係る入力システムの入力方法を例示する模式図である。
【図７】第３の実施形態に係る入力システムの入力方法を例示する模式図である。
【図８】図８（ａ）及び図８（ｂ）は、第４の実施形態に係る入力システムの入力方法を例示する模式図である。
【図９】第５の実施形態に係る入力システムの入力方法を例示する模式図である。
【図１０】第６の実施形態に係る入力システムの入力方法を例示する模式図である。
【図１１】図１１（ａ）〜図１１（ｃ）は、第７の実施形態に係る入力システムを例示する模式図である。
【図１２】第８の実施形態に係る制御部のハードウエア構成を例示するブロック図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）
図１（ａ）及び図１（ｂ）は、第１の実施形態に係る入力システムを例示する模式図である。
図１（ａ）は、入力システムを観視者に装着した状態を例示する模式的上面図である。
図１（ｂ）は、入力システムを観視者に装置した状態を例示する模式的斜視図である。
【０００９】
実施形態に係る入力システム２００は、表示装置１００と、センサ部１４０と、制御部１５０と、を含む。表示装置１００は、表示部１１０と、投影部１２０と、光学部１３０と、を含む。なお、図１では、２つの表示装置１００を用い、両方の眼に対して虚像１７０を表示する両眼投影型の表示装置（両眼ＨＭＤ）を表している。すなわち、表示装置１００は、観視者８０の右眼１６０Ｒ及び左眼１６０Ｌのそれぞれに対応して設けられている。１つの表示装置１００を用い、片方の眼に対して虚像１７０を表示する単眼ＨＭＤとしてもよい。
【００１０】
ここで、２つの光学部１３０が並ぶ方向をＸ軸方向とする。Ｘ軸方向に対して垂直な１つの方向をＹ軸方向とする。Ｘ軸方向及びＹ軸方向に対して垂直な方向をＺ軸方向とする。例えば、Ｙ軸方向は、観視者８０の正面方向に対応し、保持部３２０の延在する方向に対応する。Ｘ軸方向は、観視者８０の左右方向（横方向）に対応し、Ｚ軸方向は、観視者８０の上方向（縦方向）に対応する。
【００１１】
例えば、制御部１５０から表示部１１０に画像情報が入力される。  
表示部１１０は、複数の画素を含む。複数の画素は、平面上に並べて設けられる。表示部１１０は、画像情報を含む第１光Ｌ１を出射する。表示部１１０は、映像を表示するディスプレイである。第１光Ｌ１は、投影部１２０へ向けて出射される。ディスプレイには、例えば、液晶、有機ＥＬまたはＬＣＯＳ（Liquid Crystal On Silicon）などが用いられる。但し、実施形態は、これらに限定されない。
【００１２】
投影部１２０は、表示部１１０の複数の画素から出射された第１光Ｌ１の光路上において、表示部１１０と光学部１３０との間に設けられる。投影部１２０は、少なくとも１つ以上の光学素子を含む。投影部１２０は、入射した第１光Ｌ１を投影する。光学素子には、レンズ、プリズム、またはミラーなどを用いることができる。投影部１２０は、例えば、第１光Ｌ１の少なくとも一部の進行方向を変化させる。複数の光学素子を複数用いた場合、それらは直線上に配置されていなくてもよい。表示部１１０が投影部１２０に対して傾斜して配置されていてもよい。
【００１３】
光学部１３０は、例えば、マルチミラーアレイ（Multi Mirror Array：ＭＭＡ）である。ＭＭＡは溝の断面が鋸歯状の形状をしたマイクロプリズムの表面上に光の一部を反射させるハーフミラーコートが施され、入射した光を所定の方向に反射させる平板状コンバイナである。
【００１４】
光学部１３０は、投影部１２０を通過した第１光Ｌ１の少なくとも一部を反射する。例えば、光学部１３０は、観視者８０の右眼１６０Ｒ及び左眼１６０Ｌに向けて、投影部１２０を通過した光を反射する。光学部１３０によって反射された光は、右眼１６０Ｒ及び左眼１６０Ｌから見て、虚像１７０を形成する。このようにして、観視者８０は、虚像１７０を見ることができる。
【００１５】
この例では、右眼１６０Ｒ及び左眼１６０Ｌの正面に虚像１７０を表示している。但し、虚像１７０の表示位置は、投影部１２０及び光学部１３０の各種パラメータを調整することで、適宜変更することが可能である。虚像１７０は、実景である前景１８０に重畳される。光学部１３０は、前景１８０からの第２光Ｌ２の少なくとも一部を透過する。これにより、観視者８０は、虚像１７０が重畳された前景１８０を見ることができる。
【００１６】
表示装置１００は、保持部３２０をさらに含む。保持部３２０は、表示部１１０、投影部１２０、光学部１３０の少なくともいずれかを保持する。保持部３２０には、例えば、光学部１３０を保持するためのフレーム２０１が形成されている。保持部３２０は、例えば、樹脂製や金属製である。保持部３２０は、例えば、光学部１３０と投影部１２０との相対的配置と、投影部１２０と表示部１１０との相対的配置と、を規定する。本実施形態では、保持部３２０が、眼鏡フレームの形状である例について述べる。保持部３２０はゴーグル状の形状等であっても構わない。保持部３２０を観視者８０が装着したときに、表示部１１０及び投影部１２０は、保持部３２０の内側に配置されることができる。これにより、観視者８０が通常の眼鏡を使用するように違和感なく表示装置１００を使用することができる。
【００１７】
実施形態に係る入力システム２００は、虚像１７０を、観視者８０に提示することができる。観視者８０は、虚像１７０を見ながら、例えば、指などの物理オブジェクト８１を用いて入力動作を行う。物理オブジェクト８１による入力動作は、カメラなどのセンサ部１４０により追跡され、画像として取得される。センサ部１４０で取得された情報から物理オブジェクト８１の座標が得られる。物理オブジェクト８１と虚像１７０との位置関係は同じ座標系を用いて表される。これにより、観視者８０は、物理オブジェクト８１を用いて、虚像１７０内の視覚要素を使った入力操作を行うことができる。この入力操作に基づいて、表示装置１００または他の処理装置は処理を行う。
【００１８】
図２は、第１の実施形態に係る入力システム２００を例示するブロック図である。
図３は、第１の実施形態に係る入力システム２００の入力方法を例示する模式図である。
【００１９】
実施形態に係る入力システム２００は、表示装置１００と、センサ部１４０と、制御部１５０と、を含む。表示装置１００は、観視者８０の頭部に装着される。表示装置１００は、表示部１１０に表示される画像を、観視者８０の眼前の光学部１３０に投影する。これにより、観視者８０は、この画像を虚像１７０として見ながら、さらに、観視者８０の周囲の物理オブジェクト８１も見ることができる。物理オブジェクト８１としては、例えば、観視者８０の指８０ｆや、観視者８０が持つ部材８０ｍ（例えば、ペン、指示部材等）などが含まれる。
【００２０】
虚像１７０は、第１視覚要素１７０ａを含む。虚像１７０は、さらに、第２視覚要素１７０ｂ及び第３視覚要素１７０ｃを含んでも良い。第１〜第３視覚要素１７０ａ〜１７０ｃは、例えば、操作ボタンや、メニューボタン、数字ボタン、文字キー、などのボタンやスライダバーなど各種入力用の視覚要素である。これらの視覚要素は、常時表示されていてもよいし、一時的に表示されてもよい。例えば、視覚要素が非表示の状態において、物理オブジェクト８１が視覚要素に近づいたり、物理オブジェクト８１が視覚要素の領域内に入ることに起因して、視覚要素が表示されても良い。第１〜第３視覚要素１７０ａ〜１７０ｃのそれぞれには、処理内容が予め対応付けられている。例えば、第１視覚要素１７０ａが選択された場合、第１処理が実行される。複数の視覚要素１７０の組み合わせに処理内容が予め対応付けられていても良い。
【００２１】
センサ部１４０は、虚像１７０に対する入力に関する信号Ｓ１を生成する。センサ部１４０は、１つ以上のカメラまたはセンサを含む。図１（ａ）及び図１（ｂ）の例においては、フレーム２０１の左端及び右端のそれぞれにセンサ部１４０が設けられている。信号Ｓ１は、例えば、カメラで取得した物理オブジェクト８１や、カメラで取得した観察者８０の眼（右眼１６０Ｒ、左眼１６０Ｌ）を含む画像信号である。信号Ｓ１は、例えば、センサから取得した物理オブジェクト８１や、センサから取得した観察者８０の眼（右眼１６０Ｒ、左眼１６０Ｌ）に関する信号である。信号Ｓ１は、制御部１５０に送信される。この送信は、有線を介してでもよいし、無線を介してでもよい。
【００２２】
制御部１５０は、センサ部１４０からの情報を用いて物理オブジェクト８１による入力を検知する。例えば、制御部１５０は、物理オブジェクト８１により選択された視覚要素または後述する選択可能領域を特定する。例えば、制御部１５０は、物理オブジェクト８１による入力動作を追跡することにより、選択された視覚要素または選択可能領域を特定する。カメラによる情報を用いて入力動作を追跡する場合、例えば、物理オブジェクト８１を画像認識できることが望ましい。
【００２３】
物理オブジェクト８１として、各種マーカを用いて入力動作を追跡してもよい。マーカとしては、例えば、赤外線マーカ、可視光線ＬＥＤ(Light Emitting Diode)マーカ、再帰性反射マーカ、ＡＲ(Augmented Reality)マーカ、色マーカなどを用いることができる。センサを用いて入力動作を追跡する場合、例えば、光、熱、超音波、ＲＦ(Radio Frequency)などを検出可能であればよい。センサは、入力動作を行う物理オブジェクト８１を追跡可能なものであれば特に限定されない。
【００２４】
センサ部１４０は、物理オブジェクト８１の追跡以外の方法を用いてもよい。例えば、観視者８０の視線８０ｅや、脳波などを利用してもよい。視線８０ｅを利用する場合、センサ部１４０は、フレーム２０１の枠内で観視者８０の右眼１６０Ｒ及び左眼１６０Ｌに向けて設けられる。センサ部１４０を用いて、観視者８０の右眼１６０Ｒ及び左眼１６０Ｌのそれぞれの視線８０ｅの動きを追跡し、視線位置を推定する。
【００２５】
例えば、制御部１５０は、第１視覚要素１７０ａが選択されたと検知された場合には第１処理を行う。制御部１５０は、第１処理の後には、第１処理の前と異なる画像情報を表示部１１０に入力する。第１処理の後の画像情報は、例えば、観察者８０に次の動作を促すための画像、観察者８０にさらなる入力を促すための画像、または、選択された視覚要素（視覚要素の組み合わせ）に対応する物品の詳細情報などである。制御部１５０は、第１処理の後には、例えば、次の動作を促すための、音声や振動、画像情報などの信号を出力する。制御部１５０は、第１処理の後には、第１処理が行われたことを通知するための、音声や振動、画像情報などの信号を出力してもよい。制御部１５０は、第１処理の後には、視覚要素の選択がなされたことを通知するための、音声や振動、画像情報などの信号を出力してもよい。
【００２６】
第１処理は、例えば、画像情報の更新及び処理を行うことを含む。画像情報の更新及び処理には、例えば、視覚要素の再配置や、選択可能領域の再定義、視覚要素と選択可能領域の対応付けの変化、などが含まれる。
第１処理は、例えば、表示装置１００の虚像表示をオフすることを含む。
第１処理は、例えば、装置装置１００全体の電源をオフすることを含む。
第１処理は、これらの処理の組み合わせでも良い。
【００２７】
制御部１５０は、センサ部１４０からの信号Ｓ１に基づいて、第１視覚要素１７０ａに対応する第１選択可能領域５１ａへの入力を検知して、第１視覚要素１７０ａが選択されたときの第１処理を行う。すなわち、センサ部１４０からの信号Ｓ１に基づいて、第１視覚要素１７０ａに対応する第１選択可能領域５１ａへの入力を検知して、第１入力受付領域５１に含まれる虚像１７０上の少なくとも一部の領域が選択されたときの第１処理を行う。第１選択可能領域５１ａは、虚像１７０を含む面６０上の虚像１７０以外の領域である。第１選択可能領域５１ａは、虚像１７０と接する。第１選択可能領域５１ａは、例えば、３次元の空間上に定義される領域である。
【００２８】
制御部１５０は、第２選択可能領域５１ｂへの入力をさらに検知して第１処理を行っても良い。第２選択可能領域５１ｂは、虚像１７０内にある。第２選択可能領域５１ｂは、虚像１７０内の第１視覚要素１７０ａの周りの少なくとも一部に設けられている。例えば、第２選択可能領域５１ｂは、第１選択可能領域５１ａと同様に、３次元の空間上に定義される領域である。図３の例では、第２選択可能領域５１ｂは、第１視覚要素１７０ａの周囲に沿って設けられている。例えば、第２選択可能領域５１ｂの少なくとも一部は、第１選択可能領域５１ａと第１視覚要素１７０ａとの間に設けられる。第１選択可能領域５１ａ、第２選択可能領域５１ｂ及び第１視覚要素１７０ａは、第１入力受付領域５１を構成する。すなわち、第１入力受付領域５１は、虚像１７０の少なくとも一部と、虚像１７０を含む面６０上の虚像１７０以外の領域と、を含む。
【００２９】
虚像１７０は、表示装置１００により２次元に表示される。面６０の一部であるセンサ領域（以下、センサ領域６０）は、例えば、センサ部１４０により検知可能な範囲である。センサ領域６０は、虚像１７０の少なくとも一部を含む。センサ領域６０は、例えば、虚像１７０を含み、虚像１７０よりも大きい領域である。
【００３０】
制御部１５０は、動く物理オブジェクト８１の動線の延長線または観視者８０の視線８０ｅの延長線に基づいて入力を検知する。例えば、物理オブジェクト８１の動線の延長線上にある選択可能領域または視覚要素が選択されたと検知する。観視者８０の視線８０ｅの延長線上にある選択可能領域または視覚要素が選択されたと検知する。あるいは、制御部１５０は、虚像１７０の面と交差する１つの方向において物理オブジェクト８１が選択可能領域または視覚要素と重なるか否かを検知する。このとき、制御部１５０は、物理オブジェクト８１が選択可能領域または視覚要素と一定時間以上重なっているか否かも検知してもよい。これにより、物理オブジェクト８１が意図せずに選択可能領域または視覚要素を通過してしまった場合などにおいて、誤検知を抑制できる。例えば、物理オブジェクト８１の先端が棒状である場合には、制御部１５０は、物理オブジェクト８１の延在方向の延長線上にある選択可能領域または視覚要素が選択されたと検知する。制御部１５０は、観視者８０の目と物理オブジェクト８１とを結ぶ線の延長線上にある選択可能領域または視覚要素が選択されたと検知してもよい。
【００３１】
図３の例では、第１入力受付領域５１は、第１視覚要素１７０ａを含む。第１入力受付領域５１は、第１視覚要素１７０ａの少なくとも一部を含んでも良い。第１入力受付領域５１は、第１視覚要素１７０ａを選択可能な領域として定義されている。つまり、物理オブジェクト８１が第１入力受付領域５１と重なっていると判定されたときに、第１視覚要素１７０ａが選択されたと検知され、第１処理が行われる。なお、第２視覚要素１７０ｂ及び第３視覚要素１７０ｃについても同様である。第２視覚要素１７０ｂに対応する第２入力受付領域５２、及び、第３視覚要素１７０ｃに対応する第３入力受付領域５３が定義されている。
【００３２】
図４は、参考例に係る入力システムを用いた入力方法を例示する模式図である。
参考例に係る入力システム２９９は、観視者８０に虚像２７０を提示する。虚像２７０は、視覚要素２７０ａ〜２７０ｃを含む。虚像２７０内の視覚要素２７０ａの周囲には、視覚要素２７０ａよりも大きい選択可能領域５１１が定義されている。すなわち、虚像２７０が形成される面において、虚像２７０の範囲は選択可能領域５１１を含む。観視者８０は、物理オブジェクト８１を用いて、選択可能領域５１１を指示し、視覚要素２７０ａを選択することができる。しかしながら、観視者８０の入力操作は、選択可能領域５１１の範囲に限定される。このため、虚像２７０が小さく、十分な選択可能領域を確保できない場合などでは、正確に視覚要素２７０ａを選択することが困難となる。
【００３３】
これに対して、実施形態に係る入力システム２００においては、図３に表すように、第１入力受付領域５１が定義される。第１入力受付領域５１は、第１視覚要素１７０ａの少なくとも一部に加え、第１選択可能領域５１ａを含む。第１入力受付領域５１は、第１視覚要素１７０ａよりも十分に大きな領域とすることができる。このため、観視者８０は、物理オブジェクト８１を用いて、虚像１７０内の第１視覚要素１７０ａの近傍をピンポイントで指示しなくてもよい。観視者８０は、虚像１７０内の第１視覚要素１７０ａの近傍に加え、虚像１７０外の第１選択可能領域５１ａを指示することでも、第１視覚要素１７０ａを選択することができる。これにより、観視者８０は入力操作を容易に行うことができる。
【００３４】
図５は、第１の実施形態に係る入力システムの入力方法を例示するフローチャート図である。
表示装置１００は、図３に表すように、観視者８０に対して虚像１７０を表示する（ステップＳ１）。なお、虚像１７０の表示位置と、物理オブジェクト８１（例えば、指８０ｆなど）の検出位置と、のキャリブレーションを適宜実施してもよい。例えば、物理オブジェクト８１の任意の検出位置を中心として、虚像１７０の表示位置及び物理オブジェクト８１の検出位置の少なくともいずれかを調整する。
【００３５】
制御部１５０は、図３に表すように、第１〜第３入力受付領域５１〜５３を定義する（ステップＳ１２）。第１〜第３入力受付領域５１〜５３が予め定義されている場合、ステップＳ１２は省略してもよい。第１〜第３入力受付領域５１〜５３は、例えば、矩形状に定義される。第１〜第３入力受付領域５１〜５３は、円状、多角形状などでもよい。第１〜第３入力受付領域５１〜５３は、観視者８０が定義した領域でもよい。制御部１５０は、第１〜第３入力受付領域５１〜５３を定義したことを、例えば、各種の音や、虚像１７０の点滅表示などの方法を用いて、観視者８０に通知してもよい。
【００３６】
第１〜第３入力受付領域５１〜５３の定義は、毎回行わなくてもよい。第１〜第３入力受付領域５１〜５３は、例えば、アプリケーション毎に予め割り当てられていてもよいし、いくつかのテンプレートの中から選択するようにしてもよい。
【００３７】
センサ部１４０は、入力に関する信号を生成する（ステップＳ１３）。センサ部１４０には、入力に関する信号Ｓ１を生成し、信号Ｓ１を制御部１５０に送信する。
【００３８】
制御部１５０は、センサ部１４０からの信号Ｓ１に基づいて、第１選択可能領域５１ａ（または第１入力受付領域５１）への入力か否かを検知する（ステップＳ１４）。第１選択可能領域５１ａ（または第１入力受付領域５１）への入力を検知した場合（ＹＥＳの場合）、ステップＳ１５に移行する。ステップＳ１４において、第１入力受付領域５１への入力を検知しない場合（ＮＯの場合）、ステップＳ１３に戻り処理を繰り返す。
【００３９】
制御部１５０は、第１視覚要素１７０ａが選択されたときの第１処理を行う（ステップＳ１５）。観視者８０に第１視覚要素１７０ａが選択されたことを通知するようにしてもよい。通知方法は、例えば、第１視覚要素１７０ａの色やサイズ、位置、透明度、背景色を変更したり、テキスト表示をしたりするなど、選択されたことが視覚的に認識できる方法であればよい。このような視覚のみによらず、スピーカを用いた音による方法、振動子を用いた振動による方法、ペルチェ素子を用いた温度変化による方法など、聴覚や触覚での認識を伴っていてもよい。なお、追跡対象と検知対象とが異なっていてもよい。例えば、追跡対象を掌とし、検知対象を指先とすることが考えられる。この場合、検知対象を計算によって求めるようにしてもよい。
【００４０】
このように、実施形態によれば、観視者８０は、虚像１７０内の第１視覚要素１７０ａ及びその近傍に加え、虚像１７０外の第１選択可能領域５１ａを指示することでも、第１視覚要素１７０ａを選択することができる。これにより、観視者８０は入力操作を容易に行うことができる。
【００４１】
（第２の実施形態）
図６（ａ）及び図６（ｂ）は、第２の実施形態に係る入力システム２００の入力方法を例示する模式図である。
実施形態においては、入力受付領域は、視覚要素の一部を含む。
【００４２】
図６（ａ）に表すように、第１入力受付領域５１は、第１選択可能領域５１ａと、第２選択可能領域５１ｂと、第１視覚要素１７０ａの一部と、を含む。虚像１７０は、第１視覚要素１７０ａと、第２選択可能領域５１ｂに対応する領域１７０ｄと、第２選択可能領域５１ｂ及び第１視覚要素１７０ａ以外に対応する領域１７０ｅと、を有する。領域１７０ｄの色と、領域１７０ｅの色と、を異ならせてもよい。領域１７０ｄの色と領域１７０ｅの色とを異ならせることで、虚像１７０内における第２選択可能領域５１ｂの位置を、観視者８０に認識させることが可能となる。なお、第１視覚要素１７０ａには、背景色とは異なる所定の色が付与されている場合がある。この場合、領域１７０ｄの色と第１視覚要素１７０ａの色とを同じにしてもよい。
【００４３】
また、領域１７０ｄの透明度と領域１７０ｅの透明度とを異ならせることで、虚像１７０内における第２選択可能領域５１ｂの位置を、観視者８０に認識させることが可能となる。さらには、虚像１７０内の領域１７０ｄと領域１７０ｅとの境界線の表示を行うようにしてもよい。
【００４４】
図６（ｂ）に表すように、図６（ａ）と同様に、第１入力受付領域５１は、第１選択可能領域５１ａと、第２選択可能領域５１ｂと、第１視覚要素１７０ａの一部と、を含む。虚像１７０は、第１マークＭ１をさらに含む。第１マークＭ１は、第１選択可能領域５１ａの外縁に設けられている。第１マークＭ１の先端ｐ１の向きの延長線上に、第１選択可能領域５１ａが位置する。これにより、第１選択可能領域５１ａの位置を観視者８０に示唆することが可能となる。
【００４５】
（第３の実施形態）
図７は、第３の実施形態に係る入力システム２００の入力方法を例示する模式図である。
実施形態においては、複数の選択可能領域が定義される。
【００４６】
図７に表すように、第１選択可能領域５１ａ及び第２選択可能領域５１ｂに加え、第３選択可能領域５１ｃがさらに定義される。第３選択可能領域５１ｃは、第１視覚要素１７０ａに対応する。第３選択可能領域５１ｃは、虚像１７０と接しない。第３選択可能領域５１ｃは、第１選択可能領域５１ａとは異なる非表示領域である。観視者８０は、第１選択可能領域５１ａ及び第３選択可能領域５１ｃのいずれかを指示することでも、第１視覚要素１７０ａを選択することが可能となる。
【００４７】
虚像１７０は、第１マークＭ１に加え、第２マークＭ２をさらに含んでも良い。第１マークＭ１は、第１選択可能領域５１ａの外縁に設けられる。第２マークＭ２は、第３選択可能領域５１ｃと離間して設けられる。第１マークＭ１の先端ｐ１の向きの延長線上に、第１選択可能領域５１ａが位置する。第２マークＭ２の先端ｐ２の向きの延長線上に、第３選択可能領域５１ｃが位置する。これにより、第１選択可能領域５１ａの位置及び第３選択可能領域５１ｃの位置のそれぞれを観視者８０に示唆することが可能となる。
【００４８】
（第４の実施形態）
図８（ａ）及び図８（ｂ）は、第４の実施形態に係る入力システム２００の入力方法を例示する模式図である。
実施形態においては、虚像内に複数の視覚要素が含まれる。
【００４９】
図８（ａ）に表すように、虚像１７０は、第１視覚要素１７０ａに加え、さらに、第２視覚要素１７０ｂを含む。この場合、第１選択可能領域５１ａに加え、第２選択可能領域５１ｂがさらに定義される。第２選択可能領域５１ｂは、例えば、第１視覚要素１７０ａに対応する。第２選択可能領域５１ｂは、虚像１７０内の第１視覚要素１７０ａの周りの少なくとも一部、及び、虚像１７０内の第２視覚要素１７０ｂの周りの少なくとも一部に設けられている。
【００５０】
図８（ａ）の例では、第１入力受付領域５１は、第１選択可能領域５１ａと、第２選択可能領域５１ｂと、第１視覚要素１７０ａと、第２視覚要素１７０ｂと、を含む。ここで、第２視覚要素１７０ｂの領域を、第１視覚要素１７０ａに対応させてもよい。このように、第１入力受付領域５１に含まれる各領域に優先度を設けることで、選択の自由度を向上させることができる。
【００５１】
ここで、以下の第１〜第３ケースに応じて異なる処理を行うようにしてもよい。第１ケースは、第１入力受付領域５１内、且つ、虚像１７０外の場合である。第２ケースは、第１入力受付領域５１内、且つ、虚像１７０内、且つ、第１視覚要素１７０ａ及び第２視覚要素１７０ｂの領域外の場合である。第３ケースは、第１入力受付領域５１内、且つ、虚像１７０内、且つ、第１視覚要素１７０ａ及び第２視覚要素１７０ｂの領域内の場合である。
【００５２】
図８（ｂ）に表すように、虚像１７０は、第１視覚要素１７０ａに加え、さらに、第２視覚要素１７０ｂを含む。この場合、第１選択可能領域５１ａに加え、第２選択可能領域５１ｂと、第３選択可能領域５１ｃと、第４選択可能領域５１ｄと、第１選択不可領域５１ｅと、第２選択不可領域５１ｆと、が定義される。
【００５３】
第１選択可能領域５１ａは、第１視覚要素１７０ａに対応する。第１選択可能領域５１ａは、センサ領域６０の虚像１７０以外の領域を含む。制御部１５０は、第１選択可能領域５１ａへの入力を検知して、第１視覚要素１７０ａが選択されたときの第１処理を行う。第２選択可能領域５１ｂは、第１視覚要素１７０ａに対応する。第２選択可能領域５１ｂは、虚像１７０内の第１視覚要素１７０ａの周りの少なくとも一部に設けられている。制御部１５０は、第２選択可能領域５１ｂへの入力を検知して、第１視覚要素１７０ａが選択されたときの第１処理を行う。
【００５４】
第３選択可能領域５１ｃは、第２視覚要素１７０ｂに対応する。第３選択可能領域５１ｃは、センサ領域６０の虚像１７０以外の別の領域を含む。制御部１５０は、第３選択可能領域５１ｃへの入力を検知して、第２視覚要素１７０ｂが選択されたときの第２処理を行う。第４選択可能領域５１ｄは、第２視覚要素１７０ｂに対応する。第４選択可能領域５１ｄは、虚像１７０内の第２視覚要素１７０ｂの周りの少なくとも一部に設けられている。制御部１５０は、第４選択可能領域５１ｄへの入力を検知して、第２視覚要素１７０ｂが選択されたときの第２処理を行う。
【００５５】
第１選択不可領域５１ｅは、第１選択可能領域５１ａと第３選択可能領域５１ｃとの間に設けられ、観視者８０による入力動作を受け付けない。つまり、制御部１５０は、第１選択不可領域５１ｅへの入力を検知した場合、第１処理も第２処理も行わない。第２選択不可領域５１ｆは、第２選択可能領域５１ｂと第４選択可能領域５１ｄとの間に設けられ、観視者８０による入力動作を受け付けない。つまり、制御部１５０は、第２選択不可領域５１ｆへの入力を検知した場合、第１処理も第２処理も行わない。
【００５６】
すなわち、観視者８０が第１選択不可領域５１ｅ及び第２選択不可領域５１ｆを指示したとしても、第１視覚要素１７０ａ及び第２視覚要素１７０ｂのいずれも選択することはできない。
【００５７】
ここで、例えば、物理オブジェクト８１が上から下に動いている場合には、第１視覚要素１７０ａを選択し、物理オブジェクト８１が下から上に動いている場合には、第２視覚要素１７０ｂを選択するようにしてもよい。また、第１選択不可領域５１ｅ及び第２選択不可領域５２ｆは、第１視覚要素１７０ａと第２視覚要素１７０ｂの両方を同時に選択可能とする領域として定義することができる。
【００５８】
（第５の実施形態）
図９は、第５の実施形態に係る入力システム２００の入力方法を例示する模式図である。
実施形態においては、虚像内に物理オブジェクト（観視者の指など）の位置を表すマークを表示する。
【００５９】
図９に表すように、物理オブジェクト８１は、第１選択可能領域５１ａに位置する。物理オブジェクト８１の座標に基づいて、虚像１７０内に物理オブジェクト８１の位置を表す第３マークＭ３を表示するようにしてもよい。第３マークＭ３の「５ｃｍ」は、虚像１７０の一端から矢印の方向に５ｃｍ離れた位置に物理オブジェクト８１があることを表す。このように、第１選択可能領域５１ａ内にある物理オブジェクト８１の位置を、例えば、文字及び矢印を用いて表示する。なお、物理オブジェクト８１が第１選択可能領域５１ａ内に位置するか否かの検知結果に基づいて、第３マークＭ３の表示に変化を与えるようにしてもよい。表示の変化としては、例えば、第３マークＭ３の色やサイズなどを変化させることが考えられる。
【００６０】
（第６の実施形態）
図１０は、第６の実施形態に係る入力システム２００の入力方法を例示する模式図である。
実施形態においては、入力動作の状態変化を検知する。
【００６１】
図１０に表すように、制御部１５０は、第１状態から第２状態に変化したか否か、または、第２状態から第１状態に変化したか否かを検知するようにしてもよい。第１状態とは、第１選択可能領域５１ａが物理オブジェクト８１の動線の延長線上及び観視者８０の視線８０ｅの延長線上の少なくともいずれかにある状態である。第２状態とは、第１視覚要素１７０ａが物理オブジェクト８１の動線の延長線上及び視線８０ｅの延長線上の少なくともいずれかにある状態である。
【００６２】
上記のような状態の遷移を検知することで、異なる視覚要素を選択するようにしてもよい。例えば、第１状態から第２状態に変化した場合、第１視覚要素１７０ａを選択する。逆に、第２状態から第１状態に変化した場合、第１視覚要素１７０ａ以外の他の視覚要素を選択する。あるいは、第２状態から第１状態に変化した場合、制御部１５０は、何も選択されないことを検知してもよい。
【００６３】
ここで、第１選択可能領域５１ａは、物理オブジェクト８１及び観視者８０の視線８０ｅのいずれかにより指定することができる。例えば、二本の指を用いて、領域の左上と右下を指定し、これにより指定された領域を、第１選択可能領域５１ａを含む第１入力受付領域５１として定義または再定義することができる。また、指などを用いてなぞることで領域を指定し、これにより指定された領域を第１入力受付領域５１として定義または再定義してもよい。また、虚像１７０やセンサ領域６０に対して、例えば、指などを用いて線を引き、分割することで、第１入力受付領域５１として定義または再定義してもよい。
【００６４】
第１入力受付領域５１は、時間とともに変化してもよい。例えば、第１視覚要素１７０ａが動いている場合に、第１入力受付領域５１がそれに伴って変化することが考えられる。また、第１視覚要素１７０ａは動いておらず、第１入力受付領域５１のみが変化することも考えられる。
【００６５】
入力受付領域と視覚要素との対応が変化してもよい。例えば、観視者がある入力受付領域に指などで指示した場合に、他の入力受付領域に対応付けられた視覚要素が変化したり、新たに別の入力受付領域と対応する視覚要素が現れたり、消滅したりすることも考えられる。
【００６６】
（第７の実施形態）
図１１（ａ）〜図１１（ｃ）は、第７の実施形態に係る入力システムを例示する模式図である。
図１１（ａ）に表すように、入力システム２００は、１つのセンサ部１４０を含む。センサ部１４０は、フレーム２０１の右端または左端のいずれかに設けられている。この例のように、１つのセンサ部１４０を用いて物理オブジェクト（観視者の指、観視者が持つ部材など）による入力動作を追跡するようにしてもよい。
【００６７】
図１１（ｂ）に表すように、入力システム２００は、１つのセンサ部１４０を含む。センサ部１４０は、フレーム２０１の中央部分に設けられている。この例のように、１つのセンサ部１４０を用いて物理オブジェクト（観視者の指、観視者が持つ部材など）による入力動作を追跡するようにしてもよい。
【００６８】
図１１（ｃ）に表すように、入力システム２００は、２つのセンサ部１４０を含む。
センサ部１４０は、フレーム２０１の右端及び左端のそれぞれに設けられている。２つのセンサ部１４０は、観視者８０の右眼１６０Ｒ及び左眼１６０Ｌのそれぞれに向けて、設けられている。この例のように、２つのセンサ部１４０を用いて観視者８０の視線による入力動作を追跡するようにしてもよい。
【００６９】
（第８の実施形態）
図１２は、第８の実施形態に係る制御部１５０のハードウエア構成を例示するブロック図である。  
図１２に表したように、制御部１５０は、インターフェース１５１と、プロセッサ１５２と、メモリ１５３と、センサ１５４と、を含む。
【００７０】
インターフェース１５１は、外部の記憶媒体やネットワークと接続され、画像情報を取得する。外部との接続には、有線及び無線のいずれの方法を用いてもよい。また、画像情報以外の情報を通信しても良い。インターフェース１５１は、表示部１１０とも有線または無線で接続されており、表示すべき画像情報を表示部１１０に送る。
【００７１】
メモリ１５３には、例えば、取得した画像情報を処理するプログラムが記憶されている。例えば、メモリ１５３には、取得した画像情報を表示部１１０において適切な表示が行われるように変換するプログラム等が記憶される。また、メモリ１５３が画像情報を保持する構成であってもよい。プログラムは、予めメモリ１５３に記憶された状態で提供されてもよいし、ＣＤ−ＲＯＭ等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
【００７２】
センサ１５４には、例えば、カメラ、マイク、位置センサ又は加速度センサなどの任意のセンサを用いることができる。例えば、センサ１５４から得られる情報に基づいて、プロセッサ１５２が表示部１１０に表示される画像を適宜変更する。これにより、表示装置の利便性や見易さを向上させることができる。
【００７３】
制御部１５０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【００７４】
以上、実施形態として、入力システムについて説明した。実施形態は、制御部の入力処理をコンピュータに実行させるための入力プログラムの形態であってもよい。または、実施形態は、この入力プログラムを記録したコンピュータ読み取り可能な記録媒体の形態であってもよい。上記の記録媒体としては、具体的には、ＣＤ-ＲＯＭ（-Ｒ／-ＲＷ）、光磁気ディスク、ＨＤ（ハードディスク）、ＤＶＤ-ＲＯＭ（-Ｒ／-ＲＷ／-ＲＡＭ）、ＦＤ（フレキシブルディスク）、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定できる。これら記録媒体に上述した実施形態に係る制御部の処理をコンピュータに実行させるためのプログラムを記録して流通させてもよい。これにより、入力処理の実現が容易となる。そして、コンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置により入力プログラムを読み出すか、または、情報処理装置が備えている記憶媒体に当該入力プログラムを記憶させ、必要に応じて読み出す。これにより、実施形態に係る入力処理を実行することができる。
【００７５】
実施形態によれば、入力操作を容易に行える入力システム及び入力プログラムが提供できる。
【００７６】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、表示装置、センサ部及び制御部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
【００７７】
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【００７８】
その他、本発明の実施の形態として上述した入力システム及び入力プログラムを基にして、当業者が適宜設計変更して実施し得る全ての入力システム及び入力プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
【００７９】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
５１〜５３…第１〜第３入力受付領域、  ５１ａ〜５１ｄ…第１〜第４選択可能領域、  ５１ｅ、５１ｆ…第１、第２選択不可領域、  ６０…センサ領域（面）、  ８０…観視者、  ８０ｅ…視線、  ８０ｆ…指、  ８０ｍ…部材、  ８１…物理オブジェクト、  １００…表示装置、  １１０…表示部、  １２０…投影部、  １３０…光学部、  １４０…センサ部、  １５０…制御部、  １５１…インターフェース、  １５２…プロセッサ、  １５３…メモリ、  １５４…センサ、  １６０Ｌ…左眼、  １６０Ｒ…右眼、  １７０、２７０…虚像、  １７０ａ〜１７０ｃ…第１〜第３視覚要素、  １８０…前景、  ２００、２９９…入力システム、  ２０１…フレーム、  ２７０ａ〜２７０ｃ…視覚要素、  ３２０…保持部、  ５１１…選択可能領域、  Ｌ１、Ｌ２…第１、第２光、  Ｍ１〜Ｍ３…第１〜第３マーク、  ｐ１、ｐ２…先端
【図１】
2017091350.tif 000003
【図２】
2017091350.tif 000004
【図３】
2017091350.tif 000005
【図４】
2017091350.tif 000006
【図５】
2017091350.tif 000007
【図６】
2017091350.tif 000008
【図７】
2017091350.tif 000009
【図８】
2017091350.tif 000010
【図９】
2017091350.tif 000011
【図１０】
2017091350.tif 000012
【図１１】
2017091350.tif 000013
【図１２】
2017091350.tif 000014