(57)【特許請求の範囲】
【請求項１】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項２】
請求項１に記載の制御装置において、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡のうちの一点と前記検出基準との距離が所定の距離より小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項３】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項４】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の速度であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項５】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項６】
請求項５に記載の制御装置において、
前記物体の外観に関する情報は、前記物体の形状又は色又は模様に関する情報である制御装置。
【請求項７】
請求項３または５に記載の制御装置において、
前記物体の動きに関する情報は、前記物体の速度であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項８】
請求項３または４に記載の制御装置において、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項９】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項１０】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項１１】
請求項１乃至１０の何れか一項に記載の制御装置において、
前記ユーザに関する情報は、前記ユーザの声又は表情であり、
前記制御部は、前記検出部が検出した前記物体の位置と、前記ユーザの声又は表情と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
【請求項１２】
請求項１乃至１１の何れか一項に記載の制御装置において、
空中に像を表示する表示制御部を備え、
前記検出部は、空中の前記像に対する前記非接触操作に基づいて物体の位置を検出する制御装置。
【請求項１３】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、
前記非接触操作を行う物体の位置を検出する検出処理と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、
前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行するプログラム。
【請求項１４】
非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、
前記非接触操作を行う物体の位置を検出し、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、プログラムおよび制御方法に関する。
【背景技術】
【０００２】
表示画面上方で検出された操作体の三次元位置を補正可能な表示装置が知られている（たとえば、特許文献１）。しかしながら、通常動作と三次元位置の補正動作とを同時に行うことができなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１２−９８９５９号公報
【発明の概要】
【０００４】
第１の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第２の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第３の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の速度であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第４の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第５の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第６の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第７の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、前記非接触操作を行う物体の位置を検出する検出処理と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第８の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、前記非接触操作を行う物体の位置を検出し、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
【図面の簡単な説明】
【０００５】
【図１】第１の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は外観斜視図、（ｂ）は断面図、（ｃ）は結像光学系の構成を示す断面図である。
【図２】第１の実施の形態に係る表示装置の主要部構成を説明するブロック図である。
【図３】第１の実施の形態において表示される空中像を模式的に示す図であり、（ａ）、（ｅ）は平面図、（ｂ）、（ｃ）、（ｄ）は撮像装置と空中像と検出基準との関係を示す断面図である。
【図４】第１の実施の形態における所定の非接触操作の例を模式的に示す図である。
【図５】第１の実施の形態において所定の非接触操作が検出基準内で検出される場合を模式的に示す図である。
【図６】第１の実施の形態において所定の非接触操作が検出基準内で検出されない場合を模式的に示す図であり、（ａ）は所定の非接触操作の全体が検出基準よりもＺ方向＋側の検出基準外で検出される場合、（ｂ）は所定の非接触操作の全体が検出基準よりもＺ方向−側の検出基準外で検出される場合を示す図である。
【図７】第１の実施の形態において所定の非接触操作が検出基準内で検出されない場合を模式的に示す図であり、（ａ）は所定の非接触操作の一部が検出基準よりもＺ方向＋側の検出基準外で検出され残部が検出基準内で検出される場合、（ｂ）は所定の非接触操作の一部が検出基準よりもＺ方向−側またはＸ方向−側の検出基準外で検出され残部が検出基準内で検出される場合を示す図である。
【図８】所定の非接触操作がアイコンの方向に向けて行われていな場合を模式的に示す図である。
【図９】第１の実施の形態においてキャリブレーション処理の際に検出基準の位置の変更を示す図であり、（ａ）はＺ方向＋側への検出基準の位置の変更後を示し、（ｂ）はＺ方向−側への位置の変更後を示す図である。
【図１０】第１の実施の形態において、複数回の所定の非接触操作のそれぞれが検出基準内の異なる位置で行われた場合を模式的に示す図である。
【図１１】第１の実施の形態における表示装置が行う処理を説明するフローチャートである。
【図１２】第１の実施の形態の変形例１に係る表示装置の主要部構成を説明するブロック図である。
【図１３】第１の実施の形態の変形例４に係る表示装置の主要部構成を説明するブロック図である。
【図１４】第１の実施の形態の変形例６における表示装置が行う処理を説明するフローチャートである。
【図１５】第１の実施の形態の変形例７において、所定の非接触操作の一部が検出基準外で検出された場合の所定の非接触操作と検出基準との間の距離を模式的に示す図であり、（ａ）は距離が所定の閾値以下の場合、（ｂ）は距離が所定の閾値を超える場合を示す図である。
【図１６】（ａ）は第１の実施の形態の変形例７において、複数の所定の非接触操作が検出基準外にて互いに近傍となる位置で行われた場合を模式的に示す図であり、（ｂ）は第１の実施の形態の変形例７において検出基準の幅を一定にしない場合を模式的に示す図である。
【図１７】第１の実施の形態の変形例８に係る表示装置の主要部構成を説明するブロック図である。
【図１８】第１の実施の形態の変形例８における表示装置の結像光学系と表示器との別の例を模式的に示す断面図である。
【図１９】第２の実施の形態の変形例２において、検出基準を初期設定するタイミングを説明するための模式図であり、（ａ）は初期設定された空中像と空中像に対して行われた所定の非接触操作との位置関係を模式的に示す図であり、（ｂ）は初期設定された空中像に対して行われた所定の非接触操作に基づいて検出基準が初期設定された場合を模式的に示す図である。
【発明を実施するための形態】
【０００６】
−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ（電子看板）等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機（ＡＴＭ装置）においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載しても良い。
【０００７】
図１（ａ）は表示装置１の斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す断面図であり、図１（ｃ）は表示装置１の一部を拡大して表示する側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向に設定されている。
【０００８】
表示装置１は、制御部２０を内蔵する本体１０と、結像光学系９と、表示器１１と、ステージ１４と、撮像装置１５とを備える。結像光学系９と、表示器１１と、ステージ１４と、撮像装置１５とは、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。
【０００９】
図１（ｃ）に示すように、結像光学系９は、内部に複数の微細なミラー素子９０が二次元状に配置され、ＺＸ平面に対して所定の角度、たとえば４５°傾斜して配置される。結像光学系９は、表示器１１に表示される表示画像からのＹ方向＋方向への光を反射して、ステージ１４の上方空間に、表示画像の実像を空中像３０として形成する。このとき、空中像３０は、結像光学系９に関して表示器１１の表示面と対称な位置に形成される。即ち、表示器１１の表示面と結像光学系９との距離ｄと、結像光学系９と空中像３０との距離ｄが等しくなる。こうして、表示装置１の使用者（以下、ユーザ１２という）は、表示器１１の表示面に表示された表示画像を、ステージ１４の上方の空中に浮いた空中像３０として観察することができる。なお、このような結像光学系９の具体的な構成は、例えば、特開２０１６−１４７７７号公報に記載されている。
また、表示装置１は、後述する第１の実施の形態の変形例８にて説明するように公知のライトフィールド方式を用いて空中像３０を表示させてもよい。
【００１０】
また、表示器１１と結像光学系９との間のＹ方向の距離ｄを可変にすることにより、空中像３０が表示される位置をＺ方向に沿って移動させることができる。たとえば表示器１１と結像光学系９との間の距離を小さくすると、即ち、表示器１１を結像光学系９に近づく方向に移動すると、空中像３０はユーザ１２から遠ざかる方向（Ｚ方向−側）に移動して表示される。逆に、表示器１１と結像光学系９との間の距離を大きくすると、即ち、表示器１１を結像光学系９から遠ざかる方向に移動すると、空中像３０はユーザ１２に接近する方向（Ｚ方向＋側）に移動して表示される。表示器１１のＹ方向の移動は、不図示のモータやその他のアクチュエータなどの駆動装置により行うことができる。
【００１１】
空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。
ステージ１４は、ＺＸ平面に平行な面として設けられ、このステージ１４の上方に空中像３０が表示される。以下の説明では、ステージ１４が矩形形状であるものとするが、矩形に限定されず、円形形状や多角形形状等、種々の形状を適用できる。
【００１２】
撮像装置１５は、表示装置１の本体１０の表面に配置され、Ｚ方向＋側に位置する物体を撮像する撮像部と、物体までの距離を検出する測距部とを有し、後述するようにしてユーザ１２が空中像３０に対して行った操作に基づく操作体の位置を検出する。撮像部は、公知の撮像素子を有し、後述するようにして空中像３０を操作するユーザ１２の身体とその一部である指や手等の操作体等とを撮像し、撮像された撮像画像を出力する。撮像素子にはＲ、Ｇ、Ｂのカラーフィルターが設けられており、撮像画像にはＲ、Ｇ、Ｂの色情報が含まれる。このため、後述するように空中像３０を操作しているユーザ１２の指先の形状、爪、模様やユーザ１２が指に持っている物体等を判別することができる。測距部は、たとえば赤外線を出射し、対象物に反射して再び入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、対象物までの距離を算出し、距離情報として出力する。したがって、測定対象物を上記の操作体とした場合、測距部は、撮像装置１５、すなわち表示装置１から空中像３０を操作するユーザ１２の指や手までの距離を求めることができる。撮像装置１５は、撮像部からの撮像画像と測距部からの距離情報とを検出出力として出力する。
【００１３】
撮像装置１５は、後に詳述するように自身の表面からＺ方向の所定の撮像可能範囲に、ユーザ１２の指や手等の操作体の操作を検出するための所定の検出範囲を有する。撮像装置１５は、この所定の検出範囲内においてユーザ１２が空中像３０を操作する際の操作体までの距離を検出する。勿論、空中像３０は、この検出範囲内に位置するように、好ましくは所定の検出範囲のＺ方向の中頃に位置するように結像光学系９により結像される。撮像装置１５は、ユーザ１２が空中像３０の表示位置を指や手やスタイラスで操作することを検出するので、タッチパネル等の操作部材に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、ユーザ１２の指や手を操作体として空中像３０の表示位置を操作する例を説明するが、スタイラスなどの物体を操作体として操作する場合も同様である。
【００１４】
図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び撮像装置１５とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、解析部２００と、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、判定部２０６とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。
【００１５】
解析部２００は、撮像装置１５からの検出出力、すなわち撮像部からの撮像画像と測距部からの距離情報とに基づいて、空中像３０に対して操作を行っている操作体の動作状態、すなわち操作体に関する情報や、操作を行うユーザ１２に関する情報を取得する。たとえば、ユーザ１２が指で空中像３０を操作する場合に、解析部２００は、撮像装置１５の撮像部からの撮像画像に基づいて、ユーザ１２の肩を検出する。そして、解析部２００は、撮像装置１５の撮像部からの撮像画像と測距部からの距離情報、または撮像画像と距離情報との一方に基づいて、肩を基点に動いている腕を検出する。解析部２００は、検出した腕の動き、さらに手首の動き、指先を検出してユーザ１２がどのような操作を行っているかを解析する。たとえば、ユーザ１２が空中像３０に対して、後述するようなタップダウンとタップアップとを行う場合や、手を振る動作や、フリック動作や、スワイプ動作等を行う場合には、腕や手首等に特定の動きがある。たとえば、タップダウン動作の場合には、手首の動きが大きく腕の動きは少ない。また、フリック動作やスワイプ動作の場合には、手首の動きは小さいが肘を基点として腕の動きがある。このようなユーザ１２の動作の種類と、腕、手首等の動作状態とは、関連付けされて予め記憶部２０５に記憶される。
【００１６】
画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に基づいて表示器１１の表示画像の切り替え制御を行う。なお、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
【００１７】
キャリブレーション部２０３は、後に詳述するキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、ステージ１４の上方空間に設定する。具体的には、検出基準制御部２０４は、撮像装置１５の所定の検出範囲内であって空中像３０の位置（または所定範囲）に検出基準を設定する。検出基準制御部２０４は、更に、ユーザ１２の指が検出基準に達したことを撮像装置１５からの検出出力に基づき判定する。即ち、検出基準制御部２０４は、撮像装置１５にて検出された指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準内に位置した時に、ユーザ１２がアイコン３０Ａの表示位置を操作したと判定する。検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザ１２に対して共通の位置であってもよいし、ユーザ１２による表示装置１の使用履歴などに基づき、ユーザ１２毎に異なる位置を設定してもよい。なお、検出基準制御部２０４は、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正してもよい。
また、検出基準の位置（初期位置や、変更または修正された位置）は、ステージ１４の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。
【００１８】
判定部２０６は、撮像装置１５により検出されたユーザ１２の操作が、アイコン３０Ａに対して操作を行う意図を有して行われたものか否かを判定する。なお、判定部２０６による判定処理については、詳細な説明を後述する。
【００１９】
図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）、（ｃ）は、設定される検出基準４０を模式的に示す。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一位置に位置しているが、図３（ｂ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
【００２０】
図３（ａ）においては、空中像３０が１個のアイコン３０Ａを含む場合を例示する。このように表示される空中像３０に対して、撮像装置１５は、図３（ｂ）に示すように、ステージ１４の上方（Ｙ方向＋側）に検出範囲１５Ａを有する。図３（ｂ）では、撮像装置１５の前方（Ｚ方向＋側）のＺ方向に沿った検出限界が破線１５ａで示され、この検出限界１５ａと撮像装置１５との間隔が検出範囲１５Ａとして示されている。
【００２１】
図３（ｂ）の例では、検出限界１５ａがステージ１４のＺ方向＋側の端部の上方に設定された場合を示す。すなわち、検出範囲１５Ａがステージ１４のＺ方向の長さと等しい。この場合、ＺＸ平面上におけるステージ１４と検出範囲１５Ａとが一致致しているので、ステージ１４の上方の空間で行われるユーザ１２の操作が撮像装置１５にて検出される。なお、ＺＸ平面上におけるステージ１４の大きさと検出範囲１５Ａとが一致せず、ステージ１４よりも狭い検出範囲１５Ａが設定されてもよいし、ステージ１４よりも広い検出範囲１５Ａが設定されてもよい。
【００２２】
空中像３０は、ステージ１４の上方に、撮像装置１５からＺ方向＋側に距離Ｈ１だけ離れた位置に形成される。このアイコン３０Ａに対して、検出基準制御部２０４は、図３（ｂ）、（ｃ）に示すように、直方体形状の検出基準４０を初期設定する。アイコン３０Ａに対応する検出基準４０の横断面の大きさは、図３（ｂ）に示すように、アイコン３０Ａの大きさに対応する。検出基準４０のＺ方向の大きさはＤ１である。すなわち、直方体状の検出基準４０は、横断面の長さＷ１がアイコン３０Ａの一辺の長さＷ１に等しく、横断面の他の一辺の長さＷ２がアイコン３０Ａの他の一辺の長さＷ２に等しく定められている。
【００２３】
直方体状の検出基準４０について、そのＺ方向＋側の面を第１基準面４０ａとし、Ｚ方向−側の面を第２基準面４０ｂとし、長さＷ２とＤ１とで生成される側面を第３基準面４０ｃとし、長さＷ１とＤ１とで生成される側面を第４基準面４０ｄと称する。検出基準４０の外部を検出基準外４１と称する。すなわち、検出基準外４１とは、図３（ｃ）において、検出基準４０の第１基準面４０ａと、第２基準面４０ｂと、第３基準面４０ｃと、第４基準面４０ｄとで囲まれた空間以外の外側空間である。
なお、本実施の形態では、検出基準４０を直方体形状として説明するが、これに限定されるものではなく、球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。また、検出基準４０がアイコン３０Ａに対して設定されるものに限定されず、空中像３０の全領域やアイコン３０Ａを含む所定の範囲に検出基準４０が設定されてもよい。
【００２４】
検出基準制御部２０４は、空中像３０が、検出基準４０の第１基準面４０ａと第２基準面４０ｂとの中間に位置するように検出基準４０を設定する。すなわち、検出基準制御部２０４は、空中像３０と第１基準面４０ａとのＺ方向の距離と、空中像３０と第２基準面４０ｂとのＺ方向の距離とが等しくなるように検出基準４０を設定する。なお、空中像３０は第１基準面４０ａと第２基準面４０ｂとの中間に位置するものに限定されない。空中像３０と第１基準面４０ａとの距離が空中像３０と第２基準面４０ｂとの距離とが等しくないものや、空中像３０が第１基準面４０ａよりもＺ方向＋側に位置するものや、空中像３０が第２基準面４０ｂよりもＺ方向−側に位置するものでもよい。つまり、Ｚ軸方向から見て、空中像３０（アイコン３０Ａ）と検出基準４０の第１基準４０ａ、第２基準４０ｂとが重畳された状態であればよい。
【００２５】
なお、検出基準制御部２０４は、上述した検出基準４０の位置を、検出範囲１５Ａ内においてＺ方向に移動させて変更してもよい。たとえば、後述するキャリブレーション処理の結果に基づいて、検出基準制御部２０４は、図３（ｂ）のように設定された検出基準４０をＺ方向＋方向または−方向に移動させてよい。図３（ｂ）、（ｃ）においては、空中像３０と検出基準４０の第１基準面４０ａと第２基準面４０ｂとは、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。
【００２６】
また、図３（ｄ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、複数のアイコン３０Ａが空中像３０に含まれる場合、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０ＡのＺ方向のずれに基づいて、各アイコン３０Ａに対応する検出基準４０のＺ方向の位置をずらすことによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。また、検出基準４０は、図３（ｄ）に示す複数のアイコン３０Ａのそれぞれに設定された検出基準４０を、独立して移動させることにより検出基準４０の位置を変更してよい。すなわち、図３（ｄ）の紙面左端のアイコン３０Ａに対する操作に基づいてキャリブレーション処理が行われた場合、検出基準制御部２０４は、紙面左端のアイコン３０Ａに対応して設定された検出基準４０の位置をＺ方向に移動させてよい。このとき、検出基準制御部２０４は、他のアイコン３０Ａ（図３（ｄ）の紙面中央部および右端のアイコン３０Ａ）に対応して設定された検出基準４０のＺ方向の位置は移動させない。
【００２７】
上記のように設定された空中像３０のアイコン３０Ａや検出基準４０に対して、ユーザ１２が所定の非接触操作を行うことにより、表示装置１は、アイコン３０Ａに割り当てられた機能を実行する。
図４（ａ）〜（ｃ）に本実施の形態における所定の非接触操作６００Ａ〜６００Ｃ（総称する場合には所定の非接触操作６００と称する）の例を示す。図４では、所定の非接触操作６００Ａ〜６００Ｃを指Ｆが移動する際の軌跡として矢印を用いて模式的に示す。図４（ａ）に示す所定の非接触操作６００Ａは、ユーザ１２が指Ｆを距離Ｌ１だけ奥側（Ｚ方向−側）へ移動した後にＵターンして、距離Ｌ１だけ手前側（Ｚ方向＋側）に移動する操作である。即ち、この所定の非接触操作６００Ａは、奥側への移動距離と手前側への移動距離とが等しいＵターン軌跡である。また、所定の非接触操作６００Ａは、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ奥側へ移動した後にその軌跡に沿って距離Ｌ１だけ手前側に移動する操作であってもよい。更には、所定の非接触操作６００Ａは、奥側への移動距離Ｌ１と手前側への移動距離Ｌ１とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作６００Ａとは、指の奥側への移動に引き続き指の手前側への移動がなされる操作であれば良い。
【００２８】
図４（ｂ）の所定の非接触操作６００Ｂは、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、所定時間指Ｆを停止するものである。図４（ｃ）の所定の非接触操作６００Ｃは、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、指Ｆを横方向（Ｘ方向またはＹ方向）に少なくとも所定距離Ｌ２移動させる操作である。
所定の非接触操作６００は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が撮像装置１５で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
上述した各種の所定の非接触操作６００の移動軌跡は、予め記憶部２０５に記憶される。
【００２９】
解析部２００は、撮像装置１５の検出出力に基づいて、所定の非接触操作６００を検出基準４０で検出すると、指Ｆがアイコンの表示位置を操作したと判定する。
図５は、解析部２００によって、前述の所定の非接触操作６００のうち非接触操作６００Ａが検出基準４０で行われたと判定される場合を例示する。所定の非接触操作６００Ａ１は、指Ｆが第１基準面４０ａからＺ方向−側に距離Ｌ１移動し、引き続きＵターンしＺ方向＋側に距離Ｌ１移動して、指Ｆが第１基準面４０ａに達した場合を示す。所定の非接触操作６００Ａ２は、指Ｆが第１基準面４０ａと第２基準面４０ｂとの中間で指ＦがＺ方向−側に距離Ｌ１移動し、引き続きＵターンしＺ方向＋側に距離Ｌ１移動した場合を示す。所定の非接触操作６００Ａ３は指ＦがＺ方向−側に距離Ｌ１移動して第２基準面４０ｂにおいてＵターンしＺ方向＋側に距離Ｌ１移動した場合を示す。この場合、解析部２００は、ユーザ１２により行われた操作が、記憶部２０５に記憶されている所定の非接触操作６００Ａの軌跡と同一と見なせる場合に、所定の非接触操作６００Ａが行われたことを検出する。解析部２００により検出されたユーザ１２による所定の非接触操作６００は記憶部２０５に記憶される。
【００３０】
以上のように、解析部２００は、図５に示されたように、所定の非接触操作６００Ａの距離Ｌ１のＺ方向−側への移動と、Ｕターンと、距離Ｌ１のＺ方向＋側への移動との全てが検出基準４０内で行われた場合に、所定の非接触操作６００Ａが検出基準４０で行われたと判定する。即ち、解析部２００は、所定の非接触操作６００Ａを検出基準４０で検出する。
【００３１】
以上では、所定の非接触操作６００Ａを例として、解析部２００が、所定の非接触操作６００が検出基準４０で行われたか否かを判定する方法を説明したが、他の所定の非接触操作６００Ｂ、６００Ｃ等についても同様である。解析部２００は、所定の非接触操作６００の全体が検出基準４０で行われた場合に、所定の非接触操作６００が検出基準４０で行われたと判定する。所定の非接触操作６００の一部でも検出基準外４１で行われた場合には、解析部２００は所定の非接触操作６００が検出基準４０で行われたと判定しない。所定の非接触操作６００がＺ方向の±方向に距離Ｌ１の移動を伴う操作である場合、検出基準４０の幅Ｄ１、即ち第１基準面４０ａと第２基準面４０ｂとの間隔（Ｚ方向の長さ）は、少なくとも距離Ｌ１以上必要であり、例えば距離Ｌ１の１．５倍〜３倍程度に定められる。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作６００Ａを用いて説明するが、他の非接触操作６００Ｂ、６００Ｃ等においても同等の技術が適用されるものとする。
【００３２】
以上の説明は、所定の非接触操作６００Ａが検出基準４０で検出される場合について説明した。しかし、アイコン３０Ａは、撮像装置１５から距離Ｈ１の位置に位置している。このアイコン３０Ａは空中像３０として表示されるので、或るユーザ１２と別のユーザ１２とでは、空中像３０のアイコン３０Ａの表示位置、即ち距離Ｈ１を、視覚的に異なって感じることがある。また、同一のユーザ１２でも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、或るユーザ１２が、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａに対して所定の非接触操作６００を行ったとする。そのユーザ１２は指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０の第１基準面４０ａよりもＺ方向＋側に位置することがある。逆に、別のユーザ１２は、未だ指がアイコン３０Ａの手前（Ｚ方向＋側）にあると感じているのに、実際には指がアイコン３０Ａに到達し、検出基準４０の第２基準面４０ｂよりもＺ方向−側に位置することもある。このような場合において、検出される所定の非接触操作６００Ａと検出基準４０との位置関係について例示する。
【００３３】
図６は、所定の非接触操作６００Ａの全体が検出基準外４１で検出される場合の例を示したものである。図６（ａ）において、指Ｆによる所定の非接触操作６００Ａの全体が検出基準４０の第１基準面４０ａよりもＺ方向＋側の位置で行われている。この場合には、撮像装置１５の検出出力に基づいて、解析部２００は、所定の非接触操作６００Ａの全体を検出基準外４１で検出する。
【００３４】
図６（ｂ）は、指Ｆによる所定の非接触操作６００Ａの全体が検出基準４０の第２基準面４０ｂよりもＺ方向−側の位置で行われている。この場合にも、撮像装置１５の検出出力に基づいて、解析部２００は、所定の非接触操作６００Ａの全体をそれぞれ検出基準外４１で検出する。撮像装置１５と解析部２００とによって、検出基準外４１で所定の非接触操作６００Ａを検出する方法を説明する。まず、撮像装置１５が指Ｆの移動を逐次検出する。次に、解析部２００は撮像装置１５の検出出力に基づき、指Ｆの移動軌跡が記憶部２０５に記憶されている所定の非接触操作６００Ａに対応するか否かと、指Ｆの移動軌跡の位置（検出基準４０又は検出基準外４１又は検出基準４０と検出基準外４１との両方）を判定する。この判定結果に基づき、検出基準外４１で所定の非接触操作６００Ａが検出される。
【００３５】
図７は、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合の例を示す。図７（ａ）において、指Ｆによる所定の非接触操作６００Ａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４０の第１基準面４０ａよりもＺ方向＋側の位置で行われ、その残部が検出基準４０内で行われている。言い換えると、検出基準４０で検出された所定の非接触操作６００Ａの一部と、検出基準外４１で検出された所定の非接触操作６００Ａの一部とを合わせると、所定の非接触操作６００Ａになる。
この場合、撮像装置１５の検出出力に基づいて、解析部２００は、所定の非接触操作６００Ａの一部を検出基準外４１で検出する。
【００３６】
図７（ｂ）において、指Ｆによる所定の非接触操作６００Ａａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４０の第２基準面４０ｂよりもＺ方向−側の位置で行われ、その残部が検出基準４０内で行われている。言い換えると、検出基準４０で検出された所定の非接触操作６００Ａａの一部と、検出基準外４１で検出された所定の非接触操作６００Ａａの一部とを合わせると、所定の非接触操作６００Ａａになる。
【００３７】
また、指Ｆによる所定の非接触操作６００Ａｂの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４０の第３基準面４０ｃの外側で行われ、その残部が検出基準４０内で行われている。言い換えると、検出基準４０で検出された所定の非接触操作６００Ａｂの一部と、検出基準外４１で検出された所定の非接触操作６００Ａｂの一部とを合わせると、所定の非接触操作６００Ａになる。
これらの場合にも、撮像装置１５の検出出力に基づいて、解析部２００は、所定の非接触操作６００Ａａの一部、またはＡｂの一部を検出基準外４１で検出する。
【００３８】
図６、図７に示すように所定の非接触操作６００が検出される場合、ユーザ１２の意図に反してアイコン操作が実行されない。いずれの場合にも、ユーザ１２は、アイコン操作に違和感を覚えることになる。また、上記の場合とは異なり、例えば複数のアイコン３０Ａが空中像３０として表示されている状態で、ユーザ１２がどのアイコン３０Ａを操作するかを指で示しながら選んでいるような場合には、ユーザ１２の指先の動きが偶然に所定の非接触操作６００と一致したために、アイコン操作が実行されてしまうおそれがある。すなわち、ユーザ１２がアイコン３０Ａを操作する意図を有していないにも関わらず、アイコン操作が実行されてしまい、ユーザ１２は違和感を覚えることになる。また、ユーザ１２がアイコン３０Ａを操作しようとして非接触操作を行っても、ユーザ１２の行った非接触操作が所定の非接触操作６００と異なっていた場合、ユーザ１２の意図に反してアイコン操作が実行されない。このような場合にも、ユーザ１２は違和感を覚えることになる。
【００３９】
本実施の形態の表示装置１では、ユーザ１２によって非接触操作が行われた場合に、ユーザ１２がアイコン３０Ａを操作する意図を有していたか否かを判定する。
ユーザ１２がアイコン３０Ａを操作する意図を有していたか否かについては、制御部２０の判定部２０６により判定を行う。
【００４０】
判定部２０６は、図５〜図７に示した場合のように、ユーザ１２により所定の非接触操作６００が行われた場合には、ユーザ１２はアイコン３０Ａを操作する意図を有していると判定する。また、ユーザ１２により行われた非接触操作が所定の非接触操作６００とは異なっていても、所定の条件を満たす場合には、ユーザ１２はアイコン３０Ａを操作する意図を有していると判定する。すなわち、解析部２００が、撮像装置１５の検出出力に基づいて、所定の非接触操作６００の移動軌跡の全体を検出範囲１５Ａで検出した場合、または検出した非接触操作が所定の条件を満たすことを検出した場合、判定部２０６は、アイコン３０Ａへの操作にユーザ１２の意図があると判定する。なお、所定の条件については、詳細を後述する。
判定部２０６は、ユーザ１２により行われた操作が所定の非接触操作６００でもなく、所定の条件も満たさない場合には、ユーザ１２はアイコン３０Ａを操作する意図を有していないと判定する。すなわち、解析部２００が、撮像装置１５の検出出力に基づいて、検出された非接触操作が所定の非接触操作６００ではないことを検出した場合、または、検出された非接触操作が所定の条件を満たさない場合には、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していないと判定する。
【００４１】
以下、所定の条件について説明する。所定の条件を満たす非接触操作とは、ユーザ１２によって行われた非接触操作の移動軌跡または位置に基づいて、所定の非接触操作６００と見なすことができる操作のことである。
なお、以下の説明においては、所定の非接触操作６００として、図４（ａ）に示す所定の非接触操作６００Ａを例に挙げる。上述したように、所定の非接触操作６００Ａは、ユーザ１２が指Ｆを距離Ｌ１だけ奥側（Ｚ方向−側）へ移動した後にＵターンして、距離Ｌ１だけ手前側（Ｚ方向＋側）に移動する移動軌跡の操作である。
【００４２】
撮像装置１５の撮像部は、ユーザ１２の指を撮像して撮像画像を出力し、撮像装置１５の測距部は、ユーザ１２の指を測距し、測距情報、即ち距離情報を出力する。解析部２００は、指に関する撮像装置１５の撮像画像及び距離情報に基づき、ユーザ１２の非接触操作の移動軌跡の距離を検出する。解析部２００は、この非接触操作の移動軌跡の距離を検出するために、撮像画像及び距離情報の両方を用いても良いし、その一方を用いてもよい。
【００４３】
解析部２００が検出したユーザ１２の操作の移動軌跡と、所定の非接触操作６００Ａの移動軌跡との形状に基づいて、判定部２０６は、ユーザ１２の操作に意図があるか否かを判定する。
解析部２００が、撮像装置１５からの検出出力に基づいて、ユーザ１２の操作の移動軌跡を距離Ｌ０だけＺ方向−側へ移動した後にＵターンして、距離Ｌ０だけＺ方向＋側に移動することを検出したとする。解析部２００が検出したユーザ１２の非接触操作の距離Ｌ０と所定の非接触操作６００Ａの距離Ｌ１との差分が所定の閾値以下の場合には、ユーザ１２はアイコン３０Ａを操作する意図を有していると判定し、差分が所定の閾値を超える場合には、ユーザ１２は意図を有していないと判定する。たとえば、所定の非接触操作６００ＡのＺ方向の±方向への操作の距離Ｌ１を１０ｃｍとし、所定の閾値を３ｃｍとする。ユーザ１２による非接触操作のうちＺ方向の±方向への操作の距離Ｌ０が９ｃｍであった場合には、ユーザ１２は、自身はアイコン３０Ａに対して所定の非接触操作６００Ａを行ったつもりでいる可能性がある。したがって、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していると判定する。また、ユーザ１２による非接触操作のうちＺ方向±方向への操作の距離Ｌ０が２ｃｍであった場合には、ユーザ１２がアイコン３０Ａを操作しようとしていたのではなく、ユーザ１２がどのアイコン３０Ａを選択するか検討している最中であることが考えられる。したがって、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していないと判定する。
【００４４】
解析部２００が、撮像装置１５からの検出出力に基づいて、ユーザ１２の操作の移動軌跡を距離Ｌ１だけＺ方向−側へ移動すること、すなわち図４（ｂ）に示すような移動軌跡を検出したとする。すなわち、所定の非接触操作６００Ａの移動軌跡とは異なる移動軌跡の操作がユーザ１２によって行われた場合であっても、ユーザ１２の操作の位置に基づいて、判定部２０６は、ユーザ１２の操作に意図があるか否かを判定する。この場合、解析部２００は、ユーザ１２が行ったＺ方向−側への操作の方向、すなわちユーザ１２の操作のベクトルはアイコン３０Ａの表示位置に向かっているか否かを検出する。
【００４５】
撮像装置１５の撮像部は、ユーザ１２の指を撮像して撮像画像を出力し、撮像装置１５の測距部は、ユーザ１２の指を測距し、測距情報、即ち距離情報を出力する。解析部２００は、指に関する撮像装置１５の撮像画像及び距離情報に基づき、指の位置を算出する。この場合、解析部２００は、撮像装置１５の撮像画像と距離情報との両方を使用して指の位置を算出しても良いし、撮像装置１５の撮像画像と距離情報との一方を用いて指の位置を算出してもよい。
【００４６】
解析部２００は、撮像装置１５の撮像周期ごとに取得した指の位置に基づいて、ユーザ１２の非接触操作の移動軌跡の方向、すなわちベクトルを算出する。そして、解析部２００は、算出したベクトルの方向にアイコン３０Ａが存在するか否かを判定する。ベクトルの方向にアイコン３０Ａが存在する場合には、ユーザ１２は、アイコン３０Ａに向けて指Ｆを移動させていたが、指Ｆが描くべき移動軌跡の形状を間違えていただけの可能性がある。したがって、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していたと判定する。図８に示すように、ベクトルの方向にアイコン３０Ａが存在しない場合には、移動軌跡の形状も異なり、アイコン３０Ａに向けて指Ｆを移動させていたわけでもないので、ユーザ１２がアイコン３０Ａを操作するために指Ｆを移動させていた可能性は低い。したがって、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していないと判定する。
【００４７】
なお、解析部２００がベクトルを算出するものに限られない。たとえば、解析部２００は、ユーザ１２の非接触操作が行われた位置（たとえば移動軌跡の終点、すなわち図４（ｂ）に示す所定の非接触操作６００Ｂの移動軌跡の場合にはＺ方向−側の端点のＸ座標およびＹ座標）が、アイコン３０Ａの表示位置のＸ座標とＹ座標との範囲内にあるか否かを判定してもよい。すなわち、解析部２００は、ユーザ１２の操作がアイコン３０Ａの表示位置にあるか、大きくずれているかを判定してよい。ユーザ１２により行われた所定の非接触操作６００ＡのＸ座標とＹ座標とが、アイコン３０Ａの表示位置のＸ座標とＹ座標との範囲内の場合には、ユーザ１２は、アイコン３０Ａに向けて指Ｆを移動させていたが、指Ｆが描くべき移動軌跡の形状を間違えていただけの可能性がある。したがって、判定部２０６は、ユーザ１２はアイコン３０Ａを操作する意図を有していたと判定する。ユーザ１２により行われた所定の非接触操作６００ＡのＸ座標とＹ座標とが、アイコン３０Ａの表示位置のＸ座標とＹ座標との範囲内ではない場合には、ユーザ１２による操作は、アイコン３０Ａに向けて行われたものと見なすことができない。したがって、判定部２０６は、解析部２００の判定結果から、ユーザ１２がアイコン３０Ａを操作する意図を有していないと判定する。
【００４８】
また、ユーザ１２の非接触操作が行われたＺ座標と、アイコン３０Ａの表示位置のＺ座標とが所定の範囲内である場合にユーザ１２がアイコン３０Ａを操作する意図を有していると判定してもよい。すなわち、非接触操作の軌跡の一点と検出基準４０との距離が所定の距離よりも小さい場合、ユーザ１２がアイコン３０Ａを操作する意図を有していると判定する。所定の距離より大きい場合、ユーザ１２がアイコン３０Ａを操作する意図を有していないと判定する。ユーザ１２が空中像３０から大きく離れた位置で非接触操作を行った場合には、ユーザ１２が空中像３０に対して操作する意図を有していたと見なしにくい。このような場合に、ユーザ１２がアイコン３０Ａを操作する意図を有していないと判定することができる。
【００４９】
なお、判定部２０６は、ユーザ１２が図５に示すように検出基準４０内で所定の非接触操作６００や所定の条件を満たす場合であっても、ユーザ１２がアイコン３０Ａを操作する意図を有していないと判定する場合がある。たとえば、後述するキャリブレーション処理を行うための専用のモード（キャリブレーション処理モード）に移行する際に行われたユーザ操作の場合である。ここでいうキャリブレーション処理モードは、通常のアイコン３０Ａの操作は受け付けず、キャリブレーションのみを行うモードである。この場合は通常のアイコン３０Ａの操作は受け付けないので、解析部２００によって所定の非接触操作６００や所定の条件を満たす非接触操作が検出基準４０で検出されても、判定部２０６は、ユーザ１２がアイコン３０Ａを操作する意図を有していないと判定する。
【００５０】
また、たとえば、空中像３０のアイコン３０Ａを操作するモードとは異なるモードが実行されているときに行われたユーザ１２の非接触操作が所定の非接触操作６００または所定の条件を満たす非接触操作の場合であっても、判定部２０６は、ユーザ１２は操作の意図を有していないと判定してよい。アイコン３０Ａを操作するモードとは異なるモードとして、たとえば、動画を再生表示する動画再生モードや、複数の静止画を連続して順次スライドショー表示するスライドショー再生モードにおいてアイコンの空中像が表示されていない場合など、ユーザ１２によるアイコン操作が行われることを前提としていないモードである。この場合には解析部２００が、撮像装置１５の検出出力に基づきユーザ１２の指の操作を解析しても、判定部２０６は、アイコンが表示されていないので、ユーザ１２は操作の意図を有していないと判定してよい。
【００５１】
以上のようにして行われた解析部２００による解析結果や、判定部２０６による判定処理の結果に基づいて、制御部２０はアイコン３０Ａの機能を実行させる。また、キャリブレーション部２０３は、上記の解析部２００による解析結果や判定部２０６による判定処理の結果に基づいて、キャリブレーション処理を実行する。以下、アイコン３０Ａの機能を実行させる処理と、キャリブレーション処理とに分けて、説明を行う。
【００５２】
ユーザ１２により行われた非接触操作が解析部２００により検出基準４０で検出され、ユーザ１２はアイコン３０Ａの操作をする意図を有していると判定部２０６により判定された場合における表示装置１の動作について説明する。このような場合には、制御部２０はアイコン３０Ａの機能を実行する。たとえば、表示制御部２０２は、図３（ａ）に示す空中像３０から、たとえば図３（ｅ）に示すような、４行×３列からなる１２個のアイコン３０Ａを含む空中像３０に表示を切り替える。たとえば、図３（ａ）のアイコン３０Ａが、表示装置１の動作を起動させるためのスタートボタンやロック状態の表示装置１を動作可能にするロック解除ボタンの場合であるとする。この場合には、表示制御部２０２は、図３（ｅ）に示す空中像３０として、たとえば各種のアプリケーション（音楽再生、動画再生、メール等）を実行するためのアイコンの表示に切り替える。
【００５３】
ユーザ１２により行われた非接触操作が、解析部２００により検出基準外４１で検出され、ユーザ１２はアイコン３０Ａの操作をする意図を有していると判定部２０６により判定された場合における表示装置１の動作について説明する。このような場合には、制御部２０はアイコン３０Ａの機能を実行し、キャリブレーション部２０３は、キャリブレーション処理を実行する。なお、キャリブレーション処理の詳細については、説明を後述する。なお、ユーザ１２による非接触操作が検出基準外４１で検出され、ユーザ１２に操作の意図があると判定された場合であっても、キャリブレーション処理を行わなくても良い場合がある。たとえば、ユーザ１２によりアイコン３０Ａに対して非接触操作が行われた後に制御部２０が実行する機能において、ユーザ１２による操作を必要としない場合が挙げられる。一例として、ユーザ１２が操作したアイコン３０Ａが表示装置１の動作を終了させるための終了ボタン等の場合がある。このように、制御部２０がアイコン３０Ａの機能を実行した後の状態で、ユーザ１２の操作を求めないような場合には、キャリブレーション処理は行わなくてもよい。
【００５４】
次に、ユーザ１２により行われた非接触操作が解析部２００により検出基準４０で検出され、ユーザ１２がアイコン３０Ａの操作をする意図を有していないと判定部２０６により判定された場合における表示装置１の動作について説明する。この場合には、ユーザ１２がアイコン３０Ａの操作をする意図を有していないと判定しているので、制御部２０はアイコン３０Ａの機能を実行しない。たとえば、表示制御部２０２は、図３（ａ）に示す空中像３０から図３（ｅ）に示す空中像３０への表示の切り替えを行わない。さらに、キャリブレーション部２０３は、キャリブレーション処理を行わない。
ただし、このような場合であっても、ユーザ１２により行われた非接触操作がキャリブレーション処理に移行するように指示する操作である場合には、キャリブレーション部２０３は、キャリブレーション処理を行う。
【００５５】
最後に、ユーザ１２により行われた非接触操作が解析部２００により検出基準外４１で検出され、ユーザ１２がアイコン３０Ａの操作をする意図を有していないと判定部２０６により判定された場合における表示装置１の動作について説明する。この場合も、ユーザ１２がアイコン３０Ａの操作をする意図を有していないと判定しているので、制御部２０は、アイコン３０Ａの機能を実行しない。さらに、キャリブレーション処理も行わない。
【００５６】
以下、キャリブレーション部２０３が実行するキャリブレーション処理について説明する。なお、以下の説明では所定の非接触操作６００Ａが行われた場合を例に説明するが、所定の条件を満たす非接触操作、すなわちユーザ１２が操作の意図を有して行った非接触操作に対してキャリブレーション処理を行ってもよい。
図６（ａ）に示すような所定の非接触操作６００Ａが行われた場合、検出基準制御部２０４は、記憶部２０５に記憶された撮像装置１５からの検出出力に基づいて、所定の非接触操作６００Ａの操作開始位置と第１基準面４０ａとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０は、上述のように、所定の非接触操作６００Ａの操作開始位置と第１基準面４０ａの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、検出基準制御部２０４は、所定の非接触操作６００Ａの最もＺ方向−側の位置、すなわち所定の非接触操作６００Ａの到達位置を記憶部２０５に記憶された撮像装置１５からの検出出力に基づいて求める。検出基準制御部２０４は、この所定の非接触操作６００Ａの到達位置と第１基準面４０ａの位置との間隔を算出し、この算出された間隔に所定の非接触操作６００Ａの距離Ｌ１を加算することによっても、間隔ΔＨ１０を算出することができる。
【００５７】
間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図９（ａ）に示すように距離ΔＨ１０に基づき、検出基準４０の全体を図中上方、すなわちＺ方向＋側に移動する。図９（ａ）においては、移動された検出基準４０を一点鎖線で示す。検出基準４０のＺ方向＋側への移動量は、図９（ａ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザ１２が意図して行った所定の非接触操作６００Ａが、検出基準外４１であって、検出基準４０よりもＺ方向＋側の位置で検出された場合には、検出基準制御部２０４は、検出基準４０の全体を、その所定の非接触操作６００Ａがなされた位置に近付けるようにＺ方向＋側に移動させて、検出基準４０を変更する。
【００５８】
図９（ｂ）は、所定の非接触操作６００Ａが検出基準外４１であって、検出基準４０の第２基準面４０ｂよりもＺ方向−側の位置で検出される場合（図６（ｂ）参照）のキャリブレーション処理を説明する図である。図９（ｂ）において、解析部２００が、撮像装置１５の検出出力に基づき所定の非接触操作６００Ａが行われたことを判定し、かつその所定の非接触操作６００Ａが検出基準外４１で行われたと判定する。検出基準制御部２０４は、所定の非接触操作６００Ａの移動軌跡の最もＺ方向−側の位置、すなわち所定の非接触操作６００Ａの到達位置と検出基準４０の第２基準面４０ｂとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図９（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４０の全体を図中下方（Ｚ方向−側）に移動する。図９（ｂ）では、移動された検出基準４０を一点鎖線で示す。検出基準４０のＺ方向−側への移動量は、図９（ａ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザ１２が意図して行った所定の非接触操作６００Ａが、検出基準外４１であって、検出基準４０よりもＺ方向−側の位置で検出された場合には、検出基準制御部２０４は、検出基準４０の全体を、所定の非接触操作６００Ａがなされた位置に近付けるようにＺ方向−側に移動させて、検出基準４０を変更する。
【００５９】
なお、図９においては、検出基準制御部２０４は、算出した変更量ΔＨ１０だけ検出基準４０を変更するものとしたが、間隔ΔＨ１０に所定量ｈを加算した値を変更量として検出基準４０を変更してもよい。所定量ｈは、所定の非接触操作６００Ａの到達位置の差分（所定の非接触操作６００Ａの到達位置から検出基準４０の最も近い基準面までの差分）を平均した値や複数の所定の非接触操作６０Ａ０の開始位置の差分（所定の非接触操作６００Ａの開始位置から検出基準４０の最も近い基準面までの差分）を平均した値等があげられる。また、所定量ｈは、予め設定された固定の値でもよい。その場合、間隔ΔＨ１０にマージンとなる所定量ｈが加算された分だけ検出基準４０が移動することになる。そのため、ユーザ１２が以後の操作を行う際に、厳密に同一の位置で所定の非接触操作６００Ａを行うことができない場合でも所定量ｈの範囲内での誤差であればユーザ１２の所定の非接触操作６００Ａを検出基準４０で検出することができる。ユーザ１２の所定の非接触操作６００Ａの開始位置や到達位置が操作毎に変動しても、ユーザ１２の所定の非接触操作６００Ａを検出基準４０で検出できる。したがって、間隔ΔＨ１０に所定量ｈを加算した値を変更量とした場合、間隔ΔＨ１０の値を変更量とした場合よりも所定の非接触操作６００Ａを検出基準４０で検出する割合を高くすることができる。
【００６０】
次に、図７に示したように、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合におけるキャリブレーション処理について説明する。
図７（ａ）に示す所定の非接触操作６００Ａのように、所定の非接触操作６００Ａの一部が検出基準４０で行われ、その残部が第１基準面４０ａよりも上方の位置で行われた場合に関するキャリブレーション処理は、図９（ａ）の場合と同様である。即ち、検出基準制御部２０４は、距離ΔＨ１０に基づき、検出基準４０の全体を図中上方（Ｚ方向＋側）に移動する。
図７（ｂ）に示す所定の非接触操作６００Ａａのように、所定の非接触操作６００Ａａの一部が検出基準４０で行われ、その残部が第２基準面４０ｂよりもＺ方向−側の位置で行われた場合に関するキャリブレーション処理は、図９（ｂ）の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４０の全体を図中下方（Ｚ方向−側）に移動する。
【００６１】
図７（ｂ）に示す所定の非接触操作６００Ａｂのように、所定の非接触操作６００Ａｂの一部が検出基準４０で行われ、その残部が第３基準面４０ｃの外側の位置で行われた場合に関するキャリブレーション処理は、検出基準制御部２０４は、距離ΔＨ１０に基づき、検出基準４０の全体をＸ方向に移動する。この場合、検出基準制御部２０４は、検出基準４０の第３基準面４０ｃと所定の非接触操作６００Ａの移動軌跡のうち、第３基準面４０ｃから最も離れた部分との距離ΔＨ１０を算出する。この距離ΔＨ１０が算出されると、検出基準制御部２０４は、距離ΔＨ１０に基づき、検出基準４０の全体を図中のＸ方向、即ち所定の非接触操作６００Ａに近づく方向に移動させる。
【００６２】
判定部２０６により、ユーザ１２がアイコン３０Ａを操作する意図を有していると判定された場合には、図９に示すように、検出基準制御部２０４は、キャリブレーション処理として、検出基準４０の位置を移動させる。この結果、表示の切り替えが行われた空中像３０では、ユーザ１２の操作位置に合わせて検出基準４０が変更されるため、検出基準４０でユーザ１２による所定の非接触操作６００が検出できるようになる。また、１回の操作で、表示の切り替え等の実行動作の処理と、キャリブレーション処理とを行うので、ユーザ１２は違和感なく操作を続けることができる。
【００６３】
キャリブレーション処理として、検出基準制御部２０４は、図９（ａ）に示す場合のように、検出基準４０の位置をＺ方向＋側に移動する。ただし、検出基準制御部２０４は、検出基準４０を、たとえば予め設定されている所定の移動量で移動させてよい。なお、この所定の移動量は、ユーザ１２により設定されてもよい。また、上記の説明では、所定の非接触操作６００Ａ１の始点と終点とが第１基準面４０ａと一致している場合を例に挙げたが、これに限定されず、所定の非接触操作６００Ａ１の始点と終点とが第１基準面４０ａからＺ方向−側の所定範囲内に含まれる場合に、キャリブレーション処理が行われてもよい。
【００６４】
以上のような処理が実行されることにより、ユーザ１２の非接触操作によって、空中像３０の表示を切り替える等の動作の実行処理と、検出基準４０の位置を変更するキャリブレーション処理とを行うことができる。したがって、以後、ユーザ１２によって行われる所定の非接触操作６００が検出基準４０で検出することができるようになる。
【００６５】
図１１のフローチャートを参照して第１の実施の形態の表示装置１の動作について説明する。図１１に示す処理は、制御部２０でプログラムを実行して行われる。このプログラムは記憶部２０５に記憶されており、制御部２０により起動され実行される。
ステップＳ１において、画像生成部２０１が空中像３０用の表示用画像データを生成し、表示制御部２０２が表示用画像データに基づく表示画像を表示器１１に表示させる。検出基準制御部２０４は、検出基準４０を初期位置に設定する。表示器１１に表示される表示画像は、たとえば図３（ａ）に示すようにアイコン３０Ａを含む空中像３０に対応する画像である。
【００６６】
ステップＳ２では、撮像装置１５からの検出出力に基づいて、解析部２００はユーザ１２により非接触操作が行われたか否かを判定する。ユーザ１２により非接触操作が行われたことが検出された場合には、ステップＳ２が肯定判定されステップＳ３へ進み、非接触操作が行われたことが検出されない場合には、ステップＳ２が否定判定されて肯定判定されるまで待機する。ステップＳ３では、ユーザ１２による非接触操作が検出基準４０で行われたか否かを判定する。解析部２００により、非接触操作が検出基準４０で行われたことが検出された場合（図５参照）には、ステップＳ３が肯定判定されてステップＳ４へ進む。非接触操作が検出基準４０内で行われなかった場合（図６、７参照）には、ステップＳ３が否定判定されて後述するステップＳ９へ進む。
【００６７】
ステップＳ４では、判定部２０６は、ユーザ１２により行われた非接触操作が、ユーザ１２により意図して行われたものであるか否かを判定する。たとえば、図５に示すような所定の非接触操作６００や所定の条件を満たす非接触操作が行われ、判定部２０６によりユーザ１２が意図して行った操作であると判定された場合には、ステップＳ４が肯定判定されてステップＳ５へ進む。ステップＳ５では、制御部２０はステップＳ１で表示された空中像３０に含まれるアイコン３０Ａの機能を実行して、後述するステップＳ１２へ進む。たとえば、画像生成部２０１は、図３（ｅ）の空中像３０用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づいて、表示画像を表示器１１に表示させる。すなわち、表示制御部２０２は、図３（ｅ）に示す空中像３０に表示を切り替える。
【００６８】
ユーザ１２により行われた非接触操作が、所定の非接触操作６００でもなく所定の条件を満たす非接触操作でもなく、判定部２０６によりユーザ１２が意図を有さずに行った操作であると判定された場合には、ステップＳ４が否定判定されステップＳ６へ進む。ステップＳ６では、ユーザ１２により行われた非接触操作が、キャリブレーション処理へ移行することを指示する操作であるか否かを判定する。キャリブレーション処理へ移行することを指示する操作である場合には、ステップＳ６が肯定判定されてステップＳ７へ進む。キャリブレーション処理へ移行する際に行われた操作ではない場合には、ステップＳ７が否定判定されて、後述するステップＳ１２へ進む。
【００６９】
ステップＳ７では、検出基準制御部２０４は、検出基準４０の変更量を算出する。検出基準４０の変更量は、予め決められた所定の量でも良いし、ユーザ１２により行われた非接触操作の位置に基づいて算出しても良い。ステップＳ８では、検出基準制御部２０４は、ステップＳ７で算出した変更量に基づいて検出基準４０の位置を変更して、後述するステップＳ１２へ進む。
【００７０】
ステップＳ３が否定判定された場合、ステップＳ９にて、ステップＳ４と同様に、ユーザ１２により意図して行われた操作であるか否かを判定する。ユーザ１２により意図して行われた操作であると判定された場合には、ステップＳ９が肯定判定されてステップＳ１０へ進む。ユーザ１２により意図せずに行われた操作であると判定された場合には、ステップＳ９が否定判定されて、後述するステップＳ１２へ進む。ステップＳ１０では、ステップＳ７と同様の処理が行われてステップＳ１１へ進む。ステップＳ１１では、ステップＳ５およびステップＳ８と同様の処理が行われてステップＳ１２へ進む。すなわち、キャリブレーション部２０３がキャリブレーション処理を行うとともに、表示制御部２０２は、空中像３０に表示を切り替える等の実行動作の処理を行う。ステップＳ１２では、表示装置１の停止操作が行われたか否かを判定する。表示装置１の停止操作が行われた場合、ステップＳ１２が肯定判定されて処理を終了し表示装置１は動作を停止する。表示装置１の停止操作が行われない場合、ステップＳ１２が否定判定されて、ステップ２へ戻る。
【００７１】
また、以下のような場合にキャリブレーション処理を実行してもよい。たとえば、同一の空中像３０に対して、複数回のユーザ操作が必要である場合がある。一例として、空中像３０が、たとえば複数桁の数字やアルファベットを入力する暗証番号入力画面等の場合がある。このような空中像３０に対して、途中までユーザ操作が検出されたが、以後のユーザ操作が検出されないとする。すなわち、解析部２００が、撮像装置１５の検出出力に基づき、第１桁目の入力のためのユーザ操作が行われたが、所定時間内に第２桁目を入力するためのユーザ１２による所定の非接触操作６００または所定の条件を満たす非接触操作を検出しなかったとする。この場合には、キャリブレーション部２０３は、キャリブレーション処理を実行してもよい。たとえば、検出基準制御部２０４は、所定の量だけ検出基準４０の範囲を広げるように、検出基準４０の変更量を算出する。算出された変更量に基づいて、検出基準４０の位置を移動させればよい。
【００７２】
また、以下のような場合にもキャリブレーション処理を実行してもよい。たとえば、ユーザ１２により空中像３０に対する操作が行われることが高い確率で予測される場合に、キャリブレーション処理を実行する。具体的には、上記のような暗証番号入力画面が表示され、かつ、撮像装置１５によって暗証番号を入力しようとする人物が検出されているにも関わらず、所定時間を経過してもユーザ１２による所定の非接触操作６００または所定の条件を満たす非接触操作が検出されない場合がある。このように、撮像装置１５の検出出力に基づいて、ユーザ１２が検出されているにも関わらず解析部２００が所定の非接触操作６００または所定の条件を満たす非接触操作を所定時間内に検出しない場合には、キャリブレーション部２０３は、キャリブレーション処理を実行してもよい。検出基準制御部２０４は、所定の量だけ検出基準４０の範囲を広げるように、検出基準４０の変更量を算出する。算出された変更量に基づいて検出基準４０の位置を移動させればよい。
【００７３】
また、ユーザ１２によって実際に所定の非接触操作６００や所定の条件を満たす非接触操作が行われていないものの、撮像装置１５の検出範囲１５Ａをユーザ１２以外の虫やごみ等の異物が飛来し、その動きが、偶然に所定の非接触操作の軌跡と類似していたとする。この場合、ユーザ１２により所定の非接触操作６００が行われたと判定されるおそれがある。このような場合、解析部２００は、撮像装置１５の検出出力に基づいて、所定の非接触操作と類似する軌跡を描いたのが異物であると解析してよい。たとえば、撮像装置１５の検出出力に、人物に相当する画像が撮像されていないにもかかわらず、所定の非接触操作６００や所定の条件を満たす非接触操作が検出された場合等があげられる。
【００７４】
なお、所定の非接触操作６００または所定の条件を満たす非接触操作が検出基準４０で検出された場合であっても、キャリブレーション部２０３はキャリブレーション処理を実行してもよい。たとえば、ユーザ１２による非接触操作が検出基準４０の端部で行われているような場合がある。一例として、図５に示す所定の非接触操作６００Ａ１が行われた場合を挙げる。図５では、所定の非接触操作６００Ａ１は、その始点と終点が検出基準４０の第１基準面４０ａと一致している。このような場合、以後のユーザ１２による操作が第１基準面４０ａよりもＺ方向＋側で行われ、所定の非接触操作６００Ａ１が検出基準４０で行われなくなるおそれがある。このため、キャリブレーション部２０３はキャリブレーション処理を実行してもよい。
【００７５】
また、非接触操作の到達位置が検出基準４０の第２基準面４０ｂと一致する場合や、第２基準面４０ｂからＺ方向＋側の所定範囲内に含まれる場合にも、キャリブレーション処理が行われてもよい。この場合のキャリブレーション処理としては、検出基準制御部２０４は、図９（ｂ）に示す場合のように、検出基準４０の位置をＺ方向−側に上記の所定の移動量で移動させればよい。
【００７６】
また、上記の説明では、ユーザ１２による一回の非接触操作に基づいてキャリブレーション処理が行われたが、複数回の非接触操作の操作位置の傾向に基づいてキャリブレーション処理が行われてもよい。以下、図１０を参照しながら説明する。
図１０は、ユーザ１２により３回の所定の非接触操作６００が行われた場合を示す。第１回目として所定の非接触操作６００Ａ１が、第２回目として所定の非接触操作６００Ａ２が、第３回目として所定の非接触操作６００Ａ３が行われたものとする。検出基準４０内にて、第２回目の所定の非接触操作６００Ａ２は、第１回目の所定の非接触操作６００Ａ１よりもＺ方向＋側で行われている。第３回目の所定の非接触操作６００Ａ３は、第２回目の所定の非接触操作６００Ａ２よりも検出基準４０内のＺ方向＋側にて行われている。すなわち、ユーザ１２が操作を繰り返すに従って、所定の非接触操作６００Ａが行われる位置がＺ方向＋側に変位している。このような場合、以後のユーザ１２による操作が第１基準面４０ａよりもＺ方向＋側で行われ、所定の非接触操作６００Ａが検出基準４０で行われなくなるおそれがある。このため、キャリブレーション部２０３はキャリブレーション処理を実行する。この場合のキャリブレーション処理としては、検出基準制御部２０４は、検出基準４０の位置をＺ方向＋側に所定の移動量で移動させればよい。
また、図１０において、第１回目に所定の非接触操作６００Ａ３が行われ、第２回目に所定の非接触操作６００Ａ２が行われ、第３回目に所定の非接触操作６００Ａ１が行われた場合には、以後のユーザ１２による操作が第２基準面４０ａよりもＺ方向−側で行われ、所定の非接触操作６００Ａが検出基準４０で行われなくなるおそれがある。この場合には、キャリブレーション処理として、検出基準制御部２０４は、検出基準４０の位置をＺ方向−側に所定の移動量で移動させれば良い。
【００７７】
第１の実施の形態では、撮像装置１５によって検出された非接触操作に基づく操作体の位置と、解析部２００が撮像装置１５の検出出力に基づいて取得した操作体に関する情報とに基づいて、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定する。これにより、操作体によって１回の非接触操作が行われることで、表示装置１の動作と、検出基準４０のキャリブレーション処理とを行うことができるため、ユーザ１２は違和感を感じることなく、スムーズな操作をすることができる。
【００７８】
また、第１の実施の形態では、解析部２００は、操作体の動きに関する情報を取得する。これにより、操作体の非接触操作における動きに基づいて、表示装置１の動作と、検出基準４０のキャリブレーション処理とを行うことができる。
【００７９】
また、第１の実施の形態では、解析部２００が、操作体の位置が検出基準外４１であり、操作体の動きとして軌跡が所定の軌跡であることを検出した場合、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定する。これにより、ユーザ１２が操作を行う意図があると見なせる場合に、表示装置１の動作と検出基準４０のキャリブレーション処理とを行うことができる。
【００８０】
また、第１の実施の形態では、解析部２００が、操作体の軌跡のうちの一点と検出基準４０との距離が所定の距離より小さいことを検出した場合に、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定する。ユーザ１２が空中像３０から大きく離れた位置で非接触操作を行った場合には、ユーザ１２が空中像３０に対して操作する意図を有していたと見なしにくい。このような場合に、表示装置１が動作し、検出基準４０のキャリブレーション処理が行われることを防ぐことができる。
【００８１】
また、第１の実施の形態では、解析部２００が、操作体の位置が検出基準外４１であり、操作体の動きの方向が所定の方向であることを検出した場合、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定する。この場合、ユーザ操作がアイコン３０Ａに向けた操作であれば、検出基準４０で検出されない場合であっても、ユーザ１２が操作を行う意図があると見なす。これにより、ユーザ１２が空中像３０のＺ方向の位置を正確に視認していない場合であっても、操作を行う意図を有していると見なせる場合には、表示装置１の動作と検出基準４０のキャリブレーション処理とを行うことができる。
【００８２】
（第１の実施の形態の変形例１）
図１、図２に示す第１の実施の形態の表示装置１は、ユーザ１２の行った非接触操作の軌跡や位置に基づいて、ユーザ１２にアイコン３０Ａを操作する意図があったか否かを判定した。変形例１の表示装置１では、ユーザ１２が非接触操作を行った際のユーザ１２の指先の速度あるいは加速度を算出し、算出した速度または加速度に基づいて、アイコン３０Ａに対するユーザ操作の意図の有無を判定する。
【００８３】
図１２のブロック図に変形例１の表示装置１の主要部構成を示す。図１２は、変形例１の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１および撮像装置１５を示す。図１２において、制御部２０は、図２に示す第１の実施の形態の表示装置１の制御部２０に含まれる構成に加えて、速度・加速度検出部２０７と、操作予測部２０８とを有する。なお、変形例１の表示装置１には、上述した第１の実施の形態の表示装置１として適用可能な各構成を適用することができる。
【００８４】
速度・加速度検出部２０７は、撮像装置１５からの検出出力を所定の時間毎に取得し、所定の時間当たりの画像上での指の位置の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。操作予測部２０８は、速度・加速度検出部２０７により算出された移動速度や移動加速度が所定値以下の場合には、速度・加速度検出部２０７から出力される指の移動速度または加速度に基づき、指Ｆの移動軌跡を算出、すなわち予測する。解析部２００は、操作予測部２０８により予測された指Ｆの移動軌跡に基づいて、第１の実施の形態と同様にして所定の非接触操作６００の軌跡とを比較する。または、解析部２００は、操作予測部２０８により予測された移動軌跡の方向や位置を算出する。判定部２０６は、解析部２００によるユーザ１２による非接触操作の移動軌跡の比較結果や、移動軌跡の方向や位置に基づいて、第１の実施の形態の場合と同様にして、ユーザ１２の操作意図の有無を判定する。
【００８５】
なお、速度・加速度検出部２０７により算出された移動速度や移動加速度に基づいて、判定部２０６は、ユーザ１２の操作の意図の有無を判定してよい。または、第１の実施の形態の場合と同様にして解析部２００が検出したユーザ１２の非接触操作の移動軌跡や位置と、速度・加速度検出部２０７により算出された移動速度や移動加速度とを組み合わせて、判定部２０６がユーザ１２の操作の意図の有無を判定してもよい。たとえば、速度・加速度検出部２０７により算出された移動速度や移動加速度が所定値を超える場合は、急激なユーザ操作、たとえば、高速で指をＹ方向＋側からＹ方向−側へ振り下ろすような操作が行われている可能性が高い。このような場合は、ユーザ１２が所定の非接触操作６００を行う可能性が低い。したがって、判定部２０６は、ユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ１２はアイコン３０Ａに対する操作を意図していないと判定する。
また、移動速度や移動加速度が所定値を超えるような急激なユーザ操作が行われている場合に、判定部２０６はユーザ操作には意図がないものとして判定する場合を挙げたが、これに限定されない。移動速度や移動加速度が別の所定値よりも小さい場合、すなわちユーザ操作がゆっくりと行われている場合も、判定部２０６は、ユーザ操作には意図がないと判定してよい。この場合も、判定部２０６は、ユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ１２はアイコン３０Ａに対する操作を意図していないと判定する。
【００８６】
変形例１の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップＳ４およびステップＳ９の処理の際に、判定部２０６は、第１の実施の形態にて説明した方法に加えて、速度・加速度検出部２０７により算出された移動速度や移動加速度が所定値を超えるまたは所定値よりも小さい場合にも、ユーザ１２に操作の意図がないと判定する。または、操作予測部２０８が予測した非接触操作の軌跡が、所定の非接触操作６００の軌跡と一致する場合はユーザ１２に操作の意図があると判定してもよい。一致しない場合は、ユーザ１２に操作の意図がないと判定してもよい。
【００８７】
なお、外乱等の影響により、撮像装置１５の複数の検出出力のうちの一部の検出出力にユーザ１２の指等の操作体の情報が含まれていない場合が発生すると、ユーザ１２の非接触操作の形状や移動速度や移動加速度が正確に検出できなくなるおそれがある。すなわち、検出出力に基づいたユーザの非接触操作の形状が変形して検出されたり、移動速度や移動加速度が実際の移動速度や移動加速度と比べて大きな値として検出されたりする。このような場合には、操作予測部２０８は、撮像装置１５の複数の検出出力に平均化等の処理を加えたのちに、移動速度や移動加速度を算出するようにしてよい。
【００８８】
第１の実施の形態の変形例１では、たとえば、操作体の位置が検出基準外４１で検出された場合であっても、操作体の移動速度が所定の速度である場合、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定することができる。または、予測した非接触操作の軌跡に基づいて、表示装置１の動作や検出基準の設定を行うことができる。これにより、ユーザ１２に操作の意図があるかないかをより正確に判定することができ、表示装置１の動作と検出基準４０のキャリブレーション処理とを迅速に行うことができる。
【００８９】
（第１の実施の形態の変形例２）
図１、図２に示す第１の実施の形態の表示装置１や、変形例１の表示装置１は、ユーザ１２の非接触操作の移動軌跡や位置に基づいて、ユーザ１２に空中像３０を操作する意図があったか否かを判定した。変形例２の表示装置１では、ユーザ１２が検出基準４０にて予め設定されているジェスチャーを空中像３０に対して行った場合、表示装置１が各種の機能を実行してもよい。すなわち、解析部２００により検出されたジェスチャー（すなわちユーザ１２の非接触操作の形状）に基づいて、判定部２０６は、ユーザ１２の操作の意図の有無を判定してよい。また、第１の実施の形態の場合と同様にして解析部２００が検出したユーザ１２の非接触操作の移動軌跡や位置と、非接触操作の形状とを組み合わせて、判定部２０６がユーザ１２の操作の意図の有無を判定してもよい。ジェスチャーの例として、たとえばアイコン３０Ａを操作する場合には、１本の指で図４に示すような軌跡を描くようにタップダウンとタップアップとを行う動作がある。また、たとえば空中像３０の全体をページめくりのようにしてスライドして切り替える場合には、ユーザ１２が手や腕をＸ方向＋側に振る動作や、ユーザ１２が表示装置１の方向に向けて指や手を押し込んでから一定方向（Ｘ方向＋側）にはじくように移動するフリック動作や、指や手を一定方向（Ｘ方向＋側）になぞるように移動するスワイプ動作等がある。なお、ジェスチャーの態様として、どのような動作を行うか、または、手全体で行う動作か、１本の指で行う動作か、複数本の指で行う動作か、手を握った状態で行う動作かが、空中像３０の表示内容に基づいて予め設定され、記憶部２０５に記憶されている。
【００９０】
変形例２の表示装置１は、図２に示す第１の実施の形態の表示装置１の構成が適用できる。なお、変形例２の表示装置１に図１２に示す変形例１の表示装置１と同様の構成を適用してもよい。変形例２の表示装置１では、解析部２００が、撮像装置１５による検出出力に基づいて、ユーザ１２が行ったジェスチャーを検出する。検出されたユーザ１２のジェスチャーが記憶部２０５に記憶されているジェスチャーと異なる場合に、判定部２０６は、ユーザ１２は意図して操作を行ったものではないと判定する。たとえば、アイコン３０Ａに対してユーザ１２が手全体を用いてタップダウンとタップアップとを行う動作をしたことが検出されたとする。上述したように、アイコン３０Ａに対するジェスチャーは１本の指でタップダウンとタップアップとを行う動作である。この場合、ユーザ１２が行ったジェスチャーの操作体（手全体）は、記憶部２０５に記憶されているジャスチャーの操作体（１本の指）とはその大きさ、すなわち外観の形状が異なる。したがって、判定部２０６は、ユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ１２は意図して操作を行ったものではないと判定する。また、アイコン３０Ａに対してユーザ１２が手を振り払うジェスチャーを行った場合には、記憶部２０５に記憶されているジェスチャーとは異なるので、判定部２０６は、ユーザ１２は意図して操作を行ったものではないと判定する。
なお、判定部２０６は、上述した変形例１の場合のようにユーザ１２により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。
【００９１】
変形例２の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップＳ２において、撮像装置１５の検出出力に基づいて、解析部２００はユーザ１２により行われたジェスチャーを検出する。ステップＳ４およびステップＳ９の処理の際に、判定部２０６は、解析部２００により、検出されたジェスチャーと記憶部２０５に記憶されているジェスチャーとが比較され、操作体の外観の形状である大きさやジェスチャーの形状が同一または同一と見なせる程度に類似していると判定された場合には、ユーザ１２に操作の意図があると判定する。
【００９２】
第１の実施の形態の変形例２では、操作体の位置が検出基準外４１で検出された場合であっても、操作体の外観が所定の外観である場合にはユーザ１２に操作の意図があると判定し、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定することができる。これにより、予め設定されている所定のジェスチャーに基づいて操作された場合に、表示装置１の動作と検出基準４０のキャリブレーション処理とを行うことができる。
【００９３】
また、第１の実施の形態の変形例２では、操作体の外観とは操作体の形状であってよい。これにより、所定のジェスチャーを予め設定されている手や指の形状に従って操作された場合に、ユーザ１２は操作を行う意図があるもとの見なすことができる。
【００９４】
（第１の実施の形態の変形例３）
変形例３の表示装置１では、外観として所定の色や模様が操作体に付されている場合に、判定部２０６はユーザ１２の操作が意図を有して行われたと判定する。すなわち、解析部２００により検出された操作体に付された所定の色に基づいて、判定部２０６はユーザ１２の操作の意図の有無を判定してよい。また、第１の実施の形態の場合と同様にして解析部２００が検出したユーザ１２の非接触操作の移動軌跡や位置と、操作体の付された色とを組み合わせて、判定部２０６がユーザ１２の意図の有無を判定してもよい。この場合、ユーザ１２は、たとえば所定の色として赤色のテープやシールやキャップ等を指に付して空中像３０に対して操作を行う。または、ユーザ１２は、赤色の手袋をはめて空中像３０に対して操作を行う。なお、上記のテープやシールやキャップや手袋が赤色であるものに限られず、たとえばストライプや水玉等の所定の模様が付されているものでも良い。
【００９５】
変形例３の表示装置１は、図２に示す第１の実施の形態や変形例２の表示装置１の構成が適用できる。なお、変形例３の表示装置１に図１２に示す変形例１の表示装置１と同様の構成を適用してもよい。変形例３の表示装置１では、解析部２００は、撮像装置１５による検出出力に基づいて、ユーザ１２による非接触操やジェスチャーを検出する。解析部２００が、撮像装置１５の検出出力に基づいて、所定の非接触操作６００やジェスチャー操作を行った操作体、すなわち指や手に所定の色や模様が付されていることを検出した場合、判定部２０６はユーザ１２が意図して操作を行ったものと判定する。操作体である指や手に所定の色や模様が付されていない場合には、判定部２０６は、ユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ１２が意図して操作を行ったものではないと判定する。
【００９６】
変形例３の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップＳ２において、解析部２００は、撮像装置１５の検出出力に基づいて、ユーザ１２の操作を検出し、操作体に所定の色や模様が付されているかを検出する。ステップＳ４およびステップＳ９において、判定部２０６は、操作体に所定の色や模様が付されていると検出された場合には、ユーザ１２に操作の意図があると判定する。
【００９７】
なお、以上の説明では、外観として所定の色や模様がユーザ１２の指や手に付されている場合を例に挙げたが、これに限定されない。たとえば、ユーザ１２が、所定の色や模様が付された操作体としてペンや指示棒等を使用した場合に、判定部２０６は、ユーザ１２に操作の意図があると判定してもよい。すなわち、判定部２０６は、解析部２００により、所定の色や模様とは異なる色や模様が付されたペン等を用いてユーザ１２が空中像３０に対して操作を行ったと判定された場合には、ユーザ１２に操作の意図はないと判定する。
【００９８】
また、ユーザ１２が所定の色を発する専用のペンを用いた場合に、判定部２０６は、ユーザ１２に操作の意図があると判定してもよい。たとえば、専用のペンにはボタンが設けられ、このボタンが押下操作されると、先端に設けられたＬＥＤ等の発光部から所定の色（たとえば赤色）の光を発光する。ユーザ１２は、アイコン３０Ａに対して操作を行う場合に、専用のペンのボタンを押下操作して、所定の色の光を発光させる。解析部２００が、撮像装置１５の検出出力に基づいて、専用のペンの先端から所定の色の光が発光していることを検出した場合、判定部２０６は、ユーザ１２に操作の意図があると判定すればよい。専用ペンの先端からの所定の色の光の発光が解析部２００により検出されない場合は、判定部２０６はそのときの操作はユーザ１２が意図したものではないと判定する。
なお、専用のペンが所定の色の光を発光しているときに、判定部２０６がユーザ１２の操作に意図があることを判定するものに限定されない。たとえば、所定の周期で専用のペンが点滅した場合や、強度が所定値を超えた場合や、第１の色（たとえば赤色）から第２の色（たとえば青色）に変化したことを解析部２００が検出すると、判定部２０６がユーザ１２の操作に意図があることを判定してもよい。
【００９９】
なお、上記のような専用のペン等を用いる場合に、専用のペンが超音波と赤外光と出力するものでもよい。この場合には、表示装置１は、専用のペンから出力された超音波と赤外光とを受信する受信部を備える。受信部は、公知の技術を用いて、赤外光を受信した時刻と超音波を受信した時刻との時間差に基づいて、専用のペンの動きを検出する。この専用のペンを用いて空中像３０に対して操作が行われた場合、すなわち受信部が赤外光を受信した場合に、判定部２０６は、ユーザ１２の操作に意図があると判定してもよい。
【０１００】
なお、判定部２０６は、上述した変形例１の場合のようにユーザ１２により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。また、判定部２０６は、上述した変形例２の場合のようにユーザ１２により行われた非接触操作の形状（すなわちジェスチャー）も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。
【０１０１】
第１の実施の形態の変形例３では、操作体の外観とは操作体の色、模様、光等である。これにより、たとえば、予め設定された所定の色や模様が付されている操作体にて操作を行った場合に、ユーザ１２には操作を行う意図があると見なすことができる。
【０１０２】
（第１の実施の形態の変形例４）
第１の実施の形態とその変形例１〜３の表示装置１では、操作体として指や手やペン等を用いて行われた操作に基づいて、ユーザ１２が意図を有して操作を行ったか否かを判定した。変形例４の表示装置１では、表示装置１を操作するユーザ１２の状態に基づいて、ユーザ１２が意図を有して操作を行ったか否かを判定する。すなわち、解析部２００により検出されたユーザ１２の状態に基づいて、判定部２０６はユーザ１２の操作の意図の有無を判定してよい。また、第１の実施の形態の場合と同様にして解析部２００が検出したユーザ１２の非接触操作の移動軌跡や位置と、ユーザ１２の状態とを組み合わせて、判定部２０６がユーザ１２の意図の有無を判定してもよい。
【０１０３】
変形例４の表示装置１は、上述した第１の実施の形態とその変形例１〜３の表示装置１の構成を適用することができる。ユーザ１２の状態として、たとえば、ユーザ１２の視線を用いることができる。ユーザ１２が空中像３０のアイコン３０Ａに対して操作を行ったときに、解析部２００は、撮像装置１５の検出出力に基づいて、ユーザ１２の視線がアイコン３０Ａに向いているかを解析する。解析結果に基づいて、ユーザ１２の視線がアイコン３０Ａに向いている場合には、判定部２０６はユーザ１２の操作に意図があると判定する。ユーザ１２の視線がアイコン３０Ａとは異なる位置に向いている場合には、検出された非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、判定部２０６は、ユーザ１２の操作に意図がないと判定する。
【０１０４】
変形例４の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップＳ２において、解析部２００は、撮像装置１５の検出出力に基づいて、ユーザ１２の視線の方向を検出する。ステップＳ４およびステップＳ９において、ユーザ１２の視線がアイコン３０Ａに向いていることが検出された場合に、判定部２０６は、ステップＳ４およびステップＳ９においてユーザ１２に操作の意図があると判定することができる。
【０１０５】
なお、ユーザ１２の視線がアイコン３０Ａに向いている場合に、判定部２０６がユーザ１２の操作に意図があると判定するものに限定されない。たとえば、ユーザ１２の視線が上下左右に大きく動いている場合には、ユーザ１２は複数のアイコン３０Ａのうちどのアイコン３０Ａを操作するか迷っている可能性がある。したがって、解析部２００が、非接触操作を検出した際に、ユーザ１２の視線の移動量が大きい、すなわち所定の移動量を超えることを検出した場合には、判定部２０６は、ユーザ１２の操作に意図がないと判定することができる。これに対して、ユーザ１２の視線の動きが少ない場合は、ユーザ１２はどのアイコン３０Ａを操作するかを決定し、視線の先のアイコン３０Ａを操作する可能性が高い。したがって、解析部２００が、非接触操作を検出した際に、ユーザ１２の視線の移動量が小さい、すなわち所定の移動量よりも小さいことを検出した場合には、判定部２０６は、ユーザ１２の操作に意図があると判定することができる。
【０１０６】
また、視線の方向や移動量に代えて、ユーザ１２の顔や頭の向きに基づいて、判定部２０６がユーザ１２の操作に意図があるか否かを判定してもよい。この場合、撮像装置１５の検出出力に基づいて、解析部２００は、公知の顔検出を行ってユーザ１２の顔を検出し、顔がアイコン３０Ａに向いているか否かを検出すればよい。解析の結果、ユーザ１２の顔がアイコン３０Ａに向いている場合には、判定部２０６はユーザ１２の操作に意図があると判定し、ユーザ１２の顔がアイコン３０Ａに向いていない場合には、判定部２０６はユーザ１２の操作に意図がないと判定することができる。また、ユーザ１２の顔の動きが大きい場合には、ユーザ１２は複数のアイコン３０Ａの中からどのアイコン３０Ａを操作するか迷っている可能性がある。したがって、解析部２００が、ユーザ１２が空中像３０を操作した際に、ユーザ１２の顔の動きが所定量よりも大きいことを検出した場合には、判定部２０６は、ユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ１２の操作に意図がないと判定することができる。また、解析部２００は、ユーザ１２が首をかしげているような仕草を検出したとする。このような検出結果が得られた場合にも、判定部２０６はユーザ１２の操作に意図がないと判定することができる。これに対して、ユーザ１２の顔の動きが少ない場合は、ユーザ１２はどのアイコン３０Ａを操作するかを決定し、ユーザ１２の顔が向いているアイコン３０Ａを操作する可能性が高い。したがって、解析部２００が、ユーザ１２が空中像３０を操作した際に、ユーザ１２の顔の動きが所定量より小さいことを検出した場合には、判定部２０６は、ユーザ１２の操作に意図があると判定することができる。
【０１０７】
なお、顔の向きや顔の動きに加えて、上述したユーザ１２の視線も組み合わせて、判定部２０６はユーザ１２の操作に意図があるか否かを判定してもよい。この場合の一例として、たとえばユーザ１２の視線がアイコン３０Ａに向いている場合であっても、ユーザ１２が首をかしげているような場合には、判定部２０６はユーザ１２の操作に意図がないと判定することができる。
また、ユーザ１２の視線や顔の向きや動きに代えて、またはそれらに加えて、ユーザ１２の表情を用いて、判定部２０６は、ユーザ１２の操作に意図があるか否かを判定してもよい。たとえば、解析部２００が、ユーザ１２が笑顔ではなく真剣な表情でアイコン３０Ａに対して操作を行ったことを検出した場合には、判定部２０６は、ユーザ１２の操作に意図があると判定してもよい。
【０１０８】
以上の説明では、ユーザ１２の状態として、ユーザ１２の視線や頭の動きや、顔等を例に挙げたが、これに限定されない。たとえば、ユーザ１２が発した声に基づいて、判定部２０６がユーザ１２の操作に意図があるか否かを判定してもよい。ユーザ１２が空中像３０を操作した際に、たとえば「装置が動かない」、「装置を動かしたい」等の言葉を発したことが検出された場合には、判定部２０６はユーザ１２の操作に意図があると判定することができる。
【０１０９】
この場合の表示装置１の主要部構成を、図１３のブロック図に示す。この表示装置１は、第１の実施の形態の表示装置１が有する構成に加えて、集音器１６を有し、制御部２０には音声検出部２０９が備えられる。集音器１６は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０９に出力する。集音器１６としては、市販のマイクロフォンを用いることができる。音声検出部２０９は、集音器１６からの音声データを識別し、ユーザ１２が空中像３０の操作に際して発した音声を検出する。判定部２０６は、音声検出部２０９により、「装置が動かない」、「装置を動かしたい」を表す音声が検出された場合には、ユーザ１２の操作に意図があると判定すればよい。
この場合の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートのステップＳ３において、音声検出部２０９が、ユーザ１２が「装置が動かない」、「装置を動かしたい」等を発声したことを検出した場合に、判定部２０６は、ステップＳ４またはステップＳ９においてユーザ１２に操作の意図があると判定する。
なお、判定部２０６は、上述したユーザ１２の視線、顔や頭、表情と組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。
【０１１０】
なお、判定部２０６は、上述した変形例１の場合のようにユーザ１２により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。また、判定部２０６は、上述した変形例２の場合のようにユーザ１２により行われた非接触操作の形状（すなわちジェスチャー）も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。また、判定部２０６は、上述した変形例３の場合のように操作体の色も組み合わせて、ユーザ１２の操作の意図の有無を判定してもよい。
【０１１１】
第１の実施の形態の変形例４では、操作体の位置が検出基準外４１で検出された場合であっても、ユーザ１２の視線の方向や顔の方向が所定の方向、すなわちアイコン３０Ａの方向の場合に、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定することができる。これにより、ユーザ１２が操作を意図しているか否かを正確に判定することができ、アイコン表示の変更等の実行処理とキャリブレーション処理とを行うことができる。
【０１１２】
また、第１の実施の形態の変形例４では、操作体の位置が検出基準外４１で検出された場合であっても、ユーザ１２の視線の動きや顔の動きが所定の移動量よりも小さい場合、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定することができる。ユーザ１２の視線や顔の動きが小さい場合には、ユーザ１２はどのような操作を行うかを決定している可能性が高いので、ユーザ１２が操作を意図して行っているか否かを正確に判定することができる。
【０１１３】
第１の実施の形態の変形例４では、操作体の位置と、ユーザ１２の声または表情に基づいて、制御部２０は表示装置１を動作させ、検出基準制御部２０４は検出基準４０を設定することができる。これにより、ユーザ１２の発した声や表情に基づいて、ユーザ１２が操作を意図して行っているか否かを正確に判定することができる。
【０１１４】
（第１の実施の形態の変形例５）
変形例５の表示装置１では、ユーザ１２が過去に行った複数回の操作の履歴に基づいて、判定部２０６は、ユーザ１２による最新の操作は意図して行われたか否かを判定するものである。
変形例５の表示装置１は、上述した第１の実施の形態とその変形例１〜４の表示装置１の構成を適用することができる。変形例５の表示装置１の判定部２０６は、複数回のユーザ操作の際に行われた操作の態様と異なる操作の態様でユーザ操作が行われた場合には、そのユーザ１２による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、意図して行われたものではないと判定する。
【０１１５】
たとえば、ユーザ１２がアイコン３０Ａを操作する際には、１本の指でタップダウンとタップアップとを行っていたものとする。ユーザ１２によるこれらの操作の態様は、記憶部２０５に履歴として記憶される。このユーザ１２が今までは１本の指で複数回の操作を行っていたにも関わらず、手を握った状態でアイコン３０Ａを操作したとする。ユーザ１２が通常行う操作の態様とは異なる操作を行っている場合、ユーザ１２はアイコン３０Ａを操作するべきか否か迷っている可能性がある。したがって、判定部２０６は、ユーザ操作が意図して行われたものではないと判定する。
【０１１６】
この場合、判定部２０６は、撮像装置１５の検出出力に基づいて、解析部２００により検出された今回のユーザ操作の態様（手を握った状態で操作）と、記憶部２０５に記憶された履歴におけるユーザ操作の態様（１本の指で操作）とを比較する。判定部２０６は、今回のユーザ操作の態様が履歴におけるユーザ操作の態様と異なるので、手を握った状態でのユーザ操作は意図して行われたものではないと判定する。
また、たとえばユーザ１２がアイコン３０Ａを操作する場合には、タップダウンとタップアップとを行っていたにも関わらず、手を振り払うような動作を行ったとする。この場合も、判定部２０６は、上記と同様にして、解析部２００により検出された今回のユーザ操作の態様（手を振り払う動作）は、履歴におけるユーザ操作の態様（タップダウンとタップアップ）と異なるので、ユーザ操作は意図して行われたものではないと判定する。
また、たとえばユーザ１２がアイコン３０Ａを操作する場合には、前回まではある移動速度でユーザ操作を行っていたにも関わらず、今回はある移動速度よりも遅い速度でユーザ操作が行われた場合には、ユーザ１２はその操作に自信を持っていない可能性がある。このような場合にも、判定部２０６は、遅い速度で行われたユーザ操作は意図して行われたものではないと判定する。すなわち、判定部２０６は、ユーザ１２により行われた操作と、そのユーザ１２の個人的な操作の態様の履歴とを比較した結果に基づいて、ユーザ操作における意図の有無を判定する。
【０１１７】
この場合の表示装置１は、第１の実施の形態の表示装置１が行う図１１のフローチャートのステップＳ４およびステップＳ９において、判定部２０６は、過去のユーザ操作の履歴と比較して、今回のユーザ操作の態様が履歴におけるユーザ操作の態様と同一か否かを判定する。今回のユーザ操作の態様と履歴におけるユーザ操作の態様とが同一の場合には、ステップＳ４およびステップＳ９が肯定判定され、異なる場合にはステップＳ４およびステップＳ９が否定判定される。
【０１１８】
第１の実施の形態の変形例５では、複数回の操作の履歴に基づいて、判定部２０６は、ユーザ１２による最新の操作は意図して行われたか否かを判定する。これにより、過去に行われたユーザ１２の操作の傾向に基づいて、ユーザ１２がアイコン３０Ａの操作を決定した状態か迷っている状態かを判定することができる。
【０１１９】
（第１の実施の形態の変形例６）
第１の実施の形態とその変形例１〜５の表示装置１は、検出基準外４１で検出されたユーザ１２による操作が意図を有していると判定された場合に、ユーザ１２により操作されたアイコン３０Ａの機能の実行と、キャリブレーション処理とを実行した。すなわち、ユーザ１２による操作が上記の条件を満たす度に、機能の実行とキャリブレーション処理とが行われた。本変形例６の表示装置１は、ユーザ１２による操作が上記の条件を満たす場合に、所定の条件に基づいてキャリブレーション処理の実行の要否を決定する。
【０１２０】
変形例６の表示装置１は、上述した第１の実施の形態とその変形例１〜５の表示装置１の構成を適用することができる。変形例６の表示装置１においても、ユーザ操作が意図して行われたか否かの判定については、第１の実施の形態とその変形例１〜５と同様にして行われる。ユーザ１２による所定の非接触操作６００または所定の条件を満たす非接触操作が検出基準外４１で検出され、ユーザ操作が意図して行われたと判定された場合には、第１の実施の形態とその変形例１〜５と同様にして、アイコン３０Ａの機能の実行とキャリブレーション処理とが行われる。ただし、制御部２０は、キャリブレーション処理を行った回数をカウントし、所定回数（たとえば５回等）のキャリブレーション処理が行われていた場合には、キャリブレーション部２０３に対してキャリブレーション処理の実行を禁止させる。すなわち、ユーザ操作に基づいて、キャリブレーション処理が必要な場合であっても、実際にキャリブレーション処理が行われるのは最初の所定回数だけとなる。
【０１２１】
図１４のフローチャートを参照して第１の実施の形態の変形例６の表示装置１の動作について説明する。ステップＳ２１〜ステップＳ２９までの各処理は、図１１のフローチャートに示すステップＳ１〜ステップＳ９までの各処理と同様である。ステップＳ３０では、キャリブレーション処理が行われた回数ｋが所定回数以下であるか否かを判定する。キャリブレーション処理が行われた回数ｋが所定回数以下である場合には、ステップＳ３０が肯定判定されてステップＳ３１へ進む。キャリブレーション処理が行われた回数ｋが所定回数を超える場合には、ステップＳ３０が否定判定されてステップＳ２５へ進む。
【０１２２】
ステップＳ３１およびステップＳ３２における処理は、図１１のステップＳ１０およびステップＳ１１における処理と同様である。ステップＳ３３では、キャリブレーション処理の回数ｋに１を加算してステップＳ３４へ進む。ステップＳ３４での各処理は、図１１のステップＳ１２での各処理と同様である。
【０１２３】
なお、以上の説明では、検出基準外４１で検出されたユーザ操作が意図して行われたと判定された場合には、所定回数のみキャリブレーション処理を行うものとしたが、これに限定されない。たとえば、検出基準外４１で検出されたユーザ操作が意図して行われたと判定された回数が所定回数（たとえば３回）になるごとに、キャリブレーション処理が実行されてもよい。
【０１２４】
この場合、表示装置１の制御部２０は、図１４に示すフローチャートのステップＳ３０において、検出基準外４１で検出されたユーザ操作が意図して行われたと判定された回数が所定回数となったか否かが判定される。所定回数となった場合には、ステップＳ３０が肯定判定され、所定回数とはなっていない場合には、ステップＳ３０が否定判定され、上記の回数をカウントするカウンタに１を加える。ステップＳ３０が肯定判定され、ステップＳ３１およびＳ３２が行われた後のステップＳ３３では、上記の回数をカウントするカウンタを０にリセットする。
【０１２５】
なお、過去のユーザ操作の履歴に基づいて、検出基準外４１で検出されたユーザ操作が意図を有していると判定された場合に、キャリブレーション処理を行うか否かを決定してもよい。たとえば、過去の履歴として５回のユーザ操作のうち、検出基準外４１で検出された操作が意図を有していると判定されたユーザ操作が１回行われ、他の４回はユーザ操作が検出基準４０で検出されたとする。そして、６回目では、検出基準外４１で検出されたユーザ操作が意図を有していると判定された場合には、ユーザ１２は検出基準外４１で操作を行う可能性は低いので、キャリブレーション部２０３は、キャリブレーション処理を実行しない。
また、過去のユーザ操作の履歴に基づいて、検出基準外４１で検出されたユーザ操作が意図を有していると判定された場合に、キャリブレーション処理にて設定される検出基準４０の位置を決定してもよい。たとえば、過去の履歴として５回のユーザ操作のうち、検出基準４０のＺ方向−側でユーザ操作が１回行われ、他の４回は検出基準４０のＺ方向＋側でユーザ操作が行われたとする。このような場合には、ユーザ１２は検出基準４０のＺ方向＋側で操作を行う可能性が高いので、キャリブレーション処理の際には、検出基準制御部２０４は、検出基準４０をＺ方向＋側に移動する。
【０１２６】
また、検出基準外４１で検出されたユーザ操作が意図を有していると判定されるごとにキャリブレーション処理が行われ、検出基準４０の位置が変更された場合、ユーザ１２は検出基準４０の位置が把握できなくなるおそれがある。このような場合には、ユーザ操作のＺ方向の位置が安定せず、操作ごとにＺ方向の位置が不規則に変動する可能性がある。そのため、所定の回数におけるユーザ操作のＺ方向の位置の変動量が大きい場合には、キャリブレーション部２０３は、検出基準外４１で検出されたユーザ操作が意図を有していると判定された場合であっても、キャリブレーション処理を行わない。
【０１２７】
第１の実施の形態の変形例６では、ユーザ１２が過去に行ったユーザ操作の履歴に基づいて、キャリブレーション処理の実行の要否を決定するようにした。これにより、過度にキャリブレーション処理が行われることにより、ユーザ１２が操作を行うべき位置を把握しにくくなるという事態が生じることを低減できる。
【０１２８】
（第１の実施の形態の変形例７）
第１の実施の形態とその変形例１〜６の表示装置１では、キャリブレーション処理を行う場合、検出基準制御部２０４は検出基準４０をＺ方向に変更するものとした。変形例７の表示装置１では、キャリブレーション処理の際に、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさを変更する。
【０１２９】
変形例７の表示装置１は、上述した第１の実施の形態とその変形例１〜６の表示装置１の構成を適用することができる。
たとえば、第１の実施の形態にて図６（ａ）にて示したように、所定の非接触操作６００Ａが検出基準４０のＺ方向＋側の検出基準外４１で検出された場合について説明する。この場合、検出基準制御部２０４は、第２基準面４０ｂの位置を変更することなく、第１基準面４０ａのみを変更量ΔＨ１０だけＺ方向＋側に変更してもよい。すなわち、検出基準４０の幅Ｄ１を変更することにより、検出基準４０のＺ方向の中心位置を変更しても良い。または、検出基準制御部２０４は、第１基準面４０ａを変更量ΔＨ１０だけＺ方向＋側に変更し、第２基準面４０ｂを変更量ΔＨ１０だけＺ方向−側に変更してもよい。すなわち、検出基準４０の幅Ｄ１をＺ方向に同一の変更量ΔＨ１０にて変更することにより、検出基準４０のＺ方向の中心位置を変更することなく検出基準４０を変更しても良い。
なお、図６（ｂ）は、検出基準４０のＺ方向−側に所定の非接触操作６００Ａが検出された場合を示している。この場合、検出基準制御部２０４は、第２基準面４０ｂの位置を変更量ΔＨ１０だけＺ方向−側に変更しても良いし、第２基準面４０ｂの位置を変更量ΔＨ１０だけＺ方向−側に変更するとともに第１基準面４０ａの位置を変更量ΔＨ１０だけＺ方向＋側に変更しても良い。
【０１３０】
キャリブレーション処理として、上記のように検出基準４０の幅Ｄ１の大きさを変更する場合として、次のような場合がある。たとえば、第１の実施の形態にて一例として説明したように、同一の空中像３０に対して、複数回のユーザ操作が必要であるにも関わらず、途中までのユーザ操作が検出されたが、以後のユーザ操作が検出されない場合に行われるキャリブレーション処理に適用される。すなわち、空中像３０が、たとえば複数桁の数字やアルファベットを入力する暗証番号入力画面等の場合である。このような空中像３０に対して、第１桁目の入力のためのユーザ操作が行われ、所定時間内に２桁目を入力するためのユーザ１２による所定の非接触操作６００Ａが検出されないとする。この場合に、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさが大きくなるように変更することにより、２桁目の入力を行うユーザ１２の所定の非接触操作６００を検出基準４０で検出できるようにする。
【０１３１】
なお、ユーザ１２による所定の非接触操作６００が検出基準４０の近傍の検出基準外４１で行われた場合に、検出基準制御部２０４は、上述したように検出基準４０の幅Ｄ１の大きさを変更してもよい。すなわち、図６（ａ）に示すように所定の検出基準６００Ａが検出基準の第１基準面４０ａよりもＺ方向＋側に検出された場合、検出基準制御部２０４は、間隔ΔＨ１０が所定の値以下であるか否かを判定する。検出基準制御部２０４は、間隔ΔＨ１０が所定の値以下の場合に、所定の非接触操作６００Ａが検出基準４０の近傍で行われたと判定し、検出基準４０の幅Ｄ１の大きさを変更する。間隔ΔＨ１０が所定の値より大きい場合には、検出基準制御部２０４は、所定の非接触操作６００Ａが検出基準４０から遠く離れた位置にて行われたものと判定し、検出基準４０の幅Ｄ１の大きさを変更しない。
【０１３２】
また、図７に示すように、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合に、検出基準制御部２０４は、検出基準外４１にて検出された所定の非接触操作６００の一部の空間上の位置と検出基準４０との距離に基づいて、検出基準４０を変更しても良い。たとえば、検出基準制御部２０４は、図７（ａ）に示すように検出基準４０の第１基準面４０ａよりもＺ方向＋側で検出された所定の非接触操作６００の一部、すなわち距離ΔＨ１０が所定の閾値以下か否かを判定する。距離ΔＨ１０が所定の閾値以下の場合には、図１５（ａ）に示すように、指Ｆの所定の非接触操作６００Ａの全体が検出基準４０で行われたものではないものの、所定の非接触操作６００Ａの大部分が検出基準４０で行われる。この場合、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさを変更してよい。すなわち、検出基準制御部２０４は、検出基準４０の第１基準面４０ａをＺ方向＋側に少なくとも距離ΔＨ１０移動した位置に設定する。距離ΔＨ１０が所定の閾値を超える場合には、図１５（ｂ）に示すように、所定の非接触操作６００Ａの大部分が検出基準外４１で行われる。この場合には、検出基準制御部２０４は、第１の実施の形態の場合と同様にして、検出基準４０の位置を移動させればよい。
【０１３３】
また、検出基準制御部２０４が、キャリブレーション処理を行う場合、第１の実施の形態にて説明した検出基準４０の位置の変更と、上述した検出基準４０の幅Ｄ１の大きさの変更とを組み合わせて行ってもよい。たとえば、ユーザ１２によって所定の非接触操作６００が検出基準４０の第１基準面４０ａ近傍における検出基準外４１で検出された場合、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさを小さくし、検出基準４０の位置を変更してよい。図６（ａ）に示すように、ユーザ１２による所定の非接触操作６００Ａと検出基準４０の第１基準面４０ａとの間隔ΔＨ１０とする。この間隔ΔＨ１０が所定値以下の場合、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさを小さくする。この場合、検出基準制御部２０４は、図６（ａ）に示す検出基準４０の幅Ｄ１の大きさの、たとえば８０％や７０％の大きさを新たな検出基準４０の幅Ｄ１として設定する。この場合、新たな検出基準４０の幅Ｄ１の大きさが、所定の非接触操作６００Ａの距離Ｌ１よりも大きくなるように、好ましくは距離Ｌ１のたとえば１．５倍〜２倍程度に設定する。
検出基準制御部２０４は、上記のようにして幅Ｄ１の大きさが変更された検出基準４０の位置を、第１の実施の形態の場合と同様にして移動させる。
【０１３４】
また、たとえば、解析部２００が、ユーザ１２による複数回の所定の非接触操作６００がＺ方向において近傍で行われたことを検出した場合には、検出基準制御部２０４は、検出基準４０の幅Ｄ１の大きさを小さくし、検出基準４０の位置を変更してよい。
たとえば、図１６（ａ）に示すように、ユーザ１２によって３回の所定の非接触操作６００Ａ１、６００Ａ２、６００Ａ３が行われたとする。それぞれの所定の非接触操作６００Ａ１、６００Ａ２、６００Ａ３の検出基準４０の第１基準面４０ａからの間隔をΔＨ１０−１、ΔＨ１０−２、ΔＨ１０−３（ΔＨ１０−２＜ΔＨ１０−１＜ΔＨ１０−３）とする。解析部２００は、間隔ΔＨ１０−１と間隔ΔＨ１０−２との差分、間隔ΔＨ１０−２と間隔ΔＨ１０−３との差分、間隔ΔＨ１０−１と間隔ΔＨ１０−３との差分が、それぞれ所定の範囲内の場合に、所定の非接触操作６００Ａ１、６００Ａ２、６００Ａ３がＺ方向において近傍で行われたと判定する。
【０１３５】
この場合、検出基準制御部２０４は、第１基準面４０ａから最も離れた位置で行われた所定の非接触操作６００Ａ３と、最も近い位置で行われた所定の非接触操作６００Ａ２とが含まれるように、検出基準４０の幅Ｄ１の大きさを小さく変更する。すなわち、検出基準制御部２０４は、距離Ｌ１に、間隔ΔＨ１０−３と間隔ΔＨ１０−２との差分を加算した値以上の値を新たな検出基準４０の幅Ｄ１として設定する。検出基準制御部２０４は、上記のようにして幅Ｄ１の大きさが変更された検出基準４０の位置を、第１の実施の形態の場合と同様にして移動させる。
なお、間隔ΔＨ１０−１と間隔ΔＨ１０−２との差分、間隔ΔＨ１０−２と間隔ΔＨ１０−３との差分、間隔ΔＨ１０−１と間隔ΔＨ１０−３との差分が、所定の範囲を超える場合には、検出基準制御部２０４は、検出基準４０の位置を変えず、上述したように、検出基準４０の幅Ｄ１の大きさを大きくする。この場合、検出基準制御部２０４は、第１基準面４０ａから最も離れた位置で行われた所定の非接触操作６００Ａ（図１６（ａ）の例では所定の非接触操作６００Ａ３）が含まれるように、第１基準面４０ａをＺ方向＋側にΔＨ１０−３移動させる。
【０１３６】
なお、上述した説明では、検出基準制御部２０４は、ユーザ１２による所定の非接触操作６００に基づいて、検出基準４０の幅Ｄ１の大きさを変更する例を挙げたが、これに限定されない。たとえば、検出基準制御部２０４は、時間の経過に伴って、検出基準４０の幅Ｄ１の大きさを変更してもよい。ユーザ１２は、空中像３０に対して操作を繰り返して操作に慣れると、所定の非接触操作６００を行う際のＺ方向の位置のずれ量が小さくなることが想定される。このような想定に基づいて、検出基準制御部２０４は、表示装置１を起動した後には、検出基準４０の幅Ｄ１の大きさを大きくし、時間の経過に基づいて、検出基準４０の幅Ｄ１の大きさを小さく変更する。このとき、検出基準制御部２０４は、検出基準４０の幅Ｄ１を、時間の経過に伴って連続的に小さく変更してもよいし、所定時間が経過するごとに段階的に小さく変更してもよい。
【０１３７】
また、上述の説明では、検出基準４０において、Ｘ方向の位置やＹ方向の位置によらず、幅Ｄ１の大きさは一定に設定されていたが、これに限定されない。たとえば、ユーザ１２のよって空中像３０を操作する際に、指や手が検出基準４０に進入する際の位置や角度に基づいて、幅Ｄ１の大きさが異なる値に設定されてもよい。たとえば、右手で空中像３０を操作するユーザ１２に対しては、右側（空中像３０から見た場合は左側すなわちＸ方向＋側）から指や手が空中像３０に向けて接近する。このような場合には、検出基準４０のＸ方向＋側の幅Ｄ１の大きさが大きく設定されている方が、ユーザ操作を検出基準４０内で検出し易くなる。したがって、検出基準制御部２０４は、図１６（ｂ）に示すように、検出基準４０のＸ方向＋側の幅をＸ方向−側の幅よりも大きな値に設定する。また、ユーザ１２の身長が高い場合には、上方、すなわちＹ方向＋側から空中像３０に向けて指や手が接近する。このような場合には、検出基準４０のＹ方向＋側の幅をＹ方向−側の幅よりも大きな値に設定した方が、ユーザ操作を検出し易くなる。
【０１３８】
上記のように検出基準４０の幅を設定する場合には、検出基準制御部２０４は、表示装置１を操作するユーザ情報に基づいて行うことができる。たとえば、表示装置１を操作するユーザ１２に身長や年齢や性別や利き腕等の情報を入力させ、これらの情報をユーザ情報として記憶部２０５に記憶させる。検出基準制御部２０４は、キャリブレーション処理を行う場合に、記憶部２０５に記憶されたユーザ情報を参照して、検出基準４０の幅の値を設定できる。また、解析部２００が、撮像装置１５の検出出力に基づいて、ユーザ操作が行われているのが右手か左手かを判別したり、ユーザ１２の身長を判別してもよい。
【０１３９】
第１の実施の形態の変形例７では、検出基準４０の幅を変更する。これにより、ユーザ操作を検出基準４０内で検出し易くなる。
【０１４０】
（第１の実施の形態の変形例８）
変形例８の表示装置１は、空中像３０の空中での表示位置を変更可能にする構成を有し、空中像３０を表示するモードの場合や、キャリブレーション処理に際して空中像３０の表示位置を移動する。
図１７は、変形例８における表示装置１の主要部構成を説明するブロック図である。
この表示装置１は、図２に示す第１の実施の形態の表示装置１が有する構成に加えて、表示位置変更部１７を有し、制御部２０には表示位置制御部２１０が備えられる。なお、第１の実施の形態の変形例１〜７の構成に、表示位置変更部１７と表示位置制御部２１０とを適用することもできる。
【０１４１】
表示位置変更部１７は、たとえばモータまたはアクチュエータなどの駆動部を有し、表示器１１をＹ方向に沿って移動して、形成される空中像３０の表示位置をＺ方向に移動して変更する。空中像３０をユーザ１２に接近する方向、すなわちＺ方向＋側に移動させるには、表示位置変更部１７は、表示器１１をＹ方向＋側、すなわち結像光学系９に近づく方向に移動させる。空中像３０をユーザ１２から離れる方向、すなわちＺ方向−側に移動させるには、表示位置変更部１７は、表示器１１をＹ方向−側、すなわち結像光学系９から離れる方向に移動させる。
【０１４２】
表示位置制御部２１０は、次のような場合に、空中像３０を移動させる。たとえば、キャリブレーション処理において検出基準４０を変更する場合に変更後の検出基準４０が撮像装置１５の検出範囲１５Ａの外に出てしまったり、検出範囲１５ＡのＺ方向＋側端またはＺ方向−側端付近に位置するといった事態になりそうな場合である。この場合、解析部２００は、ユーザ１２による操作が行われている位置が、検出範囲１５Ａの外部や、検出範囲１５ＡのＺ方向±側の端部または端部から所定の範囲内であることを検出する。解析部２００により上記の検出が行われた場合には、検出基準制御部２０４は、検出基準４０の変更を行わず、表示位置制御部２１０が空中像３０の移動を行えばよい。検出基準４０が検出範囲１５Ａの外に出たり、Ｚ方向＋側端付近に位置しそうな場合には、ユーザ１２にＺ方向−側で操作させる必要がある。このため、表示位置制御部２１０は、空中像３０の表示位置をＺ方向−側に位置するように、表示位置変更部１７を制御して表示器１１をＹ方向−側へ移動させる。また、検出基準４０が検出範囲１５ＡのＺ方向−側端付近に位置しそうな場合には、ユーザ１２にＺ方向＋側で操作させる必要がある。このため、表示位置制御部２１０は、空中像３０の表示位置をＺ方向＋側に位置するように、表示位置変更部１７を制御して、表示器１１をＹ方向＋側へ移動させる。
また、たとえば、ユーザ１２が腕を伸ばしても空中像３０に到達しないような場合には、表示位置制御部２１０は、空中像３０を移動させてよい。解析部２００が、ユーザ１２が行った所定の非接触操作６００Ａの到達位置が空中像３０の表示位置よりもＺ方向＋側に位置することを検出する。この場合、空中像３０をユーザ１２に接近する方向、すなわちＺ方向＋側に移動するように、表示位置制御部２１０表示位置変更部１７を制御して表示器１１をＹ方向−側へ移動させる。
【０１４３】
なお、上述した説明では、表示器１１をＹ方向に沿って移動させる場合を例に挙げたが、これに限定されない。たとえば、表示位置制御部２１０は、表示器１１を制御し、右目で視認するための表示画像と、右目で視認する画像とは視差を有する左目で視認するための表示画像とを表示させ、空中像３０の奥行の表示位置を変更してもよい。この場合、表示器１１は、たとえば公知のレンチキュラーレンズを備える。表示位置制御部２１０は、右目用の画像と左目用の画像、すなわち視差画像の視差量を制御することにより、空中像３０の位置を変更すればよい。
【０１４４】
また、表示器１１に国際公開公報２０１１／１５８９１１に記載の技術を適用させてもよい。すなわち、表示器１１は三次元の立体像を表示させる公知のライトフィールド表示が可能な構成を有し、表示器１１に二次元表示用の画像を表示させることにより、空中の光軸方向に沿った異なる位置に空中像３０を形成させることができる。
図１８にこの場合の表示器１１と結像光学系９とのＺＸ平面における断面を模式的に示す。表示器１１の表示面には、二次元状に配列された複数のマイクロレンズ１１１により構成されるマイクロレンズアレイ１１２を有する。１つのマイクロレンズ１１１は、表示器１１の複数の表示画素Ｐごとに設けられる。なお、図１８に示す例では、図示の都合上、５×５の表示画素Ｐに対して１個のマイクロレンズ１１１が設けられた例を示しているが、実際の表示画素Ｐの個数よりも少なく描いている。マイクロレンズアレイ１１２は、表示器１１の表示面からマイクロレンズ１１１の焦点距離ｆだけＺ方向＋側に離れた位置に配置される。各マイクロレンズ１１１は、表示された画像に基づいて表示画素Ｐからの光をＺ方向の所定の像面に投影する。なお、マイクロレンズ１１１に代えてレンチキュラーレンズを用いてもよい。
【０１４５】
この表示器１１では、空中像３０を構成する各光点ＬＰが空中に形成されるためには、それぞれの光点ＬＰを形成する光は、異なる複数のマイクロレンズ１１１のそれぞれに被覆される一部の表示画素Ｐから出射される。なお、光点ＬＰは、表示器１１とマイクロレンズ１１１とによって空中に表示された像であるため、空中像である。図１８に示す例では、斜線を付して示す表示画素Ｐから出射された光がマイクロレンズ１１１により投影されて光点ＬＰを形成する。この場合、１つのマイクロレンズ１１１によって被覆される表示画素Ｐの個数（図１８の例では５×５個）が異なる複数のマイクロレンズ１１１に分散して割り当てられる。この割り当て方に基づいて、空中に形成される光点ＬＰのＺ方向に対する位置を異ならせることができる。空中像３０は、このようにして光点Ｐが結像されることにより形成される。以上により、空中像３０のＺ方向に対する位置は、表示器１１に表示する画像を変更することによって変更される。
【０１４６】
第１の実施の形態の変形例８では、検出されたユーザ１２の操作の位置に基づいて、空中像３０の表示位置を変更するようにした。これにより、ユーザ１２の操作を検出範囲１５Ａ内で行わせるようすることができる。
【０１４７】
（第１の実施の形態の変形例９）
第１の実施の形態とその変形例１〜８の表示装置１は、キャリブレーション処理として、検出基準４０の位置や幅等を変更させるものであった。本変形例９の表示装置１は、撮像装置１５の検出出力に対してキャリブレーション処理を行い、ユーザ操作の検出精度を高めるようにするものである。
変形例９の表示装置１は、上述した第１の実施の形態とその変形例１〜８の表示装置１が有する構成を適用することができる。
【０１４８】
解析部２００は、撮像装置１５からの検出出力のうち、撮像部からの撮像画像を用いて、ユーザ１２が操作を行う際の操作体を検出している。解析部２００は、撮像画像のうち、たとえば肌色の領域を指や腕として検出しているが、この検出精度が低い場合には、ユーザ操作を正しく検出することができなくなる。したがって、キャリブレーション処理を行う場合、解析部２００は、たとえば肌色の領域を検出するための、Ｒ、Ｇ、Ｂの色成分の閾値や輝度の閾値を変更する。たとえば、検出した範囲にノイズ等の外乱が含まれていることにより、操作体の検出精度が低下している場合には、解析部２００は、上記の閾値を大きな値に設定する。また、たとえば、ユーザ１２の指先等が検出されていないような場合には、解析部２００は、上記の閾値を小さな値に設定する。
【０１４９】
第１の実施の形態の変形例９では、撮像装置１５の検出出力に対してキャリブレーション処理を行う。これにより、ユーザ１２の操作を検出する精度を高めることができる。
【０１５０】
なお、上述の第１の実施の形態とその変形例１〜９では、制御部２０と表示器１１と撮像装置１５とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と撮像装置１５とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４と判定部２０６とを備えればよい。上述の第１の実施の形態、または変形例１〜９に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
【０１５１】
−第２の実施の形態−
図面を参照しながら、第２の実施の形態の係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
上述した第１の実施の形態とその変形例の表示装置１では、検出基準４０を予め定められた初期位置に設定するものであった。第２の実施の形態の表示装置１は、空中像の位置に基づいて、検出基準４０の位置を初期設定するものである。
【０１５２】
第２の実施の形態の表示装置１は、第１の実施の形態における図２のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置１には、第１の実施の形態とその変形例１〜９における構成や各種処理や制御を適宜適用させることができる。
【０１５３】
本実施の形態の表示装置１では、空中像３０の表示位置を基準として検出基準４０が設定される。まず、空中像３０は、第１の実施の形態の場合と同様に、撮像装置１５からＺ方向＋側に距離Ｈ１だけ離れた位置に形成される。この空中像３０が表示された距離Ｈ１の位置を基準として、表示装置１を使用するユーザ１２の情報（以後、ユーザ情報と呼ぶ）に基づいた位置に、検出基準制御部２０４は、検出基準４０を初期設定する。ユーザ情報としては、例えば、ユーザ１２の性別、年齢、体型（身長、腕の長さ）、視力のうちの少なくとも１種類または複数の組み合わせがある。記憶部２０５には、性別、年齢、体型（身長）、視力の因子のうちの１種類または複数の組み合わせをパラメータとする検出基準４０の空中像３０を基準とした位置や幅に関する複数のテーブルが予め記憶されている。検出基準制御部２０４は、表示装置１を操作するユーザ１２がユーザ情報を入力すると、入力されたユーザ情報の種類と内容とに基づいて、該当するテーブルを選択し、そのテーブルから該当する検出基準４０の位置や幅Ｄ１を選択する。検出基準制御部２０４は、選択した位置や幅に基づいて、検出基準４０を設定する。
【０１５４】
テーブルとして記憶された検出基準４０の位置は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、ユーザ１２に近い側（Ｚ方向＋側）の位置に設定される。また、テーブルとして記憶された検出基準４０の幅Ｄ１は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、大きさが小さくなるように設定される。また、検出基準制御部２０４は、撮像装置１５の検出出力に基づいて、表示装置１を操作するユーザ１２の腕の長さを検出し、検出した腕の長さに基づいて、検出基準４０の位置や幅Ｄ１を決定してもよい。この場合、腕の長さが長い人より、腕の長さが短い人に対しては、検出基準４０がユーザ１２側（Ｚ方向＋側）に位置し、幅Ｄ１の大きさが小さくなるように設定される。または、検出基準制御部２０４は、検出した腕の長さに基づいて、ユーザ操作の際に指や手が到達することが見込まれる位置を予測し、予測した位置に検出基準４０を設定してもよい。この場合、検出基準制御部２０４は、ユーザ１２の立ち位置から、腕の長さのたとえば６０％の距離だけ前方の位置に、ユーザ１２の指や手が到達すると予測してもよい。
【０１５５】
第２の実施の形態では、検出基準制御部２０４が空中像３０の表示位置を基準として、ユーザ情報に基づいて検出基準４０を初期設定する。これにより、ユーザ１２毎の特徴に基づいて検出基準４０が設定されるので、キャリブレーション処理を行う頻度を低くさせることができる。
【０１５６】
（第２の実施の形態の変形例１）
第２の実施の形態の変形例１の表示装置１は第１の実施の形態の変形例８における図１７のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置１には、第１の実施の形態とその変形例における各種処理や制御を適宜適用させることができる。
【０１５７】
第２の実施の形態の変形例１の表示装置１では、表示位置制御部２１０は、ユーザ情報に基づいて、表示位置変更部１７を制御して、空中像３０の表示位置を初期設定する。検出基準制御部２０４は、初期設定された空中像３０を基準として、図３（ｂ）に示す第１の実施の形態の場合と同様にして、検出基準４０を初期設定する。
【０１５８】
第２の実施の形態の変形例１では、ユーザ情報としては、例えば、ユーザ１２の性別、年齢、体型（身長、腕の長さ）、視力のうちの少なくとも１種類または複数の組み合わせがある。記憶部２０５には、性別、年齢、体型（身長）、視力の因子のうちの１種類または複数の組み合わせをパラメータとする空中像３０の位置に関する複数のテーブルが予め記憶されている。表示位置制御部２１０は、表示装置１を操作するユーザ１２がユーザ情報を入力すると、入力されたユーザ情報の種類と内容とに基づいて、該当するテーブルを選択し、そのテーブルから該当する空中像３０の位置を選択する。表示位置制御部２１０は、選択した位置に基づいて、表示位置変更部１７を制御して表示器１１をＹ方向に移動させることにより、空中像３０の表示位置を初期設定する。
【０１５９】
テーブルとして記憶された空中像３０の位置は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、ユーザ１２に近い側（Ｚ方向＋側）の位置に設定される。また、表示位置制御部２１０は、撮像装置１５の検出出力に基づいて、表示装置１を操作するユーザ１２の腕の長さを検出し、検出した腕の長さに基づいて、空中像３０の位置を初期設定してもよい。この場合、腕の長さが長い人より、腕の長さが短い人に対しては、空中像３０がユーザ１２側（Ｚ方向＋側）に位置するように初期設定される。また、表示位置制御部２１０は、検出した腕の長さに基づいて、ユーザ操作の際に指や手が到達することが見込まれる位置を予測し、予測した位置に空中像３０を初期設定してもよい。この場合、表示位置制御部２１０は、ユーザ１２の立ち位置から、腕の長さのたとえば６０％の距離だけ前方の位置に、ユーザ１２の指や手が到達すると予測してもよい。
【０１６０】
なお、ユーザ１２に空中像３０が浮き出ているように知覚させる効果を得る場合には、表示位置制御部２１０は、空中像３０の表示位置をユーザ１２に近い側（Ｚ方向＋側）に初期設定する。特に、子供は眼間距離が小さいので、大人の場合と比較してよりＺ方向＋側に空中像３０の表示位置が初期設定される。また、ユーザ１２に空中像３０が浮き出ているように知覚させない場合には、表示位置制御部２１０は、空中像３０の表示位置をユーザ１２から遠い側（Ｚ方向−側）に初期設定する。これにより、空中像３０を視認するユーザ１２の目にかかる負担を低減できる。
【０１６１】
なお、上述した第２の実施の形態の表示装置１による検出基準４０の初期設定と、第２の実施の形態の変形例１の表示装置１による空中像３０の表示位置の初期設定とを組み合わせてもよい。この場合、表示位置制御部２１０は、上述した第２の実施の形態の変形例１と同様にして空中像３０の表示位置を初期設定する。この初期設定された空中像３０の表示位置を基準として、検出基準制御部２０４は、第２の実施の形態と同様にして検出基準４０の位置と幅とを初期設定すればよい。
【０１６２】
第２の実施の形態の変形例１では、ユーザ情報に基づいて空中像３０の表示位置を初期設定する。これにより、ユーザ１２毎の特徴に基づいて空中像３０が表示されるので、ユーザ１２の操作が空中像３０の表示位置で行われ、検出基準４０にて検出されるようになる。
【０１６３】
（第２の実施の形態の変形例２）
第２の実施の形態の変形例２の表示装置１では、初期設定にて表示された空中像３０に対するユーザ１２の操作に基づいて、検出基準４０が設定される。
第２の実施の形態の変形例２の表示装置１は、第１の実施の形態における図２のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置１には、第１の実施の形態とその変形例における構成や各種処理や制御を適宜適用させることができる。
【０１６４】
表示制御部２０２は、図３（ａ）に示す空中像３０を、第１の実施の形態の場合と同様に、撮像装置１５からＺ方向＋側の距離Ｈ１の位置に表示させる（図３（ｂ）参照）。なお、表示された空中像３０には、たとえば表示装置１の動作を起動させるスタートボタンやロック状態の表示装置１を動作可能にするロック解除ボタン等に相当するアイコン３０Ａが含まれる。また、撮像装置１５により、図３（ｂ）に示す場合と同様に、検出範囲１５Ａと検出限界１５ａとが設定される。しかし、検出基準制御部２０４は、この段階においては、検出基準４０を設定しない。
【０１６５】
ユーザ１２は、図３（ａ）に示すように表示された空中像３０のアイコン３０Ａに対して、所定の非接触操作６００を行う。撮像装置１５の検出出力に基づいて、検出基準制御部２０４は、検出範囲１５Ａ内で行われた所定の非接触操作６００の位置を検出する。
図１９（ａ）に、検出された所定の非接触操作６００Ａを模式的に示す。図１９（ａ）に示す例では、所定の非接触操作６００Ａの開始位置が、撮像装置１５からＺ方向＋側に距離Ｈ２０の位置であるとする。
【０１６６】
検出基準制御部２０４は、検出された所定の非接触操作６００Ａが含まれるように検出基準４０の位置と幅Ｄ１とを決定する。この場合、検出基準制御部２０４は、検出基準４０の第１基準面４０ａを、所定の非接触操作６００Ａの開始位置、すなわち撮像装置１５からＺ方向＋側に距離Ｈ２０の位置またはそれよりも所定の距離だけＺ方向＋側の位置に設定する。このように設定された第１基準面４０ａに基づいて、検出基準制御部２０４は、第２基準面４０ｂを設定する。この場合、検出基準制御部２０４は、第１基準面４０ａからＺ方向−側に距離Ｄ１の位置に第２基準面４０ｂを設定してよい。また、検出基準制御部２０４は、第１基準面４０ａと空中像３０との間の距離、すなわち（Ｈ２−Ｈ１）と等しい距離となるように、空中像３０に対してＺ方向−側に第２基準面４０ｂを設定してもよい。これにより、検出基準制御部２０４は、検出基準４０を初期設定する。
【０１６７】
第２の実施の形態の変形例２では、ユーザ情報に基づいて空中像３０の表示位置を初期設定し、ユーザ情報に基づいて検出基準４０を初期設定する。これにより、ユーザ１２毎の特徴に基づいて空中像３０の表示と検出基準４０の設定とが行われるので、キャリブレーション処理を行う頻度を低くさせることができる。
【０１６８】
（第２の実施の形態の変形例３）
第２の実施の形態の変形例３の表示装置１では、表示制御部２０２が空中像３０を表示させるタイミングを制御するものである。第２の実施の形態の変形例３の表示装置１は、第１の実施の形態における図２のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置１には、第１の実施の形態とその変形例１〜９や第２の実施の形態とその変形例１、２における構成や各種処理や制御を適宜適用させることができる。
【０１６９】
第２の実施の形態の変形例３では、表示装置１に表示される空中像３０を視認可能な位置にユーザ１２を検出した場合に、空中像３０の表示を開始する。なお、空中像３０では、ユーザ１２が空中像３０を視認できるための視野角は狭い。このため、空中像３０を視認可能な位置を示すマークや標識等を床に付しておくとよい。撮像装置１５の検出出力に基づいて、表示装置１の前方の視認可能な位置に位置することが検出された場合に、表示制御部２０２は表示器１１に表示画像を表示させ、空中像３０を表示させる。この場合、表示制御部２０２は、表示装置１の前方をユーザ１２が通過する場合には、空中像３０を表示させず、視認可能な位置でユーザ１２が立ち止った場合に空中像３０を表示させる。すなわち、視認可能な位置にユーザ１２が検出されない場合には、表示制御部２０２は、空中像３０の表示を行わない。
また、ユーザ１２が視認可能な位置を示すマークを目印として立ち止まっていることを撮像装置１５により検出するものに限られない。たとえば、ユーザ１２が所持しているスマートホン等に内蔵された方位センサやＧＰＳの情報を用いて、ユーザ１２が空中像３０を視認可能な位置に立ち止まって表示装置１の方向を向いていることを検出してもよい。この場合、ＧＰＳの情報に基づいてユーザ１２の立ち位置が検出され、方位センサの情報に基づいてユーザ１２の向き、すなわちユーザ１２が表示装置１の方を向いているかを検出すればよい。
なお、空中像３０が上記の狭い視野角に対応する視認可能な位置よりも広い範囲から視認できる場合には、ユーザ１２が上記の視認可能な位置に立ち止まっているか否かに関わらず、表示装置１は、たとえばスタートボタンの機能を有するアイコン３０Ａを含む空中像３０を表示させておいてもよい。
【０１７０】
第２の実施の形態の変形例３では、空中像３０が視認可能な位置にユーザ１２が位置することが検出された場合に空中像３０の表示を行う。これにより、ユーザ１２が視認していない、または視認できない位置にいる場合に空中像３０を表示させないので、処理負荷を低減させることができる。
【０１７１】
なお、上述の第２の実施の形態とその変形例１〜３では、制御部２０と表示器１１と撮像装置１５とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と撮像装置１５とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４と判定部２０６とを備えればよい。上述の第２の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
【０１７２】
なお、以上で説明した全ての実施の形態と全ての変形例の表示装置１では、撮像装置１５によりユーザ操作の行われた位置を検出したが、これに限定されない。たとえば、ステージ１４に対してＺ方向−側にＸＹ平面に平行に設けられる、公知の透明静電容量式パネル（以下、静電容量パネルと記載）を用いてもよい。静電容量パネルは、実質的に透明な部材からなる電極によって電界を形成する。静電容量パネルは、ユーザ１２が空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、静電容量パネルは、自身の四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザ１２の指のＸ軸、Ｚ軸上での位置を検出する。なお、静電容量パネルは、ステージ１４上にＺＸ平面に平行に設けても良い。
また、静電容量パネルの表面から指先までの距離と、静電容量パネルがその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、静電容量パネルは、指先が所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。
【０１７３】
以上で説明した全ての実施の形態と全ての変形例の表示装置１が空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。
【０１７４】
表示装置１が空中像３０の位置を移動させるために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０１７５】
なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
【０１７６】
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１７７】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【０１７８】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１２８１５６号（２０１６年６月２８日出願）
【符号の説明】
【０１７９】
１…表示装置、９…結像光学系、１１…表示器、
１５…撮像装置、２０…制御部、
２００…解析部、２０１…画像生成部、２０２…表示制御部、
２０３…キャリブレーション部、２０４…検出基準制御部、２０６…判定部、
２０７…速度・加速度検出部、２０８…操作予測部、２０９…音声検出部、
２１０…表示位置制御部、
１０…本体、１２…ユーザ、１４…ステージ、４０…検出基準、４１…検出基準外、３０…空中像、３０Ａ…アイコン、１５Ａ…検出範囲、１５ａ…検出限界、６００…所定の非接触操作、１６…集音器、１７…表示位置変更部、１１１…マイクロレンズ、
１１２…マイクロレンズアレイ、９０…ミラー素子
【図１】
0006733731.tif 000002
【図２】
0006733731.tif 000003
【図３】
0006733731.tif 000004
【図４】
0006733731.tif 000005
【図５】
0006733731.tif 000006
【図６】
0006733731.tif 000007
【図７】
0006733731.tif 000008
【図８】
0006733731.tif 000009
【図９】
0006733731.tif 000010
【図１０】
0006733731.tif 000011
【図１１】
0006733731.tif 000012
【図１２】
0006733731.tif 000013
【図１３】
0006733731.tif 000014
【図１４】
0006733731.tif 000015
【図１５】
0006733731.tif 000016
【図１６】
0006733731.tif 000017
【図１７】
0006733731.tif 000018
【図１８】
0006733731.tif 000019
【図１９】
0006733731.tif 000020