(57)【要約】  表示装置は、離れた位置に、第１の像と第２の像を含む表示像を表示する表示部と、表示像に対する使用者の操作を検出する操作検出部と、操作検出部で検出した操作により第１の像および第２の像の少なくとも一方の表示形態を変更する表示制御部と、を備える。
2018003859.tif 000002
【特許請求の範囲】
【請求項１】
離れた位置に、第１の像と第２の像を含む表示像を表示する表示部と、
前記表示像に対する使用者の操作を検出する操作検出部と、
前記操作検出部で検出した操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する表示制御部と、を備える表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記操作検出部は、前記使用者の操作を検出する基準となる位置と前記使用者の操作との相対的な位置を検出する表示装置。
【請求項３】
請求項１に記載の表示装置において、
前記操作検出部は、前記使用者の操作を検出する基準となる位置の所定距離内で前記使用者の操作が行われたかどうかを検出する表示装置。
【請求項４】
請求項３に記載の表示装置において、
前記表示制御部は、前記使用者の操作を検出する基準となる位置の所定距離内で前記使用者の操作が行われないと、前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する表示装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の表示装置において、
前記表示制御部は、前記表示形態として前記表示部で表示される前記第１の像に対する前記第２の像の位置及び大きさの少なくとも一方を変更する表示装置。
【請求項６】
請求項１から請求項４のいずれか一項に記載の表示装置において、
前記表示制御部は、前記表示形態として前記表示部で表示される前記第１の像及び前記第２の像の少なくとも一方の鮮鋭度を変更する表示装置。
【請求項７】
請求項１から請求項４のいずれか一項に記載の表示装置において、
前記表示制御部は、前記表示形態として前記表示部で表示される前記第１の像及び前記第２の像の少なくとも一方に陰影を施す変更を行う表示装置。
【請求項８】
表示装置のコンピュータによって実行されるプログラムであって、
前記表示装置から離れた位置に、第１の像と第２の像を含む表示像を表示する処理と、
前記表示装置に対する使用者の操作を検出する処理と、
前記検出された操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する処理と、をコンピュータに実行させるプログラム。
【請求項９】
像を表示する表示方法であって、
表示装置から離れた位置に、第１の像と第２の像を含む表示像を表示し、
前記表示装置に対する使用者の操作を検出し、
検出された操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する表示方法。
【請求項１０】
表示装置から所定距離離れた位置に、前記表示装置で表示された基準情報とともに表示像を表示する表示部と、
前記表示像に対する使用者の操作を検出する操作検出部と、
前記表示像の近傍に検出基準を設定し、前記検出基準と使用者の操作との位置関係を取得する取得部と、
前記取得部により取得された位置関係に基づいて、前記表示装置で表示される前記基準情報に対する前記表示像の表示形態を異ならせる表示制御を行う制御部と、を備える表示装置。
【請求項１１】
請求項１０に記載の表示装置において、
前記制御部は、前記使用者側または前記使用者とは反対側に前記表示像の位置が変更したと前記使用者に知覚させるように前記基準情報に対する前記表示像の表示形態を異ならせる表示制御を行う表示装置。
【請求項１２】
請求項１０に記載の表示装置において、
前記制御部は、前記取得部により取得された位置関係に基づいて、前記表示装置で表示される前記基準情報に対する前記表示像の表示位置を異ならせる表示制御を行う表示装置。
【請求項１３】
請求項１０に記載の表示装置において、
前記制御部は、前記取得部により取得された位置関係に基づいて、前記表示装置で表示される前記基準情報に対する前記表示像の大きさを異ならせる表示制御を行う表示装置。
【請求項１４】
請求項１０に記載の表示装置において、
前記表示装置で表示される前記基準情報は、基準線または影画像あるいは指標のいずれかである表示装置。
【請求項１５】
空中の表示に対する使用者の操作に基づいて、前記表示を変更する制御装置であって、
前記操作を検出する第１基準と前記操作が検出された位置との位置関係を取得する取得部と、
前記取得部によって取得された前記位置関係に基づいて、前記表示の奥行手がかりとなる第２基準に対して前記表示を変更する制御部とを備える制御装置。
【請求項１６】
請求項１５に記載の制御装置であって、
前記制御部は、前記使用者側または前記使用者側とは反対側に前記表示の位置が変更したと前記使用者に知覚されるように前記表示を変更する制御装置。
【請求項１７】
請求項１６に記載の制御装置であって、
前記制御部は、前記位置関係に基づいて、前記表示の位置を変更する方向を決定する制御装置。
【請求項１８】
請求項１６に記載の制御装置であって、
前記操作は、前記表示を押下する操作であり、
前記制御部は、前記押下する操作に基づく方向または前記押下する操作に基づく方向とは反対の方向に、前記表示の位置が変更するように前記表示を変更する制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、プログラム、表示方法および制御装置に関する。
【背景技術】
【０００２】
指とタッチパネルとの間の距離を算出する静電容量式のタッチセンサにより、空中に表示された３次元オブジェクトに対する操作を検出する電子機器が開示されている（特許文献１）。しかし、特許文献１には、３次元オブジェクト（対象）に対して行う操作を検出することは記載されているものの、オブジェクトに対する操作の際の操作性についてはまだ不十分である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１２−２０３７３７号公報
【発明の概要】
【０００４】
第１の態様によれば、表示装置は、離れた位置に、第１の像と第２の像を含む表示像を表示する表示部と、前記表示像に対する使用者の操作を検出する操作検出部と、前記操作検出部で検出した操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する表示制御部と、を備える。
第２の態様によれば、表示装置のコンピュータによって実行されるプログラムであって、前記表示装置から離れた位置に、第１の像と第２の像を含む表示像を表示する処理と、前記表示装置に対する使用者の操作を検出する処理と、前記検出された操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する処理と、をコンピュータに実行させる。
第３の態様によれば、像を表示する表示方法であって、表示装置から離れた位置に、第１の像と第２の像を含む表示像を表示し、前記表示装置に対する使用者の操作を検出し、検出された操作により前記第１の像および前記第２の像の少なくとも一方の表示形態を変更する。
第４の態様によれば、表示装置は、表示装置から所定距離離れた位置に、前記表示装置で表示された基準情報とともに表示像を表示する表示部と、前記表示像に対する使用者の操作を検出する操作検出部と、前記表示像の近傍に検出基準を設定し、前記検出基準と使用者の操作との位置関係を取得する取得部と、前記取得部により取得された位置関係に基づいて、前記表示装置で表示される前記基準情報に対する前記表示像の表示形態を異ならせる表示制御を行う制御部と、を備える。
第５の態様によれば、空中の表示に対する使用者の操作に基づいて、前記表示を変更する制御装置であって、前記操作を検出する第１基準と前記操作が検出された位置との位置関係を取得する取得部と、前記取得部によって取得された前記位置関係に基づいて、前記表示の奥行手がかりとなる第２基準に対して前記表示を変更する制御部とを備える。
【図面の簡単な説明】
【０００５】
【図１】第１の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は分解斜視図、（ｂ）は断面図、（ｃ）は結像光学系の別の例を用いた場合の断面図である。
【図２】第１の実施の形態に係る表示装置の主要部構成を説明するブロック図である。
【図３】第１の実施の形態において表示される空中像を模式的に示す図であり、（ａ）は平面図、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準との関係を示す断面図である。
【図４】第１の実施の形態において表示されるキャリブレーション処理用の空中像を模式的に示し、表示態様の変更と知覚される奥行との関係を説明する図である。
【図５】第１の実施の形態において表示態様の変更と知覚される奥行との関係を説明する図である。
【図６】第１の実施の形態において表示態様の変更と知覚される奥行との関係を説明する図である。
【図７】第１の実施の形態におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。
【図８】キャリブレーション処理時におけるアイコンの表示位置の移動量と移動方向とを模式的に説明する図である。
【図９】キャリブレーション処理の後に表示される空中像操作モードにおける空中像を模式的に示す図である。
【図１０】第１の実施の形態における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。
【図１１】第１の実施の形態における第２のキャリブレーション処理モードにおける空中像と検出基準と指の到達位置との位置関係を示す図である。
【図１２】第１の実施の形態における第２のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。
【図１３】第１の実施の形態の変形例１におけるアイコンの表示態様の変更の例を模式的に示す図である。
【図１４】第１の実施の形態の変形例１におけるアイコンの表示態様の変更の例を模式的に示す図である。
【図１５】第１の実施の形態の変形例１におけるアイコンの表示態様の変更の例を模式的に示す図である。
【図１６】第１の実施の形態の変形例２における表示装置の外観斜視図である。
【図１７】第１の実施の形態の変形例２における空中像と表示装置の枠部材に設けられた指標との関係を示す図である。
【図１８】第１の実施の形態の変形例２における別の表示装置を説明する図であり、（ａ）は表示装置の外観斜視図であり、（ｂ）は表示装置の主要部構成を説明するブロック図である。
【図１９】第１の実施の形態の変形例３における表示装置の主要部構成を説明するブロック図である。
【図２０】第１の実施の形態の変形例３におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。
【図２１】第１の実施の形態の変形例３における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。
【図２２】第１の実施の形態の変形例５において第１のキャリブレーション処理モード表示される空中像を模式的に示す図である。
【図２３】第１の実施の形態の変形例５におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。
【図２４】第１の実施の形態の変形例５における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。
【図２５】第１の実施の形態の変形例８における表示装置の主要部構成を説明するブロック図である。
【図２６】第１の実施の形態の変形例９における表示装置を説明する図であり、（ａ）は表示装置の外観斜視図であり、（ｂ）は表示装置の主要部構成を説明するブロック図である。
【図２７】第１の実施の形態の変形例９に係る表示装置の内部構成を示す断面図である。
【図２８】第２の実施の形態の表示装置１により表示される空中像の一例を模式的に示す図であり、（ａ）は初期表示、（ｂ）、（ｃ）は表示態様が変更された後を示す。
【図２９】第２の実施の形態の表示装置１により表示される空中像の一例を模式的に示す図であり、（ａ）は初期表示、（ｂ）、（ｃ）は表示態様が変更された後を示す。
【図３０】第２の実施の形態におけるキャリブレーション処理を説明するフローチャートである。
【図３１】第２の実施の形態におけるキャリブレーション処理を説明するフローチャートである。
【図３２】第２の実施の形態におけるキャリブレーション処理を説明するフローチャートである。
【図３３】第３の実施の形態におけるキャリブレーション処理を説明するフローチャートである。
【図３４】第３の実施の形態の変形例３の表示装置により表示される空中像の一例を模式的に示す図であり、（ａ）は初期表示、（ｂ）、（ｃ）は表示態様が変更された後を示す。
【図３５】第３の実施の形態の変形例３におけるキャリブレーション処理を説明するフローチャートである。
【図３６】第３の実施の形態の変形例４におけるキャリブレーション処理を説明するフローチャートである。
【図３７】第４の実施の形態における表示装置の分解斜視図である。
【図３８】第４の実施の形態における表示装置の主要部構成を示すブロック図である。
【図３９】第４の実施の形態におけるキャリブレーション処理を説明するフローチャートである。
【図４０】第４の実施の形態の変形例１における表示装置の主要部構成を示すブロック図である。
【図４１】第４の実施の形態の変形例１の別の例における表示器と結像光学系との構成を模式的に示す断面図である。
【図４２】第４の実施の形態の変形例２におけるキャリブレーション処理を説明するフローチャートである。
【発明を実施するための形態】
【０００６】
−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ（電子看板）等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機（ＡＴＭ装置）においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載しても良い。
【０００７】
図１（ａ）は表示装置１の分解斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向（すなわち、後述する結像光学系の光軸）に設定されている。
【０００８】
表示装置１は、制御部２０を内蔵する本体１０と、表示器１１と、結像光学系１２と、操作検出器１３とを備える。表示器１１と結像光学系１２と操作検出器１３とは、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。結像光学系１２は、表示器１１の上方（Ｚ方向＋側）に、表示器１１から所定の間隔を設けて配置される。たとえば、結像光学系１２は図１（ｂ）に明示するように、微小な凸レンズ１２１が二次元状に配列されたマイクロレンズアレイをＺ方向に２個重ねて構成される。
【０００９】
結像光学系１２は、表示器１１に表示された表示画像の空中像３０を、表示装置１の上方空間に形成する。即ち、表示装置１の使用者（以下、ユーザという）は、表示器１１に表示された表示画像を、表示装置１の上方の空中に浮いた空中像３０として観察することができる。なお、ここでの説明では、ユーザが表示装置１からＺ方向＋側に位置するものとして説明を行う。空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。本実施の形態にあっては、アイコン３０Ａは、例えば１行×３列に配列されている。なお、結像光学系１２としてのマイクロレンズアレイに代えて、ピンホールアレイやスリットアレイを用いることも可能である。
なお、表示装置１は、図１（ａ）、（ｂ）に示すような結像光学系１２を有するものに限定されない。たとえば、図１（ｃ）に示すように、表示装置１は、内部に複数の微細なミラー素子が二次元状に配置され、ＸＹ平面に所定の角度、たとえば４５°傾斜して配置される結像光学系１２Ａを有しても良い。結像光学系１２Ａは、表示器１１に表示される画像からのＺ方向＋方向への光をＹ方向＋側へ反射して、ＺＸ平面に平行な面に表示画像の実像を空中像３０として形成する。このとき、図１（ｃ）に破線で示す空中像３０は、結像光学系１２Ａに関して表示器１１の表示面と対称な位置に形成される。すなわち、表示器１１の表示面と結像光学系１２Ａとの距離ｄと、結像光学系１２Ａと空中像３０との距離ｄとが等しくなる。なお、このような結像光学系９の具体的な構成は、例えば、特開２０１６−１４７７７号公報に記載されている。また、上記で説明した結像光学系１２Ａに限らず、たとえば凸レンズであってもよい。なお、凸レンズの場合、焦点距離によっては、光軸方向に厚みをもってしまうため、フレネルレンズのような構成であってもよい。このように状況に基づいて、表示装置１に使用する結像光学系１２、１２Ａを適宜選択してもよい。
また、表示装置１は、結像光学系１２Ａとして後述する第４の実施の形態の変形例１にて説明するように公知のライトフィールド方式を用いて空中像３０を表示させてもよい。
【００１０】
また、図１（ｃ）に示す表示器１１と結像光学系１２Ａとの間のＺ方向の距離ｄを可変にすることにより、空中像３０が表示される位置をＹ方向に沿って移動させることができる。たとえば表示器１１と結像光学系１２Ａとの間の距離を小さくすると、即ち、表示器１１を結像光学系１２Ａに近づく方向に移動すると、空中像３０はユーザから遠ざかる方向（Ｙ方向−側）に移動して表示される。逆に、表示器１１と結像光学系１２Ａとの間の距離を大きくすると、即ち、表示器１１を結像光学系１２Ａから遠ざかる方向に移動すると、空中像３０はユーザに接近する方向（Ｙ方向＋側）に移動して表示される。表示器１１のＺ方向の移動は、不図示のモータやその他のアクチュエータなどの駆動装置により行うことができる。
なお、結像光学系１２Ａの種類によっては、空中像３０の移動方向と結像光学系１２Ａの移動方向との関係が上記と逆になる場合がある。すなわち、表示器１１を結像光学系１２Ａに近づく方向に移動すると、空中像３０はユーザに近づく方向（Ｙ方向＋側）に移動して表示される。逆に、表示器１１と結像光学系１２Ａとの間の距離を大きくすると、すなわち表示器１１を結像光学系１２Ａから遠ざかる方向に移動すると、空中像３０はユーザから遠ざかって（Ｙ方向−側）に移動して表示される。したがって、結像光学系１２Ａの種類によって、適宜表示器１１を移動させる方向を変更して使用するのがよい。
【００１１】
操作検出器１３は、結像光学系１２の上方（Ｚ方向＋側）に設けられ、たとえば、公知の透明静電容量式パネル（以下、静電容量パネルと記載）によって構成される。静電容量パネルからなる操作検出器１３は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器１３は、ユーザが空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、操作検出器１３は、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザの指のＸ軸、Ｙ軸上での位置を検出する。
【００１２】
また、操作検出器１３は、後に詳述するように自身の上方向の所定範囲に静電容量の検出範囲を有する。操作検出器１３は、この所定の検出範囲内の指またはスタイラスと操作検出器１３との間の間隔（Ｚ軸上での位置）を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像３０は、操作検出器１３の所定の検出範囲内に位置するように、好ましくは所定の検出範囲の上下方向の中頃に位置するように、結像光学系１２によって結像される。このように、操作検出器１３は、ユーザが空中像３０の表示位置を指またはスタイラスで操作することを検出するので、ユーザは、操作検出器１３に直接に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、指でもって空中像３０の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。
【００１３】
図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１及び操作検出器１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器１３の表面から指先までの距離と、操作検出器１３がその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、操作検出器１３は、指先が操作検出器１３の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。
【００１４】
画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に基づいて表示器１１の表示画像の切り替え制御を行う。なお、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
【００１５】
キャリブレーション部２０３は、後に詳述する第１、第２のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、表示装置１の上方空間に設定する。検出基準は、ユーザの空中像に対する操作を検出するための第１の基準である。具体的には、検出基準制御部２０４は、操作検出器１３の所定の検出範囲内であって空中像３０の位置（または所定範囲）に検出基準を設定する。検出基準制御部２０４は、更に、ユーザの指が検出基準に達したことを操作検出器１３によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準の位置と一致した時に、ユーザがアイコン３０Ａの表示位置を操作したと判定する。検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザに対して共通の位置であってもよいし、ユーザによる表示装置１の使用履歴などに基づき、ユーザ毎に異なる位置を設定してもよい。なお、検出基準制御部２０４は、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正してもよい。
また、検出基準の位置（初期位置や、変更または修正された位置）は、操作検出器１３の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザがアイコン３０Ａの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。
【００１６】
図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図３（ａ）において、空中像３０は、上述のように１行×３列に配列された３個のアイコン３０Ａと奥行手がかり（基準情報）となる基準線３１０〜３１４とを含む。すなわち、空中像３０には、第１部分であるアイコン３０Ａと、第１部分とは異なる第２部分である基準線３１０〜３１４とが含まれる。なお、奥行手がかりとなる基準線３１０〜３１４の詳細については、説明を後述する。図３（ｂ）において、検出基準４０は、検出基準制御部２０４によって、空中像３０の位置近傍に、具体的には図示例では空中像３０よりも僅かに上方の位置に設定される。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一高さ位置に位置しているが、図３（ｂ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
ここで、奥行手がかりについて説明をする。我々人間等の網膜に投射される像は２次元の平面画像である。しかし、人間等は３次元の世界を知覚することができる。これは、実空間での奥行を知覚するために様々な手がかりを用いているからである。奥行を判断する手がかりを大別すると、単眼性の奥行手がかりと両眼性の奥行手がかりとに分けることができる。単眼の奥行手がかりとは、後に詳しく説明しているが、奥行き位置を知りたい物体（対象）とは異なる別の物体の大きさや、物体間の重なりや、遠近法を利用した上記の基準線のような、人間等が対象の奥行き位置を知るための手がかりである。一方、両眼性の奥行手がかりとは、両眼視差などがある。ここで両眼視差について説明すると、一つの対象を両目で見ると、左右の目の網膜には少しずれて投影される。このずれが両眼視差である。人間等は、このずれ量に基づいて、対象の奥行き位置を知覚している。
上記で例に挙げた奥行手がかりを利用して人間等は、対象の奥行き位置を判断している。言い換えれば、対象自体を変化させる、または奥行手がかりを変化させることによって、人間等は実際にある位置とは異なる位置に対象の奥行き位置があると知覚するようになる。以下では、単眼の奥行手がかり（たとえば基準線３１０〜３１４）に対して対象（たとえばアイコン３０Ａ）を変化させることにより、対象（アイコン３０Ａ）の奥行き位置が変化したようにユーザに知覚させる方法を説明する。
【００１７】
図３（ｂ）において、空中像３０は、表示装置１の操作検出器１３の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、操作検出器１３の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定されている。操作検出器１３は、上述のように、その表面から上方に静電容量の検出範囲１３Ａを有する。図３（ｂ）では、操作検出器１３の上方の静電容量の検出限界が点線１３ａで示され、この静電容量の検出限界１３ａと操作検出器１３との間隔が静電容量検出範囲１３Ａとして示されている。空中像３０と検出基準４０とは、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）では空中像３０の上方に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。ここで、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲を検出基準外４１とする。
【００１８】
なお、検出基準制御部２０４は、上述した検出基準４０の位置を、検出範囲１３Ａ内においてＺ方向に移動させて変更してもよい。たとえば、後述するキャリブレーション処理の結果に基づいて、検出基準制御部２０４は、図３（ｂ）のように設定された検出基準４０をＺ方向＋方向または−方向に移動させてよい。図３（ｂ）においては、空中像３０と検出基準４０は、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図３（ｃ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向、即ち上下方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０Ａの上下方向のずれに基づいて、各アイコン３０Ａに対応する検出基準４０の位置をずらすことができる。これによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。また、検出基準４０は、図３（ｃ）に示す複数のアイコン３０Ａのそれぞれに設定された検出基準４０を、独立して移動させることにより検出基準４０の位置を変更してよい。すなわち、図３（ｃ）の紙面左端のアイコン３０Ａに対する操作に基づいてキャリブレーション処理が行われた場合、検出基準制御部２０４は、紙面左端のアイコン３０Ａに対応して設定された検出基準４０の位置をＺ方向に移動させてよい。このとき、検出基準制御部２０４は、他のアイコン３０Ａ（図３（ｃ）の紙面中央部および右端のアイコン３０Ａ）に対応して設定された検出基準４０のＺ方向の位置は移動させない。
【００１９】
操作検出器１３は、ユーザの指先が操作検出器１３から距離Ｈ２に達した時に、距離Ｈ２に対応した検出出力を出力する。検出基準制御部２０４は、操作検出器１３による検出出力に基づいて、ユーザの指先が検出基準４０に一致したと判定し、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。
【００２０】
アイコン３０Ａは、操作検出器１３から距離Ｈ１の位置に位置している。このアイコン３０Ａは空中像３０として表示されるので、或るユーザと別のユーザとでは、空中像３０のアイコン３０Ａの表示位置、即ち高さＨ１を、視覚的に異なって感じることがある。また、同一のユーザでも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、検出基準４０が空中像３０の位置に一致するように設定された場合に、或るユーザが、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザは未だ指がアイコン３０Ａの手前にあると感じているのに、実際には指がアイコン３０Ａ、即ち検出基準４０に達していた場合には、ユーザの意思に反してアイコン操作が実行されてしまう。逆に、別のユーザが、アイコン操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザは指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０の手前に位置していた場合には、ユーザの意思に反してアイコン操作が実行されない。いずれの場合にも、ユーザは、アイコン操作に違和感を覚えることになる。
【００２１】
本実施の形態の表示装置１は、上述した空中像３０に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備える。キャリブレーション処理モードでは、表示装置１は、空中像３０と検出基準４０との位置関係を変更することなく、空中像３０の表示態様を変更することにより、あたかも空中像３０の表示位置がＺ方向（奥行方向）、すなわち結像光学系１２の光軸の方向に移動したようにユーザに知覚させるものである。本実施の形態の表示装置１は、詳細を後述するように、単眼の奥行手がかりにより、空中像３０の表示の奥行き位置を変更する。すなわち、キャリブレーション処理モードでは、表示装置１は、第１の基準である検出基準４０とユーザの操作位置との位置関係に基づいて、第２の基準である奥行手がかり（たとえば後述する基準線３１０〜３１４等）に対して空中像３０の表示を変更する。換言すると、表示装置１は、操作検出器１３により取得された位置関係に基づいて、基準情報である奥行手がかりに対して、空中像３０の表示形態を異ならせる表示制御を行う。第２基準である奥行手がかりは、アイコン３０Ａとは異なる空中の表示である。これにより、表示装置１は、ユーザによるアイコン操作の奥行方向における位置を変更させて、ユーザのアイコン操作が検出基準４０の位置にて検出されるようにする。以下、キャリブレーション処理モードについて詳細な説明を行う。なお、図１（ｃ）に示すような表示装置１の場合は、空中像３０の表示態様を変更することにより、あたかも空中像３０の表示位置がＹ方向に移動したようにユーザに知覚させる。すなわち、ユーザに知覚させる空中像３０が移動する方向は、次のように言ってよい。空中像３０の表示態様を変更し、空中像３０が結像光学系１２に近づいたように知覚させる、または空中像３０が結像光学系１２に対して遠ざかるようにユーザに知覚させる。
【００２２】
本実施の形態の表示装置１は、上述したように第１、及び第２のキャリブレーション処理モードを有する。第１のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものである。第２のキャリブレーション処理モードは、表示装置１の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第１〜第２のキャリブレーション処理モードは、図２に示したキャリブレーション部２０３によって実行される。
【００２３】
第１〜第２のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置１に設けたキャリブレーション処理モード選択用の操作ボタンをユーザが操作して、選択してもよい。キャリブレーション処理モード選択用の操作ボタンにより第１〜第２のキャリブレーション処理モードのいずれも選択されていない場合には、制御部２０は、空中像操作モードを選択して実行してもよい。また、表示装置１は、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第２のキャリブレーション処置モードを行ってもよい。以下に、第１〜第２のキャリブレーション処理モードを順次説明する。なお、第１〜第２のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンを操作することにより行われてもよい。
【００２４】
最初に第１のキャリブレーション処理モードを説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。ユーザによる操作により第１のキャリブレーション処理モードが選択されると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション処理に用いる表示画像を表示する。
【００２５】
図４（ａ）は、このキャリブレーション処理用の表示画像の空中像３００の一例を模式的に示す。空中像３００は、外形が矩形形状であり、キャリブレーション用アイコン３００Ａと単眼の奥行手がかりとなる基準線３１０〜３１４とを含む。画像生成部２０１は、キャリブレーション用アイコン３００Ａに、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を重畳表示させる。なお、画像生成部２０１は、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザが、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、画像生成部２０１は上述のメッセージの表示を行わない。
【００２６】
画像生成部２０１は、基準線３１０〜３１４を透視図の形式にて配置して表示する。透視図とは、三次元空間を二次元の平面に再現するための図法であり、複数の直線を用いて遠近を表現する。図４に示す例では、空中像３００の矩形外周３０１の４つの頂点から矩形の中心に向かって直線の基準線３１１〜３１４が設けられ、中心の近傍に外周３０１よりも小さい矩形の基準線３１０が設けられている。即ち、一対の基準線３１１、３１３は、矩形外周３０１の一方の対角線の一部を構成し、一対の基準線３１２、３１４は、矩形外周３０１の他方の対角線の一部を構成し、これらの対角線の交点が矩形外周３０１の中心に相当する。
【００２７】
図４に示す基準線３１０は、外周３０１の相似の関係にある例を示すが、相似の関係になくてもよい。また、基準線３１０が矩形であるものに限定されず、円形や他の多角形でもよい。また、基準線３１０が設けられていなくてもよい。基準線３１１〜３１４は、基準線３１０の頂点と空中像３００の外周３０１の頂点とを結ぶ直線である。このような基準線３１０〜３１４にて示す透視図では、空中像３００の中心の近傍が、遠近法にて平行線が交わる消失点（遠方の点）となる。したがって、この空中像３００は、外周３０１から消失点、すなわち中心の近傍に設けられた矩形の基準線３１０に近づくほど遠方になるような視覚的な作用を、空中像３００を視覚するユーザに与える。なお、図４においては、消失点が１つの場合を例に挙げたが、これに限定されず、複数の消失点を有する透視図でもよい。また、図４の例では、基準線３１１〜３１４が消失点で交わる場合を示したが、基準線３１１〜３１４が必ずしも消失点で交わらなくてもよい。
【００２８】
上記のように基準線３１０〜３１４により描かれた透視図上において、画像生成部２０１は、アイコン３００Ａの表示態様を変更する。具体的には、画像生成部２０１は、アイコン３００Ａの大きさと表示位置とを変更する。アイコン３００Ａの大きさが縮小され、消失点に近づく方向に表示位置が変更されると、ユーザは、アイコン３００Ａが、あたかもユーザから離れる方向に移動したように知覚する。アイコン３００Ａの大きさが拡大されて、消失点から離れる方向に表示位置が変更されると、ユーザは、アイコン３００Ａが、あたかもユーザに接近する方向に移動したように知覚する。これにより、基準線３１０〜３１４がアイコン３００Ａに対する単眼の奥行手がかかりとしての機能を有することとなる。
なお、画像生成部２０１は、アイコン３００Ａの大きさと表示位置との何れか一方を変更するものでもよい。
【００２９】
図４（ａ）〜図４（ｃ）を用いて、アイコン３００Ａの表示態様と、ユーザが知覚する奥行について説明する。図４（ａ）〜図４（ｃ）は、外周３０１の内部で基準線３１０よりもＹ方向−側にアイコン３００Ａが表示された例を示している。図４（ａ）に示すアイコン３００Ａの大きさと表示位置とは、キャリブレーション処理が行われる前の初期表示である。図４（ｂ）は、図４（ａ）に示す初期表示の場合と比べて、アイコン３００Ａ１の表示位置がＹ方向＋側に変更され、かつアイコン３００Ａ１の大きさが縮小された例を示す。すなわち、図４（ｂ）に示すアイコン３００Ａ１は、初期表示のアイコン３００Ａ場合と比べて、基準線３１２と３１３とに沿って基準線３１０に近づく方向に表示位置が変更され、かつ基準線３１２と３１３とに沿った表示位置の変更量、すなわち移動量に基づいて大きさが縮小されている。アイコン３００Ａが図４（ａ）に示す初期表示から、図４（ｂ）に示す表示態様に変更されると、ユーザは、基準線３１０〜３１４との位置関係から、アイコン３００Ａがあたかもユーザから離れる方向（Ｚ方向−側）に移動したように知覚する。
【００３０】
また、図４（ｃ）は、図４（ａ）に示す初期表示の場合と比べて、アイコン３００Ａ２の表示位置がＹ方向−側に変更され、かつアイコン３００Ａ２の大きさが拡大された例を示す。すなわち、図４（ｃ）に示すアイコン３００Ａ２は、初期表示の場合と比べて、基準線３１２と３１３とに沿って基準線３１０とは反対の方向、すなわち基準線３１０から離れる方向に表示位置が変更される。さらに、アイコン３００Ａ２は、基準線３１２と３１３とに沿った表示位置の変更量に基づいて大きさが拡大されている。アイコン３００Ａが図４（ａ）に示す初期表示から、図４（ｃ）に示す表示態様に変更されると、ユーザは、基準線３１０〜３１４との位置関係から、アイコン３００Ａ２があたかもユーザに接近する方向（Ｚ方向＋側）に移動したように知覚する。
【００３１】
図５に、アイコン３００Ａの表示位置の変更がユーザに与える知覚効果の別の例を示す。図５に示す空中像３００では、初期状態におけるアイコン３００Ａの大きさが図４に示したアイコン３００Ａの大きさよりも小さい。なお、図５では、アイコン３００Ａに重畳されるメッセージを省略している。図５（ａ）は、アイコン３００Ａの初期表示を示し、図５（ｂ）はアイコン３００Ａ１があたかもユーザから離れる方向に移動したように知覚させるために表示態様が変更された場合を示す。なお、図５（ｂ）では、説明の都合上、アイコン３００Ａの初期表示の状態を破線で示すが、実際には表示されない。図５に示す例の場合では、図５（ａ）の初期表示のアイコン３００Ａは、消失点に向かって伸びた基準線３１３上に位置している。図５（ｂ）のアイコン３００Ａ１は、初期表示のアイコン３００Ａと同一の大きさであり、基準線３１３上に位置しているが、初期表示のアイコン３００Ａよりも基準線３１０又は消失点に近づく方向に移動している。これによって、ユーザは、アイコン３００Ａ１が初期表示のアイコン３００Ａに比べ、ユーザ自身から遠ざかる方向に移動したように知覚する。
【００３２】
図５（ｃ）はアイコン３００Ａ２があたかもユーザに近づく方向に移動したように知覚させるために表示態様が変更された場合を示す。なお、図５（ｃ）では、説明の都合上、アイコン３００Ａの初期表示の状態を破線で示すが、実際には表示されない。図５（ｃ）のアイコン３００Ａ２は、初期表示のアイコン３００Ａと同一の大きさであり、基準線３１３上に位置しているが、初期表示のアイコン３００Ａよりも基準線３１０又は消失点から遠ざかる方向に移動している。これによって、ユーザは、アイコン３００Ａ２が初期表示のアイコン３００Ａに比べ、ユーザ自身に近づく方向に移動したように知覚する。
なお、図５（ａ）〜（ｂ）に示したアイコン３００Ａ、３００Ａ１、３００Ａ２を含む空中像３００は、画像生成部２０１によって生成される表示用画像データに基づき、表示される。
【００３３】
図５では、アイコン３００Ａ、３００Ａ１、３００Ａ２は、消失点に向かって伸びた基準線３１３上で移動したが、勿論、消失点に向かって伸びた他の基準線３１１、３１２、３１４上で移動するようにしてもよい。更には、アイコン３００Ａ、３００Ａ１、３００Ａ２は、基準線３１１〜３１４上に位置する必要はなく、基準線３１１〜３１４の近傍に位置していてもよい。アイコンが基準線３１１〜３１４の近傍に位置している場合には、アイコン３００Ａ１、３００Ａ２は、初期表示のアイコン３００Ａに対して、近傍の基準線３１１〜３１４に沿って、即ち近傍の基準線に平行な方向に移動する。
【００３４】
以上のように、アイコン３００Ａは、その大きさを変えることなく基準線に沿って消失点に近づく方向に表示位置が変更されると、ユーザは、アイコン３００Ａが、あたかもユーザから離れる方向に移動したように知覚する。アイコン３００Ａは、その大きさを変えることなく基準線に沿って消失点から離れる方向に表示位置が変更されると、ユーザは、アイコン３００Ａが、あたかもユーザに接近する方向に移動したように知覚する。これにより、基準線３１０〜３１４がアイコン３００Ａに対する単眼の奥行手がかかりとしての機能を有することとなる。勿論、図５の場合にも、アイコン３００Ａの大きさを、図４の場合と同様に変更してもよい。即ち、図５（ｂ）のアイコン３００Ａ１の大きさを初期表示のアイコン３００Ａよりも小さくし、図５（ｃ）のアイコン３００Ａ２の大きさを初期表示のアイコン３００Ａよりも大きくしてもよい。
【００３５】
また、アイコン３００Ａ、３００Ａ１、３００Ａ２は、基準線３１１〜３１４上に又は基準線３１１〜３１４の近傍に位置する代わりに、２つの基準線の中間に位置していてもよい。
図６（ａ）〜（ｃ）は、それぞれアイコン３００Ａ、３００Ａ１、３００Ａ２が２つの基準線３１２、３１３の中間に位置する例である。なお、図６においては、アイコン３００Ａに重畳するメッセージを省略して示す。図６（ａ）は、基準線３１２、３１３の中間位置に表示された初期表示のアイコン３００Ａを示し、図６（ｂ）はアイコン３００Ａ１があたかもユーザから離れる方向に移動したように知覚させるために表示態様が変更された場合を示す。なお、図６（ｂ）では、説明の都合上、アイコン３００Ａの初期表示の状態を破線で示すが、実際には表示されない。図６（ｂ）のアイコン３００Ａ１は、初期表示のアイコン３００Ａと同一の大きさであり、基準線３１２、３１３の中間に位置しているが、初期表示のアイコン３００Ａよりも消失点に近づく方向に移動している。これによって、ユーザは、アイコン３００Ａ１が初期表示のアイコン３００Ａに比べ、ユーザ自身から遠ざかる方向に移動したように知覚する。
【００３６】
図６（ｃ）はアイコン３００Ａ２があたかもユーザに近づく方向に移動したように知覚させるために表示態様が変更された場合を示す。なお、図６（ｃ）では、説明の都合上、アイコン３００Ａの初期表示の状態を破線で示すが、実際には表示されない。  図６（ｃ）のアイコン３００Ａ２は、初期表示のアイコン３００Ａと同一の大きさであり、基準線３１２、３１３の中間に位置しているが、初期表示のアイコン３００Ａよりも消失点から遠ざかる方向に移動している。これによって、ユーザは、アイコン３００Ａ２が初期表示のアイコン３００Ａに比べ、ユーザ自身に近づく方向に移動したように知覚する。
アイコン３００Ａ、３００Ａ１、３００Ａ２が基準線３１１、３１２の中間、基準線３１３、３１４の中間、又は基準線３１１、３１４の中間に位置してもよい。
【００３７】
以上では、２つの基準線の中間に位置するアイコン３００Ａは、その大きさを変えることなく、消失点に近づく方向又は消失点から離れる方向に表示位置が変更される例を説明した。この場合、ユーザは、アイコン３００Ａが、あたかもユーザから離れる方向、又はユーザに近づく方向に移動したように知覚する。
勿論、図６の場合にも、アイコン３００Ａの大きさを、図４の場合と同様に変更してもよい。即ち、図６（ｂ）のアイコン３００Ａ１の大きさを初期表示のアイコン３００Ａよりも小さくし、図６（ｃ）のアイコン３００Ａ２の大きさを初期表示のアイコン３００Ａよりも大きくしてもよい。
【００３８】
図４〜図７を参照して、キャリブレーション処理時の空中像３００に対するユーザの指の位置と、空中像３００の表示態様とについて説明を行う。図７は、操作検出器１３と空中像３００と検出基準４０と指Ｆの位置との関係を模式的に示す断面図である。
検出基準制御部２０４は、図７（ａ）に示すように、検出基準４０を空中像３００の近傍位置、例えば、空中像３００よりも僅かに上方の位置に設定する。勿論、検出基準制御部２０４は、検出基準４０を、空中像３００に一致させてもよいし、空中像３００よりも僅かに下方の位置に設定してもよい。この場合、画像生成部２０１は、たとえば図４（ａ）や図５（ａ）や図６（ａ）に示す空中像３００を表示させる。
【００３９】
図７（ａ）において、ユーザが、空中像３００のアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置を操作するために、指先Ｆをアイコン３００Ａの方に下降移動する。指先Ｆが下降移動して、図２の操作検出器１３の静電容量の検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザの指先Ｆの接近移動、即ち下方移動を静電容量の変化として検出する。このとき、制御部２０は、検出基準外４１で操作検出器１３によって検出されたユーザ操作が行われている位置を取得する。
【００４０】
図７（ｂ）は、指先Ｆが下降移動して検出基準４０よりも僅かに上方の点線位置５０に達した場合を示す。このとき、ユーザは、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａを押下げる操作を実行したと感じて、指先Ｆを所定距離だけ上方に移動させたものとする。操作検出器１３は、指先Ｆの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。検出基準制御部２０４は、操作検出器１３が指先Ｆの上記の押下げとそれに引き続く所定距離の上方移動とを検出すると、アイコン３００Ａの表示位置に操作が行われたと判定する。なお、ユーザの指先Ｆがアイコン３００Ａの表示位置への操作のために押下げを行った後に所定距離上方に移動した場合に、検出基準制御部２０４は、最も下方移動した位置を到達位置とする。即ち、点線位置５０を到達位置と称する。
【００４１】
到達位置５０が、図７（ｂ）に示すように検出基準４０に対してユーザ側（Ｚ方向＋側）に位置する場合、操作検出器１３は、検出基準４０でユーザの指先Ｆを検出することができない。この場合、ユーザの指先Ｆが検出基準４０で検出されるためには、図７（ｂ）に示す場合と比較して、到達位置５０が空中像３００側（ユーザと反対側）、すなわちＺ方向−側に近づく必要がある。本実施の形態では、アイコン３００Ａの表示態様を変更することにより、到達位置５０であるユーザの指先Ｆを図７（ｂ）に示す場合よりもＺ方向−側に移動させるように導くものである。すなわち、ユーザに、図７（ｂ）の二点鎖線に示す位置に空中像３００とアイコン３００Ａとが位置していると知覚させることにより、ユーザの指先Ｆを図示する位置よりもＺ方向−側に移動させる。この場合、画像生成部２０１は、到達位置５０と検出基準４０との位置関係に基づいて、ユーザが知覚するアイコン３００Ａの表示位置の変更方向を決定する。図７（ｂ）に示すように到達位置５０が検出基準４０よりもＺ方向＋側に位置する場合には、画像生成部２０１は、ユーザが知覚するアイコン３００Ａの表示位置の変更方向をＺ方向−側に決定する。画像生成部２０１は、図４（ａ）に示すように表示されたアイコン３００Ａの表示位置を、図４（ｂ）に示すようにアイコン３００Ａの表示態様、すなわち表示位置と大きさとを変更する。すなわち、画像生成部２０１は、アイコン３００Ａの表示位置をＹ方向−側へ移動し、アイコン３００Ａの大きさを縮小した表示用画像データを生成する。なお、図５（ａ）示す空中像３００が初期表示された場合には、画像生成部２０１は、アイコン３００Ａの表示位置を、図５（ｂ）のアイコン３００Ａ１のように基準線３１３上で消失点に近づくように変更する。また、図６（ａ）示す空中像３００が初期表示された場合には、画像生成部２０１は、アイコン３００Ａの表示位置を、図６（ｂ）のアイコン３００Ａ１のように基準線３１２と３１３の中間において消失点に近づくように変更する。すなわち、画像生成部２０１は、第１部分であるアイコン３００Ａを、第２部分である基準線３１０〜３１４に対して変更する。
【００４２】
また、図４（ａ）、（ｂ）では、アイコン３００Ａの表示態様の変更として表示位置と大きさとを変更し、図５、６ではアイコン３００Ａの表示位置を変更する例を挙げたが、画像生成部２０１はアイコン３００Ａの表示位置を変更せずに大きさを変更してよい。この場合、画像生成部２０１は、図４（ｄ）に示すようにアイコン３００Ａの大きさを縮小してよい。基準線３１０〜３１４に対して、アイコン３００Ａの大きさを縮小することによって、図４（ｂ）と同様に、ユーザはアイコン３００Ａの表示位置がＺ方向−側に移動したように知覚する。
このようにして、画像生成部２０１は、ユーザがアイコン３００Ａを押下する操作に基づく方向にアイコン３００Ａの表示位置が変更したとユーザに知覚されるように、アイコン３００Ａの表示態様を変更する。なお、ユーザが押下する操作は厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザが押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザの押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザによって押下する操作が行われたと判定する。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する操作に基づく方向であるＺ方向に変更したとユーザによって知覚されるように、アイコン３００Ａの表示態様を変更してよい。
なお、画像生成部２０１は、ユーザの押下する操作に基づいて、押下する操作に基づく方向である、ユーザによる押下する操作と同じ方向にアイコン３００Ａの表示位置が変更したとユーザに知覚されるように、アイコン３００Ａの表示態様を変更してよい。
【００４３】
画像生成部２０１は、アイコン３００Ａの移動量と大きさの変更量とを、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。この場合、検出基準４０と到達位置５０との間の距離と、アイコン３００Ａの移動量と、アイコン３００Ａの大きさの変更量とが予め試験等の結果に基づいて決定され、関連付けされた関連データとして記憶部２０５に記憶されている。画像生成部２０１は、この関連データを参照してアイコン３００Ａの移動量と変更量とを決定して、アイコン３００Ａの表示態様を変更する。
【００４４】
次に、図８を用いて、アイコン３００Ａの移動量と移動方向について説明する。図８（ａ）は、図６（ａ）に示す場合と同様に、初期表示されたアイコン３００Ａの表示位置が基準線３１２と基準線３１３との中間の場合を示している。この場合、画像生成部２０１は、記憶部２０５から読み出した移動量をＬ１とすると、矢印Ａ１に沿って消失点に向かって、すなわちＹ軸に沿ってＹ方向−側に移動量Ｌ１で移動した位置をアイコン３００Ａの表示位置とする。
【００４５】
初期表示されたアイコン３００Ａが基準線３１１、３１２の中間に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置をＸ軸に沿ってＸ方向−側に、すなわち消失点に向かって移動量Ｌ１で移動してもよい。アイコン３００Ａが基準線３１３、３１４の中間に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置をＸ軸に沿ってＸ方向＋側に移動量Ｌ１で移動してもよい。アイコン３００Ａが基準線３１１、３１４の中間に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置をＹ軸に沿ってＹ方向＋側に移動量Ｌ１で移動してもよい。
なお、図４（ａ）に示したアイコン３００Ａの移動量と移動方向とは、上述の図８（ａ）に示したアイコン３００Ａの場合と同様である。
【００４６】
次に、図８（ｂ）を用いて、基準線３１３上にアイコン３００Ａが位置する場合のアイコンの移動量と移動方向とについて説明する。図８（ｂ）は、図５（ａ）に示す場合と同様に、アイコン３００Ａが基準線３１３上に位置する場合を示す。この場合、画像生成部２０１は、記憶部２０５から読み出した移動量をＬ１とすると、矢印Ａ２に沿って、基準線３１３に沿って消失点に向けて移動量Ｌ１で移動した位置をアイコン３００Ａの表示位置とする。画像生成部２０１は、アイコン３００Ａの表示位置をＸ方向＋側に移動量Ｌ１Ｘ、Ｙ方向−側に移動量Ｌ１Ｙ移動させる。
【００４７】
なお、初期表示されたアイコン３００Ａが基準線３１１上に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置を基準線３１１に沿って移動量Ｌ１で移動してもよい。初期表示されたアイコン３００Ａが基準線３１２上に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置を基準線３１２に沿って移動量Ｌ１で移動してもよい。初期表示されたアイコン３００Ａが基準線３１４上に位置する場合には、画像生成部２０１は、アイコン３００Ａの表示位置を基準線３１４に沿った方向（Ｙ方向＋側、Ｘ方向＋側）に移動量Ｌ１で移動してもよい。
なお、初期表示のアイコン３００Ａが基準線３１１、３１２、３１３、３１４の近傍に位置する場合には、基準線３１１、３１２、３１３、３１４に平行に所定の移動量だけ移動される。
また、上記の説明では、アイコン３００Ａを基準線に沿って移動させて表示態様を変更する例を示したが、アイコン３００Ａを必ずしも基準線に沿って移動させなくてもよい。画像生成部２０１は、アイコン３００Ａを基準線に直交する方向とは異なる方向に移動させればよい。
上記のようにして決定されたアイコン３００ＡのＸ方向およびＹ方向の移動量は、記憶部２０５に記憶される。
【００４８】
図４に示した場合のように、アイコン３００Ａの表示態様に大きさの変更を伴うときには、画像生成部２０１は、記憶部２０５に記憶された関連データを参照して、アイコン３００Ａの大きさを決定し、変更量として記憶部２０５に記憶する。
アイコン３００Ａの大きさの変更量と表示位置の移動量とは、到達位置５０と検出基準４０との距離の増減に基づいて、増減するように決定される。アイコン３００Ａの大きさの変更量と表示位置の移動量とは、到達位置５０と検出基準４０との距離の増減に基づいて線形的に増減するように決定されてもよいし、到達位置５０と検出基準４０との距離が所定量の増減をするごとに段階的に増減するように決定されてもよい。また、到達位置５０と検出基準４０との距離に関わらず、アイコン３００Ａの大きさの変更量と表示位置の移動量とが所定の固定値だけ変更するように決定されてもよい。この場合、所定量はユーザにより設定可能に構成されてもよい。
【００４９】
表示制御部２０２は、上記のようにして画像生成部２０１によりアイコン３００Ａの表示態様が３００Ａ１に変更された表示用画像データを、空中像３００として表示させる。これによって、表示装置１は、アイコン３００ＡがあたかもＺ方向−側、すなわちユーザから離れる方向に移動したようにユーザに知覚させる。すなわち、ユーザは、空中像３００とアイコン３００Ａとは実際にＺ方向には移動していないにもかかわらず、図７（ｂ）の二点鎖線で示す位置に移動したように知覚する。ユーザは、自身から更に離れた位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザにより指先Ｆを更にＺ方向−側に位置させる操作が行われることが期待される。これにより、ユーザの指先Ｆの到達位置５０が図７（ｂ）に示す場合よりもＺ方向−側に位置することになり、図７（ｃ）に示すように到達位置５０が検出基準４０に位置する。したがって、操作検出器１３は検出基準４０でユーザの指先Ｆを検出可能となり、制御部２０は、検出基準４０で検出されたユーザ操作の位置を取得できる。
【００５０】
以上では、指の到達位置５０が検出基準４０よりも上方（Ｚ方向＋側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合を説明した。到達位置５０が検出基準４０よりも下方（Ｚ方向−側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合も、検出基準制御部２０４は上述と同様に到達位置５０を判定し、その到達位置５０に基づき画像生成部２０１はアイコン３００Ａの表示態様を変更する。この場合、図７（ｄ）に到達位置５０と検出基準４０との位置関係を示す。この場合、ユーザの指先Ｆが検出基準４０で検出されるためには、図７（ｄ）に示す場合と比較して、到達位置５０がユーザ側、すなわちＺ方向＋側に近づく必要がある。すなわち、ユーザに、図７（ｄ）の二点鎖線に示す位置に空中像３００とアイコン３００Ａとが位置していると知覚させることにより、ユーザの指先Ｆを図示する位置よりもＺ方向＋側に移動させる。この場合、画像生成部２０１は、到達位置５０と検出基準４０との位置関係に基づいて、ユーザが知覚するアイコン３００Ａの表示位置の変更方向を決定する。図７（ｄ）に示すように到達位置５０が検出基準４０よりもＺ方向−側に位置する場合には、画像生成部２０１は、ユーザが知覚するアイコン３００Ａの表示位置の変更方向をＺ方向＋側に決定する。画像生成部２０１は、図４（ａ）に示すように表示されたアイコン３００Ａの表示位置を、図４（ｃ）に示すようにアイコン３００Ａの表示態様、すなわち表示位置と大きさとを変更する。すなわち、画像生成部２０１は、アイコン３００Ａの表示位置をＹ方向＋側へ移動し、アイコン３００Ａの大きさを拡大する。なお、図５（ａ）、図６（ａ）に示すようにアイコン３００Ａが初期表示された場合には、図５（ｃ）、図６（ｃ）に示すようにアイコン３００Ａの表示態様が変更される。すなわち、画像生成部２０１は、第１部分であるアイコン３００Ａを、第２部分である基準線３１０〜３１４に対して変更する。
【００５１】
この場合も、画像生成部２０１は、アイコン３００Ａ１の表示態様に変更した場合と同様に、アイコン３００Ａの移動量と大きさの変更量とを、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。画像生成部２０１は、この関連データを参照してアイコン３００Ａの移動量と大きさの変更量とを決定して、アイコン３００Ａ２に表示態様が変更された表示用画像データを生成する。決定されたアイコン３００ＡのＸ方向およびＹ方向の移動量と大きさの変更量とは記憶部２０５に記憶される。表示制御部２０２は、画像生成部２０１によりアイコン３００Ａの表示態様が３００Ａ２に変更された表示用画像データを、空中像３００として表示させる。これによって、表示装置１は、アイコン３００ＡがあたかもＺ方向＋側、すなわちユーザに接近する方向に移動したようにユーザに知覚させる。ユーザは、自身から更に接近した位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザにより指先Ｆを更にＺ方向＋側に位置させる操作が行われることが期待される。これにより、ユーザの指先Ｆの到達位置５０が図７（ｄ）に示す場合よりもＺ方向＋側に位置することになり、図７（ｃ）に示すように、到達位置５０が検出基準４０に位置するようになる。したがって、操作検出器１３は検出基準４０でユーザの指先Ｆを検出可能となる。
このようにして、画像生成部２０１は、ユーザがアイコン３００Ａを押下する操作に基づく方向とは反対の方向にアイコン３００Ａの表示位置が変更したとユーザに知覚されるように、アイコン３００Ａの表示態様を変更する。なお、ユーザが押下する操作が厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザが押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザの押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザによって押下する操作が行われたと判断する。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する操作に基づく方向であるＺ方向に変更されたとユーザによって知覚されるように、アイコン３００Ａの表示態様を変更してよい。
なお、画像生成部２０１は、ユーザの押下する操作に基づいて、押下する操作に基づく方向である、ユーザによる押下する操作とは反対の方向にアイコン３００Ａの表示位置が変更したとユーザに知覚されるように、アイコン３００Ａの表示態様を変更してよい。
なお、到達位置５０が検出基準４０に一致する場合にも検出基準制御部２０４は上述と同様に到達位置５０を判定する。しかし、到達位置５０が検出基準４０に一致しているので、画像生成部２０１は、ユーザがアイコン３００Ａの奥行き位置が変更したと知覚するようなアイコン３００Ａの表示態様の変更を行わない。
【００５２】
また、到達位置５０が検出基準４０よりも下方に位置する場合には、指先Ｆは、到達位置５０に到達する前に、検出基準４０を通過する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０に達したことを判定する。しかし、第１のキャリブレーション処理モードでは、画像生成部２０１は表示器１１の表示の切り替えを行わない。到達位置５０が検出基準４０に一致する場合も同様に、画像生成部２０１は表示器１１の表示の切り替えを行わない。勿論、指先Ｆが検出基準４０に達した時に、例えば、画像生成部２０１は、アイコン３００Ａを点滅させるなどのハイライト表示をして、指先Ｆが検出基準４０に到達したことをユーザに告知してもよい。
【００５３】
以上の説明では、アイコン３００Ａの表示位置への操作の例としてユーザによるアイコン３００Ａを押し下げる操作を例に挙げたがこれに限られない。ユーザによるアイコン３００Ａに対する所定の非接触操作が操作検出器１３によって検出された場合、所定の非接触操作が行われた場所、すなわち操作検出器１３によって所定の非接触操作が検出された位置に基づいて、画像生成部２０１はアイコン３００Ａの表示態様を変更してもよい。所定の非接触操作とは、例えば、アイコン３００Ａをタッチするようなジェスチャー操作である。アイコン３００Ａをタッチするような操作を行った位置に基づいて、画像生成部２０１はアイコン３００Ａの表示態様を変更してもよい。タッチするような操作とは、例えば、アイコン３００Ａをユーザの手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザの手で振り払うようなジェスチャーが終了し、ユーザの手が停止したと判定された位置やユーザの手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
また、所定の非接触操作として、ユーザが指Ｆを距離Ｌ１だけ下降移動した後にＵターンして、距離Ｌ１だけ上方に移動する操作である。即ち、この所定の非接触操作は、下降移動距離と上昇移動距離とが等しいＵターン軌跡である。また、この所定の非接触操作は、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ下降移動した後にその下降軌跡に沿って距離Ｌ１だけ上方に移動する操作であってもよい。更には、この所定の非接触操作は、下降移動距離Ｌ１と上昇移動距離Ｌ１とが等しくなく異なっていても良い。すなわち、所定の非接触操作とは、指の下降移動に引き続き指の上昇移動がなされる操作であれば良い。
また、所定の非接触操作として、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、所定時間指Ｆを停止する操作でもよいし、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、指Ｆを横方向に少なくとも所定距離Ｌ２移動させる操作でもよい。
所定の非接触操作は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が操作検出器１３で検出できるものであれば、その他の移動軌跡を描くものであってよい。なお、操作検出器１３によって所定の非接触操作が検出された位置は、それぞれの操作によって適宜設定してもよい。たとえば、上記した所定の非接触操作として、ユーザが指Ｆを距離Ｌ１だけ下降移動した後にＵターンして、距離Ｌ１だけ上方に移動する操作の場合、Ｕターンを行った最も下方の位置を非接触操作が行われた位置としてもよい。この所定の非接触操作が検出された位置の別の例としては、距離Ｌ１の半分の位置を非接触操作が検出された位置としてよい。
【００５４】
なお、検出基準制御部２０４が到達位置５０を判定する方法は、上述の押下げ移動から所定距離の上方移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザは、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａへの押下げ操作を実行したと感じて、指の下方移動、即ち押下げを停止する。検出基準制御部２０４は、操作検出器１３が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押下げの停止を判定し、この押下げの停止位置を到達位置５０と判定、即ち決定する。なお、下方移動の停止は、操作検出器１３が検出する静電容量の値が短時間、例えば０．１秒〜１秒程度の間、変化しないことをもって、判定される。更に別の方法としては、検出基準制御部２０４は、ユーザの指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出する。検出基準制御部２０４は、静電容量の変化から、指の速度ベクトルの向きが下方向から逆方向に変化したこと及び逆方向の速度ベクトルが所定の大きさになったことに基づき、逆方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置５０と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きが下向きから逆向きに変化する時点の指の位置、即ち最も下方の位置が到達位置として判定される。所定の大きさをゼロ以外の値に設定すると、指が上述の最も下方の位置から所定距離だけ上方の位置が、到達位置５０として判定される。以上のように、到達位置５０は、検出基準制御部２０４によって指がアイコンの表示位置を操作したと判定された時の指先Ｆの最下方位置またはその近傍の位置に決定される。
【００５５】
また、上述の例では、検出基準制御部２０４は、指やスタイラスのうち、空中像３００のアイコン３００Ａに接触する部分、即ち指先部分の位置やスタイラスの最下部の位置を基準として、到達位置を決定した。その代わりに、検出基準制御部２０４は、ユーザの指の爪先の位置や、指の第１関節の位置を基準にして到達位置を決定してもよい。更には、検出基準制御部２０４は、ユーザの指に限らず、ユーザの足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、検出基準制御部２０４は、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第１関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器１３として、静電容量式パネルを用いる代わりに、後述の変形例９において説明する撮像装置などを使用することが望ましい。
【００５６】
また、上述した説明では、検出基準４０を単一の平面または段差を有する平面としたが、これに限定されず、検出基準４０が上面と下面とに挟まれた所定の厚みを持った領域であってもよい。この場合、検出基準４０は、下面が空中像３０の上方（Ｚ方向＋側）に設定されてもよいし、上面が空中像３０の下方（Ｚ方向−側）に設定されてもよいし、上面と下面との間に空中像３０が位置するように設定されてもよい。このため、検出基準制御部２０４は、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン３０Ａの真上から下降移動されずに、斜め上方から下降移動された場合を仮定する。この場合、検出基準４０が図３に示したように平面であると、アイコン３０Ａの真上の検出基準４０を通過せず、その横の部分を通過してしまい、検出基準制御部２０４が指のアイコン３０Ａの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準４０が所定の厚さを有しているので、指が斜め上方から下降移動された場合にも、検出基準制御部２０４は、指が検出基準４０に入ったことを確実に検出することができる。更には、指が空中像３０に並行に移動して、アイコン３０Ａの表示位置を操作した場合にも、検出基準４０が所定の厚さを有しているので、検出基準制御部２０４は、指が検出基準４０内に入ったことを確実に検出することができる。
【００５７】
なお、上述したように、検出基準４０が厚みを有する場合には、検出基準４０の内部で上述した所定の非接触操作が行われない場合には、検出基準制御部２０４は、所定の非接触操作が行われていないと判定する。たとえば、所定の非接触操作が、ユーザが指Ｆを距離Ｌ１だけ下降移動した後にＵターンして、距離Ｌ１だけ上方に移動する操作であるとする。このとき、ユーザが検出基準４０内で指Ｆを距離Ｌ１だけ下降移動した後、指Ｆを上方に距離Ｌ１になるまで移動させなかったとする。この場合には、検出基準制御部２０４は、ユーザにより所定の非接触操作が行われていないと判定する。
【００５８】
以上のようにして第１のキャリブレーション処理モードが行われると、そのキャリブレーション処理の結果に基づいて、図３（ａ）に示す空中像操作モードにおけるアイコン３０Ａの表示態様が変更される。すなわち、画像生成部２０１は、キャリブレーション処理の結果、記憶部２０５に記憶したアイコン３００Ａの移動量と移動方向と大きさの変更量とを参照して、空中像操作モードのアイコン３０Ａの表示態様を変更する。
図９に、上述した第１のキャリブレーション処理モードによるキャリブレーション処理の結果が反映された空中像操作モードにおける空中像３０を示す。図９（ａ）は、図３（ａ）と同様に、初期表示の空中像３０を示す。図９（ａ）では、１行×３列に配列されたアイコン３０Ａに対して、紙面に向かって左側から符号３０Ａａ、３０Ａｂ、３０Ａｃを付与する。すなわち、アイコン３０Ａａの表示位置は基準線３１３に至近であり、アイコン３０Ａｂの表示位置は基準線３１２、３１３に至近であり、アイコン３０Ａｃの表示位置は基準線３１２に至近である。
【００５９】
図９（ｂ）は、到達位置５０が検出基準４０の上方に位置した場合（図７（ｂ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０を示す。すなわち、図９（ｂ）は、アイコン３０Ａがあたかもユーザから離れる方向に移動したように知覚されるように表示態様が変更された空中像３０を示す。なお、図９（ｂ）においては、説明の都合上、初期表示のアイコン３０Ａを破線で示す。
【００６０】
アイコン３０Ａ１ａ、３０Ａ１ｂ、３０Ａ１ｃは、初期表示されたアイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれの表示態様が変更されたものである。アイコン３０Ａ１ａは、アイコン３０Ａａの大きさが縮小され、表示位置が基準線３１３に沿って消失点に向けて移動されている。アイコン３０Ａ１ｂは、アイコン３０Ａｂの大きさが縮小され、表示位置がＹ軸に沿って消失点に向けて移動されたものである。アイコン３０Ａ１ｃは、アイコン３０Ａｃの大きさが縮小され、表示位置が基準線３１２に沿って消失点に向けて移動されたものである。これにより、アイコン３０Ａ１ａ、３０Ａ１ｂ、３０Ａ１ｃは、基準線３１２、３１３を基準として相対的にユーザから離れる方向に移動したように知覚される。
【００６１】
図９（ｃ）は、到達位置５０が検出基準４０の下方に位置した場合（図７（ｄ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０を示す。すなわち、図９（ｃ）は、アイコン３０Ａがあたかもユーザに接近する方向に移動したように知覚されるように表示態様が変更された空中像３０を示す。なお、図９（ｃ）においては、説明の都合上、初期表示のアイコン３０Ａを破線で示す。
【００６２】
アイコン３０Ａ２ａ、３０Ａ２ｂ、３０Ａ２ｃは、初期表示されたアイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれの表示態様が変更されたものである。アイコン３０Ａ２ａは、アイコン３０Ａａの大きさが拡大され、表示位置が基準線３１３に沿って消失点から離れる方向に向けて移動されたものである。アイコン３０Ａ２ｂは、アイコン３０Ａｂの大きさが拡大され、表示位置がＹ軸に沿って消失点から離れる方向に向けて移動されたものである。アイコン３０Ａ２ｃは、アイコン３０Ａｃの大きさが拡大され、表示位置が基準線３１２に沿って消失点から離れる方向に向けて移動されたものである。これにより、アイコン３０Ａ１ａ、３０Ａ１ｂ、３０Ａ１ｃは、基準線３１２、３１３を基準として相対的にユーザに接近する方向に移動したように知覚される。
以上のようにして、第１キャリブレーション処理モードにて検出されたユーザの操作位置と検出基準４０との間の距離に基づいて、空中像操作モードにおいてアイコン３０Ａの表示態様が変更された空中像３０が表示される。
なお、図９に示す例では、画像生成部２０１は、複数のアイコン３０Ａａ、３０Ａｂ、３０Ａｃの全てに対して、キャリブレーション処理の結果に基づいて、その表示態様を変更したが、これに限定されない。画像生成部２０１は、複数のアイコン３０Ａａ〜３０Ａｃのうちの少なくとも１つのアイコン３００Ａの表示態様を変更してもよいし、各アイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれに対して、個別にキャリブレーション処理の結果を反映させて表示態様を変更してもよい。
【００６３】
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係について、図１０に示すフローチャートを参照して説明する。図１０のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
ステップＳ１において、ユーザによりキャリブレーション処理モード選択用の操作ボタンによって第１のキャリブレーション処理モードが選択されていることを認識すると、ステップＳ２に進む。ステップＳ２において、図２に示したキャリブレーション部２０３が第１のキャリブレーション処理モードを開始して、ステップＳ３に進む。ステップＳ３では、画像生成部２０１がキャリブレーション用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づくキャリブレーション用の画像を表示器１１に表示させると共に、検出基準制御部２０４は、検出基準４０を所定の初期位置に設定する。表示器１１の表示画像は、結像光学系１２によって生成される図４に示すキャリブレーション用の空中像３００である。また、空中像３００は、アイコン３００Ａと基準線３１０〜３１４とメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」とを含む。ステップＳ４において、操作検出器１３は、ユーザの指先Ｆの下方への移動を検出し、ステップＳ５に進む。
【００６４】
ステップＳ５において、図２に示された検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置５０に達したか否かを判定する。ステップＳ５において肯定判定された場合、即ち、指が到達位置５０に達したと判定された場合、ステップＳ６に進む。ステップＳ５において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップＳ６において、検出基準制御部２０４は、到達位置５０と検出基準４０との間の距離に基づき、アイコン３００Ａの表示態様を変更する。また、画像生成部２０１は、このときのアイコン３００Ａの表示位置の移動量と大きさの変更量とを示すデータを図２に示した記憶部２０５に記憶して、ステップＳ７に進む。
【００６５】
ステップＳ７において、第１のキャリブレーション処理モードを終了して、ステップＳ８に進む。ステップＳ８では、空中像操作モードを開始し、ステップＳ９に進む。ステップＳ９において、図９に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示される。このとき、画像生成部２０１は、ステップＳ６において記憶部２０５に記憶したアイコン３００Ａの表示位置の移動量と大きさの変更量とを示すデータを記憶部２０５から読み出す。画像生成部２０１は、読み出したデータに基づき空中像操作モード用のアイコン３０Ａの表示位置と大きさとを設定する。このようにして、この空中像操作モードでは、第１のキャリブレーション処理モードにおいて、ユーザの操作特性に適したアイコン３０Ａが空中像３０として表示される。
【００６６】
ユーザがアイコン３０Ａの表示位置を操作するために、指を空中像３０に向けて下方に移動させると、ステップＳ１０において、図２に示した操作検出器１３がユーザの指の下方への移動を検出し、ステップＳ１１に進む。ステップＳ１１において、検出基準制御部２０４が、操作検出器１３の検出出力に基づき指が検出基準４０に達したかどうか判定する。ステップＳ１１において肯定判定された場合、即ち、指が検出基準４０に達したと判定された場合、ステップＳ１２に進む。ステップＳ１１において否定判定された場合、即ち、指が検出基準４０に達していないと判定された場合、肯定判定されるまで待機する。ステップＳ１２において、表示制御部２０２は表示器１１の表示画像を、操作されたアイコン３０Ａに応じた表示画像に切り替え、ステップＳ１３に進む。ステップＳ１３において、表示装置１の停止操作が行われたかどうか判定する。ステップＳ１３において、肯定判定された場合、即ち、表示装置１の停止操作が行われた場合、表示装置１は停止する。ステップＳ１３において否定判定された場合、ステップＳ１０に戻る。
【００６７】
以上の説明では、第１のキャリブレーション処理モードは、表示装置１が起動された後、空中像操作モードに先立って、実行されるものであったが、第１のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザは、空中像操作モードの実行中に、アイコン３０Ａの表示位置への操作に違和感を覚えたときに、表示装置１のキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。この場合には、第１のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第１のキャリブレーション処理モードの終了後に、空中像操作モードが再開される。なお、上述したユーザによる操作ボタンの操作に従って表示装置１が第１のキャリブレーション処理モードを選択するものに代えて、キャリブレーション部２０３は、アイコン３０Ａの表示位置への操作に対する違和感からユーザが不快感を抱いている様子を検出したときに、第１のキャリブレーション処理モードを実行しても良い。表示装置１は、たとえばユーザの脈拍数（生体情報）を検出し、検出した脈拍数が所定値を超える場合に、ユーザが不快感を抱いている様子を検出することができる。
【００６８】
次に、第２のキャリブレーション処理モードを図１１及び図１２を参照して説明する。なお、以下で説明する第２のキャリブレーション処理モードについては、上述の第１のキャリブレーション処理モードで説明した処理を適宜適用してよい。
図１１は空中像操作モード用の空中像３０と検出基準４０と指先Ｆの到達位置５０とを示した図である。図１２は、第２のキャリブレーション処理モードの動作を表したフローチャートである。図１２のフローチャートに示す各処理は、表示装置１の起動後、制御部２０によってプログラムを実行して行われる。
【００６９】
ステップＳ２１において、第２のキャリブレーション処理モードが選択されていることを認識し、ステップＳ２２に進む。ステップＳ２２において、空中像操作モードと第２のキャリブレーション処理モードとが共に開始され、ステップＳ２３に進む。ステップＳ２３において、図３に示されたアイコン３０Ａを含む空中像３０が表示されると共に、図２に示した検出基準制御部２０４が、検出基準４０を予め定められた初期位置、例えば、空中像３０の位置または空中像３０の位置よりも僅かに上方の位置に設定し、ステップＳ２４に進む。この時、空中像３０には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。
【００７０】
ステップＳ２４において、ユーザがアイコン３０Ａの表示位置への操作のために、指を下方に移動させると、操作検出器１３が指の移動の検出を開始し、ステップＳ２５に進む。ステップＳ２５において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が下方移動中に検出基準４０を通過したかを判定する。ステップＳ２５において肯定判断された場合、即ち、指が下降移動中に検出基準４０を通過して、更に下降移動した場合、ステップＳ２６に進む。図１１の指Ｆ１は、下降移動中に検出基準４０を通過した指を示す。ステップＳ２６では、検出基準制御部２０４は指Ｆ１が検出基準４０に達したこと、即ち検出基準４０を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像３０が操作されたアイコン３０Ａに基づいて切り替わり、ステップＳ２７に進む。ステップＳ２７では、検出基準制御部２０４は、指Ｆ１が到達位置５０に達したかを判定し、肯定判定の場合にはステップＳ２８に進み、否定判定の場合には、肯定判定されるまで維持する。ステップＳ２８では、検出基準制御部２０４は、到達位置５０と検出基準４０との間の距離に基づき、アイコン３０Ａの表示態様を変更してステップＳ３３へ進む。具体的には、画像生成部２０１は、図９（ｃ）に示すようにアイコン３０Ａが消失点から遠ざかる方向に表示位置を変更し、アイコン３０Ａの大きさを大きくする。
なお、ステップＳ２８においては、検出基準制御部２０４が到達位置５０と検出基準４０と位置関係を比較して、到達位置５０が検出基準４０から所定の範囲よりも下方（Ｚ方向−側）に位置しないことを検出した場合、画像生成部２０１はアイコン３０Ａの表示態様を変更しなくてもよい。または、画像生成部２０１は、アイコン３０Ａの表示態様の変更量（アイコン３０Ａの移動量）をゼロに設定してもよい（すなわち、実質的にアイコン３０Ａの表示態様を変更しない）。
【００７１】
前述のステップＳ２５で否定判定された場合、即ち、指が下降移動中に検出基準４０を通過していない場合には、ステップＳ２９に進む。ステップＳ２９では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指先Ｆが到達位置５０に達しているかを判定し、肯定判定の場合にはステップＳ３０に進む。否定判定の場合には、肯定判定されるまで維持する。図１１の指Ｆ２は、到達位置５０が検出基準４０に一致したことを示している。ステップＳ３０では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、到達位置５０が検出基準４０に一致するかを判定し、肯定判定の場合にステップＳ３１に進み、否定判定の場合にステップＳ３２に進む。ステップＳ３１では、到達位置５０が検出基準４０に一致しているので、アイコン表示の切り替えを行うが、アイコン３０Ａの表示態様の変更は行わずにステップＳ３３へ進む。
なお、検出基準制御部２０４は、到達位置５０と検出基準４０とが完全に一致しない場合、たとえば検出基準４０から所定の範囲内に到達位置５０を検出した場合であっても、到達位置５０が検出基準４０に一致したと判定してもよい。この場合、図１２のステップＳ２５においては、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲よりも下方に位置しているか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲よりも下方に位置する場合には、ステップＳ２５が肯定判定されてステップＳ２６へ進む。
また、ステップＳ３０では、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲内に位置するか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲内に位置する場合には、ステップＳ３０が肯定判定されてステップＳ３１へ進む。
【００７２】
ステップＳ３２では、図１１の指Ｆ３に示したように到達位置５０が検出基準４０の上方に位置しており、検出基準制御部２０４は、到達位置５０と検出基準４０との間の距離に基づきアイコン３０Ａの表示態様を変更する。具体的には、画像生成部２０１は、図９（ｂ）に示すようにアイコン３０Ａが消失点に接近する方向に表示位置を変更し、アイコン３０Ａの大きさを小さくする。ステップＳ３３では、第２のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合には第２のキャリブレーション処理モードを終了し、否定判定の場合にステップＳ２４に戻る。
【００７３】
以上のように、第２のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザに適した検出基準４０で空中像３０の表示位置に対する操作を実行することができる。なお、第１〜２のキャリブレーション処理モードは必ずしもユーザが選択しなくてもよい。表示装置１が自動的に第１〜２のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第１〜２のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
【００７４】
第１の実施の形態では、画像生成部２０１は、操作検出器１３で検出した操作により第１の像であるアイコン３０Ａの表示態様を変更する。具体的には、操作検出器１３により取得された検出基準４０とユーザの操作が検出された位置との位置関係に基づいて、画像生成部２０１は奥行手がかりとなる基準線３１０〜３１４に対してアイコン３０Ａの表示態様を変更する。これにより、ユーザに、あたかもアイコン３０Ａの空中での位置が移動したものと知覚させて、以後、空中像３０の表示位置に対する操作を行う位置を変更させることができる。
【００７５】
また、第１の実施の形態では、画像生成部２０１は、ユーザ側またはユーザ側とは反対側にアイコン３０Ａの表示位置が変更したとユーザに知覚されるように、アイコン３０Ａの表示態様を変更する。これにより、ユーザに、あたかもアイコン３０Ａの空中でのＺ方向の位置が移動したものと知覚させて、ユーザがアイコン３０Ａの表示位置に対して行う操作のＺ方向の位置を変更させることができる。すなわち、ユーザの操作を検出基準４０で検出可能にすることができる。
【００７６】
また、第１の実施の形態では、画像生成部２０１は、検出基準４０とユーザの操作が検出された位置との位置関係に基づいて、アイコン３０Ａの表示の位置を変更する方向を決定する。したがって、キャリブレーション処理時におけるユーザの操作に従って、ユーザによりアイコン３０Ａが空中で移動したと知覚される方向が決まるので、以後、ユーザの操作を空中像３０の表示位置で行わせることができる。
【００７７】
また、第１の実施の形態では、画像生成部２０１は、ユーザが空中像３０を押下する操作に基づく方向（Ｚ方向−側）または反対方向（Ｚ方向＋側）にアイコン３０Ａの表示の位置を変更する。したがって、ユーザに、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
【００７８】
また、第１の実施の形態では、画像生成部２０１は、ユーザの押下する操作が検出基準４０に到達しない場合（図７（ｂ）参照）、ユーザが押下する操作に基づく方向にアイコン３０Ａの空中での表示の位置が変更するように、アイコン３０Ａの表示を変更する。すなわち、ユーザは、あたかもアイコン３０Ａの位置がユーザから離れる方向に変更されたように知覚する。これにより、ユーザに、押下する操作をさらに押し下げた位置まで行わせることができるので、ユーザの押下する操作を検出基準４０に到達させることができる。
【００７９】
また、第１の実施の形態では、画像生成部２０１は、ユーザの押下する操作が検出基準に到達する場合（図７（ｄ）参照）、ユーザが押下する操作に基づく方向とは反対方向にアイコン３０Ａの空中での表示の位置が変更するように、アイコン３０Ａの表示を変更する。すなわち、ユーザは、あたかもアイコン３０Ａの位置がユーザに接近する方向に変更されたように知覚する。これにより、ユーザに、押下する操作をよりユーザに近い側の位置で行わせることができるので、ユーザの押下する操作を検出基準４０に位置させることができる。
【００８０】
また、第１の実施の形態では、ユーザの操作が検出された位置は、到達位置５０である。これにより、ユーザが空中像３０の表示位置に触れたと認識した位置に基づいて、アイコン３０Ａの表示の変更を行うことができるので、キャリブレーション処理の精度を向上させることができる。
【００８１】
また、第１の実施の形態では、画像生成部２０１は、ユーザの操作が検出基準４０で検出されない場合に、アイコン３０Ａの表示を変更する。これにより、ユーザに、押下する操作をさらに押し下げた位置まで行わせることができるので、ユーザの押下する操作を検出基準４０で検出することができるようになる。
【００８２】
また、第１の実施の形態では、画像生成部２０１は、ユーザの操作が検出基準４０で検出されない場合、アイコン３０Ａの大きさを小さくする変更を行う。これにより、ユーザにアイコン３０Ａの空中での表示があたかもユーザから離れる方向に変更されたように知覚させ、ユーザの操作を検出基準４０に到達する位置で行わせることができるようになる。
【００８３】
また、第１の実施の形態では、ユーザの操作が検出された位置が検出基準４０に対してユーザ側の場合、アイコン３０Ａの位置がユーザとは反対側に移動したとユーザに知覚されるように、画像生成部２０１は、基準線３１０〜３１４に対してアイコン３０Ａの表示を変更する。これにより、ユーザにアイコン３０Ａの空中での表示があたかもユーザから離れる方向に変更されたように知覚させ、ユーザにユーザの操作を検出基準４０に到達する位置まで行わせることができるようになる。
【００８４】
また、第１の実施の形態では、ユーザの操作が検出された位置が検出基準４０に対してユーザ側に第１距離より離れた第２距離に位置する場合、画像生成部２０１は次のようにアイコン３０Ａの表示を変更する。すなわち、第１距離の場合よりもアイコン３０Ａの表示の位置がユーザとは反対側に大きく移動したとユーザに知覚されるように、画像生成部２０１は、基準線３１０〜３１４に対してアイコン３０Ａの表示を変更する。換言すると、ユーザの操作の検出された位置と検出基準４０との間の距離の増加に伴って、アイコン３０Ａの表示の位置がユーザとは反対側により大きく移動したとユーザに知覚されるように、画像生成部２０１は、基準線３１０〜３１４に対してアイコン３０Ａの表示を変更する。これにより、検出されたユーザの操作と検出基準４０との間の距離に基づいて、ユーザが知覚するアイコン３０Ａの奥行感を異ならせて、ユーザの操作を検出基準４０に到達させることができるようになる。
また、第１の実施の形態では、結像光学系１２の光軸方向に沿ってアイコン３０Ａの表示位置が変更したとユーザに知覚させるように、画像生成部２０１は、アイコン３０Ａの表示態様を変更する。これにより、ユーザ操作が行われる位置を光軸方向において変更させて、検出基準４０にてユーザ操作を検出することができる。なお、アイコン３０Ａの表示位置が厳密に結像光学系１２の光軸方向に沿って変更したとユーザに知覚させる場合に限られない。画像生成部２０１は、アイコン３０Ａの表示位置の移動方向として知覚される方向がＺ軸に対して傾きを有するように、すなわち結像光学系１２の光軸と直交する方向以外の方向に移動したと知覚されるように、アイコン３０Ａの表示態様を変更してもよい。
【００８５】
（第１の実施の形態の変形例１）
第１の実施の形態においては、アイコン３０Ａ、３００Ａの表示態様の変更として、表示位置と大きさの変更とを例に挙げて説明した。変形例１においては、アイコン３０Ａ、３００Ａの表示態様の変更として行われるその他の例について説明する。
＜例１＞
画像生成部２０１は、表示態様の変更として、図３（ａ）のアイコン３０Ａや図４（ａ）のアイコン３００Ａの鮮鋭度を変更する。画像生成部２０１は、アイコン３０Ａ、３００Ａの鮮鋭度を上げることにより、アイコン３０Ａ、３００Ａがあたかもユーザに接近する方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａの鮮鋭度を下げることにより、アイコン３０Ａ、３００Ａがあたかもユーザから離れる方向に移動したように知覚させる。この場合、第１の実施の形態の場合と同様に、基準線３１０〜３１４が奥行手がかりとなる。なお、図３（ａ）に示す複数のアイコン３０Ａのうちの一部のアイコン３０Ａのみ鮮鋭度を変更する場合には、鮮鋭度を変更しない他のアイコン３０Ａが奥行手がかりとなる。画像生成部２０１は、鮮鋭度として、たとえばアイコン３０Ａ、３００Ａのボケ度合いを変更したり、空気透視（空気遠近法）の考え方に従ってアイコン３０Ａ、３００Ａに付与する白みのかかり度合い（霞のかかり度合い）を変更する。
【００８６】
画像生成部２０１は、アイコン３０Ａ、３００Ａのエッジ部分や、重畳された文字や模様等のボケ度合いを低くし明瞭にする程、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａのエッジ部分や、重畳された文字や模様等のボケ度合いを高める程、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。また、画像生成部２０１は、アイコン３０Ａ、３００Ａへの白みのかかり度合い低くする程、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａへの白みのかかり度合いを高める程、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。なお、画像生成部２０１は、アイコン３０Ａ、３００Ａに対してボケ度合いの程度と白みのかかり度合いの程度との一方のみを行ってもよいし、両方を行ってもよい。
なお、以上の説明では、表示態様の変更としてアイコン３０Ａ、３００Ａの鮮鋭度の変更を説明した。画像生成部２０１は、アイコン３０Ａ、３００Ａの鮮鋭度の変更に加えて、アイコン３０Ａ、３００Ａの表示位置と大きさの変更、または、表示位置および大きさの変更のうちの一方を行ってもよい。
【００８７】
変形例１の例１では、ユーザの操作と検出基準４０との位置関係に基づいて、画像生成部２０１はアイコン３０Ａ、３００Ａの表示の鮮鋭度を変更する。これにより、ユーザに、あたかもアイコン３０Ａ、３００Ａの空中での表示の位置が移動したように知覚させ、空中像３０に対する操作の位置を変更させることができる。
【００８８】
＜例２＞
画像生成部２０１は、表示態様の変更として、図３（ａ）のアイコン３０Ａや図４（ａ）のアイコン３００Ａの色を変更する。一般に、寒色系の色が付されているものは、同一の大きさを有し暖色系の色が付されているものよりも離れた位置に知覚される。画像生成部２０１は、アイコン３０Ａ、３００Ａに寒色系の青などの後退色を付すことにより、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａに暖色系の赤や黄などの進出色を付すことにより、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。この場合、第１の実施の形態の場合と同様に、基準線３１０〜３１４の色が奥行手がかりとなる。なお、図３（ａ）に示す複数のアイコン３０Ａのうちの一部のアイコン３０Ａのみ色を変更する場合には、色を変更しない他のアイコン３０Ａが奥行手がかりとなる。
なお、以上の説明では、表示態様の変更としてアイコン３０Ａ、３００Ａの色の変更を説明した。画像生成部２０１は、アイコン３０Ａ、３００Ａの色の変更に加えて、アイコン３０Ａ、３００Ａの表示位置と大きさの変更、または、表示位置および大きさの変更のうちの一方を行ってもよい。
【００８９】
＜例３＞
画像生成部２０１は、表示態様の変更として、図３（ａ）のアイコン３０Ａや図４（ａ）のアイコン３００Ａの輝度を変更する。画像生成部２０１は、アイコン３０Ａ、３００Ａの輝度を下げ暗くする程、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａの輝度を上げ明るくする程、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。この場合、第１の実施の形態の場合と同様に、基準線３１０〜３１４の輝度が奥行手がかりとなる。なお、図３（ａ）に示す複数のアイコン３０Ａのうちの一部のアイコン３０Ａのみ輝度を変更する場合には、輝度を変更しない他のアイコン３０Ａが奥行手がかりとなる。
これにより、アイコン３０Ａ、３００Ａの輝度を上げ明るさが増大することにより、ユーザはアイコン３０Ａ、３００Ａがユーザに近い側に位置するように知覚する場合がある。また、次のような場合もある。すなわち、アイコン３０Ａ、３００Ａが明るくなると、ユーザはアイコン３０Ａ、３００Ａを明確に視認することができるので、操作性が向上する。
なお、以上の説明では、表示態様の変更として、アイコン３０Ａ、３００Ａの輝度の変更を示した。画像生成部２０１は、アイコン３０Ａ、３００Ａの輝度の変更に加えて、アイコン３０Ａ、３００Ａの表示位置と大きさの変更、または、表示位置および大きさの変更のうちの一方を行ってもよい。
【００９０】
＜例４＞
画像生成部２０１は、表示態様の変更として、アイコン３０Ａ、３００Ａと奥行手がかりとなる基準線３１０〜３１４との重なり具合を変更する。図１３は、アイコン３０Ａと基準線３１０〜３１４との間の重なり具合の一例を模式的に示す図である。図１３（ａ）は、基準線３１０がアイコン３０Ａに隠れ、図１３（ｂ）はアイコン３０Ａが基準線３１０に隠れた場合を示している。なお、図１３（ａ）、（ｂ）において、アイコン３０Ａの大きさと、表示位置とは同一とする。図１３（ａ）に示すように、基準線３１０がアイコン３０Ａに隠れている場合は、図１３（ｂ）に示すようにアイコン３０Ａが基準線３１０の外部にて隠れている場合と比較して、近くに位置するように知覚することができる。このような効果に基づいて、画像生成部２０１は、アイコン３０Ａ、３００Ａを基準線に隠れているように表示することにより、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。画像生成部２０１は、基準線がアイコン３０Ａ、３００Ａに隠れているように表示することにより、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。これにより、画像生成部２０１がアイコン３０Ａ、３００Ａを空中像３０上で表示位置を移動させることなく、アイコン３０Ａ、３００ＡがあたかもＺ方向に移動したようにユーザに知覚させる。
なお、図１３（ａ）と図１３（ｂ）との間で、アイコン３０Ａ、３００Ａの表示位置は同一の場合を示した。画像生成部２０１は、アイコン３０Ａ、３００Ａの重なり具合の変更に加えて、アイコン３０Ａ、３００Ａの表示位置と大きさの変更、または、表示位置および大きさの変更のうちの一方を行ってもよい。
【００９１】
変形例１の例４では、画像生成部２０１は、ユーザの操作と検出基準４０との位置関係に基づいて、アイコン３０Ａ、３００Ａと基準線との重なり量を変更する。これにより、ユーザに、あたかもアイコン３０Ａ、３００Ａの空中での表示の位置が移動したように知覚させ、空中像３０に対する操作の位置を変更させることができる。
【００９２】
また、図３（ｃ）に示すように、３つのアイコン３０Ａのそれぞれに対して設定された検出基準４０がＺ方向に沿って段差を有して設定されている場合、画像生成部２０１は、図１３（ｃ）に示すように空中像３０の各アイコン３０Ａを重ね合わせて表示させてもよい。すなわち、図３（ｃ）にて、各アイコン３０Ａのうち空中像３０に最も近い位置に設定された検出基準４０（紙面向かって左端側（Ｘ方向−端側）に対応するアイコン３０Ａが、３つのアイコン３０ＡのうちＸ方向の中央部のアイコン３０Ａによって一部が隠れるように表示される。また３つのアイコン３０ＡのうちＸ方向の中央部のアイコン３０Ａが、３つのアイコンのうち空中像３０から最も離れた位置に設定された検出基準４０（紙面向かって右端側（Ｘ方向＋側端）に対応するアイコン３０Ａによって一部が隠れるように表示される。なお、図１３（ｃ）では、図示の都合上、それぞれのアイコン３０ＡのＹ方向の位置が異なるように描いているが、Ｙ方向の位置が同一の位置に表示されてよい。画像生成部２０１は、各アイコン３０Ａが隠れる量、すなわち重なり量は、空中像３０と検出基準４０との間の距離に基づいて設定することができる。
【００９３】
これにより、ユーザは、あたかも各アイコン３０ＡがＺ方向の異なる位置に表示されているように知覚することができる。したがって、アイコン３０Ａごとに、検出基準４０と操作検出器１３との距離Ｈ２が異なる場合であっても、ユーザの操作をそれぞれの検出基準４０にて検出することができる。
【００９４】
なお、画像生成部２０１は、運動視差による効果を付加してもよい。画像生成部２０１は、図３（ａ）に示す初期表示のアイコン３０Ａの状態から、あるアイコン３０Ａと他のアイコン３０Ａとを移動させることにより、重なり量を時間の経過とともに変化させ、図１３（ｃ）に示すようにアイコン３０Ａの表示態様を変更させてもよい。これにより、アイコン３０Ａの見かけ上の奥行方向への移動を強調させることができる。
【００９５】
＜例５＞
画像生成部２０１は、表示態様の変更として、アイコン３０Ａ、３００Ａの陰影を変更する。図１４は、アイコン３００Ａとアイコン３００Ａに上方から光を当てたと仮定した場合に形成される影画像３１５との一例を模式的に示す図である。すなわち、例５では、影画像３１５が、アイコン３００ＡのＺ方向の位置をユーザが知覚する際の奥行手がかりとなる。図１４（ａ）と、図１４（ｂ）と、図１４（ｃ）とでは、アイコン３００Ａが形成する影画像３１５の面積が異なる。なお、図１４（ａ）〜図１４（ｃ）において、アイコン３００Ａの大きさと、空中像３００における表示位置とは同一とする。
【００９６】
図１４（ｂ）の影画像３１５は、図１４（ａ）の影画像３１５よりも面積が小さい。影画像３１５の面積が小さい図１４（ｂ）に示すアイコン３００Ａは、図１４（ａ）に示すアイコン３００Ａと比較して、影画像３１５とアイコン３００Ａとの間の距離が小さいように知覚することができる。すなわち、ユーザは、図１４（ｂ）に示すアイコン３００Ａの方が図１４（ａ）に示すアイコン３００Ａよりもユーザより遠い側に位置するように知覚することができる。
【００９７】
影画像３１５の面積が大きい図１４（ｃ）に示すアイコン３００Ａは、図１４（ａ）に示すアイコン３００Ａと比較して、影画像３１５とアイコン３００Ａとの間の距離が大きいように知覚することができる。すなわち、ユーザは、図１４（ｃ）に示すアイコン３００Ａの方が図１４（ａ）に示すアイコン３００Ａよりもユーザに近い側に位置するように知覚することができる。このような効果に基づいて、画像生成部２０１は、アイコン３０Ａ、３００Ａの影画像３１５の面積を制御することにより、アイコン３０Ａ、３００Ａがユーザから離れる方向または接近する方向に移動したように知覚させる。画像生成部２０１は、たとえば、図１４（ａ）の空中像３００を初期表示とし、キャリブレーション処理時の到達位置５０が検出基準４０の上方（図７（ｂ）参照）の場合には、図１４（ｂ）の空中像３００を表示する。画像生成部２０１は、キャリブレーション処理時の到達位置５０が検出基準４０の下方（図７（ｄ）参照）の場合には、図１４（ｃ）の空中像３００を表示する。すなわち、到達位置５０が検出基準４０にて検出されない場合に、到達位置５０と検出基準４０との位置関係に基づいて、画像生成部２０１は、図１４（ｂ）、図１４（ｃ）に示すように影画像３１５を表示する。
【００９８】
画像生成部２０１は、上記のようにアイコン３０Ａ、３００Ａが形成する影画像３１５の大きさを変更するものに限られず、アイコン３００Ａに形成される影画像を変更してもよい。図１５は、円形のアイコン３００Ａと、表示態様の変更としてアイコン３００Ａに影画像を付与した場合の一例を模式的に示す図である。図１５（ａ）は初期表示のアイコン３００Ａの一例、図１５（ｂ）は、円形のアイコン３００Ａの上方（Ｙ方向−側）に影画像３１５が形成された一例、図１５（ｃ）はアイコン３００Ａの下方（Ｙ方向＋側）に形成される影画像３１５の一例を模式的に示す図である。
【００９９】
図１５（ｂ）に示すアイコン３００Ａには、上部（Ｙ方向−側）から下部（Ｙ方向＋側）にかけて、輝度が徐々に高くなるような影画像３１５が画像生成部２０１により形成される。このような影画像３１５が形成されることにより、図１５（ｂ）のアイコン３００Ａは、図１５（ａ）に示す初期表示のアイコン３００Ａと比較して、ユーザとは反対側（Ｚ方向−側）に凹んでいるように知覚することができる。すなわち、図１５（ｂ）に示すアイコン３００Ａは、初期表示のアイコン３００Ａと比較して、あたかもユーザから離れる方向に位置しているように知覚することができる。図１５（ｃ）に示すアイコン３００Ａには、下部（Ｙ方向＋側）から上部（Ｙ方向−側）にかけて、輝度が徐々に高くなるような影画像３１５が画像生成部２０１により形成される。このような影画像３１５が形成されることにより、図１５（ｃ）に示すアイコン３００Ａは、図１５（ａ）に示す初期表示のアイコン３００Ａと比較して、ユーザ側（Ｚ方向＋側）に突出しているように知覚することができる。すなわち、図１５（ｃ）に示すアイコン３００Ａは、初期表示のアイコン３００Ａと比較して、あたかもユーザに接近する方向に位置しているように知覚することができる。このような効果に基づいて、画像生成部２０１は、アイコン３０Ａ、３００Ａの上方に影画像３１５を形成することにより、アイコン３０Ａ、３００Ａがユーザから離れる方向に移動したように知覚させる。画像生成部２０１は、アイコン３０Ａ、３００Ａの下方に影画像３１５を形成することにより、アイコン３０Ａ、３００Ａがユーザに接近する方向に移動したように知覚させる。
なお、画像生成部２０１は、アイコン３０Ａ、３００Ａに形成する影画像３１５は、図１５に例示したものに限定されない。画像生成部２０１は、たとえばラマチャンド型のクレータ錯視に基づいて、アイコン３０Ａ、３００Ａに影画像３１５を形成してよい。
【０１００】
変形例１の例５では、画像生成部２０１は、ユーザの操作と検出基準４０との位置関係に基づいて、アイコン３０Ａ、３００Ａに陰影を施す処理を行う。これにより、ユーザに、あたかもアイコン３０Ａ、３００Ａの表示の位置が移動したように知覚させ、ユーザの操作の位置を変更させることができる。
【０１０１】
画像生成部２０１は、第１の実施の形態および上述した例１〜例５の各表示態様の変更を個別に行ってもよいし、複数の表示態様の変更を組み合わせて実行してもよい。すなわち、画像生成部２０１は、ユーザの操作の位置と検出基準４０との位置関係に基づいて、アイコン３０Ａの表示位置、大きさ、鮮鋭度、陰影のうち少なくとも一つを変更してよい。この場合、画像生成部２０１は、基準線３１０〜３１４を表示することなく、アイコン３０Ａの表示位置、大きさ、鮮鋭度、陰影のうち少なくとも一つを変更してもよい。また、画像生成部２０１は、ユーザの操作の位置と検出基準４０との位置関係に基づいて、上述した複数の表示態様の変更の例のうち、アイコン３０Ａの表示位置、大きさ、および輝度のうち少なくとも一つを変更してよい。
【０１０２】
（第１の実施の形態の変形例２）
変形例２の表示装置１は、空中像３０のアイコン３０Ａ、３００Ａの表示の、第２基準である奥行手がかりを基準線３１０〜３１４として表示するものではなく、実際の物体を奥行手がかりとするものである。
変形例２の表示装置１は、図１および図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。
【０１０３】
図１６は、変形例２の表示装置１の外観斜視図である。本体１０の表面（Ｚ方向＋側の面、以後、枠部材１０１と呼ぶ）には、空中像３０を観察するユーザが空中での空中像３０の表示位置を把握するための案内となる指標１０２が設けられる。指標１０２は、たとえば枠部材１０１に刻印されたり、シール等にて貼り付けられている。すなわち、第２基準である指標１０２は実物である。図１６では、指標１０２として矩形形状のマークを設けた場合を一例として示す。なお、指標１０２は、矩形形状に限られず、円形形状でもよいし、矢印や星印等の記号や、アルファベット等の文字でもよい。また、図１６は、指標１０２は枠部材１０１の４つの辺にそれぞれ１つずつ設けられた場合を例示するが、この例に限定されず枠部材１０１の各辺に複数ずつ指標１０２が設けられてもよい。また、枠部材１０１の全ての辺に指標１０２が設けられるものに限定されず、少なくとも１つの辺に指標１０２が設けられてもよい。
【０１０４】
図１７は、変形例２の表示装置１に表示された空中像３０のアイコン３０Ａと、枠部材１０１に設けられた指標１０２とを示す。図１７（ａ）は、キャリブレーション処理を行う前の初期表示におけるアイコン３０Ａを示す。図１７（ｂ）、（ｃ）は、キャリブレーション処理によりアイコン３０Ａの表示態様が画像生成部２０１により変更された場合を示す。図１７（ｂ）の例では、アイコン３０Ａの表示態様の変更として、図１７（ａ）の場合と比較してアイコン３０Ａの大きさが縮小された場合を示す。図１７（ｃ）の例では、アイコン３０Ａの表示態様の変更として、図１７（ａ）の場合と比較してアイコン３０Ａの大きさが拡大された場合を示す。
【０１０５】
キャリブレーション処理の前に、ユーザは図１７（ａ）に示すように初期表示されたアイコン３０Ａと指標１０２とを視認することにより、指標１０２を基準としてアイコン３０Ａの空中での位置（Ｚ方向における位置）を把握する。図１７（ａ）に示す状態から、キャリブレーション処理の結果、図１７（ｂ）に示すようにアイコン３０Ａが表示されたとする。この場合、図１７（ａ）のアイコン３０Ａよりも縮小されたアイコン３０Ａが表示される。このため、ユーザは、指標１０２を基準としてアイコン３０Ａを観察することにより、アイコン３０Ａが図１７（ａ）の場合と比べてあたかもユーザから離れる方向に移動したように知覚する。また、図１７（ａ）に示す状態から、キャリブレーション処理の結果、図１７（ｃ）に示すようにアイコン３０Ａが表示されたとする。この場合、図１７（ａ）のアイコン３０Ａよりも拡大されたアイコン３０Ａが表示される。このため、ユーザは、指標１０２を基準としてアイコン３０Ａを観察することにより、アイコン３０Ａが図１７（ａ）の場合と比べてあたかもユーザに接近する方向に移動したように知覚する。
【０１０６】
なお、指標１０２を枠部材１０１に設けるものに代えて、指標１０２を液晶モニタ等の表示器に表示させてもよい。この場合、図１８（ａ）に示すように、表示装置１の枠部材１０１の上面部に表示器１０３を設ける。図１８（ｂ）はこの場合の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３と表示器１０３とを示すブロック図である。制御部２０は、図２に示す第１の実施の形態の制御部２０が有する機能に加えて、表示器１０３の表示を制御する指標表示制御部２０９をさらに備える。指標表示制御部２０９は、表示装置１を起動して空中像操作モードを開始する際、または表示装置１の起動時にキャリブレーション処理モードを起動する際に、表示器１０３を制御して、指標１０２の表示を開始させる。すなわち、指標表示制御部２０９は、第１の実施の形態において示す図１０のフローチャートのステップＳ２や、図１２のフローチャートのステップＳ２２にて表示器１０３の表示を開始する。指標表示制御部２０９は、指標１０２として、上述した各種の記号、文字等を表示器１０３に表示させる。これにより、指標１０２を枠部材１０１に設ける場合と同様に、ユーザは、表示器１０３に表示された指標１０２を基準として、アイコン３０Ａ、３００Ａの奥行方向に沿った見かけ上の移動を知覚できる。
【０１０７】
なお、上述した変形例２の説明において、画像生成部２０１による表示態様の変更として、アイコン３０Ａ、３００Ａの大きさの変更を例に挙げたが、これに限定されない。画像生成部２０１は、変形例１の各例にて説明した、鮮鋭度の変更や、色の変更や、輝度の変更を表示態様の変更として実行することができる。
【０１０８】
（第１の実施の形態の変形例３）
上述した第１の実施の形態とその変形例１、２の表示装置１は、ユーザの指先がアイコンの表示位置への操作のために押下げを行った後に所定距離上方に移動した場合に、最も下方移動した位置を到達位置とした。そして、表示装置１は、到達位置と検出基準との間の距離に基づいて、空中像の表示態様を変更した。これに対して、変形例３の表示装置１は、操作検出器１３の検出出力に基づき、ユーザの指先Ｆの速度あるいは加速度を算出し、算出した速度または加速度に基づき指先Ｆの到達位置を予測してもよい。そして、表示装置１は、その予測到達位置と検出基準との間の距離に基づいて空中像の表示態様を変更するものであってもよい。図１９は、本変形例３の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。
【０１０９】
変形例３の表示装置１は、第１の実施の形態の表示装置に対して相違している構成について説明する。図１９において、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部２０７は、速度・加速度検出部２０６から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部２０７は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。画像生成部２０１は、到達位置予測部２０７によって予測された到達位置に基づき、空中像３０の表示態様を変更する。
【０１１０】
次に、変形例３の表示装置１による第１のキャリブレーション処理モードを図２０及び図２１を参照して説明する。図２１のフローチャートにおいて、ステップＳ１０４からステップＳ１０７以外は、図１０のフローチャートと同一であるので、説明を省略する。図１１（ａ）に示したように、指先Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ１０４において操作検出器１３が指先Ｆの移動を静電容量値の変化として検出する。ステップＳ１０５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度または加速度を算出する。ステップＳ１０６で、到達位置予測部２０７が速度・加速度検出部２０６が算出した移動速度または加速度に基づき指先Ｆの到達位置を算出する。図２０（ｂ）において、到達位置予測部２０７が算出した、即ち予測した指の到達位置を点線６０で示す。ステップＳ１０７において、画像生成部２０１は、図２０（ｂ）に示したように予測到達位置６０に基づきアイコン３００Ａの表示態様を変更すると。画像生成部２０１は、アイコン３００Ａの大きさの変更量や、表示位置の移動量を示すデータを記憶部２０５に記憶する。その後のステップＳ１１０において、この記憶されたデータに基づいて、画像生成部２０１は、空中像３０のアイコン３０Ａの表示態様を変更した表示用画像データを生成し、表示制御部２０２が空中像操作モードの空中像３０として表示させる。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
【０１１１】
なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出した。しかし、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、速度・加速度検出部２０６はユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
【０１１２】
なお、算出したユーザの指の移動速度または加速度に基づき、到達位置予測部２０７はユーザの指の予測到達位置６０を算出し、画像生成部２０１はユーザの指の予測到達位置６０に基づいて空中像３０の表示態様を変更していた。しかし、到達位置予測部２０７は、操作毎にユーザの指の予測到達位置６０を決定する必要はない。ユーザが操作を行う前に意図せず動いてしまった場合、その動きに基づいて到達位置予測部２０７が予測到達位置６０を算出してしまうと、アイコン３０Ａ、３００Ａの表示態様が頻繁に変更されるなど、適切な位置にユーザの指先Ｆを導くことができなくなってしまう。上述のような場合を防ぐため、速度・加速度検出部２０６が所定の閾値以上のユーザの指の移動速度及び加速度を検出した場合のみ、到達位置予測部２０７は予測到達位置６０を算出し、画像生成部２０１は、予測到達位置６０に基づいて空中像３０の表示態様を変更してもよい。
【０１１３】
変形例３では、指の到達位置５０が、指の移動の速度や加速度に基づいて予測される。これにより、キャリブレーション処理を迅速に行うことができる。
【０１１４】
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態にて説明した図１２に示すフローチャートにおいて、ステップＳ２４の後に、図２１に示すフローチャートのステップＳ１０５〜ステップＳ１０６を行う。その後、図１２のステップＳ２７およびステップＳ２９を行うことなく、ステップＳ２８およびステップＳ３２にて、算出された予測到達位置６０に基づいて、空中像３０の表示態様を変更する。本変形例３を第２のキャリブレーション処理モードに適用した場合、空中像操作中のユーザの指先Ｆが検出基準４０に達する前に指先Ｆの到達位置を事前に予測し、予測した到達位置に基づいて空中像３０の表示態様を変更することが可能になる。そのため、ユーザの指先Ｆが検出基準４０に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザに快適な操作を行わせることができる。
【０１１５】
（第１の実施の形態の変形例４）
第１の実施の形態及び変形例１〜３に係る表示装置１は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置５０と検出基準４０との間の距離に基づき画像生成部２０１は空中像３０の表示態様を変更するものであった。これに代えて、変形例４に係る表示装置１は、複数回のキャリブレーション処理においてそれぞれ検出された到達位置と検出基準との間の距離に基づいて、画像生成部２０１は、空中像操作モードにおける空中像３０の表示態様を変更するものである。
【０１１６】
第一回目のキャリブレーション処理において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指の到達位置５０を判定する。画像生成部２０１は、この到達位置５０に基づき、アイコン３００Ａの大きさの変更量や表示位置の移動量を算出する。画像生成部２０１は、この算出した変更量や移動量を示すデータを記憶部２０５に記憶する。引き続き第２回目のキャリブレーション処理を行い、同様に変更量や移動量を示すデータを記憶部２０５に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部２０５に記憶された複数の変更量や移動量を示すデータから、画像生成部２０１は空中像操作モードにおける空中像３０のアイコン３０Ａ用の一つの変更量や移動量を決定する。
【０１１７】
これら複数の変更量や移動量を示すデータを用いて一つのアイコン３０Ａの表示態様を決定するには、様々な手順が考えられる。例えば、画像生成部２０１は、アイコン３００Ａの複数の変更量や移動量を相加平均して、アイコン３０Ａ用に一つの変更量や移動量を算出してもよいし、相乗平均して一つの変更量や移動量を算出してもよい。また、画像生成部２０１は、複数の変更量や移動量のそれぞれに適当な重み付けを行って新たな変更量や移動量を決定してもよい。例えば、画像生成部２０１は、Ｎ回目の操作から求めた変更量や移動量ＨＮと、Ｎ＋１回目の操作から求めた変更量や移動量ＨＮ＋１について、３：７の割合で重み付けを行ってアイコン３０Ａ用の変更量や移動量を算出してもよい。具体的には、画像生成部２０１は、ＨＮとＨＮ＋１を用いて（ＨＮ×３＋ＨＮ＋１×７）／１０の計算を行い、その結果に基づいてアイコン３０Ａ用の変更量や移動量を算出する。重み付けは３：７に限られず、また、操作回数も２回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき変更量や移動量を算出し、それぞれ記憶部２０５に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部２０５に記憶して、その記憶された複数の到達位置に基づき、アイコン３０Ａ用の一つの変更量や移動量を算出してもよい。
【０１１８】
また、キャリブレーション処理は、到達位置５０と検出基準４０との間隔が所定値以下である場合、即ち、到達位置５０が検出基準４０の近傍である場合には、画像生成部２０１は空中像３０の表示態様の変更をおこなわなくてもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、画像生成部２０１はアイコン３０Ａの表示態様の変更を行わなくてもよい。複数回のキャリブレーション処理において、到達位置５０を判定した回数と、実際に到達位置５０が検出基準４０に達したことを判定した回数と、から、制御部２０は、アイコンの表示位置への操作が失敗した回数を算出する。所定の回数以上、失敗したと判定された時に、画像生成部２０１は、アイコン３０Ａの表示態様を変更するようにしてもよい。
【０１１９】
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードや上述した各変形例１〜３にも適用できる。
【０１２０】
変形例４では、上述したキャリブレーション処理において、制御部２０は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作する際に通常行う自然な操作動作を検出し、到達位置５０を判定する。即ち制御部２０は、指でアイコンを押し下げてから指を上方向に移動する動作や、指がアイコンに接触するとそれを押し下げて短時間停止させる動作などを検出して到達位置５０を判定している。これにより、ユーザは、キャリブレーション処理において到達位置５０の検出・判定が行われていることに気付かず、従ってユーザはキャリブレーション処理を意識することなく実行することができる。
【０１２１】
（第１の実施の形態の変形例５）
第１の実施の形態においては、操作検出器１３は、ユーザの指の空中像３０の表示位置に対する操作を検出して到達位置５０を判定し、画像生成部２０１は、到達位置５０に基づいて空中像３０の表示態様の変更を行った。しかし、ユーザは、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部２０４が判定し、指定位置に基づいて画像生成部２０１がアイコン３０Ａの表示態様を変更してもよい。以下に、ユーザが空中像３０の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。
【０１２２】
以下に変形例５の表示装置を説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図２２は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部２０４は、図２３（ａ）に示したように、検出基準４０を空中像３００の近傍の初期位置に設定する。
【０１２３】
図２３（ａ）において、ユーザがアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、指先Ｆをアイコン３００Ｂの方に下降移動させる。指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂへのユーザの指Ｆの接近移動、即ち下方への移動を静電容量の変化として検出する。
【０１２４】
ユーザは、指Ｆをさらに下降移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置に達したと感じた時に、図２３（ｂ）に矢印で示したように、指Ｆを横方向に移動させる。操作検出器１３は、この指Ｆの下降移動及び横方向の移動を検出する。検出基準制御部２０４は、指の下降移動を検出していた操作検出器１３が指Ｆの横方向の移動を検出したことを判定して、下降移動から横方向移動へ変化したときの指Ｆの高さ位置を指定位置５０Ａと判定する。画像生成部２０１は、この指定位置５０Ａに基づき、アイコン３００Ｂの表示態様を変更、すなわちアイコン３００Ｂの大きさの変更量や表示位置の移動量を算出する。この変更された変更量や移動量を示すデータは記憶部２０５に記憶され。なお、指定位置５０Ａは、図２３（ｂ）では、空中像３００の上方の位置として例示されているが、指定位置５０Ａは、指先Ｆが空中像３００のアイコン３００Ｂに達したとユーザが感じた時の位置であるから、空中像３００に一致した位置に指定されることもあるし、または、空中像３００よりも下方の位置に指定されることもある。
【０１２５】
なお、検出基準制御部２０４は、以上の説明では指Ｆが下降移動から横方向の移動に変化した時の指の位置、即ち指Ｆの高さを指定位置５０Ａと判定したが、これに限られない。検出基準制御部２０４は、例えば指Ｆが下降移動から横方向の移動に変化し、その横方向移動が終了した時の指Ｆの高さを指定位置５０Ａとして判定してもよい。また、検出基準制御部２０４は、指Ｆの横方向の移動開始から横方向の移動終了までの指Ｆの高さの平均値や中央値などを指定位置５０Ａとしてもよい。このように、操作が検出された位置である指定位置５０Ａが検出基準制御部２０４によって検出される。
【０１２６】
上記説明の変形例５のキャリブレーション処理について、図２４に示すフローチャートを参照して説明する。なお、図２４のフローチャートはステップＳ１２１〜ステップＳ１２９を示し、それ以降のステップは省略した。ステップＳ１２９以降の処理は、図２１に示すフローチャートのステップＳ１０９以降の処理と同様である。
【０１２７】
ステップＳ１２１〜ステップＳ１２４の各処理は、図１０に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１２６において、操作検出器１３は、ユーザの指の横方向移動を検出する。ステップＳ１２７において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指Ｆが下降移動から横方向移動に変化したことを判定して、その変化時の指Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、アイコン３００Ｂの表示態様を変更し、その大きさの変更量や表示位置の移動量を示すデータを記憶部２０５に記憶して、ステップＳ１２８に進む。ステップＳ１２８において、第１のキャリブレーション処理モードを終了して、ステップＳ１２９に進む。ステップＳ１２９では、空中像操作モードを開始する。この空中像操作モードでは、記憶部２０５から読み出された変更量や移動量を示すデータに基づき、画像生成部２０１は、アイコン３００Ｂの表示態様を変更する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図１２に示すフローチャートの処理を行う。ただし、図１２のフローチャートにおいてステップＳ２４においてユーザのアイコン３０Ａに対する操作を検出し、検出基準制御部２０４が、指Ｆが下降移動から横方向移動に変化したことを検出した場合に、ステップＳ２７およびステップＳ３０において到達位置の判定に代えて、指定位置５０Ａを判定する。ステップＳ３０にて指定位置５０Ａが判定された場合には、ステップＳ３０にて検出基準制御部２０４は指定位置５０Ａが検出基準４０と一致するか否かを判定する。
【０１２８】
変形例５では、ユーザは、キャリブレーション処理において指Ｆが空中像３００の表示位置を操作したと感じる位置を、指Ｆを下降移動から横方向移動に変化させることによって指定している。このように、アイコン３００Ｂの表示位置を操作したと知覚する位置が、ユーザによって指定位置として指定されることにより、表示装置１はキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指Ｆの下降移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。
【０１２９】
（第１の実施の形態の変形例６）
変形例５の表示装置１においては、ユーザは、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指の下降移動から横方向への移動に変化させることによって指定した。変形例６の表示装置１は、ユーザが、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。
【０１３０】
表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。この場合、空中像３００は、第１の実施の形態の変形例５の図２２に示すキャリブレーション用アイコン３００Ｂとアイコン３００Ｂの近傍（たとえば図の紙面左側等）に表示される別のアイコンとを含む。キャリブレーション用アイコン３００Ｂには、図２２に示すメッセージに代えて、たとえば「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示される。
【０１３１】
ユーザがアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、右手の指先Ｆをアイコン３００Ｂの方に下降移動させる。ユーザの指先が操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂの表示位置へのユーザの指の接近移動、即ち下方への移動を静電容量の変化として検出する。ユーザは指をさらに下降移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先Ｆでアイコン３００Ｂの近傍に表示された別のアイコンの表示位置への操作をしようとして、左手の指先を別のアイコンの方に移動させる。操作検出器１３は別のアイコンに向けた指先Ｆの移動を検出する。検出基準制御部２０４は、ユーザの指が別のアイコンの上に位置することを操作検出器１３が検出したことをもって、その時点における右手の指先Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、第１の実施の形態の場合と同様にして、アイコン３００Ｂの大きさの変更量や表示位置の移動量を算出して、アイコン３００Ｂの表示態様を変更する。画像生成部２０１は、算出したアイコンの大きさの変更量や表示位置の移動量を示すデータを記憶部２０５に記憶する。
【０１３２】
なお、右側のアイコン３００Ｂの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像３００に接近する下降移動が必要である。しかしながら、左側の別のアイコンの表示位置への操作をする左側の指は、指を別のアイコンの上または下に位置付ければよいので、ユーザは必ずしも左手の指を下降移動させる必要はない。左手の指は、例えば空中像３００の平面に平行な方向、即ち横方向に移動して別のアイコンの上または下の位置まで横方向移動してもよい。
【０１３３】
また、ユーザは必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像３００のアイコン３００Ｂ上と別のアイコン上との両方において上記の動作が検出されるように操作すればよい。例えば、ユーザは一方の手の２本の指を用いてもよい。また、この変形例６では、ユーザが別のアイコンの表示位置への操作をする代わりに、表示装置１に設けた不図示の決定ボタンを押すように構成することもできる。
【０１３４】
さらに、検出基準制御部２０４は、ユーザが別のアイコンの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザがたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置１は、後述する変形例９の撮像装置１８（図２６、２７参照）を備え、この撮像装置１８により取得された画像を用いてユーザのジェスチャー（たとえば手をグーからパーに変える）が行われたことを検出する。
【０１３５】
上記説明のキャリブレーション処理について、第１の実施の形態の変形例５の図２４に示すフローチャートを参照して説明する。以下では、主な変更のみ説明し、同様の処理を行うステップについては、説明を省略する。この場合、図２４のステップＳ１２３において、アイコン３００Ｂと別のアイコンとを表示し、ステップＳ１２４では、操作検出器１３は、ユーザの右手の指先の下方への移動の検出を開始する。ユーザは指をさらに下降移動させて、指先が空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、左手の指先で別のアイコンの表示位置への操作をする。ステップＳ１２７においては、左手が別のアイコンの表示位置への操作をした時点における右手の指先の位置を指定位置５０Ａと、画像生成部２０１は、指定位置５０Ａに基づき、アイコン３００Ｂの表示態様を変更する。このときも、その変更された大きさの変更量や表示位置の移動量を示すデータを記憶部２０５に記憶する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図１２に示すフローチャートの処理を行う。ただし、図１２のフローチャートにおいてステップＳ２４において、検出基準制御部２０４はユーザの右手によるアイコン３０Ａに対する操作を検出する。ユーザの右手によるアイコン３０Ａに対する操作が行われている状態で、検出基準制御部２０４が、左手による別のアイコンの表示位置への操作を検出したとする。この場合に、検出基準制御部２０４は、ステップＳ２７およびステップＳ２９において到達位置の判定に代えて、ユーザの右手の指先の位置を指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。
【０１３６】
変形例６では、ユーザは、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置１の決定ボタンを操作することによって指定している。このようにユーザがアイコン３００Ｂを知覚する位置をユーザに指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。
【０１３７】
（第１の実施の形態の変形例７）
変形例７の表示装置は、ユーザが指先でアイコンの表示位置を操作したと思ったら、ユーザが指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜６にも適用できる。
【０１３８】
この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザがアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器１３は指の下降移動が所定時間停止したことを検出する。検出基準制御部２０４は、このときの操作検出器１３の検出出力に基づき、指の停止位置を指定位置として判定する。
【０１３９】
この指定位置の判定は、次のように行われる。即ち、下方に移動している指先Ｆが停止して上下方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン３００Ａの表示位置への操作が行われたと判定する。このように、指先Ｆが所定の時間以上、所定の停止範囲内に留まることをもって、指先Ｆのアイコン３００Ａの表示位置への操作と判定する理由は、次の通りである。すなわち、ユーザによる操作が空中像３００のアイコン３００Ａの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Ｆがアイコン３００Ａの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器１３の静電容量の検出範囲１３Ａに比べて十分に小さい値、例えば５ｍｍに設定され、また、所定の時間は、例えば２秒程度に設定される。
【０１４０】
変形例７では、ユーザは、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、指先Ｆを停止させることによって指定している。このようにユーザがアイコン３００Ａを知覚する位置をユーザに指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。
【０１４１】
（第１の実施の形態の変形例８）
変形例８の表示装置は、ユーザが、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜７にも適用できる。
【０１４２】
図２５は、本変形例の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。この表示装置１には、集音器１４を含み、制御部２０には音声検出部２０８が備えられる。集音器１４は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０８に出力する。集音器１４としては市販のマイクロフォンを用いることができる。音声検出部２０８は、集音器１４からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。
【０１４３】
図２５において、キャリブレーション部２０３が第１のキャリブレーション処理モードを起動すると、画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。この場合、空中像３００は、第１の実施の形態の変形例５の図２２に示すキャリブレーション用アイコン３００Ｂを含む。このキャリブレーション用アイコン３００Ｂには、図２２に示すメッセージに代えて、たとえば「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示される。
【０１４４】
ユーザは、アイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置への操作をするために、指先をアイコン３００Ｂの方に押し下げる。ユーザは、指先がアイコン３００Ｂにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器１３は、指先の下降移動を検出する。集音器１４は、この声を集音し、音声データとして音声検出部２０８に出力する。音声検出部２０８が、音声データが「ハイ」に対応することを判定すると、検出基準制御部２０４が、その時点における操作検出器１３によって検出される指先の位置を指定位置５０Ａと判定する。画像生成部２０１は、判定された指定位置５０Ａに基づいて、第１の実施の形態の場合と同様にして、アイコン３００Ｂの大きさの変更量や表示位置の移動量を算出して、表示態様を変更する。画像生成部２０１は、算出した変更量や移動量を示すデータを記憶部２０５に記憶する。
【０１４５】
上記説明のキャリブレーション処理について、第１の実施の形態の変形例５の図２４に示すフローチャートを参照して説明する。変更点は、図２４のステップＳ１２６であるので、図２４のステップＳ１２６を重点的に説明し、他のステップの説明は省略する。図２４のステップＳ１２６では、音声検出部２０８は、集音器１４からの出力に基づいて、ユーザが「ハイ」を発声したかどうか判定する。ステップＳ１２６において肯定判定された場合、即ち、ユーザがアイコン３００Ｂをタッチしたと思って「ハイ」という声を出したと判定した場合、検出基準制御部２０４が、音声検出部２０８が音声「ハイ」を判定した時点における指先の位置を指定位置５０Ａと決定、即ち判定する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図１２に示すフローチャートの処理を行う。ただし、図１２のフローチャートにおいてステップＳ２４においてユーザのアイコン３０Ａに対する操作を検出し、音声検出部２０８が音声「ハイ」を判定した場合に、検出基準制御部２０４はステップＳ２７およびステップＳ２９において到達位置の判定に代えて、指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。
【０１４６】
変形例８では、ユーザは、アイコン３００Ｂの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。ユーザが到達位置を発声によって指定することにより、表示装置１は迅速にキャリブレーション処理を行うことができる。
なお、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
【０１４７】
（第１の実施の形態の変形例９）
上記説明において、ユーザの指先の下方への移動を、静電容量パネルにより構成される操作検出器１３によって検出したが、撮像装置によりユーザの指先の位置を検出してもよい。変形例９の表示装置１は、図２６（ａ）に示すように、操作検出器として撮像装置（例えばデジタルカメラ）１８を備え、この撮像装置１８は表示装置１の上面に配置される。このような表示装置１のブロック図を図２６（ｂ）に示す。
【０１４８】
図２６（ｂ）にブロック図を示した表示装置１は、制御部２０には、画像解析部２１０を備えている。撮像装置１８は、表示器１１の上方に位置する物体、即ちユーザの指を撮像し、撮像された撮像画像は、画像解析部２１０に入力される。画像解析部２１０は、撮像装置１８から入力された撮像画像を解析してユーザの指先の位置を求める。即ち、画像解析部２１０は、撮像画像内における指の像の位置から、ユーザの指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部２１０は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザの指先の３次元空間における位置が求められる。このような構成によって、変形例９の表示装置１は、静電容量パネルを用いた操作検出器１３により求めた指先の位置に関する情報と同様の情報を、撮像装置１８による撮像画像の解析により得ることができる。従って、変形例９の表示装置は、上述した第１実施の形態および種々の変形例１〜８で説明した静電容量パネルの代わりに撮像装置１８を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。
【０１４９】
変形例９の表示装置１は、画像解析部２１０が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置１８が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。
【０１５０】
撮像装置１８としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、ＴＯＦ（Time of Flight）装置を搭載したカメラを好適に用いることができる。ＴＯＦカメラは、カメラ本体から赤外線を出射し、対象物に反射してＴＯＦカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、ＴＯＦカメラから対象物までに距離を算出する。従って、測定対象物をユーザの指先として、ＴＯＦカメラからユーザの指先に向けて赤外光を出射し、指先からの反射光を受光することで、ＴＯＦカメラからユーザの指先までの距離を求めることができる。なお、撮像装置１８は、その撮像レンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を搭載し、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
【０１５１】
ＴＯＦカメラを表示装置１に装備した例を図２７に示す。図２７は、表示装置１の内部構成のみを表しており、表示装置の本体は省略している。図２７において、表示器１１と結像光学系１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されている。ＴＯＦカメラ１１８’は赤外線を所定範囲にスキャンすることで、ユーザの指先に赤外線を照射し、その反射光の位相変化により、ＴＯＦカメラ１１８’からユーザの指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、ＴＯＦカメラ１１８’に対するユーザの指先の３次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置１の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、ＴＯＦカメラ１１８’による測距結果から得ることができる。なお、上記の説明として、表示器１１と結像光学系１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されているような構成で説明したが、これに限らず、ＴＯＦカメラ１１８’を表示器１１の外部に設置するような構成であってもよい。
【０１５２】
変形例９の表示装置１においても、図２７に示すように、空中像３０が表示装置１の結像光学系１２の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、結像光学系１２の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定される。ＴＯＦカメラ１１８’は、結像光学系１２の表面から上方にユーザの指先の位置を検出するための検出範囲１３Ａを有する。図２７では、ＴＯＦカメラ１１８’の上方に撮像可能な範囲の限界を破線１３ａで示し、この検出限界１３ａと結像光学系１２の表面との間隔が検出範囲１３Ａとして示される。変形例９においても、上記の第１の実施の形態や変形例１〜８の場合と同様に、空中像３０と検出基準４０とが検出範囲１３Ａ内に位置するように設定される。なお、検出基準４０は、図２７では空中像３０の上方に設定されているが、検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。また、変形例９においても、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲は検出基準外４１である。なお、検出範囲１３Ａは、ＴＯＦカメラ１１８’の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲（たとえば図２７中の左右方向の端部の所定範囲）を除いた範囲として設定されてもよい。
【０１５３】
上記説明では、本変形例９の表示装置１は、操作検出器１３としての静電容量パネルに代えて撮像装置１８を備えるものであった。しかし、表示装置１は、操作検出器１３と撮像装置１８とを共に備えるものであってもよい。この場合には、例えば、図３に示された操作検出器１３の検出範囲１３Ａを上下に二つに分割して下方の検出範囲（表示器１１に近い方の検出範囲）と上方の検出範囲（表示器１１から遠い方の検出範囲）とを形成し、この下方の検出範囲を静電容量パネルの検出範囲とし、上方の検出範囲を撮像装置１８の検出範囲とすることができる。このような構成によって、ユーザが表示位置への操作のために指を降下移動した時には、撮像装置１８がその指の降下移動の前半部分を検出し、静電容量パネルが指の降下移動の後半部分を検出する。一般に、静電容量パネルは、表示器１１の上方の近傍範囲を高精度に検出することができ、逆に、撮像装置１８は、表示器１１の上方の近傍範囲を撮像することが難しい場合があるので、静電容量パネルの検出範囲と撮像装置１８の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲１３Ａの２分割は、検出範囲１３Ａを上下に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器１３は、静電容量パネルや撮像装置１８に限らず、他の近接センサなどを使用することができる。従って、検出範囲１３Ａを分割した場合には、種々の操作検出器１３が分割された検出範囲を分担することを可能である。
【０１５４】
図１９に示した速度・加速度検出部２０６は、図２７のＴＯＦカメラ１１８’の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲１３Ａを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、到達位置予測部２０７が指の到達位置を予測することもできる。
【０１５５】
また、第１の実施の形態とその変形例１〜９において説明した結像光学系１２や１２Ａに代えて、ハーフミラーと、再帰性反射部材とにより構成してもよい。再帰性反射部材は、たとえば複数の直角三角錐体の立体プリズムを配置し、入射した光を再び同一光路に向けて反射する反射材により製造される。このような構成を用いる場合、表示器１１からの光は、ハーフミラーで反射され（またはハーフミラーを透過して）、再帰性反射部材に入射して、同一光路に向けて反射される。再帰性反射部材からの光は、同一光路を進みながら結像する。再帰性反射部材からの光は、再びハーフミラーに入射し、ハーフミラーを透過して（またはハーフミラーで反射され）、表示器１１と共役な位置に結像することにより空中像を形成する。
【０１５６】
なお、上述の第１の実施の形態とその変形例１〜９では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第１の実施の形態、または変形例１〜９に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第１の実施の形態、または変形例１〜９に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
【０１５７】
−第２の実施の形態−
図面を参照しながら、第２の実施の形態に係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
第２の実施の形態の表示装置１は、図１および図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。なお、図２６に示す第１の実施の形態の変形例９の表示装置１のように、撮像装置１８を備えていても良い。また、第２の実施の形態の表示装置１が行う到達位置や指定位置の検出や、空中像３０の表示態様には、第１の実施の形態や第１の実施の形態の各変形例で説明した種々の方法を適用することができる。
【０１５８】
上述した第１の実施の形態とその変形例のようにして、表示装置１がアイコン３００Ａの表示態様を変更したにも関わらず、操作検出器１３がユーザ操作を検出基準４０で検出できない場合が有り得る。アイコン３００Ａは空中像３００として表示されるので、表示態様が変更されたとしても、或るユーザと別のユーザとでは、アイコン３００Ａの表示位置を視覚的に異なって感じることがあるためである。たとえば、アイコン３００Ａがあたかもユーザから離れる方向に移動したように知覚させる表示態様の変更が行われた場合に、表示態様の変更により見込まれていた見かけ上の移動量以上に、ユーザが、アイコン３００Ａが移動した知覚してしまう虞がある。このような場合には、ユーザは、表示態様の変更により見込まれていたユーザ操作の変化量よりも大きな変化量でアイコン３００Ａに対する操作を行い、ユーザの指先Ｆが検出基準４０よりも下方（Ｚ方向−側）に位置してしまう可能性がある。また別の例として、アイコン３００Ａの表示態様が変更されたとしても、ユーザはアイコン３００Ａが移動したとは知覚しない虞がある。このような場合には、ユーザはアイコン３００Ａの表示態様の変更前と同様にしてアイコン３００Ａに操作することが考えられるので、ユーザの指先Ｆが検出基準４０に到達しない、または検出基準４０を通過してしまう状況が続くことになってしまう。
【０１５９】
第２の実施の形態の表示装置１は、上記のような場合に、さらにアイコン３００Ａの表示態様を変更して、ユーザ操作を検出基準４０で検出できるようにする。以下、アイコン３００Ａの表示態様の変更後に、ユーザ操作が過度に変化した場合と、アイコン３００Ａの表示態様の変更後であっても、ユーザ操作が変化しない場合と、に分けて説明を行う。
以下、第１のキャリブレーション処理モードを参考にして本実施の形態のキャリブレーション処理を説明する。
【０１６０】
＜アイコン３０Ａの表示態様の変更後に、ユーザ操作が過度に変化した場合＞
図２８（ａ）に、本実施の形態の表示装置１により表示された空中像３００の一例を模式的に示す。図２８（ａ）に示す空中像３００は、第１の実施の形態にて図４（ａ）に示した空中像３００と同様に初期表示された状態である。このように初期表示された空中像３００のアイコン３００Ａ（３００Ａ０）に対してユーザが操作を行ったものの、図７（ｂ）に示すように、到達位置５０が検出基準４０よりも上方に位置したとする。
【０１６１】
この場合、キャリブレーション処理として、画像生成部２０１は、アイコン３００Ａがあたかもユーザから離れる方向（Ｚ方向−側）に移動したようにユーザに知覚されるように、アイコン３００Ａの表示態様を変更する。アイコン３００Ａの表示態様の変更の一例として、画像生成部２０１がアイコン３００Ａの表示位置を変更するものとする。この場合、画像生成部２０１は、図２８（ｂ）に示すように、アイコン３００Ａの表示位置を消失点へ近づく方向に移動させる。なお、この場合のアイコン３００Ａの表示位置の移動量は、第１の実施の形態の場合と同様にして、検出基準４０と到達位置５０との間の距離に基づいて決定される。以上の処理を第１回目処理と呼び、第１回目処理で変更されたアイコン３００Ａ１の表示態様を第１の表示態様と呼ぶ。
【０１６２】
第１の表示態様に変更されたアイコン３００Ａ１に対してユーザは、第１回目処理の時よりも指先ＦがＺ方向−側に位置するように押下げ操作を行う。このとき、ユーザが第１の表示態様で表示されたアイコン３００Ａ１を極端に奥行方向（Ｚ方向−側）に移動したものと知覚してしまった場合、ユーザの指先Ｆ、すなわち到達位置５０は、図７（ｄ）に示すように、検出基準４０よりも下方に位置することになる。
【０１６３】
この場合、画像生成部２０１は、アイコン３００Ａがあたかもユーザに接近する方向（Ｚ方向＋側）に移動したようにユーザに知覚されるように、アイコン３００Ａ１の表示態様を変更する。画像生成部２０１は、図２８（ｃ）に示すように、アイコン３００Ａの表示位置を消失点から離れる方向へ移動させる。画像生成部２０１は、アイコン３００Ａの移動量は、第１回目処理の際のアイコン３００Ａ１の移動量よりも小さい値、たとえば７５％等に設定するとよい。これは、第１回目処理の前の状態、すなわち図２８（ａ）のようにアイコン３００Ａが表示されると、ユーザの操作も図７（ｂ）に示す状態に戻ってしまう可能性があるからである。以上の処理を第２回目処理と呼び、第２回目処理で変更されたアイコン３００Ａ２の表示態様を第２の表示態様と呼ぶ。
なお、画像生成部２０１は、アイコン３００Ａ２の移動量を、第１回目処理の際のアイコン３００Ａ１の移動量よりも小さい値にしたが、必ずしも第１回目処理よりも小さい値にする必要がない。例えば、画像生成部２０１は、第１回目処理の場合の移動量と同じ移動量にして、図２８（ａ）の場合と同様の表示位置にアイコン３００Ａ２を表示させてもよい。また、画像生成部２０１は、アイコン３００Ａ２の移動量を第１回目処理の場合の移動量よりも大きくして、図２８（ａ）に示す表示位置よりもＹ方向＋側にアイコン３００Ａ２を表示させてもよい。このように、画像生成部２０１に処理される理由として、本実施の形態の処理では、表示態様の変更によって、アイコン３００ＡのＺ方向に対する位置が変化するようにユーザに知覚させている。そのため、アイコン３００ＡのＺ方向に対する位置は、アイコン３００Ａの表示位置を離れる方向へ移動させた場合に知覚する奥行き位置と、アイコン３００Ａの表示位置を近づける方向へ移動させた場合に知覚する奥行き位置とで異なる位置に知覚する場合がある（あるいは、異なる位置に知覚するユーザがいる）。そのため、第２回目処理の移動量を第１回目処理の移動量と同じ、または大きくした方が好ましい場合がありえる。
【０１６４】
第２回目処理にてアイコン３００Ａ２が第２の表示態様に変更されるとこにより、ユーザはあたかもアイコン３００Ａが自身に接近する方向に移動したように知覚することになる。これにより、ユーザは、第２回目処理の際に、アイコン３００Ａに対して過度に押下する操作を行ったことを認識し、以後、Ｚ方向−側へ過度な押下する操作を行わなくなることが期待できる。
【０１６５】
以上の説明では、図２８（ａ）に示すアイコン３００Ａに対するユーザの押下する操作が検出基準４０の上方で行われた場合を例に挙げたが、ユーザの押下する操作が検出基準４０の下方で行われた場合は、画像生成部２０１は、逆の処理を行えばよい。すなわち、第１回目処理の際には、画像生成部２０１は、アイコン３００Ａ１があたかもユーザ側（Ｚ方向＋側）に移動したと知覚するように表示態様を変更する。この場合、画像生成部２０１は、アイコン３００Ａ１の表示位置を消失点から遠ざかる方向へ移動させることにより第１の表示態様に変更して、第１回目処理を行う。
【０１６６】
第１の表示態様に変更されたアイコン３００Ａ１に対してユーザは、第１回目処理の時よりも指先ＦがＺ方向＋側に位置するように押下げ操作を行う。このとき、ユーザが第１の表示態様で表示されたアイコン３００Ａ１を極端にユーザ側（Ｚ方向−側）に移動したものと知覚してしまった場合、ユーザの指先Ｆ、すなわち到達位置５０は、図７（ａ）に示すように、検出基準４０よりも上方に位置することになる。この場合、画像生成部２０１は、アイコン３００Ａ１があたかもユーザから離れる方向（Ｚ方向−側）に移動したようにユーザに知覚されるように、アイコン３０Ａ１の表示態様を変更する。画像生成部２０１は、アイコン３００Ａ１の表示位置を消失点へ向けて移動させて第２の表示態様に変更して、第２回目処理を行う。第２回目処理にてアイコン３００Ａ２が第２の表示態様に変更されるとこにより、ユーザはあたかもアイコン３００Ａ２が自身から離れる方向に移動したように知覚することになる。これにより、ユーザは、第２回目処理の際に行った押下する操作が、アイコン３００Ａ（検出基準４０）に到達していなかったと認識し、以後、ユーザがＺ方向−側への押下げ操作の操作量を調整することが期待できる。
【０１６７】
以上の説明では、アイコン３００Ａの表示態様の変更として表示位置を変更する場合を例に挙げたが、この例に限定されない。アイコン３００Ａの表示態様の変更として、大きさを変更してもよいし、第１の実施の形態の変形例１で例示した種々の変更を行ってもよいし、これらを組み合わせてもよい。たとえば、アイコン３００Ａの大きさを変更する場合、第１回目処理としてアイコン３００Ａ１の表示位置があたかもユーザから離れる方向に移動したと知覚させるためには、画像生成部２０１は、アイコン３００Ａ１の大きさを縮小して第１の表示態様に変更する。そして、第２回目処理の際には、画像生成部２０１は、アイコン３００Ａ２の大きさを拡大して第２の表示態様に変更する。また、第１回目処理としてアイコン３００Ａ１の表示位置があたかもユーザに接近する方向に移動したと知覚させるためには、画像生成部２０１は、アイコン３００Ａ１の大きさを拡大して第１の表示態様に変更する。そして、第２回目処理の際には、アイコン３００Ａ２の大きさを縮小して第２の表示態様に変更する。
【０１６８】
なお、画像生成部２０１は、第２回目処理の際に、第１の表示態様のアイコン３００Ａ１を初期表示になるように表示態様の変更を行った後、アイコン３００Ａを第２の表示態様に変更してもよい。すなわち、第１回目処理の後、画像生成部２０１は、図２８（ｂ）に示すように表示された空中像３００を、図２８（ａ）に示す空中像３００に変更する。そして、画像生成部２０１は、図２８（ｃ）に示す空中像３００に変更して第２回目処理とする。
また、上記の処理は、初期表示になるような表示態様の変更に限らない。他の例として、画像生成部２０１は、たとえばアイコン３００Ａ１からアイコン３００Ａ０までの全移動量のうちの、たとえば７５％の移動量となる位置を表示位置としてアイコン３００Ａの表示態様を変更した後、第２の表示態様に変更してもよい。また、画像生成部２０１は、たとえばアイコン３００Ａ１からアイコン３００Ａ０までの全移動量の、たとえば１２５％の移動量となる位置を表示位置としてアイコン３００Ａの表示態様を変更した後、第２の表示態様に変更してもよい。これにより、ユーザに、第１回目処理の後の操作を極端に行い過ぎたことを認識させ、第２回目処理以後の空中像操作モードにおいて、ユーザに検出基準４０の位置で操作を行わせることができる。
【０１６９】
また、画像生成部２０１は、第１の表示態様のアイコン３００Ａ１を表示させた状態にて、第２の表示態様のアイコン３００Ａ２を表示させてもよい。たとえば、画像生成部２０１は、第１の表示態様として寒色系の青色等の付し、第２の表示態様として高い輝度にする表示態様の変更を行うものとする。この場合、画像生成部２０１は、青色が付されたアイコン３００Ａ１の輝度を上げることにより、青色で高い輝度の第２の表示態様に変更されたアイコン３００Ａ２を表示させる。この場合も、ユーザに、第１回目処理の後の操作を極端に行い過ぎたことを認識させ、第２回目処理以後の空中像操作モードにおいて、ユーザに検出基準４０の位置で操作を行わせることができる。
【０１７０】
＜アイコン３００Ａの表示態様の変更後であっても、ユーザ操作が変化しない場合＞
以下の説明においても、図２９（ａ）に示す初期表示された空中像３００のアイコン３００Ａ（３００Ａ０）に対してユーザが操作を行った場合を例に挙げる。なお、図２９（ａ）に示す空中像３００は、図２８（ａ）に示す空中像３００と同様である。この空中像３００に対して、図７（ｂ）に示すように、到達位置５０が検出基準４０よりも上方に位置したとする。
【０１７１】
この場合、上述したユーザ操作が過度に変化した場合のときと同様にして、画像生成部２０１は、第１回目処理を行う。画像生成部２０１は、アイコン３０Ａがあたかもユーザから離れる方向（Ｚ方向−側）に移動したようにユーザに知覚されるように、アイコン３００Ａの表示態様を変更する。すなわち、画像生成部２０１は、図２９（ｂ）に示すように、アイコン３００Ａ１の表示位置を消失点へ向けて移動させて第１の表示態様に変更する。なお、この場合のアイコン３００Ａ１の表示位置の移動量は、第１の実施の形態の場合と同様にして、検出基準４０と到達位置５０との間の距離に基づいて決定される。また、図２９（ｂ）に示す空中像３０は、図２８（ｂ）に示す空中像３００と同様である。
【０１７２】
ユーザが第１の表示態様で表示されたアイコン３００Ａ１に対して奥行方向（Ｚ方向−側）に移動したものとは知覚しなかった場合、第１の表示態様に変更されたアイコン３００Ａ１に対するユーザによる押下げる操作は、第１回目処理の時と比べて変化しない。すなわち、ユーザの指先Ｆ、図７（ｂ）に示すように、検出基準４０よりも上方に位置することになる。
【０１７３】
画像生成部２０１は、この状態からユーザの押下げる操作を検出基準４０に近づける、すなわち到達位置５０が検出基準４０に到達するようにするため、アイコン３００Ａ１の表示態様を第２の表示態様に変更して第２回目処理を行う。ユーザは、アイコン３００Ａの表示位置を変更してもアイコン３００Ａが移動したものとは知覚していなかったので、画像生成部２０１は、第２回目処理の際には、アイコン３００Ａ２の大きさを変更して第２の表示態様に変更する。この場合、画像生成部２０１は、第２回目処理としてアイコン３００Ａ２の表示位置があたかもユーザから離れる方向に移動したと知覚させるために、図２９（ｃ）に示すように、アイコン３００Ａ２の大きさを縮小する。すなわち、画像生成部２０１は、アイコン３００Ａを、ユーザに対して効果が低かった第１の表示態様（アイコンの表示位置）とは異なる第２の表示態様（アイコンの大きさ）に変更する。これにより、ユーザは、第２回目処理の際に行った押下する操作が、アイコン３００Ａ（検出基準４０）に到達していなかったと認識し、以後、ユーザがＺ方向−側への押下げ操作の操作量を調整することが期待できる。
【０１７４】
以上の説明では、図２９（ａ）に示すアイコン３００Ａに対するユーザの押下げる操作が検出基準４０の上方で行われた場合を例に挙げたが、ユーザの押下げる操作が検出基準４０の下方で行われた場合は、画像生成部２０１は、逆の処理を行えばよい。すなわち、第１回目処理の際には、画像生成部２０１は、アイコン３００Ａ１があたかもユーザ側（Ｚ方向＋側）に移動したと知覚するように表示態様を変更する。この場合、画像生成部２０１は、アイコン３００Ａ１の表示位置を消失点から離れる方向に移動させることにより第１の表示態様に変更して、第１回目処理を行う。第１回目処理の後もユーザの指先Ｆが検出基準４０の下方に位置する場合には、画像生成部２０１は、第２回目処理として、アイコン３００Ａ２の大きさを拡大して第２の表示態様に変更する。
【０１７５】
なお、以上の説明では、画像生成部２０１は、第１の表示態様への変更としてアイコン３００Ａ１の表示位置を変更し、第２の表示態様への変更としてアイコン３００Ａ２の大きさを変更したが、これに限定されない。画像生成部２０１は、第１の表示態様への変更としてアイコン３００Ａ１の大きさを変更し、第２の表示態様への変更としてアイコン３００Ａ２の表示位置を変更してもよい。また、画像生成部２０１は、第１の表示態様への変更として、第１の実施の形態の変形例１で例示した種々の変更のうちの１つを行い、第２の表示態様への変更として、他の１つの変更を行っても良い。
【０１７６】
なお、この場合も、画像生成部２０１は、第１の表示態様のアイコン３００Ａ１を表示させた状態にて、第２の表示態様のアイコン３００Ａ２を表示させてもよい。たとえば、画像生成部２０１は、第１の表示態様として寒色系の青色等の付し、第２の表示態様として低い輝度にする表示態様の変更を行うものとする。この場合、画像生成部２０１は、青色が付されたアイコン３００Ａ１の輝度を下げることにより、青色で低い輝度の第２の表示態様に変更されたアイコン３００Ａ２を表示させる。これにより、ユーザに、第１回目処理の後の操作が第１回目処理のときの操作と大きな変化がなかったことを認識させ、第２回目処理以後の空中像操作モードにおいて、ユーザに検出基準４０の位置で操作を行わせることができる。
【０１７７】
また、画像生成部２０１は、第２回目処理の際に、第１の表示態様のアイコン３００Ａ１を初期表示になるように表示態様の変更を行った後、アイコン３００Ａ１を第２の表示態様に変更してもよい。すなわち、第１回目処理の後、画像生成部２０１は、図２９（ｂ）に示すように表示された空中像３００を、図２９（ａ）に示す空中像３００に変更する。そして、画像生成部２０１は、図２９（ｃ）に示す空中像３００に変更して第２回目処理とする。この場合、画像生成部２０１は、第１の表示態様のアイコン３００Ａ１を一旦、初期表示になるように表示態様の変更を行うものに限定されない。画像生成部２０１は、たとえばアイコン３００Ａ１からアイコン３００Ａ０までの全移動量のうちの、たとえば７５％の移動量となる位置を表示位置としてアイコン３００Ａの表示態様を変更した後、第２の表示態様に変更してもよい。また、画像生成部２０１は、たとえばアイコン３００Ａ１からアイコン３００Ａ０までの全移動量の、たとえば１２５％の移動量となる位置を表示位置としてアイコン３００Ａの表示態様を変更した後、第２の表示態様に変更してもよい。
また、画像生成部２０１は、第２回目処理にて、第２の表示態様でアイコン３００Ａ２を表示した後、第１の表示態様のアイコン３００Ａ１から初期表示のアイコン３００Ａ０に表示態様を変更し、さらに第２の表示態様に変更してもよい。この場合、画像生成部２０１は、図２９（ｂ）のアイコン３００Ａ１を表示した状態で図２９（ｃ）のアイコン３００Ａ２を表示し、表示されているアイコン３００Ａ１の表示態様を、アイコン３００Ａ２と一致するように変更する。
これにより、ユーザに、第１回目処理の後の操作が第１回目処理のときの操作と大きな変化がなかったことを認識させ、第２回目処理以後の空中像操作モードにおいて、ユーザに検出基準４０の位置で操作を行わせることができる。
【０１７８】
第２の実施の形態の表示装置１による第１のキャリブレーション処理モードを図３０〜図３２のフローチャートを参照して説明する。図３０のフローチャートにおいて、ステップＳ８０１からステップＳ８０４までの処理は、図１０のフローチャートのステップＳ１〜ステップＳ４までの処理と同一であるので、説明を省略する。また、ステップＳ８０５およびステップＳ８０６の処理は、図１２のステップＳ２５およびステップＳ２７の処理と同一であるので、説明を省略する。
【０１７９】
ステップＳ８０７では、第１回目処理として、アイコン３００Ａの表示位置を変更して第１の表示態様として、図３１のステップＳ８０８へ進む。図３１のステップＳ８０８〜ステップＳ８１０は、図３０のステップＳ８０４〜ステップＳ８０６と同様である。ステップＳ８１１では、第２回目処理として、アイコン３００Ａの大きさを変更して第２の表示態様として、ステップＳ８１５へ進む。
【０１８０】
ステップＳ８０９が否定判定されると、ステップＳ８１２では、ステップＳ８１０と同様の処理を行う。ステップＳ８１３では、図１２のフローチャートのステップＳ３０と同様の処理を行う。ステップＳ８１３が肯定判定されるとステップＳ８１５へ進み、ステップＳ８１３が否定判定されるとステップＳ８１６へ進む。ステップＳ８１６では、アイコン３００Ａの表示位置を変更して第２の表示態様としてステップＳ８１５へ進む。ステップＳ８１５〜ステップＳ８１６は図１０のステップＳ７〜ステップＳ８と同様である。以後の処理は図６に示すステップＳ１０以降の処理と同様であるので、図３１においては図示を省略している。
【０１８１】
図３０のステップＳ８０５が否定判定されるとステップＳ８１７へ進み、ステップＳ８０６と同様の処理を行う。ステップＳ８１８では、アイコン３００Ａの表示位置を変更して第１の表示態様として、図３２のステップ８１９へ進む。図３２に示すフローチャートにおいて、ステップ８２２およびステップＳ８２５以外は、図３１に示すフローチャートと同様であるので、説明を省略する。ステップＳ８２２では、アイコン３００Ａの表示位置を変更して第２の表示態様とする。ステップＳ８２５では、アイコン３００Ａの大きさを変更して第２の表示態様とする。なお、ステップＳ８２７より後の処理は図６に示すステップＳ１０以降の処理と同様であるので、図３２においても図示を省略している。また、ステップＳ８２６において、ユーザが第１のキャリブレーション処理モードを終了させる操作を行ったか否かを判定してもよい。この場合、ユーザが第１のキャリブレーション処理モードを終了させる操作を行った場合は、ステップＳ８２７に進む。ユーザが第１のキャリブレーション処理モードを終了させる処理を行わない場合は、図３０のステップＳ８０４に戻って指の下降を検出してよい。
【０１８２】
なお、以上の説明では、第１のキャリブレーション処理モードを参考にしたが、第２のキャリブレーション処理モードに適用することができる。この場合、第１の実施の形態にて説明した図１２に示すフローチャートにおけるステップＳ２４〜ステップＳ３２までの処理に代えて、図３０のステップＳ８０４〜図３１のステップＳ８１４および図３２のステップＳ８２６までの処理を行えば良い。ただし、図３１のステップＳ８０９が肯定判定された場合には、図１２に示すステップＳ２６のアイコン３０Ａの表示の切り替え処理を行って図３１のステップＳ８１０へ進む。また、図３１のステップＳ８１３が肯定判定された場合にも、同様にして、図１２に示すステップＳ３１のアイコン３０Ａの表示の切り替え処理を行う。図３２に示す場合についても同様に、ステップＳ８２０が肯定判定された場合には、図１２のステップＳ２６のアイコン３０Ａの表示の切り替えが行われた図３２のステップＳ８２１へ進む。図３２のステップＳ８２４が肯定判定された場合には、図１２のステップＳ３１に示すアイコン３０Ａの表示の切り替え処理を行う。
第２の実施の形態では、画像生成部２０１は、アイコン３０Ａ、３００Ａの表示態様を変更した後（第１回目処理の後）、操作検出器１３によりユーザの操作が検出されない場合、第１回目処理のときにアイコン３０Ａ、３００Ａの表示を変更した際にユーザが移動したと知覚する方向とは反対の方向に移動したと知覚されるように表示を変更する。これにより、ユーザはアイコン３０Ａ、３００Ａが過度に移動したように知覚していたことを認識し、以後の押下する操作の操作位置を調節することが期待できるので、到達位置や指定位置が検出基準４０で検出されるようになる。
【０１８３】
また、第２の実施の形態では、画像生成部２０１は、アイコン３０Ａ、３００Ａの大きさを大きくして第１の表示態様に変更した後、アイコン３０Ａ、３００Ａの大きさを小さくして第２の表示態様に変更する。これにより、ユーザに、第１回目処理の際のアイコン３０Ａ、３００Ａの移動を過度に移動したものとして知覚していたことを認識させることができる。
【０１８４】
また、第２の実施の形態では、画像生成部２０１は、アイコン３０Ａ、３００Ａの表示位置を移動して第１の表示態様に変更した後、アイコン３０Ａ、３００Ａの表示態様を、第１の表示態様に変更する際に移動したと知覚される方向とは反対の方向に移動したと知覚されるように表示位置を移動させて第２の表示態様に変更する。これにより、ユーザに、第１回目処理の際のアイコン３０Ａ、３００Ａの移動を過度に移動したものとして知覚していたことを認識させることができる。
【０１８５】
また、第２の実施の形態では、画像生成部２０１は、第１回目処理にて第１の表示態様に変更されたアイコン３００Ａ１に対するユーザの操作が、検出基準４０で検出されない場合には、画像生成部２０１は、アイコン３００Ａ１を第１の表示態様とは異なる第２の表示態様に変更する。これにより、ユーザはアイコン３００Ａが移動していないように知覚していたことを認識し、以後の押下する操作の操作位置を調節することが期待できるので、到達位置や指定位置が検出基準４０で検出されるようになる。
【０１８６】
なお、上述の第２の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第２の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第２の実施の形態に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第２の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
【０１８７】
−第３の実施の形態−
図面を参照しながら、第３の実施の形態に係る表示装置１について説明する。第３の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
本実施の形態の表示装置１は、図２６に示す第１の実施の形態の変形例９の表示装置１と同様の構成を適用することができる。なお、第３の実施の形態の表示装置１が行う到達位置や指定位置の検出や、空中像３０の表示態様には、第１の実施の形態や第１の実施の形態の各変形例や第２の実施の形態で説明した種々の方法を適用することができる。
【０１８８】
第３の実施の形態の表示装置１は、キャリブレーション処理の際に、ユーザの状態に基づいて、画像生成部２０１がアイコン３０Ａ、３００Ａの表示態様の変更を行う。第３の実施の形態の表示装置１は、ユーザの状態として、ユーザが空中像３０を視認しているか否かを一例とし、ユーザが空中像３０を視認していないときに、画像生成部２０１がアイコン３０Ａ、３００Ａの表示態様を変更する。
以下、第２のキャリブレーション処理モードを参考にして本実施の形態のキャリブレーション処理を説明する。
【０１８９】
撮像装置１８は、空中像３０のアイコン３０Ａを操作しているユーザを撮影する。画像解析部２１０は、撮像装置１８により撮影されて取得された撮影画像を解析して、この解析結果に基づき、ユーザの顔の向き、またはユーザの身体の向きを判定して、ユーザが空中像３０を視認しているか否かを判定する。画像解析部２１０によりユーザが空中像３０を視認していないと判定されると、画像生成部２０１は、アイコン３０Ａの表示態様の変更を行う。なお、本実施の形態においても、第１の実施の形態とその変形例や第２の実施の形態の場合と同様にして、検出基準制御部２０４が到達位置または指定位置と検出基準４０との間の距離を算出し、算出された距離に基づいて画像生成部２０１がアイコン３０Ａの表示態様を変更する。ユーザにより視認可能なアイコン３０Ａの表示態様がキャリブレーション処理にて変更されると、ユーザに違和感が生じる場合がある。そこで、本実施の形態の表示装置１は、ユーザが空中像３０から目をそらしたときに画像生成部２０１がアイコン３０Ａの表示態様の変更を行うことにより、表示態様の変更がユーザに視認されず、ユーザの違和感を低減する。
【０１９０】
表示装置１は、撮像装置１８の代わりに、または撮像装置１８に加えて、ユーザの視線を検出する視線検出器を備え、この視線検出器の検出出力に基づいて、ユーザが空中像３０を視認しているか否かを判定してもよい。この判定結果に基づいて、ユーザが空中像３０を視認していないときに、画像生成部２０１は、アイコン３０Ａの表示態様を変更する。
【０１９１】
図３３に示すフローチャートを参照して、第３の実施の形態の表示装置１によるキャリブレーション処理について説明する。図３３のフローチャートにおいて、ステップＳ８５８とステップＳ８６３以外は、図１２のフローチャートと同一であるので、説明を省略する。ステップＳ８５７で到達位置が判定されると、ステップＳ８５８においてユーザが空中像３０を視認しているか否かを判定する。撮像装置１８により生成された撮像データに基づいて、ユーザの顔の向きや身体の向きからユーザが空中像３０を視認していないと判定された場合には、ステップＳ８５８が否定判定されてステップＳ８５９へ進む。ユーザが空中像３０をしていると判定された場合には、ステップＳ８５８が肯定判定され、ステップＳ８５８で待機する。また、ステップＳ８６２が否定判定されると、ステップＳ８６３にて、ステップＳ８５８と同様の処理が行われる。
【０１９２】
なお、以上の説明では、第２のキャリブレーション処理モードを例として説明したが、第１のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態において図１０のフローチャートに示すステップＳ５が肯定判定された後、図３３のフローチャートにおけるステップＳ８５８の処理を行えば良い。
また、上述した撮像装置１８や視線検出器は、表示装置１に設けられていなくてもよい。撮像装置１８は、表示装置１の外部に設置され、撮像データを無線通信またはケーブルを介して表示装置１に送信してもよい。また、視線検出器は、表示装置１の外部に設置され、視線検出結果を無線通信またはケーブルを介して表示装置１に送信してもよい。
【０１９３】
なお、第３の実施の形態の説明では、ユーザが空中像３０を視認していないと判定された場合に、画像生成部２０１がアイコン３０Ａの表示態様を変更する場合を例に挙げた。しかし、これとは反対に、ユーザが空中像３０を視認していると判定された場合に、画像生成部２０１がアイコン３０Ａの表示態様を変更してもよい。この場合には、ユーザが確実に空中像３０を視認しているので、ユーザは画像生成部２０１によるアイコン３０Ａの表示態様の変更の程度を知覚できる。これにより、ユーザに対して、操作する位置の変更を促すことができる。
【０１９４】
また、表示装置１は、ユーザが空中像３０を視認していない場合に、アイコン３０Ａの表示態様の変更をさせるような制御を行ったが、ユーザの生体情報を取得し、生体情報の値に基づいてアイコン３０Ａの表示態様を変更させるような制御を行ってもよい。例えば、ユーザの状態として、ユーザの生体情報の一つであるユーザの脈拍数を用いることができる。ユーザの脈拍を取得する方法として、例えば、表示装置１を利用する前にユーザの脈拍数を取得するための装置をユーザに取り付けさせる。そして、画像生成部２０１は、ユーザの脈拍数が大きくなった場合、アイコン３０Ａの表示態様の変更をさせるような制御を行ってもよい。ユーザの脈拍数が大きくなった場合、ユーザは操作がうまくいかずイライラしている場合がある。このような場合に、表示装置１がアイコン３０Ａの表示態様を変更することにより、ユーザに表示装置１を快適に利用させることができる。
【０１９５】
なお、以上のように、ユーザが空中像３０を視認しなくなったことを検出してアイコン３０Ａの表示態様を変更するようにすると、ユーザは、空中像３０を視認しなくなるまでに、空中像３０の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが空中像３０を視認しなくなった時に、画像生成部２０１は、複数回繰り返された操作の結果に基づいて、アイコン３０Ａの表示態様を変更する。例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置５０の中央値（メジアン）に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、画像生成部２０１はアイコン３０Ａの表示態様を変更する。
【０１９６】
第３の実施の形態では、画像生成部２０１は、ユーザの状態に基づいて、アイコン３０Ａの表示態様を変更する。これにより、ユーザに対して、アイコン３０Ａの表示態様の変更による違和感を軽減することができる。
【０１９７】
また、第３の実施の形態では、画像生成部２０１は、ユーザが空中像３０を視認していないとき、アイコン３０Ａの表示態様を変更する。これにより、ユーザに対して、アイコン３０Ａの表示態様の変更による違和感を軽減することができる。
【０１９８】
また、第３の実施の形態では、検出されたユーザの視線に関する情報、ユーザの顔の向きに関する情報およびユーザの体の向きに関する情報の少なくとも一つに基づいて、ユーザが空中像３０を視認しているか否かを判定する。これにより、ユーザが空中像３０を視認していないときに、アイコン３０Ａの表示態様を変更できる。
【０１９９】
（第３の実施の形態の変形例１）
第３の実施の形態の変形例１の表示装置１を以下に説明する。変形例１の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。なお、第３の実施の形態の表示装置１が行う到達位置や指定位置の検出や、空中像３０の表示態様には、第１の実施の形態の各変形例や第２の実施の形態で説明した種々の方法を適用することができる。
本変形例１の表示装置１は、キャリブレーション処理の際にユーザの操作によって空中像３０の表示態様の変更を開始する。この場合、ユーザの操作が終了した後、画像生成部２０１は、空中像３０の表示態様の変更を開始させる。以下、第２のキャリブレーション処理モードを参考にして説明を行う。
【０２００】
ユーザによる操作が終了したか否かの判定は、空中像の表示位置を変更するか否かを決定するものである。従って、制御部２０は、ユーザによる操作の終了は、到達位置または指定位置を判定したことをもってユーザの操作終了と判断する。この場合、第３の実施の形態にて図３３に示すフローチャートにおけるステップＳ８５７およびステップＳ８６０の処理の際に、到達位置や指定位置を判定することによりユーザの操作終了を判定する。また、図３３に示すフローチャートのステップＳ８５８およびステップＳ８６３の処理は行わない。
【０２０１】
なお、到達位置または指定位置の判定後に、表示位置を変更するための特定のジェスチャー（ユーザの手の形状がパーからグーになるようなジェスチャー）の検出をもってユーザによる操作終了と判断してもよい。または、到達位置または指定位置の判定後に、表示位置を変更するためのボタンが空中像に表示され、そのボタンがユーザによって押下されたことが検出されたことをもってユーザによる操作が終了したと判断してもよい。この場合、図３３に示すフローチャートにおけるステップＳ８５８およびステップＳ８６３の処理に代えて、ユーザの操作終了の判定を行えば良い。
なお、キャリブレーション処理の説明として第２のキャリブレーション処理モードを例として説明したが、第１のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態において図１０のフローチャートに示すステップＳ５が肯定判定された後、ユーザの操作終了の判定を行い、ユーザの操作終了が判定された場合に、ステップＳ６に進めばよい。
【０２０２】
第３の実施の形態の変形例１では、画像生成部２０１は、ユーザの操作が終了した後、空中像３０の表示態様の変更を行う。これにより、ユーザに対して、空中像３０の表示態様の変更による違和感を軽減することができる。
【０２０３】
（第３の実施の形態の変形例２）
第３の実施の形態の変形例２の表示装置１を以下に説明する。変形例２の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。なお、第３の実施の形態の表示装置１が行う到達位置や指定位置の検出や、空中像３０の表示態様には、第１の実施の形態の各変形例や第２の実施の形態で説明した種々の方法を適用することができる。
以下、第２のキャリブレーション処理モードを参考にして説明を行う。
【０２０４】
変形例２の表示装置は、画像生成部２０１がアイコン３０Ａの表示態様の変更をする際に、アイコン３０Ａの表示態様の変更開始から変更終了の間にアイコン３０Ａの表示をフェードアウトしそれからフェードインする。即ち、画像生成部２０１は、アイコン３０Ａの表示態様の変更開始に伴いアイコン３０Ａの表示輝度を徐々に小さくし、その後、アイコン３０Ａの表示態様の変更終了に向けて表示輝度を徐々に大きくする。キャリブレーション処理の際に、ユーザが視認可能なアイコン３０Ａの表示態様が画像生成部２０１により変更されると、ユーザに違和感が生じる場合がある。そこで、アイコン３０Ａの表示態様の変更開始に伴い、画像生成部２０１は、アイコン３０Ａの表示輝度を徐々に小さくする。これにより、アイコン３０Ａの表示態様の変更がユーザに視認されづらくなり、ユーザの違和感を軽減できる。
【０２０５】
また、画像生成部２０１は、アイコン３０Ａの表示態様の変更中に、アイコン３０Ａの表示輝度やコントラストを下げたり、輝度やコントラストを下げた状態でアイコン３０Ａの表示を点滅させたり、更にはアイコン３０Ａの表示を消したりすることができる。このように、画像生成部２０１によるアイコン３０Ａの表示態様の変更を目立たなくする、即ち視認し難くすることで、ユーザの違和感を軽減できる。
【０２０６】
また、逆に、画像生成部２０１は、アイコン３０Ａの表示態様の変更に伴ってアイコン３０Ａ自体を目立たせるような表示を行っても良い。アイコン３０Ａを目立たせるような表示とは、アイコン３０Ａの表示態様の変更中、画像生成部２０１がアイコン３０Ａの表示輝度やコントラストを上げたり、アイコン３０Ａの表示を点滅させたりすること等である。画像生成部２０１は、アイコン３０Ａの表示態様の変更中にアイコン３０Ａ自体を目立たせるように表示させることによって、アイコン３０Ａの変更中の表示態様を目立たせ、ユーザはアイコン３０Ａの表示態様の変更よりもアイコン３０Ａ自体を注目するようになる。そのためユーザは、アイコン３０Ａの表示態様の変更が気にならなくなり、ユーザに対して、アイコン３０Ａの表示態様の変更による違和感を軽減することができる。
【０２０７】
上記のようにアイコン３０Ａの表示態様の変更時におけるアイコン３０Ａの表示の変更は、図３３のフローチャートにおけるステップＳ８５９またはステップＳ８６４の処理の最中に行われる。
なお、このような空中像の移動を目立たせるか否かは、ユーザの好みに応じて、選択することができるようにしてもよい。
【０２０８】
また先ほどの説明とは反対に、キャリブレーション処理の実行中に、アイコン３０Ａの表示態様の変更をユーザに確認させるため、画像生成部２０１によるアイコン３０Ａの表示態様の変更が目立つようにしてもよい。画像生成部２０１は、アイコン３０Ａの表示態様の変更中、アイコン３０Ａの表示輝度やコントラストを上げたり、アイコン３０Ａの表示を点滅させたりしてもよい。上述の説明では、アイコン３０Ａの表示態様の変更が目立たないようにしていたが、逆にユーザに対してアイコン３０Ａの表示態様の変更を目立たせることによって、変更後のアイコン３０Ａの表示態様を明確にさせることができる。
なお、上記のようにアイコン３０Ａの表示態様の変更中におけるアイコン３０Ａの表示輝度の変更は、図３３のフローチャートにおけるステップＳ８５９またはステップＳ８６４の処理の最中に行われる。
なお、以上の説明では、第２のキャリブレーション処理モードを例として説明したが、第１のキャリブレーション処理モードにも適用できる。
【０２０９】
第３の実施の形態の変形例２では、アイコン３０Ａの表示態様を変更する場合、アイコン３０Ａの輝度およびアイコン３０Ａのコントラストのうち少なくとも一つをさらに変更する。これにより、ユーザに対して、アイコン３０Ａの表示態様の変更による違和感を低減させることができる。
【０２１０】
（第３の実施の形態の変形例３）
第３の実施の形態の変形例３の表示装置１を以下に説明する。変形例３の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。なお、第３の実施の形態の表示装置１が行う到達位置や指定位置の検出や、空中像３０の表示態様には、第１の実施の形態や第１の実施の形態の各変形例や第２の実施の形態で説明した種々の方法を適用することができる。
以下、第２のキャリブレーション処理モードを参考にして説明を行う。
【０２１１】
本変形例３の表示装置１は、ある操作画面に対応する空中像３０の表示位置に対するユーザの操作に基づいたキャリブレーション処理の結果を、上記のある操作画面から切り替わった次画面に対応する空中像３０に反映させて、表示態様の変更を行うものである。具体的には、空中像３０として表示されたメニュー用アイコンに対してユーザ操作が行われると、各種のアプリケーション（たとえば、音楽やメールやＳＮＳなど）を起動させるための複数のアプリケーション用アイコンが空中像３０として表示される。これらのアプリケーション用アイコンに表示が切り替わる際に、メニュー用アイコンに対して表示態様の変更が施されて表示される。
【０２１２】
図３４に、本変形例３において表示される空中像３０を例示する。図３４（ａ）は、メニュー用アイコン３０Ａ１と基準線３１０〜３１４とを含む操作画面に対応する第１の表示である空中像３０（以後、第１の空中像と呼ぶ）を示す。画像生成部２０１は、第１の空中像３０においては、メニュー用アイコン３０Ａ１の大きさおよび表示位置を初期表示の状態で表示させる。
【０２１３】
図３４（ｂ）、（ｃ）は、アプリケーション用アイコン３０Ａ２、３０Ａ３、３０Ａ４と基準線３１０〜３１４とを含む操作画面に対応する第２の表示である空中像３０（以後、第２の空中像と呼ぶ）である。図３４（ｂ）は、アプリケーション用アイコン３０Ａ２〜３０Ａ４に表示態様の変更が行われていない初期表示の場合を示す。図３４（ｃ）は、アプリケーション用アイコン３０Ａ２〜３０Ａ４に表示態様の変更が行われた場合を示す。図３４（ａ）〜（ｃ）において、第１および第２の空中像３０に含まれる基準線３１０〜３１４は、上述した第１の実施の形態とその各変形例や第２の実施の形態とその各変形例にて説明したものと同様である。また、図３４（ｃ）は、ユーザの指先Ｆが検出基準４０よりも上方（Ｚ方向＋側）で検出された場合に表示される第２空中像３０を示す。
【０２１４】
表示制御部２０２により表示された第１の空中像３０のメニュー用アイコン３０Ａ１に対してユーザによる指先Ｆを押し下げる操作が行われる。操作検出器１３が到達位置や指定位置が検出基準４０で検出された場合（第１の実施の形態の図７（ｃ）参照）に、表示制御部２０２は、第１の空中像３０から第２の空中像３０へ表示を切り替える。すなわち、操作検出器１３が到達位置や指定位置を検出基準４０で検出しない場合（第１の実施の形態の図７（ｂ）や図７（ｄ）参照）には、表示制御部２０２は、第１の空中像３０から第２の空中像３０への表示の切り替えを行わない。
【０２１５】
表示装置１の起動後、ユーザがメニュー用アイコン３０Ａ１に対して第１回目の操作を行った際に、操作検出器１３が到達位置や指定位置を検出基準４０で検出した場合には、表示制御部２０２は図３４（ｂ）に示す第２の空中像３０の表示に切り替える。第１の空中像３０のメニュー用アイコン３０Ａ１に対して、ユーザの操作は検出基準４０にて行われるので、第２の空中像３０においてアプリケーション用アイコン３０Ａ２〜３０Ａ４が初期表示されたとしても、ユーザの操作は検出基準４０にて行われることが期待できる。このため、キャリブレーション部２０３はこのユーザの操作に対してキャリブレーション処理を行わない。
【０２１６】
操作検出器１３が到達位置や指定位置を検出基準４０で検出するまでに、検出基準４０では検出されなかった操作が存在する場合には、表示制御部２０２は、図３４（ｃ）に示す第２の空中像３０の表示に切り替える。この場合、表示制御部２０２が第２の空中像３０の表示に切り替える前に、キャリブレーション部２０３は、検出基準４０では検出されなかった操作に基づいて、キャリブレーション処理を実行する。キャリブレーション処理では、検出基準制御部２０４により、第１の実施の形態とその変形例や第２の実施の形態とその変形例で説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、アイコン３０Ａ２〜３０Ａ４のそれぞれの移動量と大きさとが算出される。
【０２１７】
画像生成部２０１は、アイコン３０Ａ２〜３０Ａ４の移動量と大きさとを算出する際に、操作検出器１３が検出基準４０で到達位置や指定位置を検出する直前（すなわち１回前）に行われたユーザの指先Ｆを押下する操作の検出結果を用いる。この場合、ユーザによる指先Ｆを押下する操作が行われるごとに算出された到達位置や指定位置と検出基準４０との間の距離が記憶部２０５に記憶される。なお、記憶部２０５に記憶される到達位置や指定位置と検出基準４０との間の距離は上書き保存されてもよい。画像生成部２０１は、記憶部２０５に記憶された距離を参照して、アイコン３０Ａ２〜３０Ａ４のそれぞれの移動量と大きさとを算出する。
【０２１８】
なお、操作検出器１３が検出基準４０で到達位置や指定位置を検出するまでに、ユーザにより指先Ｆを押下する操作が複数回行われた場合、画像生成部２０１は次のようにしてアイコン３０Ａ２〜３０Ａ４の移動量と大きさとを算出してもよい。すなわち、画像生成部２０１は、複数回の操作毎に算出された到達位置や指定位置と検出基準４０との間の距離の平均値を用いて、アイコン３０Ａ２〜３０Ａ４のそれぞれの移動量と大きさとを算出してもよい。
また、画像生成部２０１は、操作検出器１３で検出されたときの結果も含めてアイコン３０Ａ２〜３０Ａ４の移動量と大きさとを算出してもよい。たとえば、ユーザによって１回目の操作が検出基準４０よりも１０ｃｍ上方（Ｚ方向＋側）で行われ、２回目の操作が検出基準４０で行われたとする。この場合、画像生成部２０１は、１回目の操作の結果と２回目の操作の結果との平均値、すなわち５ｃｍ上方を到達位置や指定位置と検出基準４０との間の距離として算出してよい。
【０２１９】
なお、表示装置１が携帯電話等のように、基本的に同一のユーザによる使用を前提とできる場合には、画像生成部２０１は、同一のユーザの複数の操作による履歴に基づいて、到達位置や指定位置と検出基準４０との間の距離を算出してもよい。また、表示装置１が  サイネージ等の不特定多数の人物による操作が見込まれる場合には、操作者が異なる人物に変わった場合には、操作履歴を削除する。操作者の変更は、たとえば、第１の実施の形態の変形例１０で説明したように、撮像装置１８を用いて操作する人物の顔を撮影し、操作する人物の顔が変化した場合に、制御部２０は操作者が変更したと判定すればよい。
【０２２０】
画像生成部２０１は、算出されたアイコン３０Ａ２〜３０Ａ４の移動量と大きさとに基づいて、アイコン３０Ａ２〜３０Ａ４のそれぞれの表示態様を変更して、第２の空中像３０に対応する表示用画像を生成する。表示制御部２０２は、生成された表示用画像に基づいて、図３４（ｃ）に示す第２の空中像３０を表示させる。
【０２２１】
図３４（ｃ）に示すように、キャリブレーション処理が行われて表示された第２の空中像３０では、アイコン３０Ａ２〜３０Ａ４は、初期表示のアイコン３０Ａ２〜３０Ａ４とは表示態様が変更された状態で表示される。なお、図３４（ｃ）においては、説明の都合上、第２の空中像３０に初期表示のアイコン３０Ａ２’〜３０Ａ４’を破線で重畳して示したが、実際には初期表示のアイコン３０Ａ２’〜３０Ａ４’は表示されない。
第２の空中像３０のアイコン３０Ａ２〜３０Ａ４は、破線で示す初期表示のアイコン３０Ａ２’〜３０Ａ４’と比較して、大きさが縮小され、消失点の方向に表示位置が変更される。これにより、ユーザは、図３４（ａ）の第１の空中像３０に対して操作を行ったときと比較して、アイコン３０Ａ２〜３０Ａ４があたかもユーザから離れる方向に移動したように知覚する。そして、ユーザが、アイコン３０Ａ１を操作した時と比べて、第２の空中像３０のアイコン３０Ａ２〜３０Ａ４に対してより下方に向けて押下げ操作を行うことが期待される。
【０２２２】
なお、第１回目の操作が検出基準よりも下方であった場合には、第２の空中像３０では、アイコン３０Ａ２〜３０Ａ４があたかもユーザ側に接近する方向に移動したと知覚されるように表示態様が変更される。すなわち、アイコン３０Ａ２〜３０Ａ４の大きさが拡大され、消失点から離れる方向に表示位置が変更される。
【０２２３】
図３５のフローチャートを参照しながら、第３の実施の形態の変形例３における表示装置１のキャリブレーション処理について説明する。
ステップＳ８９０、ステップＳ８９１は、図１２のステップＳ２１とステップＳ２２と同様である。ステップＳ８９２では、メニュー用アイコン３０Ａ１を含む第１の空中像３０（図３４（ａ）参照）を表示させてステップＳ８９３へ進む。ステップＳ８９３は図１２のステップＳ２４と同様の処理を行い、ステップＳ８９４〜ステップＳ８９５は、図１２のステップＳ２９〜ステップＳ３０と同様の処理を行う。ステップＳ８９５が否定判定される（到達位置や指定位置が検出基準４０に一致しない場合）、ステップＳ８９６において、算出された到達位置や指定位置と検出基準４０との間の距離を示すデータが記憶部２０５に記憶されステップＳ８９３へ戻る。
【０２２４】
ステップＳ８９５が肯定判定される（到達位置や指定位置が検出基準４０と一致する場合）、ステップＳ８９７にて記憶部２０５にステップＳ８９６で算出された距離を示すデータが記憶されているか否かを判定する。距離を示すデータが記憶部２０５に記憶されている場合、ステップＳ８９７が肯定判定されてステップＳ８９８へ進む。ステップＳ８９８では、記憶部２０５に記憶された距離を示すデータに基づいて表示態様が変更されたアプリケーション用アイコン３０Ａ２〜３０Ａ４を含む第２の空中像（図３４（ｃ）参照）に表示を切り替えて処理を終了する。距離を示すデータが記憶部２０５に記憶されていない場合、ステップＳ８９７が否定判定されてステップＳ８９９へ進む。ステップＳ８９９では、表示態様が変更されていない初期表示のアプリケーション用アイコン３０Ａ２〜３０Ａ４を含む第２の空中像（図３４（ｂ）参照）に表示を切り替えて処理を終了する。
【０２２５】
なお、表示制御部２０２が第１の空中像３０から第２の空中像３０へ表示を切り替える際に、特定のエフェクトを付加してもよい。たとえば、表示制御部２０２は、アイコンの輝度を調整してフェードアウト、フェードインさせる等の処理を行ってもよい。すなわち、表示制御部２０２は、第１の空中像３０からの表示の切り替えを開始すると、第１の空中像３０の輝度を徐々に低下させ、第２の空中像３０への切り替えの終了に近づくにつれ、輝度を徐々に増加させる。これにより、第２の空中像３０に表示が切り替わる際に、アイコンの表示態様の変更がユーザに視認されにくくなり、ユーザに対して、表示態様の変更による違和感を低減することができる。
【０２２６】
第３の実施の形態の変形例３では、第１の空中像３０のメニュー用アイコン３０Ａ１に対する操作が検出された位置が検出基準４０で検出されない場合、制御部２０はメニュー用アイコン３０Ａ１に対応した処理を実行する。このとき、画像生成部２０１は、第１の空中像３０の次に表示する第２の空中像３０のアプリケーション用アイコン３０Ａ２〜３０Ａ４の表示態様を、第１の空中像３０のメニュー用アイコン３０Ａ１に対する操作に基づいて異ならせて表示させる。これにより、第１の空中像３０から第２の空中像３０に表示が切り替わる際に、アイコン３０Ａ２〜３０Ａ４の表示態様が変更されるので、ユーザが表示態様の変更に伴う違和感を有することがなくなる。
【０２２７】
また、第３の実施の形態の変形例３では、第１の空中像３０に対するユーザの操作が検出された位置が検出基準４０で検出されない場合、制御部２０は、第２の空中像３０への表示を行わない。これにより、ユーザは検出基準４０の位置で操作が行われていないことを認識することができる。
【０２２８】
（第３の実施の形態の変形例４）
第３の実施の形態の変形例４の表示装置１を以下に説明する。変形例４の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を適用することができる。
第３の実施の形態の変形例４では、上述した第３の実施の形態の変形例３と次の点で異なる。第１の表示である第１の空中像３０に含まれる特定のアイコン３０Ａ１に対して、操作検出器１３が到達位置や指定位置を検出基準４０で検出しない場合であっても、表示制御部２０２は第２の表示である第２の空中像３０の表示に切り替える。なお、特定のアイコン３０Ａ１とは、表示装置１に記憶されている複数のアイコンのうち、たとえば、表示装置１の動作を開始させるためのスタートボタンや、表示装置１の動作のロックを解除するためのロック解除ボタン等の表示装置１を使用する際に操作されるアイコンである。すなわち、特定のアイコン３０Ａ１とは、ユーザがアイコン３０Ａ１に対する操作を行った後にも、ユーザが空中像３０に対する操作を引き続き行うことが予測される操作に対応するアイコンである。
【０２２９】
操作検出器１３が、ユーザによる第１回目の操作を検出基準４０で検出した場合について説明する。この場合、画像生成部２０１は、第３の実施の形態の変形例３の場合と同様にして、図３４（ｂ）に示すように、アイコン３０Ａ２〜３０Ａ４を初期表示の状態とした第２の空中像３０に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する第２の空中像３０に表示を切り替える。
【０２３０】
第１の空中像３０のメニュー用アイコン３０Ａ１に対して行われたユーザの押下する操作による到達位置や指定位置が、操作検出器１３によって検出基準４０で検出されない場合について説明する。この場合、キャリブレーション部２０３はキャリブレーション処理を実行する。キャリブレーション処理では、検出基準制御部２０４により、第１の実施の形態とその変形例や第２の実施の形態で説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、アイコン３０Ａ２〜３０Ａ４のそれぞれの移動量と大きさとが算出される。画像生成部２０１は、算出されたアイコン３０Ａ２〜３０Ａ４の移動量と大きさとに基づいて、アイコン３０Ａ２〜３０Ａ４のそれぞれの表示態様を変更して、第２の空中像３０に対応する表示用画像を生成する。表示制御部２０２は、生成された表示用画像に基づいて、図３４（ｃ）に示す第２の空中像３０を表示させる。換言すると、特定のアイコン３０Ａ１に対して行われた操作が検出基準４０にて検出されなかった場合には、キャリブレーション処理が行われた第２の空中像３０が表示される。
なお、第３の実施の形態の変形例４においても、変形例３の場合と同様にして、表示制御部２０２が第１の空中像３０から第２の空中像３０へ表示を切り替える際に、特定のエフェクトを付加してもよい。すなわち、表示制御部２０２は、アイコンの輝度を調整してフェードアウト、フェードインさせる等の処理を行ってもよい。この場合、表示制御部２０２は、第１の空中像３０からの表示の切り替えを開始すると、第１の空中像３０の輝度を徐々に低下させ、第２の空中像３０への切り替えの終了に近づくにつれ、輝度を徐々に増加させる。これにより、第２の空中像３０に表示が切り替わる際に、アイコンの表示態様の変更がユーザに視認されにくくなり、ユーザに対して、表示態様の変更による違和感を低減することができる。
なお、第２の空中像３０のアイコン３０Ａ２〜３０Ａ４、すなわち第１の表示である特定のアイコン３０Ａ１とは異なるアイコンにおいて、ユーザの操作が検出基準４０で検出されない場合には、表示装置１は、アイコン３０Ａ２〜３０Ａ４に割り当てられた処理を実行しない。
【０２３１】
図３６のフローチャートを参照しながら、第３の実施の形態の変形例４における表示装置１のキャリブレーション処理について説明する。
ステップＳ９００〜ステップＳ９０５までの各処理は、図３５のステップＳ８９０〜ステップＳ８９５までの各処理と同様である。ステップＳ９０５が肯定判定された場合（到達位置や指定位置が検出基準４０に一致する場合）は、ステップＳ９０５が肯定判定されてステップＳ９０８へ進み、図３５のステップＳ８９９と同様の処理を行い本フローチャートに示す処理を終了する。ステップＳ９０５が否定判定された場合（到達位置や指定位置が検出基準４０に一致しない場合）は、ステップＳ９０５が否定判定されてステップＳ９０６へ進み、図３５のステップＳ８９６と同様の処理を行ってステップＳ９０７へ進む。ステップＳ９０７の処理は、図３５のステップＳ８９８と同様である。
なお、ステップＳ９０６の処理において、到達位置と検出基準との距離のデータを算出し、記憶していたが、必ずしも記憶する必要はない。算出したデータを記憶せず、ステップＳ９０７で、算出したデータに基づいて、表示態様を変更した第２の空中像を表示させてもよい。
【０２３２】
第３の実施の形態の変形例４では、第１の空中像３０の特定のアイコン３０Ａ１に対する操作が検出された位置が検出基準４０で検出されない場合、制御部２０はメニュー用アイコン３０Ａ１に対応した処理を実行する。すなわち、画像生成部２０１は、第１の空中像３０の次に表示する第２の空中像３０のアプリケーション用アイコン３０Ａ２〜３０Ａ４の表示態様を、第１の空中像３０の特定のアイコン３０Ａ１に対する操作に基づいて異ならせて表示させる。これにより、第１の空中像３０から第２の空中像３０に表示が切り替わる際に、アイコン３０Ａ２〜３０Ａ４の表示態様が変更されるので、ユーザが表示態様の変更に伴う違和感を有することがなくなる。
【０２３３】
また、第３の実施の形態の変形例４では、特定のアイコン３０Ａ１とは異なるアイコンに対して行われたユーザの操作が検出された位置が検出基準４０で検出されない場合、制御部２０は、第２の空中像３０への表示を行わない。これにより、ユーザは検出基準４０の位置で操作が行われていないことを認識することができる。
【０２３４】
第３の実施の形態の変形例４では、表示装置１のロックを解除するボタンを特定のアイコン３０Ａ１とし、特定のアイコン３０Ａ１の表示位置に対する操作が検出基準４０で検出されない場合であっても、第２の空中像３０への表示の切り替えが行われる。ユーザが表示装置１のロックを解除する操作を行う場合には、ユーザが引き続き空中像３０に対して操作を行う可能性が高い。このような場合に、第３の実施の形態の変形例４では、ユーザは、表示装置１のロックの解除後に改めてキャリブレーション処理モードを起動することなくキャリブレーション処理が行われた空中像３０に対して操作を行えるので、利便性がよくなる。
【０２３５】
なお、以上の説明では、特定のアイコン３０Ａ１として、ロック解除ボタンを例に挙げたが、これに限定されない。たとえば、表示装置１の操作開始時に操作されるスタートボタンを特定のアイコン３０Ａ１としてもよい。これにより、表示装置１の操作開始時に、ユーザが無駄な操作を行う必要がなくなる。また、表示装置１の操作開始時にキャリブレーション処理が行われるので、空中像操作モードの空中像３０は表示態様の変更が行われた状態で表示される。したがって、ユーザは改めてキャリブレーション処理モードを起動する必要がなく、利便性がよくなる。
また、特定のアイコン３０Ａ１として、スタートボタンが操作された後のメニューボタンや、図４に示したようなキャリブレーション用アイコン３００Ａに適用してもよい。
【０２３６】
なお、上述の第３の実施の形態とその変形例１〜４では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第３の実施の形態、または変形例１〜４に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第３の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第３の実施の形態、または変形例１〜４に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
【０２３７】
−第４の実施の形態−
以上で説明した各実施形態とその変形例において、表示装置１については、表示器１１に表示された像を結像光学系１２により空中像として生成するという構成を説明した。しかし、空中像を生成する構成は上記構成に限られず、以下に説明する方法も含まれる。言うまでもなく、以下に説明する構成は一例であり、それ以外の空中像を生成する方法も含まれる。
【０２３８】
表示装置において、空中像を生成する構成の例としては、表示装置の表示器に、右目で視認する画像と、右目で視認する画像とは視差を有する左目で視認する画像とを表示させることにより、ユーザには表示器によって表示されている画像と異なる奥行に感じられる画像を生成する方法がある。本実施の形態の表示装置では、上述した第１の実施の形態とその変形例や第２の実施の形態や第３の実施の形態とその変形例にて説明したキャリブレーション処理とは異なり、視差画像の視差量を変更させ、ユーザに画像の奥行感が変更したように知覚させるキャリブレーション処理を行う。すなわち、本実施の形態の表示装置では、上述した第１の実施の形態とその変形例や第２の実施の形態や第３の実施の形態とその変形例と同様にして検出したユーザの操作による到達位置や指定位置と検出基準との間の距離に基づいて、視差画像の視差量を変更する。これにより、ユーザが知覚する空中像３０の位置が奥行方向に変化するので、ユーザの操作による到達位置や指定位置を検出基準にて行われるように変更させるものである。
【０２３９】
図面を参照しながら、第４の実施の形態に係る表示装置１について説明する。第４の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１〜第３の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
図３７に第４の実施の形態の表示装置１の分解斜視図を示す。第４の実施の形態の表示装置１は、図１に示す第１の実施の形態の表示装置１が有する結像光学系１２に代えて、または結像光学系１２に加えて、表示器１１の上方（Ｚ方向＋側）に、たとえば公知のレンチキュラーレンズ１６を備える。レンチキュラーレンズ１６によって、表示器１１に表示された右目用画像と左目用画像とがそれぞれユーザの右目と左目にて視認されることにより、ユーザは表示器１１に表示された視差画像を、奥行を有する立体画像（空中像３０）として知覚する。また、表示装置１は、表示器１１に表示された画像を視認するユーザの位置（立ち位置）を検出する検出器１５を備える。
【０２４０】
なお、表示装置１は、レンチキュラーレンズ１６に代えて、公知の視差バリア方式等により視差画像を生成するためのスリットを表示器１１の上方（Ｚ方向＋側）に備えてもよい。すなわち、表示装置１は、裸眼で視認可能な視差のある画像を表示する各種の態様を適用できる。表示装置１は、上記の構成を有することにより、両眼視差を利用して、空中像３０の奥行き位置が変化したようにユーザに知覚させるものである。したがって、第４の実施の形態の表示装置１は、第１の実施の形態とその変形例や第２の実施の形態や第３の実施の形態とその変形例の場合のように単眼による奥行手がかりを利用して、アイコン３０Ａ、３００Ａの奥行き位置を変化させるものとは異なる。
【０２４１】
なお、表示装置１は、ユーザが専用の眼鏡を装着することにより視認可能となる視差画像を表示する構成でもよい。この場合、表示装置１と専用の眼鏡は、たとえばアクティブシャッター方式等を用いて制御されることにより、ユーザは視差画像を視認して空中像３０として知覚する。表示装置１は、表示器１１の表示を右目用の画像と左目用の画像とを高速で切り替えて表示する。ユーザは、専用の眼鏡として、例えば液晶を用いたシャッターを備える眼鏡を装着して表示器１１に表示される視差画像を視認する。このとき、表示装置１が表示器１１に右目用の画像を表示する際には、専用の眼鏡は左目用のシャッターを閉じ、表示装置１が表示器１１に左目用の画像を表示する際には、専用の眼鏡は右目用のシャッターを閉じるように、表示器１１の表示とシャッターの開閉とが同期して制御される。
【０２４２】
図３８は、第４の実施の形態の表示装置１の主要部構成を示すブロック図である。本実施の形態の表示装置１は、図２に示す第１の実施の形態のブロック図に示す構成に加えて、表示装置１により表示される視差のある画像を観察するユーザの視線、眼球運動等を検出するための検出器１５を備える。検出器１５は、たとえば、視差画像を視認するユーザの眼球に向けて赤外線を照射し、眼球からの反射光を検出してユーザの眼球運動を検出する公知のアイトラッキングを行う撮像装置である。
また、制御部２０は、検出器１５による検出結果に基づいて、ユーザの視線や、ユーザが視差画像を視認する位置（立ち位置）が、視差画像を空中像３０として知覚するために適しているか否かを判定するユーザ判定部２２１を機能として備える。
なお、第１の実施の形態の各変形例や第２の実施の形態や第３の実施の形態とその変形例で説明したブロック図に示す構成に検出器１５とユーザ判定部２２１とを備える構成としてもよい。
【０２４３】
本実施の形態の表示装置１のように、両眼視差を用いた視差画像を空中像３０としてユーザに知覚させる場合には、ユーザが視差画像を立体視可能な領域と逆視領域とが交互に存在する。このため、ユーザが裸眼で視差画像を視認する場合、ユーザの立ち位置によっては、ユーザには空中像３０に歪みが生じた状態で知覚される場合や、空中像３０が立体画像として知覚できない場合が生じる。このような事態が生じることを防ぐために、撮像装置１８や検出器１５とユーザ判定部２２１とが表示装置１を観察するユーザの位置を判定し、判定結果に基づいて、表示装置１はユーザを視差画像を空中像３０として知覚するために適した立ち位置に導くようにする。
【０２４４】
ユーザ判定部２２１は、撮像装置１８により生成された撮像データを用いて、表示装置１による視差画像を視認するユーザの立ち位置を検出する。ユーザ判定部２２１は、検出したユーザの立ち位置が視差画像を立体視可能な領域にある場合には、ユーザは空中像３０を適切に知覚できると判定する。ユーザ判定部２２１は、検出した立ち位置が逆視領域にある場合には、ユーザは空中像３０を適切に知覚できないと判定、すなわちユーザの立ち位置が良くないと判定する。ユーザ判定部２２１によりユーザの立ち位置が良くないと判定された場合には、表示制御部２０２は、たとえば表示器１１を制御して、空中像３０に「もう少し右にずれてください」等のメッセージを表示させて、ユーザを立体視可能な領域に移動するように導く。なお、表示装置１は、空中像３０にメッセージを表示させるものに限定されず、たとえばスピーカー等を有する場合には、音声や警告音等を用いてユーザに立ち位置の変更を促してもよい。
なお、ユーザ判定部２２１が、撮像装置１８からの撮像データを用いてユーザの立ち位置を判定するものに代えて、検出器１５により検出されたユーザの視線が逆視領域にある場合に、上記の制御を行ってもよい。
【０２４５】
また、表示装置１がメッセージの表示や音声等を用いてユーザに立ち位置の変更を促すものに代えて、ユーザの立ち位置や視線位置に立体視可能な領域が移動するように視差画像の表示位置を変更してもよい。この場合、表示制御部２０２は、表示器１１上における表示用画像データの表示位置をレンチキュラーレンズ１６に対して変更する。または、画像生成部２０１が、ユーザの立ち位置により生じる空中像３０の歪み等を補正するための公知の処理を施した表示用画像データを生成し、表示制御部２０２が補正後の表示用画像データを視差画像として表示させてもよい。または、表示装置１がレンチキュラーレンズ１６をＸＹ平面上で移動させる移動装置を有する場合には、レンチキュラーレンズ１６を表示器１１に対して移動させてもよい。
【０２４６】
第４の実施の形態の表示装置１では、ユーザに、表示器１１に表示された視差画像を空中像３０として知覚させるが、空中像３０の奥行の変化はユーザによる知覚により生じるので、空中像３０の奥行の変化はユーザごとに異なって知覚される。すなわち、ユーザによっては、空中像３０の奥行の変化を知覚できないことがある。このような事態を防ぐため、本実施の形態の表示装置１では、ユーザが空中像３０の奥行の変化を知覚していない場合に、ユーザが空中像３０の奥行変化を知覚できるようにするためにキャリブレーション処理を行う。なお、以下の説明では第１のキャリブレーション処理モードを例に挙げて説明するが、第２のキャリブレーション処理モードにも適用できる。
【０２４７】
第４の実施の形態の表示装置１においてキャリブレーション処理の際に表示される空中像３００は、アイコン３００Ａを含むが、図４に示す第１の実施の形態にて表示される空中像３００とは異なり、基準線３１０〜３１４は含まれない。
【０２４８】
操作検出器１３が、ユーザによる押下する操作の到達位置や指定位置が検出基準４０よりも上方（Ｚ方向＋側）の場合（図７（ｂ）参照）、画像生成部２０１は、アイコン３００Ａがあたかもユーザから離れる方向に位置するように表示用画像データである視差画像を生成する。画像生成部２０１は、初期表示された空中像３００の視差画像の視差量よりも小さな視差量の視差画像を表示用画像データとして生成する。この場合、画像生成部２０１は、到達位置や指定位置と検出基準４０との間の距離に基づいて、視差画像の視差量を決定する。この視差量は、試験等を行うことにより得られた結果に基づいて、予め到達位置や指定位置と検出基準４０との間の距離と関連付けられたデータとして記憶部２０５に記憶される。画像生成部２０１は、視差量を決定する際には、記憶部２０５に記憶されたこのデータを参照する。これにより、ユーザは、初期表示された空中像３００のアイコン３００Ａよりも、自身から離れる方向（Ｚ方向−側）にアイコン３００Ａが位置するように知覚する。
【０２４９】
なお、操作検出器１３が、ユーザによる押下する操作の到達位置や指定位置が検出基準４０よりも下方（Ｚ方向−側）の場合（図７（ｄ）参照）、画像生成部２０１は、アイコン３００Ａがあたかもユーザに接近する方向に位置するように表示用画像データである視差画像を生成する。画像生成部２０１は、初期表示された空中像３００の視差画像の視差量よりも大きな視差量の視差画像を表示用画像データとして生成する。この場合、画像生成部２０１は、到達位置や指定位置と検出基準４０との間の距離に基づいて、記憶部２０５に予め記憶されたデータを参照して、視差画像の視差量を決定する。これにより、ユーザは、初期表示された空中像３００のアイコン３００Ａよりも、自身に接近する方向（Ｚ方向＋側）にアイコン３００Ａが位置するように知覚する。
【０２５０】
上記のようにしてアイコン３００Ａが空中に表示される位置が変更されると、ユーザ判定部２２１は、ユーザがアイコン３００Ａの奥行の変化を知覚しているか否かを判定する。この場合、ユーザ判定部２２１は、ユーザの目に関する情報に基づいて判定を行う。ユーザ判定部２２１による判定処理について、以下に説明する。
上述した検出器１５は、視差画像を視認しているユーザの左右の瞳孔間の距離を目に関する情報として検出する。ユーザ判定部２２１は、表示器１１に表示された視差画像によるアイコン３００Ａの空中での表示位置（すなわちＺ方向の位置）と、検出器１５により検出された左右の瞳孔間の距離とを用いて、ユーザがアイコン３００Ａを知覚するＺ方向の位置を算出する。ユーザ判定部２２１は、視差画像によるアイコン３００ＡのＺ方向の位置と、ユーザがアイコン３００Ａを知覚するＺ方向の位置とが所定のずれ量よりもずれている場合には、ユーザがアイコン３００Ａの奥行の変化を知覚していないと判定する。
【０２５１】
ユーザ判定部２２１によりユーザがアイコン３００Ａの奥行の変化を知覚していないと判定された場合、画像生成部２０１は、視差画像の視差量をさらに変更する。この場合、画像生成部２０１は、視差画像によるアイコン３００ＡのＺ方向の位置と、算出した、ユーザがアイコン３００Ａを知覚するＺ方向の位置とのずれの量に基づいて、視差画像の視差量をさらに変更する。すなわち、画像生成部２０１は、視差画像の視差量を小さくする処理を行っていた場合には、さらに視差量を小さくした視差画像を生成する。これにより、空中像３００がさらにユーザから離れる方向に移動したようにユーザに知覚させるようにする。画像生成部２０１は、視差画像の視差量を大きくする処理を行っていた場合には、さらに視差量を大きくした視差画像を生成する。これにより、空中像３００がさらにユーザに接近する方向に移動したようにユーザに知覚させるようにする。
【０２５２】
図３９のフローチャートを用いて、第４の実施の形態の表示装置１のキャリブレーション処理について説明する。なお、図３９のフローチャートはステップＳ９１０〜ステップＳ９２１を示し、それ以降のステップは省略した。ステップＳ９２１以降の処理は、図１０に示すフローチャートのステップＳ７以降の処理と同様である。
【０２５３】
ステップＳ９１０〜ステップＳ９１２までの各処理は、第１の実施の形態の図１０に示すフローチャートのステップＳ１〜ステップＳ３までの各処理と同様である。ステップＳ９１３では、空中像３００を視認するユーザの立ち位置を判定する。撮像装置１８により生成された撮像データに基づいて、ユーザの立ち位置が視差画像を立体視可能な領域にある場合には、ステップＳ９１３が肯定判定されて、ステップＳ９１４へ進む。ユーザの立ち位置が逆視領域にある場合には、ステップＳ９１３が否定判定されて待機する。この場合、上述したように、ユーザに立ち位置の変更を促すメッセージが表示されたり、音声等が出力される。
【０２５４】
ステップＳ９１４、ステップＳ９１５は、図１０のフローチャートのステップＳ４、Ｓ５の処理と同様である。ステップＳ９１６では、到達位置が検出基準４０と一致するか否かを判定する。到達位置が検出基準４０と一致する場合には、ステップＳ９１６が肯定判定されて、後述するステップＳ９２１へ進む。到達基準が検出基準４０と一致しない場合には、ステップＳ９１６が否定判定されてステップＳ９１７へ進む。ステップＳ９１７では、画像生成部２０１は視差画像の視差量を変更することによりアイコン３００Ａの表示態様を変更してステップＳ９１８へ進む。
【０２５５】
ステップＳ９１８では、検出器１５からの検出出力を用いてユーザの視線を検出して、ステップＳ９１９へ進む。ステップＳ９１９では、ユーザが表示態様の変更された後のアイコン３００Ａの空中での位置を知覚しているか否かを判定する。ユーザがアイコン３００Ａの空中での位置を知覚している場合、すなわち視差画像によるアイコン３００ＡのＺ方向の位置と、ユーザがアイコン３００Ａを知覚するＺ方向の位置とが所定のずれ量以下の場合には、ステップＳ９１９が肯定判定されてステップＳ９２１へ進む。ユーザがアイコン３００Ａの空中での位置を知覚していない場合、すなわち視差画像によるアイコン３００ＡのＺ方向の位置と、ユーザがアイコン３００Ａを知覚するＺ方向の位置とが所定のずれ量よりもずれている場合には、ステップＳ９１９が否定判定されてステップＳ９２０に進む。ステップＳ９２０では、視差画像によるアイコン３００ＡのＺ方向の位置と、ユーザがアイコン３００Ａを知覚するＺ方向の位置とが所定のずれ量に基づいて、画像生成部２０１が視差画像の視差量を変更して、アイコン３００Ａの表示態様を変更してステップＳ９２１へ進む。ステップＳ９２１では、第１のキャリブレーション処理モードを終了する。
なお、第２のキャリブレーション処理モードを実行する場合には、第１の実施の形態にて用いた図１２のフローチャートにおいて、ステップＳ２３の処理の後、図３９のフローチャートに示すステップＳ９１３の処理を行う。また、ステップＳ２８およびステップＳ３２の処理の後、図３９のフローチャートに示すステップＳ９１８〜ステップＳ９２０の処理を行えばよい。
【０２５６】
なお、ユーザ判定部２２１は、ユーザの左右の瞳孔間の距離に基づいて、ユーザがアイコン３００Ａを知覚しているか否かを判定してもよい。この場合、予め検出器１５によりユーザの左右の瞳孔間の距離を取得し、距離データとして記憶部２０５に記憶しておく。キャリブレーション処理として、初期表示のアイコン３００Ａに対応する視差画像の視差量が画像生成部２０１により変更された場合に、ユーザ判定部２２１は、ユーザの左右の眼球の移動方向と移動量とを検出器１５からの検出出力により取得する。視差画像の視差量の変更によってアイコン３００Ａの変化した奥行の方向に応じた方向に眼球が移動し、かつその移動量が予め設定された範囲内の場合に、ユーザ判定部２２１は、アイコン３００Ａの奥行方向の変化をユーザが知覚したものと判定する。
【０２５７】
また、一般に、ユーザが空中像３０の奥行方向が変化したことを知覚した場合に、瞳孔径も空中像３０の奥行方向の変化に伴って変化する。したがって、検出器１５は、ユーザの眼球の瞳孔径を目に関する情報として検出し、ユーザ判定部２２１は、検出された眼球の瞳孔径を用いて、ユーザがアイコン３００Ａの奥行方向の変化を知覚したか否かを判定してもよい。この場合、ユーザ判定部２２１は、視差画像の視差量を変更する前の瞳孔径に対する、視差画像の視差量の変更後の瞳孔径の変化方向（瞳孔径が大きくなる、または小さくなる）と変化量とに基づいて、判定を行う。すなわち、アイコン３００Ａの変化した奥行の方向に応じた方向に瞳孔径が変化し、かつその変化量が予め設定された範囲内の場合に、ユーザ判定部２２１は、アイコン３００Ａの奥行方向の変化をユーザが知覚したものと判定できる。
【０２５８】
なお、表示装置１が裸眼式、眼鏡式のいずれの方法を用いて視差画像を空中像３０として表示させる場合であっても、片方の目を瞑っているユーザは、空中像３０を立体視することができない。したがって、検出器１５によりユーザが片方の目を瞑っていることが検出された場合には、表示装置１は、ユーザに両目を開けるように報知してもよい。この場合、表示制御部２０２は、空中像３０に「両方の目を開けて空中像を見てください」等のメッセージを表示させてもよいし、表示装置１がスピーカー等を備える場合には、制御部２０が上記のメッセージを音声等により出力してもよい。
【０２５９】
第４の実施の形態では、表示制御部２０２は、視差を有する２枚の視差画像を表示器１１に表示させ、ユーザの立ち位置に基づいて、空中像３０の表示を制御する。これにより、空中像３０を立体視可能な領域にユーザを位置させることができる。
【０２６０】
また、第４の実施の形態では、画像生成部２０１は、ユーザの操作が検出された位置と眼に関する情報とに基づいて、視差を有する２枚の視差画像を表示器１１に表示させて、空中像３０を表示させる。これにより、ユーザは、両眼視差を利用して空中像３０を立体視することができる。
【０２６１】
また、第４の実施の形態では、画像生成部２０１は、ユーザの左右の瞳孔間距離や瞳孔径に基づいて、視差を有する２枚の視差画像の視差量を変更する。これにより、ユーザが空中像３０の奥行変化を知覚していない場合には、空中像３０の奥行をさらに変化させて、ユーザに空中像３０の空中での位置を知覚させることができる。
【０２６２】
（第４の実施の形態の変形例１）
第４の実施の形態の変形例１の表示装置１では、キャリブレーション処理において、視差画像の視差量を変更する方法とは異なる方法を用いて、空中像の奥行方向の表示位置を変更する。
この場合の一例として、表示器１１をＺ方向に沿って移動可能に構成した表示装置１について説明する。
【０２６３】
図４０は表示装置１の主要部構成を示すブロック部である。この変形例１の表示装置１は、図３７、図３８に示す第４の実施の形態の表示装置１の構成に加えて、表示位置変更部５００と、表示位置制御部２２０とを備える。
【０２６４】
表示位置変更部５００は、たとえばモータまたはアクチュエータなどの駆動部を有し、表示器１１を矢印に示すようにレンチキュラーレンズ１６の光軸方向に沿って移動させて、空中像３０が知覚される位置をＺ方向、すなわち光軸方向に移動して変更する。空中像３０を上方、すなわち表示器１１から離れる方向に移動させるには、表示位置変更部５００は、表示器１１を上方向、すなわちレンチキュラーレンズ１６に近づく方向に移動させる。空中像３０を下方向、すなわち表示器１１に接近する方向に移動させるには、表示位置変更部５００は、表示器１１を下方向、すなわちレンチキュラーレンズ１６から離れる方向に移動させる。なお、表示位置変更部５００は、表示器１１を移動させるものに代えて、レンチキュラーレンズ１６をＺ軸に沿って移動させてもよいし、表示器１１とレンチキュラーレンズ１６とをＺ軸に沿って移動させてもよい。
【０２６５】
第４の実施の形態の変形例１の表示装置１では、キャリブレーション処理において、視差画像の視差量が変更された後に、ユーザが空中像３０の奥行方向の移動を知覚していない場合、表示位置変更部５００が表示器１１をＺ軸に沿って移動させる。この場合、表示位置変更部５００は、視差画像によるアイコン３００ＡのＺ方向の位置と、算出した、ユーザがアイコン３００Ａを知覚するＺ方向の位置とのずれの量に基づいて、表示器１１の移動量と移動方向とを決定する。すなわち、画像生成部２０１が視差画像の視差量を小さくする処理を行っていた場合には、表示位置変更部５００は、表示器１１をＺ方向−側に移動する。これにより、空中像３００がさらにユーザから離れる方向に移動したようにユーザに知覚させるようにする。画像生成部２０１が視差画像の視差量を大きくする処理を行っていた場合には、表示位置変更部５００は、表示器１１をＺ方向＋側に移動する。これにより、空中像３００がさらにユーザに接近する方向に移動したようにユーザに知覚させるようにする。
第４の実施の形態の変形例１の表示装置１では、図３９に示すフローチャートのステップＳ９２０における処理が、表示位置変更部５００が、表示器１１を変更させることにより行われる。
なお、この場合も、表示装置１は、片方の目を瞑っているユーザに対して、第４の実施の形態の場合と同様にして、ユーザに両目を開けるように報知してもよい。また、表示位置変更部５００が表示器１１を移動してもよい。
【０２６６】
第４の実施の形態の変形例１では、表示器１１の位置を変更して、空中像３０の位置を変更するようにした。これにより、ユーザが空中像３０の空中での表示位置を知覚することができる。
【０２６７】
なお、表示位置変更部５００により表示器１１の位置を移動させるものに代えて、表示器１１に国際公開公報２０１１／１５８９１１に記載の技術を適用させてもよい。すなわち、表示器１１は三次元の立体像を表示させるライトフィールド表示が可能な構成を有し、表示器１１に二次元表示用の画像を表示させることにより、空中の光軸方向に沿った異なる位置に空中像３０を形成させることができる。
【０２６８】
図４１にこの場合の表示器１１と結像光学系１２ＢとのＺＸ平面における断面を模式的に示す。表示器１１の表示面には結像光学系１２Ｂが配置される。結像光学系１２Ｂは、二次元状に配列された複数のマイクロレンズ１２２により構成されるマイクロレンズアレイ１２３を有する。１つのマイクロレンズ１２２は、表示器１１の複数の表示画素Ｐごとに設けられる。なお、図４１に示す例では、図示の都合上、５×５の表示画素Ｐに対して１個のマイクロレンズ１２２が設けられた例を示しているが、実際の表示画素Ｐの個数よりも少なく描いている。マイクロレンズアレイ１２３は、表示器１１の表示面からマイクロレンズ１２２の焦点距離ｆだけＺ方向＋側に離れた位置に配置される。各マイクロレンズ１２２は、表示された画像に基づいて表示画素Ｐからの光をＺ方向の所定の像面に投影する。なお、マイクロレンズ１２２に代えてレンチキュラーレンズを用いてもよい。
【０２６９】
この表示器１１では、空中像３０を構成する各光点ＬＰが空中に形成されるためには、それぞれの光点ＬＰを形成する光は、異なる複数のマイクロレンズ１２２のそれぞれに被覆される一部の表示画素Ｐから出射される。なお、光点ＬＰは、表示器１１とマイクロレンズ１２２とによって空中に表示された像であるため、空中像である。図４１に示す例では、斜線を付して示す表示画素Ｐから出射された光がマイクロレンズ１２２により投影されて光点ＬＰを形成する。この場合、１つのマイクロレンズ１２２によって被覆される表示画素Ｐの個数（図４１の例では５×５個）が異なる複数のマイクロレンズ１２２に分散して割り当てられる。この割り当て方に基づいて、空中に形成される光点ＬＰのＺ方向に対する位置を異ならせることができる。空中像３０は、このようにして光点Ｐが結像されることにより形成される。以上により、空中像３０のＺ方向に対する位置は、表示器１１に表示する画像を変更することによって変更される。
なお、表示装置１にＤＭＤ等を利用し、計算機ホログラム（ＣＧＨ）の技術によって、空中像３０をＺ方向に対して位置を変更してもよい。
【０２７０】
（第４の実施の形態の変形例２）
第４の実施の形態の変形例２の表示装置は、図４０に示す第４の実施の形態の変形例１の表示装置と同様の構成が適用される。すなわち、第４の実施の形態の変形例２の表示装置１は、表示器１１を移動可能な構成を有する。本変形例２の表示装置１では、空中像３０を奥行方向に移動させる際の移動量に基づいて、表示器１１を移動させて空中像３０の奥行方向への移動と、視差画像の視差量の変更による空中像３０の奥行方向への移動とを切り替える制御をする。
【０２７１】
一般に、人間は、実際に空中像３０が空中で移動した場合よりも、視差画像の視差量を変更することにより空中像３０の奥行方向の位置が変化する場合の方が、正確に距離を知覚することが可能である。そのため、第４の実施の形態の変形例２の表示装置１は、キャリブレーション処理の際に、空中像３０の移動量が所定値を超えるときに表示位置変更部５００が表示器１１を移動させ、空中像３０の移動量が所定値以下のときに画像生成部２０１が視差画像の視差量を変更する。
【０２７２】
図４２のフローチャートを用いて、第４の実施の形態の変形例２の表示装置１のキャリブレーション処理について説明する。なお、図４２のフローチャートはステップＳ９３０〜ステップＳ９４１を示し、それ以降のステップは省略した。ステップＳ９４１以降の処理は、図１０に示すフローチャートのステップＳ７以降の処理と同様である。
【０２７３】
ステップＳ９３０〜ステップＳ９３６までの各処理は、第４の実施の形態の図３９のフローチャートのステップＳ９１０〜ステップＳ９１６までの各処理と同様である。ステップＳ９３６が否定判定されて進んだステップＳ９３７では、到達位置と検出基準４０との間の距離に基づいて、空中像３０の移動量を算出してステップＳ９３８へ進む。ステップＳ９３８では、算出された空中像３０の移動量が所定値を超えているか否かを判定する。移動量が所定値を超えていると判定された場合には、ステップＳ９３８が肯定判定されてステップＳ９３９へ進む。ステップＳ９３９では、表示位置変更部５００が表示器１１を移動させてステップＳ９４１へ進む。移動量が所定値以下の場合には、ステップＳ９３８が否定判定されてステップＳ９４０へ進む。ステップＳ９４０では、画像生成部２０１がアイコン３０Ａの表示態様を変更してステップＳ９４１へ進む。ステップＳ９２１では、第１のキャリブレーション処理モードを終了する。
なお、第２のキャリブレーション処理モードを実行する場合には、第１の実施の形態にて用いた図１２のフローチャートにおいて、ステップＳ２６〜ステップＳ２８の処理に代えて、図４２のステップＳ９３７〜ステップＳ９４０の処理を行えばよい。また、図１２のステップＳ２９、ステップＳ３０、ステップＳ３２の処理に代えて、図４２のフローチャートに示すステップＳ９３７〜ステップＳ９４０の処理を行えばよい。
【０２７４】
なお、キャリブレーション処理の際に限らず、空中像操作モードの場合にも、表示装置１は、ユーザの操作に基づいて空中像３０を移動させる際に、空中像３０の移動量に基づいて、表示器１１の移動による制御と、視差画像の視差量の変更による制御とを切り替えてよい。たとえば、ユーザの操作が空中像３０を３０ｃｍ移動させるような場合には、表示位置変更部５００は表示器１１を移動させる。ユーザの操作が空中像３０を１ｍｍ移動させるような場合には、画像生成部２０１は視差画像の視差量を変更する。
【０２７５】
また、第４の実施の形態の変形例２の表示装置１が行う制御を、第１の実施の形態とその変形例や第２の実施の形態や第３の実施の形態とその変形例に適用することができる。すなわち、空中像３０、３００の移動量が所定値を超えるときに表示位置変更部５００が表示器１１を移動させ、空中像３０、３００の移動量が所定値以下のときに画像生成部２０１がアイコン３０Ａ、３００Ａの表示態様を変更すればよい。
【０２７６】
なお、上述の第４の実施の形態とその変形例１〜２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第４の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第４の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第４の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
【０２７７】
以上で説明した全ての実施の形態と全ての変形例の表示装置１が空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。
【０２７８】
表示装置１が空中像３０の位置を移動させるために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０２７９】
なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
【０２８０】
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０２８１】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【０２８２】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１２８２０９号（２０１６年６月２８日出願）
【符号の説明】
【０２８３】
１…表示装置、１１…表示器、１２…結像光学系、１３…操作検出器、
１４…集音器、１５…検出器、１８…撮像装置、２０…制御部、１０３…表示器、
２０１…画像生成部、２０２…表示制御部、２０３…キャリブレーション部、
２０４…検出基準制御部、２０６…速度・加速度検出部、２０７…到達位置予測部、
２０８…音声検出部、２０９…指標表示制御部、２１０…画像解析部、
２２０…表示位置制御部、２２１…ユーザ判定部、５００…表示位置変更部
【図１】
2018003859.tif 000003
【図２】
2018003859.tif 000004
【図３】
2018003859.tif 000005
【図４】
2018003859.tif 000006
【図５】
2018003859.tif 000007
【図６】
2018003859.tif 000008
【図７】
2018003859.tif 000009
【図８】
2018003859.tif 000010
【図９】
2018003859.tif 000011
【図１０】
2018003859.tif 000012
【図１１】
2018003859.tif 000013
【図１２】
2018003859.tif 000014
【図１３】
2018003859.tif 000015
【図１４】
2018003859.tif 000016
【図１５】
2018003859.tif 000017
【図１６】
2018003859.tif 000018
【図１７】
2018003859.tif 000019
【図１８】
2018003859.tif 000020
【図１９】
2018003859.tif 000021
【図２０】
2018003859.tif 000022
【図２１】
2018003859.tif 000023
【図２２】
2018003859.tif 000024
【図２３】
2018003859.tif 000025
【図２４】
2018003859.tif 000026
【図２５】
2018003859.tif 000027
【図２６】
2018003859.tif 000028
【図２７】
2018003859.tif 000029
【図２８】
2018003859.tif 000030
【図２９】
2018003859.tif 000031
【図３０】
2018003859.tif 000032
【図３１】
2018003859.tif 000033
【図３２】
2018003859.tif 000034
【図３３】
2018003859.tif 000035
【図３４】
2018003859.tif 000036
【図３５】
2018003859.tif 000037
【図３６】
2018003859.tif 000038
【図３７】
2018003859.tif 000039
【図３８】
2018003859.tif 000040
【図３９】
2018003859.tif 000041
【図４０】
2018003859.tif 000042
【図４１】
2018003859.tif 000043
【図４２】
2018003859.tif 000044
【国際調査報告】
2018003859.tif 000045
2018003859.tif 000046
2018003859.tif 000047
2018003859.tif 000048