(57)【要約】【課題】近接タッチパネルを用いて高精度に多様な処理を行うことができる電子機器を提供する。【解決手段】物体の接近及び接触を入力として検知する入力検知部と、検知された入力の座標を検知する座標検知部と、所定の機能を実現するアプリケーションを実行するアプリケーション実行部と、座標検知部により検知された入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、実行中のアプリケーションを段階的に制御する制御部と、を備える。【選択図】図１
2013175174.tif 000002
【特許請求の範囲】
【請求項１】
物体の接近及び接触を入力として検知する入力検知部と、
前記入力検知部により検知された入力の座標を検知する座標検知部と、
所定の機能を実現するアプリケーションを実行するアプリケーション実行部と、
前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記アプリケーション実行部により実行中のアプリケーションを段階的に制御する制御部と、
を備える電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記制御部は、前記Ｚ座標に基づいて、前記アプリケーションを制御するための制御量を決定する電子機器。
【請求項３】
請求項１または２に記載の電子機器であって、
前記制御部は、前記Ｚ座標に基づいて、表示部による表示を制御する電子機器。
【請求項４】
請求項３に記載の電子機器であって、
前記制御部は、前記Ｚ座標に基づいて、前記表示部によるレイヤ構造を伴う表示を制御する電子機器。
【請求項５】
請求項１または２に記載の電子機器であって、
前記制御部は、前記Ｚ座標に基づいて、前記アプリケーション実行部の処理対象のコンテンツに対する再生制御を行う電子機器。
【請求項６】
請求項１ないし５のいずれか１項に記載の電子機器であって、更に、
前記制御部により制御される前記アプリケーションの制御範囲を示す情報を表示する表示部を備える電子機器。
【請求項７】
請求項１ないし６のいずれか１項に記載の電子機器であって、
前記制御部は、前記座標検知部により検知されたＺ座標が第１の所定閾値よりも小さい第２の所定閾値以上前記第１の所定閾値未満である場合、前記入力検知部により接近が検知されたことを認識し、前記Ｚ座標が前記第２の所定閾値未満である場合、前記入力検知部により接触が検知されたことを認識する電子機器。
【請求項８】
物体の接近及び接触を入力として検知する入力検知部と、
前記入力検知部により検知された入力の座標を検知する座標検知部と、
前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、
を備え、
前記表示制御部は、前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する電子機器。
【請求項９】
請求項８に記載の電子機器であって、
前記表示制御部は、前記Ｚ座標に基づいて、前記画像の濃淡及びサイズの少なくとも一方を段階的に制御する電子機器。
【請求項１０】
請求項８または９に記載の電子機器であって、
前記表示制御部は、前記ＸＹ座標の位置を示唆する画像として、前記ＸＹ座標の位置を包囲する包囲線を表示するよう制御する電子機器。
【請求項１１】
請求項１０に記載の電子機器であって、
前記表示制御部は、前記ＸＹ座標の位置を基準位置として、前記Ｚ座標に基づいて、前記包囲線の表示を制御する電子機器。
【請求項１２】
請求項１０または１１に記載の電子機器であって、
前記表示制御部は、前記Ｚ座標が所定値以下となった際に、前記包囲線の表示を開始させ、前記包囲線のサイズが、第１の所定サイズから第２の所定サイズとなるよう制御する電子機器。
【請求項１３】
請求項１０または１１に記載の電子機器であって、
前記表示制御部は、前記Ｚ座標が小さくなる程、前記包囲線のサイズが小さくなるよう段階的に制御する電子機器。
【請求項１４】
請求項１０ないし１２のいずれか１項に記載の電子機器であって、
前記包囲線は、Ｚ座標に基づいて、前記包囲線が複数の方向から略同一の速度で接近する動的な画像である電子機器。
【請求項１５】
請求項８または９に記載の電子機器であって、
前記表示制御部は、前記ＸＹ座標の位置を示唆する画像として、ＸＹ座標の位置を指示する入力手段としての前記物体を表す画像を表示するよう制御する電子機器。
【請求項１６】
請求項１５に記載の電子機器であって、
前記表示制御部は、前記ＸＹ座標に基づいて、前記入力手段の画像の向きを制御する電子機器。
【請求項１７】
請求項１５または１６に記載の電子機器であって、
前記表示制御部は、前記ＸＹ座標の位置から所定距離オフセットした位置に前記画像を表示させる電子機器。
【請求項１８】
電子機器と表示装置とを含む入力システムであって、
前記電子機器は、
物体の接近及び接触を入力として検知する入力検知部と、
前記入力検知部により検知された入力の座標を検知する座標検知部と、
前記座標検知部により検知された座標に基づく座標情報を送信する送信部と、
を備え、
前記表示装置は、
前記電子機器からの座標情報を受信する受信部と、
前記受信部により受信された座標情報に基づいて、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、
を備え、
前記表示制御部は、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する入力システム。
【請求項１９】
電子機器における制御方法であって、
物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、
所定の機能を実現するアプリケーションを実行するステップと、
前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、実行中のアプリケーションを段階的に制御するステップと、
を有する制御方法。
【請求項２０】
電子機器における制御方法であって、
物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、
前記検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御ステップと、
を有し、
前記表示制御ステップでは、前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、入力システムおよび制御方法に関する。特に、物体の接近及び接触を入力として検知可能なタッチパネルを有する電子機器等に関する。
【背景技術】
【０００２】
近年のスマートフォンを代表とする様々な携帯端末や、パーソナルコンピュータ等の電子機器においては、入力操作用のデバイスとして表示画面に重ねて配置されたタッチパネルを備えているものが多い。また、タッチパネルを用いた一般的な入力デバイスにおいては、タッチパネルの表面に対するユーザの指の接触／非接触の２種類の状態に基づいて入力操作を検出している。
【０００３】
一方、スマートフォンのような携帯端末においては、種類が異なる様々な機能が備わっており、様々な機能の中からユーザが所望する機能をユーザの入力操作により選択的に実行できることが望ましい。しかし、一般的な入力デバイスでは、タッチパネルに対するタッチの有無だけでユーザの操作を識別しているので、様々な機能の中から所望の機能を選択して実行するために、ユーザは多くのタッチ操作を行わざるを得なかった。すなわち、ユーザからみて、操作性の良い入力デバイスではなかった。
【０００４】
また、例えば、特許文献１に開示されているように、非接触状態として近接状態と遠方状態とを判別可能な近接タッチパネルも知られている。特許文献１では、タッチパネルにより検出されたユーザの操作に基づき、接触状態、近接状態及び遠方状態のいずれの状態を判別し、ユーザが行った操作に対してディスプレイの表示を制御するための操作コマンドを決定することを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０３４５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、タッチパネルに対する指の近接状態と遠方状態との２種類だけを区別しているので、検出可能な指の動きは極めて限定的になる。また、状況によっては近接状態がタッチ状態とみなされ、誤操作につながる場合がある。また、ユーザがタッチパネルからタッチした指を若干離して操作したにも関わらず、装置側は離していないと認識して処理を行う場合があり、ユーザが意図する操作と装置が実行する動作とが一致しないため、操作性が悪くなる可能性がある。
【０００７】
本発明は、近接タッチパネルを用いて高精度に多様な処理を行うことができる電子機器、入力システムおよび制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、所定の機能を実現するアプリケーションを実行するアプリケーション実行部と、前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記アプリケーション実行部により実行中のアプリケーションを段階的に制御する制御部と、を備える。
【０００９】
この構成によれば、ユーザはタッチパネルを操作する指等の高さ（Ｚ座標）を使い分けることにより、操作の有無だけでなく、３段階以上の段階的な制御を使い分けることが可能になる。従って、高精度に多様な処理を行うことができる。
【００１０】
また、本発明の電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、を備え、前記表示制御部は、前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【００１１】
この構成により、接近後にタッチすると予想される位置を推定できる。従って、タッチ精度を向上できるので、高精度に多様な処理を行うことができる。
【００１２】
また、本発明の入力システムは、電子機器と表示装置とを含む入力システムであって、前記電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、前記座標検知部により検知された座標に基づく座標情報を送信する送信部と、を備え、前記表示装置は、前記電子機器からの座標情報を受信する受信部と、前記受信部により受信された座標情報に基づいて、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、を備え、前記表示制御部は、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【００１３】
この構成により、接近後にタッチすると予想される位置を推定できる。従って、タッチ精度を向上できるので、高精度に多様な処理を行うことができる。
【００１４】
また、本発明の制御方法は、物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、所定の機能を実現するアプリケーションを実行するステップと、前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、実行中のアプリケーションを段階的に制御するステップと、を有する。
【００１５】
この方法によれば、ユーザはタッチパネルを操作する指等の高さ（Ｚ座標）を使い分けることにより、操作の有無だけでなく、３段階以上の段階的な制御を使い分けることが可能になる。従って、高精度に多様な処理を行うことができる。
【００１６】
また、本発明の制御方法は、電子機器における制御方法であって、物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、前記検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御ステップと、を有し、前記表示制御ステップでは、前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【００１７】
この方法によれば、接近後にタッチすると予想される位置を推定できる。従って、タッチ精度を向上できるので、高精度に多様な処理を行うことができる。
【発明の効果】
【００１８】
本発明によれば、近接タッチパネルを用いて高精度に多様な処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における電子機器の構成例を示すブロック図
【図２】（Ａ），（Ｂ）本発明の実施形態における電子機器による画面表示の第１制御例を示す模式図
【図３】（Ａ），（Ｂ）本発明の実施形態における電子機器による画面表示の第２制御例を示す模式図
【図４】（Ａ），（Ｂ）本発明の実施形態における電子機器による画面表示の第３制御例を示す模式図
【図５】（Ａ），（Ｂ）本発明の実施形態における電子機器による画面表示の第４制御例を示す模式図
【図６】（Ａ）〜（Ｃ）本発明の実施形態における電子機器による画面表示の第５制御例を示す模式図
【図７】（Ａ），（Ｂ）本発明の実施形態における電子機器による画面表示の第６制御例を示す模式図
【図８】（Ａ）〜（Ｃ）本発明の実施形態における電子機器による画面表示の第７制御例を示す模式図
【図９】（Ａ）〜（Ｃ）は図８（Ａ）〜（Ｃ）の状態におけるタッチパネルの操作面からの指等の高さを示す模式図
【図１０】本発明の実施形態における電子機器による画面表示の第８制御例を示す模式図
【図１１】（Ａ）〜（Ｄ）本発明の実施形態における電子機器による画面表示の第９制御例を示す模式図
【図１２】（Ａ）〜（Ｄ）は図１１（Ａ）〜（Ｄ）の状態におけるタッチパネルの操作面からの指等の高さを示す模式図
【図１３】（Ａ）〜（Ｅ）本発明の実施形態における電子機器による画面表示の第１０制御例を示す模式図
【図１４】（Ａ）〜（Ｅ）は図１３（Ａ）〜（Ｅ）の状態におけるタッチパネルの操作面からの指等の高さを示す模式図
【図１５】本発明の実施形態における各制御例における制御内容の一例を示す模式図
【図１６】（Ａ）〜（Ｃ）本発明の実施形態における操作コマンド設定部の動作例を示すフローチャート
【図１７】（Ａ）〜（Ｄ）本発明の実施形態におけるタッチパネルの操作面からの指等の高さと認識される状態との対応関係の具体例を示す模式図
【図１８】本発明の第２，第３の実施形態における電子機器の構成例を示すブロック図
【図１９】（Ａ）〜（Ｃ）本発明の第２の実施形態における電子機器による画面表示の制御例を示す模式図
【図２０】本発明の第２の実施形態における電子機器の入力動作例を示すフローチャート
【図２１】本発明の第３の実施形態における指画像テーブルの登録内容の一例を示す模式図
【図２２】（Ａ）〜（Ｃ）本発明の第３の実施形態における電子機器による画面表示の制御例を示す模式図
【図２３】電子機器２００の入力動作手順を示すフローチャート
【図２４】本発明の第４の実施形態における入力システムの構成例を示すブロック図
【図２５】（Ａ）〜（Ｃ）本発明の第４の実施形態における電子機器による画面表示の制御例を示す模式図
【図２６】本発明の第４の実施形態における電子機器の動作例を示すフローチャート
【図２７】本発明の第４の実施形態におけるディスプレイ装置の動作例を示すフローチャート
【発明を実施するための形態】
【００２０】
本発明の実施形態について、図面を参照しながら以下に説明する。
【００２１】
（第１の実施形態）
図１は本発明の実施形態における電子機器の構成例を示す図である。図１に示すように、この電子機器１００は、状態判別部１０、タッチパネル１５、記憶部２０、状態変化識別部３０、操作コマンド設定部４０、画面表示制御部５０、アプリケーション実行部７０、および表示部６０を有して構成される。
【００２２】
なお、電子機器１００は、例えばスマートフォン、携帯電話端末、携帯型情報端末、携帯型音楽プレーヤ、パーソナルコンピュータなど様々な機器に組み込んで製品化することが想定される。また、電子機器１００の主要な制御系については、専用のハードウェアで構成することもできるし、マイクロコンピュータを主体として構成することもできる。マイクロコンピュータを用いる場合には、予め用意した制御プログラムを読み込んでマイクロコンピュータで実行することにより、必要な機能を実現することができる。
【００２３】
表示部６０は、例えば液晶表示パネルのように、文字、図形、画像などの様々な可視情報を表示可能な表示画面を有する表示デバイスにより構成される。
【００２４】
タッチパネル１５は、ユーザがタッチ可能な透明な操作面を有しており、表示部６０の表示画面と重ねた状態で配置される。このタッチパネル１５は、操作面にユーザの指又はその他の物体（以下、指等という）がタッチした状態だけでなく、近接した状態であっても指等の位置を検出できる。
【００２５】
状態判別部１０は、タッチパネル１５の状態の検出により、ユーザの操作状態の判別に利用可能な情報を出力する。すなわち、タッチパネル１５の操作面に近接もしくは接触した指等の位置座標を表す情報を出力する。この位置座標には、タッチパネル１５の操作面に対して平行なＸ軸及びＹ軸の方向の位置と、Ｘ軸、Ｙ軸と直交するＺ軸方向の位置とが含まれている。Ｚ軸方向の位置は、操作面から指等の位置までの距離、あるいは操作面に対する指等の高さに相当する。ここでは、実際のＺ軸方向の位置の値は、タッチの状態で１００％の値、指等が遠方にある状態で０％の値になり、指等が近接した状態では中間的な値（例えば５０％）になることを想定する。状態判別部１０が出力するＺ軸方向の位置の値は、指等の位置の変化に対して線形に変化する。状態判別部１０は、座標検知部の一例である。
【００２６】
状態判別部１０から、例えば一定の時間間隔で、最新の指等の位置を表す各軸（Ｘ，Ｙ，Ｚ）の座標値が出力される。記憶部２０は、状態判別部１０から時系列で順次に出力される指等の位置を表す座標値を時刻ｔに対応付けて記憶する。つまり、ある時刻ｔにおける指等の位置の座標値は、Ｘ軸方向の位置Ｘ（ｔ）と、Ｙ軸方向の位置Ｙ（ｔ）と、Ｚ軸方向の位置Ｚ（ｔ）と、で表される。
【００２７】
状態変化識別部３０は、複数の時刻でそれぞれ検出された指等の位置の座標値を、記憶部２０から読み出し、この座標値の変化に基づいて、ユーザの操作、すなわち指等の動きに関する状態変化を識別する。具体的には、最新の指等の位置（Ｚ軸方向の高さを含む）と、指等の移動方向と、Ｘ，Ｙ，Ｚ各軸方向の指等の移動速度と、を識別する。
【００２８】
また、状態変化識別部３０は、指等の位置とＺ軸方向の所定間隔で設けられる複数の閾値との比較を行う。この比較結果に応じて、段階的な制御を行うことが可能となる。
【００２９】
操作コマンド設定部４０は、電子機器１００の様々な機能を実現するアプリケーションに対してユーザ操作を反映するための操作コマンドを、状態変化識別部３０が出力する情報に基づいて決定する。また、操作コマンド設定部４０は、後述するように、Ｚ軸方向の位置Ｚ（ｔ）の違いに応じて段階的な制御するように、操作コマンドを生成する。つまり、操作コマンド設定部４０は、電子機器１００における各種動作の制御を行うものである。操作コマンド設定部４０は、制御部の一例である。
【００３０】
アプリケーション実行部７０は、ユーザの指定したアプリケーションや、所定の設定により起動されたアプリケーションなどを実行する。具体的なアプリケーションとしては、動画や音楽などのコンテンツを再生するプレーヤや、ファイルの一覧などを表示するブラウザなど、様々なものが存在する。
【００３１】
なお、アプリケーションは必ずしもプログラムに限らないが、一般的には所定のオペレーティングシステム（基本プログラム）上で動作し、必要な機能を実現するアプリケーションプログラムとして構成される。また、アプリケーションを略して「アプリ」とも言う。
【００３２】
画面表示制御部５０は、アプリケーションの出力に従って、表示部６０の画面表示を制御する。タッチパネル１５に対するユーザの操作に従って操作コマンド設定部４０が操作コマンドを生成すると、この操作コマンドに従ってアプリケーションが制御される。このとき、アプリケーションの動作状態および出力に変化が生じる。この結果が画面表示制御部５０の制御により表示部６０の画面表示に反映される。
【００３３】
次に、ユーザ操作に伴うアプリ制御の具体例について説明する。
第１制御例〜第６制御例では、指等の高さ（タッチパネル１５と指等との距離，Ｚ（ｔ））の違いを画面表示に反映することを想定している。
【００３４】
図２（Ａ），（Ｂ）は電子機器１００による画面表示の第１制御例を示す図である。
【００３５】
図２（Ａ）では、ユーザの手１１の指等の位置Ｐ１１がタッチパネル１５の操作面から比較的離れている。一方、図２（Ｂ）では、ユーザの手１１の指等の位置Ｐ１２がタッチパネル１５の操作面に比較的近い。また、図２（Ｂ）では、表示部６０には操作対象６１が表示されているが、図２（Ａ）では、表示部６０には操作対象６１が表示されていない。
【００３６】
つまり、図２（Ａ）の状態から図２（Ｂ）の状態になるように、ユーザが指等をタッチパネル１５に近づけると、電子機器１００はこれを操作として認識する。そして、画面表示制御部５０は、操作対象６１を画面上に表示させる。
【００３７】
逆に、図２（Ｂ）の状態から図２（Ａ）の状態になるように、ユーザが指等をタッチパネル１５から遠ざけると、電子機器１００はこれを操作として認識する。そして、画面表示制御部５０は、操作対象６１を画面上から消去する。
【００３８】
操作対象６１の代表例としては、メニュー、ボタン、ポップアップメニュー（ｐ．ｕ．）、キャラクタなど、予め定めた表示可能なオブジェクトが想定される。
【００３９】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図２（Ａ），（Ｂ）のような結果が得られる。
【００４０】
図３（Ａ），（Ｂ）は電子機器１００による画面表示の第２制御例を示す図である。
【００４１】
図３（Ａ）では、ユーザの手１１の指等の位置Ｐ１１がタッチパネル１５の操作面から比較的離れている。一方、図３（Ｂ）では、ユーザの手１１の指等の位置Ｐ１２がタッチパネル１５の操作面に比較的近い。また、図３（Ａ）では、表示部６０には操作対象６１Ａが表示され、図３（Ｂ）では、表示部６０には操作対象６１Ｂが表示されている。操作対象６１Ａ，６１Ｂは同じものであるが、画面上の表示サイズが異なっている。
【００４２】
つまり、図３（Ａ）の状態から図３（Ｂ）の状態になるように、ユーザが指等をタッチパネル１５に近づけると、電子機器１００はこれを操作と認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６１Ａの大きさを、指等の高さが低くなるにつれて、段階的に又はほぼ連続的に大きくする。
【００４３】
逆に、図３（Ｂ）の状態から図３（Ａ）の状態になるように、ユーザが指等の位置をタッチパネル１５から遠ざけると、電子機器１００はこれを操作と認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６１Ｂの大きさを、指等の高さが高くなるにつれて、段階的に又はほぼ連続的に小さくする。
【００４４】
操作対象６１Ａ，６１Ｂの代表例としては、文字、ボタン、地図、サイトなどの表示可能なオブジェクトが想定される。
【００４５】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図３（Ａ），（Ｂ）のような結果が得られる。
【００４６】
図４（Ａ），（Ｂ）は電子機器１００による画面表示の第３制御例を示す図である。
【００４７】
図４（Ａ）では、ユーザの手１１の指等の位置Ｐ１１がタッチパネル１５の操作面から比較的離れている。図４（Ｂ）では、ユーザの手１１の指等の位置Ｐ１２がタッチパネル１５の操作面に比較的近い。また、図４（Ａ）では、表示部６０には操作対象６１Ｃが表示され、図４（Ｂ）では、表示部６０には操作対象６１Ｄが表示されている。操作対象６１Ｃ，６１Ｄは同じものであるが、画面上の表示色が異なっている。
【００４８】
つまり、図４（Ａ）の状態から図４（Ｂ）の状態になるように、ユーザが指等の位置Ｐ１１をタッチパネル１５に近づけると、電子機器１００はこれを操作と認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６１Ｃの表示色を、指等の高さに比例して段階的に又はほぼ連続的に変化させる。
【００４９】
逆に、図４（Ｂ）の状態から図４（Ａ）の状態になるように、ユーザが指等の位置をタッチパネル１５から遠ざけると、これを電子機器１００は操作として認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６１Ｄの表示色を、指等の高さに比例して段階的に又はほぼ連続的に変化させる。
【００５０】
操作対象６１Ｃ、６１Ｄの代表例としては、文字、キャラクタ、背景などの表示可能なオブジェクトが想定される。
【００５１】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図４（Ａ），（Ｂ）のような結果が得られる。
【００５２】
図５（Ａ），（Ｂ）は電子機器１００による画面表示の第４制御例を示す図である。
【００５３】
図５（Ａ）では、ユーザの手１１の指等の位置Ｐ１１がタッチパネル１５の操作面から比較的離れている。一方、図５（Ｂ）では、ユーザの手１１の指等の位置Ｐ１２がタッチパネル１５の操作面に比較的近い。また、図５（Ａ）では、表示部６０には操作対象６１Ｅが表示され、図５（Ｂ）では、表示部６０には操作対象６１Ｆが表示されている。操作対象６１Ｅ、６１Ｆは同じものであるが画面上の表示における透明度が異なっている。ここでの透明度とは、表示密度（パターンを塗りつぶす際のドットの密度）に相当する。
【００５４】
つまり、図５（Ａ）の状態から図５（Ｂ）の状態になるように、ユーザが指等の位置Ｐ１１をタッチパネル１５に近づけると、電子機器１００はこれを操作と認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６１Ｅの透明度を、指等の高さに比例して、段階的に又はほぼ連続的に変化させる。
【００５５】
逆に、図５（Ｂ）の状態から図５（Ａ）の状態になるように、ユーザが指等の位置Ｐ１２をタッチパネル１５から遠ざけると、電子機器１００はこれを操作とみなす。そして、画面表示制御部５０は、操作対象６１Ｆの透明度を、指等の高さに比例して、段階的に又はほぼ連続的に変化させる。
【００５６】
操作対象６１Ｅ，６１Ｆの代表例としては、前景、ボタン、文字、キャラクタ、メニューなどの表示可能なオブジェクトが想定される。
【００５７】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図５（Ａ），（Ｂ）のような結果が得られる。
【００５８】
図６（Ａ），（Ｂ）は電子機器１００による画面表示の第５制御例を示す図である。
図６（Ａ），（Ｂ）では、例えば、本（電子書籍）のような操作対象が画面上に表示されている状態で、操作対象のページをめくる状況を想定している。
【００５９】
図６（Ａ）の状態では、ユーザの手１１の指等の位置Ｐ２１がタッチパネル１５の操作面にタッチしている。この状態から、ページをめくるように、つまりユーザの手１１の指等の位置を中央のＰ２２、右側のＰ２３のように移動すると、画面上の表示が操作対象６２Ａ，６２Ｂ，６２Ｃのように変化する。
【００６０】
図６（Ｂ）の指等の位置Ｐ２２、図６（Ｃ）の指等の位置Ｐ２３では、指等はタッチパネル１５の操作面から離れた状態（ホバー状態）であり、指等の位置（Ｘ（ｔ），Ｙ（ｔ），Ｚ（ｔ））に追従するように、操作対象６２Ｂ、６２Ｃの立体的な表示形態が変化する。つまり、操作対象６２Ａ，６２Ｂ，６２Ｃは基本的に同じものであるが、画面上に表示される立体形状が異なる。画面表示制御部５０は、操作する指等の位置Ｐ２１，Ｐ２２，Ｐ２３（Ｘ（ｔ），Ｙ（ｔ），Ｚ（ｔ））に追従するように、操作対象の表示形態を、段階的に又はほぼ連続的に変化させる。
【００６１】
操作対象６２Ａ，６２Ｂ，６２Ｃの代表例としては、複数ページの重なりにより構成される本や、重ねられた複数枚のカードなど、めくることが可能で、めくることにより状態が変化する表示可能なオブジェクトが想定される。
【００６２】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図６（Ａ），（Ｂ）のような結果が得られる。
【００６３】
図７（Ａ），（Ｂ）は電子機器１００による画面表示の第６制御例を示す図である。
【００６４】
図７（Ａ）では、ユーザの手１１の指等の位置Ｐ１１がタッチパネル１５の操作面から比較的離れている。一方、図７（Ｂ）では、ユーザの手１１の指等の位置Ｐ１２がタッチパネル１５の操作面に比較的近い。また、図７（Ａ）では、表示部６０には操作対象６３Ａが表示され、図７（Ｂ）では、表示部６０には操作対象６３Ｂが表示されている。操作対象６３Ａ，６３Ｂは、例えば同じ書式の文字を用いたメッセージであり、メッセージの内容が互いに異なっている。図７（Ａ），（Ｂ）に示す例では、メッセージが示す意味が異なっている。
【００６５】
つまり、図７（Ａ）の状態から図７（Ｂ）の状態になるように、ユーザが指等の位置をタッチパネル１５に近づけると、電子機器１００はこれを操作として認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６３Ａのメッセージの内容「高い」を指等の高さに応じて変更し、操作対象６３Ｂのように「低い」に変化させる。つまり意味的に変化している。
【００６６】
逆に、図７（Ｂ）の状態から図７（Ａ）の状態になるように、ユーザが指等の位置をタッチパネル１５から遠ざけると、電子機器１００はこれを操作と認識する。そして、画面表示制御部５０は、画面上に表示されている操作対象６３Ｂのメッセージの内容「低い」を指等の高さに応じて変更し、操作対象６３Ａのように「高い」に変化させる。つまり意味的に変化している。
【００６７】
図７（Ａ），（Ｂ）に示した例では、操作対象６３Ａ，６３Ｂが文字のメッセージの場合を想定したが、これ以外であってもよい。例えば、ボタン、キャラクタ、メニューなどの表示可能なオブジェクトを操作対象６３Ａ，６３Ｂと同じように扱うことも想定される。
【００６８】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図７（Ａ），（Ｂ）のような結果が得られる。
【００６９】
次に、第７制御例〜第８制御例では、操作対象が階層（レイヤ）構造を有する場合に、指等の高さの違いを画面表示に反映することを想定する。
【００７０】
図８（Ａ）〜（Ｃ）は電子機器１００による画面表示の第７制御例を示す図である。
図９（Ａ）〜（Ｃ）は、図８（Ａ）〜（Ｃ）の各々の状態における指等の高さを示す図である。
【００７１】
図８（Ａ）〜（Ｃ），図９（Ａ）〜（Ｃ）に示した例では、階層構造を有する操作対象６４が画面上に表示されている状態で、操作対象６４をユーザが操作することを想定している。例えば、複数枚で構成される本の場合には、この本の１枚（ページ）ごとにオブジェクトを階層的に扱う。図８（Ａ）〜（Ｃ）では、互いに階層が異なる複数枚のオブジェクトを積層した集合体として操作対象６４の候補が構成されている。
【００７２】
図８（Ａ）では、操作対象６４の候補のうち最上部の階層の１枚のオブジェクト６４ａだけが操作対象として選択されている。図８（Ｂ）では、操作対象６４の候補のうち上から数枚の階層のオブジェクト６４ｂが操作対象として選択されている。図８（Ｃ）では、操作対象６４の候補の全ての階層のオブジェクト６４ｃが操作対象として選択されている。
【００７３】
図８（Ａ）の状態では、図９（Ａ）のようにユーザの手１１の指等の位置Ｐ３１が、比較的高い位置にある。また、図８（Ｃ）の状態では、図９（Ｃ）のようにユーザの手１１の指等の位置Ｐ３３が、低い位置（ここでは操作面にタッチした状態）にある。また、図８（Ｂ）の状態では、図９（Ｃ）のようにユーザの手１１の指等の位置Ｐ３２が、位置Ｐ３１と位置Ｐ３３との中間的な高さにある。
【００７４】
つまり、図８（Ａ）〜（Ｃ），図９（Ａ）〜（Ｃ）のように、階層構造を有する操作対象６４に対して移動やめくりなどの操作をユーザが行うときに、操作コマンド設定部４０が、ユーザの指等のＺ座標とオブジェクトの階層とを対応付けて、操作対象として選択する範囲（階層の深さ）を切り替える。
【００７５】
従って、ユーザは操作する指等の高さを調整することにより、図８（Ａ）のように、操作対象６４の最上部の１枚だけをめくり操作の対象として選択することができる。また、図８（Ｂ）のように、操作対象６４の上部の数枚だけを選択することができる。また、図８（Ｃ）のように、操作対象６４の全体を選択することができる。
【００７６】
操作対象６４としては、プリント、本、カードなどのように、階層構造を有するオブジェクトの集合として構成されるものが想定される。
【００７７】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図８（Ａ）〜（Ｃ）のような結果が得られる。
【００７８】
図１０は電子機器１００による画面表示の第８制御例を示す図である。
【００７９】
図１０では、例えば、階層構造を有する操作対象６５が画面上に表示されている状態で、ユーザが操作対象６５に対して消しゴムの機能（消去）を適用する操作を行うことを想定している。
【００８０】
操作対象６５が階層構造を有する画像の場合には、複数の階層に区別して、描画する内容を分けることができる。例えば、最下層には背景画像を描画し、中間層には本体画像を描画し、最上層には文字画像を描画することが考えられる。この場合、描画の途中あるいは描画後に消しゴムの機能を使って部分的な消去を行う必要が生じることがある。
【００８１】
図１０に示す例では、ユーザが消しゴムの機能を利用して操作する場合に、操作コマンド設定部４０が、ユーザの手１１の指等の位置、特にＺ（ｔ）に応じて、操作対象６５の階層を選択する。つまり、ユーザの手１１の指等の位置が高い（Ｚ座標が大きい）場合には、操作対象６５の表層（最も上の階層）だけを消去の対象として選択する。また、指等の位置が中程度の高さである場合には、高さに応じて消去対象となる階層（表層から数枚など）を指定する。また、指等の位置が操作面上にある場合には、操作対象６５の全ての階層を消去対象として選択する。
【００８２】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図１０のような結果が得られる。
【００８３】
次に、第９制御例では、操作対象が時間に関する情報を制御することを想定する。
【００８４】
図１１（Ａ）〜（Ｄ）は電子機器１００による画面表示の第９制御例を示す図である。
図１２（Ａ）〜（Ｄ）は、図１１（Ａ）〜（Ｄ）の各々の状態における指等の高さを示す図である。
【００８５】
図１１（Ａ）〜（Ｄ）に示す例では、時間に関する情報を制御可能な操作対象６６を操作することを想定している。操作対象６６の代表例として、動画のコンテンツが想定される。動画のコンテンツを再生する場合には、様々なシーンの画像が時系列で並んでいるので、再生するシーンの位置を移動することで、時間に関する情報を制御する。
【００８６】
図１１（Ａ），図１２（Ａ）では、ユーザの手１１の指等の位置Ｐ４１の操作面からの高さが高い（Ｚ座標が大きい）場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、例えば±数秒の単位で動画の再生位置を移動（シーク：送り又は戻し）させる。つまり、図１１（Ａ）の状態では、コンテンツが少しシークされる。
【００８７】
また、図１１（Ｂ），図１２（Ｂ）では、ユーザの手１１の指等の位置Ｐ４２が図１２（Ａ）の状態よりも少し操作面に近い場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、例えば±数十秒の単位で動画の再生位置を移動させる。つまり、図１１（Ｂ）の状態では、コンテンツが中程度シークされる。
【００８８】
また、図１１（Ｃ），図１２（Ｃ）では、ユーザの手１１の指等の位置Ｐ４３が図１２（Ｂ）の状態よりも少し操作面に近い場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、例えば±数分の単位で動画の再生位置を移動させる。つまり、図１１（Ｃ）の状態では、コンテンツが多くシークされる。
【００８９】
また、図１１（Ｄ），図１２（Ｄ）では、ユーザの手１１の指等の位置Ｐ４４が操作面に接触している場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、操作対象の動画の最初又は最後の位置まで再生位置を移動させたり、操作対象の動画のコンテンツを前の動画や次の動画に切り替えたりする。
【００９０】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図１１（Ａ）〜（Ｄ）のような結果が得られる。
【００９１】
次に、第９制御例では、操作面からの高さの異なる領域毎に種類の異なる操作が割り当てられることをする。
【００９２】
図１３（Ａ）〜（Ｅ）は電子機器１００による画面表示の第１０制御例を示す図である。図１４（Ａ）〜（Ｅ）は、図１３（Ａ）〜（Ｅ）の各々の状態における指等の高さを示す図である。
【００９３】
図１３（Ａ）〜（Ｅ），図１４（Ａ）〜（Ｅ）に示す例では、図１１（Ａ）〜（Ｄ）の例と同様に、動画のコンテンツのように時間に関する情報を制御可能な操作対象６６を操作する場合を想定している。また、操作対象６６の他にも同様の視聴可能な様々なコンテンツ６６Ａ，６６Ｂが存在することを想定している。
【００９４】
図１３（Ａ），図１４（Ａ）では、ユーザの手１１の指等の位置Ｐ５１の操作面からの高さが高い場合（Ｚ座標が大きい）には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、例えば±数秒の単位で動画の再生位置を移動させる。
【００９５】
また、図１３（Ｂ），図１４（Ｂ）では、ユーザの手１１の指等の位置Ｐ５２が図１４（Ａ）の状態よりも少し操作面に近い場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、例えば±数十秒の単位で動画の再生位置を移動させる。
【００９６】
また、図１３（Ｃ），図１４（Ｃ）では、ユーザの手１１の指等の位置Ｐ５３が図１４（Ｂ）の状態よりも少し操作面に近い場合には、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、操作対象の動画の最初又は最後の位置まで再生位置を移動させたり（シーク操作）、操作対象の動画のコンテンツを前の動画や次の動画に切り替えたりする。
【００９７】
また、図１３（Ｄ），図１４（Ｄ）では、ユーザの手１１の指等の位置Ｐ５４が図１４（Ｃ）の状態よりも少し操作面に近い場合、又は、図１３（Ｅ），図１４（Ｅ）に示すように、ユーザの手１１の指等の位置Ｐ５５が操作面に接触している場合、図中の矢印の方向（又は反対方向）に指等を移動する。この場合、アプリケーション実行部７０は、操作対象のコンテンツを切り替える。
【００９８】
指等の位置が位置Ｐ５４の場合には、アプリケーション実行部７０は、操作対象６６の候補として順番に並んで配置された多数のコンテンツにおいて、複数個のコンテンツ単位で移動させる。
【００９９】
指等の位置が位置Ｐ５５の場合には、アプリケーション実行部７０は、操作対象６６の候補として順番に並んで配置された多数のコンテンツにおいて、先頭のコンテンツ又は最後のコンテンツに移動させ、そのコンテンツを操作対象のコンテンツとして選択する。
【０１００】
この例では、指等の高さ方向の位置の範囲が、図１４に示すように制御用の複数の領域Ａ１、Ａ２に区分されている。領域Ａ１は、再生中の動画コンテンツの再生位置をシークするコマンドに対応付けられている。領域Ａ２は、操作対象として選択する動画のコンテンツを切り替えるコマンドに対応付けられている。
【０１０１】
すなわち、図１４（Ａ）〜（Ｅ）に示すように、指等のＺ座標が位置Ｐ５１，Ｐ５２，Ｐ５３のように領域Ａ１内にある時には、この範囲内のＺ（ｔ）の違いに応じて再生する位置のシーク操作量を切り替える。また、指等の位置が位置Ｐ５３，Ｐ５４，Ｐ５５のように領域Ａ２内にある時には、この範囲内の高さの違いに応じて操作対象として選択するコンテンツを切り替えるためのコンテンツ単位の送り量を変更する。領域Ａ１，Ａ２は、例えば閾値を設けることで判別可能である。
【０１０２】
このような制御が実行されるように、操作コマンド設定部４０が、検出された指等の位置、特にＺ（ｔ）に応じて操作コマンドを生成し、アプリケーション実行部７０がアプリケーションを制御する。アプリケーションの制御の結果が、画面表示制御部５０の制御により表示部６０の画面表示に反映され、図１３（Ａ）〜（Ｅ）のような結果が得られる。
【０１０３】
次に、電子機器１００が実行するアプリケーションの制御の制御内容について説明する。
【０１０４】
図１５は、各制御例における制御内容の一例を示す図である。
図１５の左列に示した各制御内容は、図２（Ａ），（Ｂ）〜図７（Ａ），（Ｂ）に示した第１制御例〜第６制御例において適用可能な制御内容である。
【０１０５】
すなわち、Ｚ（ｔ）に応じた制御内容（操作内容）として、「表示の存在の有無を変える操作」、「表示の大きさを変える操作」、「表示の太さを変える操作」、「表示の色を変える操作」、「表示の透明度を変える操作」、「表示の濃度を変える操作」、「グラフィックの表示形態を変える操作」、「表示の種類（内容）を変える操作」、「表示の明るさを変える操作」、「音の存在の有無を変える操作」、「音量を変える操作」、「音色を変える操作」、「音の高さ（周波数）を変える操作」、「テンポを変える操作」、「リズムを変える操作」、「音の種類（内容）を変える操作」、「振動を変える操作」、などを割り当てることが可能である。
【０１０６】
図１５の中列に示した各制御内容は、図８（Ａ）〜（Ｃ）〜図１０に示した第７制御例〜第８制御例において適用可能な制御内容である。
【０１０７】
すなわち、Ｚ（ｔ）に応じた制御内容（操作内容）として、「複数冊の本をめくる操作」、「ページをめくる操作」、「カードをめくる操作」、「複数の音楽アルバムを送る操作」、「複数の楽曲を送る操作」、「消しゴムの操作対象の深さを変える操作」、「描画対象の深さを変える操作」、などを割り当てることが可能である。
【０１０８】
図１５の右列に示した各制御内容は、図１１（Ａ）〜（Ｄ），図１２（Ａ）〜（Ｄ）に示した第９制御例において適用可能な制御内容である。
【０１０９】
すなわち、Ｚ（ｔ）に応じた制御内容（操作内容）として、「同一コンテンツ内で再生位置を変える操作」、「複数のコンテンツの中で再生位置を変える操作」、「コンテンツの移動量を変える操作」などを割り当てることが可能である。
【０１１０】
次に、操作コマンド設定部４０の動作例について説明する。
図１６（Ａ）〜（Ｃ）は、操作コマンド設定部４０の動作例を示すフローチャートである。
【０１１１】
図１６（Ａ）は、電子機器１００の第１動作例を示すフローチャートである。図１６（Ａ）は、先に説明した第１制御例〜第６制御例における動作例である。
【０１１２】
操作する指等の位置の高さを画面表示に反映する場合には、操作コマンド設定部４０は、ステップＳ１０の処理を行う。すなわち、Ｚ座標の値（つまりＺ（ｔ））をパラメータとして利用する表示制御用の操作コマンド「Ｖｉｓｕａｌｉｚｅ（Ｚ）」を生成し、この操作コマンドをアプリケーション実行部７０および画面表示制御部５０に与える。アプリケーション実行部７０および画面表示制御部５０は、この操作コマンドの実行結果を操作対象に反映する。操作対象としては、例えば図１５に示した「存在の有無」、「大きさ」、「太さ」、「色」がある。
【０１１３】
図１６（Ｂ）は、電子機器１００の第２動作例を示すフローチャートである。図１６（Ｂ）は、先に説明した第７制御例〜第９制御例における動作例である。
【０１１４】
レイヤ構造を有する操作対象や時間軸の制御が可能な操作対象を扱う場合には、操作コマンド設定部４０はステップＳ２０の処理を行う。すなわち、Ｚ座標の値をパラメータとして利用する操作コマンド「Ｖｉｓｕａｌｉｚｅ（Ｚ、Ｏｐｅｒａｔｅ（移動方向、移動速度、Ｚ））」を生成し、アプリケーション実行部７０および画面表示制御部５０に与える。アプリケーション実行部７０および画面表示制御部５０は、この操作コマンドの実行結果を操作対象に反映する。
【０１１５】
この操作コマンドは、コンテンツなどの操作対象を操作するためのコマンド［Ｏｐｅｒａｔｅ（）］と、表示制御用のコマンド[Ｖｉｓｕａｌｉｚｅ（）]と、の組み合わせで構成されている。すなわち、「Ｏｐｅｒａｔｅ（移動方向、移動速度、Ｚ）」は、指等の移動方向（Ｘ，Ｙ，Ｚ）と、移動速度（Ｘ，Ｙ，Ｚ）と、Ｚ座標の値と、に基づき、操作対象のコンテンツ等のページや時間軸を操作する。また、［Ｖｉｓｕａｌｉｚｅ（Ｚ、Ｏｐｅｒａｔｅ（））]は、「Ｏｐｅｒａｔｅ（）」の操作結果を表示に反映すると共に、操作の範囲を画面上で明示するために、Ｚ座標の値を利用してアプリケーションを制御する。
【０１１６】
例えば、図８（Ａ）のように、指等の位置Ｐ３１におけるＺ座標に基づき、最上部の１枚の操作対象のオブジェクト６４ａをめくる操作を行う場合には、この操作の選択範囲が操作対象のオブジェクト６４ａの１枚のみであることを明示する。例えば、一時的に表示色を変更することで、画面上で明示する。また、図８（Ｂ）のように、指等の位置Ｐ３２におけるＺ座標に基づき、上部の３枚の操作対象のオブジェクト６４ｂをめくる操作を行う場合には、これらの操作の選択範囲が操作対象のオブジェクト６４ｂの３枚であることを画面上で明示する。
【０１１７】
図１６（Ｃ）は、電子機器１００の第３動作例を示すフローチャートである。図１６（Ｃ）は、先に説明した第１０制御例における動作例である。
【０１１８】
指等の位置の高さに応じて実行すべき操作コマンドを切り替える場合には、ステップＳ３１において、操作コマンド設定部４０が、Ｚ座標の値（Ｚ（ｔ））を閾値（ｔｈｒｅｓｈｏｌｄ）と比較する。「Ｚ＞（ｔｈｒｅｓｈｏｌｄ）」の条件を満たす場合はステップＳ３２を実行し、満たさない場合はステップＳ３３を実行する。
【０１１９】
例えば、図１４（Ａ）〜（Ｅ）に示した状況において、指等の位置Ｐ５１〜Ｐ５５のＺ座標が、２種類の領域Ａ１，Ａ２のいずれに属するかを識別するために、領域Ａ１，Ａ２の境界に相当する閾値（ｔｈｒｅｓｈｏｌｄ）を用いて、ステップＳ３１において比較処理を行う。
【０１２０】
ステップＳ３２では、操作コマンド設定部４０が、Ｚ座標の値をパラメータとして利用する操作コマンド［Ｖｉｓｕａｌｉｚｅ（Ｚ、Ｏｐｅｒａｔｅ１（移動方向、移動速度、Ｚ））]を生成し、アプリケーション実行部７０および画面表示制御部５０に与える。アプリケーション実行部７０および画面表示制御部５０は、この操作コマンドの実行結果を操作対象に反映する。
【０１２１】
ステップＳ３３では、操作コマンド設定部４０が、Ｚ座標の値をパラメータとして利用する操作コマンド［Ｖｉｓｕａｌｉｚｅ（Ｚ、Ｏｐｅｒａｔｅ２（移動方向、移動速度、Ｚ））]を生成し、アプリケーション実行部７０および画面表示制御部５０に与える。アプリケーション実行部７０および画面表示制御部５０は、この操作コマンドの実行結果を操作対象に反映する。
【０１２２】
ステップＳ３２の処理とＳ３３の処理とでは、操作の種類が異なる。例えば、図１３（Ａ）〜（Ｅ），図１４（Ａ）〜（Ｅ）に示すような制御を実現する場合には、ステップＳ３２における「Ｏｐｅｒａｔｅ１（）」に領域Ａ１のシーク操作が割り当てられ、ステップＳ３３における「Ｏｐｅｒａｔｅ２（）」には、領域Ａ２のコンテンツ切替操作が割り当てられる。
【０１２３】
次に、各指等のタッチパネル１５からの高さに対応する各状態について説明する。
図１７（Ａ）〜（Ｄ）は、電子機器１００における指等の高さと認識される状態との対応関係の具体例を示す図である。
【０１２４】
例えば、一般的な二次元タッチパネルを用いてドラッグ／ドロップの操作を行う場合には、指等が接触状態であるか非接触であるかを区別することにより、ドラッグ状態とドロップ状態とを識別する。但し、指等の近接状態を検出可能な三次元タッチパネルを用いる場合には、操作面から指等がある程度離れないと非接触として認識しないことがある。例えば、ユーザが指等を操作面から離して非接触状態にしたつもりであっても、実際には接触状態が維持されている場合がある。つまり、「接触」状態と「非接触」状態との境界が曖昧になる。その結果、ドラッグ／ドロップなどの操作の際に位置ずれが発生する可能性がある。なお、ドロップの操作とは、接触状態から非接触状態に変更する操作である。
【０１２５】
正確な操作を行うために、図１７（Ａ）〜（Ｄ）に示す領域を区分して操作の認識を行う。すなわち、指等の位置のＺ軸方向の高さが属する領域として、２つの領域Ａ３，Ａ４を設ける。また、領域を区別するために指等のＺ座標を閾値Ｔｈ３及びＴｈ４と比較する。ここで、Ｔｈ３＜Ｔｈ４を満たしている。
【０１２６】
すなわち、操作コマンド設定部４０が、指等の位置のＺ座標が０〜Ｔｈ３の範囲内であれば領域Ａ３に属すると認識し、Ｚ座標が０〜Ｔｈ４の範囲内であれば領域Ａ４に属すると認識する。領域Ａ４は、非接触状態であって、かつ指等がタッチパネル１５の操作面に近接していることを表す。また、領域Ａ３は非接触状態であるが、ユーザからみて「接触」と「非接触」の区別が難しく誤操作が発生しやすい範囲を表す。電子機器１００は、領域Ａ３の範囲を「接触」とみなすことで誤操作を防止する。
【０１２７】
ユーザの指等の位置が、図１７（Ａ），（Ｃ）に示す位置Ｐ６１、Ｐ６３の場合には「接触」状態であり、図１７（Ｂ），（Ｄ）に示す位置Ｐ６２、Ｐ６４の場合には「非接触」状態である。しかし、位置Ｐ６２の状態では誤操作を防止すべき領域Ａ３の範囲内なので、操作コマンド設定部４０は、ドロップ（Ｄｒｏｐ）の操作として認識しない。また、位置Ｐ６４の状態になると、領域Ａ４の範囲内であり、かつ領域Ａ３の範囲外なので操作コマンド設定部４０はドロップの操作として認識する。
【０１２８】
このように、本実施形態の電子機器１００は、制御部としての操作コマンド設定部４０が、状態変化識別部３０の出力するＺ座標に基づいて、アプリケーション実行部７０により実行中のアプリケーションを段階的に制御する。この際、アプリケーションを制御するための制御量を決定する。この制御量は、例えば、図１５に示した「大きさ」、「太さ」、「色」、「透明度」などに反映される。従って、指等の位置を示すＺ座標に応じて３以上の段階的な制御、あるいは連続的な制御を実現するユーザの操作が可能になる。
【０１２９】
また、操作コマンド設定部４０は、Ｚ座標に基づいて、表示部６０による表示を制御してもよい。これにより、例えば図２（Ａ），（Ｂ）〜図７（Ａ），（Ｂ）に示したように表示が変化するユーザの操作が可能になる。
【０１３０】
また、操作コマンド設定部４０は、例えば図８（Ａ）〜（Ｃ），図１０に示すように、Ｚ座標に基づいて、表示部６０によるレイヤ構造を伴う表示を制御してもよい。これにより、操作対象の範囲をユーザの指等の位置の高さにより調整することが可能になる。
【０１３１】
また、操作コマンド設定部４０は、例えば図１１（Ａ）〜（Ｄ）に示すように、Ｚ座標に基づいて、アプリケーション実行部７０の処理対象のコンテンツに対する再生制御を行ってもよい。すなわち、再生位置のシーク操作などを行うことができる。
【０１３２】
また、表示部６０は、制御部としての操作コマンド設定部４０により制御されるアプリケーションの制御範囲を示す情報を表示してもよい。これにより、例えば、図８（Ａ）〜（Ｃ）に示した操作対象のオブジェクト６４ａ，６４ｂ，６４ｃのように選択している範囲を画面上で明示することができ、ユーザの操作が容易になる。
【０１３３】
また、操作コマンド設定部４０は、Ｚ座標が第１の所定閾値としての閾値Ｔｈ４よりも小さい第２の所定閾値としての閾値Ｔｈ３以上かつ閾値Ｔｈ４未満である場合、入力検知部としてのタッチパネル１５により接近が検知されたことを認識してもよい。また、操作コマンド設定部４０は、Ｚ座標が閾値Ｔｈ３未満である場合、タッチパネル１５により接触が検知されたことを認識してもよい。これにより、接触状態と非接触状態との境界を明確に区別することが可能になり、しかも誤操作の発生を防止することができ、操作の際に生じる位置ずれを抑制できる。
【０１３４】
（第２の実施形態）
図１８は本発明の第２の実施形態における電子機器２００の構成例を示すブロック図である。電子機器２００は、タッチパネル１１０、記憶部１２０、表示制御部１３０、アプリケーション実行部１４０および表示部１５０を有する。
【０１３５】
タッチパネル１１０は、第１の実施形態と同様、ユーザがタッチ可能な透明な操作面（検知面）を有しており、表示部１５０の表示画面と重ねた状態で配置される。このタッチパネル１１０は、操作面にユーザの指等がタッチした状態だけでなく、近接した状態であっても指等の位置を検出できる。タッチパネル１１０は、入力検知部及び座標検知部としての機能を有する。
【０１３６】
なお、タッチパネル１１０によって検出される物体として、指以外に、導電性を有するスタイラス等でもタッチ操作可能であるが、以降では、指を用いてタッチ操作を行う場合を例示する。タッチパネル１１０で検出された指の位置を表す座標（位置座標ともいう）は、記憶部１２０に時系列に記憶されてもよい。
【０１３７】
記憶部１２０は、例えば、指の位置座標を時系列に記憶し、指の位置を示唆するために、指の位置を包囲する画像を描画するためのデータが登録された画像登録部１２３を有する。データとしては、例えば包囲線の形状（例えば円、多角形）の情報が含まれる。また、上記データには、例えば透過率（画面上の濃淡）の情報が含まれてもよい。
【０１３８】
表示制御部１３０は、アプリケーションの実行に伴い、表示部１５０の画面表示を制御する。また、表示制御部１３０は、タッチパネル１１０により検出され、記憶部１２０に記憶されている指の位置座標をもとに、画像登録部１２３に登録された包囲線１９０（例えば図１９（Ａ）〜（Ｃ）参照）を表示部１５０の画面に表示する制御を行う。
【０１３９】
即ち、表示制御部１３０は、タッチパネル１１０の操作面に平行な面における指の位置を表すＸ，Ｙ座標の位置を基準（例えば中心）に、指の位置を包囲する包囲線を画像登録部１２３から読み出す。また、表示制御部１３０は、指の高さを表すＺ座標の大きさに対応するサイズにより、包囲線１９０を表示部１５０の画面に表示させる。包囲線１９０は、タッチパネル１１０において座標検知されたＸＹ座標の位置を示唆する画像の一例である。ここでは、ＸＹ座標は、Ｘ座標、Ｙ座標の少なくとも一方を含む。
【０１４０】
包囲線１９０は、指１９５がタッチパネル１１０の操作面に近付く程、小さくなるように描画されてもよい。例えば、表示制御部１３０は、画像登録部１２３から読み出した包囲線のサイズ（元のサイズ）に、Ｚ座標の大きさに対応する定数を乗算することで、描画する包囲線１９０のサイズを決定する。
【０１４１】
なお、指が操作面から遠い場合、つまりＺ座標が大きい場合、包囲線１９０のサイズは大きくなり、表示部１５０の画面からはみ出ることもある。この場合、表示部１５０の画面には、包囲線１９０の一部だけが表示される。
【０１４２】
また、包囲線１９０は、指１９５がタッチパネル１１０の操作面に近付く程、濃くなるように描画されてもよい。例えば、表示制御部１３０は、画像登録部１２３から読み出した包囲線の透過率を、Ｚ座標の大きさに対応する値に変更することにより、描画する包囲線１９０の濃淡を決定する。表示制御部１３０は、包囲線のサイズと透過率との双方を変更してもよいし、包囲線のサイズと透過率のいずれか一方のみを変更してもよい。
【０１４３】
また、指の位置を表すＸ，Ｙ座標の位置を中心に包囲線が表示されることを例示したが、包囲線が表示される基準位置としては、指の中心に限らず、重心又はその他の基準点（例えば、指の先より所定距離離れた位置）でもよい。これにより、よりタッチしようとする場所を容易に認識できる。
【０１４４】
アプリケーション実行部１４０は、ユーザによって指示されたアプリケーションを実行するとともに、電子機器２００の全体の動作を制御する制御部としても機能する。アプリケーション実行部１４０は、例えば、地図データを描画する地図アプリケーションを実行し、タッチパネル１１０により検出される指の操作に従って、表示部１５０の画面に描画される地図データを更新する。
【０１４５】
表示部１５０は、可視情報（例えば、文字、図形、又は画像）を表示可能な画面を有する表示デバイスであり、例えば液晶ディスプレイからなる。
【０１４６】
次に、電子機器２００の動作例について説明する。
【０１４７】
図１９（Ａ）〜（Ｃ）は、電子機器２００による画面表示の制御例を示す図である。表示部１５０の画面には、地図上に描画されている「○△町」を指示するピンが立てられた地図データが表示されている。ここでは、タッチパネル１１０の操作面から指１９５が離れた状態から、地図データにおける「○△町」に指１９５が接近する操作を想定する。
【０１４８】
図１９（Ａ）では、タッチパネル１１０が指１９５の接近を検出すると、表示制御部１３０は、表示部１５０の画面に、指１９５の位置を中心とする大きな包囲線１９０を表示させる。指１９５がタッチパネル１１０の操作面から比較的離れている場合には、表示制御部１３０は、包囲線１９０のサイズを大きく又は包囲線１９０を薄く表示させる。図１９（Ａ）では、包囲線１９０は、表示部１５０の画面に収まっておらず、包囲線１９０の一部だけが表示されている。
【０１４９】
図１９（Ｂ）では、図１９（Ａ）の状態から指１９５をタッチパネル１１０の操作面に近づけると、表示制御部１３０は、指１１９５の位置を中心に包囲線１９０を少し小さく又は少し濃く表示させる。
【０１５０】
さらに、指１９５を操作面に接近させると、図１９（Ｃ）では、表示制御部１３０は、包囲線１９０をより小さく又はより濃く表示させる。これにより、指１９５がタッチしようとする位置を高精度に認識できる。包囲線１９０は、例えば、Ｚ座標に基づいてサイズが小さくなる際、包囲線１９０の周縁に当たる複数の方向から略同一の速度で接近するように変形する動的な画像である。これにより、包囲線１９０は、サイズが小さくなる際、形状を崩さないで済む。
【０１５１】
なお、指１９５がタッチパネル１１０の操作面をタッチすると、表示制御部１３０は、表示部１５０の画面に表示されていた包囲線１９０を消滅させてもよい。また、表示部１５０に、タッチされたこと、もしくはタッチされた位置を表示により示すようにしてもよい。
【０１５２】
このように、指１９５と画面との間の距離が短くなるにつれて、包囲線１９０が徐々に小さく又は濃くなるので、ユーザはタッチしようとする位置を容易に視認できる。また、包囲線１９０のサイズによって、指１９５がどの程度タッチパネル１１０の操作面から離れているかを認識できる。
【０１５３】
一方、表示部１５０の画面には、タッチパネル１１０の操作面に指１９５がタッチされた状態では包囲線１９０は存在しないが、指１９５が操作面から少し離れると、表示制御部１３０は、タッチしていた指１９５の位置を中心に包囲線１９０を表示させてもよい。
【０１５４】
なお、タッチしている指１９５の位置の代表値には、指が接触する面の例えば中心又は重心を用いることができる。表示制御部１３０は、指１９５が操作面から遠ざかるにつれて、包囲線１９０を大きく又は薄く表示させる。表示制御部１３０は、タッチパネル１１０の検出限界を超える、又は表示部１５０の画面における描画領域を超えると、包囲線１９０を消滅させる。
【０１５５】
図２０は電子機器２００による入力動作例を示すフローチャートである。図２０の処理は定期的に実行される。
【０１５６】
まず、表示制御部１３０は、記憶部１２０に時系列に記憶される指１９５の位置座標を読み出し、タッチパネル１１０が指１９５の接近を検出しているか否かを判別する（ステップＳ４１）。指１９５の接近が検出されない場合、図２０の処理を終了する。
【０１５７】
タッチパネル１１０が指１９５の接近を検出した場合、表示制御部１３０は、指１９５がタッチパネル１１０の操作面をタッチしたか否かを判別する（ステップＳ４２）。指１９５がタッチパネル１１０の操作面をタッチした場合、図２０の処理を終了する。この場合、アプリケーション実行部１４０は、タッチ操作に伴う通常処理を行う。
【０１５８】
指１９５がタッチパネル１１０の操作面をタッチしていない場合、表示制御部１３０は、記憶部１２０内の画像登録部１２３から包囲線１９０を読み出し、指１９５のＺ座標に応じて、包囲線１９０のサイズ又は濃淡を決定する（ステップＳ４３）。
【０１５９】
即ち、表示制御部１３０は、指１９５がタッチパネル１１０の操作面から遠くて距離が長い場合、包囲線１９０のサイズを大きくし、又は薄くなるように透過率を高くする。一方、距離が短い場合、表示制御部１３０は、包囲線１９０のサイズを小さくし、又は濃くなるように透過率を小さくする。また、指１９５とタッチパネル１１０の操作面との距離が値０である場合、表示制御部１３０は、包囲線１９０を消滅させる。
【０１６０】
続いて、表示制御部１３０は、指１９５の位置を表すＸ座標，Ｙ座標から、包囲線１９０の中心位置（基準位置の一例）を決定する（ステップＳ４４）。指１９５の位置を表すＸ座標，Ｙ座標には、例えば、指１９５の中心となる座標が用いられる。
【０１６１】
続いて、表示制御部１３０は、ステップＳ４４において決定された表示部１５０の画面における基準位置に、タッチ位置を示唆する包囲線１９０を表示させる（ステップＳ４５）。従って、ＸＹ座標に応じて包囲線１９０の表示位置を変化させ、Ｚ座標に応じて包囲線１９０のサイズを変化させることができる。この後、図２０の処理を終了する。
【０１６２】
第２の実施形態の電子機器２００によれば、指１９５がタッチパネル１１０の操作面に近づくにつれて、例えば指１９５の位置を中心とする包囲線１９０のサイズが小さく又は濃くなるので、包囲線１９０内にタッチ予想位置があることを認識できる。
【０１６３】
また、タッチパネル１１０の操作面にタッチしようとする際、例えば包囲線１９０の形状から包囲線１９０の例えば中心を推定でき、ユーザは指が指し示す画面上の位置を正確に把握できる。つまり、指１９５の接近後にタッチすると予想される位置（ＸＹ座標の位置）を推定できる。また、包囲線１９０のサイズ又は透過率から、タッチパネル１１０の操作面からの距離（Ｚ座標の位置）を推定できる。また、包囲線１９０は視認性が高いので、上記位置又は距離を視覚的に理解しやすい。従って、指１９５等の近接を検出可能なタッチパネル１１０を用いて、高精度に多様な処理を行うことができる。
【０１６４】
なお、本実施形態では、指１９５が操作面に近づくにつれて包囲線１９０が徐々に又は段階的に狭まってくる場合を示したが、２段階で狭まるようにしてもよい。例えば、Ｚ座標が第１の所定値以下となって指１９５の接近が検出され、一部の包囲線１９０の表示が開始された後、更に指１９５が操作面に近接してＺ座標が第２の所定値以下となると、包囲線１９０が一気に小さくなるようにしてもよい。つまり、図１９（Ａ）から図１９（Ｂ）の状態を経ずに、一気に図１９（Ｃ）の状態に遷移してもよい。なお、第１の所定値よりも第２の所定値の方が小さい。
【０１６５】
この結果、包囲線１９０のサイズは、第１の所定サイズから第２の所定サイズに瞬間的に変化する。この場合でも、ユーザは指１９５が画面に接近したことを容易に認識でき、タッチ予想位置を容易に推定できる。
【０１６６】
さらには、指１９５が操作面に近づくことで、包囲線１９０が一気に狭まるようにしてもよい。例えば、Ｚ座標が所定値以下となって指１９５の接近が検出されると、一部の包囲線１９０の表示が開始されるとともに、包囲線１９０が一気に小さくなるようにしてもよい。つまり、指１９５が操作面に近づいただけで、図１９（Ａ）から図１９（Ｃ）の状態に一気に遷移することになる。この場合でも、ユーザは指１９５が画面に接近したことを容易に認識でき、タッチ予想位置を容易に推定できる。
【０１６７】
また、本実施形態では、基準位置として、指１９５の位置を中心に包囲線１９０を表示する場合を示したが、指１９５が示唆する特定の位置を中心に包囲線１９０を表示してもよい。これにより、タッチしようとする位置がより分かりやすくなる。
【０１６８】
（第３の実施形態）
第３の実施形態の電子機器の構成は、第２の実施形態とほぼ同じであるので、第２の実施形態と同一の構成要素については、同一の符号を付すことにより、その説明を省略する。
【０１６９】
第３の実施形態では、記憶部１２０内の画像登録部１２３に、第２の実施形態における指の位置を包囲する画像（包囲線）の情報の代わりに、指を表す画像（以下、指の画像ともいう）が登録された指画像テーブル１２５が格納されている。指の画像は、タッチパネル１１０において座標検知された位置を示唆する画像の一例であり、この位置を指示する入力手段としての物体の画像の一例である。
【０１７０】
図２１は指画像テーブル１２５の登録内容の一例を示す図である。指画像テーブル１２５には、タッチパネル１１０の操作面と指の間の距離、つまり指のＺ座標に対応する指の画像が登録されている。例えば、指画像テーブル１２５には、Ｚ座標が大きい程、例えば透過率が高くかつサイズが大きい指の画像が登録されている。また、指の画像は、指そのものを写した画像でもよいし、指を模して描画した画像（擬似的な画像）でもよい。
【０１７１】
また、指画像テーブル１２５には、タッチパネル１１０の操作面における指の位置（ＸＹ面における位置）に応じて、指の向き（角度）が異なる指の画像が登録されている。例えば、一般的な右利きの場合、タッチパネル１１０の横方向（Ｘ座標）に対応させ、表示部１５０の画面左端がタッチ位置された場合、指の画像を左向きとし、画面右端がタッチされた場合、指の画像を上向きとする。
【０１７２】
また、指画像テーブル１２５には、左利きと右利きとの場合に分け、それぞれに対応する指の画像が登録されてもよい。例えば、左利きの場合、画面左端がタッチされた場合、指の画像を上向きとし、画面右端がタッチされた場合、指の画像を右向きとする。例えば、右利きの場合、画面左端がタッチされた場合、指の画像を左向きとし、画面右端がタッチされた場合、指の画像を上向きとする。
【０１７３】
右利きであるか左利きであるかの判別には、電子機器２００の使用時に、ユーザによって予め設定された右利き／左利きのデータを用いてもよい。また、公知の技術を用いて、例えばタッチパネル１１０によって検出された指の第１の検出点と第２の検出点の向きから、右利きであるか左利きであるかを判別してもよい。
【０１７４】
また、タッチパネル１１０の例えば横方向であるＸ座標ではなく、タッチパネル１１０の例えば縦方向であるＹ座標を用いてもよい。さらには、Ｘ座標，Ｙ座標の双方を加味して、指の向きが決定され、各座標に対応する指の画像が画像登録部１２３に登録されていてもよい。また、図２１には、右利き、左利きの場合のそれぞれにおいて、９枚の画像が登録されているが、画像の枚数は任意の枚数でよい。
【０１７５】
また、上述の指の画像は、全て画像登録部１２３に登録されていることを例示したが、登録された指の画像は１つだけでもよく、表示制御部１３０が、その他多くの指の画像を画像処理によって生成してもよい。
【０１７６】
つまり、表示制御部１３０は、登録された指の画像（元の画像）に対し、例えば指のＺ座標（距離）又は指の位置（ＸＹ座標）に応じて、透過率（濃淡）、回転（向き）及びサイズの少なくとも１つを変更してもよい。また、表示制御部１３０は、右利きであるか左利きであるかの判別結果に応じて、Ｙ軸を中心に指の画像を左右反転させてもよい。これにより、全ての指の画像を登録しておかなくて済み、記憶部１２０の使用容量を削減できる。
【０１７７】
次に、電子機器２００による動作例について説明する。
【０１７８】
図２２（Ａ）〜（Ｃ）は、電子機器２００による画面表示の制御例を示す図である。ここでは、タッチパネル１１０の操作面から指１９５が離れた状態から、地図データにおける「○△町」に指１９５が接近する操作を想定する。
【０１７９】
表示制御部１３０は、Ｚ座標が大きい程、指の画像を薄く（透過率が高く）表示させ、又は指の画像のサイズを大きく表示させる。また、表示制御部１３０は、Ｚ座標が小さい程、指の画像を濃く（透過率を低く）表示させ、又は指の画像のサイズを小さく表示させる。
【０１８０】
図２２（Ａ）では、表示部１５０の画面に、地図データが描画されている。ユーザの指１９５がタッチパネル１１０の操作面から比較的離れている場合、表示制御部１３０は、地図上に描画されている「○△町」に立てられているピンが示唆する位置に、指の画像２５０を比較的大きいサイズにより又は薄く表示させる。なお、表示制御部１３０は、指の画像を、指の位置を表すＸＹ座標の位置から所定距離オフセットした位置に表示させる。これにより、タッチ予想位置と指の画像が重ならなくなり、指により指示する位置の画像が見やすくなる。
【０１８１】
図２２（Ｂ）では、指１９５がタッチパネル１１０の操作面に近づくにつれて、表示制御部１３０は、指の画像２５０を少し小さく表示させ、又は少し濃く表示させる。
【０１８２】
さらに、図２２（Ｃ）では、指１９５がタッチパネル１１０の操作面をタッチする直前には、表示制御部１３０は、指の画像２５０を最も小さく表示させ、又は最も濃く表示させる。
【０１８３】
その後、指１９５がタッチパネル１１０の操作面をタッチすれば、そのタッチ位置に応じて、アプリケーション処理が行われる。なお、指の画像２５０が、指１９５の位置を表すＸＹ座標の位置から所定距離オフセットした位置に表示されている場合には、そのオフセットした位置にタッチが行われたと判断して、アプリケーション処理が行われてもよい。また、表示部１５０に、タッチされたこと、もしくはタッチされた位置を表示により示すようにしてもよい。
【０１８４】
図２３は電子機器２００による入力動作例を示すフローチャートである。図２３の処理は、定期的に実行される。
【０１８５】
まず、表示制御部１３０は、記憶部１２０に時系列に記憶される指の位置座標を読み出し、タッチパネル１１０が指１９５の接近を検出しているか否かを判別する（ステップＳ５１）。指の接近が検出されない場合、図２３の処理を終了する。
【０１８６】
タッチパネル１１０が指の接近を検出した場合、表示制御部１３０は、指１９５がタッチパネル１１０の操作面をタッチしたか否かを判別する（ステップＳ５２）。指１９５がタッチパネル１１０の操作面をタッチした場合、図２３の処理を終了する。この場合、アプリケーション実行部１４０は、タッチ操作に伴う通常処理を行う。
【０１８７】
指１９５がタッチパネル１１０の操作面をタッチしていない場合、表示制御部１３０は、画像登録部１２３に格納された指画像テーブル１２５を参照し、指１９５のＺ座標に対応する指の画像の画像データを取得する（ステップＳ５３）。この場合、指１９５のＸ座標に対応する傾きを持つ指の画像を選択してもよい。つまり、表示制御部１３０は、Ｘ座標，Ｙ座標を考慮して画像データを取得してもよい。
【０１８８】
続いて、表示制御部１３０は、指１９５のＸ座標，Ｙ座標から、指の画像２５０の基準位置を決定する（ステップＳ５４）。指１９５の位置を表すＸ座標，Ｙ座標には、例えば指の中心となる座標が用いられる。基準位置は、例えば、指１９５の位置を表すＸ座標，Ｙ座標から所定距離オフセットした位置に設定される。なお、オフセットしなくてもよい。
【０１８９】
続いて、表示制御部１３０は、ステップＳ５４で決定された、表示部１５０の画面における基準位置に、指の画像２５０を表示させる（ステップＳ５５）。この後、図２３の処理を終了する。
【０１９０】
第３の実施形態の電子機器２００によれば、表示部１５０の画面に、例えば自分の指であるかのように、指の画像２５０を表示するので、タッチ予想位置を容易に把握でき、操作性が向上する。また、指の画像の例えば濃淡又はサイズによって、どの程度タッチパネル１１０の操作面から離れているかを認識できる。なお、例えば濃淡とサイズとのいずれか一方のみを変化させても、双方を変化させてもよい。
【０１９１】
また、タッチパネル１１０の操作面上の位置に応じて、指の向き（傾き）を変更できるので、タッチパネル１１０に対してどのように入力しようとしているのか、視覚的に容易に認識できる。従って、指等の近接位置を検出可能なタッチパネル１１０を用いて、高精度に多様な処理を行うことができる。
【０１９２】
（第４の実施形態）
第４の実施形態では、電子機器から離れたディスプレイ装置の画面に、例えば自分の指であるかのように、第３の実施形態と同様の指の画像を表示し、指から離れた画面をタッチパネル感覚で操作する場合を示す。
【０１９３】
図２４は本発明の第４の実施形態における入力システム５００の構成例を示す図である。入力システム５００は、電子機器２００Ａおよびディスプレイ装置３００を含む。
【０１９４】
電子機器２００Ａは、第２，第３の実施形態の電子機器２００と同一の構成を有する他、座標変換部１７０及び通信部１８０を有する。座標変換部１７０は、電子機器２００Ａの位置座標をディスプレイ装置３００の位置座標に変換する。通信部１８０は、ディスプレイ装置３００との間においてデータ通信する。なお、電子機器２００Ａは、表示に係る部分を省略可能であるので、操作面への入力を検知するタッチセンサを有していればよく、タッチパネルを備えなくてもよい。
【０１９５】
ディスプレイ装置３００は、通信部３１０、座標変換部３２０、表示制御部３３０、および表示部３４０を有する。通信部３１０は、電子機器２００Ａとの間においてデータ通信する。座標変換部３２０は、例えば、図示しない記憶部に記憶された座標変換するための変換情報を有する座標変換テーブルを参照して、電子機器２００Ａの指の位置座標をディスプレイ装置３００の位置座標に変換する。表示制御部３３０は、表示部３４０の表示制御を行う。
【０１９６】
電子機器２００Ａの通信部１８０（送信部の一例）とディスプレイ装置３００の通信部３１０（受信部の一例）との間では、所定の通信方式により、座標情報のデータ通信が行われる。所定の通信方式は、例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、赤外線通信、又はＢｌｕｅｔｏｏｔｈ（登録商標）を含む。
【０１９７】
表示部３４０は、様々な可視情報（例えば文字、図形、画像の情報）を表示可能な画面を有する表示デバイスであり、例えば液晶ディスプレイからなる。表示部３４０として、例えばＰＣモニタ又はＴＶを用いることが可能である。
【０１９８】
次に、入力システム５００の動作例について説明する。
【０１９９】
図２５（Ａ）〜（Ｃ）は、電子機器２００Ａによる画面表示の制御例を示す図である。ここでは、電子機器２００Ａの表示部１５０は、どのような表示がされていてもよく、非表示状態でもよい。ここでは、タッチパネル１１０の操作面から指１９５が離れた状態から、地図データにおける「○△町」に指の画像３５０が接近するように、タッチパネル１１０の操作面に指１９５が接近する操作を想定する。
【０２００】
図２５（Ａ）では、ディスプレイ装置３００の表示部３４０の画面には、地図データが表示されている。ユーザの指１９５がタッチパネル１１０の操作面から比較的離れている場合、表示制御部１３０は、表示部３４０の画面に、地図上に描画されている「○△町」に立てられているピンを示唆する指の画像３５０が、比較的大きく又は薄く表示させる。
【０２０１】
図２５（Ｂ）では、指１９５がタッチパネル１１０の操作面に近づくにつれて、表示制御部１３０は、指の画像３５０を小さく又は濃く表示させる。
【０２０２】
さらに、図２５（Ｃ）では、指１９５がタッチパネル１１０の操作面をタッチする直前には、表示制御部１３０は、指の画像３５０を最も小さく又は最も濃く表示させる。
【０２０３】
その後、指１９５がタッチパネル１１０の操作面をタッチすれば、そのタッチ位置に応じて、アプリケーション処理が行われる。なお、表示部３４０に、タッチされたこと、もしくはタッチされた位置を表示により示すようにしてもよい。
【０２０４】
図２６及び図２７は、入力システム５００による入力動作例を示すフローチャートである。図２６は電子機器２００Ａの動作例を示すフローチャートであり、図２７はディスプレイ装置３００の動作例を示すフローチャートである。図２６及び図２７において、第３の実施形態において説明した図２３の各ステップと同一のステップについては、同一のステップ番号を付す。図２６及び図２７の処理は、定期的に実行される。
【０２０５】
図２６に示すように、電子機器２００Ａでは、表示制御部１３０は、記憶部１２０に時系列に記憶される指の位置座標を読み出し、タッチパネル１１０が指１９５の接近を検出しているか否かを判別する（ステップＳ５１）。指の接近が検出されない場合、図２６の処理を終了する。
【０２０６】
タッチパネル１１０が指１９５の接近を検出した場合、表示制御部１３０は、指１９５がタッチパネル１１０の操作面をタッチしたか否かを判別する（ステップＳ５２）。指１９５がタッチパネル１１０の操作面をタッチした場合、図２６の処理を終了する。この場合、例えば、アプリケーション実行部１４０は、ディスプレイ装置３００又は電子機器２００Ａにより起動中であり、ディスプレイ装置３００に表示中のアプリケーションに対して遠隔操作し、タッチ操作に伴う通常処理を行う。
【０２０７】
指１９５がタッチパネル１１０の操作面をタッチしていない場合、表示制御部１３０は、画像登録部１２３に格納された指画像テーブル１２５を参照し、指１９５のＺ座標に対応する指の画像の画像データを取得する（ステップＳ５３）。なお、表示制御部１３０は、Ｘ座標，Ｙ座標を考慮して画像データを取得してもよい。
【０２０８】
続いて、表示制御部１３０は、指１９５のＸ座標，Ｙ座標から、指の画像２５０の基準位置を決定する（ステップＳ５４）。指１９５の位置を表すＸ座標，Ｙ座標には、例えば、指１９５の中心となる座標が用いられる。基準位置は、指１９５の位置を表すＸ座標，Ｙ座標から、例えば所定距離オフセットした位置に設定される。なお、オフセットしなくてもよい。
【０２０９】
続いて、通信部１８０は、ステップＳ５４において決定された基準位置の情報と、ステップＳ５３において取得された指の画像の画像データとを、ディスプレイ装置３００に送信する（ステップＳ５５Ａ）。この後、図２６の処理を終了する。
【０２１０】
図２７に示すように、ディスプレイ装置３００では、通信部３１０は、電子機器２００Ａからの基準位置の情報と指の画像の画像データとを受信する（ステップＳ６１）。
【０２１１】
続いて、座標変換部３２０は、受信した基準位置の情報に対し、電子機器２００Ａの位置座標をディスプレイ装置３００の位置座標に変換する（ステップＳ６２）。この場合、例えば電子機器２００Ａの表示部及びディスプレイ装置３００の表示部の画面サイズ、アスペクト比が考慮される。
【０２１２】
続いて、表示制御部３３０は、座標変換後の基準位置に、受信した画像データを表示部３４０の画面に表示させる（ステップＳ６３）。これにより、表示部３４０の画面には、例えば図２５に示す指の画像３５０が表示される。
【０２１３】
なお、ここでは、電子機器２００Ａの位置座標をディスプレイ装置３００の位置座標に変換する座標変換処理を、ディスプレイ装置３００がステップＳ６２で行うことを例示した。この代わりに、電子機器２００Ａが画像データを送信する前に座標変換してもよい。      
【０２１４】
この場合、電子機器２００Ａでは、ステップＳ５４の処理後、座標変換部１７０がステップＳ６２と同様の座標変換処理を行った後、ステップＳ５５Ａにおいて通信部１８０が座標変換後の画像データを送信してもよい。これにより、ディスプレイ装置３００の処理の負荷が減り、汎用のディスプレイ装置を用いることが可能である。
【０２１５】
入力システム５００によれば、ディスプレイ装置３００の表示部３４０の画面に、例えば自分の指であるかのように指の画像３５０を表示し、指１９５から離れた画面をタッチパネル感覚で操作でき、視認性が向上する。また、近接後にタッチすると予想される位置を推定できる。
【０２１６】
また、入力と表示が別体で行われる場合には、一般的に直感的に入力位置が分かりにくくなるが、タッチ予想位置が指１９５の画像により示唆されることで、電子機器２００Ａにより簡単に入力操作できる。従って、指等の近接位置を検出可能なタッチパネル１１０を用いて、高精度に多様な処理を行うことができる。
【０２１７】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【０２１８】
例えば、第２の実施形態において示した指１９５の位置を包囲する画像（例えば、包囲線）を画面に表示する場合、第４の実施形態と同様、電子機器２００から離れた画面を有するディスプレイ装置に、データを転送して表示させてもよい。これにより、視認性が向上する。
【０２１９】
また、第３，第４の実施形態では、指の画像を表示部の画面に表示することを例示したが、タッチしようとする位置を認識できれば、指の画像以外を表示してもよい。例えば、スタイラスペンを用いて近接及びタッチ操作する場合はスタイラスペンの画像でもよい。
【０２２０】
（本発明の一態様の概要）
本発明の一態様の電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、所定の機能を実現するアプリケーションを実行するアプリケーション実行部と、前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記アプリケーション実行部により実行中のアプリケーションを段階的に制御する制御部と、を備える。
【０２２１】
また、本発明の一態様の電子機器は、前記制御部が、前記Ｚ座標に基づいて、前記アプリケーションを制御するための制御量を決定する。
【０２２２】
また、本発明の一態様の電子機器は、前記制御部が、前記Ｚ座標に基づいて、表示部による表示を制御する。
【０２２３】
また、本発明の一態様の電子機器は、前記制御部が、前記Ｚ座標に基づいて、前記表示部によるレイヤ構造を伴う表示を制御する。
【０２２４】
また、本発明の一態様の電子機器は、前記制御部が、前記Ｚ座標に基づいて、前記アプリケーション実行部の処理対象のコンテンツに対する再生制御を行う。
【０２２５】
また、本発明の一態様の電子機器は、前記制御部により制御される前記アプリケーションの制御範囲を示す情報を表示する表示部を備える。
【０２２６】
また、本発明の一態様の電子機器は、前記制御部が、前記座標検知部により検知されたＺ座標が第１の所定閾値よりも小さい第２の所定閾値以上前記第１の所定閾値未満である場合、前記入力検知部により接近が検知されたことを認識し、前記Ｚ座標が前記第２の所定閾値未満である場合、前記入力検知部により接触が検知されたことを認識する。
【０２２７】
また、本発明の一態様の電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、を備え、前記表示制御部は、前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【０２２８】
また、本発明の一態様の電子機器は、前記表示制御部が、前記Ｚ座標に基づいて、前記画像の濃淡及びサイズの少なくとも一方を段階的に制御する。
【０２２９】
また、本発明の一態様の電子機器は、前記表示制御部が、前記ＸＹ座標の位置を示唆する画像として、前記ＸＹ座標の位置を包囲する包囲線を表示するよう制御する。
【０２３０】
また、本発明の一態様の電子機器は、前記表示制御部が、前記ＸＹ座標の位置を基準位置として、前記Ｚ座標に基づいて、前記包囲線の表示を制御する。
【０２３１】
また、本発明の一態様の電子機器は、前記表示制御部が、前記Ｚ座標が所定値以下となった際に、前記包囲線の表示を開始させ、前記包囲線のサイズが、第１の所定サイズから第２の所定サイズとなるよう制御する。
【０２３２】
また、本発明の一態様の電子機器は、前記表示制御部が、前記Ｚ座標が小さくなる程、前記包囲線のサイズが小さくなるよう段階的に制御する。
【０２３３】
また、本発明の一態様の電子機器は、前記包囲線が、Ｚ座標に基づいて、前記包囲線が複数の方向から略同一の速度で接近する動的な画像である。
【０２３４】
また、本発明の一態様の電子機器は、前記表示制御部が、前記ＸＹ座標の位置を示唆する画像として、ＸＹ座標の位置を指示する入力手段としての前記物体を表す画像を表示するよう制御する。
【０２３５】
また、本発明の一態様の電子機器は、前記表示制御部が、前記ＸＹ座標に基づいて、前記入力手段の画像の向きを制御する。
【０２３６】
また、本発明の一態様の電子機器は、前記表示制御部が、前記ＸＹ座標の位置から所定距離オフセットした位置に前記画像を表示させる。
【０２３７】
また、本発明の一態様の入力システムは、電子機器と表示装置とを含む入力システムであって、前記電子機器は、物体の接近及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標を検知する座標検知部と、前記座標検知部により検知された座標に基づく座標情報を送信する送信部と、を備え、前記表示装置は、前記電子機器からの座標情報を受信する受信部と、前記受信部により受信された座標情報に基づいて、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御部と、を備え、前記表示制御部は、前記電子機器の前記座標検知部により検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【０２３８】
また、本発明の一態様の制御方法は、電子機器における制御方法であって、物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、所定の機能を実現するアプリケーションを実行するステップと、前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、実行中のアプリケーションを段階的に制御するステップと、を有する。
【０２３９】
また、本発明の一態様の制御方法は、電子機器における制御方法であって、物体の接近及び接触を入力として検知する入力検知部により検知された入力の座標を検知するステップと、前記検知された前記入力検知部の検知面と平行な方向の座標であるＸＹ座標の位置を示唆する画像を表示するよう制御する表示制御ステップと、を有し、前記表示制御ステップでは、前記検知された前記入力検知部の検知面と直交する方向の座標であるＺ座標に基づいて、前記画像の表示を制御する。
【０２４０】
本出願は、2012年1月25日出願の日本特許出願No.2012-013441に基づくものであり、その内容はここに参照として取り込まれる。
【符号の説明】
【０２４１】
１０  状態判別部
１１  ユーザの手
１５  タッチパネル
２０  記憶部
３０  状態変化識別部
４０  操作コマンド設定部
５０  画面表示制御部
６０  表示部
６１，６１Ａ〜６１Ｆ，６２Ａ〜６２Ｃ，６３Ａ，６３Ｂ，６４，６５，６６  操作対象
６４ａ〜６４ｃ  オブジェクト
６６Ａ，６６Ｂ  コンテンツ
７０  アプリケーション実行部
１００、２００、２００Ａ  電子機器
１１０  タッチパネル
１２０  記憶部
１２３  画像登録部
１２５  指画像テーブル
１３０、３３０  表示制御部
１４０  アプリケーション実行部
１５０、３４０  表示部
１７０、３２０  座標変換部
１８０、３１０  通信部
１９０  包囲線
１９５  指
２５０、３５０  指の画像
３００  ディスプレイ装置
５００  入力システム
Ａ１，Ａ２，Ａ３，Ａ４  領域
Ｐ１１，Ｐ１２，Ｐ２１〜Ｐ２３，Ｐ３１〜Ｐ３３，Ｐ４１〜Ｐ４４，Ｐ５１〜Ｐ５５，Ｐ６１〜Ｐ６４  指等の位置
Ｔｈ３，Ｔｈ４  Ｚ座標の閾値
【図１】
2013175174.tif 000003
【図２】
2013175174.tif 000004
【図３】
2013175174.tif 000005
【図４】
2013175174.tif 000006
【図５】
2013175174.tif 000007
【図６】
2013175174.tif 000008
【図７】
2013175174.tif 000009
【図８】
2013175174.tif 000010
【図９】
2013175174.tif 000011
【図１０】
2013175174.tif 000012
【図１１】
2013175174.tif 000013
【図１２】
2013175174.tif 000014
【図１３】
2013175174.tif 000015
【図１４】
2013175174.tif 000016
【図１５】
2013175174.tif 000017
【図１６】
2013175174.tif 000018
【図１７】
2013175174.tif 000019
【図１８】
2013175174.tif 000020
【図１９】
2013175174.tif 000021
【図２０】
2013175174.tif 000022
【図２１】
2013175174.tif 000023
【図２２】
2013175174.tif 000024
【図２３】
2013175174.tif 000025
【図２４】
2013175174.tif 000026
【図２５】
2013175174.tif 000027
【図２６】
2013175174.tif 000028
【図２７】
2013175174.tif 000029