(57)【要約】    【構成】携帯電話機１０は、赤外線を利用する深度センサ２６および深度カメラ２８などを備え、深度センサ２６および深度カメラ２８を利用することで、手指を使ったジェスチャを認識することが出来る。たとえば、指毎にアプリケーションに対する入力操作が対応付けられており、設定結果はＲＡＭ（４６）に記憶されている。音楽プレーヤが実行されているときに、手指を人差し指を残して他の指を折り曲げた状態にする実行ジェスチャが認識されると、人差し指に対応付けられている「再生／一時停止」の入力操作が特定される。このとき、音楽プレーヤによって音楽が再生されていれば、音楽の再生を一時停止する処理が実行される。    【効果】指毎に入力操作が対応付けられているため、ユーザは携帯電話機１０に触れることが出来ない状態であっても、指で実行ジェスチャをするだけで携帯電話機１０を任意に操作することが出来る。【選択図】図１
2015225493.tif 000002
【特許請求の範囲】
【請求項１】
手指を使ったジェスチャを認識する認識部、
指毎に入力操作を対応付けて記憶する記憶部、および
前記認識部によって、任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部を備える、携帯端末。
【請求項２】
前記手指を使ったジェスチャは、前記第１ジェスチャと、前記第１ジェスチャと対応する第２ジェスチャとを含み、
前記認識部によって、任意の指を使った第２ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作を通知する通知部をさらに備える、請求項１記載の携帯端末。
【請求項３】
任意の指に対応する入力操作を変更する変更部をさらに備える、請求項１または２記載の携帯端末。
【請求項４】
前記入力操作は、実行中のアプリケーションに対応する入力操作を含む、請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記記憶部は、指毎に異なるアプリケーションを対応付けてさらに記憶し、
前記認識部によって、任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応するアプリケーションを実行するアプリケーション実行部をさらに備える、請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記認識部は、各指をさらに認識し、
前記記憶部によって記憶されている、指毎に対応付けられている入力操作を、認識されている指毎に割り当てる割り当て部をさらに備え、
前記実行部は、任意の指を使った第１ジェスチャが認識されたとき、当該指に割り当てられた入力操作に基づく処理を実行する、請求項１記載の携帯端末。
【請求項７】
前記手指を使ったジェスチャは、操作の開始を示す第３ジェスチャをさらに含み、
前記割り当て部は、前記第３ジェスチャが認識されたとき、前記記憶部によって記憶されている、指毎に対応付けられている入力操作を、認識されている指毎に割り当てる、請求項６記載の携帯端末。
【請求項８】
手指を使ったジェスチャを認識する認識部および指毎に入力操作を対応付けて記憶する記憶部を有する、携帯端末のプロセッサを、
前記認識部によって、任意の指を使った特定のジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部として機能させる、ジェスチャ制御プログラム。
【請求項９】
手指を使ったジェスチャを認識する認識部および指毎に入力操作を対応付けて記憶する記憶部を有する、携帯端末におけるジェスチャ制御方法であって、前記携帯端末のプロセッサが、
前記認識部によって、任意の指を使った特定のジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行ステップを実行する、ジェスチャ制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法に関し、特にジェスチャによって操作することが出来る、携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法に関する。
【背景技術】
【０００２】
背景技術の一例が特許文献１に開示されている。この特許文献１の携帯電話機はタッチパネルを利用して操作することが出来る。
【特許文献１】特開2013-257662号公報［G06F 3/041, G06F 3/045, H04M 1/02］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
特許文献１の携帯電話機では、ユーザが水仕事などをしていて、携帯電話機を直接触ることが出来ない状態では操作することが出来ない。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法を提供することである。
【０００５】
この発明の他の目的は、ユーザが任意に操作することが出来る、携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、手指を使ったジェスチャを認識する認識部、指毎に入力操作を対応付けて記憶する記憶部、および認識部によって、任意の指を使った第１ジェスチャが認識されたとき、記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部を備える、携帯端末である。
【０００８】
第１の発明では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）の認識部（２６，２８，３０）は、たとえば赤外線を利用して、手指を使ったジェスチャを認識する。記憶部（４６）は、たとえばＲＡＭであり、親指や人差し指など、指毎に入力操作を対応付けて記憶する。実行部（３０，Ｓ１３）は、たとえば、人差し指を使った第１ジェスチャ（実行ジェスチャ）が認識されると、人差し指と対応する入力操作に基づく処理を実行する。
【０００９】
第１の発明によれば、指毎に入力操作が対応付けられているため、ユーザは携帯端末に触れることが出来ない状態であっても、指で第１ジェスチャをするだけで携帯端末を任意に操作することが出来る。
【００１０】
第２の発明は、第１の発明に従属し、手指を使ったジェスチャは、第１ジェスチャと、第１ジェスチャと対応する第２ジェスチャとを含み、認識部によって、任意の指を使った第２ジェスチャが認識されたとき、記憶部に記憶されている当該指と対応する入力操作を通知する通知部をさらに備える。
【００１１】
第２の発明では、たとえば、第２ジェスチャ（確認ジェスチャ）は、対応する第１ジェスチャと同じ指を使うが、指の状態が異なるジェスチャである。通知部（３０，Ｓ１９）は、たとえば人差し指を使った第２ジェスチャが認識されると、その指と対応する入力操作を、たとえば音声や表示によって通知する。
【００１２】
第２の発明によれば、第２ジェスチャによって各指に対応付けられている入力操作を確認することが出来るため、ユーザは、任意の指に対応付けられている入力操作を確認した後に、その指を使った第１ジェスチャを行うことが出来る。
【００１３】
また、たとえば指毎に対応付けられている入力操作を音声によって通知した場合、ユーザは携帯端末を見ることなく、任意の指に対応付けられている入力操作を確認することが出来る。そのため、ユーザは、携帯端末を見ずに携帯端末を操作することが出来るようになる。
【００１４】
第３の発明は、第１の発明または第２の発明に従属し、任意の指に対応する入力操作を変更する変更部をさらに備える。
【００１５】
第３の発明では、変更部（３０，Ｓ６９）は、たとえば変更操作がされると、任意の指に対応付けられている入力操作を変更する。
【００１６】
第３の発明によれば、ユーザは任意の指に任意の入力操作を対応付けることが出来る。
【００１７】
第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、入力操作は、入力操作は、実行中のアプリケーションに対応する入力操作を含む。
【００１８】
第４の発明では、たとえば実行中のアプリケーションが音楽プレーヤである場合、各指には、たとえば曲送り、曲戻しなどの入力操作が対応付けられる。
【００１９】
第４の発明によれば、ユーザは実行中のアプリケーションを、携帯端末に触れることなく操作することが出来る。
【００２０】
第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、記憶部は、指毎に異なるアプリケーションを対応付けてさらに記憶し、認識部によって、任意の指を使った第１ジェスチャが認識されたとき、記憶部に記憶されている当該指と対応するアプリケーションを実行するアプリケーション実行部をさらに備える。
【００２１】
第５の発明では、たとえば、指毎に、音楽プレーヤ、電子書籍などのアプリケーションが対応付けられている。たとえば、アプリケーション実行部（３０，Ｓ２９）は、人差し指を使った第１ジェスチャが認識されると、人差し指に対応付けられている音楽プレーヤを実行する。
【００２２】
第５の発明によれば、ユーザは、任意のアプリケーションを実行することが出来る。
【００２３】
第６の発明は、第１の発明に従属し、認識部は、各指をさらに認識し、記憶部によって記憶されている、指毎に対応付けられている入力操作を、認識されている指毎に割り当てる割り当て部をさらに備え、実行部は、任意の指を使った第１ジェスチャが認識されたとき、当該指に割り当てられた入力操作に基づく処理を実行する。
【００２４】
第６の発明では、認識部は、たとえば空間における指の位置を認識する。割り当て部は、たとえば人差し指と認識されている指に対して、人差し指に対応付けられている入力操作を割り当てる。実行部は、たとえば人差し指と認識されている指を使った第１ジェスチャが認識されたとき、その指に割り当てられている入力操作に基づく処理を実行する。
【００２５】
第６の発明によれば、指毎に対応付けられている入力操作を、認識されている各指に割り当てることができる。
【００２６】
第７の発明は、第６の発明に従属し、手指を使ったジェスチャは、操作の開始を示す第３ジェスチャをさらに含み、割り当て部は、第３ジェスチャが認識されたとき、記憶部によって記憶されている、指毎に対応付けられている入力操作を、認識されている指毎に割り当てる。
【００２７】
第７の発明では、第３ジェスチャ（開始ジェスチャ）は、たとえば手指をグーの状態にして携帯端末に近づけるジェスチャである。そして、このような第３ジェスチャが認識されたとき、認識されている指のそれぞれに対して、入力操作が割り当てられる。
【００２８】
第７の発明によれば、入力操作の割り当てを、第３ジェスチャが認識された後に行うことで、指と認識されていないものに入力操作が割り当てられないようにすることが出来る。
【００２９】
第８の発明は、手指を使ったジェスチャを認識する認識部（２６，２８，３０）および指毎に入力操作を対応付けて記憶する記憶部（４６）を有する、携帯端末（１０）のプロセッサ（３０）を、認識部によって、任意の指を使った特定のジェスチャ（実行ジェスチャ）が認識されたとき、記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部（Ｓ１３）として機能させる、ジェスチャ制御プログラムである。
【００３０】
第８の発明でも、第１の発明と同様、指毎に入力操作が対応付けられているため、ユーザは携帯端末に触れることが出来ない状態であっても、指で特定のジェスチャをするだけで携帯端末を任意に操作することが出来る。
【００３１】
第９の発明は、手指を使ったジェスチャを認識する認識部（２６，２８，３０）および指毎に入力操作を対応付けて記憶する記憶部（４６）を有する、携帯端末（１０）におけるジェスチャ制御方法であって、携帯端末のプロセッサ（３０）が、認識部によって、任意の指を使った特定のジェスチャ（実行ジェスチャ）が認識されたとき、記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行ステップ（Ｓ１３）を実行する、ジェスチャ制御方法である。
【００３２】
第９の発明でも、第１の発明と同様、指毎に入力操作が対応付けられているため、ユーザは携帯端末に触れることが出来ない状態であっても、指で特定のジェスチャをするだけで携帯端末を任意に操作することが出来る。
【発明の効果】
【００３３】
この発明によれば、ユーザは携帯端末を任意に操作することが出来る。
【００３４】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００３５】
【図１】図１はこの発明の一実施例の携帯電話機の外観の一例を示す外観図である。
【図２】図２は図１に示す携帯電話機の電気的な構成を示す図解図である。
【図３】図３は図１に示す携帯電話機に対して、手指を使ったジェスチャを入力している状態の一例を示す図解図である。
【図４】図４はジェスチャを行う手指の状態の一例を示す図解図である。
【図５】図５は指毎に入力操作が対応付けられている状態の一例を示す図解図である。
【図６】図６はジェスチャを行う手指の状態の他の一例を示す図解図であり、図６（Ａ）は確認ジェスチャを行う手指の状態の一例を示し、図６（Ｂ）は実行ジェスチャを行う手指の状態の一例を示す。
【図７】図７は図１に示すディスプレイに表示される画面の一例であり、図７（Ａ）は入力操作設定画面の一例を示し、図７（Ｂ）はアプリケーション設定画面の一例を示す。
【図８】図８は図２に示すＲＡＭのメモリマップの一例を示す図解図である。
【図９】図９は図２に示すプロセッサのジェスチャ制御処理の一部の一例を示すフロー図である。
【図１０】図１０は図２に示すプロセッサのジェスチャ制御処理の他の一部の一例であって、図９に後続するフロー図である。
【図１１】図１１は図２に示すプロセッサの設定処理の一例を示すフロー図である。
【発明を実施するための形態】
【００３６】
図１を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、タブレット端末、タブレット型ＰＣ、ノートＰＣ、ＰＤＡおよびデジタルカメラなど任意の携帯端末に適用可能であることを予め指摘しておく。
【００３７】
ハウジング１２の主面（表面）には、たとえば液晶や有機ＥＬなどで構成され、表示部であるディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。
【００３８】
ハウジング１２の縦方向一端の主面側にスピーカ１８が内蔵され、縦方向他端の主面側にマイク２０が内蔵される。
【００３９】
ハウジング１２の主面には、タッチパネル１６と共に入力操作手段を構成するハードキー２２として、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。
【００４０】
また、ハウジング１２の主面において、マイク２０の左側にはカメラ２４が設けられている。さらに、ハウジング１２の主面において、スピーカ１８の左側には深度センサ２６が設けられ、カメラ２４の左側には深度カメラ２８が設けられる。なお、カメラ２４は、深度カメラ２８が撮影している空間と略同じ空間を撮影することが可能なように、携帯電話機１０の主面に設けられている。
【００４１】
たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルパッドに対して、タッチ操作を行うことで電話番号を入力し、通話キー２２ａが操作されると音声通話が開始される。終話キー２２ｂが操作されると音声通話が終了する。なお、終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。
【００４２】
また、メニューキー２２ｃが操作されると、ディスプレイ１４にホーム画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているＧＵＩに対して、タッチパネル１６によるタッチ操作を行うことによってオブジェクトを選択し、その選択を確定させることができる。
【００４３】
また、ユーザがビデオ通話を行う操作をすると、カメラ２４によって撮影された画像が相手の端末に送信され、相手の端末で撮影された画像がディスプレイ１４に表示される。さらに、携帯電話機１０に対するジェスチャ入力が有効にされると、ハウジング１２の主面の前で行われるジェスチャは、深度センサ２６および深度カメラ２８を利用して認識される。
【００４４】
なお、携帯電話機１０は、通話（ビデオ通話）以外に、メール、電子書籍、音楽プレーヤおよびブラウザなどのアプリケーションを実行可能である。
【００４５】
また、本実施例の携帯電話機１０は音声操作およびジェスチャ操作に対応しており、ユーザは、音声またはジェスチャを入力することで携帯電話機１０を操作することが出来る。たとえば、ユーザがジェスチャ入力を有効にする音声（たとえば、「ジェスチャ入力」）を入力した場合、ジェスチャ入力が有効になる。
【００４６】
また、以下の説明では、ディスプレイ１４に表示されるキーなどのＧＵＩおよびアイコンなどは、まとめてオブジェクトと言うことがある。
【００４７】
図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵであるプロセッサ３０などを含む。プロセッサ３０には、カメラ２４、深度センサ２６、深度カメラ２８、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６およびタッチパネル制御回路４８などが接続される。
【００４８】
プロセッサ３０は、携帯電話機１０の全体制御を司る。記憶部であるＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。また、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。
【００４９】
入力装置４０は、図１に示すハードキー２２を含むものである。そのため、ハードキー２２に対するキー操作を受け付ける。入力操作を受け付けたハードキー２２の情報（キーデータ）はプロセッサ３０に入力される。
【００５０】
無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、タッチパネル１６が受け付けた発呼（音声発信）の操作に基づき、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。
【００５１】
Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、上述のようにマイク２０からの音声信号はこのＡ／Ｄ変換器３６でディジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８には図１に示すスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データに基づく音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。
【００５２】
表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含んでおり、プロセッサ３０から出力されたデータはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４に画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。そのため、プロセッサ３０は表示制御部。なお、ディスプレイ１４には、バックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
【００５３】
タッチパネル制御回路４８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与すると共に、タッチパネル１６に対するタッチの開始を示すタッチ開始信号、タッチの終了を示す終了信号、およびタッチされたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、タッチされたオブジェクトを判断する。
【００５４】
実施例では、タッチパネル１６は、その表面と指などの物体（以下、便宜上合わせて指と言う。）との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスと言うことがある。タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面に対してタッチ操作を行うことで、操作位置や、操作方向などを携帯電話機１０に入力する。
【００５５】
本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。
【００５６】
タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、一定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。
【００５７】
また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。また、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と言う。
【００５８】
なお、以下の説明では、タップ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述されることがある。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。
【００５９】
カメラ２４はカメラモジュールであり、イメージセンサ、レンズおよび制御回路などを含む。本実施例のカメラ２４は、携帯電話機１０の主面側の空間のＲＧＢ情報、つまりカラー画像を撮影する。
【００６０】
深度センサ２６は、たとえば赤外線プロジェクタであり、深度カメラ２８は、たとえば赤外線カメラである。深度センサ２６は、たとえば赤外線によるレーザ光を携帯電話機１０の正面に照射する。照射されたレーザ光によって空間には特殊なパターンが描画され、深度カメラ２８は描画されたパターンを撮影する。そして、撮影された画像はプロセッサ３０に入力され、プロセッサ３０はその画像を解析することで、レーザ光が照射された空間の奥行(depth)情報を計測する。
【００６１】
そして、プロセッサ３０は、計測した奥行情報に基づいて、携帯電話機１０の正面にあるユーザの手指を認識する。また、プロセッサ３０は、認識した物体の位置の変化を追従することで、手指によるジェスチャを認識する。なお、赤外線を利用する奥行情報の計測およびジェスチャの認識については、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）センサなどによって広く一般的に行われ、その技術についても広く知られているので、ここでの詳細な説明は省略する。なお、本実施例の深度センサ２６、深度カメラ２８およびプロセッサ３０は、認識部として機能する。
【００６２】
図３は手指を使ったジェスチャを携帯電話機１０に対して入力している状態の一例を示す図解図である。図３を参照して、携帯電話機１０はホルダー５０に設けられている２本のアームによって左右側面の一部が挟まれ、横向き状態となるように固定されている。また、このような状態で携帯電話機１０が固定されると、深度センサ２６および深度カメラ２８は、ユーザに対して左右に並んだ位置関係となる。そして、実施例では、深度センサ２６および深度カメラ２８とユーザとの位置関係がこのような状態のときに、ユーザが手指を使ってジェスチャを行うと、携帯電話機１０はそのジェスチャを認識することが出来る。
【００６３】
たとえば、ユーザが携帯電話機１０に対して「ジェスチャ入力」との音声を入力すると、ジェスチャ入力が有効化される。この状態で、図４に示すように、グーの状態にした手指が携帯電話機１０に近づけられると、後述する実行ジェスチャ（第１ジェスチャまたは特定のジェスチャ）および確認ジェスチャ（第２ジェスチャ）を入力可能な状態となる。なお、以下の説明では、グーの状態にした手指を携帯電話機１０に近づけるジェスチャを、開始ジェスチャ（第３ジェスチャ）または操作ジェスチャ（第４ジェスチャ）と言うこともある。
【００６４】
図５は、本実施例で各指に対応付けられている入力操作の一例を示す図解図である。指毎に対応付けられている入力操作を示すデータは、設定操作データ３３８（図８参照）としてＲＡＭ４６に記憶されている。そして、本実施例では、任意の指を使った実行ジェスチャまたは確認ジェスチャが行われると、任意の指および設定操作データ３３８に基づいて、その指に対応する入力操作が特定される。
【００６５】
ここで、任意の指を折り曲げた状態にする確認ジェスチャが認識されると、折り曲げられた指に割り当てられている入力操作の名称が音声によって通知される。たとえば、図６（Ａ）に示すように、人差し指を折り曲げた状態にする確認ジェスチャが認識されると、人差し指に対応する「再生／一時停止」の入力操作が特定される。そして、特定された入力操作の名称である「再生／一時停止」を通知する音声が、携帯電話機１０のスピーカ１８から出力される。
【００６６】
また、任意の指を残して他の指を折り曲げた状態にする実行ジェスチャが認識されると、折り曲げられていない指に割り当てられている入力操作に基づいて処理が実行される。たとえば、図６（Ｂ）に示すように、人差し指を残して他の指を折り曲げた状態にする実行ジェスチャが認識されると、携帯電話機１０は再生または一時停止の処理を実行する。なお、音楽プレーヤにおいて、音楽が再生されている状態で図６（Ｂ）に示す実行ジェスチャが認識された場合は、音楽の再生を一時停止の処理が実行される。一方、音楽が一時停止されている状態で図６（Ｂ）に示す実行ジェスチャが認識された場合は、音楽を再生する処理が実行される。
【００６７】
そして、実行ジェスチャまたは確認ジェスチャが認識されないまま所定時間が経過すると、ジェスチャ入力が無効な状態に戻る。また、ジェスチャ入力を無効化されると深度センサ２６および深度カメラ２８の電源がオフにされる。したがって、ジェスチャを認識する可能性が低い場合、ジェスチャ入力を無効化することで、携帯電話機１０の省電力化が図られている。
【００６８】
このように、指毎に入力操作が対応付けられているため、ユーザは水仕事の途中などで携帯電話機１０に触れることが出来ない状態であっても、指で実行ジェスチャをするだけで携帯電話機１０を任意に操作することが出来る。特に、本実施例では、実行中のアプリケーションに対する入力操作に相当するジェスチャが認識されるため、ユーザは実行中のアプリケーションを、携帯電話機１０に触れることなく行うことが出来る。
【００６９】
また、確認ジェスチャによって各指に対応付けられている入力操作を確認することが出来るため、ユーザは、任意の指に対応付けられている入力操作を確認した後に、その指を使った実行ジェスチャを行うことが出来る。そして、本実施例では、指毎に対応付けられている入力操作を音声によって通知するため、ユーザは携帯電話機１０を見ることなく、任意の指に対応付けられている入力操作を確認することが出来る。そのため、ユーザは、携帯電話機１０を見ずに携帯電話機１０を操作することが出来る。
【００７０】
なお、携帯電話機１０は、図３に示すホルダー５０に代えて、上下の側面の一部または全体を挟むことで固定するホルダーや、吸盤などの接着手段によって携帯電話機１０の他面を貼り付けることで固定するホルダーなどによって固定されてもよい。また、他の実施例では、携帯電話機１０は、少なくとも一方側面の一部または略全部と接触するスタンドなどによって固定されてもよい。さらに、携帯電話機１０は、ジェスチャを入力するユーザに対して、携帯電話機１０における深度センサ２６および深度カメラ２８が左右に並んだ位置関係となるように、平面に置かれた状態、立てかけられた状態で固定されてもよい。つまり、ジェスチャを認識するときの携帯電話機１０は、ユーザに対して深度センサ２６および深度カメラ２８が所定の位置関係で、位置が変化しなければよい。そして、ユーザはこのように固定されている携帯電話機１０に対して、ジェスチャを入力することが出来る。
【００７１】
また、携帯電話機１０を固定するホルダー５０は、携帯電話機１０の専用品であってもよいし、様々な形状の携帯電話機を固定することが可能な汎用品であってもよい。
【００７２】
ここで、音声によってジェスチャ入力が有効化された後に、パーの状態にされた手指を携帯電話機１０に近づけるジェスチャが認識されると、手指を使ったジェスチャによってアプリケーションを実行することが可能になる。なお、以下の説明ではパーの状態にされた手指を携帯電話機１０に近づけるジェスチャを、開始ジェスチャまたはアプリケーションジェスチャ（第５ジェスチャ）と言うことがある。
【００７３】
アプリケーションジェスチャが入力されると、各指には入力操作に代えて、アプリケーションが対応付けられた状態となる。たとえば、本実施例では、親指に電子書籍が対応付けられ、人差し指に音楽プレーヤが対応付けられ、中指にブラウザが対応付けられる。
【００７４】
このように、指にアプリケーションが対応付けられている状態で、確認ジェスチャが行われると、指に対応付けられているアプリケーションの名称が通知される。また、実行ジェスチャが行われると、指に対応付けられているアプリケーションが実行される。つまり、ユーザは、ジェスチャ入力を有効化した後に、アプリケーションジェスチャを行うことで、任意のアプリケーションを実行することが出来る。
【００７５】
図７（Ａ）は指毎に対応付けられている入力操作を任意に変更するための入力操作設定画面の一例を示し、図７（Ｂ）は指毎に対応付けられているアプリケーションを任意に変更するためのアプリケーション設定画面の一例を示す。
【００７６】
図７（Ａ）を参照して、ディスプレイ１４の表示範囲は状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示領域６２には、音楽プレーヤの入力操作設定画面が表示される。この入力操作設定画面には、親指と対応する設定キー７０、人差し指と対応する設定キー７２、中指と対応する設定キー７４、薬指と対応する設定キー７６および小指と対応する設定キー７８が含まれる。また、親指には曲送りの入力操作が対応付けられているため、設定キー７０には「曲送り」と表示されている。同様に、人差し指と対応する設定キー７２には「再生／一時停止」と表示され、中指と対応する設定キー７４には「曲戻し」と表示され、薬指と対応する設定キー７４には「早送り」と表示され、小指と対応する設定キー７６には「巻戻し」と表示される。
【００７７】
そして、各設定キー７０−７８のいずれかに対してタップされると、入力操作を選択（変更）するためのプルダウンメニューが表示される。この状態で、ユーザは任意の入力操作を選択すれば、任意の指に任意の入力操作を対応付けることが出来る。
【００７８】
図７（Ｂ）を参照して、機能表示領域６２には、アプリケーション設定画面が表示される。アプリケーション設定画面にも、各指に対応する設定キー７０−７８が表示されている。そして、実施例では、電子書籍と対応する親指の設定キー７０には「電子書籍」と表示される。同様に、音楽プレーヤと対応する人差し指の設定キー７２には、「音楽プレーヤ」と表示される。ブラウザと対応する中指の設定キー７４には「ブラウザ」と表示される。なお、本実施例では、薬指および小指にはアプリケーションが対応付けられていないため、薬指および小指の設定キー７６，７８には、アプリケーションが対応付けられていないことを示す「−」が表示されている。そして、入力操作と同様、ユーザは、任意の設定キーに対してタップ操作を行うことで、任意の指に任意のアプリケーションを対応付けることが出来る。
【００７９】
また、実施例では、アプリケーション設定画面を表示させる操作がされると、ディスプレイ１４には図７（Ｂ）に示す画面が表示される。また、この画面で任意の設定キー７０−７８に対してロングタップ操作がされると、その設定キーと対応するアプリケーションの入力操作設定画面が表示される。そして、いずれかの画面で、メニューキー２２ｃまたは終話キー２２ｂが操作されると、表示されている画面が消去される。
【００８０】
なお、入力操作でも、設定キーに「−」が表示されてもよい。つまり、ユーザは、全ての指に入力操作またはアプリケーションを対応付ける必要はなく、必要な入力操作またはアプリケーションを各指に対応付けることが出来る。
【００８１】
また、音楽プレーヤの入力処理には、実施例で挙げた曲送り、再生／一時停止、曲戻し、早送りおよび巻戻しの他に、ランダム再生などが含まれていてもよい。そして、他の実施例では、実施例で挙げていない音楽プレーヤの他の入力操作が、指に対応付けられてもよい。
【００８２】
上述では本実施例の特徴を概説した。以下では、図８に示すメモリマップおよび図９−図１１に示すフロー図を用いて詳細に説明する。
【００８３】
図８を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
【００８４】
プログラム記憶領域３０２には、ジェスチャを認識するためのジェスチャ認識プログラム３１０、認識されたジェスチャに基づいて処理またはアプリケーションを実行するためのジェスチャ制御プログラム３１２および指毎に対応付けられた入力操作またはアプリケーションを変更するための設定プログラム３１４などが記憶される。なお、プログラム記憶領域３０２には、電子書籍、音楽プレーヤ、ブラウザおよびメールなどのアプリケーションを実行するためのプログラムも記憶される。
【００８５】
続いて、ＲＡＭ４６のデータ記憶領域３０４には、深度バッファ３３０およびジェスチャバッファ３３２などが設けられるとともに、音声データ３３４、設定アプリケーションデータ３３６および設定操作データ３３８なども記憶される。さらに、データ記憶領域３０４には、終了カウンタ３４０も設けられる。
【００８６】
深度バッファ３３０には、深度センサ２６および深度カメラ２８を利用して算出された深度（奥行）が一時的に記憶される。ジェスチャバッファ３３２には、認識されたジェスチャの情報が一時的に記憶される。
【００８７】
音声データ３３４は、指と対応する入力操作またはアプリケーションを通知するために読み出されるデータである。設定アプリケーションデータ３３６は、たとえば図７（Ｂ）に示すアプリケーション設定画面などにおいて、各指に対応付けられたアプリケーションを示すデータである。設定操作データ３３８は、各指に対応付けられた入力操作を示すテーブルのデータである。また、設定操作データ３３８には、アプリケーション毎の設定結果を示すテーブルが含まれる。
【００８８】
終了カウンタ３４０は、所定時間を計測するためのカウンタである。この終了カウンタ３４０は初期化されるとカウントを開始し、カウントが始まってから所定時間が経過するとカウントを停止する。そのため、終了カウンタは、終了タイマと言うこともある。
【００８９】
なお、データ記憶領域３０４には、ＧＵＩなどのオブジェクトを表示するためのデータが記憶されたり、プログラムの実行に必要な、他のフラグやタイマ（カウンタ）が設けられたりする。
【００９０】
プロセッサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図９、図１０に示すジェスチャ制御処理および図１１に示す設定処理などを含む、複数のタスクを並列的に処理する。
【００９１】
図９はジェスチャ制御処理のフロー図の一部である。ただし、ジェスチャを認識するためのジェスチャ認識処理は、ジェスチャ制御処理とは別に並行して実行される。また、ジェスチャを認識する処理については既に周知であり、本願発明の本質的な内容ではないため、図示および説明は省略する。
【００９２】
ジェスチャ制御処理は、たとえば音声入力によってジェスチャ入力が有効化されると開始される。ステップＳ１でプロセッサ３０は、入力が開始されたか否かを判断する。つまり、操作ジェスチャまたはアプリケーションジェスチャのいずれかの開始ジェスチャが認識されたかが判断される。また、ステップＳ１で“ＮＯ”であれば、つまり開始ジェスチャが認識されていなければ、プロセッサ３０はステップＳ１の処理を繰り返す。一方、ステップＳ１で“ＹＥＳ”であれば、つまり開始ジェスチャが認識されると、プロセッサ３０はステップＳ３で、操作ジェスチャか否かを判断する。たとえば、認識された開始ジェスチャが、手指がグーの状態で携帯電話機１０に近づける操作ジェスチャであるかが判断される。具体的には、プロセッサ３０は、ジェスチャバッファ３３２に記憶されているジェスチャの情報が、操作ジェスチャであるか否かを判断する。ステップＳ３で“ＮＯ”であれば、つまり開始ジェスチャとしてアプリケーションジェスチャが認識されていれば、プロセッサ３０は図１０に示すステップＳ２１の処理に進む。
【００９３】
ステップＳ３で“ＹＥＳ”であれば、つまり操作ジェスチャが認識されていれば、ステップＳ５でプロセッサ３０は、設定操作データ３３８を読み出す。つまり、実行ジェスチャまたは確認ジェスチャに基づく動作を行うために、設定操作データ３３８から実行中のアプリケーションと対応する設定結果を含むテーブルが読み出される。続いて、ステップＳ７でプロセッサ３０は、終了タイマを初期化する。つまり、終了タイマによる所定時間の計測が開始される。
【００９４】
続いて、ステップＳ９でプロセッサ３０は、終了タイマが満了したか否かを判断する。つまり、ジェスチャが認識されないまま所定時間が経過したかが判断される。ステップＳ９で“ＮＯ”であれば、つまり終了タイマが満了してなければ、ステップＳ１１でプロセッサ３０は、実行ジェスチャか否かを判断する。つまり、実行ジェスチャが認識されたかが判断される。
【００９５】
ステップＳ１１で“ＹＥＳ”であれば、たとえば図６（Ｂ）に示すように、人差し指を残して他の指を曲げた状態にする実行ジェスチャがされると、ステップＳ１３でプロセッサ３０は、指と対応する入力操作に基づいて処理を実行する。たとえば、上述の実行ジェスチャが実行されると、実行中のアプリケーションの設定結果を含むテーブルに基づいて、人差し指と対応する入力操作が特定される。ここでは、図７（Ａ）にも示すように、人差し指には「再生／一時停止」の入力操作が対応するため、音楽プレーヤによって音楽が再生されている状態であれば、「再生／一時停止」の入力操作に基づいて、音楽を一時停止する処理が実行される。その結果、再生中の音楽が一時停止される。なお、ステップＳ１３の処理を実行するプロセッサ３０は実行部として機能する。
【００９６】
続いて、ステップＳ１５でプロセッサ３０は、終了タイマを初期化する。つまり、実行ジェスチャが認識されたため、終了タイマを初期化することで所定時間の計測を再び開始する。そして、ステップＳ１５の処理が終了すると、プロセッサ３０はステップＳ９の処理に戻る。
【００９７】
また、ステップＳ１１で“ＮＯ”であれば、つまり、実行ジェスチャが認識されていなければ、ステップＳ１７でプロセッサ３０は、確認ジェスチャか否かを判断する。つまり、プロセッサ３０は、確認ジェスチャを認識したかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり実行ジェスチャおよび確認ジェスチャが認識されていなければ、プロセッサ３０はステップＳ９の処理に戻る。一方、ステップＳ１７で“ＹＥＳ”であれば、たとえば図６（Ａ）に示すように、人差し指を曲げた状態にする確認ジェスチャが認識された場合、ステップＳ１９でプロセッサ３０は、指と対応する入力操作を通知する。たとえば、上述の確認ジェスチャがされると、実行中のアプリケーションの設定結果を示すテーブルに基づいて、人差し指と対応する入力操作が特定される。そして、音声データ３３４が読み出され特定された「再生／一時停止」の入力操作の名称を伝える音声が、スピーカ１８から出力される。また、ステップＳ１９の処理が終了すると、プロセッサ３０はステップＳ１５の処理を実行して、ステップＳ９の処理に戻る。なお、ステップＳ１９の処理を実行するプロセッサ３０は通知部として機能する。
【００９８】
そして、ステップＳ９で“ＹＥＳ”であれば、つまりジェスチャが認識されないまま所定時間が経過すると、プロセッサ３０はジェスチャ制御処理を終了する。
【００９９】
図１０を参照して、ステップＳ３で“ＮＯ”であれば、つまり手指をパーにした状態で携帯電話機１０に近づけるアプリケーションジェスチャが開始ジェスチャとして認識されると、ステップＳ２１でプロセッサ３０は、設定アプリケーションデータ３３６を読み出す。各指に対応付けられたアプリケーションを特定するために、設定アプリケーションデータ３３６が読み出される。続いて、ステップＳ２３でプロセッサ３０は、ステップＳ７と同様、終了タイマを初期化する。
【０１００】
続いて、ステップＳ２５でプロセッサ３０は、ステップＳ９と同様、終了タイマが満了したか否かを判断する。ステップＳ２５で“ＮＯ”であれば、つまり終了タイマが満了していなければ、ステップＳ２７でプロセッサ３０は、ステップＳ１１と同様、実行ジェスチャか否かを判断する。ステップＳ２７で“ＹＥＳ”であれば、たとえば手指を図６（Ｂ）に示す状態にする実行ジェスチャが認識されると、ステップＳ２９でプロセッサ３０は、指と対応するアプリケーションを実行する。たとえば、人差し指を残して他の指を曲げた状態の実行ジェスチャが認識された場合は、人差し指と対応するアプリケーションを特定し、そのアプリケーションが実行される。続いて、プロセッサ３０は、ステップＳ３１でプロセッサ３０は、ステップＳ１５と同様、終了タイマを初期化して、ステップＳ２５の処理に戻る。
【０１０１】
また、ステップＳ２７で“ＮＯ”であれば、つまり実行ジェスチャが認識されていなければ、ステップＳ３３でプロセッサ３０は、ステップＳ１７と同様、確認ジェスチャか否かを判断する。ステップＳ３３で“ＮＯ”であれば、つまり確認ジェスチャが認識されていなければ、プロセッサ３０はステップＳ２５の処理に戻る。一方、ステップＳ３３で“ＹＥＳ”であれば、たとえば手指を図６（Ａ）に示す状態にする確認ジェスチャが認識されると、ステップＳ３５でプロセッサ３０は、指と対応するアプリケーションを通知する。たとえば、人差し指に対応するアプリケーションが特定され、特定されたアプリケーションの名称がユーザに通知される。そして、プロセッサ３０は、ステップＳ３１の処理を実行し、ステップＳ２５の処理に戻る。
【０１０２】
そして、ステップＳ２５で“ＹＥＳ”であれば、つまりジェスチャが認識されないまま所定時間が経過すると、プロセッサ３０はジェスチャ制御処理を終了する。また、ジェスチャ制御処理が終了すると、ジェスチャ入力が無効にされる。
【０１０３】
なお、他の実施例では、手指を振るような終了ジェスチャをさらに認識できるようにして、終了ジェスチャが認識されたときに、ジェスチャ制御処理が終了するようにしてもよい。その他の実施例では、ジェスチャ制御処理は、終了ジェスチャが認識されたときだけ終了するようにしてもよいし、終了ジェスチャの認識または終了タイマの満了のいずれか一方の条件が満たされたときに終了するようにしてもよい。
【０１０４】
図１１は設定処理のフロー図である。たとえば、アプリケーション設定画面を表示させる操作がされると、設定処理が開示される。プロセッサ３０は、ステップＳ６１でアプリケーション設定画面を表示させる。たとえば図７（Ｂ）に示すアプリケーション設定画面がディスプレイ１４に表示される。
【０１０５】
続いて、ステップＳ６３でプロセッサ３０は、終了か否かを判断する。つまり、プロセッサ３０は、設定処理を終了させる操作として、終話キー２２ｂまたはメニューキー２２ｃが操作されたかを判断する。ステップＳ６３で“ＮＯ”であれば、つまり設定処理を終了させる操作がされていなければ、ステップＳ６５でプロセッサ３０は、入力操作の設定操作か否かを判断する。たとえば、アプリケーション設定画面において、いずれかの設定キー７０−７８に対してロングタップ操作がされたかが判断される。
【０１０６】
ステップＳ６５で“ＹＥＳ”であれば、たとえば音楽プレーヤと書かれた設定キー７２に対してロングタップ操作がされると、ステップＳ６７でプロセッサ３０は、入力操作設定画面を表示する。たとえば、図７（Ａ）に示す音楽プレーヤの入力操作設定画面が表示される。続いて、ステップＳ６９でプロセッサ３０は、入力操作設定処理を実行する。たとえば、入力操作設定処理が実行されると、各指に対応する入力操作を変更する操作などが受け付けられる。そして、入力操作設定処理が終了すると、プロセッサ３０はステップＳ６３の処理に戻る。なお、ステップＳ６９の処理を実行するプロセッサ３０は変更部として機能する。
【０１０７】
一方、ステップＳ６５で“ＮＯ”であれば、つまり入力操作の設定操作がされなければ、ステップＳ７１でプロセッサ３０は、アプリケーションの設定操作がされたか否かを判断する。たとえば、アプリケーション設定画面において、いずれかの設定キー７０−７８に対してタップ操作がされたかが判断される。ステップＳ７１で“ＮＯ”であれば、つまりアプリケーションの設定操作がされなければ、プロセッサ３０はステップＳ６３の処理に戻る。一方、ステップＳ７１で“ＹＥＳ”であれば、つまりアプリケーションの設定操作がされると、ステップＳ７３でプロセッサ３０は、アプリケーション設定処理を実行する。たとえば、アプリケーション設定処理が実行されると、アプリケーションの設定操作に応じて、指にアプリケーションが対応付けられる。また、ステップＳ７３の処理が終了すれば、プロセッサ３０はステップＳ６３の処理に戻る。
【０１０８】
そして、ステップＳ６３で“ＹＥＳ”であれば、たとえば終話キー２２ｂが操作されると、プロセッサ３０は設定処理を終了する。
【０１０９】
なお、他の実施例では、開始ジェスチャが行われた後に、図５に示すように手指をパーの状態にすると、携帯電話機１０は各指を認識し、指毎に対応付けられている入力操作を、認識されている指毎に割り当ててもよい。たとえば、本実施例では、ユーザの左手の各指が認識されると、図５に示すように、親指と認識されている指に曲送りの入力操作が割り当てられ、人差し指にと認識されている指に再生／一時停止の入力操作が割り当てられ、中指と認識されている指に曲戻しの入力操作が割り当てられ、薬指と認識されている指に早送りの入力操作が割り当てられ、小指と認識されている指に巻戻しの入力操作が割り当てられる。
【０１１０】
たとえば、他の実施例のジェスチャ制御処理では、ステップＳ５で設定操作データ３３８が読み出された後に、各指に入力操作を割り当てる処理が実行される。そして、この処理を実行するプロセッサ３０は割り当て部として機能する。
【０１１１】
このように、他の実施例では、指毎に対応付けられている入力操作は、認識されている各指に割り当てられる。また、入力操作の割り当てを、開始ジェスチャが認識された後に行うことで、指と認識されていないものに入力操作が割り当てられないようにすることが出来る。特に、認識されている指に対して入力操作を割り当てることで、ディスプレイ１４に指毎に割り当てた入力操作を表示することもできる。この場合、ユーザは、指に割り当てられている入力操作を容易に把握することが出来る。
【０１１２】
また、本実施例では、指毎に対応する入力操作またはアプリケーションは、スピーカ１８からの音声によって通知していたが、その他の実施例では、確認ジェスチャに使われた指または全ての指に対応する入力操作またはアプリケーションを、ディスプレイ１４に表示するようにしてもよい。また、ジェスチャ入力が有効にされている間は、全ての指に対応する入力操作またはアプリケーションがディスプレイ１４に表示されるようにしてもよい。そして、さらにその他の実施例では、指毎に対応する入力操作またはアプリケーションは、スピーカ１８からの音声またはディスプレイ１４の表示を組み合わせて通知するようにしてもよい。
【０１１３】
また、他の実施例では、ジェスチャが認識されたことを、スピーカ１８からの音声やＬＥＤなどの光、またはその組み合わせのいずれかによってユーザに知らせるようにしてもよい。
【０１１４】
また、その他の実施例では、テレビ視聴やルート案内などのアプリケーションが指に対応付けられてもよい。そして、これらのアプリケーションの入力操作も指毎に対応付けられてもよい。
【０１１５】
また、実行ジェスチャまたは確認ジェスチャは、実施例のものだけに限られず、任意の指を複数回、動かすものであってもよい。
【０１１６】
また、ジェスチャの認識には、赤外線ではなく、静電容量の変化などを利用する近接センサや、超音波センサなどが利用されてもよい。
【０１１７】
また、本実施例では、ユーザは、左手を利用してジェスチャを入力していたが、さらにその他の実施例では右手で入力されてもよい。
【０１１８】
また、携帯電話機１０の正面に近接センサを設け、その近接センサによって手指などの近接が検出されたときに、ジェスチャ入力が有効化されてもよい。この場合、開始ジェスチャを省略して、実行ジェスチャまたは確認ジェスチャをいきなり認識するようにしてもよい。
【０１１９】
また、ジェスチャ入力は常に有効にされていてもよい。さらに、携帯電話機１０が電源から直接電力を供給されている状態のときにジェスチャ入力が有効にされてもよい。
【０１２０】
また、本実施例がデジタルカメラに適用された場合、デジタルカメラに対するシャッターなどの入力操作が指毎に対応付けられてもよい。
【０１２１】
また、他の実施例では、左右の手指を使って入力操作に基づく処理が実行されてもよい。たとえば、複数のアプリケーションが並列的に実行されている場合、左手の手指でアプリケーションを指定し、右手の手指で入力操作を指定するようにすれば、ユーザは、任意のアプリケーションの入力操作に基づく処理を実行させることが出来る。
【０１２２】
また、一方の手指で入力操作を行っている状態でアプリケーションを切り替える場合、たとえば入力操作を行っている手が一方方向に動かされたときに、アプリケーションが切り替えられてもよい。
【０１２３】
また、本実施例では、フロー図によって説明された処理において、ステップの繰り返しは一定間隔（たとえば、１秒よりも短い時間）で行われるが、その他の実施例では、一定間隔よりも長い間隔で繰り返されてもよい。
【０１２４】
また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。
【０１２５】
そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１２６】
１０    …  携帯電話機
１４    …  ディスプレイ
１６    …  タッチパネル
２６    …  深度センサ
２８    …  深度カメラ
３０    …  プロセッサ
４４    …  フラッシュメモリ
４６    …  ＲＡＭ
【図１】
2015225493.tif 000003
【図２】
2015225493.tif 000004
【図３】
2015225493.tif 000005
【図４】
2015225493.tif 000006
【図５】
2015225493.tif 000007
【図６】
2015225493.tif 000008
【図７】
2015225493.tif 000009
【図８】
2015225493.tif 000010
【図９】
2015225493.tif 000011
【図１０】
2015225493.tif 000012
【図１１】
2015225493.tif 000013