(57)【要約】【課題】画面のレイアウトを変えずに、ユーザの誤操作を軽減することが可能な電子機器を提供する。【解決手段】  電子機器のＣＰＵが実行する処理は、カメラから得られる入力画像からユーザの手を検出するステップＳ５２０と、検出したユーザの手の形を有する手画像を生成するステップＳ５２２と、タッチパネルの操作画面に重ねて手画像を表示し、ユーザの手の動きに連動させて手画像をタッチパネルに表示するステップＳ５２４と、タッチパネル内の手画像の位置におけるタッチ操作に応じた命令を実行するステップＳ５３２とを含む。【選択図】図５
2015230496.tif 000002
【特許請求の範囲】
【請求項１】
電子機器であって、
タッチパネルと、
前記タッチパネルの表示画面の反対の面に設けられたカメラと、
前記電子機器を制御するための制御装置とを備え、
前記制御装置は、
前記カメラから得られる入力画像からユーザの手を検出するための手検出部と、
前記手検出部によって検出された前記ユーザの手の形を有する手画像を生成するための生成部と、
前記タッチパネルの操作画面に重ねて前記手画像を表示し、前記ユーザの手の動きに連動させて前記手画像を前記タッチパネルに表示するための表示制御部と、
前記タッチパネル内の前記手画像の位置におけるタッチ操作に応じた命令を実行するための実行部とを含む、電子機器。
【請求項２】
前記制御装置は、前記ユーザの手と前記電子機器と間の距離を検出するための距離検出部をさらに含み、
前記実行部は、前記距離検出部によって検出された距離の変化量が予め定められた変化量よりも大きくなると、前記命令を実行する、請求項１に記載の電子機器。
【請求項３】
前記距離検出部は、前記生成部によって生成される手画像のサイズから、前記ユーザの手と前記電子機器との間の距離を検出する、請求項２に記載の電子機器。
【請求項４】
前記生成部は、前記表示画面のサイズに応じたサイズで前記手画像を生成する、請求項１〜３のいずれか１項に記載の電子機器。
【請求項５】
前記制御装置は、前記手画像に含まれる第１の指と、前記第１の指とは異なる第２の指とが近接または接触したことを検出するための接触検出部をさらに含み、
前記実行部は、前記接触検出部が前記第１の指と前記第２の指との近接または接触を検出すると、前記命令を実行する、請求項１〜４のいずれか１項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子機器の制御に関し、特に、カメラを有する電子機器の制御に関する。
【背景技術】
【０００２】
近年、アイコンなどに対するユーザの誤操作を軽減するための様々な技術が開発されている。たとえば、特許文献１は、表示部に表示されたアイコンの誤操作を軽減するためのカーナビゲーションシステムを開示している。当該カーナビゲーションシステムは、自身の指が画面上のどこに位置するかをユーザに認識させることで誤操作を軽減することを目的としている。この目的を達成するための具体的な手段として、当該カーナビゲーションシステムは、操作部を操作する手を上からカメラで撮影して得られた画像を表示部に表示する。その際、当該カーナビゲーションシステムは、表示部に表示される指の位置に合わせてアイコンの表示位置を変える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８６６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザの手の位置が変わる度に、アイコンの表示位置が変わると、ユーザは、その都度、画面の内容を把握する必要があり、却って、ユーザの誤操作が増加する可能性がある。このため、特許文献１が開示する方法とは異なる方法で電子機器の誤操作を軽減することが望まれている。
【０００５】
本開示は上述のような問題点を解決するためになされたものであって、その目的は、画面のレイアウトを変えずに、ユーザの誤操作を軽減することが可能な電子機器を提供することである。
【課題を解決するための手段】
【０００６】
一実施の形態に従う電子機器は、タッチパネルと、タッチパネルの表示画面の反対の面に設けられたカメラと、電子機器を制御するための制御装置とを備える。制御装置は、カメラから得られる入力画像からユーザの手を検出するための手検出部と、手検出部によって検出されたユーザの手の形を有する手画像を生成するための生成部と、タッチパネルの操作画面に重ねて手画像を表示し、ユーザの手の動きに連動させて手画像をタッチパネルに表示するための表示制御部と、タッチパネル内の手画像の位置におけるタッチ操作に応じた命令を実行するための実行部とを含む。
【発明の効果】
【０００７】
ある局面において、画面のレイアウトを変えずに、電子機器に対するユーザの誤操作を軽減することができる。
【０００８】
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態に従うスマートフォンの外観を模式的に示した図である。
【図２】第１の実施の形態に従うスマートフォンをユーザが操作している様子を示している図である。
【図３】第１の実施の形態に従うスマートフォンの主要なハードウェア構成を示すブロック図である。
【図４】第１の実施の形態に従うスマートフォンの機能構成を示すブロック図である。
【図５】第１の実施の形態に従うスマートフォンが実行する処理の一部を表わすフローチャートである。
【図６】第２の実施の形態に従うスマートフォンをユーザが操作している様子を示している図である。
【図７】第２の実施の形態に従うスマートフォンの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
【００１１】
なお、以下では、電子機器の一例として機能するスマートフォンの詳細について説明するが、電子機器は、スマートフォンに限定されるものではない。たとえば、電子機器は、タブレット端末、デジタルカメラ、電子辞書、ＰＤＡ（Personal  Digital  Assistant）、ゲーム機、その他のカメラを有する装置も含み得る。また、以下で説明される各実施の形態は、選択的に組み合わされてもよい。
【００１２】
＜導入＞
まず、以下で説明する各実施の形態の理解を容易にするために、近年のスマートフォンの問題点について説明する。
【００１３】
近年では、タッチパネルを備えたスマートフォンが普及している。これに伴い、タッチパネルの表示画面が高精細化しており、ユーザがタッチ操作を行なう対象となる、アイコン、リンクなどのオブジェクトの表示サイズが、タッチパネルの表示画面の大きさに対して非常に小さくなっている。これに伴い、ユーザが意図するオブジェクトとは異なるオブジェクトをタッチしてしまう誤操作が生じる。
【００１４】
このような誤操作を防ぐための方法の一例として、タッチパネルの表示画面の一部を拡大して表示する方法が挙げられる。しかしながら、この方法では、ユーザが画面を拡大するための操作を行なわなければならず、タッチパネルの操作性が良くない。他にも、タッチパネルの誤操作を防ぐための方法として、ユーザがタッチペンを用いてペン先でオブジェクトにタッチする方法が挙げられる。しかしながら、この方法では、ユーザがタッチペンを別途携帯する必要があり、スマートフォンの携帯性が損なわれる。以下で説明する各実施の形態に従うスマートフォンは、これらの問題を解決することができる。
【００１５】
＜第１の実施の形態＞
［概要］
図１および図２を参照して、第１の実施の形態に従うスマートフォン１００の概要について説明する。図１は、スマートフォン１００の外観を模式的に示した図である。図２は、ユーザがスマートフォン１００を操作している様子を示している図である。
【００１６】
図１（Ａ）および図１（Ｂ）に示されるように、スマートフォン１００は、タッチパネル４と、カメラ５とを含む。カメラ５は、タッチパネル４の表示画面の反対の面に設けられる。タッチパネル４には、スマートフォン１００の機能に関連付けられたオブジェクトが表示されている。オブジェクトは、アイコン、ボタン、リンク、スマートフォン１００の機能に関連付けられたその他の画像などを含む。
【００１７】
図２（Ａ）に示されるように、ユーザがカメラ５の前に手を動かすと、スマートフォン１００は、カメラ５から得られた画像（以下、「入力画像」ともいう。）においてユーザの手を検出する。スマートフォン１００は、検出したユーザの手の形を有する手画像３０を生成する。手画像３０は、ユーザの手を入力画像から切り出した画像そのものであってもよいし、検出した手と同様の形を有する加工した画像であってもよい。スマートフォン１００は、生成した手画像３０を操作画面３２に重ねて表示する。このとき、スマートフォン１００は、ユーザの実際の手の大きさよりも小さくなるように手画像３０を表示する。
【００１８】
スマートフォン１００は、繰り返し得られた入力画像から手画像３０を順次生成して、手画像３０の表示を更新することで、ユーザの手の動きに連動させて手画像３０を表示する。このため、ユーザは、自身の手の動きに合わせて手画像３０を操作することが可能になる。ユーザは、目的のオブジェクトの位置に手画像３０を重ね、予め定められた動作をスマートフォン１００に対して行うことで、スマートフォン１００は、手画像３０の位置に表示されているオブジェクトに関連付けられている機能を実行する。すなわち、スマートフォン１００は、タッチ操作の代わりとなるユーザ操作（以下、「代替操作」ともいう。）を行なうことで、タッチ操作を検出したときに実行する処理と同じ処理（以下、「タッチ処理」ともいう。）を実行する。代替操作の一例として、図２（Ｂ）に示されるように、親指と人差し指とを接触させる動作が挙げられる。
【００１９】
このように、ユーザが、自身の手よりも小さいサイズで表示された手画像３０を意図した通りに操作することで、オブジェクトが密集して表示されている場合であっても、スマートフォン１００は、ユーザによるタッチパネル４の誤操作を軽減することが可能になる。
【００２０】
［ハードウェア構成］
図３を参照して、第１の実施の形態に従うスマートフォン１００のハードウェア構成の一例について説明する。図３は、スマートフォン１００の主要なハードウェア構成を示すブロック図である。図３に示されるように、スマートフォン１００は、ＲＯＭ（Read  Only  Memory）１と、ＣＰＵ（Central  Processing  Unit）２と、ＲＡＭ（Random  Access  Memory）３と、タッチパネル４と、カメラ５と、距離センサ９と、ネットワークインタフェース（Ｉ／Ｆ）１０と、記憶装置２０とを含む。
【００２１】
ＲＯＭ１は、オペレーティングシステム（ＯＳ：Operating  System）、スマートフォン１００の起動時に実行される初期プログラム（ブートプログラム）などを格納する。ＣＰＵ２は、ＲＯＭ１や記憶装置２０などに格納された、オペレーティングシステムやスマートフォン１００の制御プログラムなどの各種プログラムを実行することで、スマートフォン１００の動作を制御する。ＲＡＭ３は、ＣＰＵ２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
【００２２】
タッチパネル４は、モニタ４Ａと、タッチセンサ４Ｂとを含む。タッチセンサ４Ｂは、モニタ４Ａに重ねられて設けられる。これにより、タッチパネル４は、モニタ４Ａに対するタッチ位置を検出することができる。タッチ位置は、たとえば、タッチパネル４上の座標として検出される。タッチパネル４は、たとえば、抵抗膜方式、静電容量方式、その他のタッチパネル４に対する接触を検出することが可能な方式で実現される。
【００２３】
カメラ５は、タッチパネル４の表示画面の反対の面に設けられる。カメラ５は、レンズと、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）その他の撮像素子と、オートフォーカス機構とを含む。カメラ５は、ユーザ操作に応じて、視野に含まれる被写体を撮影し、入力画像を生成する。生成した入力画像は、ＣＰＵ２に出力される。
【００２４】
距離センサ９は、スマートフォン１００とユーザの手との間の距離（以下、「ユーザ距離」ともいう。）を検出する。距離センサ９は、タッチパネル４の表示面とは反対の面に設けられる。すなわち、距離センサ９は、カメラ５が設けられる面と同一の面に設けられる。距離センサ９は、たとえば、超音波センサ、赤外線センサ、ユーザ距離を検出することが可能なその他のセンサを含む。ある局面において、距離センサ９は、カメラ５に内蔵される。これを実現するための技術として、像面位相差ＡＦ（Auto  Focus）技術が挙げられる。なお、距離センサ９は、本実施の形態に従うスマートフォン１００においては必須の構成ではない。距離センサ９は、たとえば、以下で説明する第２の実施の形態に従うスマートフォン１００Ａに用いられる。
【００２５】
ネットワークＩ／Ｆ１０は、アンテナ１０Ａを介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、スマートフォン、パソコン、サーバ装置、その他通信機能を有する電子機器などである。スマートフォン１００は、アンテナ１０Ａを介して、本実施の形態に従う各種の処理を実現するためのプログラムをダウンロードできるように構成されてもよい。
【００２６】
記憶装置２０は、たとえば、ｅＭＭＣ（Embedded  MultiMediaCard）などの記憶媒体を含む。ｅＭＭＣは、ＮＡＮＤフラッシュメモリと、制御回路とを含む。記憶装置２０は、本実施の形態に従う各種の処理を実現するためのプログラムなどを格納する。また、記憶装置２０は、オペレーティングシステムなどのプログラムを格納していてもよい。
【００２７】
［機能構成］
図４を参照して、スマートフォン１００の機能の一例について説明する。図４は、スマートフォン１００の機能構成を示すブロック図である。ＣＰＵ２は、手検出部２１０と、生成部２２０と、表示制御部２３０と、接触検出部２４０と、実行部２５０とを含む。
【００２８】
手検出部２１０は、カメラ５から得られた入力画像からユーザの手を検出する。入力画像からユーザの手を検出するための手法として、たとえば、テンプレートマッチングなどの画像処理技術が用いられる。本実施の形態におけるテンプレートマッチングとは、記憶装置２０などに予め登録された手画像３０を基準として、入力画像から手画像３０を探索することにより入力画像内の手の位置を取得する手法である。一例として、入力画像内のユーザの手の位置は、入力画像中の座標値として検出される。手検出部２１０は、検出したユーザの手の位置を生成部２２０に出力する。
【００２９】
生成部２２０は、手検出部２１０によって検出されたユーザの手の形を有する手画像３０を生成する。一例として、生成部２２０は、手検出部２１０によって検出された入力画像内の手の位置（たとえば、座標）から所定の範囲内においてエッジを抽出し、抽出したエッジ部分に沿って入力画像を切り出して手画像３０を生成する。手画像３０は、ユーザの手を入力画像から切り出した画像そのものであってもよいし、入力画像におけるユーザの手の輪郭を有する加工した画像であってもよい。生成部２２０は、生成した手画像３０を、表示制御部２３０および接触検出部２４０に出力する。
【００３０】
ある局面において、生成部２２０は、入力画像が得られた順番に手画像３０を順次生成する。これにより、生成部２２０は、カメラ５が撮影しているユーザの手と同じ形を有する手画像３０をリアルタイムに生成することができる。他の局面において、生成部２２０は、タッチパネル４の表示画面のサイズに応じたサイズで手画像３０を生成する。これにより、手画像３０が、表示画面を操作するのに適したサイズで表示され、タッチパネル４の誤操作を軽減することができる。さらに他の局面において、生成部２２０は、タッチパネル４の表示画面に表示されるオブジェクトのサイズに応じたサイズで手画像３０を生成する。これにより、手画像３０が、表示画面に表示されるオブジェクトを操作するのに適したサイズで表示され、タッチパネル４の誤操作を軽減することができる。
【００３１】
表示制御部２３０は、生成部２２０によって生成された手画像３０を、タッチパネル４の操作画面３２に重ねて表示する。操作画面３２における手画像３０の表示位置は、入力画像内の手画像３０の位置によって決定される。すなわち、手画像３０の表示位置は、カメラ５に対するユーザの手の位置によって決定される。ある局面において、表示制御部２３０は、手画像３０の表示位置を更新する。これにより、表示制御部２３０は、ユーザの手の動きと手画像３０の表示とを連動させることができる。すなわち、ユーザがカメラ５の視野の範囲内で自身の手を上下左右に動かすと、その動きに合わせて手画像３０の表示位置も上下左右に変化する。
【００３２】
接触検出部２４０は、手画像３０に含まれる第１の指（たとえば、人差し指）と、第１の指とは異なる第２の指（たとえば、親指）とが近接または接触したことを検出する。より具体的な処理として、まず、接触検出部２４０は、手画像３０に含まれるユーザの各指を検出する。手画像３０からユーザの指を検出するための手法として、たとえば、テンプレートマッチングなどの画像処理技術が用いられる。この場合、接触検出部２４０は、記憶装置２０などに予め登録された各指画像を基準として、手画像３０から各指画像を探索する。この結果、接触検出部２４０は、手画像３０内の各指の位置を取得できる。一例として、手画像３０内のユーザの指の位置は、入力画像中の座標値として検出される。接触検出部２４０は、各指の座標値から算出された指間の距離が予め定められた距離以内になったことに基づいて、指同士の近接または接触を検出する。
【００３３】
実行部２５０は、タッチパネル４内の手画像３０の位置におけるタッチ操作に応じた命令を実行する。すなわち、実行部２５０は、ＣＰＵ２がタッチ操作を検出したときに実行する処理と同じ処理（すなわち、タッチ処理）を実行する。タッチ処理は、タッチ操作の代わりとなるユーザ操作（すなわち、代替操作）がスマートフォン１００によって検出されると実行される。
【００３４】
［代替操作］
実行部２５０がタッチ処理を実行するトリガとなる代替操作には、様々なものが考えられる。以下、代替操作の例を挙げる。
【００３５】
（代替操作の例１）
代替操作は、たとえば、ユーザの第１の指（たとえば、人差し指）と第２の指（たとえば、親指）とがカメラの前で予め定められた動きをすることを含む。すなわち、第１の指と第２の指との動作が予め定められた動作に一致した場合に、実行部２５０は、タッチ処理を実行する。予め定められた動作は、たとえば、第１の指と第２の指とを近接または接触させることを含む。より具体的には、ユーザは、スマートフォン１００にタッチ処理を実行させたくない場合には、カメラの前で、第１の指と第２の指との間を空けておく。また、ユーザは、スマートフォン１００にタッチ処理を実行させたい場合には、カメラの前で、第１の指および第２の指を接触または近接させる。第１の指および第２の指が接触または近接したか否かは、上述したように、接触検出部２４０によって検出される。
【００３６】
第１の指と第２の指とは、ユーザによって５本の指から任意に選択される。第１の指と第２の指との選択方法については、特に限定しない。たとえば、スマートフォン１００は、５本の指から任意の指を選択するユーザインタフェースにおいて、第１の指および第２の指をユーザが選択できるように構成されてもよい。ある局面において、ユーザは、タッチしたい場所を指し示す指を第１の指として選択し、タッチ動作を指示する指を第２の指として選択する。この場合、ユーザが代替操作を行なった場合に、実行部２５０は、手画像３０に含まれる第１の指が指している位置におけるタッチ処理を実行する。
【００３７】
なお、上記では、第１の指および第２の指の２本の指の動作を例に挙げて代替操作の説明を行なったが、代替操作は、ユーザの１本の指の予め定められた動作を含んでもよい。あるいは、代替操作は、ユーザの３本以上の指の予め定められた動作を含んでもよい。
【００３８】
（代替操作の例２）
他の例として、代替操作は、ユーザが自身の手をカメラ５の前で回転させることを含む。一例として、実行部２５０は、タッチ位置を示す第１の指の指先の位置が変化せず、手の甲の回転を検出したときに、タッチ処理を実行する。このとき、ユーザは、スマートフォン１００にタッチ処理を実行させたくない場合に、カメラ５に対して手の甲を向ける。この状態から、ユーザが手の甲を回転させた場合に、実行部２５０は、タッチ処理を実行する。
【００３９】
なお、上記では、ユーザが手の甲をカメラ５の前で回転させる動作を、タッチ処理の実行を意図する動作として説明を行なったが、タッチ処理の実行を意図する動作は、これに限定されない。たとえば、タッチ処理の実行を意図する動作は、カメラ５に手の甲を向ける動作、その他のユーザの手の動作を含む。
【００４０】
（代替操作の例３）
他の例として、代替操作は、スマートフォン１００を把持している側の手を用いてタッチパネル４の画面上の特定の場所をユーザがタッチすること、スマートフォン１００の特定の場所をユーザがタッチすること、および、ユーザがスマートフォン１００に設けられた操作ボタン（図示しない）を押下することを含み得る。
【００４１】
（代替操作の例４）
他の例として、代替操作は、ユーザ自身の手をカメラ５の前で予め定められた形にすることを含む。すなわち、スマートフォン１００には、様々な手の形を有する手画像が予め登録されており、カメラ５から得られた画像が、予め登録されている手画像の形状と一致した場合に、実行部２５０は、タッチ処理を実行する。上述の代替操作の例１は、本例（代替操作の例４）の一例とみなすこともできる。本例に従う代替操作の具体例として、以下の（ａ）〜（ｄ）が挙げられるが、代替操作は、これらに限定されるものではない。
【００４２】
（ａ）本例に従う代替操作は、タッチしたい場所を示す第１の指を１本だけ立てている状態から、親指などの異なる指（第２の指）を立てる動作を含む。スマートフォン１００は、この動作を検出したときに、タッチ処理を実行する。
【００４３】
（ｂ）他にも、本例に従う代替操作は、第１の指とは異なる指（第２の指）を予め立てている状態から、第２の指を曲げる動作を含む。スマートフォン１００は、この動作を検出したときに、タッチ処理を実行する。
【００４４】
（ｃ）他にも、本例に従う代替操作は、上記（ａ），（ｂ）において、第１とは異なる第２の指を複数本使うような動作を含む。たとえば、手を開いた状態から、第１の指以外の指をすべて曲げて、第１の指だけを１本立てる動作が挙げられる。また、人差し指（第１の指）とは別に親指と中指とを立てた状態から、１本以上の指を曲げる動作が挙げられる。スマートフォン１００は、これらの動作を検出したときに、タッチ処理を実行する。
【００４５】
（ｄ）他にも、第１の指とは異なる指を複数本使用した動作が端末に予め登録されている手画像に一致したときに、スマートフォン１００は、タッチ処理を実行する。たとえば、ユーザが、カメラ５の前で、人差し指（第１の指）とは別に、親指と中指との２本の指を使用し、２本の指で輪を作った（すなわち、２本の指先を接触させた）とき、スマートフォン１００は、タッチ処理を実行する。
【００４６】
［制御構造］
図５を参照して、スマートフォン１００の制御構造について説明する。図５は、スマートフォン１００が実行する処理の一部を表わすフローチャートである。図５の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部又は全部が、回路素子その他のハードウェアによって実行されてもよい。
【００４７】
ステップＳ５１０において、ＣＰＵ２は、カメラ５から入力画像を取得する。ステップＳ５２０において、ＣＰＵ２は、手検出部２１０として、入力画像にユーザの手が含まれるか否かを判断する。ＣＰＵ２は、入力画像にユーザの手が含まれていると判断した場合には（ステップＳ５２０においてＹＥＳ）、制御をステップＳ５２２に切り替える。そうでない場合には（ステップＳ５２０においてＮＯ）、ＣＰＵ２は、制御をステップＳ５１０に戻す。
【００４８】
ステップＳ５２２において、ＣＰＵ２は、生成部２２０として、ステップＳ５２０において検出されたユーザの手の形を有する手画像を生成する。好ましくは、ＣＰＵ２は、タッチパネル４の画面内で適切な大きさになるよう縮小して手画像３０を表示する。たとえば、ＣＰＵ２は、タッチパネル４の画面のサイズに合わせて手画像３０を表示する。あるいは、ＣＰＵ２は、オブジェクトのサイズに合わせて手画像３０を表示する。ステップＳ５２４において、ＣＰＵ２は、表示制御部２３０として、タッチパネル４の操作画面に重ねて手画像３０を表示し、ユーザの手の動きに連動させて手画像３０をタッチパネル４に表示する。
【００４９】
ステップＳ５３０において、ＣＰＵ２は、上述の代替操作を検出したか否かを判断する。ＣＰＵ２は、代替操作を検出したと判断した場合には（ステップＳ５３０においてＹＥＳ）、制御をステップＳ５３２に切り替える。そうでない場合には（ステップＳ５３０においてＮＯ）、ＣＰＵ２は、制御をステップＳ５１０に戻す。
【００５０】
ステップＳ５３２において、ＣＰＵ２は、実行部２５０として、タッチ処理を実行する。より具体的な処理として、まず、ＣＰＵ２は、ユーザがタッチ操作に用いることを意図している指を手画像３０から検出する。たとえば、手画像３０における手の形が人差し指のみを立てたものであれば、ＣＰＵ２は、ユーザが人差し指をタッチ操作に使用することを意図していると判断する。ＣＰＵ２は、検出した指の先端の位置におけるタッチ操作があったものとしてタッチ処理を実行する。
【００５１】
［小括］
以上のようにして、ユーザは、自身の手の動きに連動する手画像３０を操作することで、タッチ操作と同様の操作を行なうことができる。手画像３０は、ユーザの手の動きに連動するため、ユーザは、自然な感覚で手画像３０を操作することができる。また、カメラ５は、表示画面の反対の面に設けられているため、ユーザが通常のタッチ操作を行なうときと同様に、手の甲側の手画像３０がそのままの形で表示される。このため、ユーザは、自身の指を使ってタッチパネル４を直接操作しているような自然な感覚でスマートフォン１００を操作することができる。
【００５２】
また、スマートフォン１００は、タッチパネル４の表示画面上でアイコンなどのオブジェクトをユーザが選択するのに適した大きさで手画像３０を表示する。このため、多数のオブジェクトが密集して表示されているような場合であっても、ユーザは、画面の一部分を拡大する操作を行うなどの画面のレイアウトを変更する操作を行なう必要がない。ユーザは、画面レイアウトを変えずに画面操作を行なうことができるので、スマートフォン１００の誤操作を軽減することができる。
【００５３】
また、スマートフォン１００の製造者は、一般的な携帯端末に標準的に搭載されている機能および部品を利用して上述の処理を実現できるので、スマートフォン１００の製造コストを抑えることができる。また、スマートフォン１００の製造者は、操作性を改善するためにタッチペンなどの他の部品を設ける必要が無いので、スマートフォン１００の携帯性が損なわれることもない。
【００５４】
＜第２の実施の形態＞
［概要］
以下、図６を参照して、第２の実施の形態に従うスマートフォン１００Ａの概要について説明する。図６は、ユーザがスマートフォン１００Ａを操作している様子を示している図である。第２の実施の形態に従うスマートフォン１００Ａは、ユーザの手までの距離の変化をトリガにタッチ処理を実行する点で、第１の実施の形態に従うスマートフォン１００とは異なる。ハードウェア構成などのその他の点については第１の実施の形態に従うスマートフォン１００と同じであるので、それらの説明は繰り返さない。
【００５５】
図６（Ａ）に示されるように、スマートフォン１００Ａは、タッチパネル４を含む。タッチパネル４には、カメラ５がユーザの手を撮影して得られた手画像３０が表示されている。この状態において、図６（Ｂ）に示されるように、ユーザが自身の手をスマートフォン１００Ａから遠ざける方向に動かすことで、スマートフォン１００Ａは、タッチ処理を実行する。すなわち、自身の手をスマートフォン１００Ａから遠ざける動作は、タッチ操作の代わりとなるユーザ操作（すなわち、代替操作）となる。
【００５６】
より具体的な処理として、スマートフォン１００Ａは、生成部２２０（図４参照）により生成される手画像のサイズに応じて、ユーザの手までの距離（すなわち、ユーザ距離）を算出する。生成部２２０が生成する手画像のサイズは、ユーザの手の動きと連動している。すなわち、図６（Ｂ）に示されるように、ユーザがカメラ５から自身の手を遠ざけると、生成部２２０により生成される手画像のサイズは小さくなる。また、ユーザがカメラ５に自身の手を近付けると、生成部２２０により生成される手画像のサイズは大きくなる。この点に着目して、スマートフォン１００Ａは、生成部２２０により生成される手画像のサイズからユーザ距離を算出する。スマートフォン１００Ａは、ユーザ距離の変化量が予め定められた変化量よりも大きくなった場合に、タッチ処理を実行する。
【００５７】
なお、図６（Ａ）および図６（Ｂ）に示されるように、実際に表示される手画像３０の表示サイズは、ユーザ距離によって変わらないように調整される。すなわち、表示制御部２３０は、生成部２２０によって生成された手画像を、画面サイズに応じて縮小または拡大して一定のサイズの手画像３０を生成し、当該手画像３０をタッチパネル４に表示する。あるいは、表示制御部２３０は、ユーザ距離に応じて、手画像３０の表示サイズを変えてもよい。この場合、表示制御部２３０は、ユーザ距離が遠いほど手画像３０の表示を大きくし、ユーザ距離が近いほど手画像３０の表示を小さくする。
【００５８】
［機能構成］
図７を参照して、スマートフォン１００Ａの機能の一例について説明する。図７は、スマートフォン１００Ａの機能構成を示すブロック図である。ＣＰＵ２は、手検出部２１０と、生成部２２０と、表示制御部２３０と、接触検出部２４０と、実行部２５０と、距離検出部２６０とを含む。手検出部２１０と、生成部２２０と、表示制御部２３０と、接触検出部２４０とについては上述した通りであるので説明を繰り返さない。
【００５９】
距離検出部２６０は、ユーザの手とスマートフォン１００Ａと間の距離（すなわち、ユーザ距離）を検出する。より具体的には、距離検出部２６０は、生成部２２０によって生成される手画像３０のサイズからユーザ距離を検出する。この場合、手画像３０のサイズが大きいほど、ユーザ距離が近くなる。手画像３０のサイズが小さいほど、ユーザ距離は遠くなる。距離検出部２６０は、検出したユーザ距離を実行部２５０に出力する。なお、距離検出部２６０は、他の方法を用いてユーザ距離を検出してもよい。ある局面において、距離検出部２６０は、上述の距離センサ９（図３参照）からユーザ距離を取得してもよい。あるいは、距離検出部２６０は、手画像３０のサイズとユーザ距離との関係を規定したテーブルを参照してユーザ距離を取得する。
【００６０】
実行部２５０は、ユーザ距離の変化量が予め定められた変化量よりも大きくなった場合に、タッチパネル４上の手画像の位置におけるタッチ処理を実行する。あるいは、ユーザ距離が予め定められた距離よりも大きくなった場合に、実行部２５０は、タッチパネル４上の手画像の位置におけるタッチ処理を実行するように構成されてもよい。
【００６１】
ある局面において、実行部２５０は、カメラ５のピントを調整するための調整値（コントラストの情報）をカメラ５から取得し、調整値の変化によってタッチ処理を実行してもよい。ユーザがカメラ５に対して自身の手を前後に動かした場合には、カメラ５は、手にピントを合わせるため、調整値を変化する。スマートフォン１００Ａは、この調整値の変化を検出することで、ユーザがカメラ５の前で自身の手を前後に動かしたか否かを判断することができる。
【００６２】
［小括］
以上のようにして、第２の実施の形態に従うスマートフォン１００Ａは、カメラ５から手を遠ざけるユーザ操作でタッチ処理を実行する。タッチ操作を行ったときにタッチパネルに力を加える方向と手を動かす方向とが一致するので、ユーザは、タッチ操作を行った時と同じような感覚でスマートフォン１００Ａを操作することができる。これにより、ユーザは、より直感的な操作を行なうことができ、この結果、スマートフォン１００Ａの操作性が向上する。
【００６３】
＜第３の実施の形態＞
［概要］
第３の実施の形態に従うスマートフォン１００Ｂは、予め定められたユーザ動作を検出した場合に、タッチ処理とは異なる処理を実行する点で、第２の実施の形態に従うスマートフォン１００Ａとは異なる。ハードウェア構成などのその他の点については第２の実施の形態に従うスマートフォン１００Ａと同じであるので、それらの説明は繰り返さない。
【００６４】
スマートフォン１００Ｂは、当該スマートフォン１００Ｂで実行される処理とユーザの手の動作との対応関係をユーザが任意に設定できるように構成される。すなわち、スマートフォン１００Ｂは、タッチ処理以外にも様々な処理を代替操作に対応付けることができる。より具体的な処理として、ユーザがスマートフォン１００Ｂの処理と代替操作との対応付けを設定すると、スマートフォン１００Ｂは、これらの対応関係を規定した情報を記憶装置２０などに格納する。スマートフォン１００Ｂは、代替操作を検出した場合には、検出した代替操作に対応する処理を実行する。代替操作と、その代替操作によって実行される処理との対応関係として様々なものが考えられる。以下、その例について説明する。
【００６５】
［代替操作と、その代替操作によって実行される処理との対応関係］
一例として、ユーザが、カメラ５の前で自身の手を前後に動かす動作と、タッチパネル４の表示画面を拡大または縮小する処理とを対応付ける設定を行なったとする。この場合、ユーザが自身の手をカメラ５から遠ざける動作を行なった場合には、スマートフォン１００Ｂは、表示画面を拡大する。また、ユーザが自身の手をカメラ５に近付ける動作を行なった場合には、スマートフォン１００Ｂは、表示画面を縮小する。
【００６６】
他の例として、ユーザが、カメラ５の前で自身の手を前後に動かす動作と、タッチパネル４の表示画面をスクロールする処理とを対応付ける設定を行なったとする。この場合、ユーザが自身の手をカメラ５から遠ざける動作を行なった場合には、スマートフォン１００Ｂは、表示画面を下方向にスクロールする。また、ユーザが自身の手をカメラ５に近付ける動作を行なった場合には、スマートフォン１００Ｂは、表示画面を上方向にスクロールする。
【００６７】
［小括］
以上のようにして、ユーザは、自身の手の動作と、スマートフォン１００Ｂの処理とを任意に対応付けることができる。これにより、ユーザは、自身が使いやすいように、スマートフォン１００Ｂの処理と、その処理を実行するための操作との対応付けの設定をカスタマイズすることができるので、スマートフォン１００Ｂの操作性がさらに向上する。
【００６８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６９】
１  ＲＯＭ、２  ＣＰＵ、３  ＲＡＭ、４  タッチパネル、４Ａ  モニタ、４Ｂ  タッチセンサ、５  カメラ、９  距離センサ、１０  ネットワークＩ／Ｆ、１０Ａ  アンテナ、２０  記憶装置、３０  手画像、３２  操作画面、１００，１００Ａ，１００Ｂ  スマートフォン、２１０  手検出部、２２０  生成部、２３０  表示制御部、２４０  接触検出部、２５０  実行部、２６０  距離検出部。
【図１】
2015230496.tif 000003
【図２】
2015230496.tif 000004
【図３】
2015230496.tif 000005
【図４】
2015230496.tif 000006
【図５】
2015230496.tif 000007
【図６】
2015230496.tif 000008
【図７】
2015230496.tif 000009