(57)【要約】【課題】ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる電子機器、プログラムおよび制御方法を提供する。【解決手段】近接センサ１８と、カメラ１３と、ユーザが自機器を使用する状態に応じて、近接センサ１８から出力される値に基づいたジェスチャ検出とカメラ１３から出力される値に基づいたジェスチャ検出とを切り替えるコントローラ１１と、を備える。コントローラ１１は、ユーザが自機器を使用する状態を、ユーザの自機器の使用環境に応じて決定してもよい。コントローラ１１は、ユーザが自機器を使用する状態を、自機器自体の状態に応じて決定してもよい。コントローラ１１は、ユーザが自機器を使用する状態を、ユーザと自機器との距離に応じて決定してもよい。コントローラ１１は、ユーザが自機器を使用する状態を、ユーザの操作に応じて決定してもよい。【選択図】図１
2018181119.tif 000002
【特許請求の範囲】
【請求項１】
近接センサと、
カメラと、
ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるコントローラと、を備える電子機器。
【請求項２】
前記コントローラは、
前記ユーザが自機器を使用する状態を、ユーザの自機器の使用環境に応じて決定する、ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記コントローラは、
前記ユーザが自機器を使用する状態を、自機器自体の状態に応じて決定する、ことを特徴とする、請求項１に記載の電子機器。
【請求項４】
前記コントローラは、
前記ユーザが自機器を使用する状態を、ユーザと自機器との距離に応じて決定する、ことを特徴とする請求項１に記載の電子機器。
【請求項５】
加速度センサを更に備え、
前記コントローラは、
前記加速度センサからの出力信号に基づいて前記距離について判定する、ことを特徴とする請求項４に記載の電子機器。
【請求項６】
測距センサを更に備え、
前記コントローラは、
前記測距センサからの出力信号に基づいて前記距離を求める、ことを特徴とする請求項４に記載の電子機器。
【請求項７】
前記コントローラは、
前記ユーザが自機器を使用する状態を、ユーザの操作に応じて決定する、ことを特徴とする請求項１に記載の電子機器。
【請求項８】
近接センサと、カメラと、を備える電子機器に、
ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を実行させるプログラム。
【請求項９】
近接センサと、カメラと、を備える電子機器の制御方法であって、
ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、プログラムおよび制御方法に関する。
【背景技術】
【０００２】
例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが電子機器から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２５４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、ジェスチャの検出は近接センサだけを用いて行われる。近接センサによるジェスチャ検出の場合、ユーザは電子機器の比較的近く（例えば数ｃｍ離れた位置）でジェスチャを行う。
【０００５】
ここで、一般に、可視光カメラ（以下、単に「カメラ」という）で撮影した画像からユーザの所定の部位（例えば手）を抽出してジェスチャの検出を行う技術（以下、「画像処理によるジェスチャ検出」という）が知られている。画像処理によるジェスチャ検出は、電子機器とユーザとの距離が離れている場合（例えば数ｍ離れた位置）でもユーザのジェスチャを検出可能である。つまり、画像処理によるジェスチャ検出によって、ユーザは、近接センサを用いた場合よりも離れた場所から電子機器を操作できる。
【０００６】
しかし、画像処理によるジェスチャ検出では、カメラによる動画撮影が必要である。そのため、近接センサを用いる場合と比較すると、画像処理によるジェスチャ検出は消費電力が大きい。例えばスマートフォンおよびタブレット端末等の電子機器は、バッテリーの容量に限りがある。近接センサによるジェスチャ検出に代えて、画像処理によるジェスチャ検出だけを実行することは、例えば消費電力の観点等から現実的ではなかった。
【０００７】
かかる事情に鑑みてなされた本発明の目的は、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる電子機器、プログラムおよび制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の実施形態に係る電子機器は、近接センサと、カメラと、ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるコントローラと、を備える。
【０００９】
本発明の実施形態に係るプログラムは、近接センサと、カメラと、を備える電子機器に、ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を実行させる。
【００１０】
本発明の実施形態に係る制御方法は、近接センサと、カメラと、を備える電子機器の制御方法であって、ユーザが自機器を使用する状態に応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を含む。
【発明の効果】
【００１１】
本発明の一実施形態によれば、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる電子機器、プログラムおよび制御方法を提供する。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る電子機器の概略構成図である。
【図２】ユーザがジェスチャにより電子機器を操作する様子を例示する図である。
【図３】近接センサの概略構成図である。
【図４】各赤外フォトダイオードが検出する検出値の推移を示す図である。
【図５】電子機器をジェスチャで操作する状況を例示する図である。
【図６】周囲光の照度とジェスチャ検出手法の切り替えとの関係を示す図である。
【図７】一実施形態に係る電子機器のタイマー画面を例示する図である。
【図８】周囲光の照度に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。
【図９】図９（ａ）はアクティブ状態の画面、図９（ｂ）はスリープ状態の画面の一例を示す図である。
【図１０】電子機器自体の状態に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。
【図１１】ユーザと自機器との距離に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。
【図１２】図１２（ａ）はレシピ表示画面、図１２（ｂ）はタイマー設定画面の一例を示す図である。
【図１３】ユーザの操作に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。
【発明を実施するための形態】
【００１３】
［第１実施形態］
（電子機器の構成）
図１に示すように一実施形態の電子機器１は、近接センサ１８（ジェスチャセンサ）と、コントローラ１１と、を備える。また、電子機器１は、タイマー１２と、カメラ１３と、ディスプレイ１４と、マイク１５と、ストレージ１６と、通信ユニット１７と、スピーカー２５と、を備える。本実施形態において、電子機器１は、さらにＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。
【００１４】
タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は、図１に示すようにコントローラ１１とは独立して設けられていてもよいし、コントローラ１１が内蔵する構成であってもよい。
【００１５】
カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。また、カメラ１３は一例として、電子機器１の筐体の背面（ディスプレイ１４が設けられる面の反対側の面）に設けられるアウトカメラである。本実施形態において、カメラ１３はインカメラおよびアウトカメラを含む。
【００１６】
ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）であってもよい。ディスプレイ１４は、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４はタッチパネルディスプレイ（タッチスクリーンディスプレイ）である。タッチパネルディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。
【００１７】
マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。
【００１８】
ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
【００１９】
ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。
【００２０】
通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は無線通信規格である。例えば、無線通信規格は２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）およびＷ−ＣＤＭＡ（Wideband Code Division Multiple Access）を含む。また、例えばセルラーフォンの通信規格は、ＣＤＭＡ２０００およびＰＤＣ（Personal Digital Cellular）を含む。また、例えばセルラーフォンの通信規格は、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）およびＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）を含む。また、例えば無線通信規格は、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等を含む。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。
【００２１】
スピーカー２５は音を出力する。例えば通話の際に、相手の声がスピーカー２５から出力される。また、例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。
【００２２】
近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤから赤外光を対象物に向けて照射する。近接センサ１８は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ１８は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。ここで、近接センサ１８は可視光フォトダイオードを有していてもよい。
【００２３】
コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。
【００２４】
具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えばコントローラ１１は、ユーザによる接触のデータをタッチパネルから取得する。例えばコントローラ１１は、近接センサ１８が検出したユーザのジェスチャに関する情報を取得する。例えばコントローラ１１は、タイマー１２からカウントダウンの残り時間（タイマー時間）等の情報を取得する。また、例えばコントローラ１１は、アプリケーションの起動状況を把握する。
【００２５】
また、例えばコントローラ１１は、照度センサ２０が検出した照度の情報から電子機器１の周囲光について把握する。また、例えばコントローラ１１は、加速度センサ２１が検出した加速度の情報から電子機器１の姿勢および電子機器１が静止状態であるか等を把握する。コントローラ１１は、電子機器１が静止状態であると判定する場合に、例えばタイマー１２を用いて、またはコントローラ１１自身で静止時間をカウントしてもよい。また、例えばコントローラ１１は、ストレージ１６に記憶されているカメラ１３が撮影した画像から、ユーザの所定の部位（例えば手）を抽出する処理を実行する。コントローラ１１は、画像から抽出したユーザの所定の部位の時間変化に基づいてジェスチャの検出および判定を行う。
【００２６】
ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。
【００２７】
照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。照度センサ２０は、例えばフォトダイオードを用いたものでもよいし、フォトトランジスタを用いたものでもよい。
【００２８】
加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、検出した加速度の情報を出力信号とする。加速度センサ２１は、例えばｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１は、例えばピエゾ抵抗型であってもよいし、静電容量型であってもよい。
【００２９】
地磁気センサ２２は地磁気の向きを検出して、電子機器１の向きを測定可能にする。
【００３０】
気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。
【００３１】
ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を時間積分することにより、電子機器１の向きの変化を測定することができる。
【００３２】
（ジェスチャによる電子機器の操作）
図２は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器１の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器１の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。ここで、近接センサ１８によるジェスチャ検出に代えて、カメラ１３が撮影した画像に基づいてコントローラ１１がジェスチャ検出を実行してもよい。
【００３３】
図２に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でもよい。
【００３４】
（近接センサによるジェスチャ検出手法）
ここで、図３および図４を参照しながら、コントローラ１１が近接センサ１８の出力に基づいてユーザのジェスチャを検出する手法を説明する。図３は、電子機器１を正面から見たときの近接センサ１８の構成例を示す図である。近接センサ１８は、光源用赤外ＬＥＤ１８０と、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬと、を有する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１を介して検出対象物からの反射光を検出する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１の中心から見て対称的に配置されている。ここで、図３に示される仮想線Ｄ１は電子機器１の長手方向と略平行であるとする。図３の仮想線Ｄ１上に、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが離れて配置されている。そして、図３の仮想線Ｄ１の方向において、赤外フォトダイオードＳＲおよびＳＬは、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとの間に配置されている。
【００３５】
図４は、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出対象物（例えばユーザの手等）が、図３の仮想線Ｄ１の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線Ｄ１の方向において、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが最も離れている。そのため、図４に示すように、赤外フォトダイオードＳＵの検出値（破線）の変化（例えば上昇）と、赤外フォトダイオードＳＤの検出値（細い実線）の同じ変化（例えば上昇）との時間差が最も大きい。コントローラ１１は、フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。
【００３６】
コントローラ１１は、近接センサ１８からフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値を取得する。そして、コントローラ１１は、例えば検出対象物の仮想線Ｄ１の方向への移動を把握するために、フォトダイオードＳＤの検出値からフォトダイオードＳＵの検出値を減算した値を所定の時間で積分してもよい。図４の例では、領域Ｒ４１およびＲ４２において積分値は非ゼロの値となる。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１の方向における検出対象物の移動を把握できる。
【００３７】
また、コントローラ１１は、フォトダイオードＳＬの検出値からフォトダイオードＳＲの検出値を減算した値を所定の時間で積分してもよい。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１に直交する方向（電子機器１の短手方向に略平行な方向）における検出対象物の移動を把握できる。
【００３８】
代替例として、コントローラ１１はフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの全ての検出値を用いて演算を行ってもよい。すなわち、コントローラ１１は検出対象物の移動方向を、電子機器１の長手方向および短手方向の成分に分離して演算することなく把握してもよい。
【００３９】
近接センサ１８で検出されるジェスチャは、例えば左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器１の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器１の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器１と略平行な平面において、電子機器１の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。
【００４０】
（キッチンモード）
図５は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図５の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。図５の例において、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。例えば、コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなくレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れがうつることを回避できる。
【００４１】
ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは少なくとも第１モードおよび第２モードを含む。第１モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード（通常モード）である。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。上記で説明したように、第２モードの場合には、ジェスチャによる入力操作が可能である。
【００４２】
第２モード（キッチンモード）の場合に、電子機器１は例えば近接センサ１８によるジェスチャ検出を行う。ここで、ユーザが例えばスタンドで支持されている電子機器１から近接センサ１８の検出距離（例えば数ｃｍ）よりも離れた場合には、ジェスチャによる入力操作はできなくなる。一方で、本実施形態に係る電子機器１は、カメラ１３が撮影した画像からユーザの所定の部位（例えば手）を抽出して、その時間変化からジェスチャの検出および判定を行うことが可能である。つまり、電子機器１は画像処理によるジェスチャ検出が可能である。このとき、画像にユーザの所定の部位が含まれれば、ユーザが電子機器１から例えば数ｍ離れていてもジェスチャ検出は可能である。また、画像処理によるジェスチャ検出は、例えば左右のジェスチャ等に限らず、さらに複雑なジェスチャの検出が可能である。そのため、画像処理によるジェスチャ検出は、ジェスチャに関するユーザの操作性をさらに向上させ得る。
【００４３】
しかし、画像処理によるジェスチャ検出では、カメラ１３による動画撮影が必要である。そのため、近接センサ１８を用いる場合と比較すると、画像処理によるジェスチャ検出は消費電力が大きい。また、カメラ１３が撮影した画像からユーザの所定の部位を抽出する必要があるため、画像処理によるジェスチャ検出は、電子機器１の周囲の明るさが適切な範囲であることを必要とする。近接センサ１８によるジェスチャ検出に代えて、画像処理によるジェスチャ検出だけを実行することは、例えば消費電力の観点等から現実的ではなかった。
【００４４】
そこで、本実施形態に係る電子機器１は、ユーザが自機器（電子機器１）を使用する状態に応じて、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。ここで、画像処理によるジェスチャ検出では、電子機器１は例えば画像における輪郭を抽出して、幾何学特徴が一致するか否かによってユーザの所定の部位を判定する。そして、電子機器１はユーザの所定の部位と判定した部分を抽出して、抽出した部分の時間変化を把握することによってジェスチャの検出を行う。ここで、画像処理によるジェスチャ検出としては、上記の処理に限らず他の公知の技術を用いることが可能である。
【００４５】
（ジェスチャ検出手法の切り替え）
本実施形態に係る電子機器１のコントローラ１１は、ユーザが自機器を使用する状態を、ユーザの自機器の使用環境に応じて決定する。自機器の使用環境は例えば周囲の明るさである。例えばキッチンで電子機器１を第２モード（キッチンモード）で動作させる場合、午後から夕方にかけて太陽からの西日が強く入り込むことがある。このとき、カメラ１３からの画像を用いる画像処理によるジェスチャ検出では、逆光の影響によってユーザを正確に抽出できずに、ジェスチャの認識率が低下するおそれがある。
【００４６】
図６は、本実施形態における、周囲光の照度とジェスチャ検出手法の切り替えとの関係を示す図である。第２モード（キッチンモード）で動作する電子機器１のコントローラ１１は、照度センサ２０が検出した照度の情報から電子機器１の周囲光について把握する。そして、コントローラ１１は、周囲光の照度が第１の閾値以上かつ第２の閾値未満であれば、カメラ１３から出力される値に基づいたジェスチャ検出（画像処理によるジェスチャ検出）を行う。コントローラ１１は、周囲光の照度が第２の閾値以上であれば、近接センサ１８から出力される値に基づいたジェスチャ検出（近接センサ１８によるジェスチャ検出）を行う。また、コントローラ１１は、周囲光の照度が第１の閾値未満であれば、近接センサ１８から出力される値に基づいたジェスチャ検出を行う。
【００４７】
ここで、本実施形態において、第１の閾値は例えば３００ルクスである。例えば日の出または日の入りの時の照度が約３００ルクスである。また、本実施形態において、第２の閾値は例えば２０００ルクスである。例えば日の出から１時間程度経過した曇天時の照度が約２０００ルクスである。電子機器１は、周囲光の照度が第１の閾値以上かつ第２の閾値未満であれば、カメラ１３が撮影した画像からユーザの所定の部位を適切に抽出できるため、画像処理によるジェスチャ検出を行う。例えば、キッチンが蛍光灯だけで照らされている場合に照度は約１０００ルクスである。このとき、本実施形態に係る電子機器１は画像処理によるジェスチャ検出を行う。
【００４８】
図７は、第２モード（キッチンモード）で動作する電子機器１のディスプレイ１４に、タイマー１２の設定画面が表示された様子を示す。タイマー時間は初期値で５分に設定されている。コントローラ１１は、近接センサ１８によるジェスチャ検出を行う場合に、ユーザが手を上下方向に移動させるジェスチャに基づいてタイマー時間を調整する。コントローラ１１は、例えば近接センサ１８が手を下から上へと移動させるジェスチャを１回検出すると、タイマー時間を１分加える。また、コントローラ１１は、例えば近接センサ１８が手を上から下へと移動させるジェスチャを１回検出すると、タイマー時間を１分減じる。
【００４９】
コントローラ１１は、画像処理によるジェスチャ検出を行う場合にも、ユーザの手を上下方向に移動させるジェスチャに基づく調整が可能である。これに加えて、コントローラ１１は、画像処理によるジェスチャ検出を行う場合に、ユーザが示した指の本数に応じてタイマー時間を変更できる。例えば、コントローラ１１は、ストレージ１６に記憶されているカメラ１３が撮影した画像を読み出して、ユーザの手を抽出する。例えば抽出されたユーザの手が指を３本立てている状態であれば、コントローラ１１はタイマー時間を３分に変更する。この例のように、画像処理によるジェスチャ検出では、ユーザのより細かいジェスチャを検出できる。そのため、画像処理によるジェスチャ検出では、細かいジェスチャを用いた追加的なジェスチャ入力操作（上記の例では指を立てるジェスチャによる操作）が可能になる。よって、ジェスチャに関するユーザの操作性を向上させることができる。
【００５０】
ここで、コントローラ１１は、周囲光の照度が第１の閾値以上かつ第２の閾値未満である場合に限って画像処理によるジェスチャ検出を行う。つまり、コントローラ１１は、撮影した画像からユーザの手を適切に抽出できない可能性がある場合に、近接センサ１８によるジェスチャ検出を行う。そのため、電子機器１は、画像処理によるジェスチャ検出だけを実行する場合と比較して、消費電力の増大を抑えることができる。
【００５１】
（フローチャート）
図８は電子機器１が実行する周囲光の照度に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図８に示す処理の開始時において、電子機器１はジェスチャによる入力操作が可能な第２モード（キッチンモード）で動作している。
【００５２】
電子機器１のコントローラ１１は、照度センサ２０が検出した照度の情報を取得する（ステップＳ１）。つまり、コントローラ１１は、電子機器１の使用環境の一例である周囲光の照度の情報を取得する。
【００５３】
コントローラ１１は、周囲光の照度が第１の閾値以上かつ第２の閾値未満であるかを判定する（ステップＳ２）。ここで、第１の閾値は例えば３００ルクスであるが、例えばカメラ１３の仕様における最低被写体照度等に応じて変動させてもよい。また、第２の閾値は例えば２０００ルクスであるが、例えばカメラ１３が逆光補正機能を備えるか否かに応じて変動させてもよい。つまり、第１の閾値および第２の閾値は固定値でなくてもよい。例えば第１の閾値および第２の閾値は、電子機器１が備えるカメラ１３の性能に応じて変化してもよい。
【００５４】
コントローラ１１は、周囲光の照度が第１の閾値以上かつ第２の閾値未満である場合に（ステップＳ２のＹｅｓ）、画像処理によるジェスチャ検出を行う（ステップＳ３）。また、周囲光の照度が第１の閾値以上かつ第２の閾値未満の範囲に含まれない場合に（ステップＳ２のＮｏ）、コントローラ１１は近接センサ１８によるジェスチャ検出を行う（ステップＳ４）。つまり、コントローラ１１は周囲光の照度に応じてジェスチャ検出手法を切り替える。
【００５５】
以上のように、本実施形態に係る電子機器１は、ジェスチャ検出を可能にする近接センサ１８と、カメラ１３と、を備える。コントローラ１１は、ユーザの自機器（電子機器１）の使用環境（照度）に応じてユーザが自機器を使用する状態を決定する。つまり、コントローラ１１は、電子機器１が例えば強い太陽光の環境下で使用されているか、または暗闇で使用されているか等を判定する。そして、コントローラ１１は、ユーザが自機器を使用する状態に応じて、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。上記の切り替えによって、本実施形態に係る電子機器１は、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる。
【００５６】
ここで、上記の周囲光の照度による切り替えに関連して、電子機器１は次のような機能を備えてもよい。夜間、停電または消灯等の事情によって周囲が暗い場合に、コントローラ１１は照度センサ２０が検出した照度の情報に基づいて、電子機器１を自動的に第３モード（低照度モード）で動作させてもよい。コントローラ１１は、例えば周囲光の照度が第１の閾値未満の場合に、電子機器１を第３モードで動作させてもよい。電子機器１が第３モードで動作すると、近接センサ１８によるジェスチャ検出が有効になる。近接センサ１８は赤外線を用いるため、周囲が暗くてもユーザのジェスチャを検出することが可能である。電子機器１は、ユーザが電子機器１に対して手をかざすジェスチャを検出すると、ディスプレイ１４を点灯させてもよい。ディスプレイ１４の点灯時間は短時間（例えば２秒等）であってもよい。また、別の例として、ディスプレイ１４は、ユーザがディスプレイ１４に接触するまでずっと点灯していてもよい。また、別の例として、ディスプレイ１４は、所定の時間（例えば５秒等）点滅を繰り返してもよい。電子機器１が上記の機能を備える場合、ユーザは暗い場所で電子機器１の正確な場所が分からない場合に、おおよその位置で手をかざすだけで、点灯したディスプレイ１４によって電子機器１がどこにあるかを認識することが可能である。
【００５７】
また、ユーザが電子機器１を第３モード（低照度モード）で動作させることを選択できてもよい。例えば、ユーザが設定画面で明示的に第３モードを使用するように設定した場合のみ、電子機器１が第３モードで動作してもよい。また、電子機器１が照度センサ２０に照度を検出させるアプリケーションプログラム（以下「照度検出アプリ」という）を有していてもよい。そして、ユーザが照度検出アプリを起動させた時の照度の値に応じて、電子機器１は第３モードで動作するか否かを決定してもよい。例えば、照度検出アプリの起動時の照度が１０００ルクス未満の場合に、第３モードでの動作が選択されてもよい。
【００５８】
［第２実施形態］
第２実施形態に係る電子機器１について図９および図１０を参照しながら説明する。本実施形態の電子機器１の構成は第１実施形態と同じである。本実施形態の電子機器１は、以下に説明するように、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。
【００５９】
（スリープ画面）
図９（ａ）は、第２モードで動作する電子機器１のディスプレイ１４にレシピが表示された様子（アクティブ状態の一例）を示す。図９（ｂ）は、電子機器１がスリープ状態となってディスプレイ１４が非表示となった様子を示す。図９（ａ）の状態でユーザからの入力操作が無く所定時間（例えば１分）が経過すると、電子機器１はスリープ状態となって、図９（ｂ）に示すようにディスプレイ１４が非表示になる。また、第２モードで動作する電子機器１は、スリープ状態の場合であってもジェスチャ入力操作が有効である。そのため、図９（ｂ）の状態でユーザが手を電子機器１にかざすと、電子機器１のスリープ状態が解除されて、図９（ａ）の表示に戻る。
【００６０】
（ジェスチャ検出手法の切り替え）
本実施形態に係る電子機器１のコントローラ１１は、ユーザが自機器を使用する状態を、自機器自体の状態に応じて決定する。自機器自体の状態は、この例ではアクティブ状態またはスリープ状態である。コントローラ１１は、電子機器１がアクティブ状態であれば、カメラ１３を動作させて画像処理によるジェスチャ検出を行う。上記のように、画像処理によるジェスチャ検出が行われることによって、ジェスチャに関するユーザの操作性が向上する。
【００６１】
ここで、電子機器１がスリープ状態の間に、仮にカメラ１３で動画撮影をしながらコントローラ１１でジェスチャを判定すると消費電力が大きくなる。そこで、コントローラ１１は、スリープ状態の間に、近接センサ１８から出力される値に基づいたジェスチャ検出を行う。本実施形態において、ユーザからの入力操作が無く所定時間が経過すると、電子機器１はスリープ状態となるとともに近接センサ１８によるジェスチャ検出に切り替わる。そのため、電子機器１は消費電力の増大を抑えることができる。
【００６２】
ただし、電子機器１が充電中であれば、消費電力を抑える必要性があまりないため、コントローラ１１は画像処理によるジェスチャ検出を継続してもよい。
【００６３】
（フローチャート）
図１０は電子機器１が実行する、電子機器１自体の状態に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図１０に示す処理の開始時において、電子機器１はジェスチャによる入力操作が可能な第２モード（キッチンモード）で動作している。また、図１０に示す処理の開始時において、電子機器１はスリープ状態が解除された状態（通常の画面表示に戻った状態）である。
【００６４】
電子機器１のコントローラ１１は、画像処理によるジェスチャ検出を行う（ステップＳ１１）。画像処理によるジェスチャ検出が実行されることによって、ユーザの操作性が向上する。
【００６５】
コントローラ１１は、電子機器１が充電中であるか判定する（ステップＳ１２）。ここで、コントローラ１１は、例えば電子機器１のバッテリーの残容量の情報を受け取り、その時間変化を把握することで充電中であるか否かを判定してもよい。
【００６６】
コントローラ１１は、電子機器１が充電中であれば（ステップＳ１２のＹｅｓ）、画像処理によるジェスチャ検出を継続する。つまり、コントローラ１１は、一連のジェスチャ検出手法の切り替え処理を終了する。ここで、本実施形態において充電中の電子機器１はスリープ状態にはならず、アクティブ状態のままである。
【００６７】
コントローラ１１は、電子機器１が充電中でなければ（ステップＳ１２のＮｏ）、ステップＳ１３の処理に進む。
【００６８】
コントローラ１１は、ユーザからのジェスチャ入力操作が無いまま所定時間（例えば１分）が経過するまで待機する（ステップＳ１３のＮｏ）。
【００６９】
ユーザからのジェスチャ入力操作が無いまま所定時間（例えば１分）が経過すると、電子機器１はスリープ状態となって、図９（ｂ）に示すようにディスプレイ１４が非表示になる。コントローラ１１は、所定時間が経過して電子機器１がスリープ状態となった場合に（ステップＳ１３のＹｅｓ）、近接センサ１８によるジェスチャ検出を行う（ステップＳ１４）。近接センサ１８によるジェスチャ検出に切り替えることによって、電子機器１のスリープ状態における消費電力の増大が抑えられる。
【００７０】
以上のように、本実施形態に係る電子機器１のコントローラ１１は、自機器（電子機器１）自体の状態に応じて、ユーザが自機器を使用する状態を決定する。つまり、コントローラ１１は、電子機器１のアクティブ状態またはスリープ状態に応じて、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。また、本実施形態において、コントローラ１１は電子機器１の充電状態に応じてジェスチャ検出手法を選択する。上記の切り替えによって、本実施形態に係る電子機器１は、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる。
【００７１】
ここで、自機器自体の状態に応じた切り替えに関連して、電子機器１は次のような機能を備えてもよい。電子機器１がアクティブ状態であっても、ユーザからのジェスチャ入力操作が無いまま別の所定時間（例えば３０秒）が経過した場合に、コントローラ１１は近接センサ１８によるジェスチャ検出に切り替えてもよい。このとき、電子機器１の消費電力を更に抑えることが可能である。ただし、電子機器１が充電中であれば、消費電力を抑える必要性があまりないため、コントローラ１１は画像処理によるジェスチャ検出を継続してもよい。
【００７２】
［第３実施形態］
第３実施形態に係る電子機器１について図１１を参照しながら説明する。本実施形態の電子機器１の構成は第１実施形態と同じである。本実施形態の電子機器１は、以下に説明するように、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。
【００７３】
カメラ１３は、連続的な動画撮影を行うと、一例では２００ｍＡ程度の電流が流れるので消費電力が大きい。一方、近接センサ１８は、光源用赤外ＬＥＤ１８０、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬを間欠動作させることができるため低消費電力である。しかし、近接センサ１８の検出距離は短い（例えば数ｃｍ）。そこで、本実施形態の電子機器１は、ユーザと自機器との距離に応じてジェスチャ検出手法を切り替える。
【００７４】
（フローチャート）
図１１は電子機器１が実行する、ユーザと自機器（電子機器１）との距離に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図１１に示す処理の開始時において、電子機器１はジェスチャによる入力操作が可能な第２モード（キッチンモード）で動作している。
【００７５】
本実施形態に係る電子機器１のコントローラ１１は、近接センサ１８によるジェスチャ検出を行う（ステップＳ２１）。
【００７６】
コントローラ１１は、加速度センサ２１が検出した加速度の情報を取得する（ステップＳ２２）。コントローラ１１は、電子機器１にユーザの入力操作がなく、取得した加速度の情報から電子機器１が移動していない場合に、電子機器１が静止状態であると判定する。そして、コントローラ１１は、電子機器１の静止状態が所定時間（例えば１分）未満の場合に（ステップＳ２３のＮｏ）、ユーザと電子機器１との距離が近いと判定する。ユーザが電子機器１の近くにいる場合には電子機器１を頻繁に操作するため、電子機器１の静止状態が短くなると考えられる。そのため、コントローラ１１は上記のように判定する。そして、コントローラ１１はステップＳ２２の処理に戻る。
【００７７】
一方、コントローラ１１は、電子機器１の静止状態が所定時間（例えば１分）以上の場合に（ステップＳ２３のＹｅｓ）、電子機器１とユーザとの距離が離れていると判定する。このとき、コントローラ１１は、ユーザが電子機器１と離れたところにいてもジェスチャによって操作可能であるように、カメラ１３を動作させて画像処理によるジェスチャ検出を行う（ステップＳ２４）。このように、コントローラ１１は、加速度センサ２１からの出力信号に基づいて距離（より具体的には、ユーザと電子機器１との距離が近いか離れているか）について判定する。
【００７８】
以上のように、本実施形態に係る電子機器１のコントローラ１１は、ユーザと自機器（電子機器１）との距離に応じて、ユーザが自機器を使用する状態を決定する。本実施形態において、コントローラ１１は、加速度センサ２１からの加速度の情報に基づく電子機器１の静止状態の時間からユーザと自機器との距離を推定する。上記の切り替えによって、本実施形態に係る電子機器１は、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる。
【００７９】
［第４実施形態］
第４実施形態に係る電子機器１について図１２および図１３を参照しながら説明する。本実施形態の電子機器１の構成は第１実施形態と同じである。本実施形態の電子機器１は、以下に説明するように、近接センサ１８から出力される値に基づいたジェスチャ検出と、カメラ１３から出力される値に基づいたジェスチャ検出と、を切り替える。
【００８０】
図１２（ａ）は、ディスプレイ１４にレシピが表示されている状態を示す。このとき、ユーザはジェスチャ入力操作によって、電子機器１のタッチパネル（ディスプレイ１４）に触れることなく、レシピが表示されている画面をスクロールさせることができる。コントローラ１１は、例えばユーザが手を上下方向に移動させるジェスチャの検出信号に基づいて、ディスプレイ１４の画面をスクロールさせる。また、コントローラ１１は、例えばユーザが手を一定時間（例えば１秒等）かざすジェスチャによって、図１２（ａ）のレシピの表示と、図１２（ｂ）のタイマー１２の設定画面の表示と、を互いに切り替える。先に説明したように、図１２（ｂ）のタイマー１２の設定画面で画像処理によるジェスチャ検出を行う場合には、ユーザが示した指の本数に応じたタイマー時間の変更が可能になる。つまり、図１２（ｂ）のタイマー１２の設定画面において画像処理によるジェスチャ検出が可能になれば、ジェスチャに関するユーザの操作性が向上する。
【００８１】
（ジェスチャ検出手法の切り替え）
本実施形態に係る電子機器１のコントローラ１１は、ユーザが自機器を使用する状態を、ユーザの操作に応じて決定する。ユーザの操作は、例えば表示画面を変更する操作である。本実施形態の例では、ユーザが図１２（ａ）のレシピの表示画面から図１２（ｂ）のタイマー画面に変更する操作である。コントローラ１１は、ディスプレイ１４にレシピが表示されている状態では、近接センサ１８によるジェスチャ検出を行う。そして、ユーザがディスプレイ１４にタイマー画面を表示させる操作をすると、画像処理によるジェスチャ検出を行う。
【００８２】
（フローチャート）
本実施形態に係る電子機器１のコントローラ１１は、近接センサ１８によるジェスチャ検出を行う（ステップＳ３１）。
【００８３】
コントローラ１１は、ユーザの所定の操作を検出するまで待機する（ステップＳ３２のＮｏ）。コントローラ１１は、待機している間も近接センサ１８によるジェスチャ検出を続ける。ここで、図１２（ａ）および図１２（ｂ）の例では、ユーザの所定の操作は、レシピの表示画面からタイマー画面に変更するための手をかざすジェスチャである。
【００８４】
コントローラ１１は、ユーザの所定の操作を検出すると（ステップＳ３２のＹｅｓ）、カメラ１３を動作させて画像処理によるジェスチャ検出を行う（ステップＳ３３）。
【００８５】
以上のように、本実施形態に係る電子機器１のコントローラ１１は、ユーザの操作に応じて、ユーザが自機器を使用する状態を決定する。図１２（ａ）および図１２（ｂ）の例では、ユーザは細かいジェスチャ（指を立てるジェスチャ）を用いた追加的な入力操作が可能になる。このように、カメラ１３を用いることで追加的なジェスチャ入力操作が可能になる状態へとユーザが遷移させた場合に、コントローラ１１は、近接センサ１８によるジェスチャ検出から画像処理によるジェスチャ検出へと切り替えてもよい。逆に、追加的なジェスチャ入力操作がない状態へユーザが遷移させた場合には、近接センサ１８によるジェスチャ検出が行われてもよい。上記の切り替えによって、本実施形態に係る電子機器１は、ジェスチャに関するユーザの操作性を向上させながらも、消費電力の増大を抑えることができる。
【００８６】
（その他の実施形態）
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００８７】
（第１変形例）
上記の第１実施形態では、西日が強く入り込むことがあるキッチンで電子機器１を動作させた。ここで、電子機器１は屋内だけで使われるものではなく、屋外でも使用され得る。電子機器１は、屋内での使用か、屋外での使用かを判断して、ジェスチャ検出手法を切り替えてもよい。
【００８８】
例えば屋外での使用において電子機器１を使用すると、アプリケーションの仕様によっては、カメラ１３で撮影した動画をディスプレイ１４に表示しながらジェスチャ検出を行うことがある。すると、ユーザの自機器（電子機器１）に、ユーザ以外の人が映し出されることになり、プライバシーの観点から好ましくないことがある。そこで、電子機器１のコントローラ１１は、周囲光の照度が第３の閾値（例えば３０００ルクス）以上であれば、電子機器１が屋外で使用されていると判定してもよい。そして、電子機器１のコントローラ１１は、電子機器１が屋外で使用されていると判定した場合に、近接センサ１８から出力される値に基づいたジェスチャ検出を行う。ここで、コントローラ１１は、電子機器１が屋内で使用されていると判定した場合には、画像処理によるジェスチャ検出を行ってもよい。
【００８９】
電子機器１のコントローラ１１は、照度センサ２０が検出した照度の情報以外の情報から、電子機器１が屋外で使用されているか否かを判定してもよい。例えば、コントローラ１１は、ＧＰＳの情報から電子機器１がユーザの自宅から離れていることを把握して、屋外での使用を判定してもよい。また、コントローラ１１は、ＧＰＳの受信感度の変化（例えば受信感度が高くなったこと）によって、屋外での使用を判定してもよい。また、コントローラ１１は、通信ユニット１７が接続したアクセスポイントのＷｉＦｉ（登録商標）のＩＤが自宅のキッチン等で接続する場合のＩＤと異なることから、屋外での使用を判定してもよい。また、コントローラ１１は、これらの判定方法の一部または全部を周囲光の照度の変化と組み合わせて、屋外での使用を判定してもよい。
【００９０】
以上のように、この変形例に係る電子機器１は、屋外（特に公共の場）における電子機器１の使用において、他者のプライバシーに配慮したジェスチャ操作入力を可能にする。また、仮に屋外で電子機器１が画像処理によるジェスチャ検出を行うと、ユーザ以外の他者の動きを誤ってジェスチャと認識する可能性もある。この変形例に係る電子機器１は、屋外において近接センサ１８によるジェスチャ検出を行うので、より正確にユーザのジェスチャを検出することが可能である。
【００９１】
（第２変形例）
上記の第２実施形態では、自機器（電子機器１）自体の状態がアクティブ状態であれば、一律に画像処理によるジェスチャ検出が行われた。しかし、コントローラ１１は、特定のアプリケーションが起動されたことを条件として、画像処理によるジェスチャ検出を行ってもよい。
【００９２】
例えば、コントローラ１１は、細かいジェスチャを用いるアプリケーションが起動されていれば画像処理によるジェスチャ検出を行ってもよい。近接センサ１８によるジェスチャ検出では、例えばユーザの手の形状を判定することは一般に困難である。例えば、ユーザのグー、チョキ、パーを判定するじゃんけんアプリケーションが起動された場合に、コントローラ１１は画像処理によるジェスチャ検出を行う。ここで、コントローラ１１は、そのようなアプリケーションが起動されていなければ、近接センサ１８によるジェスチャ検出を行ってもよい。じゃんけんアプリケーション等が起動していない場合に、近接センサ１８によるジェスチャ検出を行うことでアクティブ状態の電子機器１の消費電力を抑えることが可能である。
【００９３】
以上のように、この変形例に係る電子機器１は、起動しているアプリケーションの種類に応じてジェスチャ検出手法を切り替える。そのため、アクティブ状態の電子機器１の消費電力を抑えることが可能である。ここで、起動しているアプリケーションは、フォアグランドで起動しているものに限定してもよいし、バックグランドで起動しているものを含めてもよい。
【００９４】
（第３変形例）
上記の第３実施形態では、ユーザと自機器との距離は、加速度センサ２１が検出した加速度の情報に基づく電子機器１の静止状態から推定されていた。ここで、電子機器１は、ユーザとの距離を直接的に測定する測距センサを備えていてもよい。そして、コントローラ１１は、加速度センサ２１からの加速度の情報に代えて、測距センサからの出力信号（より具体的には、ユーザと電子機器１との距離についての情報）に基づいて距離を求めてもよい。測距センサは、例えばユーザを複数の異なる方向から同時に撮影することによって、ユーザまでの距離の情報を記録できるステレオカメラである。コントローラ１１は、ステレオカメラからステレオ画像を取得する。コントローラ１１は、ステレオ画像からユーザを抽出して所定の画像処理を施すことにより、ユーザまでの距離を求めることができる。
【００９５】
この変形例に係る電子機器１は、ユーザと自機器との距離をより正確に得ることができる。そして、電子機器１は、より適切にジェスチャ検出手法を切り替えることができる。ユーザは、例えばキッチンタイマーのアラームを離れた場所から止めること等が可能になる。そのため、ジェスチャに関するユーザの操作性が一層向上する。
【００９６】
（第４変形例）
また、上記の実施形態および変形例を適宜組み合わせて実行することが可能である。例えば、第３実施形態のようにユーザと自機器との距離に応じてジェスチャ検出手法を切り替えることを優先的に適用しながら、第１実施形態のように周囲光の照度に応じてもジェスチャ検出手法を切り替えることが可能である。例えば、電子機器１は、ユーザと自機器が離れている（例えば数ｍ程度）と判定する場合に画像処理によるジェスチャ検出を行う。そして、電子機器１は、ユーザが近接センサ１８の検出距離の範囲にいる場合に、基本的に近接センサ１８によるジェスチャ検出を行う。しかし、周囲光の照度が第１の閾値以上かつ第２の閾値未満であれば、電子機器１は画像処理によるジェスチャ検出に切り替える。
【００９７】
また、第３実施形態のようにユーザと自機器との距離に応じてジェスチャ検出手法を切り替えることに、特定のアプリケーションが使用されていること（自機器自体の状態の一例）を組み合わせてもよい。特定のアプリケーションは、例えばカメラ１３で被写体を撮影するカメラアプリである。例えば、電子機器１は、カメラアプリが使用中でありインカメラが選択された場合には、ユーザと自機器が近いと判断する。このとき、電子機器１は、近接センサ１８によるジェスチャ検出を行う。そして、電子機器１は、例えばユーザが手を上から下に移動させるジェスチャを検出すると、被写体の撮影（この例ではユーザ自身の撮影）を行う。また、電子機器１は、カメラアプリが使用中でありアウトカメラが選択された場合には、ユーザと自機器が遠いと判断する。このとき、電子機器１は、画像処理によるジェスチャ検出を行う。そして、電子機器１は、例えば被写体の人が手を上から下に移動させるジェスチャを検出すると、被写体の撮影を行う。ここで、電子機器１は、アウトカメラが選択されている場合に、ジェスチャの検出から撮影までに時間差（例えば１秒）を設けて、被写体がぶれることを回避してもよい。
【００９８】
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーションが含まれる。また、コンピュータシステムその他のハードウェアには、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機およびデータ処理機能を備えた移動電話機が含まれる。また、コンピュータシステムその他のハードウェアには、ＲＦＩＤ受信機、ゲーム機、電子ノートパッドおよびラップトップコンピュータ、が含まれる。また、コンピュータシステムその他のハードウェアには、ＧＰＳ（Global Positioning System）受信機およびその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、例えばプログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）により実行されることに留意されたい。また、各実施形態では、種々の動作または制御方法は、例えば一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび／またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサおよびＣＰＵ（中央演算処理ユニット）が含まれる。また、このようなプロセッサには、例えばＡＳＩＣ（Application Specific Integrated Circuit）およびＤＳＰ（Digital Signal Processor）が含まれる。また、このようなプロセッサには、例えばＰＬＤ（Programmable Logic Device）およびＦＰＧＡ（Field Programmable Gate Array）が含まれる。また、このようなプロセッサには、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置が含まれる。また、このようなプロセッサには、上記の具体例の組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
【００９９】
ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気記憶装置が含まれる。また、コンピュータ読取り可能な媒体には、光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）が含まれる。また、コンピュータ読取り可能な媒体には、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))が含まれる。また、コンピュータ読取り可能な媒体には、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、フラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体または上記の具体例いずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および／または数に限定されない。また、記憶が格納される媒体の種類も限定されない。
【符号の説明】
【０１００】
１  電子機器
１１  コントローラ
１２  タイマー
１３  カメラ
１４  ディスプレイ
１５  マイク
１６  ストレージ
１７  通信ユニット
１８  近接センサ
１９  ＵＶセンサ
２０  照度センサ
２１  加速度センサ
２２  地磁気センサ
２３  気圧センサ
２４  ジャイロセンサ
２５  スピーカー
１８０  光源用赤外ＬＥＤ
１８１  レンズ
ＳＵ，ＳＲ，ＳＤ，ＳＬ  フォトダイオード
【図１】
2018181119.tif 000003
【図２】
2018181119.tif 000004
【図３】
2018181119.tif 000005
【図４】
2018181119.tif 000006
【図５】
2018181119.tif 000007
【図６】
2018181119.tif 000008
【図７】
2018181119.tif 000009
【図８】
2018181119.tif 000010
【図９】
2018181119.tif 000011
【図１０】
2018181119.tif 000012
【図１１】
2018181119.tif 000013
【図１２】
2018181119.tif 000014
【図１３】
2018181119.tif 000015
【手続補正書】
【提出日】平成29年7月18日(2017.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
近接センサと、
カメラと、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるコントローラと、を備える電子機器。
【請求項２】
前記コントローラは、
更にユーザと自機器との距離にも応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替える、ことを特徴とする請求項１に記載の電子機器。
【請求項３】
加速度センサを更に備え、
前記コントローラは、
前記加速度センサからの出力信号に基づいて前記距離について判定する、ことを特徴とする請求項２に記載の電子機器。
【請求項４】
測距センサを更に備え、
前記コントローラは、
前記測距センサからの出力信号に基づいて前記距離を求める、ことを特徴とする請求項２に記載の電子機器。
【請求項５】
近接センサと、カメラと、を備える電子機器に、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を実行させるプログラム。
【請求項６】
近接センサと、カメラと、を備える電子機器の制御方法であって、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を含む制御方法。