(57)【要約】【課題】電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することを可能にする。【解決手段】人の手のひらＰを検知可能な検知部３と、手のひらＰに、電子機器２０を操作するための複数の処理に対応した複数の選択肢画像（ボタンＢ）を含む情報入力用画像を投影するプロジェクタ５と、検知部３およびプロジェクタ５を制御する制御部１と、を備える情報入力装置１０であって、制御部１は、所定のタイミングにおいて検知部３が検知した手のひらＰの位置に対応した絶対位置を記憶し、プロジェクタ５は、絶対位置を基準として情報入力用画像を投影し、検知部３が、手のひらＰの中心に所定の選択肢画像が投影された状態から、手のひらＰによる所定の動作を検知したとき、制御部１は、当該所定の選択肢画像（ボタンＢ）が選択されたと判定し、選択した選択肢画像（ボタンＢ）に対応する処理を電子機器２０に送信する。【選択図】図９
2018073170.tif 000002
【特許請求の範囲】
【請求項１】
人の手のひらを検知可能な検知部と、
手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、
前記検知部および前記投影装置を制御する制御部と、
を備える情報入力装置であって、
前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、
前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、
前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信する、情報入力装置。
【請求項２】
請求項１に記載の情報入力装置であって、
前記制御部は、前記投影装置から前記絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成し、
前記投影装置は、前記方向に沿って積層された複数の情報入力用画像を投影する、情報入力装置。
【請求項３】
請求項２に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の積層状態を表示する積層状態表示画像を生成し、
前記投影装置は、前記積層状態表示画像を投影する、情報入力装置。
【請求項４】
請求項２に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の各々の積層順序を表示する積層順序情報を生成し、
前記投影装置は、選択肢画像の各々において前記積層順序情報を表示する、情報入力装置。
【請求項５】
請求項１に記載の情報入力装置であって、
前記投影装置は、一面内おいて、手のひらのサイズを超える領域に前記情報入力用画像を投影する、情報入力装置。
【請求項６】
請求項１に記載の情報入力装置であって、  前記投影装置は、手のひらが前記情報入力用画像内のどの位置にあるかを示す位置表示画像を手のひらに投影する、情報入力装置。
【請求項７】
請求項１に記載の情報入力装置であって、
前記検知部が手のひらによる所定の動作がされたことを検知したとき、前記投影装置は前記情報入力用画像の投影を停止する、情報入力装置。
【請求項８】
請求項１に記載の情報入力装置であって、
前記投影装置は、初期時に前記手のひらに投影する際には、少なくとも前記選択肢画像は前記手のひらの中央付近以外に投射する、情報入力装置。
【請求項９】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記情報入力用画像のサイズを決定する、情報入力装置。
【請求項１０】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置に対する手のひらの傾き角度を検知し、
前記制御部は、前記傾き角度に基づき、前記情報入力用画像の形状を決定する、情報入力装置。
【請求項１１】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記投影装置のピントを決定する、情報入力装置。
【請求項１２】
請求項１に記載の情報入力装置であって、
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像の向きを決定する、情報入力装置。
【請求項１３】
請求項１に記載の情報入力装置であって、
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像を投影する範囲を決定する、情報入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子機器を操作する情報入力装置に関する。
【背景技術】
【０００２】
従来より、ユーザーが種々の電子機器を操作する場合、操作のための情報入力にはリモコン等の情報入力装置を利用することが一般的に行われている。リモコン等は置き場所が不明となることも多く、ユーザーが不便さを感じることも多い。
【０００３】
そこで、リモコン等の機器を用いず情報入力を行うことができる種々の装置が提案されている。例えば、特許文献１〜４は、投影装置からの照射光が投影される被投影面を検知する検知部を備えた情報入力装置を開示している。この照射光により、被投影面上に電子機器を操作する操作入力のための情報入力用画像が投影される。ユーザーは、情報入力用画像をタッチ操作等することにより、電子機器を操作することができる。
【０００４】
特に特許文献１〜４においては、被投影面として手のひらを用いることを想定しており、ユーザーはスクリーンの如き専用の投影対象を用意することなく、電子機器を操作することが可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１２／１７３００１号
【特許文献２】国際公開第２０１４／０３４５２７号
【特許文献３】特開２０１５−９４８２８号公報
【特許文献４】特開２０１５−１１１７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１〜４の情報入力装置は、専用の投影対象なしで、情報入力用画像を手のひらに投影することが可能となっている。しかしながら、投影面を手のひらにした場合、情報入力用画像を投影する面積が制限されることになる。また、手のひらを単に投影面として用いることを前提としており、情報の入力にはもう一方の手による操作が必須となる。よって、従来の情報入力装置には依然として不便な面が存在している。
【０００７】
本開示は、専用の投影対象を用意せず、また、ユーザーの片手のみで簡易な操作入力を可能とする情報入力装置に関する。
【課題を解決するための手段】
【０００８】
本開示の情報入力装置は、人の手のひらを検知可能な検知部と、手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、前記検知部および前記投影装置を制御する制御部と、を備える情報入力装置であって、前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信する。
【発明の効果】
【０００９】
本開示の情報入力装置によれば、電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することが可能となり、より簡易な操作入力が可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本開示の情報入力装置の一実施形態に係るブロック図である。
【図２】図２は、情報入力装置が人の手のひらに選択肢画像であるボタンを含む情報入力用画像を投影する状態を示す概念図である。
【図３】図３は、情報入力装置による入力処理動作を示す概念図であり、（ａ）は、空間における手のひらを検知する一連の動作を示し、（ｂ）は、ボタンを含む情報入力用画像を投影する一連の動作を示す。
【図４】図４は、情報入力装置による入力処理動作を示す概念図であり、（ａ）は特定のボタンを選択する一連の動作の一例を示し、（ｂ）は、（ａ）の代わりの特定のボタンを選択する一連の動作の他の例を示す。
【図５】図５は、情報入力装置が人の手のひらに選択肢画像であるボタンを含む情報入力用画像を投影する初期時の状態を示す概念図であり、（ａ）は、初期時に表示される例を示し、（ｂ）は、初期時に表示された後、手のひらを移動した状態を示す。
【図６】図６は、情報入力装置による入力処理動作を示す概念図であり、（ａ）は、選択したボタンの実行決定を行う一連の動作を示し、（ｂ）および（ｃ）は情報入力装置による入力処理動作の終了を命ずる動作の一例を示す。
【図７】図７は、情報入力装置による入力処理動作の一例のフロー図である。
【図８】図８は、情報入力装置による入力処理動作の他の例のフロー図である。
【図９】図９は、情報入力装置が人の手のひらに選択肢画像であるボタンを含む情報入力用画像を投影する初期時の状態を示す概念図であり、（ａ）は、初期時に表示される例を示し、（ｂ）は、初期時に表示された後、手のひらを移動した状態を示す。
【図１０】図１０は、情報入力装置の応用例の一つを説明する概念図であり、（ａ）は、最初に表示される情報入力用画像であるボタンに加え、上下方向に他のボタンの画像を重ねて表示する例であり、（ｂ）は、最初に表示される情報入力用画像であるボタンにおいて、上下方向に他のボタンが存在する旨を知らせる文字（メッセージ）を表示する例であり、（ｃ）は、最初に表示される情報入力用画像であるボタンに加え、上下方向に他のボタンの画像を重ねて表示する例である。
【図１１】図１１は、情報入力用画像の投影範囲が広い場合に、投影範囲を知らせる表示画像を投影することにより、ユーザーが容易に投影範囲を把握することができる例を示す概念図であり、（ａ）は、プロジェクタが投影範囲を示す横方向の両矢印を投影する例を示し、（ｂ）は、プロジェクタが投影範囲を示す左方向の矢印を投影する例を示す。
【図１２】図１２は、手のひらの上下方向の位置に合わせて、情報入力用画像のサイズを決定する例を示す概念図であり、（ａ）は、基本例であり、光学の原則論により、手のひらの上下移動に追従して情報入力用画像であるボタンのサイズが変化している例であり、（ｂ）は、手のひらまでの距離に基づき、手のひらの上下移動とは独立して、ボタンのサイズを最適なものにする例である。
【図１３】図１３は、手のひらの面積を算出する例を示す概念図であり、（ａ１）、（ａ２）は、指の付け根を基準として算出する例と示し、（ｂ１）、（ｂ２）は、指の付け根を認識し、この付け根に接する外接円の面積で算出する例を示す。
【図１４】図１４は、手のひらの傾き角度に合わせて、情報入力用画像の形状を決定する例を示す概念図であり、（ａ）は、基本例であり、光学の原則論により、下位置の手のひらが傾いており、その傾き角度に応じて、情報入力用画像であるボタンの形状が変化している例であり、（ｂ）は、手のひらの傾き角度および手のひらまでの距離に基づき、ボタンの形状を最適なものにする例である。
【図１５】図１５は、手のひらの高さ方向の位置に合わせて、プロジェクタのピントを決定する例を示す概念図であり、（ａ）は、基本例であり、光学の原則論により、手のひらの上下移動に追従してピントがずれる例であり、（ｂ）は、手のひらまでの距離に基づき、手のひらの上下移動とは独立して、常に最適なピントを合わせる例である。
【図１６】図１６は、手のひらに加えて他の人体部分を認識し、情報入力用画像を投影する例を示す概念図であり、（ａ）は、円形のボタンの情報入力用画像を示し、（ｂ）は、手のひら、頭部、肩部を認識する例を示し、（ｃ）は、手のひら、肩部を認識する例を示し、（ｄ）は、手のひら、頭部を認識する例を示し、（ｅ）は、手のひら、両肩を認識した状況において、両肩を結ぶ直線軸およびそれを二等分する点が頭部位置であると仮定する例を示し、（ｆ）は、手のひら、両肩を認識した状況において、手のひらが両肩の内側か外側にあるかを認識する例を示す。
【図１７】図１７は、上下方向において情報入力用画像を投影する範囲を規定する概念を示す概念図である。
【図１８】図１８は、手のひらに対し情報入力用画像を投影する投影角度が９０°でない場合の処理の概念を示す概念図であり、（ａ）は、検知部が手のひらの傾き角度を検知する状態を示し、（ｂ）は、手のひらの平面方向への移動では平面内でのボタンの選択処理であると判断し、手のひらの奥行方向への移動では、ボタンの投影位置そのものを変更すると判断する状況を示す概念図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、本開示に係る情報入力装置を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
以下、本開示を実施するための好適な本実施形態について、図面を参照して詳細に説明する。
【００１３】
（基本構成）
図１は、本開示の情報入力装置の一実施形態のブロック図である。情報入力装置１０は、制御部１と、検知部３と、プロジェクタ（投影装置）５とを含む。情報入力装置１０はリモコン等の装置を必要とすることなく、電子機器２０の操作をするための情報をユーザーが入力するための装置である。電子機器２０の種類は特に限定されず、室内の照明システム、空調システム、静止画、動画、音声などの種々のコンテンツを再生・記録するコンテンツ機器等、種々の機器が含まれる。情報入力装置１０と電子機器２０をインターネット等の通信回線で接続することにより、電子機器２０を遠隔地から操作することも可能となる。
【００１４】
制御部１は、情報入力装置１０の全体動作を司るプロセッサ、コンピュータ装置であり、検知部３、プロジェクタ５と別体の装置として設けてもよいし、検知部３またはプロジェクタ５内に設けられてもよいが、検知部３、プロジェクタ５を制御可能である。また、制御部１は、メモリなどの図示せぬ記憶装置を有しており、情報入力装置１０を動作させる種々のプログラムや、検知部３が検知した対象物の座標、その他の情報を記憶可能である。
【００１５】
検知部３は、例えば赤外線発光装置と赤外線カメラを含む赤外線方式の深度センサーである。赤外線発光装置が空間に赤外線を照射し、赤外線カメラが、空間内に存在する対象物からの赤外線の反射光を受光して撮像し、赤外線画像の画素毎の位置座標データ（ｘ，ｙ）と、各画素に対応する撮像された物体までの距離を示す深度データ（ｄ）とを、制御部１に出力する。ただし、対象物そのものの位置と距離を把握できる装置であれば、検知部３の種類は特に限定されない。
【００１６】
図２に示すように、本開示における検知対象である対象物は、少なくとも人（ユーザー）が手を拡げて形成される手のひらＰ（いわゆる「パー」の状態）を含む。制御部１は、予め個人差を考慮した手のひらの画像パターンを所定の記憶部に記憶しており、検知部３が撮像した赤外線画像と、当該画像パターンを比較し、所定の条件を満たしたとき（赤外線画像と画像パターンの差が所定値以下になった時）、手のひらＰが検知されたと判定する。そして、制御部１は、当該手のひらＰの位置座標データと、深度データをプロジェクタ５に出力する。
【００１７】
プロジェクタ５は、制御部１から受信した手のひらＰの位置座標データと、深度データに基づき、本開示における対象物である手のひらに対して可視光を照射し、画像を投影する投影装置であり、その種類は特に限定されない。図２に示すように、プロジェクタ５は、検知部３が検知した手のひらＰに対し、可視光を投影することによって、電子機器２０を操作する操作情報を入力するための情報入力用画像を手のひらＰの上に形成する。本実施形態では、複数の円形の画像である複数のボタンＢを含む情報入力用画像が形成されている。後述するように、各ボタンＢは、電子機器２０を操作するための複数の処理（スイッチオン、種々のモード切り替え等）に対応した複数の選択肢画像に対応する。
【００１８】
（動作の概要）
図３〜図６は、本開示の情報入力装置１０による入力処理動作を示す概念図である。図３（ａ）は、空間における手のひらＰを検知する一連の動作を示す。情報入力装置１０の電源オン等をトリガーとして、検知部３は赤外線の照射を開始する（図３（ａ）（１））。検知部３が手のひらＰを検知した後（図３（ａ）（２））、制御部１は、手のひらＰは追跡すべき対象物であることを判断し、プロジェクタ５に対し可視光の照射を指示し、追跡ポインタＣを形成する様に可視光を手のひらＰに対し照射する（図３（ａ）（３））。
なお、手のひらＰを検知する特定空間を、ユーザーが予め認識している場合には、追跡ポインタＣを照射しなくてもよい。
【００１９】
図３（ｂ）は、選択肢画像であるボタンＢを形成する一連の動作を示す。追跡ポインタＣの照射後、制御部１は検知部３に対し、対象物を補足するよう指示し、検知部３が対象物である手のひらＰの位置座標データ、深度データを補足し続ける（図３（ｂ）（１））。この後、時系列を示す矢印Ａ１に沿うように、ユーザーが手を握り、形状が握りこぶしＦ（いわゆる「グー」の状態）に変化し、さらに手を拡げて手のひらＰを形成し、検知部３が補足し続けている位置座標データ、深度データに基づき、この一連の動作を検知する（図３（ｂ）（２））。制御部１は、検知したこの動作により、ユーザーが電子機器２０を操作する準備ができたと判断し、情報入力用画像を構成する複数のボタンＢを手のひらＰの上に形成する（図３（ｂ）（３））。このとき制御部１は、図３（ｂ）（２）の動作タイミングにおいて検知部３が検知した手のひらの空間内の位置を絶対位置として、図示せぬ記憶装置に記憶した上で、ボタンＢを投影する。「絶対位置」は、図３（ｂ）（２）に示すような所定のタイミングにおいて検知部３が検知した手のひらＰの位置に対応し、検知部３が検知し得る空間内の絶対的な位置座標に対応する。よって、絶対位置は、手のひらＰが移動しても、変動することはない。なお、限られた範囲内においては、絶対位置を、手のひらＰの移動に少し追従するようにしてもよい。
【００２０】
図４（ａ）は特定のボタンを選択する一連の動作の一例を示す。複数のボタンＢが手のひらＰの上に形成された状態で（図４（ａ）（１））、ユーザーが手のひらＰを水平方向（横方向）に動かす（図４（ａ）（２））。そして、特定のボタンＢＦが手のひらＰの中心に位置したところで、手のひらＰを止めると、ユーザーが当該ボタンＢＦの選択を要望していると制御部１は判定し、当該ボタンＢＦが選択された選択ボタン（選択肢画像）と判定する（図４（ａ）（３））。
【００２１】
図４（ｂ）は、図４（ａ）とは異なる、特定のボタンを選択する一連の動作の他の例を示す。複数のボタンＢが手のひらＰの上に形成された状態で（図４（ｂ）（１））、ユーザーが手のひらＰを上下方向（高さ方向）Ａ２にスライドさせる（図４（ｂ）（２））。このとき、手のひらＰは、例えば手のひらＰ１で示す上の高さや、手のひらＰ２で示す下の高さに移動する。そして、それぞれの高さで表示されるボタンは、ボタンＢ１、Ｂ２で示す如く変化する。すなわち、制御部１は、上下方向に沿って積層された複数の情報入力用画像を生成し、プロジェクタ５が、上下方向に沿って積層された複数の情報入力用画像を投影する。
なお、図５に示すように、手のひらＰ上に複数のボタンＢが最初に形成されたとき（初期時）には、手のひらＰの中央付近には、選択可能なボタンＢを配置しないことが望ましい（図５（ａ）参照）。手のひらＰの中央付近のボタンは、初期時にユーザーが意図せずに選択してしまうことが多いため、初期時の形成では手のひらＰの中央付近に選択可能なボタンＢを配置せずに、空きスペースや、メッセージ等を表示する領域とする。なお、初期時の形成以外では、手のひらＰの中央付近に選択可能なボタンＢを配置してもよい。
【００２２】
以降は、図４（ａ）（２）、図４（ａ）（３）で示した動作をそれぞれの高さで行うことにより、制御部１はボタンＢＦを選択ボタンとして判定することができる（図５（ｂ）参照）。すなわち、手のひらＰ、Ｐ１、Ｐ２で示すそれぞれの高さで、ユーザーが手のひらを水平方向にスライドさせる（図４（ａ）（２））。特定のボタンＢＦが手のひらの中心に位置したところで、手のひらを止めると、ユーザーが当該ボタンＢＦの選択を要望していると制御部１は判定し、当該ボタンＢＦを選択ボタンとして判定する（図４（ａ）（３））。
【００２３】
図６（ａ）は、選択した選択ボタンＢＦに対応する処理の実行決定を行う一連の動作を示す。ボタンＢＦを選択ボタンとして判定した後（図６（ａ）（１））、ユーザーが手のひらを握り、握りこぶしＦを形造ることにより、制御部１はボタンＢＦの最終的な選択を判定し、その後、握りこぶしＦの状態から手のひらを開くと、当該ボタンＢＦの示す処理動作の実行命令を、電子機器２０に送信する（図６（ａ）（２）、図６（ａ）（３））。尚、最終的な選択がなされたことをユーザーに視覚的に知らせるため、ボタンＢＦの表示態様を変更させてもよい。
【００２４】
図６（ｂ）は情報入力装置１０による入力処理動作の終了を命ずる動作の一例を示す。ユーザーが手のひらＰを下に向けて垂直にすることにより、制御部１は入力処理動作の終了を判定する。図６（ｃ）は終了を瞑する動作の他の例であり、ユーザーが手のひらＰを数回上下に動かすような動作の後（図６（ｃ）（１））、本動作を停止するような手のひらＰの所定の動作を検知したとき（図６（ｃ）（２））、制御部１は入力処理動作の終了を判定する。プロジェクタ５は、複数のボタンＢを含む情報入力用画像の投影を停止する。もちろん、終了判定の動作は特には現令されない。また、手のひらＰが、検知部３が検知し得る検知エリアから外れた場合も、制御部１は入力処理動作の終了を判定してよい。ただし、例えばボタンの投影が終了しても、電子機器２０によるコンテンツの再生は継続してもよい。再生（動作）したコンテンツを終了する場合は、例えば他の終了用のボタンを選択するようにしてもよい。
【００２５】
（入力処理動作）
図７は、情報入力装置１０による入力処理動作の一例のフロー図である。本フロー図は、専ら、図４（ａ）に示す特定のボタンを選択する動作を含む処理ステップを示し、手のひらＰを上下方向に動かさず、水平方向にのみ動かしてボタンＢＦを選択ボタンとして判定する（図４（ａ）（３））、いわば２次元の選択処理を示す。
【００２６】
まず検知部３は、手のひらが検知されるまで検知を続行し（ステップＳ１；Ｎｏ）、手のひらを検知すると（ステップＳ１；Ｙｅｓ）、検知を受けた制御部１からの指示により、プロジェクタ５が手のひらへ追跡ポインタを投影し、検知部３は、手のひらの移動に連れて移動する追跡ポインタを追跡する（ステップＳ２）。ここまでが、図３（ａ）、図３（ｂ）（１）の動作に該当する。
【００２７】
次に検知部３が、図３（ｂ）（２）に示すような手のひらの何らかの動作（ジェスチャ）の検知を行い、何ら動作を検知しない場合は、ステップＳ１に戻り、再度手のひらの検知を開始する（ステップＳ３；Ｎｏ）。一方、検知部３が、図３（ｂ）（２）に示すような手のひらの動作を検知した場合は（ステップＳ３；Ｙｅｓ）、手のひらへ選択肢画像である複数のボタンＢを投影する（ステップＳ４）。ここでは、ボタンＢを含む情報入力用画像が、特定の絶対位置を基準として投影される（図３（ｂ）（３））。尚、ボタンＢを投影することを決定する動作は、図３（ｂ）（２）に示す手を握り締めて拡げる動作には限定されず、他の所定の動作であってもよい。
【００２８】
そして、検知部３が再度手のひらの検知を行い、ここで検知されなかった場合は、制御部１は手のひらの検知が失敗したと判定し、ステップＳ１に戻り、再度手のひらの検知を開始する（ステップＳ５；Ｎｏ）。一方、検知部３が、再度手のひらの検知を行い、手のひらを検知した場合は（ステップＳ５；Ｙｅｓ）、制御部１は、次に手のひらの何らかの動作の有無を判定する（ステップＳ６）。ここで、検知部３が、図３（ｂ）（２）に示すような手のひらの動作を検知した場合は（ステップＳ６；Ｙｅｓ）、制御部１は再度ボタンＢを含む情報入力用画像の絶対位置を決定すべきと判定し、ステップＳ４へ戻る。一方、検知部３が手のひらの何らかの動作を検知しない場合は（ステップＳ６；Ｎｏ）、制御部１は手のひらの中心と投影した特定のボタンＢとの位置が、所定の時間以上合致したか否かの判定を行い、合致しない場合は、ステップＳ５に戻り、再度手のひらの検知を行う（ステップＳ７；Ｎｏ）。一方、制御部１が、手のひらの中心と投影した特定のボタンＢとの位置が所定の時間以上合致したと判定した場合は（ステップＳ７；Ｙｅｓ）、図４（ａ）（３）に示すように、当該特定のボタンの表示を変更し、選択ボタンＢＦの表示をする（ステップＳ８）。
【００２９】
さらに検知部３は、手のひらの何らかの動作（ジェスチャ）の検知を行い、手のひらの何らかの動作を検知しない場合は、ステップＳ５に戻り、再度手のひらの検知を開始する（ステップＳ９；Ｎｏ）。一方、検知部３が、図６（ａ）（１）に示すような手のひらの何らかの動作を検知した場合は（ステップＳ９；Ｙｅｓ）、図６（ａ）（３）に示すように選択ボタンＢＦの表示を変更する（ステップＳ１０）。そして、制御部１が、当該選択ボタンＢＦに割り当てられた処理の実行命令を電子機器２０に送信し（ステップＳ１１）、処理が終了する。
【００３０】
図８は、情報入力装置１０による入力処理動作の他の例のフロー図である。本フロー図は、図７におけるステップＳ７、ステップＳ８の代わりにステップＳ７１〜ステップＳ８２を実施する。すなわち、図４（ｂ）、図４（ａ）（２）、図４（ａ）（３）に示す特定のボタンを選択する動作を含む処理ステップを示し、手のひらＰを水平方向のみならず上下方向にも動かして、ボタンＢＦを選択ボタンとして判定する（図４（ａ）（３））、いわば３次元の選択処理を示す。
【００３１】
すなわち、検知部３が手のひらの何らかの動作（ジェスチャ）を検知しない場合は（ステップＳ６；Ｎｏ）、制御部１は手のひらの中心と投影したボタンとの位置が、特定の高さにおける平面内で合致したか否かの判定を行い、合致しない場合は、ステップＳ５に戻り、再度手のひらの検知を行う（ステップＳ７１；Ｎｏ）。一方、制御部１が、平面内で手のひらの中心と投影したボタンとの位置が合致したと判定した場合は（ステップＳ７１；Ｙｅｓ）、ボタンの表示を変更する（ステップＳ８）。さらに制御部１は手のひらと投影したボタンとの位置が、上下方向において合致したか否かの判定を行い、合致しない場合は、ステップＳ５に戻り、再度手のひらの検知を行う（ステップＳ８１；Ｎｏ）。一方、制御部１が、上下方向において手のひらと投影したボタンとの位置が合致したと判定した場合は（ステップＳ７１；Ｎｏ）、ボタンの表示を変更する（ステップＳ８２）。なお、図８の入力処理動作のフローにおいては、ステップ７１とステップ８１の順番を入れ替えてもよい。
【００３２】
図９は、本開示に係る情報入力装置１０の主たる特徴点について説明した概念図である。図９（ａ）に示すように、情報入力装置１０は手のひらＰをカバーするような広い範囲に複数の選択肢画像である複数のボタンＢを表示させることができ、ユーザーに対し操作の選択肢を与えることができる。また、図９（ａ）と図９（ｂ）との比較から明らかなように、たとえ手のひらＰが移動しても、情報入力装置１０は手のひらＰの動きに追従しないように、ボタンＢの如き選択肢画像を含む情報入力用画像を空間の絶対位置を基準として投影させることができる。この結果、手のひらＰには選択すべき選択ボタンＢＦと、他のボタンＢが同時に並んで投影されることになり、ユーザーは、容易に、安定的にボタンＢを選択することが可能となる。
【００３３】
また、手のひらＰの中心に位置したボタンＢＦと隣接した他のボタンＢも手のひらＰに投影されている。よって、ユーザーは、ボタンＢＦと他のボタンＢ比較しながら、ボタンＢＦを選択することが可能であり、ユーザーは、容易な操作で要望する処理に対応したボタンを選択することが可能となる。さらに、手のひらＰを握るような何らかの動作（ジェスチャ）によって、選択したボタンを最終的決定することができ、片手のみで選択処理を終了させることができるため、利便性を向上させることができる。尚、手のひらＰの「中心」とは厳密には規定されないが、ユーザーが手のひらの中心であると認識できる所定の範囲を持った位置であり、ユーザーが手のひらを動かすことにより、当該所定範囲の位置に選択肢画像（ボタンＢ）を位置させることができればよい。
【００３４】
また、図９では表れていないが、情報入力装置１０から見た手のひらＰの上下位置（高さ位置）に応じても、情報入力用画像の内容を変化させることが可能である。このため、電子機器２０の操作のバリエーションを更に拡充することが可能となる。
【００３５】
（応用例）
図１０は、情報入力装置１０の応用例の一つを説明する概念図である。図４（ｂ）に示した例では、ユーザーは、手のひらの上下方向（高さ方向）に応じて種類の異なる情報入力用画像（およびそれに含まれる選択肢画像）を選択することができるが、何の目印もない場合、上下に他の情報入力用画像が存在するか否かを判断することは困難であると考えられる。よって、高さ方向に他の情報入力用画像が存在するか否かをユーザーに通知する何らかの手段が存在することが望ましい。
【００３６】
図１０（ａ）は、最初に表示される画像であるボタンＢに加え、上下方向に他のボタンを含む情報入力用画像が存在する場合は、画像を重ねて表示することにより、ユーザーに高さ方向において複数のボタンが存在することを知らせる例である。本例では、ボタンＢの上方向にはボタンＢ１、下方向にはボタンＢ２、Ｂ３が互いに積層された状態で表示されており、制御部１は、上下方向に沿って積層された複数の選択肢画像であるボタンＢ、Ｂ１、Ｂ２、Ｂ３の積層状態を表示する積層状態表示画像Ｂａを生成し、プロジェクタ５が積層状態表示画像Ｂａを投影している。ユーザーは直感的に上下方向に手のひらＰを移動させることにより、他のボタンも選択可能であることを把握することができ、利便性が向上する。
【００３７】
尚、積層状態表示画像ＢａにおけるボタンＢ１、Ｂ２、Ｂ３はあくまで他のボタンの存在を知らせる役割を果たすのであり、積層状態表示画像Ｂａの一部であって、この手のひらの位置では選択できるボタンはボタンＢのみであり、ボタンＢ１、Ｂ２、Ｂ３を選択することはできない。ユーザーは、積層状態表示画像Ｂａを見て、図４（ｂ）の要領で手のひらを上下に移動させることにより、ボタンＢ１、Ｂ２、Ｂ３を選択することができる。
【００３８】
図１０（ｂ）は、最初に表示される画像であるボタンＢにおいて、上下方向に他のボタンが存在する旨を知らせるメッセージ（文字など）を表示することにより、ユーザーに高さ方向において複数のボタンが存在することを知らせる例である。すなわち制御部１は、上下方向に沿って積層された複数の選択肢画像であるボタンの各々の積層順序を表示する積層順序情報であるメッセージＢｂを生成し、プロジェクタ５が、ボタンＢの各々においてメッセージＢｂを表示する。本例では「１／４  Ｍｏｖｉｅ  １」のメッセージＢｂが表示されているが、このメッセージにより、ユーザーは、映画を選択するボタンＢの上下方向において合計４個のボタンが存在し、本ボタンＢは下から１番目のボタンであることを把握することができる。ユーザーは直感的に高さ方向に手のひらＰを移動させることにより、他のボタンも選択可能であることを把握することができ、利便性が向上する。
【００３９】
図１０（ｃ）は、最初に表示される情報入力用画像である厚みの表現されたボタンＢに加え、上下方向に他のボタンが存在する場合は、異なる形状の画像を重ねて表示することにより、ユーザーに上下方向において複数のボタンが存在することを知らせる例である。ボタンＢの上方向には弦形状のボタンＢｘ、下方向には弦形状のボタンＢｙが互いに重畳した状態で表示されている。ユーザーはボタンＢの位置から、例えば上方向に手のひらＰを移動させることにより、現在選択している円形のボタンＢが弦形状に変形しつつ、下の弦形状のボタンＢｙに重なり、上の弦形状のボタンＢｘが高さ方向の中央に位置するとともに厚みのある円形に変形して選択されたことを示す。このように選択肢画像を選択の有無により変形させることにより、ユーザーは特定の選択肢画像の選択を直感的に理解することができ、利便性が向上する。
【００４０】
尚、情報入力用画像および選択肢画像（ボタン）の積層状態を示す態様は、図１０（ａ）〜（ｃ）のものには特に限定されない。また、図４（ｂ）、図１０（ａ）〜（ｃ）においては、複数の情報入力用画像が上下方向（高さ方向）に沿って積層され、ユーザーが上下方向に手のひらを移動させることにより、各情報入力用画像および選択肢画像を選択する例を示している。ただし、情報入力装置１０が、側面の壁などに設置されることもあり、複数の情報入力用画像が積層される方向は上下方向（高さ方向）には限定されず、水平方向、斜め方向などであってもよい。一般化すれば、制御部１は、プロジェクタ５から検知部３が検知した絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成すればよく、プロジェクタ５がこの方向に沿って積層された複数の情報入力用画像を投影すればよい。
【００４１】
図１１は、情報入力装置１０の応用例の一つを説明する概念図である。図９のように、ボタンＢの如き情報入力用画像の投影範囲が手のひらＰの周辺のみに限定される場合、ユーザーは投影された全ての情報入力用画像を直感的に把握することができる。しかしながら、投影範囲が手のひらＰの周辺のみに限定されると、一面（平面）内で投影する情報入力用画像の数、種類は限定されてしまう。一方、投影範囲を広げてしまうと、手のひらＰの周辺以外であって、手のひらＰに投影されない情報入力用画像、選択肢画像を直感的に把握することは困難となる。
【００４２】
図１１は、一面内における情報入力用画像の投影範囲が手のひらのサイズを超える領域に渡るように広く、多数の選択肢画像が形成される場合に、プロジェクタ５による投影範囲および手のひらの位置を知らせる位置表示画像を投影することにより、ユーザーが容易に投影範囲を把握することができる例を示す概念図である。図１１（ａ）の例では、プロジェクタ５が選択肢画像群である情報入力用画像の投影範囲を示す横方向の両矢印Ａ３である位置表示画像を投影する例を示す。手のひらが情報入力用画像内のどの位置にあるかを示す横方向の両矢印Ａ３を手のひらＰに投影することにより、ユーザーは情報入力用画像の投影範囲が手のひらＰの左右両側に広がっており、左右方向に他の選択可能な選択肢画像（ボタンＢ）が存在することを直感的に把握することができる。図１１（ｂ）の例では、プロジェクタ５が投影範囲を示す左方向の矢印Ａ４を手のひらＰに投影する例を示す。画像群の投影範囲が手のひらＰの左側に広がっているため、左方向の矢印Ａ４を示すことにより、ユーザーは左方向に他の選択可能なボタンが存在することを直感的に把握することができる。尚、画像群の端からの距離を、矢印の長さで表現するなどしてもよい。
【００４３】
位置表示画像は矢印には限定されず、他の文字や、図形、記号などであってもよく、特に限定はされない。投影範囲は手のひらＰの前後や斜め範囲に広がってもよく、広がりの範囲に応じた位置表示画像が生成される。
【００４４】
図１２は、手のひらＰの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のサイズを決定する例を示す概念図である。図１２（ａ）は、基本例であり、光学の原則論により、手のひらＰの上下移動（矢印Ａ５）に追従して選択肢画像であるボタンＢのサイズが変化している。これに対し、図１２（ｂ）に示すように、制御部１は、検知部３が検知したプロジェクタ５から手のひらＰまでの距離に基づき、手のひらＰの上下移動（矢印Ａ６）とは独立して、ボタンＢのサイズを最適なもの、例えば高さに関わらず一定にすることができる。制御部１は、手のひらＰまでの距離に基づき最適な情報入力用画像および選択肢画像のサイズを算出し、そのようなサイズの情報入力用画像および選択肢画像を出力する様に、プロジェクタ５に指示を出力する。このような制御を行うことにより、手のひらＰの高さ方向の位置に関わらず、最適な情報入力用画像および選択肢画像のサイズを維持することができる。
【００４５】
最適な情報入力用画像および選択肢画像のサイズの決定方法は特に限定されない。上述した様に、制御部１は、検知部３から手のひらＰまでの距離に基づき最適な情報入力用画像および選択肢画像のサイズを算出することもできる。また、制御部１は、検知部３が取得した手のひらＰの平面サイズ（面積）に基づき、最適な情報入力用画像および選択肢画像のサイズを算出することもできる。具体的には、制御部１は、手のひらＰまでの距離と、手のひらＰの平面サイズ（面積）から、情報入力用画像および選択肢画像のサイズを変更するが、例えば、算出した手のひらＰのサイズ（面積）の８０％のサイズ（面積）の情報入力用画像および選択肢画像を投影してもよい。具体的には、図１３に示すように、手のひらＰのサイズ（面積）は、指以外の面積で算出してもよく、例えば指の付け根Ｑを認識し、指の付け根Ｑの位置を基準として手のひらＰのサイズを算出することができる（図１３（ａ１）、（ａ２）参照）。また、指の付け根Ｑを認識し、この付け根に接する外接円の面積で手のひらＰのサイズを算出してもよい（図１３（ｂ１）、（ｂ２）参照）。また、予め検知部３から手のひらＰまでの距離に対応した情報入力用画像および選択肢画像のサイズを算出しておき、この距離のみに依存して情報入力用画像および選択肢画像のサイズを変更して投影してもよく、このような処理により制御部１の処理負担を軽減することができる。
【００４６】
図１４は、手のひらＰの傾き角度に合わせて、入力用画像の形状を決定する例を示す概念図である。図１４（ａ）は、基本例であり、光学の原則論により、下位置の手のひらＰがプロジェクタ５に対して傾いており、その傾き角度に応じて、情報入力用画像に含まれる選択肢画像であるボタンＢの形状が変化している。具体的には、ボタンＢが、横方向に伸びて手のひらＰからはみ出てしまっている。尚、手のひらＰがプロジェクタ５に対して傾いていない場合とは、プロジェクタ５の照射項の照射軸に対し、手のひらＰが直交する様に配置されている場合である。
【００４７】
これに対し、図１４（ｂ）に示すように、情報入力装置１０は、検知部３が検知したプロジェクタ５に対する手のひらＰの傾き角度および手のひらＰまでの距離に基づき、ボタンＢの形状を最適なもの、例えば傾き角度に関わらず一定にすることができる。制御部１は、手のひらＰの傾き角度に基づき最適な情報入力用画像の形状を算出し、そのような形状の情報入力用画像を出力する様に、プロジェクタ５に指示を出力する。このような制御を行うことにより、手のひらＰの傾き角度に関わらず、最適な情報入力用画像の形状を維持することができる。
【００４８】
図１５は、手のひらＰの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のピントを決定する例を示す概念図である。図１５（ａ）は、基本例であり、光学の原則論により、手のひらＰの上下移動（矢印Ａ７）に追従してピントがずれることになる。本例では、最適なピントが下位置の手のひらＰに対して与えられているため、上位置の手のひらＰではピントがボケてしまっている。
【００４９】
これに対し、図１５（ｂ）に示すように、情報入力装置１０は、検知部３が検知したプロジェクタ５から手のひらＰまでの距離に基づき、手のひらＰの上下移動（矢印Ａ８）とは独立して、常に最適なプロジェクタ５のピントを決定することができる。制御部１は、手のひらＰまでの距離に基づき最適なピントを算出し、そのようなピントの情報入力用画像および選択肢画像を出力する様に、プロジェクタ５に指示を出力する。このような制御を行うことにより、手のひらＰの高さ方向の位置に関わらず、最適なピントの情報入力用画像および選択肢画像を維持することができる。
【００５０】
ピントの設定方法は特に限定されない。上述した様に、制御部１は、プロジェクタ５から手のひらＰまでの距離に基づき最適なピントを算出することもできる（アクティブ方式）。また、制御部１は、検知部３がＲＧＢカメラを備える場合、レンズを通過した光に基づき最適なピントを算出することもできる（パッシブ方式）。
なお、手のひらＰの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のピントを決定する処理は、図１２で説明した手のひらＰの高さ方向の位置に合わせて情報入力用画像および選択肢画像のサイズを決定する処理や、図１４で説明した手のひらＰの傾き角度に合わせて入力用画像の形状を決定する処理を組み合わせてもよい。
【００５１】
図１６は、情報入力装置１０の応用例の一つを説明する概念図である。ユーザーの手のひらの位置によっては、情報入力用画像および選択肢画像の見え方が変わるため、その位置に応じて情報入力用画像および選択肢画像の表示方向をユーザーが見やすい方向に変更することが望ましい。例えば図１６（ａ）に示すように、選択肢画像が円形のボタンＢの場合、矢印Ａ９で示す周方向に回転させ、表示方向を決定することが考えられる。
【００５２】
このため、検知部３が、手のひらに加え、ユーザーの肘部、肩部、頭部等の他の人体部分を形状から検知し、当該他の人体部分と手のひらを結ぶ直線軸を算出する。制御部１は、この直線軸を基準として、情報入力用画像の適切な表示方向を決定し、この表示方向を持つ情報入力用画像をプロジェクタ５が投影する。例えば直線軸が手のひらと頭部を結ぶものである場合、情報入力用画像は、直線軸と略平行にまたは略垂直になるような表示方向に配置されるのがよい。例えば直線軸が手のひらと肩部を結ぶものである場合、情報入力用画像は、手のひらが左右いずれの手かを認識した上で、直線軸から０〜６０°程度の範囲での回転させた表示方向に配置されるのがよい。もちろん表示方向は一義的に規定されるものではなく、装置の種類、設置場所、ユーザーの特性など種々の要因により適宜決定される。
【００５３】
図１６（ｂ）は、検知部３が手のひらＰ、頭部Ｈ、肩部Ｓを認識した状況において、制御部１が手のひらＰと頭部Ｈを結ぶ直線軸ＡＸ１および手のひらＰと肩部Ｓを結ぶ直線軸ＡＸ２の二つの直線軸を決定し、この二つの直線軸から情報入力用画像であるボタンＢの表示方向を決定する概念図を示す。図１６（ｃ）は、検知部３が手のひらＰ、肩部Ｓを認識した状況において、制御部１が手のひらＰと肩部Ｓを結ぶ直線軸ＡＸ２を決定し、この直線軸から情報入力用画像であるボタンＢの表示方向を決定する概念図を示す。図１６（ｄ）は、検知部３が手のひらＰ、頭部Ｈを認識した状況において、制御部１が手のひらＰと頭部Ｈを結ぶ直線軸ＡＸ１を決定し、この直線軸から情報入力用画像であるボタンＢの表示方向を決定する概念図を示す。
【００５４】
図１６（ｅ）は、検知部３が手のひらＰ、肩部Ｓ、特に両肩を認識した状況において、制御部１が両肩を結ぶ直線軸ＡＸ３を決定し、直線軸ＡＸ３を二等分する点が頭部Ｈの位置であると仮定して手のひらＰと頭部Ｈを結ぶ直線軸ＡＸ１を決定し、直線軸ＡＸ１から情報入力用画像であるボタンＢの表示方向を決定する概念図を示す。帽子や髪型等で頭部Ｈの認識が困難な場合に有用な方法である。
【００５５】
図１６（ｆ）は、検知部３が手のひらＰ、肩部Ｓ、特に両肩を認識した状況において、手のひらＰが両肩の内側か外側にあるかを認識できるため、内側にある場合と外側にある場合とで表示方向を変更している。本例では、手のひらＰが両肩の内側にある場合、表示方向は体に対して正対するように設定される、一方、手のひらＰが両肩の外側にある場合、図１６（ｅ）と同様の方法で、直線軸ＡＸ３、直線軸ＡＸ１を決定し、直線軸ＡＸ１から情報入力用画像であるボタンＢの表示方向を決定する。
【００５６】
本処理においては、上述した通り、検知部３が手のひらに加え、様々な他の人体部分を検知し、制御部１が、手のひらと他の人体部分との相対位置関係に基づき、情報入力用画像の向きを決定することができる。尚、検知部３が、ユーザーの直上に位置していなくても、空間的にユーザーの直上に位置している状況に変換して用いることができる。また、肩部の認識方法は骨格推定でも、上体塊推定でも良い。また、肘部を用いて表示方向を決定してもよい。また、椅子や、表示器など、使用環境によって人間の体の向きが限定される場合や、椅子の回転角度等を検出することにより体の認識以外でも向きを推定出来る場合は、その手段を用いて表示角度を変えてもよい。
【００５７】
図１７は、高さ方向において情報入力用画像を投影する範囲を規定する概念を示す概念図である。検知部３が検知した頭部Ｈまたは肩部Ｓから手のひらＰまでの相対距離（相対高さ）を制御部１が算出し、相対距離を基準として、プロジェクタ５が情報入力用画像を投影する範囲を規定する。例えば、肩部Ｓから手のひらＰまでの相対距離を用いる場合（肩部基準）、手のひらＰが肩部Ｓの高さ以下にある場合に情報入力用画像を投影すると決定することができ（距離Ｄ１）、さらに手のひらＰが肩部Ｓの高さから６００ｍｍ下の範囲までで情報入力用画像を投影すると決定することができる（距離Ｄ２）。頭部Ｈから手のひらＰまでの相対距離を用いる場合（頭部基準）、肩部基準に対して１５０ｍｍ加算して計算する（距離Ｄ３、Ｄ４）。
【００５８】
本処理において、高さの基準を決める方向の角度は、図１７のように重力方向（鉛直方向）には限定されず、例えばリクライニング式の椅子に腰かけた場合などを考慮し、上体の傾斜角度を基準として算出することもできる。すなわち、検知部３が、手のひら以外の他の人体部分を検知し、制御部１が、手のひらと他の人体部分との相対位置関係に基づき、情報入力用画像を投影する範囲を決定することができる。また、本処理においては、検知部３が、ユーザーの直上に位置していなくても（一般的な監視カメラ等）、空間的に本処理の状況に変換して用いることができる。また、クライニング式の椅子に腰かけた場合などは、頭部Ｈまたは肩部Ｓではなく、床、椅子の座面高さ等を認識、または事前設定しておき、情報入力用画像を投影する範囲を規定してもよく、高さの基準となるものは限定されない。 
【００５９】
図１８は、プロジェクタ５から照射する照射光と手のひらＰが垂直に交わらない場合、すなわち、手のひらＰに対し情報入力用画像を投影する投影角度が９０°でない場合の処理の概念を示す概念図である。図１８（ａ）に示すように、検知部３が手のひらＰの傾き角度ｃを検知し、傾き角度に合わせて、例えば図１４（ｂ）で示した方法で情報入力用画像の形状を補正処理する。
【００６０】
また、手のひらＰの移動が検知された場合、傾き角度ｃを用いて、制御部１は、移動方向について分解演算を行う。すなわち、手のひらＰの平面方向ａへの移動では投影位置は変化させず、制御部１は平面内でのボタンＢの選択処理であると判断する。一方、手のひらＰの奥行方向ｂへの移動では、ボタンＢの投影位置そのものを変更する（図１８（ｂ）参照）。
これらの補正処置によって、プロジェクタ５から照射する照射光と手のひらＰが垂直に交わらない場合でも、図４（ｂ）のように、ユーザーが手のひらＰに対して垂直方向にスライドさせることで、それぞれの高さで表示されるボタンが、ボタンＢ１、Ｂ２で示す如く変化する。
【００６１】
手のひらＰの傾き角度ｃを拡大すると投影画像の不鮮明化、手認識の困難化等が生じるため、傾き角度６０°を上限とし、それ以上の傾き角度の場合、制御部１は傾き角度６０°を最大角度として用いて処理する。また、手のひらＰの傾き角度ｃに対して厳密に描画・演算処理を行うが、演算力・表示のチラつきが生じる場合、例えば５°、１０°、１５°毎のステップで演算を行う。
【００６２】
尚、手のひらによる動作（ジェスチャ）には種々のものが考えられ、上述の実施形態を含め、特定のものに限定はされない。例えば、テーブル等の所定の対象物に、手のひらに投影したボタンなどの情報入力用画像をこぼすようなジェスチャが考えられる。ボタンの投影箇所を、こぼし先の対象物に移動し、表示される情報入力用画像の数やサイズを変更して表示してもよい。
【００６３】
また、電子機器２０による処理の実行開始後に、電子機器（ディスプレイ等）に注意が向くように、ビーム等を別途投影する様にしてもよい。具体的には、手のひらＰに投射されているボタンＢを、電子機器の方向に移動させてもよいし、手のひらＰに投射されているボタンＢを、電子機器の方向を示す矢印を表示させる様にしてもよい。
【００６４】
また、特定の情報入力用画像をちぎるような動作により処理を決定してもよいし、手のひらを傾けることで、情報入力用画像が流れていくように遷移する様にしてもよい。
【００６５】
上述の形態では、片方の手のみで操作を完結させる例を説明した。ただし、他方の手で情報入力用画像をタッチして決定することも可能である。ただし、他方の手の指によって片方の手のひらが隠れてしまい、手のひらの高さと指との高さの差が正確に測れないと言った不都合は生じ得る。このような不都合を解消するため、例えば、情報入力用画像を表示する前に手の平の表面の凹凸を記録し、情報入力用画像を表示する領域より外側で、かつ指にかからない領域を３点以上、観測点とし、この観測点を計測することで手のひらの傾きを検出する。記録した表面の凹凸と、手のひらの傾きにより、手のひらの表面の高さを逐次補正することができる。また、手のひらの血の赤色をＶＧＡ（Video Graphics Array）カメラで観測してもよい。
【００６６】
また、検知部３とプロジェクタ５との構成、位置等に関しては、種々の関係が考えられる。例えば、プロジェクタ５の投影画角にかからない位置に検知部３を配置したり、検知部３の検知領域にかからない位置にプロジェクタ５を配置することが考えられる。プロジェクタ５の情報入力用画像を投影する投影面と検知部３が検知する面を同一面に配置してもよい。
【００６７】
また、プロジェクタ５と検知部３を、同一パーツで固定してもよく、プロジェクタ５の光軸と検知部の軸を同一方向に配置してもよい。また、検知部３のアスペクト比とプロジェクタ５のアスペクト比を合わせてもよい。
【００６８】
また、プロジェクタ５と検知部３を校正する校正方法として、例えば何らかの校正アナウンスにより、対角点を表示し、ユーザーに対角点２点の中心に手をかざしてもらうことにより、手の検出位置と、投影位置を照合し、校正することが考えられる。また、画像認識によりポインタ中心と手のひらの中心のズレを認識し、調整してもよい。また、特徴的な構造物（イス等）に対して調整してもよい。
【００６９】
本開示の情報入力装置によれば、電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することが可能となり、より簡易な操作入力が可能となる。
【００７０】
また、本開示の情報入力装置によれば、基本的に手のひらに情報入力画像を投影するが、手のひらのサイズに制限されることなく情報入力画像を投影することができ、多様な電子機器の操作処理が可能となる。
【００７１】
また、本開示の情報入力装置によれば、手のひらの検知後、特定のタイミング、特に特定の手のひらの動作（ジェスチャ）によって、情報入力画像を投影する絶対位置を画定することができる。よって、任意の位置（空間）を投影位置とすることができ、専用の投影対象が不要となる。また、ユーザーが手のひらを動かしても、投影位置は追従しないため、ユーザーは選択したい情報入力画像の選択肢画像に、手のひらを動かすことができる。
【００７２】
また、本開示の情報入力装置によれば、特定の選択肢画像を手のひらの中心に位置する様に手を動かした後、所定の動作によりその選択肢画像の選択が決定される。よって、投影位置の設定、選択肢画像の選択及び決定を、同じ手で行うことができ、ユーザーの片手のみで電子機器を簡易に操作することが可能となる。また、従来のように、選択肢画像の決定を、もう一方の手で指す動作にした場合のような複雑な検出処理をする必要がないため、より確実に、より簡易に決定処理を行うことができる。
【００７３】
以上、図面を参照して本開示に係る情報入力装置の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００７４】
本開示の情報入力装置は、専用の投影対象を用意せずに、電子機器を簡易かつ的確に操作する用途に有用である。
【符号の説明】
【００７５】
１    制御部
３    検知部
５    プロジェクタ（投影装置）
１０  情報入力装置
２０  電子機器
Ｂ    ボタン（選択肢画像）
Ｆ    握りこぶし
Ｈ    頭部
Ｐ    手のひら
Ｑ    指の付け根
Ｓ    肩部
【図１】
2018073170.tif 000003
【図２】
2018073170.tif 000004
【図３】
2018073170.tif 000005
【図４】
2018073170.tif 000006
【図５】
2018073170.tif 000007
【図６】
2018073170.tif 000008
【図７】
2018073170.tif 000009
【図８】
2018073170.tif 000010
【図９】
2018073170.tif 000011
【図１０】
2018073170.tif 000012
【図１１】
2018073170.tif 000013
【図１２】
2018073170.tif 000014
【図１３】
2018073170.tif 000015
【図１４】
2018073170.tif 000016
【図１５】
2018073170.tif 000017
【図１６】
2018073170.tif 000018
【図１７】
2018073170.tif 000019
【図１８】
2018073170.tif 000020
【手続補正書】
【提出日】平成29年7月25日(2017.7.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人の手のひらを検知可能な検知部と、
手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、
前記検知部および前記投影装置を制御する制御部と、
を備える情報入力装置であって、
前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、
前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、
前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信し、
前記制御部は、前記投影装置から前記絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成し、前記投影装置は、前記方向に沿って積層された複数の情報入力用画像を投影する、情報入力装置。
【請求項２】
請求項１に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の積層状態を表示する積層状態表示画像を生成し、
前記投影装置は、前記積層状態表示画像を投影する、情報入力装置。
【請求項３】
請求項１に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の各々の積層順序を表示する積層順序情報を生成し、
前記投影装置は、選択肢画像の各々において前記積層順序情報を表示する、情報入力装置。
【請求項４】
請求項１に記載の情報入力装置であって、
前記投影装置は、一面内おいて、手のひらのサイズを超える領域に前記情報入力用画像を投影する、情報入力装置。
【請求項５】
請求項１に記載の情報入力装置であって、  前記投影装置は、手のひらが前記情報入力用画像内のどの位置にあるかを示す位置表示画像を手のひらに投影する、情報入力装置。
【請求項６】
請求項１に記載の情報入力装置であって、
前記検知部が手のひらによる所定の動作がされたことを検知したとき、前記投影装置は前記情報入力用画像の投影を停止する、情報入力装置。
【請求項７】
請求項１に記載の情報入力装置であって、
前記投影装置は、初期時に前記手のひらに投影する際には、少なくとも前記選択肢画像は前記手のひらの中央付近以外に投射する、情報入力装置。
【請求項８】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記情報入力用画像のサイズを決定する、情報入力装置。
【請求項９】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置に対する手のひらの傾き角度を検知し、
前記制御部は、前記傾き角度に基づき、前記情報入力用画像の形状を決定する、情報入力装置。
【請求項１０】
請求項１に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記投影装置のピントを決定する、情報入力装置。
【請求項１１】
請求項１に記載の情報入力装置であって、
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像の向きを決定する、情報入力装置。
【請求項１２】
請求項１に記載の情報入力装置であって、  
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像を投影する範囲を決定する、情報入力装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本開示の情報入力装置は、人の手のひらを検知可能な検知部と、手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、前記検知部および前記投影装置を制御する制御部と、を備える情報入力装置であって、前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信し、前記制御部は、前記投影装置から前記絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成し、前記投影装置は、前記方向に沿って積層された複数の情報入力用画像を投影する。