(57)【要約】【課題】入力操作内容の誤判定を低減できる入力装置を提供する。【解決手段】入力装置１は、画像面Ｓに近づく指示体３を検出する検出部１０、２７と、検出部１０、２７の検出結果に基づいて入力処理を行う処理部２０と、を備えている。処理部２０は、前記検出結果により予備判定処理を行うとともに、前記予備判定処理の結果と前記検出結果とに基づいて指示体３の入力操作内容の判定処理を行う。【選択図】図１
2016021229.tif 000002
【特許請求の範囲】
【請求項１】
画像面に近づく指示体を検出する検出部と、
前記検出部の検出結果に基づいて入力処理を行う処理部と、
を備え、
前記処理部は、前記検出結果により予備判定処理を行うとともに、前記予備判定処理の結果と前記検出結果とに基づいて前記指示体の入力操作内容の判定処理を行う、入力装置。
【請求項２】
前記予備判定処理には、入力が行われる操作領域を判定する処理が含まれ、
前記処理部は、前記操作領域によって前記入力操作内容の判定処理を変更する、請求項１に記載の入力装置。
【請求項３】
前記操作領域は、前記検出部による検出結果から得られる輝度を用いて判定される、請求項２に記載の入力装置。
【請求項４】
前記操作領域は、第１の領域と第２の領域とを含み、
前記第１の領域と前記第２の領域とは、前記画像面と垂直な方向の幅が異なる、請求項２又は３に記載の入力装置。
【請求項５】
前記処理部は、
前記操作領域が前記第１の領域であると判定すると、前記指示体の指示位置により前記入力操作内容を判定し、
前記操作領域が前記第２の領域であると判定すると、前記指示体の形状及び動きのうちの少なくとも一方により前記入力操作内容を判定する、請求項４に記載の入力装置。
【請求項６】
前記予備判定処理には、前記指示体の操作姿勢を判定する処理が含まれる、請求項１から５のいずれか１項に記載の入力装置。
【請求項７】
前記操作姿勢は、第１の検出層における検出結果により判定され、
前記処理部は、前記予備判定処理で得られた前記操作姿勢と、前記第１の検出層より前記画像面の近くに設けられる第２の検出層における検出結果と、に基づいて前記入力操作内容を判定する、請求項６に記載の入力装置。
【請求項８】
前記処理部は、前記操作姿勢が特定の姿勢であると判定した場合、前記第２の検出層における前記入力操作内容の判定を行わず、前記画像面と前記第１の検出層との間における前記指示体の動きに基づいて前記入力操作内容を判定する、請求項７に記載の入力装置。
【請求項９】
前記指示体の動きに基づいて前記入力操作内容を判定する場合、前記指示体の移動速度を利用して前記入力操作内容を判定する、請求項８に記載の入力装置。
【請求項１０】
前記指示体の動きに基づいて前記入力操作内容を判定する場合、前記指示体が前記第２の検出層に進入したと判断されると、前記指示体の動きに基づく入力操作が終了したと判断される、請求項８に記載の入力装置。
【請求項１１】
前記処理部は、前記画像面との接触に伴う前記指示体の状態変化に基づいて、前記第２の検出層における前記入力操作内容を判定する、請求項７から１０のいずれか１項に記載の入力装置。
【請求項１２】
前記処理部は、光の強度分布に基づいて前記操作姿勢を判定する、請求項６から１１のいずれか１項に記載の入力装置。
【請求項１３】
前記指示体が手であって、
前記処理部は、前記光の強度分布が偏って存在する場合には指による入力と判定する、請求項１２に記載の入力装置。
【請求項１４】
前記指示体が手であって、
前記光の強度分布が一定以上の広がりを有する場合に手のひらによる入力と判定する、請求項１２又は１３に記載の入力装置。
【請求項１５】
前記処理部は、前記検出結果の時間的変化に基づいて前記操作姿勢を判定する、請求項６から１１のいずれか１項に記載の入力装置。
【請求項１６】
前記検出部は、光源と、前記光源からの光を走査する光走査部と、前記光走査部によって走査された光の前記指示体による反射光を受光する受光部と、を備える、請求項１から１５のいずれか１項に記載の入力装置。
【請求項１７】
前記予備判定処理に使用される検出層、及び、前記入力操作内容の判定処理に使用される検出層は、前記画像面を挟んで前記光源及び前記受光部とは反対側に配置される、請求項１６に記載の入力装置。
【請求項１８】
前記指示体の位置に応じて前記光源の発光強度が変更される、請求項１６又は１７に記載の入力装置。
【請求項１９】
前記予備判定処理には、第１の検出層で検出される前記指示体の操作姿勢を判定する処理が含まれ、
前記指示体と前記第１の検出層との関係に応じて前記光源の発光強度が変更される、請求項１８に記載の入力装置。
【請求項２０】
前記入力操作内容の判定結果を知らせる報知処理部を更に備える、請求項１から１９のいずれか１項に記載の入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は入力装置に関する。
【背景技術】
【０００２】
従来、スクリーン等に投影された操作画面に対する指示体（例えば指や差し棒）の接触座標位置を算出して入力操作内容を判定する入力装置が知られている（例えば特許文献１参照）。特許文献１においては、指示体が光線を遮る場合にイメージセンサーの撮像画像に影が生じることを利用して指示体の座標位置を算出する。
【０００３】
また、従来、操作パネル上の空間に存在する指示体の３次元位置情報を撮像素子或いは赤外線センサーを利用して取得し、取得した３次元位置情報に基づいて指示体による入力操作内容を認識する入力装置が知られている（例えば特許文献２参照）。特許文献２の構成によれば、操作パネルに非接触の状態でコマンド入力できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０３８６１号公報
【特許文献２】特開２０１０−１２１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１や２の入力装置では、ボタン等の機械的部品を押圧することによって入力操作内容を判定するものではないので、入力操作内容の誤判定の発生が懸念される。特許文献１の構成においては、指示体の先端部分の丸みに着目して操作画面に対する接触と非接触とを正確に判定する技術が開示されている。しかしながら、特許文献１の構成では、例えば、使用者の手を利用した多彩な入力操作が想定される場合等には、誤判定を十分に低減ないと考えられる。
【０００６】
以上の点に鑑みて、本発明の目的は、入力操作内容の誤判定を低減できる入力装置を提供することである。また、本発明の他の目的は、多彩な入力操作を実現しつつ、誤判定の少ない入力装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の入力装置は、画像面に近づく指示体を検出する検出部と、前記検出部の検出結果に基づいて入力処理を行う処理部と、を備え、前記処理部は、前記検出結果により予備判定処理を行うとともに、前記予備判定処理の結果と前記検出結果とに基づいて前記指示体の入力操作内容の判定処理を行う構成（第１の構成）になっている。
【０００８】
本構成によれば、指示体による入力操作内容の判定を行う前に、予備判定処理を行う構成になっている。このために、入力操作内容を誤判定する可能性を低減できる。
【０００９】
上記第１の構成の入力装置において、前記予備判定処理には、入力が行われる操作領域を判定する処理が含まれ、前記処理部は、前記操作領域によって前記入力操作内容の判定処理を変更する構成（第２の構成）であるのが好ましい。本構成によれば、予備判定処理によって操作領域を事前に把握できるために、入力操作内容の判定を操作領域に応じて適切に行うことが可能である。このために、本構成の入力装置は、多彩な入力操作を実現し易い。
【００１０】
上記第２の構成の入力装置において、前記操作領域は、前記検出部による検出結果から得られる輝度を用いて判定される構成（第３の構成）であってよい。本構成によれば、画像面に近づく指示体の位置を正確に推定し易く、誤判定が起る可能性を低減可能である。
【００１１】
上記第２又は第３の構成の入力装置において、前記操作領域は、第１の領域と第２の領域とを含み、前記第１の領域と前記第２の領域とは、前記画像面と垂直な方向の幅が異なる構成（第４の構成）であってよい。本構成によれば、入力操作の仕方が全く異なる複数の操作に対応する入力装置において、誤判定を生じ難くできる。
【００１２】
上記第４の構成の入力装置において、前記処理部は、前記操作領域が前記第１の領域であると判定すると、前記指示体の指示位置により前記入力操作内容を判定し、前記操作領域が前記第２の領域であると判定すると、前記指示体の形状及び動きのうちの少なくとも一方により前記入力操作内容を判定する構成（第５の構成）であってよい。本構成によれば、ポインティング操作入力とジェスチャー入力とを受け付ける入力装置であって、誤判定を生じ難い入力装置を提供できる。
【００１３】
上記第１から第５のいずれかの構成の入力装置において、前記予備判定処理には、前記指示体の操作姿勢を判定する処理が含まれる構成（第６の構成）であるのが好ましい。本構成によれば、予め得られた操作姿勢を考慮して指示体の入力操作内容を判定するために、入力操作内容の誤判定を低減できる。
【００１４】
上記第６の構成の入力装置において、前記操作姿勢は、第１の検出層における検出結果により判定され、前記処理部は、前記予備判定処理で得られた前記操作姿勢と、前記第１の検出層より前記画像面の近くに設けられる第２の検出層における検出結果と、に基づいて前記入力操作内容を判定する構成（第７の構成）であってよい。なお、前記第２の検出層は、前記画像面に近接して設けられるのが好ましい。本構成によれば、検出部からの情報に基づいて第２の検出層における指示体の入力操作内容を判定する前に、検出部からの情報に基づいて第１の検出層における指示体の操作姿勢を判定する。そして、予め判定した操作姿勢を考慮して、第２の検出層における指示体の入力操作内容を判定する。このために、本構成によれば、入力操作内容の誤判定を低減できる。
【００１５】
上記第７の構成の入力装置において、前記処理部は、前記操作姿勢が特定の姿勢であると判定した場合、前記第２の検出層における前記入力操作内容の判定を行わず、前記画像面と前記第１の検出層との間における前記指示体の動きに基づいて前記指示体による入力操作内容を判定する構成（第８の構成）であるのが好ましい。本構成によれば、画像面の特定の領域を指示体で指示して入力を行う第１の入力操作と、画像面の手前でジェスチャーを行って入力を行う第２の入力操作とを併用可能であり、多彩な入力操作を実現できる。そして、本構成では、予め判定した操作姿勢を考慮して入力操作内容の判定が行われるために、前記第１の入力操作と前記第２の入力操作とが混同されて誤判定を行う可能性を抑制できる。
【００１６】
上記第８の構成の入力装置において、前記指示体の動きに基づいて前記入力操作内容を判定する場合、前記指示体の移動速度を利用して前記入力操作内容を判定する構成（第９の構成）が採用されてよい。また、上記第８の構成の入力装置において、前記指示体の動きに基づいて前記入力操作内容を判定する場合、前記指示体が前記第２の検出層に進入したと判断されると、前記指示体の動きに基づく入力操作が終了したと判断される構成（第１０の構成）が採用されてよい。
【００１７】
上記第７から第１０のいずれかの構成の入力装置において、前記処理部は、前記画像面との接触に伴う前記指示体の状態変化に基づいて、前記第２の検出層における前記入力操作内容を判定する構成（第１１の構成）であってよい。前記指示体の状態変化としては、例えば、画像面に指が押し込まれた際に生じる指の潰れ等が挙げられる。本構成によれば、入力操作内容を判定する際の判定条件が増えるために、誤判定を更に低減可能である。
【００１８】
上記第６から第１１のいずれかの構成の入力装置において、前記処理部は、光の強度分布に基づいて前記操作姿勢を判定する構成（第１２の構成）であってよい。また、上記第１２の構成の入力装置において、前記指示体が手であって、前記処理部は、前記光の強度分布が偏って存在する場合には指による入力と判定する構成（第１３の構成）が採用されてよい。また、上記第１２又は第１３の構成の入力装置において、前記指示体が手であって、前記光の強度分布が一定以上の広がりを有する場合に手のひらによる入力と判定する構成（第１４の構成）が採用されてよい。
【００１９】
上記第６から第１１のいずれかの構成の入力装置において、前記処理部は、前記検出結果の時間的変化に基づいて前記操作姿勢を判定する構成（第１５の構成）であってもよい。
【００２０】
上記第１から第１５のいずれかの構成の入力装置において、前記検出部は、光源と、前記光源からの光を走査する光走査部と、前記光走査部によって走査された光の前記指示体による反射光を受光する受光部と、を備える構成（第１６の構成）であるのが好ましい。本構成によれば、複雑な処理が必要で応答性の低下が懸念される撮像素子を利用することなく、例えば手の動きを利用した多彩な入力操作を可能とする入力装置を提供できる。
【００２１】
上記第１６の構成の入力装置において、前記予備判定処理に使用される検出層、及び、前記入力操作内容の判定処理に使用される検出層は、前記画像面を挟んで前記光源及び前記受光部とは反対側に配置される構成（第１７の構成）であるのが好ましい。本構成によれば、入力操作時に、光源から出射された光が指示体以外の物体（使用者の体の一部等）によって反射される可能性を低減できるために、入力操作内容の正確な判定を行い易い。
【００２２】
上記第１６又は第１７の構成の入力装置において、前記指示体の位置に応じて前記光源の発光強度が変更される構成（第１８の構成）が採用されてよい。上記第１８の構成の入力装置において、前記予備判定処理には、第１の検出層で検出される前記指示体の操作姿勢を判定する処理が含まれ、前記指示体と前記第１の検出層との関係に応じて前記光源の発光強度が変更される構成（第１９の構成）が採用されてよい。これらの構成によれば、予備判定処理をより正確に行うことが可能になる。例えば、指示体が第１の検出層に近づいたり、進入したりした場合に、光源の発光強度が強くされるようにしてよい。
【００２３】
上記第１から第１９のいずれかの構成の入力装置は、前記入力操作内容の判定結果を知らせる報知処理部を更に備える構成（第２０の構成）であってよい。例えば入力装置が備える制御部によって行われる報知処理は、画面表示の変更処理や音発生処理等であってよい。本構成によれば、使用者が、自身の行った入力操作が正しく受け付けられたか否かを認識し易い。
【発明の効果】
【００２４】
本発明によれば、入力操作内容の誤判定を低減できる入力装置を提供できる。また、本発明によれば、多彩な入力操作を実現しつつ、誤判定の少ない入力装置を提供できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１実施形態に係る入力装置の構成を示すブロック図
【図２】本発明の第１実施形態に係る入力装置に対して手（指示体の一例）を使って入力操作を行う場合の手の姿勢について説明するための第１の模式図
【図３】本発明の第１実施形態に係る入力装置に対して手（指示体の一例）を使って入力操作を行う場合の手の姿勢について説明するための第２の模式図
【図４】姿勢検出層における手の状態の検出例を示す画像
【図５】本発明の第１実施形態に係る入力装置における入力操作内容の判定手順例を説明するためのフローチャート
【図６】本発明の第１実施形態に係る入力装置において実行される操作判定処理Ａの詳細を示すフローチャート
【図７】本発明の第１実施形態に係る入力装置において実行される操作判定処理Ｂの詳細を示すフローチャート
【図８】第２実施形態の入力装置において、手の姿勢を判定する方法について説明するための模式図
【図９】本発明の第３実施形態に係る入力装置において、手を利用したジェスチャーで入力操作を行う場合の手の姿勢について説明する模式図
【図１０】本発明の第３実施形態に係る入力装置における入力操作内容の判定手順例を説明するためのフローチャート
【図１１】本発明の第３実施形態に係る入力装置において実行される操作判定処理Ｃの詳細を示すフローチャート
【図１２】本発明の第４実施形態に係る入力装置において実行される操作判定処理Ｃの詳細を示すフローチャート
【図１３】本発明の第５実施形態に係る入力装置における操作領域について説明するための模式図
【図１４】本発明の第５実施形態に係る入力装置において実行される入力処理例を示すフローチャート
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態に係る入力装置について、図面を参照しながら詳細に説明する。
＜第１実施形態＞
【００２７】
図１は、本発明の第１実施形態に係る入力装置１の構成を示すブロック図である。第１実施形態に係る入力装置１は、入力機能に加えて、画像をスクリーン２に背面側から投射する機能も備える。なお、スクリーン２は、透過型のスクリーンであり、例えばアクリル、ガラス等の半透明な部材によって構成される。
【００２８】
図１に示すように、入力装置１は、光源ユニット１０を備える。光源ユニット１０には、赤色レーザー光源１１、緑色レーザー光源１２、及び、青色レーザー光源１３の３つの光源が含まれる。また、光源ユニット１０には、赤色レーザー光を透過する共に緑色レーザー光を反射する第１のビームスプリッター１４、及び、赤色レーザー光及び緑色レーザー光を透過すると共に青色レーザー光を反射する第２のビームスプリッター１５が含まれる。光源ユニット１０には、コリメートレンズ１６及び走査ミラー１７も含まれる。
【００２９】
走査ミラー１７は、例えば共振型のＭＥＭＳ（Micro Electro Mechanical System）ミラーによって構成できる。走査ミラー１７は、水平方向（Ｘ方向）と垂直方向（Ｙ方向）との二軸方向に駆動可能に設けられ、レーザー光を２次元的に走査する。走査ミラー１７は、レーザー光を画像のフレーム単位で走査する。走査ミラー１７は、１フレームの間に、画像の画素数に応じて走査位置を変更する。なお、走査ミラー１７は、本発明の光走査部の一例である。
【００３０】
メイン制御部２０は、入力装置１を構成する各部を制御する。記憶部２１は、入力装置１によって実行される各種のプログラムや、プログラムを実行する上で必要になる各種のデータを記憶している。なお、メイン制御部２０は、本発明の処理部の一例である。
【００３１】
画像処理部２２は、外部から入力される画像信号に基づいて画像のスクリーン２への投射を制御する。具体的には、画像処理部２２は、外部から入力される画像信号に基づいて、ミラー制御部２３を介して走査ミラー１７の駆動を制御する。また、画像処理部２２は、外部から入力される画像信号に基づいて、光源制御部２４を介して３つの光源の駆動を制御する。これにより、スクリーン２には、画像信号に基づいた画像が表示される。スクリーン２には、例えば、入力操作を行うための入力キー群の画像等が表示される。
【００３２】
なお、ミラー制御部２３は、画像処理部２２による制御に基づいて、走査ミラー１７を駆動させるミラードライバー２５を制御する。また、光源制御部２４は、画像処理部２２による制御に基づいて、光源１１〜１３を駆動させるＬＤ（Laser Diode）ドライバー２６を制御する。光源制御部２４は、走査ミラー１７が走査されるタイミングに合わせて画像の各画素に対応する色のレーザー光が出射されるようにＬＤドライバー２６を制御する。
【００３３】
入力装置１は、光源ユニット１０から出射されたレーザー光が指示体３によって反射されて得られる反射光を受光する受光部２７を備えている。指示体３の代表例としては人の手や指が挙げられる。受光部２７で検出された情報は、メイン制御部２０に出力される。メイン制御部２０は、受光部２７で反射光を受光した時間情報とレーザー光の走査軌跡とに基づいて、指示体３のＸＹ方向の位置（画像面と平行な面内の位置）を取得する。また、メイン制御部２０は、光源ユニット１０から出射した光の強度と、受光部２７で受光した光の強度とに基づいて、指示体３のＺ方向の位置（画像面と垂直な方向の位置）を取得する。メイン制御部２０は、特定された指示体３の位置に基づいて使用者の入力操作内容を判定する。
【００３４】
なお、光源ユニット１０（走査ミラー１７を含む）、及び、受光部２７は、本発明の検出部を構成する。また、本実施形態では、受光部２７は１つの受光素子によって構成されているが、場合によっては、受光部２７は複数の受光素子で構成されてもよい。
【００３５】
図２及び図３は、入力装置１に対して手（指示体３の一例）を使って入力操作を行う場合の手の姿勢について説明するための模式図である。入力装置１は、画像面Ｓの手前側（使用者を基準とした表現）に近接して設けられる近接操作層３０に進入した手の位置を検出することによって入力操作内容を判定する。なお、光源ユニット１０及び受光部２７は、画像面Ｓを挟んで近接操作層３０とは反対側に配置されている。
【００３６】
例えば、図２に示すように、１本の指が画像面Ｓ側に突き立てられた手３がそのまま画像面Ｓに近づけられると、１本の指によって画像の特定の１つの領域が押されたと判定され、当該判定に対応したインベントが実行される。また、図３に示すように、複数の指が画像面Ｓに向けて突出した状態の手３がそのまま画像面Ｓに近づけられると、複数の指によって画像の特定の複数の領域が押されたと判定され、当該判定に対応したインベントが実行される。なお、図３（ａ）と図３（ｂ）とでは、画像面Ｓ側に突出する指の本数が異なっている。
【００３７】
以上のように入力操作内容を判定する場合、例えば、本来は入力操作を行うことを意図していない指からの反射等が原因となって、操作内容を誤判定する可能性がある。入力装置１においては、このような誤判定を起さないための工夫が施されている。以下、この工夫について説明する。
【００３８】
図２及び図３に示すように、入力装置１においては、画像面Ｓから見て、近接操作層３０よりも手前側（使用者を基準とした表現）の離れた位置に姿勢検出層３１を設けている。姿勢検出層３１は、近接操作層３０に接近する手３の操作姿勢を予め判定し、当該操作姿勢から近接操作層３０における入力操作内容をある程度予測できるように設けられている。なお、近接操作層３０は、本発明の第２の検出層の一例である。また、姿勢検出層３１は、本発明の第１の検出層の一例である。
【００３９】
図４は、姿勢検出層３１における手３の状態の検出結果例を示す画像である。図４においては、２本の指を突出させて画像面Ｓに手３を近づけた場合の結果が示されている。図４に示す結果からわかるように、手３からの反射光の強度分布によって、手３の奥行方向（Ｚ方向）を含めて、手３の姿勢（形状）を推定することが可能である。このために、入力装置１では、受光部２７で検出される光の強度分布を利用して姿勢判定を行う構成になっている。
【００４０】
なお、手３が姿勢検出層３１に近づいた時点で、光源ユニット１０におけるレーザー光の発光強度を高めても良い。このようにすれば、手３からの反射光の強度が高まり、手３の奥行を含めた操作姿勢の判定が行い易くなる。
【００４１】
図５は、本発明の第１実施形態に係る入力装置１における入力操作内容の判定手順例を説明するためのフローチャートである。まず、メイン制御部２０は、姿勢検出層３１に手（指示体）３が進入したか否かを確認する（ステップＳ１）。メイン制御部２０は、手３が姿勢検出層３１に進入するまで当該監視を続ける。なお、手３が姿勢検出層３１に進入したか否かは、例えば、受光部２７で検出される手３からの反射光の強度（光強度）に基づいて判断できる。
【００４２】
姿勢検出層３１に手３が進入した判定すると（ステップＳ１でＹｅｓ）、メイン制御部２０は、姿勢検出層３１に進入した手３の姿勢判定を行う（ステップＳ２）。メイン制御部２０は、姿勢判定した結果、手３がスクリーン２に向けて指を１本突出させた状態になっているか否かを確認する（ステップＳ３）。手３が指を１本突出させた状態である場合には（ステップＳ３でＹｅｓ）、メイン制御部２０は操作判定処理Ａを行う。手３が指を１本突出させた状態になっていない場合には（ステップＳ３でＮｏ）、メイン制御部２０は操作判定処理Ｂを行う。
【００４３】
図６は、本発明の第１実施形態に係る入力装置１において実行される操作判定処理Ａの詳細を示すフローチャートである。手３がスクリーン２に向けて指を１本突出させた姿勢であると判断したメイン制御部２０は、姿勢検出層３１で検出した手３の指（突出した指）が近接操作層３０に進入したか否かを確認する（ステップＡ１）。近接操作層３０に進入したか否かは、姿勢検出層３１の場合と同様に、例えば受光部２７で検出される反射光の強度に基づいて判断できる。
【００４４】
特定の手３の指が近接操作層３０に進入したと判定すると（ステップＡ１でＹｅｓ）、手３の指で指示される位置（ＸＹ座標）を算出し、当該座標位置に対応したイベントを実行させる（ステップＡ２）。なお、本実施形態においては、イベントを実行させるにあたって、使用者に対して操作を受け付けたことを視覚的に通知（イベント通知）する。通知方法は、特に限定されるものではなく、使用者に認識され易いように適宜決定されればよい。例えば、入力操作が行われたと判定される仮想キー（スクリーン２に画像として表示される）の色を変更したり、画像の縁や画像全体の色を変更したりしてもよい。また、視覚的通知以外に、音による通知が利用されてもよい。
【００４５】
イベントを実行させる処理を終えた後は、メイン制御部２０は手３の指が近接操作層３０から退出したか否かを確認する（ステップＡ３）。近接操作層３０から手３の指が退出していないと判定される場合には（ステップＡ３でＮｏ）、ステップＡ２に戻り、再度指の座標位置を算出し、必要に応じてイベント実行に関わる処理を行う。
【００４６】
一方、手３の指が近接操作層３０から退出したと判定される場合には（ステップＡ３でＹｅｓ）、メイン制御部２０は、手３が姿勢検出層３１からも退出したか否かを確認する（ステップＡ４）。手３が姿勢検出層３１から退出したと判定される場合には（ステップＡ４でＹｅｓ）、操作判定処理Ａは終了する。手３が姿勢検出層３１から退出していないと判定される場合には（ステップＡ４でＮｏ）、ステップＳ１に戻って、引き続き、入力操作に関する判定処理を行う。
【００４７】
なお、ステップＡ１で特定の手３の指が近接操作層３０に進入していないと判定すると（ステップＡ１でＮｏ）、メイン制御部２０はステップＡ４の確認を行い、当該確認に応じた処理を行う。
【００４８】
図７は、本発明の第１実施形態に係る入力装置１において実行される操作判定処理Ｂの詳細を示すフローチャートである。手３がスクリーン２に向けて指を１本突出させた状態になっていないと判断したメイン制御部２０は、姿勢検出層３１で検出された操作姿勢に応じて手３（指）が近接操作層３０に進入したか否かを確認する（ステップＢ１）。近接操作層３０に進入したか否かは、例えば受光部２７で検出される反射光の強度に基づいて判断できる。
【００４９】
予想された操作姿勢で手３が近接操作層３０に進入したと判定すると（ステップＢ１でＹｅｓ）、メイン制御部２０は、スクリーン２（画像面Ｓ）に対して手３（指）の押し込みが有ったか否かを確認する（ステップＢ２）。手３の押し込みが有ったか否かは、例えば、近接操作層３０における手３の状態を時系列で検出することで判断できる。押し込みがあった場合には、例えば指の腹が潰れる等の変化がある。一方、押し込みが無い場合には、指の腹の潰れ等は発生しない。
【００５０】
手３の押し込みが有ったと判定した場合には（ステップＢ２でＹｅｓ）、メイン制御部２０は、手３（姿勢検出層３１で検出された姿勢から予想される手の指等）で指示される位置（ＸＹ座標）を算出し、当該座標位置に対応したイベントを実行させる（ステップＢ３）。なお、本実施形態においては、イベントを実行させるにあたってイベントの通知も行う。
【００５１】
一方、手３の押し込みが無かったと判定した場合には（ステップＢ２でＮｏ）、座標の算出を行わず、イベントを実行させない。この場合には、後述のステップＢ４に進む。
【００５２】
イベントを実行させる処理を終えた後、或いは、ステップ２で押し込みが無かったと判定された場合は、メイン制御部２０は手３が近接操作層３０から退出したか否かを確認する（ステップＢ４）。近接操作層３０から手３が退出していないと判定される場合には（ステップＢ４でＮｏ）、ステップＢ２に戻り、再度、手３による押し込みの有無を確認する。
【００５３】
一方、手３が近接操作層３０から退出したと判定される場合には（ステップＢ４でＹｅｓ）、メイン制御部２０は、手３が姿勢検出層３１からも退出したか否かを確認する（ステップＢ５）。手３が姿勢検出層３１から退出したと判定される場合には（ステップＢ５でＹｅｓ）、操作判定処理Ｂは終了する。手３が姿勢検出層３１から退出していないと判定される場合には（ステップＢ５でＮｏ）、ステップＢ１に戻って、引き続き、入力操作に関する判定処理を行う。
【００５４】
なお、ステップＢ１で、予想された姿勢で手３が近接操作層３０に進入していないと判定すると（ステップＢ１でＮｏ）、メイン制御部２０はステップＢ５の確認を行い、当該確認に応じた処理を行う。
【００５５】
以上に示した第１実施形態の構成によれば、近接操作層３０に指示体３が進入する前に指示体３の操作姿勢を判定し、判定した操作姿勢を加味して近接操作層３０における入力操作内容の判定を行う。このために、入力操作内容を誤判定する可能性を低減可能である。また、第１実施形態の構成では、特に押し込みの有無を検出する必要がない場合には、その検出処理を行わない。このために、入力操作に対する判定処理を極力単純化して高速な応答が期待できる。
＜第２実施形態＞
【００５６】
次に、第２実施形態の入力装置１について説明する。第２実施形態の入力装置１の構成は、第１実施形態の構成とほぼ同様である。ただし、メイン制御部２０が、手３の操作姿勢（形状）を推定する手法が異なる。以下、この異なる点に絞って説明を行う。
【００５７】
図８は、第２実施形態の入力装置１において、手３の姿勢を判定する方法について説明するための模式図である。図８において、上段は、入力操作のために、画像面Ｓ（スクリーン２）に向けて、１本の指が突き立てられた手３が移動する場合の状態を示している。また、下段は、入力操作のために、画像面Ｓに向けて、２本の指が突出した状態の手３が移動する場合の状態を示している。  図８においては、上下段にそれぞれ、３つの状態が示されているが、これは、姿勢検出層３１で検出される手３の状態の時間的な変化を示している。
【００５８】
図８の上段に示すように、１本の指が突き立てられた手３が画像面Ｓに向けて移動する場合、時刻ｔ１（例えば姿勢検出層３１で最初に手３が検出される時刻が該当する）、時刻ｔ２、時刻ｔ３と時間が経過しても、１つの点が検出された状態が継続する。また、図８の下段に示すように、２本の指が突出した手３が画像面Ｓに向けて移動する場合、時刻ｔ１から時刻ｔ３へと時間が経過する中で、検出される点の数が１つから２つへと変化する。この例からわかるように、姿勢検出層３１を手３が通過する際の反射光を受光部２７にて時系列的に収集すれば、手３の姿勢（形状）を推定できる。
【００５９】
なお、本実施形態では、メイン制御部２０は、姿勢検出層３１における信号（受光部２７から得られる信号）について、その信号レベルが所定の閾値を超えるか否かで２値化する処理を行う。また、上記反射光を時系列的に収集する際の時間間隔は特に限定されるものではなく、適宜決定すればよい。
【００６０】
以上に示した第２実施形態の構成でも、近接操作層３０に指示体３が進入する前に指示体３の操作姿勢を判定することが可能である。第２実施形態の入力装置１は、第１実施形態と同様の効果を得られる。
＜第３実施形態＞
【００６１】
次に、第３実施形態の入力装置１について説明する。第３実施形態の入力装置１の構成は、第１実施形態の構成と概ね同様である。ただし、第３実施形態においては、手３（指）を画像面Ｓ（スクリーン２）に接触させて行う入力操作（接触操作）に加えて、手３を利用したジェスチャーによっても入力操作（非接触操作）が行える点が第１実施形態の構成とは異なる。以下、この異なる点を中心に説明する。
【００６２】
図９は、本発明の第３実施形態に係る入力装置１において、手３を使ったジェスチャーで入力操作を行う場合の手の姿勢について説明する模式図である。図９に示すように、ジェスチャーによって入力操作を行う場合には、手３は、指が画像面Ｓに向けて突出しておらず、画像面Ｓに対して手全体が略平行となる姿勢で画像面Ｓに近づけられる。メイン制御部２０は、画像面Ｓと姿勢検出層３１との間における手３の動きを受光部２７から得られる情報を利用して判定可能に設けられている。なお、図９に示す手３の姿勢は、本発明の特定の姿勢の一例である。
【００６３】
図１０は、本発明の第３実施形態に係る入力装置１における入力操作内容の判定手順例を説明するためのフローチャートである。まず、メイン制御部２０は、姿勢検出層３１に手３が進入したか否かを確認する（ステップＳ１）。メイン制御部２０は、手３が姿勢検出層３１に進入するまで当該監視を続ける。なお、手３が姿勢検出層３１に進入したか否かは、例えば、受光部２７で検出される手３からの反射光の強度に基づいて判断できる。
【００６４】
姿勢検出層３１に手３が進入した判定すると（ステップＳ１でＹｅｓ）、メイン制御部２０は、姿勢検出層３１に進入した手３の姿勢判定を行う（ステップＳ２）。メイン制御部２０は、姿勢判定した結果、手３がスクリーン２に向けて指を１本突出させた状態となっているか否かを確認する（ステップＳ３）。手３が指を１本突出させた状態である場合には（ステップＳ３でＹｅｓ）、メイン制御部２０は操作判定処理Ａを行う。
【００６５】
一方、手３が指を１本突出させた状態になっていない場合には（ステップＳ３でＮｏ）、メイン制御部２０は、手３が指を複数本突出させた状態になっているか否かを確認する（ステップＳ４）。手３が指を複数本突出させた状態である場合には（ステップＳ４でＹｅｓ）、メイン制御部２０は操作判定処理Ｂを行う。手３が指を突出させた状態になっていない場合には（ステップＳ４でＮｏ）、操作判定処理Ｃを行う。
【００６６】
操作判定処理Ａ及びＢは、第１実施形態で説明した処理と同様の処理である。このため、これらの処理の説明は省略し、以下、操作判定処理Ｃについてのみ説明する。
【００６７】
図１１は、本発明の第３実施形態に係る入力装置１において実行される操作判定処理Ｃの詳細を示すフローチャートである。手３が画像面Ｓに対して指を突出させていないと判断したメイン制御部２０は、手３の位置（手座標；ＸＹＺ座標）を算出する（ステップＣ１）。手座標は、手３からの反射光を受光する受光部２７から得られる情報によって算出できる。手座標は、手３の特定の一箇所の座標であってもよいし、手３の特定の複数箇所の座標であってもよい。
【００６８】
次に、メイン制御部２０は、手３の位置がジェスチャー検出領域内にあるか否かを確認する（ステップＣ２）。なお、ジェスチャー検出領域とは、画像面Ｓと姿勢検出層３１との間の領域を指している。ジェスチャー検出領域には、姿勢検出層３１が含まれてもよい。
【００６９】
手３がジェスチャー検出領域内にある場合には（ステップＣ２でＹｅｓ）、メイン制御部２０は、ステップＣ１で算出した手座標を基点座標として記憶部２１に記憶する（ステップＣ３）。その後、メイン制御部２０は、再度、手座標を算出する（ステップＣ４）。メイン制御部２０は、先に記憶した基点座標と、その後算出した手座標とに基づいて、手３の移動速度を算出し、当該移動速度が予め定めた基準値を超えるか否かを判断する（ステップＣ５）。
【００７０】
移動速度が基準値以下である場合には（ステップＣ５でＮｏ）、メイン制御部２０は、手３が殆ど動いておらず、ジェスチャーが未だ開始されていないと判断して、ステップＣ２に戻る。一方、移動速度が基準値を超える場合には（ステップＣ５でＹｅｓ）、ジェスチャーが開始されているものと判断し、再度、手座標を算出する（ステップＣ６）。この後、メイン制御部２０は、手３の位置がジェスチャー検出領域外であるか否かを確認する（ステップＣ７）。
【００７１】
手３の位置がジェスチャー検出領域外である場合には（ステップＣ７でＹｅｓ）、ジェスチャーが既に終了しているものと判断される。このために、メイン制御部２０は、受光部２７から得られる情報を利用して、手３のこれまでの動きを検出してイベントの実行と通知とを行う（ステップＣ８）。そして、メイン制御部２０は、操作判断処理Ｃを終了する。一方、手３の位置がジェスチャー検出領域内である場合には（ステップＣ７でＮｏ）、先に取得した手座標（ここでは、ステップＣ４、Ｃ６が該当）から移動速度を算出し、当該移動速度が予め定めた基準値以下であるか否かを判断する（ステップＣ９）。
【００７２】
移動速度が基準値以下である場合には（ステップＣ９でＹｅｓ）、メイン制御部２０は、手３の動きがほぼ止まっており、ジェスチャーが終了したものと判断する。そして、メイン制御部２０は、受光部２７から得られる情報を利用して、手３のこれまでの動きを検出してイベントの実行と通知とを行う（ステップＣ１０）。この後、メイン制御部２０は、ステップＣ１に戻って、それ以降の処理を繰り返す。一方、移動速度が基準値を超える場合には（ステップＣ９でＮｏ）、ジェスチャーが未だ終了していないものと判断し、ステップＣ６に戻り、それ以降の処理を繰り返す。
【００７３】
以上に示した第３実施形態の構成によれば、第１実施形態と同様の効果が期待できる。更に、第３実施形態の構成によれば、画像面Ｓの特定の領域を指示体で指示して入力を行う第１の入力操作と、画像面Ｓの手前でジェスチャーを行って入力を行う第２の入力操作とを併用でき、多彩な入力操作を実現できる。そして、第３実施形態の構成では、先に検出された操作姿勢を考慮して入力操作内容の判定が行われるために、前述の第１の入力操作と第２の入力操作とを混同して誤判定を行う可能性を抑制できる。
＜第４実施形態＞
【００７４】
次に、第４実施形態の入力装置１について説明する。第４実施形態の入力装置１も、第３実施形態の構成と同様に、手３を画像面Ｓに接触させて行う入力操作（接触操作）に加えて、手３を利用したジェスチャーによっても入力操作（非接触操作）が行える。ただし、ジェスチャー入力が行われると予測された場合の処理である操作判定処理Ｃの内容が異なる。以下、この異なる部分に絞って説明を行う。
【００７５】
図１２は、本発明の第４実施形態に係る入力装置１において実行される操作判定処理Ｃの詳細を示すフローチャートである。手３が画像面Ｓに対して指を突出させていないと判断したメイン制御部２０は、手座標（ＸＹＺ座標）を算出する（ステップＣ１）。次に、メイン制御部２０は、手３の位置が近接操作層３０内にあるか否かを確認する（ステップＣ２）。
【００７６】
手３の位置が近接操作層３０内であると判定された場合には（ステップＣ２でＹｅｓ）、メイン制御部２０は、ジェスチャーが終了したものと判断する。そして、メイン制御部２０は、受光部２７から得られる情報を利用して、手３のこれまでの動きを検出してイベントの実行と通知とを行う（ステップＣ３）。一方、手３の位置が近接操作層３０内にないと判定された場合には（ステップＣ２でＮｏ）、メイン制御部２０は、手３の位置がジェスチャー検出領域内にあるか否かを確認する（ステップＣ４）。ジェスチャー検出領域は、第３実施形態で説明した領域と同様である。
【００７７】
手３の位置がジェスチャー検出領域内である場合には（ステップＣ４でＹｅｓ）、メイン制御部２０は、未だジェスチャーが終了していないと判定し、受光部２７から得られる情報を利用して、手３のこれまでの動きを検出する（ステップＣ５）。その後、メイン制御部２０は、ステップＣ１に戻って、それ以降の手順を繰り返す。一方、手３の位置がジェスチャー検出領域外である場合には（ステップＣ４でＮｏ）、メイン制御部２０は、手３が近接操作層３０に達成しなかったために、ジェスチャー入力は行われなかったと判定し、操作判定処理Ｃを終了する。
【００７８】
以上に示した第４実施形態でも、第３実施形態と同様の効果を得られる。また、第４実施形態では、手３が近接操作層３０に進入した場合に、ジェスチャーによるイベントが発生する構成としているために、ジェスチャーの終了判定が行い易い。
＜第５実施形態＞
【００７９】
次に、第５実施形態の入力装置１について説明する。第５実施形態の入力装置１の装置構成は、第１実施形態の構成と同様である。ただし、第５実施形態の入力装置１は、第１実施形態（第２〜第４実施形態と読み替えても良い）とは、以下の点で異なる。第１実施形態等では、入力操作内容を判定する処理を行う前の予備判定処理として、指示体３（代表例は手）の操作姿勢を判定する処理を行う構成とした。第５実施形態では、予備判定処理として、操作姿勢を判定する処理を行う代わりに、入力が行われる操作領域を判定する処理を行う構成になっている。以下、この相違点を中心に説明する。
【００８０】
図１３は、本発明の第５実施形態に係る入力装置１における操作領域について説明するための模式図である。図１３に示すように、本実施形態の入力装置１においては、画像面Ｓの近傍に第１の領域Ｒ１が設定されている。また、本実施形態の入力装置１においては、第１の領域Ｒ１よりも画像面Ｓから離れた位置に、第１の領域Ｒ１よりも領域幅が大きな第２の領域Ｒ２が設定されている。なお、ここで言う領域幅は、画像面Ｓと直交する方向の領域の長さのことを指している。
【００８１】
予備判定処理によって、指示体３（代表例は手）が第１の領域Ｒ１に存在している判定された場合、入力装置１は、指示体３によるポインティング操作入力が行われると判断して入力操作内容の判定を行う。また、予備判定処理によって、指示体３が第２の領域Ｒ２に存在していると判定された場合、入力装置１は、指示体３によるジェスチャー入力が行われると判断して入力操作内容の判定を行う。
【００８２】
図１４は、本発明の第５実施形態に係る入力装置１において実行される入力処理例を示すフローチャートである。メイン制御部２０は、光源ユニット１０と受光部２７とを含む検出部を用いて判定エリアにおける指示体情報の監視を開始する（ステップＮ１）。なお、判定エリアは、画像面Ｓから離れた適当な位置に設定される。また、判定エリアは、画像面Ｓを基準として、光源ユニット１０及び受光部２７が設けられる側と反対側に設定される。また、判定エリアは、本発明の予備判定処理に使用される検出層の一例である。
【００８３】
メイン制御部２０は、受光部２７によって検出された結果に基づいて指示体３が第１の領域Ｒ１にあるとみなせるか否かを確認する（ステップＮ２）。本例では、メイン制御部２０は、受光部２７による検出結果に基づいて判定エリアにおける輝度算出を行う。判定エリアにおいて、第１の閾値Ｌより大きな輝度を有する点（ピクセル）が５点以上存在する場合、メイン制御部２０は、指示体３が第１の領域Ｒ１に存在すると判定する（ステップＮ２でＹｅｓ）。
【００８４】
メイン制御部２０は、指示体３が第１の領域Ｒ１に存在すると判定すると、ポインティング操作入力が行われると判断し（ステップＮ３）、入力操作内容の判定処理を行う（ステップＮ４）。入力操作内容の判定処理の具体例としては、指示体３の位置（ＸＹ座標）の算出、算出された座標位置に応じたイベント実行が挙げられる。装置の電源を切る指令がなされていない場合等、使用者による入力操作が今後も行われると判断される場合は（ステップＮ５でＮｏ）、メイン制御部２０は、ステップＮ２に戻って予備判定処理を行う。入力操作が行われないと判断される場合は（ステップＮ５でＹｅｓ）、メイン制御部２０は入力処理を終了する。
【００８５】
一方、メイン制御部２０は、指示体３が第１の領域Ｒ１に存在しないと判定すると（ステップＮ２でＮｏ）、受光部２７によって検出された結果に基づいて指示体３が第２の領域Ｒ２にあるとみなせるか否かを確認する（ステップＮ６）。本例では、判定エリアにおいて、全点の輝度が第２の閾値Ｍより小さく、且つ、第３の閾値Ｎより大きな輝度を有する点が５点以上存在する場合、メイン制御部２０は、指示体３が第２の領域Ｒ２に存在すると判定する（ステップＮ６でＹｅｓ）。なお、第１の閾値Ｌ＞第２の閾値Ｍ＞第３の閾値Ｎである。
【００８６】
メイン制御部２０は、指示体３が第２の領域Ｒ２に存在すると判定すると、ジェスチャー入力が行われると判断し（ステップＮ７）、入力操作内容の判定処理を行う（ステップＮ８）。入力操作内容の判定処理の具体例としては、例えば公知のオプティカルフロー解析による動き認識、形状認識（例えば指が何本か等）、当該動き認識及び／又は形状認識に応じたイベント実行が挙げられる。
【００８７】
ステップＮ８後の処理は、上述のステップＮ４後の処理と同様である。また、メイン制御部２０は、指示体３が第２の領域Ｒ２に存在しないと判定すると（ステップＮ６でＮｏ）、メイン制御部２０はステップＮ５の処理を行う。なお、ステップＮ６でＹｅｓである場合に、予備判定の正確性を向上すべく、指示体３が第１の領域Ｒ１に存在すると見なせるか否かの再確認処理を行うようにしてもよい。
【００８８】
以上に示した第５実施形態の構成によれば、指示体３による入力操作内容の判定を行う前に、予備判定処理によって指示体３の操作領域に関する判定を行う構成になっている。このために、ポインティング操作入力とジェスチャー入力とを混同する可能性を低くでき、入力操作内容を誤判定する可能性を低減できる。
【００８９】
なお、本実施形態では、操作領域の判定を行うために輝度を用いたが、これは一例にすぎず、判定の指標は適宜変更して構わない。また、輝度を用いる場合の上述の判定基準も例示にすぎず、適宜変更して構わない。また、本実施形態の予備判定処理の中に、先に述べた指示体３の操作姿勢を判定する処理が追加されても構わない。この場合、例えば、姿勢検出層３２は、判定エリアよりも画像面Ｓから離れた位置に設定する等としてもよい。
＜その他＞
【００９０】
以上に示した実施形態は本発明の例示であり、本発明の適用範囲は、以上に示した実施形態の構成に限定されるものではない。本発明の技術思想を超えない範囲で、以上の実施形態は適宜変更されてよいのは勿論である。また、各実施形態は、可能な範囲で適宜組み合わされてよい。
【００９１】
例えば、以上に示した実施形態においては、指示体３を検出するための光として、スクリーン２に画像を投射するために用いられる光源１１〜１３を利用する構成とした。しかし、これは一例にすぎない。すなわち、入力装置１内に、指示体３を検出するための専用光源（例えば赤外線を出射するレーザー光源等）が別途配置されても構わない。この場合、専用光源から出射される光も走査ミラー１７で操作可能に設けるのが好ましい。
【００９２】
また、以上に示した実施形態においては、入力装置１が、スクリーン２に画像を投射する機能を有する構成としたが、これも一例にすぎない。すなわち、入力装置１は、画像を投射する機能を備えなくてもよい。この場合には、入力装置１とは別に、画像表示装置を準備する必要がある。
【００９３】
また、以上に示した実施形態においては、画像面Ｓに近づく指示体３の位置及び状態を検出可能とする検出部が、光源１１〜１３と、光走査部１７と、受光部２７とを備える構成とした。しかし、これは一例にすぎない。例えば、検出部は、撮像素子によって構成されても構わない。
【００９４】
その他、本発明は、空中画像を利用して入力操作を行う入力装置に適用されても構わない。この場合においても、画像面Ｓの特定の領域を指示体で指示して入力を行う第１の入力操作と、画像面Ｓの手前でジェスチャーを行って入力を行う第２の入力操作とが混同される可能性を抑制できる。このために、多彩な入力操作を正確に検出できる使い勝手の良い入力装置を提供できる。
【符号の説明】
【００９５】
１  入力装置
３  手（指示体）
１０  光源ユニット
１１  赤色レーザー光源（検出部の一部）
１２  緑色レーザー光源（検出部の一部）
１３  青色レーザー光源（検出部の一部）
１７  走査ミラー（走査部、検出部の一部）
２７  受光部（検出部の一部）
２０  メイン制御部（処理部）
３０  近接操作層（第２の検出層）
３１  姿勢検出層（第１の検出層）
Ｒ１  第１の領域（操作領域）
Ｒ２  第２の領域（操作領域）
Ｓ  画像面
【図１】
2016021229.tif 000003
【図２】
2016021229.tif 000004
【図５】
2016021229.tif 000005
【図６】
2016021229.tif 000006
【図７】
2016021229.tif 000007
【図８】
2016021229.tif 000008
【図９】
2016021229.tif 000009
【図１０】
2016021229.tif 000010
【図１１】
2016021229.tif 000011
【図１２】
2016021229.tif 000012
【図１３】
2016021229.tif 000013
【図１４】
2016021229.tif 000014
【図３】
2016021229.tif 000015
【図４】
2016021229.tif 000016