(57)【要約】【課題】容易に正確な入力を行わせる。【解決手段】非接触入力装置は、被対象物の実像を空中に結像させた空中像１３を表示する空中像表示部（１６）と、空中像の像面に対応した検出面２０ａで指示物体Ｃ１を検出し当該検出面上での指示物体のＸＹ位置座標を非接触で検出する非接触位置検出部（２０）と、前記検出面に対し略平行かつ奥側に配置された検出面２１ａで指示物体Ｃ２を検出する非接触物体検出部（２１）と、制御部（１５）とを備える。制御部は、非接触位置検出部が検出している指示物体の位置座標をポインタＰ等により空中像に表示する指示位置表示制御と、指示物体による空中像に対応した指示位置の入力処理とを行う。さらに制御部は、非接触物体検出部により指示物体を検出した時を入力時として、当該入力時と非接触位置検出部の検出した位置座標とに基づき指示位置を距離補正、時間補正等で補正して入力処理を行う。【選択図】図３
2019109637.tif 000002
【特許請求の範囲】
【請求項１】
被対象物の実像を空中に結像させた空中像を表示する空中像表示部と、
前記空中像の像面に対応した検出面で指示物体を検出し当該検出面上での前記指示物体の位置座標を非接触で検出する非接触位置検出部と、
前記検出面に対し略平行かつ奥側に配置された検出面で指示物体を検出する非接触物体検出部と、
制御部とを備え、
前記制御部は、
前記非接触位置検出部が検出している前記指示物体の位置座標を前記空中像に表示する指示位置表示制御と、
前記指示物体による前記空中像に対応した指示位置の入力処理とを行い、
前記制御部は、前記非接触物体検出部により前記指示物体を検出した時を入力時として、当該入力時と前記非接触位置検出部の検出した位置座標とに基づき指示位置を補正して前記入力処理を行う非接触入力装置。
【請求項２】
前記制御部は、前記入力時に前記非接触位置検出部の検出した位置座標に対して所定距離ずらした座標を指示位置として前記入力処理を行う請求項１に記載の非接触入力装置。
【請求項３】
前記所定距離が固定値とされた請求項２に記載の非接触入力装置。
【請求項４】
前記所定距離が可変値とされ、
前記制御部は、前記可変値を設定するキャリブレーション処理が実行可能にされた請求項２に記載の非接触入力装置。
【請求項５】
前記制御部は、前記入力時から所定時間遡った時点に前記非接触位置検出部の検出した位置座標を指示位置として前記入力処理を行う請求項１に記載の非接触入力装置。
【請求項６】
前記所定時間が固定値とされた請求項５に記載の非接触入力装置。
【請求項７】
前記所定時間が可変値とされ、
前記制御部は、前記可変値を設定するキャリブレーション処理が実行可能にされた請求項５に記載の非接触入力装置。
【請求項８】
前記制御部は、前記指示位置表示制御と別に、前記非接触位置検出部が前記指示物体を検出した時に、当該検出したことを報知する報知制御を行う請求項１から請求項７のうちいずれか一に記載の非接触入力装置。
【請求項９】
前記制御部は、スピーカー又は／及び前記空中像表示部を用いて前記報知制御を行う請求項８に記載の非接触入力装置。
【請求項１０】
前記非接触位置検出部の検出面と、前記非接触物体検出部の検出面とが、１０ｍｍ以上５０ｍｍ以下の範囲で離れている請求項１から請求項９のうちいずれか一に記載の非接触入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非接触入力装置に関する。
【背景技術】
【０００２】
近年、空中タッチパネルとも呼ばれる、特殊な光学像結像部材（光学プレート）を使用して被対象物（ディスプレイ）の実像を空中に結像させ、その実像を観察者が観察しながら実像近傍で手指等の指示物体によって非接触に入力することを可能にした非接触入力装置が提案されている（特許文献１，２）。
このような非接触入力装置を使用することで、ディスプレイ等の表示面を直接指示物体で触れることなく入力することができるので、例えば食品加工現場や医療の現場などで、衛生的な情報入力が可能となる。
なお、特許文献２では、３次元で指示物体の位置を検出しているが、一般的に３次元で位置を特定するセンサ（ＴＯＦ方式等）は高価であることや、検出精度が低く、検出アルゴリズムにコストがかかり、制御部に求められるスペックも高いものが要求される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１２５７６５号公報
【特許文献２】特開２０１６−９５６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、以上の従来技術にあっても次のような課題がある。
空中像に指示物体を近づけても観察者は空中像のどの位置に指示物体が近づいているのか分からなくなることがある。
空中像は指示物体の上に回り込まず、観察者は指示物体を空中像に押し込むように近づけていったとき、いつまでたっても空中像が指示物体の下にあるように見えてしまう。これにより空中像の結像位置が指示物体よりも上にある状況でも、観察者にとっては空中像が指示物体よりも下にあるように見えてしまい、この不整合によって観察者は距離感を見誤ってしまい、容易に正確な入力を行うことができない。
特許文献１では、センサを２つ使用することで指示物体の位置を補正し、入力位置の検出精度を向上させようとしている。しかし観察者が空中像に対する指示物体の位置を見誤ることは解決できない。また、特許文献１では、指示物体の傾きに応じて補正値を変化させるため、傾きが無い場合に対応できない、傾きが同じでも指示物体の挙動がその都度異なることに対応できないなどの課題がある。ユーザーに対し、指示物体が同じ傾きなら全く同じ挙動で入力操作するように強制することは不可能であり、容易に正確な入力を行わせることができない。
【０００５】
本発明は以上の従来技術における問題に鑑みてなされたものであって、空中像を物体で指示させることで情報を入力する非接触入力装置において、容易に正確な入力を行わせることを課題とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するための請求項１記載の発明は、被対象物の実像を空中に結像させた空中像を表示する空中像表示部と、
前記空中像の像面に対応した検出面で指示物体を検出し当該検出面上での前記指示物体の位置座標を非接触で検出する非接触位置検出部と、
前記検出面に対し略平行かつ奥側に配置された検出面で指示物体を検出する非接触物体検出部と、
制御部とを備え、
前記制御部は、
前記非接触位置検出部が検出している前記指示物体の位置座標を前記空中像に表示する指示位置表示制御と、
前記指示物体による前記空中像に対応した指示位置の入力処理とを行い、
前記制御部は、前記非接触物体検出部により前記指示物体を検出した時を入力時として、当該入力時と前記非接触位置検出部の検出した位置座標とに基づき指示位置を補正して前記入力処理を行う非接触入力装置である。
【０００７】
請求項２記載の発明は、前記制御部は、前記入力時に前記非接触位置検出部の検出した位置座標に対して所定距離ずらした座標を指示位置として前記入力処理を行う請求項１に記載の非接触入力装置である。
【０００８】
請求項３記載の発明は、前記所定距離が固定値とされた請求項２に記載の非接触入力装置である。
【０００９】
請求項４記載の発明は、前記所定距離が可変値とされ、
前記制御部は、前記可変値を設定するキャリブレーション処理が実行可能にされた請求項２に記載の非接触入力装置である。
【００１０】
請求項５記載の発明は、前記制御部は、前記入力時から所定時間遡った時点に前記非接触位置検出部の検出した位置座標を指示位置として前記入力処理を行う請求項１に記載の非接触入力装置である。
【００１１】
請求項６記載の発明は、前記所定時間が固定値とされた請求項５に記載の非接触入力装置である。
【００１２】
請求項７記載の発明は、前記所定時間が可変値とされ、
前記制御部は、前記可変値を設定するキャリブレーション処理が実行可能にされた請求項５に記載の非接触入力装置である。
【００１３】
請求項８記載の発明は、前記制御部は、前記指示位置表示制御と別に、前記非接触位置検出部が前記指示物体を検出した時に、当該検出したことを報知する報知制御を行う請求項１から請求項７のうちいずれか一に記載の非接触入力装置である。
【００１４】
請求項９記載の発明は、前記制御部は、スピーカー又は／及び前記空中像表示部を用いて前記報知制御を行う請求項８に記載の非接触入力装置である。
【００１５】
請求項１０記載の発明は、前記非接触位置検出部の検出面と、前記非接触物体検出部の検出面とが、１０ｍｍ以上５０ｍｍ以下の範囲で離れている請求項１から請求項９のうちいずれか一に記載の非接触入力装置である。
【発明の効果】
【００１６】
本発明によれば、非接触位置検出部が指示物体を検出すると、その検出している指示物体の位置座標を空中像に表示するので、ユーザーは指示物体が非接触位置検出部の検出面にあることを認識できるとともに、その検出されている位置を認識することができる。そのため、ユーザーは、空中像に対する指示物体の位置を見誤ることなく正確に認識でき指示したい位置に移動させることができる。
非接触位置検出部の検出面に対して奥側に検出面が配置された非接触物体検出部により検出された時点を入力時とし、指示位置は非接触位置検出部の検出した位置座標に基づき距離補正、時間補正等の補正処理を介して決定するので、ユーザーは、非接触物体検出部により検出される時の指示物体の位置ずれをあまり気にすることなく入力操作を行うことができる。
また、ユーザーが指示物体を空中像に近づけていった際、非接触位置検出部により指示物体が検出されたことをユーザーに認識させることができるので、ユーザーがそれ以上指示物体を押し出すことを抑止でき、指示物体が空中像を突き抜けて装置筐体等に衝突することが防がれる。
以上により、空中像を物体で指示させることで情報を入力する非接触入力装置において、容易に正確な入力を行わせることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る非接触入力装置の構成例を示す外観図である。
【図２】本実施形態に係る非接触入力装置のブロック図である。
【図３】本実施形態に係る非接触入力装置に対する入力操作の様子を示す模式図である。
【図４】本実施形態に係る非接触入力装置による入力処理の流れを示すフローチャートである。
【図５】本実施形態に係る非接触入力装置に対する他の入力操作の様子を示す模式図である。
【図６】本実施形態に係る非接触入力装置に対する他の入力操作の様子を示す模式図である。
【図７】本実施形態に係る非接触入力装置によるキャリブレーション処理の流れを示すフローチャートである。
【図８】本実施形態に係る非接触入力装置によるキャリブレーション時の入力操作の様子を示す模式図である。
【図９】本実施形態に係り、空中像に対する検出面の他の配置例を示す模式図である。
【発明を実施するための形態】
【００１８】
以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
【００１９】
図１に非接触入力装置の構成例を示す
図１に示すように、装置筐体１０内に被対象物が設置される。被対象物としてはＬＣＤなどのディスプレイ１１が適用される。
被対象物（ディスプレイ１１）の実像が光学プレート１２を介して装置筐体１０外の空中に結像する。その空中像１３の手前の装置筐体１０上に非接触位置検出部２０が設置されている。
非接触位置検出部２０は、不可視光発光素子と反射光を検出する受光素子とを備え、不可視光発光素子から出射し、検出面２０ａで反射した光を受光素子で検出し電気信号に変換する。検出面２０ａは、空中像１３の像面と略平行に配置される。検出面２０ａの縦座標をＹ、横座標をＸ、垂直座標をＺとする。非接触位置検出部２０は、Ｘ軸方向にライン状に設けられており、検出面２０ａに存在する物体のＸＹ座標を検出する２次元検出センサである。
以上の構成により、非接触位置検出部２０は、空中像１３の像面に対応した指示物体のＸＹ位置座標を非接触で検出する。
【００２０】
非接触物体検出部２１は、不可視光発光素子と反射光を検出する受光素子とを備え、不可視光発光素子から出射し、検出面２１ａで反射した光を受光素子で検出し電気信号に変換する。検出面２１ａは、検出面２０ａに対し略平行かつ奥側に配置される。非接触物体検出部２１は、Ｘ軸方向にライン状に設けられており、検出面２１ａに存在する物体の有無を検出するセンサである。
非接触位置検出部２０の検出面２０ａと、非接触物体検出部２１の検出面２１ａとが、１０ｍｍ以上５０ｍｍ以下の範囲で離れている。１０ｍｍ未満であると、意図せず指示物体が検出面２１ａに触れてしまうおそれがあり、５０ｍｍを超えると、指示物体の入力動作のストロークが過大となり、いずれにも操作性が悪化するからである。
【００２１】
図２に本実施形態の非接触入力装置のブロック図を示す。
本実施形態の非接触入力装置の制御系は、制御部１５と、上述のディスプレイ１１を含む空中像表示部１６と、上述の非接触位置検出部２０及び非接触物体検出部２１と、スピーカー１７とを備えて構成される。  制御部１５は、ＣＰＵ，ＲＯＭ，ＲＡＭ、ハードディスク、インターフェース、ドライバー等を備えて構成されたコンピューターであり、ＲＯＭに記憶されＣＰＵ上で実行されるコンピューター・プログラムにより機能し、指示位置表示制御、入力処理、キャリブレーション処理及び報知制御を行う。
【００２２】
図３の模式図を参照して説明する。
図３に示すように指示物体として、手指が用いられる。その他、指示物体としては、ペン、指示棒などある程度検出面を適度に小さな面積で遮断できる物体が選ばれるが特に限定されるものではい。
図３に示す指示物体の配置Ｃ１ように、手指が検出面２０ａを遮ると、制御部１５は、非接触位置検出部２０が検出している指示物体のＸＹ位置座標を空中像１３に表示する。本実施形態ではポインタＰによって表示している。この時点で、ユーザーはポインタＰが空中像１３のどこを指しているか認識できる。例えば、空中像１３中に操作キーが表示されており、ユーザーは指示物体を動かしてその操作キー上にポインタＰを合せ、指示物体を押し込むことによりキー入力操作を行う。操作キーは、指示物体による空中像１３に対応した指示位置に関連付けられた指令（コマンド）の入力キーである。
キー入力操作のためにユーザーが指示物体を押し込むと、例えば配置Ｃ２のように、多かれ少なかれ指示位置（従ってポインタＰの位置）の位置がずれる。
指示物体の配置Ｃ２になった時点で、指示物体が検出面２１ａに達したので、非接触物体検出部２１が指示物体を検出する。
制御部１５は、非接触物体検出部２１により指示物体を検出した時を入力時として、当該入力時と非接触位置検出部２０の検出したＸＹ位置座標とに基づき指示位置を補正して、入力処理を行う。
【００２３】
フローチャートを参照して説明すれば以下の通りである。図４に入力処理のフローチャートを示す。
非接触位置検出部２０が指示物体を検出すると（ステップＳ１でＹＥＳ）、その検出座標に相当する空中像１３上の位置（指示位置）にポインタＰを表示する（ステップＳ２）。
制御部１５は、ステップＳ２の非接触位置検出部２０が指示物体を検出した時に、当該検出したことを報知する報知制御を行う。制御部１５は、スピーカー１７又は／及び空中像表示部１６を用いて、この報知制御を行う。報知は例えば、スピーカー１７から短い音を出力する、空中像１３の全体を微小に揺らす等の映像モーションを短時間与えることなどによる。これにより、非接触位置検出部２０による検出（ポインタＰの出現）を強調でき、ユーザーに認識させやすい。
非接触位置検出部２０による検出が無くなれば（ステップＳ３でＮＯ）、空中像１３からポインタＰを消す（ステップＳ４）。非接触物体検出部２１による検出が無いまま非接触位置検出部２０による検出が無くなる場合も同様である（ステップＳ５でＮＯ）。
したがって、ユーザーは指示物体を空中像１３へ近づけていくと、ポインタＰが表示され、引くとポインタＰが消えるから、入力決定前に検出面２０ａの位置を容易に把握するとことができ、誤入力や装置筐体１０等に指示物体を衝突させてしまうことが防がれる。
非接触物体検出部２１が指示物体を検出すると（ステップＳ５でＹＥＳ）、制御部１５は、指示位置のズレ量を補正し（ステップＳ６）、補正後の指示位置の入力処理を実行する（ステップＳ７）。
【００２４】
次に、指示位置の補正方法につき説明する。
まず、第１の方法としては、制御部１５は、非接触物体検出部２１により検出があった入力時に非接触位置検出部２０の検出した位置座標に対して所定距離ずらした座標を補正後の指示位置として入力処理を行う。
第１の方法は、ずれる方向がほぼ一定の場合に適用するとよい。例えば、図５に示す指示物体の動作（配置Ｃ３→Ｃ４）のように手指を曲げ伸ばしして入力する場合や、手首を使う場合などでは、指示物体である手指を突き出したときに指示位置が下がる傾向がある。
このような場合に第１の方法を適用し、補正量を上方向への所定距離とすることで、ズレ量の影響を低減し、ユーザーが本来押したいキーを正確に判別できる。
第１の方法において補正量となる所定距離（ベクトル値）は、固定値として実施してもよいし、可変値として実施してもよい。固定値とすれば、簡易に利用可能である。可変値とする場合は、キャリブレーション処理によりその値を設定する。これにより、ユーザーの個人差等に対応して適切に補正することができる。
【００２５】
次に、第２の方法としては、制御部１５は、非接触物体検出部２１により検出があった入力時から所定時間遡った時点に非接触位置検出部２０の検出したＹＸ位置座標を補正後の指示位置として入力処理を行う。
第２の方法は、ずれる方向やずれる距離に傾向が無い場合にも有効である。例えば、図６(a)に示すように指示物体の配置Ｃ５から配置Ｃ６に移動する入力動作や、図６（ｂ）に示すように指示物体の配置Ｃ７から配置Ｃ８に移動する入力動作など、入力動作ごとにずれる方向やずれる距離が変わることがある。
このような場合に第２の方法を適用し、補正量を入力時から遡る所定時間とすることで、指示物体の配置Ｃ５や配置Ｃ７における指示位置を特定できるから、ズレ量の影響を低減し、ユーザーが本来押したいキーを正確に判別できる。
第２の方法において補正量となる所定時間は、固定値として実施してもよいし、可変値として実施してもよい。固定値とすれば、簡易に利用可能である。可変値とする場合は、キャリブレーション処理によりその値を設定する。これにより、ユーザーの個人差等に対応して適切に補正することができる。
【００２６】
次に、キャリブレーション処理の例につき説明する。キャリブレーション処理のフローチャートを図７に示す。キャリブレーション時の入力操作の様子を図８に示す。
制御部１５は、空中像１３に指示位置ターゲットＴ１を含んだガイダンス画面３１（図８(a)）を表示する（ステップＳ１１）。ガイダンス画面３１に「ここにポインタを合せてください。」等のメッセージを表示して、指示位置ターゲットＴ１にポインタＰを合せることをユーザーに促す。（指示物体が配置Ｃ９に移動する。）
制御部１５は、非接触位置検出部２０による検出があったら（ステップＳ１２でＹＥＳ）、ポインタＰを空中像１３に表示するとともに、非接触位置検出部２０が検出している指示位置を一定の時間間隔で記録することを始める（ステップＳ１３）。
制御部１５は、ポインタＰが指示位置ターゲットＴ１に安定したら、バーチャルな押下式操作キーであるボタンＢ１を含んだガイダンス画面３２（図８(b)）を表示する（ステップＳ１４）。ガイダンス画面３２に「そのまま（真っ直ぐ）ボタンを押してください。」等のメッセージを表示して、ボタンＢ１を押下することをユーザーに促す。真っ直ぐ押すことを促すのは、無意識のずれを測定するためである。（指示物体が配置Ｃ１０に移動する。）
制御部１５は、非接触物体検出部２１により検出があったら（ステップＳ１５でＹＥＳ）、指示位置の記録を止め（ステップＳ１６）、以上記録した指示位置の履歴データを対象にキャリブレーション値を計算し、記録する（ステップＳ１７）。以後、キャリブレーション値を上記の補正量として適用する。
【００２７】
第１の方法用のキャリブレーション値としては、図８(b)に示すようなベクトルＤ１である。
第２の方法用のキャリブレーション値としては、ベクトルＤ１だけ指示位置が移動するのにかかった時間である。
以上は、キャリブレーション方法の一例であって、ユーザーの入力動作のサンプルを一又は複数得て、それを対象に解析しキャリブレーション値を求めればよい。
【００２８】
なお、図９に示すように、空中像１３に対して検出面２０ａは、手前側でも奥側でもよいし、傾きも許容される。
【００２９】
以上説明した実施形態によれば、非接触位置検出部２０が指示物体を検出すると、その検出している指示物体の位置座標を空中像１３にポインタＰで表示するので、ユーザーは指示物体が非接触位置検出部２０の検出面２０ａにあることを認識できるとともに、その検出されている位置を認識することができる。そのため、ユーザーは、空中像１３に対する指示物体の位置を見誤ることなく正確に認識でき指示したい位置に移動させることができる。
非接触位置検出部２０の検出面２０ａに対して奥側に検出面２１ａが配置された非接触物体検出部２１により検出された時点を入力時とし、指示位置は非接触位置検出部２０の検出した位置座標に基づき距離補正、時間補正等の補正処理を介して決定するので、ユーザーは、非接触物体検出部２１により検出される時の指示物体の位置ずれをあまり気にすることなく入力操作を行うことができる。
また、ユーザーが指示物体を空中像１３に近づけていった際、非接触位置検出部２０により指示物体が検出されたことをユーザーに認識させることができるので、ユーザーがそれ以上指示物体を押し出すことを抑止でき、指示物体が空中像１３を突き抜けて装置筐体１０等に衝突することが防がれる。
以上により、空中像１３を物体で指示させることで情報を入力する非接触入力装置において、容易に正確な入力を行わせることができる。
【符号の説明】
【００３０】
１０   装置筐体
１１   ディスプレイ
１２   光学プレート
１３   空中像
１５   制御部
１６   空中像表示部
１７   スピーカー
２０   非接触位置検出部
２０ａ 検出面
２１   非接触物体検出部
２１ａ 検出面
３１   ガイダンス画面
３２   ガイダンス画面
Ｂ１   ボタン
Ｃ１−Ｃ１０  指示物体（その配置）
Ｄ１   ベクトル
Ｐ     ポインタ
Ｔ１   指示位置ターゲット
【図１】
2019109637.tif 000003
【図２】
2019109637.tif 000004
【図３】
2019109637.tif 000005
【図４】
2019109637.tif 000006
【図５】
2019109637.tif 000007
【図６】
2019109637.tif 000008
【図７】
2019109637.tif 000009
【図８】
2019109637.tif 000010
【図９】
2019109637.tif 000011