(57)【要約】【課題】空中像を物体で指示させることで情報を入力する非接触入力装置において、指示物体の押し込み過ぎを抑制する。【解決手段】非接触入力装置は、空中像（１３）を表示する空中像表示部（１６）と、空中像の像面に対応した指示物体（Ｃ１，Ｃ２）の位置座標を非接触で検出する非接触位置検出部（１４）と、警告表示部（１６，１７）と、制御部（１５）とを備える。制御部は、非接触位置検出部の検出した位置座標に基づき、指示物体による空中像に対応した指示位置の入力処理を行うとともに、非接触位置検出部の検出した位置座標に基づき、指示物体が空中像に対して押し込まれ過ぎか否かを判断する過剰押込み判断処理を行う。制御部は、過剰押込み判断処理により押し込まれ過ぎと判断したとき、警告表示部を介して警告を表示出力する。例えば、制御部は、指示物体の検出面積を算出し当該検出面積が閾値を超えたときに押し込まれ過ぎと判断する。【選択図】図３
2019109636.tif 000002
【特許請求の範囲】
【請求項１】
被対象物の実像を空中に結像させた空中像を表示する空中像表示部と、
前記空中像の像面に対応した指示物体の位置座標を非接触で検出する非接触位置検出部と、
警告表示部と、
制御部とを備え、
前記制御部は、前記非接触位置検出部の検出した位置座標に基づき、前記指示物体による前記空中像に対応した指示位置の入力処理を行うとともに、前記非接触位置検出部の検出した位置座標に基づき、前記指示物体が前記空中像に対して押し込まれ過ぎか否かを判断する過剰押込み判断処理を行い、
前記制御部は、前記過剰押込み判断処理により押し込まれ過ぎと判断したとき、前記警告表示部を介して警告を表示出力する非接触入力装置。
【請求項２】
前記制御部は、前記過剰押込み判断処理を、前記非接触位置検出部の検出した位置座標に基づき、前記空中像の像面に対応した検出面における前記指示物体の検出面積を算出し、当該検出面積が閾値を超えたときに押し込まれ過ぎと判断して行う請求項１に記載の非接触入力装置。
【請求項３】
前記非接触位置検出部として２次元検出センサが適用された請求項２に記載の非接触入力装置。
【請求項４】
前記閾値が変更設定可能にされた請求項２又は請求項３に記載の非接触入力装置。
【請求項５】
前記制御部は、前記閾値の判断に掛ける前記検出面積として、前記検出面上における所定の近隣範囲内の検出位置のみを算入する請求項２から請求項４のうちいずれか一に記載の非接触入力装置。
【請求項６】
前記制御部は、前記近隣範囲の中心を定める中心点を、検出面積分布の重心点とする請求項５に記載の非接触入力装置。
【請求項７】
前記制御部は、スピーカー又は／及び前記空中像表示部を前記警告表示部として制御する請求項１から請求項６のうちいずれか一に記載の非接触入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非接触入力装置に関する。
【背景技術】
【０００２】
近年、空中タッチパネルとも呼ばれる、特殊な光学像結像部材（光学プレート）を使用して被対象物（ディスプレイ）の実像を空中に結像させ、その実像を観察者が観察しながら実像近傍で手指等の指示物体によって非接触に入力することを可能にした非接触入力装置が提案されている（特許文献１，２）。
このような非接触入力装置を使用することで、ディスプレイ等の表示面を直接指示物体で触れることなく入力することができるので、例えば食品加工現場や医療の現場などで、衛生的な情報入力が可能となる。
なお、特許文献２では、３次元で指示物体の位置を検出しているが、一般的に３次元で位置を特定するセンサ（ＴＯＦ方式等）は高価であることや、検出精度が低く、検出アルゴリズムにコストがかかり、制御部に求められるスペックも高いものが要求される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６７０７１号公報
【特許文献２】特開２０１６−９５６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、以上の従来技術にあっても次のような課題がある。
観察者にとっては、空中像には触った感触がなく、空中像近傍に指示物体を近づけたとき空中像と指示物体の距離感が掴みづらい。
空中像は指示物体の上に回り込まず、観察者は指示物体を空中像に押し込むように近づけていったとき、いつまでたっても空中像が指示物体の下にあるように見えてしまう。これにより空中像の結像位置が指示物体よりも上にある状況でも、観察者にとっては空中像が指示物体よりも下にあるように見えてしまい、この不整合によって観察者は距離感を見誤ってしまう。
したがって、観察者がいくら指示物体を押し込んでも指示物体が空中像よりも上にあるように見えるので、観察者は指示物体を必要以上に押し込んでしまう傾向がある。
空中像によって表示される操作ボタン等の特定領域を指示物体により押下指示して操作入力を行うときに、指示物体と特定領域の位置がずれた場合、観察者はまだ距離が届いていないのだと判断してそのまま指示物体を押し込み過ぎて、空中像の先にある装置筐体に指示物体を衝突させてしまうことがある。この接触により、非接触で衛生的であるというメリットが失われてしまうことと、装置や指示物体の汚染・破損のリスクが生じる。
【０００５】
本発明は以上の従来技術における問題に鑑みてなされたものであって、空中像を物体で指示させることで情報を入力する非接触入力装置において、指示物体の押し込み過ぎを抑制することを課題とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するための請求項１記載の発明は、被対象物の実像を空中に結像させた空中像を表示する空中像表示部と、
前記空中像の像面に対応した指示物体の位置座標を非接触で検出する非接触位置検出部と、
警告表示部と、
制御部とを備え、
前記制御部は、前記非接触位置検出部の検出した位置座標に基づき、前記指示物体による前記空中像に対応した指示位置の入力処理を行うとともに、前記非接触位置検出部の検出した位置座標に基づき、前記指示物体が前記空中像に対して押し込まれ過ぎか否かを判断する過剰押込み判断処理を行い、
前記制御部は、前記過剰押込み判断処理により押し込まれ過ぎと判断したとき、前記警告表示部を介して警告を表示出力する非接触入力装置である。
【０００７】
請求項２記載の発明は、前記制御部は、前記過剰押込み判断処理を、前記非接触位置検出部の検出した位置座標に基づき、前記空中像の像面に対応した検出面における前記指示物体の検出面積を算出し、当該検出面積が閾値を超えたときに押し込まれ過ぎと判断して行う請求項１に記載の非接触入力装置である。
【０００８】
請求項３記載の発明は、前記非接触位置検出部として２次元検出センサが適用された請求項２に記載の非接触入力装置である。
【０００９】
請求項４記載の発明は、前記閾値が変更設定可能にされた請求項２又は請求項３に記載の非接触入力装置である。
【００１０】
請求項５記載の発明は、前記制御部は、前記閾値の判断に掛ける前記検出面積として、前記検出面上における所定の近隣範囲内の検出位置のみを算入する請求項２から請求項４のうちいずれか一に記載の非接触入力装置である。
【００１１】
請求項６記載の発明は、前記制御部は、前記近隣範囲の中心を定める中心点を、検出面積分布の重心点とする請求項５に記載の非接触入力装置である。
【００１２】
請求項７記載の発明は、前記制御部は、スピーカー又は／及び前記空中像表示部を前記警告表示部として制御する請求項１から請求項６のうちいずれか一に記載の非接触入力装置である。
【発明の効果】
【００１３】
本発明によれば、空中像を指示させることで情報を入力する非接触入力装置において、指示物体が空中像に対して押し込まれ過ぎたとき警告を表示出力するので、この警告を受けたユーザーが指示物体をそれ以上の押し込むことを止めたり、指示物体を手前に位置補正したりすることを促すことができるので、指示物体の押し込み過ぎを抑制することができる。
これにより、装置筐体等への指示物体の衝突等の接触を防止し、装置や指示物体の汚染・破損のリスクを回避し、衛生的な非接触性を保持できる。
また、ユーザーに入力操作時の指示物体の適切な動作範囲を学習させることができ、入力処理精度が向上する。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る非接触入力装置の構成例を示す外観図である。
【図２】本実施形態に係る非接触入力装置のブロック図である。
【図３】非接触入力装置に対する入力操作の様子を示す模式図である。
【図４】比較実施形態に係る非接触入力装置に対する入力操作の様子を示す模式図である。
【図５】本実施形態に係る非接触入力装置に対する入力操作の様子を示す模式図である。
【図６】本実施形態に係る非接触入力装置による過剰押込み判断処理及び警告表示出力制御の流れを示すフローチャートである。
【図７】本実施形態に係る非接触入力装置に対する入力操作の他の様子を示す模式図である。
【図８】本実施形態に係る非接触入力装置に対する入力操作の他の様子を示す模式図である。
【図９】本実施形態に係る非接触入力装置に対する入力操作の他の様子を示す模式図である。
【図１０】本実施形態に係り、空中像に対する検出面の他の配置例を示す模式図である。
【図１１】本実施形態に係り、空中像に対する検出面の他の配置例を示す模式図である。
【発明を実施するための形態】
【００１５】
以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
【００１６】
図１に非接触入力装置の構成例を示す
図１に示すように、装置筐体１０内に被対象物が設置される。被対象物としてはＬＣＤなどのディスプレイ１１が適用される。
被対象物（ディスプレイ１１）の実像が光学プレート１２を介して装置筐体１０外の空中に結像する。その空中像１３の手前の装置筐体１０上に非接触位置検出部１４が設置されている。非接触位置検出部１４は、不可視光発光素子と反射光を検出する受光素子とを備え、不可視光発光素子から出射し、検出面１４ａで反射した光を受光素子で検出し電気信号に変換する。検出面１４ａは、空中像１３の像面と略平行に配置される。検出面１４ａの縦座標をＹ、横座標をＸ、垂直座標をＺとする。非接触位置検出部１４は、Ｘ軸方向にライン状に設けられており、検出面１４ａに存在する物体のＸＹ座標を検出する２次元検出センサである。
以上の構成により、非接触位置検出部１４は、空中像１３の像面に対応した指示物体のＸＹ位置座標を非接触で検出する。
【００１７】
図２に本実施形態の非接触入力装置のブロック図を示す。
本実施形態の非接触入力装置の制御系は、制御部１５と、上述のディスプレイ１１を含む空中像表示部１６と、上述の非接触位置検出部１４と、スピーカー１７とを備えて構成される。スピーカー１７又は／及び空中像表示部１６を警告表示部として適用する。
制御部１５は、ＣＰＵ，ＲＯＭ，ＲＡＭ、ハードディスク、インターフェース、ドライバー等を備えて構成されたコンピューターであり、ＲＯＭに記憶されＣＰＵ上で実行されるコンピューター・プログラムにより機能し、入力処理、過剰押込み判断処理及び警告表示出力制御を行う。
【００１８】
図３の模式図を参照して説明する。
図３に示すように指示物体として、手指が用いられる。その他、指示物体としては、ペン、指示棒などある程度検出面を適度に小さな面積で遮断できる物体が選ばれるが特に限定されるものではい。
図３に示す指示物体の配置Ｃ１ように、手指が検出面１４ａを遮ると、制御部１５は、非接触位置検出部１４の検出したＸＹ位置座標に基づき、指示物体による空中像１３に対応した指示位置の入力処理を行う。例えば、空中像１３として複数の操作キーが表示されており、非接触位置検出部１４の検出したＸＹ位置座標が表示領域に含まれる操作キーに関連づけられた指令（コマンド）を入力処理する。
【００１９】
制御部１５は、上記入力処理とともに、非接触位置検出部１４の検出したＸＹ位置座標に基づき、指示物体が空中像１３に対して押し込まれ過ぎか否かを判断する過剰押込み判断処理を行う。
図３に示す指示物体の配置Ｃ２ように、手が検出面１４ａを遮ると、制御部１５は過剰押込み判断処理により押し込まれ過ぎと判断し、警告表示部を介して警告を表示出力する。警告の表示形態は、スピーカー１７を適用した音による聴覚表示、空中像表示部１６を適用した光による視覚表示の一方又は双方とされる。視覚表示としては、空中像１３の全体又は枠を所定色（例えば赤）に点滅させる、空中像１３を歪ませる、消失させる、警告メッセージが示された他の画像に変える等が挙げられる。
聴覚表示によれば、ユーザーが視覚表示による警告を見逃しても押し込みすぎに気づくことができる。
一方、視覚表示によれば、騒音環境下でもユーザーに警告を容易に認識させることができる。
警告を聴覚表示及び視覚表示で行えば、以上の両方の利点が得られる。
【００２０】
過剰押込み判断処理の方法につき説明する。
まず、比較実施形態として、３次元計測が可能な非接触位置検出部を適用する場合につき言及する。図４に示すようにＴＯＦ方式のカメラ１００によって空中像１３に対する指示物体（Ｃ３）の３次元位置検出を行う場合、Ｚ座標が検出可能であるので、検出されたＺ座標のうち筐体に最も近い座標が閾値を超えた時に、指示物体が押し込まれ過ぎと判断し、警告を表示出力することができる。
【００２１】
しかし、本実施形態に係る非接触位置検出部１４には２次元検出センサが適用されておりＺ座標が検出されないので、以下のように判断処理する。
まず、ＸＹ平面上の面積を用いる方法である。
制御部１５は、非接触位置検出部１４の検出したＸＹ位置座標に基づき、空中像１３の像面に対応した検出面１４ａにおける指示物体の検出面積を算出する。例えば、図５(a)(b)に示すように様々に変化し得る検出面積を逐次算出する。
そして制御部１５は、当該検出面積が閾値を超えたときに押し込まれ過ぎと判断する。これにより、図５(a)に示す指示物体の配置Ｃ４では、警告を発せず、図５(b)に示す指示物体の配置Ｃ５では、警告を発するように動作することができる。
【００２２】
図６のフローチャートを参照して改めて説明すると次の通りである。
制御部１５は、非接触位置検出部１４による検出があると（ステップＳ１でＹＥＳ）、検出面積を算出する（ステップＳ２）。
制御部１５は、ステップＳ２で算出した検出面積が閾値を超えたか否か判断する（ステップＳ３）。
制御部１５は、ステップＳ３でＮＯの場合、ステップＳ２に戻って次のタイミングの検出面積を計算する。なお、検出面積を算出するタイミングの間隔は、所定の時間レート（例えば、０．１秒毎）で定めておく。
制御部１５は、ステップＳ３でＹＥＳの場合、警告表示部へ指令して警告を出す（ステップＳ４）。それとともに制御部１５は、検出面積が閾値を下回るか否かを監視する（ステップＳ５、Ｓ６）。
制御部１５は、ステップＳ６でＮＯの場合、ステップＳ５に戻って次のタイミングの検出面積を計算する。なお、検出面積を算出するタイミングの間隔は、所定の時間レート（例えば、０．１秒毎）で定めておく。
制御部１５は、ステップＳ６でＹＥＳの場合、警告表示部へ指令して警告を消す（ステップＳ７）。
【００２３】
上記閾値は変更設定可能にする。これにより、閾値はユーザーによって変更可能とすることができ、ユーザーの指の長さや入力のクセに合わせて最適化して使用することができる。
【００２４】
検出面積の算出（ステップＳ２，Ｓ５）にあたっては、次のようにすることが好ましい。
制御部１５は、閾値の判断に掛ける検出面積として、検出面１４ａ上における所定の近隣範囲内の検出位置のみを算入する。例えば、図７に示すように所定直径の近隣範囲Ｄ１内の検出位置のみを検出面積として参入し、近隣範囲Ｄ１外の検出位置は独立して検出面積を算出する（グループ化しない）。制御部１５は、近隣範囲Ｄ１の中心を定める中心点を、検出面積分布の重心点（Ｇ１，Ｇ２）とする。
図７は、同一人物が右手ＣＲの人差指と左手ＣＬの人差指を検出面１４ａに差し出している状況を示す。例えば、画面を拡大・縮小するための動作を行っている状況である。この場合、右手ＣＲの検出面積は重心点Ｇ１を中心に合算され、左手ＣＬの検出面積が合算されずに、右手の押し込み過ぎを適切に判断できる。図７の状態かから左手ＣＬが押し込まれていった場合も、左手ＣＬも重心点Ｇ２を中心に検出面積を合算していくので、左手の押し込み過ぎを適切に判断できる。右手ＣＲと左手ＣＬの検出面積が合算されて不適切に警告が発せられることを回避でき、押し込み過ぎを適切に判断できる。
以上のようにして、指示物体の押し込み過ぎを適切に判断できる。
【００２５】
本実施形態によれば、比較的低コストで検出精度が高い２次元位置検出センサを用いて指示物体の押し込み動作を検出し、警告を出すことでユーザーに指示物体が突き抜けるような動作をしないよう促すことができる。
【００２６】
他の方法としては、指示物体が継続して検出されている時間が閾値を超えたら、警告を発する方法である。
例えば、図８(a)に示すように、キータッチ動作前の指示物体の配置Ｃ６において、指が検出されている場合を考える。その後図８(b)に示すようにその指を突き出すキータッチ動作があり指示物体の配置Ｃ７に変遷する。
このような場合、図８(a)に示すキータッチ動作前で指が検出されていることは、指示物体を押し込み過ぎであり、図８(b)に示すキータッチ動作時に指を装置筐体１０に接触させてしまう恐れがある。
このようなキータッチ操作モードなどにおいては、指示物体が継続して検出されている時間が閾値を超えたら、警告を発することで、ユーザーに押し込み過ぎを認識させることができる（キータッチ動作前の指示物体の位置が画面に近すぎることを認識させることができる）。
指示物体がペン、指示棒などの一様断面部分が長いもの（キータッチ動作時に検出面積の変化が少ないもの）であっても、本方法によれば警告を発することができる。
【００２７】
同様にキータッチ操作モードなどにおいて好適に適用できる他の方法としては、指示物体の検出位置の検出面（ＸＹ面）内の位置ずれ量が閾値を超えたら、警告を発する方法である。
例えば、図９(a)に示すように、キータッチ動作前の指示物体の配置Ｃ８において、指が検出されている場合を考える。その後図９(b)に示すようにその指を突き出すキータッチ動作があり指示物体の配置Ｃ９に変遷する。
このような場合、図９(a)に示すキータッチ動作前で指が検出されていることは、指示物体を押し込み過ぎであり、図９(b)に示すキータッチ動作時に指を装置筐体１０に接触させてしまう恐れがある。
検出位置の検出面（ＸＹ面）内の位置ずれ量は、キータッチ動作前で指が検出されず、キータッチ動作時に指が検出された場合（押し込み量が適切な場合）に対して、図９の場合の方が大きくなる傾向にある。
したがって、このようなキータッチ操作モードなどにおいては、指示物体の検出位置の検出面（ＸＹ面）内の位置ずれ量が閾値（例えば１ｍｍ）を超えたら、警告を発することで、ユーザーに押し込み過ぎを認識させることができる（キータッチ動作前の指示物体の位置が画面に近すぎることを認識させることができる）。位置ずれ量の算出基準として重心位置を適用してもよい。
【００２８】
以上の時間の閾値や、位置ずれ量の閾値も変更設定可能にする。これにより、閾値はユーザーによって変更可能とすることができ、ユーザーの指の長さや入力のクセに合わせて最適化して使用することができる。
同様に指示物体がペン、指示棒などの一様断面部分が長いもの（キータッチ動作時に検出面積の変化が少ないもの）であっても、本方法によれば警告を発することができる。
【００２９】
なお、検出面１４ａは空中像１３の像面とほぼ平行な平面であれば足りる。図１０に示すように、検出面１４ａの空中像１３の像面に対する傾きがあっても実施できる。
また、図１１に示すように、安全のため検出面１４ａを空中像１３より手前に配置してもよい。
【００３０】
以上説明した実施形態によれば、空中像１３を指示させることで情報を入力する非接触入力装置において、指示物体が空中像１３に対して押し込まれ過ぎたとき警告を表示出力するので、この警告を受けたユーザーが指示物体をそれ以上の押し込むことを止めたり、指示物体を手前に位置補正したりすることを促すことができるので、指示物体の押し込み過ぎを抑制することができる。
これにより、装置筐体１０等への指示物体の衝突等の接触を防止し、装置や指示物体の汚染・破損のリスクを回避し、衛生的な非接触性を保持できる。
また、ユーザーに入力操作時の指示物体の適切な動作範囲を学習させることができ、入力処理精度が向上する。
【００３１】
以上の実施形態においては、非接触位置検出部として２次元検出センサを用いたが、ＸＹＺ座標を検出可能な３次元検出センサを用いてもよい。３次元検出センサを用いる場合に、ＸＹ座標のみを用いて検出面積を算出し、押し込まれ過ぎを判断してもよい。
また以上の実施形態においては近隣範囲を、重心点を中心とした半径により定めたが、他の方法により定めてもよい。例えば、近隣範囲を、途切れの無い一体の検出面積とこれに対し所定距離内に隣接する他の一体の検出面積までとの考え方に基づき定めてもよい。
【符号の説明】
【００３２】
１０   装置筐体
１１   ディスプレイ
１２   光学プレート
１３   空中像
１４   非接触位置検出部
１４ａ 検出面
１５   制御部
１６   空中像表示部
１７   スピーカー
１００ カメラ
Ｃ１−Ｃ９    指示物体（その配置）
ＣＬ   左手（指示物体）
ＣＲ   右手（指示物体）
Ｄ１   近隣範囲
Ｇ１   重心点
Ｇ２   重心点
【図１】
2019109636.tif 000003
【図２】
2019109636.tif 000004
【図３】
2019109636.tif 000005
【図４】
2019109636.tif 000006
【図５】
2019109636.tif 000007
【図６】
2019109636.tif 000008
【図７】
2019109636.tif 000009
【図８】
2019109636.tif 000010
【図９】
2019109636.tif 000011
【図１０】
2019109636.tif 000012
【図１１】
2019109636.tif 000013