(57)【要約】【課題】指示物体の位置検出を精度良く行う。【解決手段】平面的な被対象物１１からの光を空中に結像させて空中像１２を形成する光学素子２と、被対象物からの光の一部を透過し、他の一部を反射させるビームスプリッター４と、ビームスプリッターを介する光軸５ａが平面的な空中像に対して垂直となるように配置されたカメラ５と、カメラによる、平面的な空中像に対して指示入力を行う指示物体Ｆの撮影画像から、当該指示物体による指示位置を検出する指示位置検出部９４とを備えている。【選択図】図１
2019133284.tif 000002
【特許請求の範囲】
【請求項１】
平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子と、
前記被対象物からの光の一部を透過し、他の一部を反射させるビームスプリッターと、
前記ビームスプリッターを介する光軸が平面的な前記空中像に対して垂直となるように配置されたカメラと、
前記カメラによる、前記平面的な空中像に対して指示入力を行う指示物体の撮影画像から、当該指示物体による指示位置を検出する指示位置検出部とを備えることを特徴とする非接触式入力装置。
【請求項２】
前記空中像に並んで当該空中像に沿った平面状の検出光を発光する発光部を有することを特徴とする請求項１に記載の非接触式入力装置。
【請求項３】
前記発光部による前記平面状の検出光は不可視光であることを特徴とする請求項２に記載の非接触式入力装置。
【請求項４】
前記カメラは可視光をカットするフィルター部材を介して撮影を行うことを特徴とする請求項３に記載の非接触式入力装置。
【請求項５】
前記ビームスプリッターは、表面で可視光を透過し、不可視光を反射する半透過層を有することを特徴とする請求項３又は４に記載の非接触式入力装置。
【請求項６】
前記カメラはステレオカメラであることを特徴とする請求項１に記載の非接触式入力装置。
【請求項７】
前記光学素子は、プレート平面に対して垂直方向から見て互いに直交する複数の反射面を有する光学プレートであることを特徴とする請求項１から６のいずれか一項に記載の非接触式入力装置。
【請求項８】
前記光学素子は、入射光の入射方向に沿って反射を行う再帰反射面を有する再帰反射体であることを特徴とする請求項１から６のいずれか一項に記載の非接触式入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空中映像表示を利用した非接触式入力装置に関する。
【背景技術】
【０００２】
近年、特殊な光学プレートを使用して被対象物の実像を空中に結像させ、その実像を観察者が観察できるようにした空中映像表示装置が提案されている。
例えば、特許文献１には、平面視で互いに直交する複数の反射面（コーナーミラーアレイ）を有する光学プレートを使い、被対象物と光学プレートを挟んで面対称の位置に空中像を結像する技術が開示されている。
このような空中映像を大画面で実現すると、アイキャッチ性が高く、デジタルサイネージの分野での利用が検討されている。デジタルサイネージ装置は、情報を表示するだけでなく、観察者からの入力操作を受け付ける機能を有するものもあり、空中映像表示を利用するデジタルサイネージ装置にも同様の機能が望まれている。
【０００３】
このため、特許文献２に示すように、被対象物の実像に沿った平面状の赤外線光を照射し、これらを空中映像として空中に結像させ、平面状の赤外線光の空中像を指が遮ることで生じる散乱反射光をカメラで撮影することで入力位置を検出する非接触式入力装置が提案されている。
また、特許文献３には、平面状の赤外線光を被対象物の空中像に沿って照射する光源を設け、特許文献２と同様に、平面状の赤外線光による指からの散乱反射光を検出する非接触式入力装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８６５０８８号公報
【特許文献２】特許第５５０９３９１号公報
【特許文献３】特許第５９８７３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この特許文献２の非接触式入力装置は、図１６に示すように、赤外線光の散乱反射光を撮像するカメラ１０１を、光学プレート１０２を避けて配置しなければならず、被対象物の空中像１０３及び光源１０４から照射される平面状の赤外線光の法線に対してカメラ１０１の光軸は傾斜角度θの傾きが生じてしまい、正対して撮影することができなかった。
このため、図１７に示すように、正対した位置から見て長方形状となる空中像があるべきエリア１０５を撮影すると台形歪みが生じ、指先Ｆによる入力位置座標を正確に検出できなくなるおそれがあった。特に、空中像のサイズが大型化するとその歪みの割合が増大してより顕著になるおそれがあった。
また、特許文献３の非接触式入力装置も、光学プレートを避けてカメラを配置しなければならないので、特許文献２と同じ問題が生じていた。
【０００６】
これら特許文献２及び３の非接触式入力装置に生じる台形歪みは、空中像から離れた位置にカメラを配置することで低減することが可能だが、そのためには非接触式入力装置が大型化してしまう。
また、図１６に示すカメラ１０１の配置では、観察者が空中像の後方にあるカメラ１０１を視認することができ、外観上望ましくない。また、観察者に入力操作が監視されている印象を与えないように、カメラ１０１を観察者から容易に認識できない位置に配置したいという要請にも応えることができなかった。
【０００７】
本発明は、より正確に入力位置座標を検出可能とする非接触式入力装置を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、非接触式入力装置において、
平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子と、
前記被対象物からの光の一部を透過し、他の一部を反射させるビームスプリッターと、
前記ビームスプリッターを介する光軸が平面的な前記空中像に対して垂直となるように配置されたカメラと、
前記カメラによる、前記平面的な空中像に対して指示入力を行う指示物体の撮影画像から、当該指示物体による指示位置を検出する指示位置検出部とを備えることを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の非接触式入力装置において、
前記空中像に並んで当該空中像に沿った平面状の検出光を発光する発光部を有することを特徴とする。
【００１０】
請求項３記載の発明は、請求項２記載の非接触式入力装置において、
前記発光部による前記平面状の検出光は不可視光であることを特徴とする。
【００１１】
請求項４記載の発明は、請求項３に記載の非接触式入力装置において、
前記カメラは可視光をカットするフィルター部材を介して撮影を行うことを特徴とする。
【００１２】
請求項５記載の発明は、請求項３又は４に記載の非接触式入力装置において、
前記ビームスプリッターは、表面で可視光を透過し、不可視光を反射する半透過層を有することを特徴とする。
【００１３】
請求項６記載の発明は、請求項１に記載の非接触式入力装置において、
前記カメラはステレオカメラであることを特徴とする。
【００１４】
請求項７記載の発明は、請求項１から６のいずれか一項に記載の非接触式入力装置において、
前記光学素子は、プレート平面に対して垂直方向から見て互いに直交する複数の反射面を有する光学プレートであることを特徴とする。
【００１５】
請求項８記載の発明は、請求項１から６のいずれか一項に記載の非接触式入力装置において、
前記光学素子は、入射光の入射方向に沿って反射を行う再帰反射面を有する再帰反射体であることを特徴とする。
【発明の効果】
【００１６】
上記の構成によれば、より正確に指示物体による入力位置座標を検出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】第一の実施の形態である非接触式入力装置の全体の構成を模式的に示す説明図である。
【図２】光学プレートの概略構成を示す斜視図である。
【図３】上記光学プレートを構成する単一の板状部材の斜視図である。
【図４】上記光学プレートを構成する単一の他の板状部材の斜視図である。
【図５】２次元での実像の結像原理を示す説明図である。
【図６】３次元空間での光線の反射を模式的に示す説明図である。
【図７】３次元空間において、１点から発せられた複数の光線が別々の反射面を介して１点に集光する様子を模式的に示す説明図である。
【図８】図１の非接触式入力装置の制御系を示すブロック図である。
【図９】撮影面に対してカメラの光軸を垂直に向けて撮影を行う場合と撮影面の法線に対してカメラの光軸が傾斜角度で傾斜した場合における各部の寸法を示す説明図である。
【図１０】図１の非接触式入力装置に全反射ミラー５２を加えた例を示す説明図である。
【図１１】第二の実施の形態である非接触式入力装置の全体の構成を模式的に示す説明図である。
【図１２】再帰反射体による一点から発せられた光が空中の一点に結像する原理を示した説明図である。
【図１３】非接触式入力装置の内部におけるカメラと再帰反射体の配置の他の例を示す説明図である。
【図１４】ステレオカメラを搭載した非接触式入力装置の例を示す説明図である。
【図１５】図１の非接触式入力装置を寿司屋の注文を行うための注文入力装置に適用した場合の説明図である。
【図１６】従来の非接触式入力装置の構成を模式的に示す説明図である。
【図１７】従来の非接触式入力装置において撮影時に台形歪みの影響を受けることを示した説明図である。
【発明を実施するための形態】
【００１８】
［第一の実施形態］
本発明の第一の実施形態である非接触式入力装置１０について図１〜図９に基づいて説明する。
図１は非接触式入力装置１０の全体の構成を模式的に示す説明図である。非接触式入力装置１０は、平面的な被対象物としての表示画像１１を表示する画像表示装置１と、表示画像１１からの光を空中に結像させて実像としての空中像１２を形成する光学素子としての光学プレート２と、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４と、ビームスプリッター４を介する光軸５ａが平面的な空中像１２に対して垂直に交わるように配置されたカメラ５と、平面状の空中像１２に対して指示入力を行う指示物体としての観察者の指先Ｆ（図１６及び図１７参照）に検出光を投光する発光部７と、これらの構成を格納支持する筐体８と、カメラ５による、観察者の指先Ｆの撮影画像から、当該指先Ｆによる指示位置を検出する制御装置９とを主に備えている。
【００１９】
この非接触式入力装置１０は、画像表示装置１の表示画像１１からの光を平面的な光学プレート２に対して光の入射側とは反対側の空中に導き、光学プレート２について面対称となる空中の位置に表示画像１１の実像である空中像１２を結像させる。
さらに、この空中像１２に対して観察者が指先Ｆで指示入力操作を行うと、制御装置９が指示位置を検出する。
より具体的な一例としては、非接触式入力装置１０は、表示画像１１として観察者が指示入力を行う入力画面を表示し、観察者は入力画面の空中像１２に対して指先Ｆで指示入力を行うと、空中像１２に対する指示位置を検出する。
即ち、この非接触式入力装置１０は、上記の機能により双方向性のデジタルサイネージ装置に適用することができる。
なお、表示画像１１の表示する内容と検出された指示位置から観察者の意図する指示内容を認識する処理や、認識された指示内容に応じた何らかのレスポンスについては、この非接触式入力装置１０が行っても良いし、非接触式入力装置１０に接続された外部装置が行っても良い。
【００２０】
［光学プレート］
次に、上述した光学プレート２の詳細について説明する。図２は光学プレート２の概略構成を示す斜視図である。
なお、光学プレート２のプレート平面に平行な一方の方向をＹ方向、当該プレート平面に平行であってＹ方向に直交する方向をＸ方向、当該プレート平面に垂直な方向をＺ方向とする。なお、図１においてはＹ方向及びＺ方向は紙面に平行であり、Ｘ方向は紙面に垂直となっている。
光学プレート２は、２枚の光学パネル２０，３０がＺ方向に積層された二層構造を採っている。
そして、光学パネル２０は、Ｙ方向に沿って長尺である複数の板状部材２１をＸ方向に積層して並べることによって形成されている。また、光学パネル３０は、Ｘ方向に沿って長尺である複数の板状部材３１をＹ方向に積層して並べることによって形成されている。
【００２１】
図３は単一の板状部材２１の斜視図である。板状部材２１は、透明なガラスや樹脂からなる直方体状の透明基板２１１を有している。透明基板２１１は、Ｙ方向に長尺であって、Ｙ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面２１２が形成されている。なお、反射面２１２は、透明基板２１１のＹ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。
【００２２】
図４は単一の板状部材３１の斜視図である。板状部材３１は、透明なガラスや樹脂からなる直方体状の透明基板３１１を有している。透明基板３１１は、Ｘ方向に長尺であって、Ｘ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面３１２が形成されている。なお、反射面３１２も、透明基板３１１のＸ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。
【００２３】
Ｙ方向に延びる複数の板状部材２１をＸ方向に積層して並べることにより、Ｙ−Ｚ平面に沿った複数の反射面２１２が、板状部材２１のＸ方向の幅に応じた間隔でＸ方向に並んで配置される。同様に、Ｘ方向に延びる複数の板状部材３１をＹ方向に積層して並べることにより、Ｘ−Ｚ平面に沿った複数の反射面３１２が、板状部材３１のＹ方向の幅に応じた間隔でＹ方向に並んで配置される。そして、このような複数の板状部材２１，３１の配置により、各板状部材２１の反射面２１２と各板状部材３１の反射面３１２とは、Ｚ軸方向から見て互いに直交する位置関係となる。
つまり、この光学プレート２は、いわゆるコーナーミラーアレイといわれる光学素子の構造を有している。
【００２４】
次に、光学プレート２による結像原理について説明する。図５は、２次元（Ｘ−Ｚ平面内）での実像の結像原理を示している。点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面２１２でそれぞれ反射され、Ｘ軸に対して点光源Ｐとは反対側の位置Ｐ0（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ0にて、点光源Ｐの実像が結像される。
なお、Ｙ−Ｚ平面内での実像の結像に関しても同様であり、点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面３１２でそれぞれ反射され、Ｙ軸に対して点光源Ｐとは反対側の位置Ｐ0（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ0にて、点光源Ｐの実像が結像される。
【００２５】
図６は、３次元空間（ＸＹＺ座標系）での光線の反射を模式的に示している。３次元空間では、点光源Ｏから発せられた光線Ａを、Ｘ−Ｚ平面内の光線Ａ１と、Ｙ−Ｚ平面内の光線Ａ２とに分解し、図５に倣って、それぞれの光線Ａ１，Ａ２のＸ−Ｚ平面内またはＹ−Ｚ平面内での反射を考えることで、光線ＡのＺ軸との交点を求めることができる。つまり、Ｘ−Ｚ平面内の光線Ａ１は、Ｙ−Ｚ面に平行な反射面２１２で反射された後、Ｚ軸に向かい、Ｙ−Ｚ平面内の光線Ａ２は、Ｘ−Ｚ面に平行な反射面３１２で反射された後、Ｚ軸に向かう。これらの光線Ａ１，Ａ２は、Ｚ軸上の１点、つまり、点Ｏ0で交わる。したがって、光線Ａは、反射面２１２および反射面３１２にて計２回反射した後、Ｚ軸上の点Ｏ0に向かうことになる。
【００２６】
図７は、３次元空間において、点光源Ｏから発せられた複数の光線が、別々の反射面を介して１点に集光する様子を模式的に示している。点光源Ｏから発せられた複数の光線は、図６と同様にして、Ｙ−Ｚ平面に平行な反射面２１２およびＸ−Ｚ平面に平行な反射面３１２で反射され、Ｚ軸上の同じ点Ｏ0に集光する。これにより、点Ｏ0にて、点光源Ｏの実像が結像される。
【００２７】
なお、以上では、光学パネル２０，３０を積層した２層構造の光学プレート２における結像原理を示したが、Ｖ字型（Ｌ字型）に並べた２枚の反射面をアレイ状に配置してＸ−Ｚ平面に平行な複数の反射面とＹ−Ｚ平面に平行な複数の反射面とが実際に直交している１層構造の光学プレート２においても、結像原理は同じである。
【００２８】
［画像表示装置］
画像表示装置１は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（ElectroLuminescent）ディスプレイ、ＣＲＴ（Cathode Ray Tube）等の平面的な表示画像１１を表示する表示装置からなる。
なお、画像表示装置１は上記構成に限らず、プロジェクターのように、表示画像１１を投影するものを使用することも可能である。
【００２９】
上記画像表示装置１は、表示画像１１を表示する表示部が平面状であり、当該表示部はＸ−Ｙ平面に平行に配置された光学プレート２の片面（入射面２２とする）に対向し、Ｘ−Ｙ平面に対してＸ軸を中心として角度θ１だけ傾斜して配置されている。この角度θ１は、図１の紙面上で反時計方向に45°傾斜した方向である。
なお、傾斜角度θ１は45°が空中像１２の画質向上のために最も望ましい角度であるが、空中像１２の画質が許容される範囲内であれば45°を中心とするある程度の角度範囲で増減可能である。
なお、光学プレート２の入射面２２は、表示画像１１を当該表示画像１１の法線に沿って入射面２２に向かって投影した場合に、少なくとも、表示画像１１の全体を投影させることができる大きさに設定することが望ましい。但し、表示画像１１の中央部のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが投影できる大きさに設定しても良い。
【００３０】
上記画像表示装置１は表示画像１１の表示を行うと、光学プレート２によって、当該光学プレート２について面対称となる位置に空中像１２が結像する。即ち、この空中像１２は、Ｘ−Ｙ平面に対してＸ軸を中心として図１の紙面上で時計方向に角度θ２（＝45°）だけ傾斜している。
【００３１】
［発光部］
発光部７は、不可視光である赤外線光を出射する光源としての複数のLED（発光ダイオード）と、光源から出射された赤外線光を収束するシリンドリカルレンズとを備えている。
各LEDはＸ軸方向に沿って一列に並べられ、これらのLEDの光軸がいずれも平行となるように配置されている。
そして、各LEDの出射方向前方にＸ方向に長尺なシリンドリカルレンズが固定装備されている。
シリンドリカルレンズは、各LEDから出射された赤外線光を、その光軸に垂直且つ各LEDの並び方向に垂直な方向について集光を行う。
従って、各LEDを発光させると、図１に示すように、シリンドリカルレンズの集光により、全てのLEDの光軸を含んだ平面状の赤外線光７１が形成される。なお、各LEDから拡散しない光線状の赤外線光を発光させて、これらを平行且つ平面状に並べてもよい。
【００３２】
発光部７は、筐体８における空中像１２の結像位置の近傍において、平面状の空中像１２と平面状の赤外線光７１とが互いに平行となり、且つ、接近又は重なるように配置されている。
この非接触式入力装置１０では、光学プレート２によって形成される平面状の空中像１２が観察者からの指示を入力するための入力画面となり、例えば、当該空中像１２内に表示されるアイコンやボタンに対して観察者が指先Ｆでこれらを選択指示して所定の指示入力作業が行われる。
このとき、平面状の空中像１２に接近又は重ねて平面状の赤外線光７１を検出光として照射することにより、上記指示入力作業中の観察者の指先Ｆが平面状の赤外線光７１に侵入することで赤外線光の散乱光が発生する。
従って、この赤外線光の散乱光の発生位置を特定することで、観察者の指先Ｆの位置を検出することができるようになる。
【００３３】
［ビームスプリッター］
ビームスプリッター４は、図１に示すように、Ｘ−Ｙ面に平行な平板状であって、光学プレート２の入射面２２とは逆側の面（出射面２３とする）側に配置されている。
このビームスプリッター４は、光の透過率と反射率がいずれも50％となるいわゆるハーフミラーが使用されるが、これに限定されず、透過率が反射率よりも大きいものや透過率が反射率よりも小さいものも使用可能である。
【００３４】
このビームスプリッター４を設けることにより、空中像１２を結像する際に光学プレート２からの光を透過させることができ、また、空中像１２側からの光をカメラ５側に反射することができる。
なお、図１では、ビームスプリッター４が光学プレート２に密接するように配置した例を示しているが、カメラ５の光軸５ａを空中像１２に対して垂直に向けることができれば、ビームスプリッター４を光学プレート２から離間させても良いし、Ｘ−Ｙ平面に対して傾斜した向きで配置しても良い。
【００３５】
なお、ビームスプリッター４は、表示画像１１の全体を透過させることができる大きさに設定することが望ましい。但し、表示画像１１の外縁部を除いた部分のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが透過できる大きさに設定しても良い。
【００３６】
また、このビームスプリッター４は、空中像１２側の面全体に、可視光を透過し、不可視光としての赤外線光を反射する半透過層４１が形成されている。
この半透過層４１は、赤外線光を反射する特性を有するポリエステルフィルムを何重にも積層してなるフィルム材からなり、当該半透過層４１がビームスプリッター４の空中像１２側の面全体に貼着されている。
当該フィルム材としては、例えば、３Ｍ社製「スコッチティント（登録商標）オートフィルムクリスタリン」が好適である。
【００３７】
［カメラ］
カメラ５は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子と光学系とを備えている。
このカメラ５の光学系は、図１に示すように、その光軸５ａがビームスプリッター４における空中像１２側の面の半透過層４１に反射して、空中像１２に対して垂直に入射するように配置されている。即ち、カメラ５の光学系の光軸５ａは、ビームスプリッター４の法線に対してＸ軸回りに図１の紙面上で反時計方向に角度θ３（＝45°）だけ傾斜した向きに向けられている。
【００３８】
なお、カメラ５の光学系の光軸５ａがビームスプリッター４を介して空中像１２に対して垂直に入射する場合の「垂直」とは、厳格に垂直であることが望ましいが、実質的に垂直とみなせる範囲（ほぼ垂直な範囲）を含むものとする。即ち、光軸５ａが垂直に対して傾斜すると、後述する分解能の低下率を概算する数式(5)に示すように、その傾斜角度に応じて撮像画像の分解能は低下を生じるが、その低下率が十分に少ない範囲での傾斜は実質的に「垂直」とみなすことができる。
例えば、垂直に対して±10°以内の角度範囲は、概算的な分解能の低下率は96％程度に抑えられ、「垂直」の範囲に含まれる。
【００３９】
カメラ５には可視光をカットするフィルター部材５１が装備され、当該フィルター部材５１を介して撮影を行う。
前述したように、カメラ５は、ビームスプリッター４の反射により、平板状の赤外線光７１への指先Ｆの侵入によって発生する散乱光の撮影を行う。このとき、平板状の赤外線光７１の周囲や背景が撮影範囲に含まれるが、フィルター部材５１が可視光をカットするので、周囲の物体や背景は撮影されず、専ら、指先Ｆに生じる散乱光を撮影することができる。
【００４０】
［制御装置］
図８は非接触式入力装置１０の制御系を示すブロック図である。
制御装置９は、画像表示装置１、発光部７、カメラ５に接続され、これらを統括的に制御する。なお、制御装置９には、画像表示装置１、発光部７、カメラ５を駆動させる駆動回路やインターフェイス、カメラ５の撮影画像データを処理する画像処理装置が併設されているが、これらの図示は省略する。
制御装置９は、画像表示装置１において表示画像１１として表示する複数種類の表示画像データを備えるデータメモリ９１と、これらの表示画像データに従って画像表示装置１において表示画像１１を表示させる表示制御部９２とを備えている。
また、制御装置９は、表示画像１１の表示と発光部７による平面状の赤外線光７１の照射を行っている状態で、周期的にカメラ５による撮影を実行させる撮影制御部９３を備えている。
さらに、制御装置９は、周期的な撮影により撮影画像データを取得すると、散乱光が発生してない状態で撮影された基準画像データとの差分画像データを生成し、これによって散乱光の発生位置、即ち、観察者の指先Ｆの位置を検出する指示位置検出部９４を備えている。
また、制御装置９は、検出された指先Ｆの位置と表示画像１１として表示されている表示画像データとを照合して、表示画像１１（空中像１２）内のいずれの位置に指示入力が行われているかを判定すると共に、表示画像１１として表示されている表画像データの表示内容と判定された指示入力位置から観察者が入力した指示内容を特定する指示内容特定部９５を備えている。
指示内容特定部９５において特定された指示内容は、非接触式入力装置１０の図示しない外部装置に出力し、当該外部装置の処理又は制御に利用することができる。
また、指示内容特定部９５において特定された指示内容は、表示制御部９２に入力され、表示制御部９２では、指示内容に応じた新たな表示に切り替える表示制御を行う構成としても良い。
【００４１】
［非接触式入力装置の各構成による作用］
上記構成からなる非接触式入力装置１０は、画像表示装置１において所定の表示画像データに基づいて表示画像１１が表示されると、画像表示装置１からの光が光学プレート２の入射面２２に入射し、出射面２３側からビームスプリッター４を透過して出射される。
その結果、光学プレート２について面対称となる位置に空中像１２が結像する。この空中像１２は、表示画像１１と同様に、所定の表示画像データに基づいた画像となる。
画像表示装置１による表示画像１１の表示と共に、発光部７では各LEDが発光し、空中像１２に沿って平面状の赤外線光７１が形成される。
観察者は、空中像１２をその正面から観察し、空中像１２に対して指先Ｆにより指示入力操作を実行する。これにより、指先Ｆが平面状の赤外線光７１に侵入して赤外線の散乱光が発生する。
カメラ５は、ビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように向けられているので、指先Ｆに生じた赤外線の散乱光は、空中像１２に対して垂直方向から撮影される。
このとき、ビームスプリッター４には半透過層４１が形成されているので、指先Ｆに生じた赤外線の散乱光は、その殆どがビームスプリッター４を透過することなくカメラ５側に反射される。
また、観察者の指先Ｆの周囲の可視光の大部分は、ビームスプリッター４の半透過層４１を透過し、反射した一部の可視光もカメラ５のフィルター部材５１でカットされ、その殆どは撮影されない。
このように、非接触式入力装置１０は、指先Ｆの周囲の可視光を十分に排除した状態で、空中像１２に対する垂直方向から指先Ｆに生じた赤外線の散乱光を撮影し、これに基づいて観察者の指先Ｆの指示位置を精度良く検出して、その指示内容を特定することができる。
【００４２】
［第一の実施形態の技術的効果］
上記非接触式入力装置１０では、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４を介して、カメラ５が空中像１２側の観察者の指先Ｆの赤外線散乱光を撮影している。
このため、観察者の指先Ｆの赤外線散乱光を空中像１２に対する垂直方向から撮影することができ、台形歪みを低減して、指示位置検出部９４が、より正確に指先Ｆが指し示す入力位置座標を検出することが可能となる。
また、台形歪みを低減するので、空中像１２を大型化した場合でも、入力位置座標をより正確に検出することが可能となる。
さらに、台形歪み低減のためにカメラ５を空中像１２から離して配置する必要がなくなり、装置の小型化を図ることが可能となる。
また、観察者から見て、カメラ５を空中像１２、ビームスプリッター４を介した配置としているので、カメラ５を観察者から認識されにくい配置とすることができる。
【００４３】
また、非接触式入力装置１０は、空中像１２に沿った平面状の赤外線光７１を発光する発光部７を有するので、平面状の赤外線光７１に侵入した観察者の指先Ｆに生じる散乱光に基づいて、当該指先Ｆの位置を容易且つより正確に検出することができる。
特に、発光部７からの平面状の検出光を赤外線光としているので、指先Ｆの周囲の可視光線との識別を行うことができ、指先Ｆの位置をより正確に検出することができる。
【００４４】
また、カメラ５が、可視光をカットするフィルター部材５１を介して観察者の指先Ｆに生じる散乱光を撮影するので、指先Ｆの周囲の可視光の影響を低減して当該指先Ｆの位置を検出することができ、検出精度をさらに向上させることが可能となる。
【００４５】
また、ビームスプリッター４が、表面で可視光を透過し、不可視光である赤外線光を反射する半透過層４１を有するので、指先Ｆの周囲の可視光の影響をさらに低減することができ、指先Ｆの位置検出精度をさらに向上させることが可能となる。
【００４６】
また、非接触式入力装置１０では、平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子として、プレート平面に対して垂直方向から見て互いに直交する複数の反射面２１２，３１２を有する光学プレート２を使用している。
これにより、より精細に空中像１２を結像させることが可能となる。
【００４７】
ここで、カメラ５が撮影する方向が空中像１２に対する法線方向に対して傾斜を生じた場合の分解能への影響について説明する。
図９は撮影面に対してカメラ５の光軸５ａを垂直に向けて撮影を行う場合（正対状態とする）と撮影面の法線に対してカメラ５の光軸５ａが傾斜角度θで傾斜した場合（傾斜状態とする）における各部の寸法を示す説明図である。
【００４８】
図９の符号は以下の通りである。
ω：カメラ５の半画角
Ｔ：カメラ５から撮影面Ｅまでの距離
Ｄａ：正対状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
Ｄｂ：傾斜状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
ａ：正対状態のカメラ５の撮影範囲の一端部から傾斜状態の撮影範囲の一端部までの撮影面Ｅに沿った方向の幅
ｂ：正対状態のカメラ５の撮影範囲の他端部から傾斜状態の撮影範囲の他端部までの撮影面Ｅに沿った方向の幅
【００４９】
上記各寸法について次式(1)〜(4)が成立する。
ａ＝Ｔtanω−Ｔtan(ω−θ)＝Ｔ{tanω−tan(ω−θ)}    …(1)
ｂ＝Ｔtan(ω＋θ)−Ｔtanω＝Ｔ{tan(ω＋θ)−tanω}    …(2)
Ｄｂ＝Ｄａ−ａ＋ｂ＝Ｄａ−２Ｔtanω＋Ｔtan(ω−θ)＋Ｔtan(ω＋θ)    …(3)
Ｄａ＝２Ｔtanω    …(4)
【００５０】
正対状態から傾斜状態にカメラ５を傾斜させた場合の分解能の低下率Ｒは次式(5)により求まる。なお、これらの計算は、カメラ５の光学系のレンズの歪曲収差を考慮しておらず、概算的なものである。
Ｒ＝Ｄａ／Ｄｂ
＝２Ｔtanω／{Ｔtan(ω−θ)＋Ｔtan(ω＋θ)}
＝２tanω／{tan(ω−θ)＋tan(ω＋θ)}    …(5)
【００５１】
上式(5)によれば、例えば、カメラ５の光軸５ａが空中像１２の法線に対して30°傾斜した方向から撮影した場合には、分解能の低下率Ｒ＝66.7％となる。
従って、非接触式入力装置１０のようにビームスプリッター４を介してカメラ５の光軸５ａが空中像１２に対して垂直となる方向から撮影した場合には、台形歪みの影響だけでなく、傾斜による分解能の低下を効果的に抑制し、観察者の指先Ｆをより精度良く検出することが可能となる。
【００５２】
［全反射ミラーの追加］
図１０は非接触式入力装置１０に全反射ミラー５２を加えた例を示している（一部の構成については図示を省略している）。なお、この例では、全反射ミラー５２を新たに加えたこと及びカメラ５の配置以外については前述した非接触式入力装置１０と同一なので、他の構成については同符号を付して重複する説明は省略する。
【００５３】
非接触式入力装置１０では、表示画像１１から光学プレート２を経て空中像１２に到るまでの光の経路を避けてカメラ５を配置する必要があるので、図１の構成ではカメラ５を、光学プレート２から離間させて配置していた。
そこで、ビームスプリッター４に反射面が対向する配置で全反射ミラー５２を設け、当該全反射ミラー５２によりカメラ５の光軸５ａをビームスプリッター４側に反射させ、さらに、ビームスプリッター４に反射した光軸５ａが空中像１２に対して垂直となるようにカメラ５を配置する。
【００５４】
これにより、カメラ５をビームスプリッター４に対してより近い位置、さらには、ビームスプリッター４よりも画像表示装置１側に配置することができ、非接触式入力装置１０の小型化を図ることが可能となる。
また、ビームスプリッター４の上方にカメラ５の配置スペースが確保できないような場合にも有効である。
【００５５】
なお、全反射ミラー５２は、反射面がＸ−Ｙ平面に平行となるように配置しても良いが、カメラ５の光軸５ａが空中像１２に対して垂直となるのであれば、全反射ミラー５２の反射面をＸ−Ｙ平面に対して傾斜させて配置しても良い。
【００５６】
［第二の実施形態］
本発明の第二の実施の形態である非接触式入力装置１０Ａについて図１１及び図１２に基づいて説明する。図１１は非接触式入力装置１０Ａの主要な構成を模式的に示す説明図である。
この非接触式入力装置１０Ａは、平面的な被対象物（表示画像１１）からの光を空中に結像させて空中像１２を形成する光学素子として再帰反射体２Ａを使用したことを特徴としている。
そして、この非接触式入力装置１０Ａの構成は、光学プレート２を再帰反射体２Ａに替えた点を除いて前述した非接触式入力装置１０と同一なので、同一となる構成については同符号を付して重複する説明は省略する。また、図１１では筐体８及び制御装置９の図示は省略している。
【００５７】
再帰反射体２Ａは、再帰反射面２１Ａをビームスプリッター４側に対向させた状態で、当該ビームスプリッター４の表示画像１１側に配置されている。
再帰反射体２Ａの再帰反射面２１Ａは、再帰反射性を備えており、再帰反射面２１Ａに入射した光を内部反射により入射方向と平行且つ逆方向に出射する特性を有している。
その反射面には、微小球体からなるガラスビーズやマイクロプリズムが全体に敷き詰められており、ガラスビーズ又はマイクロプリズムへの入射光を内部での屈折と反射によって平行且つ逆方向に出射させることができる。なお、再帰反射体については周知の構造であるため、詳細な説明は省略する。
【００５８】
再帰反射体２Ａは、表示画像１１からの光がビームスプリッター４で反射して再帰反射面２１Ａに入射するように配置されている。
この再帰反射体２Ａは、図１２に示すように、上記配置により、表示画像１１の点ｄからビームスプリッター４に向かって各方向に発せられた光は、いずれも、再帰反射体２Ａの再帰反射面２１Ａにより、入射方向と平行に逆方向に反射する。これにより、表示画像１１の点ｄから発せられた光は、ビームスプリッター４を透過して、当該ビームスプリッター４について面対称となる点ｄ0に結像する。
表示画像１１のいずれに位置する点ｄも全て同様に結像するので、表示画像１１はビームスプリッター４について面対称となる位置に結像して空中像１２が形成される。
【００５９】
なお、再帰反射体２Ａの再帰反射面２１Ａは、図１１に示すように、ビームスプリッター４及び表示画像１１側を向くように傾斜させることが望ましいが、表示画像１１に対して垂直にビームスプリッター４に向かった光の当該ビームスプリッター４による反射光が全体的に再帰反射体２Ａの再帰反射面２１Ａに入射させることが可能であれば、その傾斜角度は変更可能である。
【００６０】
この非接触式入力装置１０Ａは、前述した非接触式入力装置１０と同様に、カメラ５はビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように配置されているので、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。
さらに、非接触式入力装置１０Ａは、光学素子として再帰反射体２Ａを備えているので、光学プレート２に比べて比較的製造が容易であり、製造コストの低減を図ることができる。
また、再帰反射体２Ａは、その再帰反射面２１Ａの傾斜角度をより広範囲に設定することができるので、装置の内部構成の配置について設計の自由度が高く、また、装置の小型化を容易に実現することができる。
【００６１】
［カメラと再帰反射体の配置の他の例］
図１３は装置内部におけるカメラ５と再帰反射体２Ａの配置の他の例を示す説明図である。
この例では、ビームスプリッター４に対する画像表示装置１の配置は図１１の非接触式入力装置１０Ａの配置と同じだが、カメラ５の配置が、図１１の非接触式入力装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更され、再帰反射体２Ａの配置が、図１１の非接触式入力装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更されている。
また、この図１３の例の場合、ビームスプリッター４に半透過層４１は、形成されない。
【００６２】
カメラ５と再帰反射体２Ａを図１３に示す配置とした場合には、画像表示装置１において表示画像１１が表示されると、画像表示装置１からの光がビームスプリッター４を透過して再帰反射体２Ａの再帰反射面２１Ａに再帰反射され、その反射光はビームスプリッター４で反射されて、当該ビームスプリッター４について表示画像１１と面対称となる位置で空中像１２として結像する。
一方、カメラ５は、光軸がビームスプリッター４を透過して、空中像１２に対して垂直となるように配置されているので、発光部７の平面状の赤外線光７１によって生じる観察者の指先Ｆの散乱光を正面から撮影することができる。
従って、この図１３に示す配置の場合も、図１１の非接触式入力装置１０Ａと同様に、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。
【００６３】
［ステレオカメラの使用例］
また、前述した図１，図１０，図１１，図１３に示す非接触式入力装置は、いずれも単一のカメラ５により観察者の指先Ｆの撮影を行う構成を例示したが、図１４に示すように、カメラ５に替えてステレオカメラ５Ｂを使用しても良い。
この図１４では、図１の非接触式入力装置１０のカメラ５をステレオカメラ５Ｂに変更した場合を例示する。
【００６４】
ステレオカメラ５Ｂは二つのカメラ５５Ｂ，５６Ｂからなり、これらはいずれもビームスプリッター４を介する光軸が空中像１２に対して垂直となるように配置され、ビームスプリッター４より手前側において、少なくとも各々の光軸に垂直となるいずれかの方向について離間して配置されている。ここでは、カメラ５５Ｂ，５６Ｂが互いにＸ方向に離間して配置されている場合を例示する。
【００６５】
ステレオカメラ５Ｂを使用する場合には、非接触式入力装置に発光部７を設ける必要はない。また、発光部７を設けないので、各カメラ５５Ｂ，５６Ｂにはいずれも可視光をカットするフィルター部材は装備する必要はなく、また、ビームスプリッター４にも、可視光を透過し、不可視光を反射する半透過層４１は形成する必要はない。
【００６６】
ステレオカメラ５Ｂを設ける構成の場合、非接触式入力装置の制御装置は、二つのカメラ５５Ｂ，５６Ｂにより観察者の指先Ｆを個別に撮影し、それぞれのカメラ５５Ｂ，５６Ｂの撮影画像に対して画像処理を行って指先Ｆのパターン抽出を行う。
そして、それぞれのカメラ５５Ｂ，５６Ｂの撮影範囲内の二次元座標における指先Ｆの位置座標を求める。二つのカメラ５５Ｂ，５６Ｂはステレオカメラ５Ｂを構成しているので、カメラ５５Ｂとカメラ５６Ｂのそれぞれの指先Ｆの位置座標から各カメラ５５Ｂ，５６Ｂから指先Ｆまでの光軸上の距離を特定することができる。
従って、各カメラ５５Ｂ，５６Ｂから指先Ｆまでの光軸上の距離が、予め記憶している各カメラ５５Ｂ，５６Ｂから空中像１２までの光軸上の距離と一致する場合には、指先Ｆが空中像１２のいずれかの位置に対して指示入力を行っているものと判断することができる。
そして、制御装置は、指先Ｆが指示入力を行っていると判断した場合には、その時のカメラ５５Ｂ又は５６Ｂの指先Ｆの位置座標と予め記憶している空中像１２の位置座標とを照合して、指先Ｆが空中像１２に対して指示入力を行っている指示位置を検出することができる。つまり、制御装置は指示位置検出部として機能する。
【００６７】
ここでは、図１の非接触式入力装置１０にステレオカメラ５Ｂを適用した場合を例に説明したが、図１０，図１１，図１３に示す非接触式入力装置にステレオカメラ５Ｂを適用した場合も、発光部７を設けることなく、指先Ｆによる指示位置を検出することができる。
そして、図１，図１０，図１１，図１３に示す非接触式入力装置にステレオカメラ５Ｂを適用した場合には、発光部７を不要とし、フィルター部材５１や半透過層４１も不要となるので、非接触式入力装置の構成を簡略化し、これに伴う装置の小型化を実現することができる。
さらに、図１，図１０，図１１，図１３に示す非接触式入力装置のいずれにステレオカメラ５Ｂを適用した場合でも、各カメラ５５Ｂ，５６Ｂは、空中像１２に対して垂直となる方向に光軸が向けられるので、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。
【００６８】
［非接触式入力装置の適用例］
図１，図１０，図１１，図１３に示す非接触式入力装置についてはデジタルサイネージ装置への適用について言及したがこれに限定されない。これらの非接触式入力装置はいずれも、空中像１２に対して指先Ｆで指示入力操作を行うことができるので、例えば、指先Ｆをいずれにも接触させたくないような環境での指示入力操作に用いることができる。
【００６９】
例えば、図１５は、前述した図１の非接触式入力装置１０の構成を寿司屋の注文を行うための注文入力装置に適用した場合の説明図である。
この例では、非接触式入力装置１０の筐体８が、食事を行うカウンターから構成されている。非接触式入力装置１０の主要な構成は、寿司ネタを格納する保冷庫８１の下側に配置され、空中像１２は、食事を行うテーブル８２側から見てその正面に結像される。
表示画像１１及び空中像１２としてメニューが表示され、空中像１２のメニューに対して客（観察者）は指先Ｆでメニューを選択して注文を行う。
特に、寿司屋では箸を使用せずに直接手づかみで食事が行われる場合もあるので、指先Ｆを非接触で注文することができるようにすることが衛生面からも好適である。
また、いずれの食事を行う場合でも、指先Ｆは清潔に維持すべきであることから、寿司に限らず、あらゆる食堂やレストラン等での注文入力装置に非接触式入力装置を適用しても良いことは言うまでもない。
【００７０】
また、食事の場に限らず、その他の衛生上の必要性が高い用途としては、医療現場が挙げられる。例えば、非接触式入力装置を、医療機器の操作の入力装置、医療情報の入出力装置、その他の操作入力を要するあらゆる装置として適用することが可能である。
また、逆に、指先Ｆが不衛生となりやすい環境、例えば、屋外作業、清掃作業、廃棄物処理等の作業現場において、機械の操作、端末の入力作業、その他の操作入力を要するあらゆる装置として、非接触式入力装置を適用することも可能である。この場合は、操作入力により対象となる装置の汚染を抑制することができる。
【００７１】
［その他］
その他、上述した各種の実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、発光部７を有する非接触式入力装置では、カメラ５にフィルター部材５１を設け、ビームスプリッター４には半透過層４１が形成されているが、これらはいずれか一方のみを設ける構成としても良い。
【００７２】
また、発光部７では平面状の赤外線光７１を空中像１２に沿わせて投光しているがこれに限られない。
例えば、画像表示装置１の表示画像１１を表示する表示部に光透過性の乱反射シートを貼り、発光部が乱反射シートに赤外線光を照射する構成としても良い。
その場合、画像表示装置１の表示画像１１を表示する表示部がその表面に沿って赤外線の乱反射を生じ、光学プレート２等の光学素子の働きによって空中像１２の表面にも赤外線の乱反射が平面状に結像する。従って、観察者が空中像１２に対して指示入力作業を行うと、指先Ｆに赤外線の散乱光が発生し、発光部７による平面状の赤外線光７１と同様に，指先Ｆの位置を検出することができる。
【００７３】
また、上記各実施形態では、指示入力を行う指示物体として観察者の指先Ｆを例示したが、これに限定されない。例えば、支持棒やライト、その他、位置を指し示す器具を指示物体としてもよい。また、ライトの発光部分を赤外線等の不可視光を発光させる構成とした場合には発光部７を不要とすることができる。
【符号の説明】
【００７４】
１  画像表示装置
１１  表示画像（被対象物）
１２  空中像
２  光学プレート（光学素子）
２Ａ  再帰反射体（光学素子）
２０，３０  光学パネル
２１，３１  板状部材
２１Ａ  再帰反射面
２１１，３１１  透明基板
２１２，３１２  反射面
４  ビームスプリッター
４１  半透過層
５  カメラ
５Ｂ  ステレオカメラ
５ａ  光軸
５１  フィルター部材
５２  全反射ミラー
５５Ｂ，５６Ｂ  カメラ
７  発光部
７１  赤外線光（平面状の検出光）
８  筐体
９  制御装置
９１  データメモリ
９２  表示制御部
９３  撮影制御部
９４  指示位置検出部
９５  指示内容特定部
１０，１０Ａ  非接触式入力装置
Ｆ  指先（指示物体）
【図１】
2019133284.tif 000003
【図２】
2019133284.tif 000004
【図３】
2019133284.tif 000005
【図４】
2019133284.tif 000006
【図５】
2019133284.tif 000007
【図６】
2019133284.tif 000008
【図７】
2019133284.tif 000009
【図８】
2019133284.tif 000010
【図９】
2019133284.tif 000011
【図１０】
2019133284.tif 000012
【図１１】
2019133284.tif 000013
【図１２】
2019133284.tif 000014
【図１３】
2019133284.tif 000015
【図１４】
2019133284.tif 000016
【図１５】
2019133284.tif 000017
【図１６】
2019133284.tif 000018
【図１７】
2019133284.tif 000019