(57)【要約】【課題】操作者の手指等を用いた入力操作を、装置を意識することなく、非接触で自然に行うことができる表示入力装置を提供する。【解決手段】本発明の表示入力装置は、フラットパネルディスプレイＤの制御手段と、パネル状の結像光学素子１と、超音波または音波を送受信する音波発信手段（スピーカー４）および音波受信手段（マイクロホン５）と、これらに繋がる動体検出手段とを備え、ディスプレイＤが、結像光学素子１の下方に、その表示面Ｄａを所定角度（α）傾けた状態で配設されている。上記動体検出手段は、音波発信手段から操作者の手指Ｈ側に向かって発射され、この手指Ｈで反射した反射超音波等を解析して検出信号に変換する。そして、上記制御手段が、検出信号にもとづき、上記ディスプレイＤに、上記手指Ｈの位置と動きに対応した映像（画像Ｉ）を表示し、この画像Ｉの鏡映像が、結像光学素子１の上方に空間像Ｉ’として投影される。【選択図】図１
2014032600.tif 000002
【特許請求の範囲】
【請求項１】
フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、操作者の手指を用いた指示入力に対応して、上記フラットパネルディスプレイの映像をインタラクティブに更新する表示入力装置であって、上記フラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、超音波または音波を送受信する音波発信手段および音波受信手段と、これらに繋がる動体検出手段とを備え、上記フラットパネルディスプレイが、上記パネル状の結像光学素子の下方の位置に、その表示面を所定角度傾けた状態で配設され、上記音波発信手段が、上記操作者側に向かって超音波または音波を投射可能な位置に配置され、上記音波受信手段が、上記音波発信手段から発せられ上記手指で反射した反射超音波または反射音波を検出し、上記動体検出手段に入力するように配設されているとともに、上記動体検出手段が、上記反射超音波または反射音波を解析して上記手指の位置と動きを検出信号に変換し、上記制御手段が、この検出信号にもとづき、上記フラットパネルディスプレイに、上記操作者の手指の位置と動きに対応した映像を表示させるようになっていることを特徴とする表示入力装置。
【請求項２】
上記動体検出手段が、上記音波受信手段から入力された反射超音波または反射音波のスペクトルのうち、ドップラー効果による周波数シフト成分を演算により抽出し、上記操作者の手指の位置および動きの方向，速度を解析するようになっている請求項１記載の表示入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真等の二次元画像を空間に浮かび上がった空間像として表示するとともに、この空間像を、操作者の手指等によりインタラクティブに操作することのできる表示入力装置に関するものである。
【背景技術】
【０００２】
空間に画像や映像等を表示（投影）する方式としては、二眼方式，多眼方式，空間像方式，体積表示方式，ホログラム方式等が知られており、近年では、上記空間に表示された二次元映像または三次元映像（空間像）を、手や指等（以下「手指」という）を用いて直感的に相互作用的操作（インタラクション）可能な表示入力装置が提案されている。
【０００３】
このような表示入力装置における手指の認識入力手段（ユーザインタフェース）として、多数のＬＥＤやランプ等により、検知領域（平面）に縦横の光の格子を形成し、入力体（手指等）による光の格子の遮蔽（遮光）を受光素子等で検知して、その入力体の位置や座標等を検出するシステムが提案されている（特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４１１０２号公報
【特許文献２】特開２００７−１５６３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のように、検知平面に形成した不可視の光の格子の遮蔽を検知して入力体の位置や座標等を検出する表示入力装置は、空間像が、上記ＬＥＤや受光素子の設置に利用される枠（中空のフレーム）の中に表示されるため、この枠が操作者の視野内に入ってしまい、立体感や臨場感等が得られにくいという問題がある。また、上記枠が、入力操作の際の障害物や視覚上の邪魔な物として意識される場合があり、その場合、操作者による入力操作（手指等の動き）が制約を受けたり、滑らかでなくなってしまうおそれがある。さらに、上記ＬＥＤや受光素子に外光が入射し、誤動作を起こす場合も考えられる。
【０００６】
本発明は、このような事情に鑑みなされたもので、操作者の手指等を用いた入力操作を、装置を意識することなく、非接触で自然に行うことができる表示入力装置の提供をその目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の表示入力装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、操作者の手指を用いた指示入力に対応して、上記フラットパネルディスプレイの映像をインタラクティブに更新する表示入力装置であって、上記フラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、超音波または音波を送受信する音波発信手段および音波受信手段と、これらに繋がる動体検出手段とを備え、上記フラットパネルディスプレイが、上記パネル状の結像光学素子の下方の位置に、その表示面を所定角度傾けた状態で配設され、上記音波発信手段が、上記操作者側に向かって超音波または音波を投射可能な位置に配置され、上記音波受信手段が、上記音波発信手段から発せられ上記手指で反射した反射超音波または反射音波を検出し、上記動体検出手段に入力するように配設されているとともに、上記動体検出手段が、上記反射超音波または反射音波を解析して上記手指の位置と動きを検出信号に変換し、上記制御手段が、この検出信号にもとづき、上記フラットパネルディスプレイに、上記操作者の手指の位置と動きに対応した映像を表示させるようになっているという構成をとる。
【０００８】
すなわち、本発明者は、前記課題を解決するため研究を重ね、その結果、パネル状の結像光学素子を用いて、この結像光学素子に対して面対称となる上方に、写真等の二次元画像を浮かび上がった（立ち上がった）状態で結像させるとともに、その結像光学素子の周囲の適切な位置に、超音波または音波（以下、超音波等）を用いて操作者の手指等の位置と動きを非接触で検知する音波送受信手段（送受信器）を配設することにより、従来の枠を用いた光学検出手段のように障害物やシステムを意識することなく、自然な入力操作が可能になることを見出した。
【発明の効果】
【０００９】
本発明の表示入力装置は、フラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、これらを収容するケースとを備え、超音波等を発信する音波発信手段が、操作者側に向かって超音波等を投射可能な位置に配置され、音波受信手段が、上記操作者の手指等による上記超音波等の反射波を検出し、動体検出手段に入力するようになっている。そして、上記表示入力装置は、上記動体検出手段が、上記反射超音波等を解析して手指の位置や動きを検出信号に変換し、この検出信号にもとづいて、上記フラットパネルディスプレイの制御手段が、その画面上に、操作者の手指等の位置と動きに対応した適切な映像を表示・更新するようになっている。これにより、本発明の表示入力装置は、操作者が、手指の位置等を検出する手段（装置やシステム）を意識することなく、この手指を用いた入力操作を、非接触でかつ自然な形で行うことができる。また、これにより、本発明の表示入力装置は、上記フラットパネルディスプレイの表示面上の映像を、上記操作者の手指等による入力操作に対応して、インタラクティブに更新することが可能になる。しかも、上記表示入力装置は、誰でも直感的に操作できる、ユーザフレンドリーな装置とすることが可能で、外光等の影響を受け難いという利点がある。
【００１０】
また、本発明の表示入力装置のなかでも、上記動体検出手段が、上記音波受信手段から入力された反射超音波または反射音波のスペクトルのうち、ドップラー効果による周波数シフト成分を演算により抽出し、上記操作者の手指の位置および動きの方向，速度を解析するようになっているものは、少ない個数の音波送受信手段（送受信器）で、上記操作者の手指の位置（座標）や動きを、二次元的（平面的）あるいは三次元的（立体的）に検出することが可能になる。したがって、本発明の表示入力装置は、操作者による複雑な動きのゼスチャー操作入力にも対応することができる。
【００１１】
なお、本発明において用いる「超音波」とは、人間の可聴周波数（振動数）以上の高い振動数を持つ弾性振動波（音波）であり、通常、１６〜１８ｋＨｚ以上の振動数の音波をいう。ただし、本発明における音波と超音波の境界は特に定める必要はなく、どちらも同じように利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態の表示入力装置の構成を示す断面図である。
【図２】本発明の第１実施形態における表示入力装置の使用方法を説明する図である。
【図３】本発明の第１実施形態の表示入力装置にフラットパネルディスプレイをセットする方法を説明する一部断面図である。
【図４】（ａ）は本発明の実施形態で用いるマイクロミラーアレイの構造を示す模式図であり、（ｂ）はマイクロミラーアレイによる空間像の結像様式を説明する図である。
【図５】本発明の第２実施形態の表示入力装置の構成を示す断面図である。
【図６】本発明の第２実施形態の表示入力装置の構成を示す斜視図である。
【発明を実施するための形態】
【００１３】
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
【００１４】
図１は、本発明の第１実施形態における表示入力装置の構成を示す模式的断面図であり、図２は、上記表示入力装置の使用方法を説明する図である。なお、本例においては、フラットパネルディスプレイ（符号Ｄ）には、携帯電話（スマートフォン等）の液晶表示画面（ＬＣＤ）を利用している。また、上記表示入力装置を収納するケースを符号１０、このケース１０の上面開口を蓋する透明な板状部材（透明板）を符号２、入力操作（ゼスチャー）を行う操作者の手指等を符号Ｈで示している。さらに、これらの図では、ＬＣＤ画面に表示される「画像」（図１中の太線矢印Ｉ等）および投影される「空間像」（図１中の太線矢印Ｉ’等）は、その厚みを強調して図示している。
【００１５】
本実施形態の表示入力装置は、図１のように、上面開口形の有底箱状のケース１０の中に、フラットパネルディスプレイＤを載置するための載置台３と、パネル状の結像光学素子１とが配置され、外部に取り付けられたパネル１０ｂに、操作者の手指Ｈ等に向けて超音波等を発信する音波発信手段（超音波発振器、この例ではスピーカー４）と、このスピーカー４から発せられた超音波等の反射波を検出するための音波受信手段（超音波受信器、この例ではマイクロホン５，５’）とが配設されている。そして、このケース１０内の載置台３に載置された上記スマートフォン（Ｄ）は、その表示面Ｄａを上記結像光学素子１に対して所定角度（α）傾けた状態で配設され、このスマートフォン（Ｄ）が、上記フラットパネルディスプレイＤの表示を制御する制御手段、および、上記マイクロホン５，５’で検出された音声等を解析する動体検出手段（いずれも、スマートフォンに内蔵のプログラムまたはアプリケーション，図示省略）を備えている。これが、本発明の表示入力装置の特徴である。
【００１６】
上記表示入力装置について、詳しく説明すると、上記各部材を収容するケース１０は、図１のように、その上面の開口部に前記透明板２が配置されているとともに、ケース１０の内面は、光による乱反射を防止するために、黒色（色度０，彩度０，明度０）もしくはこれに近い暗色とされている。なお、このケース１０の一側面には、図２，図３に示すように、後記のフラットパネルディスプレイＤ（図ではスマートフォン）をこのケース１０の内部（載置台３の上）に挿入するためのスリット状の挿入口１０ａが設けられている。
【００１７】
上記ケース１０の上面開口部に配設されてこのケース１０を蓋する透明板２は、ケース開口方向（上下方向）の光の透過（空間像Ｉ’の結像）と、上記結像光学素子１等の取り付け（位置決め固定）のために設けられているもので、ガラス板やアクリル樹脂板等、可視光領域の光透過率が８０％以上の硬質な板状部材から形成されている。
【００１８】
上記透明板２に取り付けられるパネル状の結像光学素子１は、その一方の面側に存在する画像Ｉや映像等を、他方の面側に実像（空間像Ｉ’）として結像させる結像機能を備えるもので、本発明の表示入力装置には、フレネルレンズ等を含む各種レンズや、アフォーカル光学系のマイクロミラー，コーナーリフレクタ等の屈折型結像素子、マイクロレンズアレイ等の正立等倍型結像素子を用いることができる。なかでも、本実施形態においては、図１のように、結像光学素子１の素子面Ｐに対して面対称の位置に像を結ぶ、マイクロミラーアレイ（凸型コーナーリフレクタアレイ、詳細構造は図４を参照）が好適に使用される。なお、この例では、上記マイクロミラーアレイ（結像光学素子１）が、上記ケース１０の上面開口部に取り付けられた透明板２（蓋部材）の下面（内面）側に取り付けられているが、上記透明板２に結像光学素子１と同形状の開口（穴）を設け、この開口に嵌め込んで固定するようにしてもよい。
【００１９】
このマイクロミラーアレイ（コーナーリフレクタアレイ）について、より詳しく説明すると、このマイクロミラーアレイは、図４（ａ）に示すように、基板（基盤）１１の下面（図１における結像光学素子１の下面１ｂ側）に、下向き凸状の多数の微小な単位光学素子１２（コーナーリフレクタ）が、斜め碁盤目状に並ぶように配列されている〔図４（ａ）はアレイを下側から見上げた図である。〕。
【００２０】
それぞれの単位光学素子１２は、各コーナー１２ｃを構成する２つの光反射面（第１の側面１２ａ，第２の側面１２ｂ）が、操作者の視点の方向（図１，図２における右側）を向くようになっている。なお、このマイクロミラーアレイ（結像光学素子１）を上から見た場合、図４（ｂ）のように、上記アレイは、その外縁（外辺）を上記ケース１０の正面（操作者側であるＥ側）に対して４５°回転させて配設されており、結像光学素子１の下側の画像Ｉが、この結像光学素子１に対して面対称の位置（結像光学素子１の上方）に空間像Ｉ’を結像するようになっている。
【００２１】
つぎに、上記フラットパネルディスプレイＤを載置するための載置台３は、図１，図２に示すように、板状部材３ａと、この板状部材３ａを斜めに起立した状態で支持する左右一対の基台３ｂ，３ｂとからなり、ケース１０内部の、上記結像光学素子１の下面１ｂに対峙する位置（結像光学素子１の鉛直下方）に配設されている。上記板状部材３ａは、ケース１０の底面および結像光学素子１の素子面Ｐ（または結像光学素子１の下面１ｂ）に対して所定角度α傾いた状態で、上記基台３ｂ，３ｂに支持・固定されており、その上面が、フラットパネルディスプレイＤの載置面となっている。
【００２２】
そして、上記載置台３の載置面（板状部材３ａの上）に、フラットパネルディスプレイＤを備えるスマートフォン等を載置することにより、上記フラットパネルディスプレイＤの表示面Ｄａが、結像光学素子１の素子面Ｐに対して角度α傾いた状態で保持されるようになっている。なお、ケース１０内における上記載置台３の、結像光学素子１の素子面Ｐ（下面１ｂ）に対する傾斜角αは、結像光学素子１による結像作用が最適となるように調整されており、通常３０°以上９０°未満、好ましくは４０°以上８０°以下に設定されている。
【００２３】
また、上記画像Ｉの表示に用いられフラットパネルディスプレイＤとしては、バックライトを備える液晶表示パネル（ＬＣＤ）の他、プラズマディスプレイパネル，有機ＥＬ表示パネル等、全可視光波長にわたってなるべく偏りのない「白色」と、非表示時の「黒色」とを、コントラスト良く再現できるディスプレイパネルを使用することが望ましい。なお、フラットパネルディスプレイＤは、この例のように携帯電話または携帯情報端末等の表示部であってもよく、具体的には、スマートフォン，タブレット型ＰＣ，デジタルフォトフレームや、携帯型ゲーム機，携帯型ブックリーダー，ＰＤＡ，電子辞書等のうち、その表示部が常時露出する（カバーされていない）タイプのなかで、上記載置台３上に載置できるサイズのものを使用することができる。また、バックライトを有さないディスプレイを使用する場合は、別途設けた光源から表示画面に向けて光を照射し、その反射光を利用するようにすればよい。
【００２４】
そして、本実施形態の表示入力装置は、先にも述べたように、操作者の手指Ｈ等の位置と動きとを検出するために、図１，図２のように、ケース１０に延設されたパネル１０ｂに、操作者の手指Ｈの方向に向かって超音波等を投射（発射）するための音波発振器（スピーカー４）と、このスピーカー４から発せられ、上記操作者の手指Ｈ等で反射した反射波を検知するための音波受信器（マイクロホン５，５’）とが配設されている点が特徴である。
【００２５】
上記スピーカー４は、上記動体検出手段からの信号により、特定の周波数の超音波あるいは音波を発信するために用いられるもの（超音波発振器またはパルサートランスデューサの一部）で、電気信号を音波（空気振動）に変換できるものであれば、その形式は問わない。例えば、代表的なものとして、振動板を有するダイナミック型スピーカーを使用することができる。なお、上記スピーカー４は、操作者の方向に向かって超音波等を投射することが可能であれば、ケース１０外部や、上記操作者の近くに配設してもよく、その指向性（音波の配向特性）も、その使用形態により適宜選択される。また、上記スピーカー４には、図示しない駆動用電源等が接続されているとともに、上記動体検出手段を兼用するスマートフォンとの接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線接続、あるいは、ケーブル等を用いた有線接続により行われる。
【００２６】
また、上記マイクロホン５，５’は、超音波受信器またはパルサーレシーバの一部として構成されており、上記スピーカー４から発せられ、上記手指Ｈ等で反射した反射超音波または反射音波を検出し、上記動体検出手段を兼用するスマートフォン（Ｄ）に入力するようになっている。これらマイクロホン５，５’としては、音声等の取得に用いられる、ムービング・コイル型，コンデンサ型，リボン型等のマイクロホンが使用される。
【００２７】
そして、上記構成においては、操作者の手指Ｈ等で反射した反射波を検知し易いように、上記スピーカー４と同じ、ケース１０から上方に突出するパネル１０ｂに、互いに距離を空けて（間を離して）配設されており、上記超音波等による反射の時間差を利用した、手指Ｈの位置の三角測量が可能なようになっている。なお、上記マイクロホン５，５’にも、図示しない電源が接続されるとともに、上記動体検出手段を兼用するスマートフォンとの接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線接続、あるいは、ケーブル等を用いた有線接続により行われる。
【００２８】
また、上記実施形態では、三角測量法等により上記操作者の手指Ｈ等の位置や動きを正確に捉えるため、図２のように、同じマイクロホン５，５’を、ある程度距離を空けた状態で複数個（この例では２個）を並列に配置した例を示したが、これらマイクロホン５，５’も、ケース１０外部や、上記操作者に近くに配設してもよく、また、配置する場所や個数も、その使用形態により適宜選択される。さらに、マイクロホン５と前記スピーカー４とが一体（モジュール）となった超音波距離センサ（例えば、PARALLAX社製  ２８０１５等）を１個または複数個用いてもよい。
【００２９】
そして、本実施形態では、先に述べたように、上記動体検出手段として、スマートフォン（Ｄ）等に内蔵のプログラムまたはアプリケーション等を利用している。この動体検出手段（動体検出エンジン）は、各マイクロホン５，５’より入力された超音波等の反射波の差分を解析して、手指Ｈ等の位置（座標）や動き（速度や方向等）を検出信号として変換・出力し、この検出信号を、同じスマートフォンに搭載された制御手段（フラットパネルディスプレイＤのコントローラ）に伝達するようになっている。そして、この検出信号にもとづき、上記フラットパネルディスプレイＤのコントローラが、このフラットパネルディスプレイＤに、この検出信号に対応した映像を表示させる。
【００３０】
なお、上記実施形態では、スマートフォンが、上記動体検出手段としての機能と、上記フラットパネルディスプレイＤの制御手段としての機能、および、演算手段や管理手段としての機能の全てを兼用している例を示したが、上記スマートフォンの他に、コンピュータ等からなる制御部（コントローラ）を別途設け、表示機能以外の機能をこの制御部で分担するように構成してもよい。
【００３１】
また、上記表示入力装置が、音声認識手段を備える場合、上記マイクロホン５を外部音声や音等の入力（超音波等の受信と兼用）に用いて、その認識結果（音声指示）を、上記フラットパネルディスプレイＤの表示の更新に利用（併用）してもよい。さらに、上記表示入力装置が、上記フラットパネルディスプレイＤの表示に対応した音声または音を出力する音声合成手段または音声出力手段を備える場合、上記スピーカー４を利用して、上記表示に対応した文字列の読み上げや、警告音等の発声・発音を行うこともできる。
【００３２】
つぎに、上記フラットパネルディスプレイＤ（スマートフォン）を用いて、上記ケース１０の上方に、画像Ｉの実像（空間像Ｉ’）を投影・表示する方法について説明する。
【００３３】
上記表示入力装置において、上記画像Ｉを表示（投影）する場合、まず、フラットパネルディスプレイＤを備えるスマートフォンを準備し、このフラットパネルディスプレイＤに所定の加工（背景色変更やコントラスト向上等の画像処理）を施した画像Ｉ（図２，図３では、例として「犬の写真」）を表示させ、このスマートフォンを、上記画像Ｉの上下（天地）が逆さまなるようにして、上記挿入口１０ａのあるケース１０の側面近傍まで移動させる（図２，図３の矢印Ａ参照）。
【００３４】
つぎに、上記画像Ｉが逆さまの状態のまま、上記スマートフォンを、上記挿入口１０ａからケース１０の内部へ押し込む（図２，図３の矢印Ｂ）と、このスマートフォンが載置面上を横にスライドして、載置台３上の所定位置にセットされる（図２，図３のＣ位置）。これにより、上記フラットパネルディスプレイＤの画面に表示された平面的な二次元画像Ｉ（写真等）が、奥行き感を持った空間像Ｉ’（立体的二次元画像）として、パネル状の結像光学素子１の上方に表示（投影）される〔図２参照〕。
【００３５】
なお、上記載置台３の載置面を構成する板状部材３ａの代わりに、上記とは別のフラットパネルディスプレイを傾斜状に配置すれば、上記フラットパネルディスプレイＤを載置していない場合でも、画像Ｉの表示と空間像Ｉ’の投影を続けることができる。また、載置台３の載置面（板状部材３ａ）に、ＬＥＤディスプレイやＬＥＤデジタル時計等の自発光方式の表示装置を組み込めば、上記フラットパネルディスプレイＤを載置（挿入）していない場合でも、これらの表示と投影が途切れることなく続けられるため、好ましい。さらに、上記載置台３が、上記携帯電話や携帯情報端末等の充電（充電スタンドまたはクレードル）機能を備えるように構成すれば、ケース１０内部に挿入中に各機器の充電を済ますことが可能で、その充電のための時間を有効に活用することができる。
【００３６】
つぎに、本発明の第２実施形態について説明する。
図５，図６は、本発明の第２実施形態の表示入力装置の構成を示す図である。
【００３７】
第２実施形態の表示入力装置も、上面開口形の有底箱状のケース１０の中に、フラットパネルディスプレイＤを載置するための載置台３と、パネル状の結像光学素子１とが配置され、このケース１０の外部に外部に取り付けられたパネル１０ｂに、操作者の手指Ｈ等に向けて超音波等を発信する音波発信手段と、この音波発信手段から発せられた超音波等の反射波を検出するための音波受信手段が配設されている。また、ケース１０内の載置台３に載置された上記スマートフォン（Ｄ）は、上記フラットパネルディスプレイＤの表示を制御する制御手段、および、上記音波受信手段で検出された音声等を解析する動体検出手段（いずれも、スマートフォンに内蔵のプログラムまたはアプリケーション）を備えている。
【００３８】
上記第２実施形態の表示入力装置が、前記第１実施形態と異なるのは、超音波等を発信する音波発信手段（スピーカー）と超音波等の反射波を検出する音波受信手段（マイクロホン）とが、一体の超音波センサモジュールＭ（スピーカーに相当するパルサートランスデューサ６およびマイクロホンに相当するパルサーレシーバ７の一対）として構成され、このモジュールＭからデータが入力される動体検出手段が、上記モジュールＭのレシーバ７から入力された反射波の周波数スペクトルのうち、ドップラー効果による周波数シフト成分（ドップラーシフト）を演算により抽出し、操作者の手指Ｈ等の位置と、その動きの方向，速度とを、１台のモジュールＭで解析できるようになっている点である。
【００３９】
なお、その他の構成は、前記第１実施形態の表示入力装置と同様である。すなわち、ケース１０を蓋する透明板２に取り付けられるパネル状の結像光学素子１には、フレネルレンズ等を含む各種レンズや、アフォーカル光学系のマイクロミラー，コーナーリフレクタ等の屈折型結像素子、マイクロレンズアレイ等の正立等倍型結像素子を用いることができ、なかでも、マイクロミラーアレイ（凸型コーナーリフレクタアレイ、詳細構造は図４を参照）が好適に使用される。
【００４０】
また、画像Ｉの表示に用いられフラットパネルディスプレイＤとしては、バックライトを備える液晶表示パネル（ＬＣＤ）の他、プラズマディスプレイパネル，有機ＥＬ表示パネル等、全可視光波長にわたってなるべく偏りのない「白色」と、非表示時の「黒色」とを、コントラスト良く再現できるディスプレイパネルを使用することが望ましい。
【００４１】
さらに、上記超音波センサモジュールＭの音波発信手段（トランスデューサ６）および音波受信手段（レシーバ７）として、ともに、振動板を有するダイナミック型のものを用いれば、これらトランスデューサ６およびレシーバ７（すなわち、スピーカーおよびマイクロホン）として、同一の仕様の音響部品を使用することもできる。
【００４２】
そして、上記超音波センサモジュールＭも、上記動体検出手段を兼用するスマートフォン（Ｄ）との接続は、無線接続あるいは有線接続により行われる点は同様である。また、この超音波センサモジュールＭは、ケース１０の外部や操作者に近くに配設してもよく、配置する場所や個数も、その使用形態により適宜選択される。さらに、上記スマートフォン（Ｄ）の他に、コンピュータ等からなる制御部（コントローラ）を別途設け、上記動体検出手段，フラットパネルディスプレイＤの制御手段および演算手段や管理手段等としての機能を、この制御部で分担するように構成してもよい。
【００４３】
以上の構成により、第２実施形態における表示入力装置は、少ない個数の音波送受信手段（送受信器）で、操作者の手指等の位置（座標）や動きを、二次元的（平面的）あるいは三次元的（立体的）に検出することが可能になる。しかも、上記表示入力装置は、操作者の手指Ｈ等の複雑な動き（ゼスチャー操作入力）にも、的確に応答できるようになるという利点がある。
【００４４】
なお、上記２つの実施形態では、動体検出手段，制御手段，音声出力手段，演算手段等で用いられるプログラム（エンジン）を、スマートフォン等のローカルで運用する例を示したが、これら各プログラムは、前記別途用意したコントローラ等に分散配置してもよく、また、クラウド等のネットワークを介した外部（サーバ等）に配置してもよい。
【産業上の利用可能性】
【００４５】
本発明の表示入力装置は、入力装置を意識することなく、空間像と直感的にインタラクションできるため、ユーザが親しみやすいインタフェースデバイスとすることができる。
【符号の説明】
【００４６】
１  結像光学素子
４  スピーカー
５  マイクロホン
Ｄ  フラットパネルディスプレイ
Ｄａ  表示面
Ｈ  手指
Ｉ  画像
Ｉ’  空間像
【図１】
2014032600.tif 000003
【図２】
2014032600.tif 000004
【図３】
2014032600.tif 000005
【図４】
2014032600.tif 000006
【図５】
2014032600.tif 000007
【図６】
2014032600.tif 000008