(57)【要約】  表示エリアを含む前面を有するカバーガラスを含む、インタラクティブディスプレイが、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供する。装置が、プロセッサと、光源と、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあるカメラとを含む。カメラは、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光し、出力された光が、物体からカバーガラスによって受光され、カメラに向けられる。プロセッサは、カメラによって出力される画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離を特定する。
2017507428.tif 000002
【特許請求の範囲】
【請求項１】
表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザのための入力/出力(I/O)インターフェースを提供する、インタラクティブディスプレイと、
プロセッサと、
可視光または赤外光の一方または両方を放射する光源と、
前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にある少なくとも1つのカメラとを備え、
前記カメラは、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、前記散乱光のうちの少なくともある量が、前記物体から前記カバーガラスによって受光され、前記カメラに向けられ、
前記プロセッサは、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離の一方または両方を特定するように構成される、装置。
【請求項２】
前記プロセッサは、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離の両方を特定するように構成される、請求項1に記載の装置。
【請求項３】
前記カバーガラスは、前記前面に隣接して配置される第1の平面導光路を含み、前記第1の平面導光路は、前記散乱光を受光するように構成され、前記受光された散乱光のうちのある量は、前記第1の平面導光路内で内部全反射(TIR)を受ける、請求項1に記載の装置。
【請求項４】
光転向構成が、
前記第1の平面導光路の後方に配置される第2の平面導光路を含み、
前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項3に記載の装置。
【請求項５】
前記光源は前記第2の平面導光路に光学的に結合される、請求項4に記載の装置。
【請求項６】
前記インタラクティブディスプレイは、前記第1の平面導光路と前記第2の平面導光路との間に配置される、請求項4に記載の装置。
【請求項７】
前記第1の平面導光路は前記前面の前方に配置され、前記第2の平面導光路は前記第1の平面導光路の後方に配置され、
前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項4に記載の装置。
【請求項８】
前記第2の平面導光路は前記インタラクティブディスプレイのフロントライトとして機能する、請求項7に記載の装置。
【請求項９】
前記出力される光は、前記インタラクティブディスプレイの上方のエリアを照明する、請求項1に記載の装置。
【請求項１０】
前記プロセッサは、前記インタラクティブディスプレイおよび前記電子デバイスの一方または両方を制御するように構成される、請求項1に記載の装置。
【請求項１１】
前記光源は赤外光源であり、前記インタラクティブディスプレイは液晶ディスプレイである、請求項1に記載の装置。
【請求項１２】
前記プロセッサは、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記カメラからのタッチの前記距離を特定するように構成される、請求項1に記載の装置。
【請求項１３】
前記プロセッサは、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって前記距離を特定するように構成される、請求項12に記載の装置。
【請求項１４】
前記プロセッサは、前記カメラによって出力される、前記カメラによって受光された少なくとも1つの万華鏡反射の画像データを解析することによって、前記カメラの光軸に対するタッチの前記方位角を特定するように構成される、請求項1に記載の装置。
【請求項１５】
前記少なくとも1つのカメラは2つ以上のカメラを含み、前記プロセッサは、前記カメラによって出力される、画像データの三角測量によってタッチの前記方位角を特定するように構成される、請求項1に記載の装置。
【請求項１６】
前記表示エリアは24インチを超える対角線寸法を有する、請求項1に記載の装置。
【請求項１７】
プロセッサを用いて、少なくとも1つのカメラの出力からユーザタッチの場所を特定するステップと、
前記ユーザタッチの前記場所を特定するのに応答して、前記プロセッサを用いて、電子デバイス、および前記電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御するステップとを含み、
前記インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、
前記カメラは、前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にあり、
前記カメラの前記出力は、前記カメラを用いて、散乱光を受光することの結果として生じ、前記散乱光は前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、前記散乱光のうちの少なくともある量が、前記カバーガラスによって受光され、前記カメラに向けられ、
前記場所は、前記プロセッサが、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離を特定することによって特定される、方法。
【請求項１８】
前記ユーザタッチの前記場所を特定するステップは、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析するステップを含む、請求項17に記載の方法。
【請求項１９】
前記カメラからの前記物体の距離を特定するステップは、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析するステップを含む、請求項18に記載の方法。
【請求項２０】
前記方位角を特定するステップは、前記カメラによって受光された少なくとも1つの万華鏡反射の、前記カメラによって出力される画像データを解析するステップを含む、請求項19に記載の方法。
【請求項２１】
表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザのための入力/出力(I/O)インターフェースを提供する、インタラクティブディスプレイと、
プロセッサと、
可視光および赤外光の一方または両方を放射する光源と、
前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にある、光を検出するための少なくとも1つの手段とを備え、前記光を検出する手段は、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、前記散乱光のうちのある量は、前記物体から前記カバーガラスによって受光され、前記光を検出する手段に向けられ、前記光を検出する手段は、前記受光された散乱光に対応する画像データを前記プロセッサに出力するように構成され、
前記プロセッサは、前記画像データから、前記光検出手段の光軸に対する前記物体の方位角、および前記光検出手段からの前記物体の距離を特定するように構成される、装置。
【請求項２２】
前記カバーガラスは、
前記前面に隣接して配置される第1の平面導光路を含み、前記第1の平面導光路は、散乱光を受光するように構成され、前記受光された散乱光のうちのある量は、前記第1の平面導光路内で内部全反射(TIR)を受ける、請求項21に記載の装置。
【請求項２３】
光転向構成が、
前記第1の平面導光路の後方に配置される第2の平面導光路を含み、
前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項22に記載の装置。
【請求項２４】
前記プロセッサは、前記インタラクティブディスプレイおよび前記電子デバイスの一方または両方を制御するように構成される、請求項21に記載の装置。
【請求項２５】
ソフトウェアを記憶している非一時的コンピュータ可読記録媒体であって、前記ソフトウェアはプロセッサによって実行可能な命令を含み、前記命令は、前記プロセッサに、
少なくとも1つのカメラの出力からユーザタッチの場所を特定させ、
前記ユーザタッチの前記特定された場所に応答して、電子デバイスと、前記電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御させ、
前記インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、
前記カメラは、前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にあり、
前記カメラの前記出力は、前記カメラを用いて、散乱光を受光することの結果として生じ、前記散乱光は、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、前記散乱光のうちの少なくともある量が、前記カバーガラスによって受光され、前記カメラに向けられ、
前記場所は、前記プロセッサが、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離を特定することによって特定される、非一時的コンピュータ可読記録媒体。
【請求項２６】
前記命令は、前記プロセッサに、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記ユーザタッチの前記場所を特定させる、請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
前記命令は、前記プロセッサに、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって、前記カメラからの前記物体の距離を特定させる、請求項26に記載のコンピュータ可読記録媒体。
【請求項２８】
前記命令は、前記プロセッサに、前記カメラによって受光された少なくとも1つの万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記方位角を特定させる、請求項25に記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本開示は、2014年3月4日に出願された「LARGE AREA INTERACTIVE DISPLAY SCREEN」と題する米国仮特許出願第61/947,971号(代理人整理番号第QUALP241PUS/143621P1)および2015年2月19日に出願された「LARGE AREA INTERACTIVE DISPLAY SCREEN」と題する米国特許出願第14/626,679号(代理人整理番号第QUALP241US/143621)の優先権を主張する。これらの先願の開示は、本開示の一部と見なされ、参照により本開示に組み込まれる。
【０００２】
本開示は、大きなディスプレイ画面を備えるデバイスにタッチ応答能力を与えるための技法に関し、より詳細には、ユーザのタッチまたは複数の同時タッチに応答して制御される、ユー入力/出力インターフェースを提供するインタラクティブディスプレイに関する。
【背景技術】
【０００３】
従来のマルチタッチシステムを大型(>24インチ対角線)ディスプレイに拡大するのは難しい。大部分のスマートフォンの場合に使用される投影型キャパシタンスは、酸化インジウムスズ電極の高い抵抗率(高い抵抗率は、RC時定数および信号対雑音レベルを劣化させる場合がある)および処理コストに起因して、サイズが制限されてきた。影検出または漏れ内部全反射(FTIR: frustrated total internal reflection)に基づく光学的手法は、多数の構成要素に起因して、大型ディスプレイまで十分に拡大しない。
【０００４】
既存のカメラ利用光学タッチシステムは2つの主な不都合があり、それにより、コンシューマエレクトロニクスにおける適用が制限される。第1に、カメラは通常、ディスプレイの表面越しに見ているので、カメラはディスプレイの外側周囲に著しいベゼル高を追加する。最新のフラット画面デバイスの設計は、見た目に美しい平坦なベゼルを好む。第2に、これらのシステムは、カメラの横からの視野角に起因して、遮蔽およびゴーストタッチの影響を受けやすく、それにより、物体を確実に検出することができる場所、および検出することができる物体の量が制限される。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示のシステム、方法、およびデバイスはそれぞれ、いくつかの革新的な態様を有し、それらの態様はいずれも、本明細書に開示された所望の属性に単独で関与するものではない。
【０００６】
本開示において説明される主題の1つの革新的な態様は、ディスプレイカバーガラスの平面内に、またはその平面の後方にそれぞれ取り付けられる1つまたは複数のカメラを含むインタラクティブディスプレイにおいて実現することができる。カメラは、IR感知、VGAマイクロカメラとすることができ、1つのタッチ、または同時の複数のタッチの場所を特定することができる画像データを出力することができる。開示される技法は、タッチの場所を正確に特定できるようにし、2つ以上のタッチが同時に生じているときに遮蔽の影響を最小限に抑えながら、ディスプレイの外側周囲に著しいベゼル高を追加するのを避ける。
【０００７】
いくつかの実装形態によれば、装置または電子デバイスが、装置のユーザに入力/出力(I/O)インターフェースを提供するために、インタラクティブディスプレイと協働することができる。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含む。電子デバイスはインタラクティブディスプレイを含む場合があるか、またはインタラクティブディスプレイに電気的に、またはワイヤレスで結合される場合がある。装置は、プロセッサと、光源と、カバーガラスと同一平面をなすか、またはその後方にある、表示エリアの周辺外側に配置される1つまたは複数のカメラとを含むことができる。ユーザの指または手で握った物体のような物体が、ディスプレイの前面と接触するとき、物体から散乱された光のうちの少なくともある量が、カバーガラスによって受光され、カメラに向けられる場合がある。カメラは、そのような光を検出し、プロセッサに、検出された光の画像データを出力することができる。プロセッサは、画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定することができる。
【０００８】
いくつかの実装形態によれば、装置が、インタラクティブディスプレイと、プロセッサと、光源と、少なくとも1つのカメラとを含む。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供する。光源は、可視光または赤外光の一方または両方を放射する。少なくとも1つのカメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある。カメラは、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、散乱光のうちの少なくともある量が、物体からカバーガラスによって受光され、カメラに向けられる。プロセッサは、カメラによって出力される画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定するように構成される。
【０００９】
いくつかの例では、プロセッサは、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の両方を特定するように構成することができる。
いくつかの例では、カバーガラスは、前面に隣接して配置される第1の平面導光路を含むことができ、第1の平面導光路は、散乱光を受光するように構成され、受光された散乱光のうちのある量は、第1の平面導光路内で内部全反射(TIR)を受ける。光転向構成は、第1の平面導光路の後方に配置される第2の平面導光路を含むことができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。光源は、第2の平面導光路と光学的に結合することができる。インタラクティブディスプレイは、第1の平面導光路と第2の平面導光路との間に配置することができる。第1の平面導光路は前面の前方に配置することができ、第2の平面導光路は第1の平面導光路の後方に配置することができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。第2の平面導光路は、インタラクティブディスプレイのフロントライトとして機能することができる。
【００１０】
いくつかの例では、出力される光は、インタラクティブディスプレイの上方のエリアを照明することができる。
【００１１】
いくつかの例では、プロセッサは、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御するように構成することができる。
【００１２】
いくつかの例では、光源は赤外光源とすることができ、インタラクティブディスプレイは液晶ディスプレイである。
【００１３】
いくつかの例では、プロセッサは、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することによって、カメラからのタッチの距離を特定するように構成することができる。プロセッサは、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって距離を特定するように構成することができる。
【００１４】
いくつかの例では、プロセッサは、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することによって、カメラの光軸に対するタッチの方位角を特定するように構成することができる。
【００１５】
いくつかの例では、少なくとも1つのカメラは2つ以上のカメラを含み、プロセッサは、カメラによって出力される、画像データの三角測量によってタッチの方位角を特定するように構成される。
【００１６】
いくつかの例では、表示エリアは、24インチを超える対角線寸法を有することができる。
【００１７】
いくつかの実装形態によれば、方法が、プロセッサを用いて、少なくとも1つのカメラの出力からユーザタッチの場所を特定することと、ユーザタッチの場所を特定するのに応答して、プロセッサを用いて、電子デバイスのための入力/出力(I/O)インターフェースを提供する電子デバイスおよびインタラクティブディスプレイの一方または両方を制御することとを含む。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、カメラは表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあり、カメラの出力は、カメラを用いて、散乱光を受光することの結果として生じ、散乱光は、インタラクティブディスプレイから出力される光と物体との相互作用から生じ、散乱光の少なくともある量は、カバーガラスによって受光され、カメラに向けられ、その場所は、カメラによって出力される画像データから、プロセッサがカメラの光軸に対する物体の方位角およびカメラからの物体の距離を特定することによって特定される。
【００１８】
いくつかの例では、ユーザタッチの場所を特定することは、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することを含むことができる。カメラからの物体の距離を特定することは、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することを含むことができる。方位角を特定することは、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することを含むことができる。
【００１９】
いくつかの実装形態によれば、装置が、表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイと、プロセッサと、可視光および赤外光の一方または両方を放射する光源と、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある、光を検出するための少なくとも1つの手段とを含み、前記光検出手段は、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、散乱光のうちの少なくともある量は、物体からカバーガラスによって受光され、光検出手段に向けられ、光検出手段は、受光された散乱光に対応する画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、光検出手段の光軸に対する物体の方位角、および光検出手段からの物体の距離を特定するように構成される。
【００２０】
いくつかの例では、カバーガラスは、前面に隣接して配置される第1の平面導光路を含むことができ、第1の平面導光路は、散乱光を受光するように構成され、受光された散乱光のうちのある量は、第1の平面導光路内で内部全反射(TIR)を受ける。光転向構成は、第1の平面導光路の後方に配置される第2の平面導光路を含むことができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。
【００２１】
いくつかの例では、プロセッサは、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御するように構成することができる。
【００２２】
いくつかの実装形態によれば、非一時的コンピュータ可読媒体が、その上にソフトウェアを記憶しており、ソフトウェアはプロセッサによって実行可能な命令を含み、命令は、プロセッサに、少なくとも1つのカメラの出力からユーザタッチの場所を特定させ、ユーザタッチの特定された場所に応答して、電子デバイス、および電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御させる。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含む。カメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある。カメラの出力は、カメラを用いて、散乱光を受光することの結果として生じ、散乱光は、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、散乱光のうちの少なくともある量が、カバーガラスによって受光され、カメラに向けられる。その場所は、カメラによって出力される画像データから、プロセッサがカメラの光軸に対する物体の方位角、およびカメラからの物体の距離を特定することによって特定される。
【００２３】
いくつかの例では、命令は、プロセッサに、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することによって、ユーザタッチの場所を特定させることができる。命令は、プロセッサに、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって、カメラからの物体の距離を特定させることができる。
【００２４】
いくつかの例では、命令は、プロセッサに、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することによって、方位角を特定させることができる。
【００２５】
本明細書において説明される主題の1つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴、態様および利点は、説明、図面および特許請求の範囲から明らかになるであろう。以下の図の相対寸法は、縮尺どおりに描かれていない場合があることに留意されたい。種々の図面における同様の参照番号および名称は、同様の要素を示す。
【図面の簡単な説明】
【００２６】
【図１】一態様による、インタラクティブディスプレイの簡略化されたブロック図である。
【図２】一実装形態による、インタラクティブディスプレイの断面立面図である。
【図３】万華鏡効果の一例を示す図である。
【図４】ユーザタッチに応答して、電子デバイスおよび/またはインタラクティブディスプレイを制御するためのプロセスフロー図である。
【図５】いくつかの実装形態による、少なくとも1つのカメラの出力からユーザタッチの場所を特定するためのプロセスフロー図である。
【図６】万華鏡画像データの例を示す図である。
【図７】万華鏡反射画像分離とレンジ距離との間の関係を示す図である。
【図８】いくつかの実装形態による、万華鏡反射画像からレンジ情報を得る態様を示す図である。
【図９】いくつかの実装形態による、カメラからのユーザタッチのレンジ距離を特定するためのプロセスフロー図である。
【図１０】マルチタッチ実装形態のための場所情報を得る態様を示す図である。
【図１１】マルチタッチ実装形態において画像データを処理するためのプロセスフロー図である。
【図１２】一実装形態による、インタラクティブディスプレイの平面図である。
【図１３】少なくとも2つのカメラを使用してタッチの場所情報を得る態様を示す図である。
【図１４】別の実装形態による、インタラクティブディスプレイの断面立面図である。
【図１５】ディスプレイ表示エリア下方に位置するカメラを含むインタラクティブディスプレイの一例を示す図である。
【図１６】さらに別の実装形態による、インタラクティブディスプレイの一例を示す図である。
【発明を実施するための形態】
【００２７】
以下の説明は、本開示の革新的な態様を説明する目的のための特定の実装形態に向けられている。しかしながら本明細書における教示は、数多くの異なる方法において適用することができることは当業者には容易に認識されよう。説明される実装形態は、動いている(たとえば、映像)か静止している(たとえば、静止画像)かにかかわらず、また文字であるか、絵であるか、写真であるかにかかわらず、画像を表示するように構成することができる任意のデバイスまたはシステムにおいて実現することができる。より詳細には、説明される実装形態は、限定はしないが、モバイル電話、マルチメディアインターネットに対応可能な携帯電話、モバイルテレビ受像機、ワイヤレスデバイス、スマートフォン、Bluetooth(登録商標)デバイス、個人情報端末(PDA)、ワイヤレス電子メール受信機、ハンドヘルドコンピュータまたはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、GPS受信機/ナビゲータ、カメラ、MP3プレーヤ、カムコーダ、ゲームコンソール、腕時計、時計、計算機、テレビモニタ、フラットパネルディスプレイ、電子読取りデバイス(電子書籍端末など)、コンピュータモニタ、自動車用ディスプレイ(走行距離計ディスプレイおよび速度計ディスプレイなどを含む)、コックピット制御機器および/またはディスプレイ、カメラ視野ディスプレイ(車両における後方視野カメラの表示など)、電子写真、街頭ビジョンまたは電子看板、映写機、建築構造、電子レンジ、冷蔵庫、ステレオシステム、カセットレコーダまたはプレーヤ、DVDプレーヤ、CDプレーヤ、VCR、ラジオ、ポータブルメモリチップ、洗濯機、乾燥機、洗濯/乾燥機、駐車メータ、パッケージ構造(電気機械システム(EMS)、マイクロエレクトロメカニカルシステム(MEMS)、および非MEMSアプリケーションにおけるものなど)、美的構造(たとえば、宝石上への画像の表示)、ならびに種々のEMSデバイスなどの種々の電子デバイスに含まれる場合があるか、またはそれらの電子デバイスに関連付けられる場合があると考えられる。本明細書の教示は、限定はしないが、電子スイッチングデバイス、無線周波数フィルタ、センサ、加速度計、ジャイロスコープ、動作検知デバイス、磁気計、家庭用電子機器用の慣性構成要素、家庭用電化製品の部品、バラクタ、液晶デバイス、電気泳動デバイス、駆動方式、製造プロセス、および電子試験機器などの非表示の適用例において使用することもできる。したがって、それらの教示には、単に図に示されている実装形態に限定されることを意図するものではなく、代わりに、当業者には容易に明らかになるように、広範囲にわたる適用例を有している。
【００２８】
本明細書において以下に説明されるのは、ディスプレイとのタッチ相互作用の特定の特性に応答して制御される、ユーザ入力/出力インターフェースを提供するインタラクティブ電子ディスプレイを提供するための新たな技法である。それらの特性は、カメラに対するタッチの方位角および距離に関するユーザタッチの場所情報を含むことができ、ディスプレイのコスト、サイズおよび複雑さをほとんど加えない光学的技法を用いて特定される。
【００２９】
本開示において説明される主題の特定の実装形態は、以下の潜在的な利点のうちの1つまたは複数を実現するために実施することができる。従来技術に比べて、本明細書において開示される技法によれば、インタラクティブディスプレイを大面積ディスプレイ画面とすることができるにもかかわらず、ディスプレイと同一平面をなすか、またはその後方に配置される単一のカメラからの画像データを用いて、インタラクティブディスプレイ上のタッチ場所を特定できるようになる。本明細書において開示される技法の結果として、非常に小さく、かつ安価なカメラを用いて、ディスプレイの前面と光学的に接触している物体の場所を正確に特定することができる。
【００３０】
本開示において説明される主題の1つの革新的な態様は、表示エリアを含む前面を有するカバーガラスと、光源と、光転向構成と、少なくとも1つのカメラとを含む、インタラクティブディスプレイの1つの構成において実現することができる。カメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあり、インタラクティブディスプレイから出力される光と物体の相互作用の結果として生じる散乱光を受光し、出力される光は、光源から光転向構成によって受光され、光転向構成によって、表示エリアに対して実質的に直交する方向に方向転換する。カメラは、IR感知、VGAマイクロカメラとすることができ、1つのタッチ、または同時の複数のタッチの場所を特定することができる画像データを出力することができる。開示される技法は、タッチの場所を正確に特定できるようにし、2つ以上のタッチが同時に生じているときに遮蔽の影響を最小限に抑えながら、ディスプレイの外側周囲に著しいベゼル高を追加するのを避ける。
【００３１】
いくつかの実装形態によれば、装置または電子デバイスが、装置のユーザに入力/出力(I/O)インターフェースを提供するために、インタラクティブディスプレイと協働することができる。インタラクティブディスプレイは、表示エリアを含む前面を有する。電子デバイスはインタラクティブディスプレイを含む場合があるか、またはインタラクティブディスプレイに電気的に、またはワイヤレスで結合される場合がある。装置は、プロセッサと、第1の平面導光路と、赤外(IR)光源と、1つまたは複数のIRカメラとを含むことができる。第1の平面導光路は、前面に隣接して、前面の後方に配置することができる。第2の平面導光路は、第1の平面導光路の後方に配置することができる。いくつかの実装形態では、IR光源は、平面導光路の周辺外側に配置することができ、第2の平面導光路の入力と光学的に結合することができる。第2の平面導光路は、IR光放射源から受光された光を、ディスプレイの上方のエリアを照明するように反射することによって、反射光を、前面に対して直交する実質的な成分を有する方向に出力する第1の光転向構成を含むことができる。ユーザの指または手で握った物体のような物体が、ディスプレイの前面と接触するとき、物体から散乱されたIR光は、第1の平面導光路内で内部全反射(TIR)を受ける場合がある。TIRを受けたIR光のうちの少なくともある量が、IRカメラのうちの1つまたは複数に達する場合がある。カメラは、そのようなTIRを受けた光を検出し、プロセッサに、検出された、TIRを受けた光の画像データを出力することができる。プロセッサは、画像データから、ユーザタッチの事実および場所を認識することができ、ユーザタッチに応答して、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御することができる。本明細書および特許請求の範囲において用いられるときに、「平面導光路」という用語のさらに深い理解は、本発明の譲受人に譲渡され、その開示が、すべての目的のために、参照することによってその全体が本出願に組み込まれる特許出願第13/480,377号「FULL RANGE GESTURE SYSTEM」を参照することによって得ることができる。
【００３２】
図1は、一態様による、インタラクティブディスプレイの簡略化されたブロック図を示す。インタラクティブディスプレイ100は、前面167(図2)とともに、表示エリア101を含むディスプレイカバーガラス165(図2)を含む。電子ディスプレイ100は、光を検出するように構成される少なくとも1つの感光素子133を含む。感光素子133は、たとえば、レンズ、ピンホールまたは回折格子を備える2次元ピクセルアレイ(「カメラ」)を含むことができる。本明細書において後にさらに詳細に説明されるように、感光素子133は、物体150が前面167と少なくとも部分的に光学的に接触しているときに、光と物体150(図2)との相互作用の結果として生じる散乱光を検出することができる。
【００３３】
感光素子133は、プロセッサ1004に、画像データを出力することができる。いくつかの実装形態では、たとえば、感光素子133は、カメラであることができ、またはカメラを含み、プロセッサ1004にいくつかの画像ピクセルのための2値化画像データを出力することができる。プロセッサ1004は、感光素子133と、そしてインタラクティブディスプレイ100の他の要素と通信可能に結合される場合がある。いくつかの実装形態では、プロセッサ1004は、電子ディスプレイ100の一体部品とすることができる。他の実装形態では、図1において示唆されるように、プロセッサ1004は電子ディスプレイ100とは別に構成することができる。いくつかの実装形態では、プロセッサ1004は、たとえば、遠隔サーバ内に、遠隔して位置することができる。いくつかの実装形態では、プロセッサ1004は、電子デバイス1005と通信可能に結合することができる。プロセッサ1004は、画像データから、ユーザタッチの事実および場所を認識するように構成され、ユーザタッチに応答して、インタラクティブディスプレイ100および電子デバイス1005の一方または両方を制御することができる。
【００３４】
図2は、一実装形態による、インタラクティブディスプレイの断面立面図を示す。例示される実装形態では、インタラクティブディスプレイ100は、第1の平面導光路165(本明細書において、「カバーレンズ」または「カバーガラス」と呼ばれる場合もあり、たとえば、モバイルデバイス、モニタまたはテレビ上にディスプレイにわたって配置することができる)を含む。第1の平面導光路165は、インタラクティブディスプレイ100の前面167に隣接し、その後方に配置することができる。第2の平面導光路135(本明細書において、「バックライト」と呼ばれる場合もある)は、第1の平面導光路165の後方に配置することができる。例示される実装形態では、ディスプレイ層145が、第1の平面導光路165と第2の平面導光路135との間に配置される。図2の詳細Aに示されるように、バックライト135は、前面167に実質的に直交する方向に光142を放射するように構成される。光142は、可視光および/または赤外光を含むことができる。
【００３５】
例示される実装形態では、光源135は、バックライトとして構成される(すなわち、光源135は、ディスプレイ層145が光源135と第1の平面導光路165との間に配置されるように、ディスプレイ層145の「後方」にある)。しかしながら、他の実装形態では、光源135は、フロントライトとして構成することができる(すなわち、光源135は、光源135がディスプレイ層145と第1の平面導光路165との間に配置されるように、ディスプレイ層145の「上方に」存在することができる)。より一般的には、光源135は、液晶またはフィールドシーケンシャルカラーディスプレイのバックライト、反射ディスプレイ(たとえば、干渉変調器(IMOD)ディスプレイ)のフロントライト、放射ディスプレイ(たとえば、有機発光ダイオードディスプレイ)によって放射される光、または可視光を通さないカバーガラス165のアートワークエリアを下方から通り抜けて放射される赤外光とすることができるか、またはそれらを含むことができることは理解されよう。
【００３６】
例示される実装形態では、インタラクティブディスプレイ100は、光源131と、感光素子133とを含む。光源131は、たとえば、発光ダイオード(LED)とすることができる。いくつかの実装形態では、光源131は、赤外光、赤色、青色、緑色または別の色、または色の組合せ、または白色光を放射することができる1つまたは複数のIR光源を含む。いくつかの実装形態では、光源131は、第2の平面導光路135の周辺部周囲に配置される複数のIR LEDを含む。複数のIR LEDが、インタラクティブディスプレイ100のバックライトの一部を構成する可視LEDと混在することができる。
【００３７】
ここで、図2の詳細Aを参照すると、感光素子133は、光軸134を有するレンズ132を含む、カメラとすることができるか、またはカメラを含むことができることに留意されたい。いくつかの実装形態では、感光素子133は、光軸134が前面167と概ね平行であるように配置することができる。カメラ133は、いくつかの実装形態では、ビデオグラフィックスアレイ(VGA)マイクロカメラとすることができるか、またはそのようなカメラを含むことができる。カメラは、白黒カメラとすることができ、実質的にIR光のみを受光するように適切にフィルタリングすることができる。いくつかの実装形態では、VGAマイクロカメラは、約500μm径のレンズを含むことができ、4mm未満のセンサパッケージ内に収容される場合がある。結果として、カメラ133は、インタラクティブディスプレイ100のスタック高に目に見えて加わることなく、第1の平面導光路165と同一平面構成内に位置することができる。
【００３８】
上記のように、いくつかの実装形態では、光源131は、第2の平面導光路135の周辺付近に配置することができる。そのような実装形態では、第2の平面導光路135は、光源131から受光される光を、前面に対して直交する実質的な成分を有する方向に反射する光転向構成を含むことができる。光源131が配置される場所にかかわらず、図2の詳細Aを引き続き参照すると、光142は第1の平面導光路165を通り抜けることができ、物体150と相互作用することができる。物体150は、第1の平面導光路165の上面と少なくとも部分的に光学的に接触している。物体150は、ユーザの指もしくは他の付属物、またはたとえば、スタイラスのような手で握った物体とすることができる。反射光142と物体150との相互作用が、散乱光146を生成することができる。散乱光146のうちのある量は、光線追跡146(0)によって示されるように、平面導光路165によって内部反射されることなく、カメラ133に進み、カメラ133によって検出することができる。散乱光146のうちの少なくともある量が、TIRを受ける場合がある。たとえば、光線追跡146(1)によって示されるように、散乱光のうちのある量が、カメラ133によって検出される前に、一度だけ内部反射を受ける場合がある。散乱光のうちのある量は、カメラ133によって検出される前に、2回、3回またはそれ以上内部反射を受ける場合があることが理解されよう。カメラ133は、検出されたIR光の画像データをプロセッサ1004(図1)に出力することができる。
【００３９】
プロセッサ1004は、カメラ133の出力から、ユーザタッチの事実および場所、より詳細には、物体150の場所を認識することができる。本明細書において後に説明されるように、カメラ133の光軸に対する方位角、およびカメラ133からの距離またはレンジの両方を特定するのに、1つのカメラ133で十分な場合がある。
【００４０】
図2の詳細Aを引き続き参照すると、2つの光線追跡146(0)および146(1)が示されるが、物体150の画像の複数の個別の反射がカメラ133によって検出される場合があることは理解されよう。これは、本明細書において、万華鏡効果と呼ばれる場合がある。図3は、万華鏡効果の一例を示す。より詳細には、図3は、カメラ133の視野の中央に1本の指でタッチした場合のカメラ133からの一例の画像を示す。図示される例では、タッチの直接の画像は場所301にある。場所301の上方および下方にある明るいマークは、物体150とカメラ133との間で1回または複数回の内部反射を受けた光線から生じる。物体150の場所とカメラ133との間の距離は、垂直(Y)軸に沿った万華鏡反射の回数および空間分離を解析することによって特定することができる。この解析は、画像データに関する離散フーリエ変換を実行することによって行うことができる。タッチへの方位角は、検出された光が水平(X)軸内に位置する場所によって特定することができる。
【００４１】
図4は、ユーザタッチに応答して、電子デバイスおよび/またはインタラクティブディスプレイを制御するためのプロセスフロー図を示す。インタラクティブディスプレイに組み込まれるか、またはインタラクティブディスプレイと通信可能に結合されるプロセッサを、プロセス400を実行するように構成することができる。いくつかの実装形態では、カメラ133を含むインタラクティブディスプレイ100を、プロセッサ1004と協働してプロセス400を実行するように構成することができる。プロセス400は、ブロック410において、ユーザタッチの場所を特定することから開始することができる。その場所は、カメラの出力から、プロセッサが、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定することによって特定される。インタラクティブディスプレイが表示エリアを含む前面を有するカバーガラスを含む場合、カメラの出力は、光源からの光を光転向構成の中に放射することの結果として生じることができ、光源は表示エリアの周辺外側に配置される。放射された光は、光転向構成によって、表示エリアに実質的に直交する方向に反射することができる。カメラは、物体と反射光の相互作用の結果として生じる散乱光を受光し、対応する画像データをプロセッサに出力することができる。
【００４２】
ブロック420において、プロセッサは、ユーザタッチに応答して、電子デバイスおよびインタラクティブディスプレイの一方または両方を制御することができる。
【００４３】
図5は、いくつかの実装形態による、少なくとも1つのカメラの出力からユーザタッチの場所を特定するためのプロセスフロー図を示す。プロセス410は、ブロック411において、カメラの光軸に対するタッチの方位角を特定することから開始することができる。いくつかの実装形態では、方位角は、カメラによって出力される画像データ内で、タッチの中心場所に隣接するピクセル場所を識別することによって特定することができる。たとえば、画像データのラインスキャンに沿ったピーク光強度に対応するピクセル場所を識別することができる。いくつかの実装形態では、識別されたピクセル場所は、カメラに関連付けられる任意のレンズ系の特性を考慮に入れて、カメラの光軸に対する角度にマッピングすることができる。
【００４４】
プロセス410は、ブロック412において、タッチとカメラとの間のレンジ距離を特定することによって継続することができる。レンジは、反射の回数、分離または頻度のような万華鏡反射の1つまたは複数のパラメータを特徴付けるために画像データを解析することによって特定することができる。特徴付けられたパラメータは、レンジ距離にマッピングすることができる。
【００４５】
オプションで、そのプロセスは、ブロック413において、(方位角、レンジ)座標から直交(x,y)座標への座標変換を実行することによって継続することができる。
【００４６】
図6は、万華鏡画像データの例を示す。例6(a)は、カメラから5cmの距離、およびカメラの光軸に対して-20度の方位角に位置するタッチの結果として生じる万華鏡反射画像を示す。例6(b)は、カメラから20cmの距離、および光軸に対して+5度の方位角に位置するタッチの結果として生じる万華鏡反射画像を示す。
【００４７】
カメラ光軸からY軸方向における反射画像のオフセット距離は、方位角に容易にマッピングできることは理解されよう。反射画像間の分離距離も同様に、タッチからカメラまでのレンジ距離にマッピングすることができる。図示される例6(a)では、反射画像間の35ピクセル分離がタッチとカメラとの間の5cm距離にマッピングされたのに対して、図示される例6(b)では、反射画像間の15ピクセル分離が、タッチとカメラとの間の20cm距離にマッピングされた。
【００４８】
図7は、万華鏡反射画像分離とレンジ距離との間の関係を示す。より詳細には、図7は、カメラ133の視野710内に合わせられたそれぞれ複数の画像が、それぞれの仮想物体位置に関連付けることができる異なる角度において物体150から散乱する光にいかに対応するかを示す。たとえば、画像i150は、物体150の直接画像に対応する。画像iv1は1回の内部反射を受けた光線からの結果として生じ、仮想物体位置v1に対応する。画像iv2は、2回の内部反射を受けた光線からの結果として生じ、仮想物体位置v2に対応する。明確に例示するために、図7(a)および図7(b)のそれぞれにおいて、3つの画像i150、iv1およびiv2のみが示されるが、通常、はるかに多くの数の画像が、万華鏡効果からの結果として生じると予想することができる。
【００４９】
例7(a)と例7(b)とを比較すると、タッチ150(a)の場所がタッチ150(b)の場所よりカメラ133に近い場合、例7(a)内の万華鏡反射画像間の分離距離は、例7(b)内の万華鏡反射画像間の分離距離より長いことが観察できる。結果として、タッチとカメラとの間のレンジ距離は、タッチの結果として生じる万華鏡反射画像間の分離距離を測定することによって、定量的に得ることができる。
【００５０】
図8は、いくつかの実装形態による、万華鏡反射画像からレンジ情報を得る態様を示す。図9は、いくつかの実装形態による、カメラからのユーザタッチのレンジ距離を特定するためのプロセスフロー図を示す。最初に図8を参照すると、詳細Bは、領域601内に位置する万華鏡反射画像の一例を示す。領域601は、ユーザのタッチ事実に関連する画像データを含む、ピクセルの列の数を含むことができる。領域601外のピクセルは、ユーザのタッチに関連しない。
【００５１】
ここで図9を参照すると、ユーザのタッチのレンジ距離を特定するための方法900が示される。画像データの所与のフレームの場合に、そのフレームはピクセルの行および列を含み、その方法は、ブロック910において、タッチに関連する画像データを含むピクセルの列を識別することによって開始することができる。図8に示される例では、そのような列は、領域601内に含まれる列である。いくつかの実装形態では、最も高い平均強度を有する列が選択される場合がある。いくつかの実装形態では、2つ以上の隣接する列にわたって平均をとることができる。図8の詳細Cに示されるように、領域601内のZ軸に沿った画像強度は著しく変化する場合がある。
【００５２】
再び図9を参照すると、その方法は、ブロック920において、図8の詳細Cに示される強度データに関するフーリエ変換を実行することによって継続することができる。図8の詳細Dに示される、結果として生じるフーリエ領域プロットは、万華鏡反射画像の特性周波数を容易にもたらすことができる。より詳細には、フーリエ領域プロット内の第1の最大値が生じる周波数は、万華鏡反射画像の特性周波数に対応することがわかる。したがって、方法900は、ブロック930において、第1の最大値を特定することをもくろむ。特定された特性周波数は、図9のブロック940において、カメラからのタッチのレンジ距離を特定するためにさらに用いることができる。たとえば、レンジ距離「d」は、2fD/Δに等しい場合があり、fはカメラの焦点距離であり、Dは第1の平面導光路の厚さであり、Δは隣接する万華鏡反射画像間の距離である。
【００５３】
いくつかの実装形態では、特に、複数の同時の、または概ね同時のタッチを検出し、区別することが望ましい実装形態(「マルチタッチ」実装形態)の場合に、タッチ場所特定の精度および信頼性を改善するための技法が考えられる。マルチタッチ実装形態は、複数の画像強度ピークの検出および場所特定を必要とする。ここで開示される技法は、任意の個々のピークの形状が非対称である可能性が高いにもかかわらず、正確、かつ信頼性の高いタッチ場所特定を提供し、その技法は、検出される物体の特性および物体の配置特性に頼る。
【００５４】
図10は、マルチタッチ実装形態のための場所情報を得る態様を示す。図11は、マルチタッチ実装形態において画像データを処理するためのプロセスフロー図を示す。最初に図10を参照すると、詳細Eは、ピクセルの列または行に沿った位置の関数としての画像強度データのプロット1010を示す。示される強度ピーク1011および1012はそれぞれ、各タッチの場所を表すことができる。ここで図11を参照すると、方法1100は、ブロック1110において、強度レベルの第1のプロットを受信し、インデックスカウンタ「i」を1に設定することから開始することができる。受信された強度レベルの第1のプロットは、図10の詳細Eにおけるプロット1010として示される形のデータを含む。
【００５５】
図11を再び参照すると、方法1100は、ブロック1120において、第i(第1)のプロット内の最大強度の場所を見つけることによって継続することができる。図10の示される例では、詳細E、プロット1010は第1のプロットを表し、最大強度はピーク1011において生じるのを目にすることができる。
【００５６】
再び図11を参照すると、方法1100は、ブロック1130において、プロット(i)の下側包絡線を示す強度レベルの第2のプロット(プロット(i+1))を生成することによって継続することができる。本明細書において、および特許請求の範囲において用いられるときに、「下側包絡線」という用語は、最大強度位置から離れていくときに決して増加せず、常に、先行する曲線(プロット(i))以下である関数を示す。したがって、ここで図10の詳細Fを参照すると、プロット1020が第2のプロットを表す。第2のプロット1020は、第1のプロット1010の(破線)部分を除外しており、それは、破線部分が下側包絡線値より大きな強度を有するためである。結果として、強度ピーク1012に関連する強度データ、および先に定義された下側包絡線を超える他の強度値が、第2のプロット1020から除外される。
【００５７】
再び図11を参照すると、方法1100は、ブロック1140において、プロット(i+1)およびプロット(i)との間の差を示すプロット(i+2)を生成することによって継続することができる。結果として生じる差曲線(プロット(i+2))の例が、図10の詳細Gにおいて第3のプロット1030として示される。強度ピーク1012の場所に対応する場所において異なる差ピーク1032が生じることが観察できる。示される例では、差ピーク1032に関連しない第3のプロット1030の部分は低レベル雑音に対応する。
【００５８】
再び図11を参照すると、方法1100は、ブロック1150において、プロット(i+2)が基本的に雑音のみに関連するか否かの判断を行うことによって継続することができる。ブロック1150における判断が、プロット(i+2)が基本的に雑音のみに関連するという場合には、その方法は中止することができる(ブロック1170)。一方、ブロック1150における判断が、プロット(i+2)のうちの少なくともある部分が雑音に関連しないという場合には、インデックスiをi+2に設定することができ(ブロック1160)、そのプロセスは1120〜1150を繰り返すことができる。
【００５９】
再び図10を参照すると、第3のプロット1030は雑音に関連しないデータ(すなわち、差ピーク1032)を含むことを理解されたい。したがって、第3のプロット1030に適用されるようなブロック1150に従って行われた判断は、インデックスi=i+2にリセットし(ブロック1160)、プロセスブロック1120〜1150を繰り返すこととすることができる。より詳細には、図10を引き続き参照すると、方法1100のブロック1120および1130を実行することによって、第4の(実線)プロット1040を生成することができる。したがって、先に定義された下側包絡線を用いて、第4のプロット1040は、第3のプロット1030の(破線)部分を除外する。
【００６０】
第3のプロット1030と第4のプロット1040との間の(ブロック1140に従って)計算された差は、図10の詳細Jにおける第5のプロット1050として表される。第5のプロット1050は基本的に雑音のみに関連することは理解されよう。したがって、第5のプロット1050に適用されるようなブロック1150に従って行われる判断は、方法1100を中止することとすることができる(ブロック1170)。
【００６１】
方法1100は、マルチタッチ入力を高い信頼性で、正確に識別し、その場所を特定することが示された。例示を明確にするために、図10に示される強度プロットは単一の軸に沿っているが、先に開示された技法は、2D輪郭に適用することができる。上記の方法は非パラメトリックと見なすことができるが、それは、たとえば、ガウス混合モデルにおいて必要とされる場合があるような、位置および分散のようなパラメータの関数としてのピークの形状を仮定する必要がないためである。結果として、上記の方法はロバストであり、ほとんど調整を必要としない。最大値発見および減算について、演算が簡単であるので、計算効率も得られる。また、上記の方法は、並列コードにおいて実現することもできる。
【００６２】
図12は、一実装形態による、インタラクティブディスプレイの平面図を示す。例示される実装形態では、少なくとも2つのカメラ133を設けることができ、タッチのより正確な場所特定を提供することができ、および/または2つ以上のタッチ(T1およびT2)が同時に生じているときに、遮蔽の影響を最小限に抑えることができる。
【００６３】
図13は、少なくとも2つのカメラを使用してタッチの場所情報を得る態様を示す。例示される実装形態では、それぞれカメラ133(1)およびカメラ133(2)は、それぞれの万華鏡反射画像1301(1)および1301(2)を含む、2D画像データを出力する。カメラ133(1)は光軸134(1)を有し、カメラ133(2)は光軸134(2)を有する。本明細書において先に開示された技法を用いて、各光軸に対するタッチの方位角を得ることができる。たとえば、いくつかの実装形態では、それぞれの方位角Az(1)おAz(2)を特定するために、それぞれの1D信号強度プロット1302(1)および1302(2)を生成することができる。その後、それぞれの方位角Az(1)およびAz(2)の特定を用いて、画像データの三角測量によって、タッチの場所を特定することができる。例示される実装形態では、2つのカメラが示されるが、本開示によれば、3つ以上のカメラを含む実装形態も考えられる。
【００６４】
図14は、別の実装形態による、インタラクティブディスプレイの断面立面図を示す。例示される実装形態では、電子ディスプレイ1400が、第1の平面導光路165の平面下に位置するカメラ133を含む。たとえば、第1の平面導光路165のエッジに隣接してプリズムまたは他の光転向構成(図示せず)を配置することができる。プリズムまたは他の光転向構成は、散乱IR光146の方向をカメラ133に向かって変更することができる。
【００６５】
図15は、ディスプレイ表示エリア下方に位置するカメラを含むインタラクティブディスプレイの一例を示す。例示される実装形態では、カメラ1533はマイクロレンズ1532に光学的に結合される。プリズム1536がディスプレイ表示エリアのエッジに、かつマイクロレンズ1532に隣接して配置される。平面(斜視)図において観察される場合があるように、ディスプレイ表示エリアの1つまたは複数のエッジに隣接してアートワーク1537を配置することができる。いくつかの実装形態では、プリズム1536、マイクロレンズ1532およびカメラ1533は、アートワーク1537の後方に配置することができる。たとえば、例示される実装形態では、場所1538(1)および1538(2)は2つの選択された場所を示し、その後方に、プリズム1536、マイクロレンズ1532およびカメラ1533のそれぞれの構成を配置することができる。
【００６６】
図16は、さらに別の実装形態による、インタラクティブディスプレイの一例を示す。例示される実装形態では、第2の平面導光路135は第1の平面導光路165とディスプレイ層145との間に配置される。そのような実装形態では、第2の平面導光路135はフロントライトとして機能できることは理解されよう。ディスプレイ層145は、反射型ディスプレイとすることができる。たとえば、ディスプレイ層145は、干渉変調器(IMOD)のアレイを含むことができる。いくつかの実装形態では、第2の平面導光路135は、実質的に透明なマイクロスフィアに基づくプラスチックフロントライト材料を含むことができる。
【００６７】
したがって、インタラクティブディスプレイが、インタラクティブディスプレイとのタッチ相互作用の特定の特性を検出し、応答できるようにするための改善された技法が開示された。
【００６８】
本明細書で使用されるとき、項目のリストのうちの「少なくとも1つ」を指す語句は、単一の部材を含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することを意図している。
【００６９】
本明細書において開示される実装形態に関連して説明した種々の例示的なロジック、論理ブロック、モジュール、回路およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェアまたは両方の組合せとして実現することができる。ハードウェアおよびソフトウェアの互換性が、概して機能の観点から説明されており、上記の種々の例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示されてきた。そのような機能がハードウェアにおいて実現されるか、ソフトウェアにおいて実現されるかは、システム全体に課される特定の適用例および設計制約によって決まる。
【００７０】
本明細書において開示された態様に関連して説明された種々の例示的なロジック、論理ブロック、モジュール、および回路を実現するために使用されるハードウェアおよびデータ処理装置は、汎用のシングルチップもしくはマルチチッププロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェア構成要素、または、本明細書において説明された機能を実行するように設計されたそれらの任意の組合せを用いて実現または実行することができる。汎用プロセッサはマイクロプロセッサとすることができるか、または任意の従来のプロセッサ、コントローラ、マイクロコントローラもしくはステートマシンとすることができる。また、プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと一体化した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実現することもできる。いくつかの実装形態では、特定のプロセスおよび方法は、所定の機能に特有の回路構成で実行することができる。
【００７１】
1つまたは複数の態様では、説明された機能は、本明細書において開示された構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路構成、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実現することができる。また、本明細書において説明される主題の実装形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実現することができる。
【００７２】
それらの機能は、ソフトウェアにおいて実現される場合、1つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶することができるか、コンピュータ可読媒体を介して送信することができる。本明細書において開示された方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在する場合があるプロセッサ実行可能ソフトウェアモジュールにおいて実施することができる。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送できるようにする任意の媒体を含む、コンピュータ記憶媒体と通信媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の入手可能な媒体とすることができる。限定ではなく例として、非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用される場合があり、コンピュータによってアクセスされる場合がある任意の他の媒体を含むことができる。また、任意の接続もコンピュータ可読媒体と適切に呼ぶことができる。本明細書において使用されるときに、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)(disc)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(DVD)(disc)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれる場合がある機械可読媒体およびコンピュータ可読媒体上に存在することができる。
【００７３】
本開示において説明された実施形態に対する種々の変更形態は、当業者には容易に明らかになる場合があり、本明細書において規定された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、特許請求の範囲は、本明細書において示されている実装形態に限定されることを意図するものではなく、本開示、本明細書において開示されている原理および新規の特徴と一致する最も広い範囲を与えられるべきである。さらに、図を説明しやすくするために、「上側の」、「下側の」という用語が用いられることがあり、適切に向けられたページ上の図の向きに対応する相対的位置を示しており、実現されたときのデバイスの適切な向きを反映しない場合があることは、当業者は容易に理解されよう。
【００７４】
本明細書において別々の実装形態との関連で説明されたいくつかの特徴は、単一の実装形態において組み合わせて実現することもできる。逆に、単一の実装形態との関連で説明されている種々の特徴も、複数の実装形態において、別々に実現することができるか、または任意の適切な部分的組合せにおいて実現することができる。さらに、特徴は、特定の組合せにおいて役割を果たすものとしてこれまで説明され、さらには最初にそのようなものとして特許請求される場合があるが、特許請求される組合せからの1つまたは複数の特徴は、場合によっては組合せから削除することができ、また、特許請求される組合せは、部分的組合せまたは部分的組合せの変形形態を対象とする場合もある。
【００７５】
同様に、動作は、特定の順序において図面に示されているが、これは、そのような動作が図示された特定の順序において、または順次に実行されることを必要とするか、または、所望の結果を達成するためにすべての示された動作が実行されることを必要とするものと理解されるべきではない。さらに、図面は、1つまたは複数のプロセス例をフロー図の形態で概略的に示す場合がある。しかしながら、概略的に示されているプロセス例には、図に示されていない他の動作を組み込むことができる。たとえば、例示される任意の動作の前に、後に、動作と同時に、またはこれらの動作間に、1つまたは複数の追加動作を実行することができる。特定の状況では、マルチタスク処理および並列処理が有利な場合がある。さらに、先に説明した実装形態における種々のシステム構成要素の分割は、すべての実装形態においてそのように分割する必要があるものと理解すべきではなく、説明されるプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品内に合わせて統合することができるか、または複数のソフトウェア製品の中にパッケージすることができることを理解されたい。さらに、他の実装形態も以下の特許請求の範囲内にある。場合によっては、特許請求の範囲において列挙される動作は、異なる順序において実行することができ、それでも望ましい結果を達成することができる。
【符号の説明】
【００７６】
100  インタラクティブディスプレイ
101  表示エリア
131  光源
132  レンズ
133  感光素子、カメラ
133(1)  カメラ
133(2)  カメラ
134  光軸
134(1)  光軸
134(2)  光軸
135  第2の平面導光路、バックライト、光源
142  光
145  ディスプレイ層
146  散乱光
146(0)  光線追跡
146(1)  光線追跡
150  物体
150(a)  タッチ
150(b)  タッチ
165  カバーガラス、第1の平面導光路
167  前面
301  場所
601  領域
710  視野
1004  プロセッサ
1005  電子デバイス
1010  画像強度のプロット
1011  強度ピーク
1012  強度ピーク
1020  第2のプロット
1030  第3のプロット
1032  差ピーク
1040  第4のプロット
1050  第5のプロット
1301(1)  万華鏡反射画像
1301(2)  万華鏡反射画像
1400  電子ディスプレイ
1532  マイクロレンズ
1533  カメラ
1536  プリズム
1537  アートワーク
1538(1)  場所
1538(2)  場所
Az(1)  方位角
Az(2)  方位角
【図１】
2017507428.tif 000003
【図２】
2017507428.tif 000004
【図３】
2017507428.tif 000005
【図４】
2017507428.tif 000006
【図５】
2017507428.tif 000007
【図７】
2017507428.tif 000008
【図９】
2017507428.tif 000009
【図１０】
2017507428.tif 000010
【図１１】
2017507428.tif 000011
【図１２】
2017507428.tif 000012
【図１４】
2017507428.tif 000013
【図１６】
2017507428.tif 000014
【図６】
2017507428.tif 000015
【図８】
2017507428.tif 000016
【図１３】
2017507428.tif 000017
【図１５】
2017507428.tif 000018
【国際調査報告】
2017507428.tif 000019
2017507428.tif 000020
2017507428.tif 000021