(57)【要約】10は、イメージング装置10である。装置10は、イメージを表示するディスプレイ手段12を含んでいる。装置10は、ディスプレイ手段12の全体に分布するカメラ手段14を含んでおり、ディスプレイ手段12から見える物体のイメージを撮る。16は、スクリーンである。スクリーンイメージを表示するディスプレイ手段18に含まれる。スクリーン16は、ディスプレイ18に分布して配置された複数のピンホール20を有している。スクリーン16は、複数のセンサ22を有しており、少なくとも１つのセンサ22は、複数のピンホール20の１つのピンホールと一直線に並べて配置され対応しており、ピンホール20を通過する光を受信し、ディスプレイ18から出る特定サイズ及び特定方向の光線をイメージする。方法は、イメージング方法に関するものである。
2005521174.tif 000002
【特許請求の範囲】
【請求項１】
イメージング装置(10)であって、
イメージを表示するディスプレイ手段(12)と、
ディスプレイ手段(12)の全体に分布して配置され、ディスプレイ手段(12)を見ている物体のイメージを撮影するカメラ手段(14)と、
を具えていることを特徴とするイメージング装置。
【請求項２】
スクリーン(16)であって、
イメージを表示するディスプレイ(18)と、
ディスプレイに分布して配置され、イメージを形成する複数のイメージング手段(11)と、
複数のセンサ(22)の少なくとも１つのセンサ(22)は、複数のピンホール(20)の１つのピンホール(20)に一直線に配置されて対応しており、ピンホール(20)を通過する光を受信し、ディスプレイ(18)から出る特定サイズ及び特定方向の光線をイメージする複数のセンサ(22)と、
を具えることを特徴とするスクリーン(16)。
【請求項３】
各イメージング手段(11)はピンホールである請求項１又は請求項２に記載のスクリーン(16)。
【請求項４】
センサ(22)は、シングルピクセルセンサ(22)である請求項１乃至請求項３の何れかに記載のスクリーン(16)。
【請求項５】
センサ(22)は、あるポイントに収束するよう配置されている請求項１乃至請求項４の何れかに記載のスクリーン(16)。
【請求項６】
センサ(22)は、ディスプレイ(18)の背後の有効視点を規定するよう配置される請求項１乃至請求項５の何れかに記載のスクリーン(16)。
【請求項７】
複数のセンサ(22)は、各ピンホール(20)と一直線になるように配置され、各ピンホール(20)の後ろで複数の光線を結合する請求項１乃至請求項６の何れかに記載のスクリーン(16)。
【請求項８】
各センサ(22)は、夫々ピンホール(20)から約０．２ｍｍである請求項１乃至請求項７の何れかに記載のスクリーン(16)。
【請求項９】
各イメージング手段(11)は、レンズである請求項１又は請求項２に記載のスクリーン(16)。
【請求項１０】
イメージを増強するために、各センサ(22)に接続されたイメージ処理手段(15)を具える請求項１乃至請求項４の何れかに記載のスクリーン(16)。
【請求項１１】
イメージ処理手段(15)は、回折問題と光量減少を補正する請求項１乃至請求項１０の何れかに記載のスクリーン。
【請求項１２】
イメージ処理手段(15)は、ディスプレイ(18)と接触している請求項１乃至請求項１１の何れかに記載のスクリーン(16)。
【請求項１３】
イメージング方法であって、
スクリーン(16)の第１の部分(24)に第１のイメージを適用するステップと、
物体からの光を、スクリーン(16)の第１の部分(24)に分布されているスクリーン(16)の第２の部分(26)で受信するステップと、
第２の部分(26)で受信した物体からの光から第２のイメージを形成するステップと、
を含んでいることを特徴とするイメージング方法。
【請求項１４】
形成ステップは、所望のポイントへ光を収束させるステップを含んでいる請求項１３に記載のイメージング方法。
【請求項１５】
受信ステップは、第１の部分(24)に分布されたセンサ(22)を有する第２の部分(26)で光を受信するステップを含んでいる請求項１３又は請求項１４に記載のイメージング方法。
【請求項１６】
受信ステップは、第２の部分(26)にあるピンホール(20)を通過する光線をセンサ(22)で受信するステップを含んでいる請求項１３乃至請求項１５の何れかに記載のイメージング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージング装置に関し、具体的には、カメラを有したディスプレイであって、カメラは、看者がディスプレイを見ることができ、ディスプレイを見ると、カメラを直接見ることができるように配置されたディスプレイに関するものである。より具体的には、ディスプレイの全体に分布して配置されたセンサを有し、ディスプレイを見ている看者のイメージを形成するディスプレイに関するものである。
【背景技術】
【０００２】
ビデオ通信装置の基本的な問題は、ディスプレイ装置とイメージング装置(カメラ)が、物理的に分離しており、直接、自然な目線、視線を認識することができない。この問題を研究し、物理的に及び／又は計算に基づく解決法を提示するために、数多くの取り組みがなされている(下記参照)。イメージとディスプレイの両方に、基本的には、通信、記録、記録スキャニング、セキュリティ等を含む多くの処理が必要である。
【発明の開示】
【０００３】
本発明は、イメージング装置を有する電子ディスプレイに関するものであり、イメージング装置の視点をディスプレイ自体の後ろに直接配置しており、直接、自然な視線を合わすことができるようにしている。さらに、装置は、フラットベッドスキャナのようにスキャンすることができ、ＰＺＴカメラのようにデザインの制約内で部材を動かすことなく、機能的にズーム、パン、チルト、及びシフトできる。
【０００４】
本発明の従来技術には、ＣＲＴ、ノート型コンピュータ、ＰＤＡ、モニタートップカメラ等のような一体化したカメラを有するディスプレイが含まれる。装置には、部分的な銀加工したミラー、プロジェクター、ブラウン管に搭載されたカメラを有するＣＲＴや、他の方法を利用したものが、これまで研究されていたが、画素レベルでディスプレイとイメージングを統合したものはない。
【０００５】
本発明は、イメージング装置に関するものである。装置は、イメージを表示するディスプレイ手段を含んでいる。装置には、ディスプレイ手段に分布して配置され、ディスプレイ手段が見えている物体のイメージを撮影するカメラ手段が含まれる。
【０００６】
本発明は、スクリーンに関するものである。スクリーンは、イメージを表示するディスプレイを含んでいる。スクリーンは、ディスプレイに分布して配置された複数のピンホールを含んでいる。スクリーンは、複数のセンサを含んでおり、少なくとも１つのセンサは、複数のピンホールの中の１つのピンホールと一直線に配置されて対応しており、該ピンホールを通過する光を受信して、ディスプレイから出る特定の大きさ及び特定の方向の光線をイメージングする。
【０００７】
本発明は、イメージング方法に関するものである。本方法は、スクリーンの第１の部分に第１のイメージを与えるステップを含んでいる。スクリーンの第２の部分で、物体からの光を受信するステップがある。第２の部分は、第１の部分の中に分布して配置されている。第２の部分で受信した物体からの光から、第２のイメージを形成するステップがある。
【０００８】
本発明は、窓が持つような機能であってディスプレイ装置とイメージング装置を組み合わせたものであり、離れた位置にいる「外側」の人が、中を見ようとしたときに、「内側」の人は外を見ることができるようにするものである。機能を組み合わせることによって自然になり、ビジュアルコミュニケーションにおいて、公知の視線の問題を解消することができる。発明構成は、電子集積技術を駆使して、部品点数、コスト及び可動部品を削減し、ディスプレイ／イメージ装置を非常に広い適用分野で展開できるようにしている。
【発明を実施するための最良の形態】
【０００９】
添付の図面を参照しながら、本発明の望ましい実施例及び本発明を実施する望ましい方法を説明する。
図面を参照しながら説明を行なうが、複数の図を通して、同様の又は同じ部材については同じ引用符号を付している。具体的には、図１では、イメージング装置を符号(10)で示している。装置(10)は、イメージを表示するディスプレイ手段(12)を含んでいる。装置(10)には、ディスプレイ手段(12)の全体に分布するよう配置されたカメラ手段(14)が含まれ、該カメラ手段(14)は、ディスプレイ手段(12)から見える物体のイメージを撮影する。
【００１０】
本発明は、図２に示すように、スクリーン(16)に関するものである。スクリーン(16)は、イメージを表示するディスプレイ(18)を含んでいる。スクリーン(16)は、ディスプレイ(18)に配置された複数のピンホール(20)やレンズのようなイメージを形成するイメージング手段(11)を有している。スクリーン(16)は、複数のセンサ(22)を有しており、複数のセンサ(22)の少なくとも１つのセンサは、複数のピンホール(20)の内の１つのピンホールに一直線に並べて配置されて対応しており、ピンホールを通過した光を受信し、ディスプレイ(18)から出る特定サイズ及び特定方向の光線をイメージングする。
【００１１】
各センサには、イメージ処理手段(15)が接続されていることが望ましく、イメージ処理手段(15)は、アルゴリズムを有しており、回折現象及び光量減少を解決することによって、イメージを増強する。当業者に理解されるように、アルゴリズムはスクリーンに組み込み、センサからのデータは、スクリーンに組み込まれたコネクションによって、それらに供給されるようにすることが望ましい。
【００１２】
センサ(22)は、シングルピクセルセンサ(22)であることが望ましい。センサ(22)は、一点に収束するように並べることが望ましい。センサ(22)は、ディスプレイ(18)の後方の有効視点を定めるように配置される。複数のセンサ(22)が、各ピンホールと一直線に並べられており、各パネルの後ろで複数の光線を結合する。各センサは、ピンホールから約０.２ｍｍ離れていることが望ましい。
【００１３】
本発明は、イメージングの方法に関するものである。本方法は、スクリーン(16)の第１部分(24)に第１イメージを適用するステップを含んでいる。スクリーン(16)の第２の部分(26)で物体からの光を受信するステップを含んでいる。第２の部分(26)は、第１の部分(24)に分布して配置されている。第２の部分(26)で受信した物体からの光より、第２のイメージを形成するステップがある。
【００１４】
形成ステップは、光線を所望の位置に収束するステップを有することが望ましい。受信ステップは、第１の部分(24)に分布して配置されたセンサ(22)を有する第２の部分で光を受信するステップを有することが望ましい。受信ステップは、第２の部分(26)にあるピンホール(20)を通過した光線を、センサ(22)で受信するステップを含むことが望ましい。
【００１５】
本発明の実施にあたって、有機ポリマーディスプレイのようなフラットパネルディスプレイ技術を利用し、ディスプレイ(18)の表面を横切るように、多数のシングルピクセル(３色)のピンホール「カメラ」を一体化している。ＩＣ加工技術を用いることにより、シングルピクセルセンサ(22)を、正確に配置、形成されたピンホールに組み込んで並べることができ、各ピクセルは、スクリーン(16)から特定の方向にある特定の大きさの光線を正確にイメージすることができる。あるポイントに収束した光線を有する一組のイメージングピクセルを選択し整列(order)させることで、イメージが生成される。このイメージの有効視点は、(一般的に)パネルの後ろ側であり、薄型パネルの輪郭を維持しつつ、広視野角歪みのない、より自然なイメージを提供する点である。レンズをピンホールの替わりに用いることもできる。レンズは、ピンホールと同じ要領で形成できる。
【００１６】
このような多くのシングルピクセル「カメラ」を有し、ピンホール(20)のサイズ、方向及びセンサ距離を意識して設計することにより、視角(ズーム)、視方向(パン及びチルト)、及び、視位置(シフト)は、ピクセルの一部を選択し整列させることでコントロールすることができる。焦点は、ピンホール効果によって、選択されたピクセル群の解像度と等しくなるように固定される。ピンホールの後ろに２以上のピクセルのセンサ(22)を配置し、センサ(22)の形態(geometry)を変えることによって、複数の光線をシングルピンホールの後方で結合することができる。
【００１７】
パネルは、イメージされる平面の近くにあるので、全てのピクセルを物理的に整列させて用いることによって、スキャナとして使用することができる。ディスプレイ(18)の光は、パネル上に配置された紙又は他の物体を明るく照らすために用いることができる。ディスプレイ(18)の光をパネルを横断してスキャンすることによって、コントラストを増強し、指紋／手の認識に適当なデータを提供することができる。全スクリーン(16)の面積に比べて小さいピクセルサイズを処理するために、幾つかの画像処理が必要である。
【００１８】
ピクセルの非収束光線からのデータを利用することにより、距離及び位置の情報を作成することができ、３Ｄ位置検出の方法を提供できる。
ライトペン型の装置は、公知の色又はモジュール化されたパターンを発するので、ライトペンを用いることで、グラフィックタブレットの機能性を発揮するように使用することができる。ペンのモジュレーションを変えることにより、異なる色のペン、変化する圧力、使用者のアイデンティティを表示するように用いることができる。
【００１９】
ステレオイメージングは、センサピクセル光線を適切に設計し選択することによって行なうことができる。
一組の光線の収束ポイントは、パネルの後方又は前方とし、有効視点をある程度は調節できるようにし、そして薄型化した装置を看者に接近して設置できるようにして、スクリーン(16)の十分後方に、一層「見やすい」視点を得ることができる。
【００２０】
イメージに必要なピクセルの上位集合(superset)からのデータを用いることによって、多くの他の効果を生じさせることができる。イメージングピクセルパターンを実際に設計することにより、コスト、解像度、ズーム／パン／チルト／シフトレンジ、及びステレオイメージや３Ｄ位置検出のような特殊な機能によるトレードオフを有しながら、多少用途を特別なものにすることができる。
【００２１】
シングルピクセルピンホールカメラの基本的な幾何学構造は、例えば解像度：６４０×４８０、正方形ピクセル、及び、水平視野角７０°場合、１ピクセル当たり６４０／７０°＝．１０９°を必要とする。ＲＧＢ ＣＣＤ素子セットのサイズが約０．０１ｍｍ(現在のＣＣＤの各カラーは０．００７)であれば、ピンホールは、センサ(22)の正面で約０．２ｍｍにする必要があり、これが実施には実用的である。ピンホールのサイズは、所定の用途に対して、正確な露出と回折とのトレードオフを決定するために必要である。ピンホールとセンサとの間の経路の側部から反射がないようにする必要がある。関与した材料の屈折率は、これらの値を僅かに変えることがある。最も大きな問題は、小さいピンホールサイズの回折作用である。これは、最適なイメージに到達できるように処理し、又は、構造を変える必要がある。
【００２２】
パネル領域は、ピンホール(20)に占められており、完全に表面を占めていることが理想的である。これにより、一つの素子によってイメージされる光線と、収束ポイントに配置された従来のカメラからの同等の光線との間の不一致を解消できる。孔だけからなるパネルは、窓のようなものであることに留意すべきである。この領域の小さい部分を用いるために実際的に必要とされる点は(それによってディスプレイ(18)が十分なイメージの品質を維持するには)、トレードオフとなる。パネルの周囲に間隔を開けて配置された一連のピンホールによってイメージされた光線は、収束ポイントからの最適視野とは多少異なる。イメージされた物体までの距離がわかっていれば、これを処理することができ、そうでなければ、イメージ化されないグリッドライン(unimaged gridlines)の範囲がスクリーン(16)に近づき、画素がより遠くで重なるであろう。スクリーン(16)の実用的な使用距離に基づいてここでは妥協を行ない、イメージされないグリッドラインは、焦点の合わされたイメージを有する従来のＣＣＤアレイのセンサ(22)の範囲と同様にしていることに留意する。ピンホール(20)は、ディスプレイ(18)のピクセル(＜０．０１”)よりも極めて小さく、１００ＤＰＩディスプレイ(18)の可視能力に殆んど悪影響を与えない。また、透き通る特性を有する新しい有機ディスプレイ(18)の技術にも関係があり、イメージングパネルをディスプレイ(18)のパネルの後ろに配置し、ディスプレイ(18)のピクセルブランキングとイメージキャプチャーを同期させることとなる。イメージの特性を調節するために、マイクロマシーン技術を利用することができる。
【００２３】
ピンホールカメラのイメージ品質は、小さいピンホールの回折と、ピンホールサイズに課される幾何学解像度との間のトレードオフにより制約を受ける。フィルムとは異なり、電子分野では、リアルタイムでセンサ(22)からもたらされるデータの処理能力があり、ファーフィールド(フレネル)とニアフィールド(フラウンフォーファー)との回折作用を補正するためのコンボリューションや他のフィルタリングを行なっている。必要に応じて、これは、３色検出器に基づき、複数の周波数について行なうことができ、トリプレットセンサの位置オフセットを比較又は用いて、イメージを更に改良できる。
【００２４】
イメージは、１／４”ＣＣＤアレイを用いた小型のＣＣＤボードカメラで撮影された。イメージは、付属の３．８ｍｍレンズを用いて撮影され、ほぼ対応するイメージは、良質の１００ミクロン(０．００４”)のピンホールを用いて撮影された。このピンホールの直径は、２〜３ｍｍの焦点長さに最適である。イメージは、ＣＣＤセンサの上にピンホールを手に掴み、ストレイライトからセンサーを最小限にシールドして生成した。それによって、コントラストは少し下がった。図３は、アレイにより撮影されたイメージの結果を示している。
【００２５】
イメージングピクセルへの相互接続及びインターフェイスは、既存のＣＣＤと同様のスキャン技術によって行なわれる。しかしながら、数メガピクセルのポテンシャルは、リアルタイムビデオを実行できるように拡張する必要がある。これは、一度に幾つかの列を平行にスキャンしたり、同時に用いられないサブセットにピクセルをスマートにグルーピングしたり、アドレッシング技術により行なうことができる。パネルからホストまでのインターフェイスは、無関係なピクセルデータによって負荷とならないようにすべきである。センサ(22)からのデータを選択、整列、その他処理するアダプティブコンピューティング技術を用いたＦＰＧＡ装置を利用することにより、十分なフレキシビリティとパフォーマンスを維持できる。ホストへのＬＶＤＳ電子インターフェイスは、ディスプレイ(18)のドライブインターフェイスと並列な内部接続に用いられる。
【００２６】
イメージ処理は、各レンズ又はピンホールによる回折問題及び光量減少を取り扱う。イメージ処理は、当該技術分野の当業者によく知られている目的のために、当該技術分野で当業者によく知られている。各センサからのイメージングデータは、公知のイメージ処理アルゴリズムで増強される。アルゴリズム自体は、実際には非常に大きいチップであって、スクリーンの一部に埋め込むことが望ましい。
【００２７】
例示した実施例の中で本発明を詳細に説明したが、それは、説明のためにだけになされたものと理解されるべきであり、当該分野の専門家であれば、請求の範囲に記載された本発明の精神及び範囲から逸脱することなく、変形をなし得るであろう。
【図面の簡単な説明】
【００２８】
【図１】本発明の装置の概略図である。
【図２】本発明のスクリーンの概略図である。
【図３】装置によって撮影されたイメージである。
【符号の説明】
【００２９】
(10)  イメージング装置
(12)  ディスプレイ手段
(14)  カメラ手段
(16)  スクリーン
(18)  ディスプレイ
(20)  ピンホール
(22)  センサ
【図１】
2005521174.tif 000003
【図２】
2005521174.tif 000004
【図３】
2005521174.tif 000005
【国際調査報告】
2005521174.tif 000006
2005521174.tif 000007