(57)【要約】  ユーザと投影システムの間の対話を改善する技術を提供する。いくつかの実施形態では、ディスプレイスクリーンの前のユーザの画像を取り込む。次いで、画像の画素にかかる影および/または明るさ(すなわち強度)の変化の解析に基づいて、ユーザがディスプレイスクリーンに接触しているかどうかを推測することができる。たとえば、(1)物体の頂部周辺の領域が比較的小さな明るさの変化で特徴付けられるときには、その物体がスクリーンに接近しつつあると推測し、(2)明るさの変化が大きく、上記領域が(影によって生じる)暗極値を含むときには、物体がスクリーン上方で停止していると推測し、(3)明るさの変化が大きく、かつ上記領域が明極値を含むときには、物体がスクリーンに接触していると推測することができる。
2014535096.tif 000002
【特許請求の範囲】
【請求項１】
表示内容を表面に投影するステップと、
前記表面付近の領域を照明するステップと、
前記照明内に前記表面の画像を取り込むステップと、
前記画像の少なくとも一部分の複数の画素にわたる強度の変動を解析するステップと、
前記画像の前記一部分と関連する極性を決定するステップと、
前記変動の前記解析および前記決定した極性に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するステップと、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも一部分が、前記物体の少なくとも一部の推定位置の周りの領域を含む、請求項1に記載の方法。
【請求項３】
強度の前記変動を解析する前記ステップが、前記強度の1つまたは複数の標準偏差を計算するサブステップを含む、請求項1に記載の方法。
【請求項４】
強度の前記変動を解析する前記ステップが、前記一部分内の重なり合わない複数の領域と関連する複数の標準偏差を計算するサブステップを含む、請求項1に記載の方法。
【請求項５】
強度の前記変動を解析する前記ステップが、前記複数の標準偏差を平均するサブステップをさらに含む、請求項4に記載の方法。
【請求項６】
前記極性を決定する前記ステップが、前記画像の前記一部分内の極値の符号を識別するサブステップを含む、請求項1に記載の方法。
【請求項７】
前記物体が前記表面に接触していると判定するのに、前記決定した極性が正であることが必要である、請求項1に記載の方法。
【請求項８】
前記表面付近の前領域を照明するステップと、
前記前領域の前記照明内に前記表面の影低減画像を取り込むステップと、
前記影低減画像に基づいて前記物体と関連する位置を識別するステップとをさらに含み、
前記前領域の照明が、前記影低減画像内の前記表面付近に停止している物体に関連する影を最小限に抑えるように構成される、請求項1に記載の方法。
【請求項９】
前記前領域を照明する前に、前記領域の照明を中止するステップをさらに含む、請求項8に記載の方法。
【請求項１０】
実質的に封入された投影デバイスが、前記表示内容を投影し、前記領域を照明し、前記画像を取り込む、請求項1に記載の方法。
【請求項１１】
表示内容を表面に投影するように構成された投影光学素子と、
前記表面に向かう方向に光を放出するように構成された光源と、
前記光の放出中に前記表面の画像を取り込むように構成されたカメラと、
前記画像の少なくとも一部分の複数の画素にわたる強度の変動を検出し、前記画像の前記一部分と関連する極性を決定するように構成された画像解析器と、
前記変動の検出および前記決定した極性に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するように構成された状態検出器と、
を備えることを特徴とするプロジェクタシステム。
【請求項１２】
前記画像解析器が、前記物体に関連する位置を推定するようにさらに構成される、請求項11に記載のプロジェクタシステム。
【請求項１３】
前記画像の前記一部分が、前記推定した位置の周りの領域を含む、請求項12に記載のプロジェクタシステム。
【請求項１４】
前記画像解析器が、前記画像の前記少なくとも一部分と関連する強度の複数の標準偏差を識別するようにさらに構成される、請求項11に記載のプロジェクタシステム。
【請求項１５】
前記方向とは異なる前記表面に向かう第2の方向に光を放出するように構成された第2の光源と、
前記第2の光源の光の放出中に前記カメラによって取り込まれた画像に基づいて前記物体の位置を検出するように構成された位置検出器と、
をさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１６】
前記極性の前記決定が、前記画像の前記一部分内の極値の符号を識別することを含む、請求項11に記載のプロジェクタシステム。
【請求項１７】
前記物体が前記表面に接触していると判定されたときに、前記物体が前記表面に表示されているプログラムと対話することを可能にするように構成されたプログラムインタラクタをさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１８】
1つまたは複数の対照画像に少なくとも部分的に基づいて前記画像をフィルタリングするように構成された画像プリプロセッサをさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１９】
前記光源が光を放出するタイミングを前記カメラが画像を取り込むタイミングと調和させるように構成された、前記カメラおよび前記光源に結合されたタイミング回路をさらに備える、請求項11に記載のプロジェクタシステム。
【請求項２０】
表示内容を表面に投影する手段と、
前記表面付近の領域を照明する手段と、
前記照明内に前記表面の画像を取り込む手段と、
前記画像の少なくとも一部分の複数の画素にわたる強度の変動を解析する手段と、
前記画像の前記一部分と関連する極性を決定する手段と、
前記解析および前記決定した極性に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定する手段と、
を含むことを特徴とする投影システム。
【請求項２１】
前記少なくとも一部分が、前記物体の少なくとも一部の推定位置の周りの領域を含む、請求項20に記載の投影システム。
【請求項２２】
強度の前記変動を解析する前記手段が、前記強度の1つまたは複数の標準偏差を計算する手段を含む、請求項20に記載の投影システム。
【請求項２３】
強度の前記変動を解析する前記手段が、前記一部分内の重なり合わない複数の領域と関連する複数の標準偏差を計算する手段を含む、請求項20に記載の投影システム。
【請求項２４】
強度の前記変動を解析する前記手段が、前記複数の標準偏差を平均する手段をさらに含む、請求項23に記載の投影システム。
【請求項２５】
前記極性を決定する前記手段が、前記画像の前記一部分内の極値の符号を識別する手段を含む、請求項20に記載の投影システム。
【請求項２６】
前記物体が前記表面に接触していると判定する前記手段が、前記決定した極性がしきい値を超えるという要件を課す手段を含む、請求項20に記載の投影システム。
【請求項２７】
前記表面付近の前領域を照明する手段と、
前記前領域の前記照明内に前記表面の影低減画像を取り込む手段と、
前記影低減画像に基づいて前記物体と関連する位置を識別する手段とをさらに含み、
前記前領域の照明が、前記影低減画像内の前記表面付近に停止している物体に関連する影を最小限に抑えるように構成される、請求項20に記載の投影システム。
【請求項２８】
前記前領域を照明する前に、前記領域の照明を中止する手段をさらに含む、請求項27に記載の投影システム。
【請求項２９】
実質的に封入された投影デバイスが、前記表示内容を投影する手段と、前記領域を照明する手段と、前記画像を取り込む手段とを含む、請求項20に記載の投影システム。
【請求項３０】
プロセッサによって実行されたときに、前記プロセッサに、
表示内容が投影される表面の画像を入手するステップと、
前記画像の少なくとも一部分の複数の画素にわたる強度の変動を解析するステップと、
前記画像の前記一部分と関連する極性を決定するステップと、
前記変動の前記解析および前記決定した極性に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するステップと、
を実行させる命令を収容する、非一時的コンピュータ可読記録媒体。
【請求項３１】
前記極性を決定する前記ステップが、前記画像の前記一部分内の極値の符号を識別するサブステップを含む、請求項30に記載のコンピュータ可読記録媒体。
【請求項３２】
前記物体が前記表面に接触していると判定するのに、前記決定した極性が正であることが必要である、請求項30に記載のコンピュータ可読記録媒体。
【請求項３３】
強度の前記変動を解析する前記ステップが、前記強度の1つまたは複数の標準偏差を計算するサブステップを含む、請求項30に記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、2012年10月4日出願の米国非仮出願第13/645390号および2011年10月7日出願の米国仮出願第61/544983号の利益および優先権を主張するものである。これらの文献は各々、すべての目的のために参照によりその全体が本明細書に組み込まれる。
【背景技術】
【０００２】
プロジェクタは、学校、試写室、企業、博物館など、大きな表面にスクリーンを示す必要があるあらゆる場所で、広く使用されている。プロジェクタは、コンピュータと結合することができ、コンピュータと結合されると、コンピュータの表示内容をスクリーン上に投影することができる。ユーザは、コンピュータの近くではなく、スクリーンの近くに立っていることが多い。したがって、コンピュータの動作を調整することが困難である。たとえばプレゼンテーション中にスライドを進めるために、外部デバイスを使用することもできる。ただし、外部デバイスは混乱の元となり、有用性が制限されることが多い。ユーザが投影システムとより多く対話できるようにするシステムがあると有利である。
【発明の概要】
【課題を解決するための手段】
【０００３】
ユーザと投影システムの間の対話を改善する技術を提供する。いくつかの実施形態では、ディスプレイスクリーンの前のユーザの画像を取り込む。次いで、画像の画素にかかる影および/または明るさ(すなわち強度)の変化の解析に基づいて、ユーザがディスプレイスクリーンに接触しているかどうかを推測することができる。たとえば、(1)物体の頂部周辺の領域が比較的小さな明るさの変化で特徴付けられるときには、その物体がスクリーンに接近しつつあると推測し、(2)明るさの変化が大きく、上記領域が(影によって生じる)暗極値を含むときには、物体がスクリーン上方で停止していると推測し、(3)明るさの変化が大きく、かつ上記領域が明極値を含むときには、物体がスクリーンに接触していると推測することができる。
【０００４】
ライトは、明るさの変化がユーザとスクリーンとの相互作用を特徴付ける所望の状態と適切に関連付けられることを保証するように、(投影システム内で)適切に配列および構成することができる。たとえば、投影システムは、すべて共有筐体内に組み込まれた投影光学素子、フロントライト、バックライトおよびカメラを含むことができる。フロントライトは、照明中にカメラに取り込まれる画像において、スクリーン上方で停止している物体(たとえば指先など)の周りに実質的に影が生じないように、ディスプレイスクリーンの前の領域を照明するように構成することができる。バックライトは、照明中にカメラに取り込まれる画像において、スクリーン上方で停止している物体の周りに影が生じるように、ディスプレイスクリーンを照明するように構成することができる。カメラは、フロントライト照明中にスクリーンを撮像(して第1の画像を生成)し、バックライト照明中にスクリーンをさらに撮像(して第2の画像を生成)するように構成することができる。第1の画像は、物体の位置を推定するために使用することができ、第2の画像は、(たとえばある領域の画素の明るさの変化を特徴付けし、かつ/またはその領域中の極値が明であるか暗であるかを特定することによって)物体の状態を推測するために使用することができる。
【０００５】
いくつかの実施形態では、方法を提供する、表示内容を表面に投影することができる。表面付近の領域を照明することができる。照明中に、表面の画像を取り込むことができる。画像の少なくとも一部分の複数の画素にわたる強度の変動を解析することができる。画像の前記一部分と関連する極性を決定することができる。変動の解析および決定した極性に少なくとも部分的に基づいて、物体が表面に接触しているかどうかを判定することができる。
【０００６】
いくつかの実施形態では、プロジェクタシステムが提供される。投影光学素子は、表示内容を表面に投影するように構成することができる。光源は、表面に向かう方向に光を放出するように構成することができる。カメラは、光の放出中に表面の画像を取り込むように構成することができる。画像解析器は、画像の少なくとも一部分の複数の画素にわたる強度の変動を検出し、画像の一部分と関連する極性を決定するように構成することができる。状態(state)検出器は、変動検出および決定した極性に少なくとも部分的に基づいて、物体が表面に接触しているかどうかを判定するように構成することができる。
【０００７】
いくつかの実施形態では、プロジェクタシステムが提供される。このプロジェクタシステムは、表示内容を表面に投影する手段と、表面付近の領域を照明する手段とを含むことができる。また、このプロジェクタシステムは、照明中に表面の画像を取り込む手段と、画像の少なくとも一部分の複数の画素にわたる強度の変動を解析する手段とを含むこともできる。このプロジェクタシステムは、画像の一部分と関連する極性を決定する手段と、解析および決定した極性に少なくとも部分的に基づいて、物体が表面に接触しているかどうかを判定する手段とをさらに含むことができる。
【０００８】
いくつかの実施形態では、非一時的コンピュータ可読媒体が提供される。この媒体は、プロセッサによって実行されたときに、プロセッサに、表示内容が投影される表面の画像を入手させ、画像の少なくとも一部分の複数の画素にわたる強度の変動を解析させることができる命令を収容することができる。これらの命令は、前記プロセッサによって実行されたときに、プロセッサに、さらに画像の一部分と関連する極性を決定させ、変動の解析および決定した極性に少なくとも部分的には基づいて、物体が表面に接触しているかどうかを判定させることができる。
【図面の簡単な説明】
【０００９】
【図１】投影システム100の1実施形態を示す図である。
【図２】タイミング回路の入力および出力の例を示す図である。
【図３】タイミング回路の1実施形態を示す概略図である。
【図４】物体がディスプレイスクリーンに接触しているかどうかを推測する方法の1実施形態を示す図である。
【図５】物体の位置を推定する方法の1実施形態を示す図である。
【図６ａ】物体がスクリーンに接触しているかどうかを判定する方法の1実施形態を示す図である。
【図６ｂ】物体がスクリーンに接触しているかどうかを判定する方法の1実施形態を示す図である。
【図７】物体がスクリーンに接近するときの状況の変化を追跡することができる状態機械(state machine)の1例を示す図である。
【図８】投影システムの1例を示す図である。
【図９】コンピュータシステムの1実施形態を示す概略図である。
【図１０ａ】バック光源がシーンを照明している間に手がスクリーン上方で停止している例示的な状況と関連する画像を示す図である。
【図１０ｂ】バック光源がシーンを照明している間に手がスクリーン上方で停止している例示的な状況と関連する画像を示す図である。
【図１０ｃ】バック光源がシーンを照明している間に手がスクリーン上方で停止している例示的な状況と関連する画像を示す図である。
【図１１ａ】バック光源がシーンを照明している間に指がスクリーンに接触している例示的な状況と関連する画像を示す図である。
【図１１ｂ】バック光源がシーンを照明している間に指がスクリーンに接触している例示的な状況と関連する画像を示す図である。
【図１１ｃ】バック光源がシーンを照明している間に指がスクリーンに接触している例示的な状況と関連する画像を示す図である。
【発明を実施するための形態】
【００１０】
ユーザと投影システムのとの対話を改善する技術を提供する。いくつかの実施形態では、ディスプレイスクリーンの前のユーザの画像を取り込む。次いで、画像の画素にかかる影および/または明るさ(すなわち強度)の変化の解析に基づいて、ユーザがディスプレイスクリーンに接触しているかどうかを推測することができる。たとえば、(1)物体の頂部周辺の領域が比較的小さな明るさの変化で特徴付けられるときには、その物体がスクリーンに接近しつつあると推測し、(2)明るさの変化が大きく、上記領域が(影によって生じる)暗極値を含むときには、物体がスクリーン上方で停止していると推測し、(3)明るさの変化が大きく、かつ上記領域が明極値を含むときには、物体がスクリーンに接触していると推測することができる。
【００１１】
ライトは、明るさの変化がユーザとスクリーンとの相互作用を特徴付ける所望の状態と適切に関連付けられることを保証するように、(投影システム内で)適切に配列および構成することができる。たとえば、投影システムは、すべて共有筐体内に組み込まれた投影光学素子、フロントライト、バックライトおよびカメラを含むことができる。フロントライトは、照明中にカメラに取り込まれる画像において、スクリーン上方で停止している物体(たとえば指先など)の周りに実質的に影が生じないように、ディスプレイスクリーンの前の領域を照明するように構成することができる。バックライトは、照明中にカメラに取り込まれる画像において、スクリーン上方で停止している物体の周りに影が生じるように、ディスプレイスクリーンを照明するように構成することができる。カメラは、フロントライト照明中にスクリーンを撮像(して第1の画像を生成)し、バックライト照明中にスクリーンをさらに撮像(して第2の画像を生成)するように構成することができる。第1の画像は、物体の位置を推定するために使用することができ、第2の画像は、(たとえばある領域の画素の明るさの変化を特徴付けし、かつ/またはその領域中の極値が明であるか暗であるかを特定することによって)物体の状態を推測するために使用することができる。
【００１２】
図1は、投影システム100の1実施形態を示す図である。この投影システムは、プロジェクタ105を含むことができる。このプロジェクタは、スクリーンに参照画像を投影することによって、たとえばディスプレイスクリーン160に投影された投影画像を作成するように構成することができる。プロジェクタ105は、アプリケーションまたはプログラムあるいはその他のコンピュータの動作のアスペクトと関連付けて生成される画像を投影するように構成することもできる。ディスプレイスクリーン160としては、たとえばホワイトボード、プルダウン式スクリーン、壁面などが挙げられる。ディスプレイスクリーン160は、投影システム100を備えるセット内に、システム100から独立してこれと分離可能な状態、またはシステム100に接続された状態のいずれかの状態で設けることができる。ディスプレイスクリーン160は、実質的に長方形の形状を有することができ、少なくとも約1mm、1cm、10cm、100cm、1m、3m、5mまたは10m、これらの値程度、あるいはこれらの値未満の対角線寸法を有することができる。ディスプレイスクリーン160は、少なくともある程度の反射性を有する材料で構成することができる。場合によっては、ディスプレイスクリーン160は、少なくとも約1%または10%、かつ/あるいは約20%または40%未満の反射率を有する。本明細書では「ディスプレイスクリーン」という用語を使用しているが、このディスプレイスクリーンは、画像を表示することを意図して製造された要素または構成要素に限定されるわけではない。本明細書で使用するディスプレイスクリーンは、壁面、床面、紙、窓またはその他の任意の表面など、光および/または画像を投影することができるどのような表面も含むことができる。いくつかの実施形態では、蒸気または凝結によって表面を生じることもできる。いくつかの実施形態では、この表面としては、ユーザの手、服、またはその他のユーザに関連する要素も含まれる。
【００１３】
プロジェクタ105としては、たとえば単焦点プロジェクタが挙げられる。プロジェクタ105は、約1未満または0.5未満の投影比(プロジェクタからスクリーンまでの距離を投影画像の対角線長で割った値)を有することができる。プロジェクタ105は、プロジェクタ光源105aおよびミラー105bなどのプロジェクタ光学素子を含むことができる。いくつかの実施形態では、プロジェクタ105は、投影システム100内の独立したデバイスであり、かつ/または単一のプロクタハウジング内に収容される。他の実施形態では、プロジェクタ105は、投影システム100の残りの部分と分けて収容されないプロジェクタ光学素子およびまたはその他のプロジェクタ構成要素の集合を表す。
【００１４】
投影システム100は、各々光を放出するように構成された、少なくとも1つのフロント光源110および/または少なくとも1つのバック光源115を含むことができる。これらの光源の一方または両方によって放出される光は、非可視であってもよい。いくつかの実施形態では、これらの光源の一方または両方によって放出される光は、赤外光を含む、または赤外光からなる。これらの光源の一方または両方は、1つまたは複数の、あるいはアレイ状の発光ダイオード(LED)などの要素光源を含むことができる。1つの実施形態では、バック光源115は、単一の光源を含み、フロント光源110は、要素光源(たとえばLEDなど)のアレイを含む。いくつかの実施形態では、1つの光源が、その要素光源の集合から放出された光が単一の光源のように見えるような密度で位置決めされた複数の要素光源を含む。
【００１５】
フロント光源110は、プロジェクタ105ならびに/または投影光学素子105aおよび105bの前に位置決めすることができる。フロント光源110は、プロジェクタ105の前面および/またはプロジェクタ105の底面の前方部分に取り付けることができる。フロント光源110は、プロジェクタ105とディスプレイスクリーン160との間、および/またはバック光源115とディスプレイスクリーン160との間に位置決めすることができる。いくつかの実施形態では、フロント光源110は、プロジェクタ105の前端部付近に位置決めされる。いくつかの場合には、ディスプレイスクリーン160とフロント光源110との間の水平方向間隔は、約1.5メートル未満である。
【００１６】
フロント光源110は、投影システム100から第1の方向に光を放出するように構成することができる。いくつかの実施形態では、光は、最初からフロント光源110から第1の方向に放出される。いくつかの実施形態では、光学素子を使用して、この初期光を第1の方向に伝搬するように方向付ける。第1の方向は、第1のx成分(たとえばディスプレイスクリーン160および天井155と平行な方向)および第1のy成分(たとえば天井155、床またはその他のシステム100を支持する表面に対して直交する方向)を含むことができる。
【００１７】
フロント光源110および/またはこの光源と関連付けられた光学素子は、この光源から発せられて投影システムを出る光が、ディスプレイスクリーン160と接触している物体(たとえば指、手、またはワンドや指示デバイスなどその他の物体など)を照明するように構成することができる。したがって、フロント光源110は、ディスプレイスクリーン160のすぐ前の領域を照明するように構成することができる。関心のある物体を適当かつ/または完全に照明するように適当に構成するには、光源110のたとえば位置、配向および/または明るさ、ならびに/あるいは光源110から放出される光を方向付ける光学素子の選択および配置を適切に設定することが必要となることがある。場合によっては、ディスプレイスクリーン160に接触している物体が、フロント光源110から出る光の一部を反射し、その光がスクリーン上でミラーリングされて、カメラ120に写ることもある。以下で説明するように、これはこれらの状況では望ましくないことが多い。したがって、フロント光源110およびそれと関連付けられた任意の光学素子の明るさ、位置および配向は、このミラー効果を低減する、または最小限に抑えるように構成することができる。
【００１８】
バック光源115は、プロジェクタ105の後部付近に位置決めすることができる。バック光源115は、フロント光源110ならびに/または投影光学素子105aおよび105bの後方に位置決めすることができる。バック光源115は、プロジェクタ105の後面および/またはプロジェクタ105の底面の後方部分に取り付けることができる。
【００１９】
バック光源115は、投影システム100から第2の方向に光を放出するように構成することができる。いくつかの実施形態では、光は、最初からバック光源115から第2の方向に放出される。いくつかの実施形態では、光学素子を使用して、この初期光を第2の方向に伝搬するように方向付ける。第2の方向は、第2のx成分および第2のy成分を含むことができる。第2のy成分に対する第2のx成分の比は、第1のy成分に対する第1のx成分の比より大きくすることができる。第2のy成分に対する第2のx成分の比は、少なくとも約0.25、0.5、1、2または5とすることができる。フロント光源110とバック光源115との間の水平方向間隔は、少なくとも約0.1、0.25、0.5、1または2フィートとすることができる。1つの実施形態では、バック光源115から放出された光は、プロジェクタ105のレンズを通して投影することができる。たとえば、バック光源115とプロジェクタ105のレンズとの間の光路に沿ってプリズムを位置決めすることができる。
【００２０】
場合によっては、ディスプレイスクリーン160と接触している物体が、バック光源115から出る光の一部を反射し、その光がスクリーン160上でミラーリングされて、カメラ120に写ることもある。以下で説明するように、これはこれらの状況では望ましいことが多い。したがって、バック光源115およびそれと関連付けられた任意の光学素子の明るさ、位置および配向は、このミラー効果を生じるように構成することができる。
【００２１】
投影システム100は、カメラ120を含むことができる。カメラ120は、プロジェクタ105の底部に取り付けることができる。カメラ120は、プロジェクタ105の前部付近(たとえば投影光学素子105aおよび105bの前など)に位置決めすることができる。カメラ120は、フロント光源110とバック光源115との間に位置決めすることができる。カメラ120は、ディスプレイスクリーン160の前面の画像を取り込むように配向することができる。カメラ120は、ディスプレイスクリーン160を撮像することができるように、赤外線フィルタなどのフィルタを含むことができる。いくつかの実施形態では、カメラ120に加えて、またはカメラ120の代わりに、システム100は、IRセンサなど別のタイプの光センサを含む。
【００２２】
場合によっては、ディスプレイスクリーン160と接触している物体が、光源(110または115)から出る光の一部を反射し、その光がスクリーン上でミラーリングされて、カメラ120に写ることもある。このミラー効果は、状況により望ましくないことも(たとえば光がフロント光源110から放出される場合)、望ましいこともある(たとえば光がバック光源115から放出される場合)。カメラ120は、(たとえばシャッタおよび利得など、画像取込みパラメータを設定することにより)このミラー効果を最低限に抑える、低減する、維持する、強化する、または最大限に高めるように構成することができる。場合によっては、カメラ構成(たとえばパラメータ)は、どの光源が光を放出しているかに応じて変化する(たとえばフロント光源110が光を放出しているときにはこの効果を低減するように変化し、バック光源115が光を放出しているときにはこの効果を強化するように変化する)。場合によっては、カメラ構成は、様々な条件の下で一定のままであり、たとえば光源の位置、パワーおよび/または配向の設定などその他のストラテジによって、所望の特定状態用のミラー効果を実現することができる。
【００２３】
投影システム100は、タイミング回路125を含むことができる。タイミング回路125は、フロント光源110およびバック光源115のうちの一方または両方と結合することができる。タイミング回路125は、たとえば各光源に供給される電力を制御することができるオン/オフ信号を送ることによって、一方または両方の光源が光を放出するときを制御することができる。タイミング回路125は、カメラ120からの入力を受信することができる。したがって、たとえば、タイミング回路125に対して、カメラがディスプレイスクリーン160の撮像を開始しつつあるとき、または開始しようとしているときを通知することができる。タイミング回路125は、一度に光を放出する光源が光源110および115のうちの一方のみとなることを保証するように、かつ/あるいはカメラ120がディスプレイスクリーン160を撮像している時間間隔(すなわちフレーム)中に少なくとも1つの光源110および/または115が光を放出しているように構成することができる。
【００２４】
場合によっては、タイミング回路125は、光源110および115に交番オン/オフ信号を送る。たとえば、カメラが第1のフレームを撮像しているという信号を受信したら、タイミング回路125は、フロント光源110にオン信号を送ることができる。第1の撮像フレームが完了したという信号を受信したら、タイミング回路は、フロント光源にオフ信号を送ることができる。第2の撮像フレームに関連するバック光源115に対しても、これと同じタイミングで同じ信号を送ることができる。図2は、この実施形態を表す信号を示す図である。上段のトレースは、カメラ120からタイミング回路125が受信するカメラ信号を表している。中段のトレースは、フロント光源の発光を制御するために送られるタイミング回路の第1の出力を表している。下段のトレースは、バック光源の発光を制御するために送られるタイミング回路の第2の出力を表している。したがって、この実施形態では、光は、各カメラフレーム中に、光源110および115のうちの一方(一方のみ)から放出される。
【００２５】
タイミング回路125は、様々なタイミング回路のうちのいずれであってもよい。タイミング回路125は、たとえば1つまたは複数の集積回路、抵抗器、トランジスタおよび/またはダイオードを含むことができる。タイミング回路125は、たとえばカメラ120、クロックおよび/またはプロセッサから1つまたは複数の入力を受信することができる。タイミング回路125は、1つ、2つまたはそれ以上の出力を有することができる。図3は、タイミング回路125の1実施形態を示す概略図である。
【００２６】
投影システム100は、筐体130を含むことができる。筐体130の少なくとも一部分または大部分は、金属またはプラスチック材料で構成することができる。筐体130は、プロジェクタ105、フロント光源110、バック光源115、カメラ120およびタイミング回路125のうちの1つ、複数またはすべてを、少なくとも部分的に、または完全に取り囲むことができる。場合によっては、筐体130は、投影システム100のすべての非収容部分を、少なくとも部分的に、または完全に取り囲む。いくつかの実施形態では、筐体130は、たとえば底面および/または前面に1つまたは複数のレンズ(または開口)を備える。これらのレンズは、投影システム100が、フロント光源110、バック光源115および/またはプロジェクタ光源105aからの光を放出することを可能にすることができる。レンズは、さらに、カメラ120が(たとえばディスプレイスクリーン160のところ、またはその前の)外部画像を収集することも可能にすることができる。いくつかの実施形態では、筐体130は、少なくともある程度は透明である1つまたは複数の表面を含む。いくつかの実施形態では、プロジェクタ105、フロント光源110、バック光源115、カメラ120およびタイミング回路125のうちの1つ、複数またはすべては、筐体を含まない構成で、直接または間接的に機械的に互いに結合することができる。たとえば、これらの要素のすべてを、オープンフレームに固定することもできる。「筐体」という用語は、閉止または部分的に閉止された実施形態を指す場合だけでなく、様々な要素が開放状態で、または緩く、機械的に結合された実施形態を指す場合にも使用される。
【００２７】
以下にさらに詳細に説明するように、投影システム100は、たとえば記憶デバイス、プロセッサおよび/またはコンピュータも含むことができる。いくつかの実施形態では、投影システム100は、外部の記憶デバイス、プロセッサおよび/またはコンピュータに(たとえばカメラ120から)データを送信する送信機を含む。投影システム100は、(たとえばクロック、外部コンピュータまたはユーザ制御デバイスから)データを受信する受信機も含むことができる。記憶デバイス、プロセッサ、コンピュータ、送信機および受信機のうちの1つ、複数またはすべては、上述の筐体内に部分的または完全に封入することもできるし、あるいはその他の方法で上述の要素の1つまたはすべてと機械的に結合することもできる。
【００２８】
システム100またはその一部分は、携帯可能な自立型ユニットとする、またはたとえば上述したように筐体内に封入さるなどしてその他の形で一体ユニットとして構成することができる。いくつかの実施形態では、システム100を使用して、実質的にどのような表面上にもタッチスクリーンを確立することができる。したがって、システム100は、様々な位置に、またはどのような位置にでも持ち運んで、たとえば会議室の壁面またはテーブル上にタッチ型コンピュータシステムを確立するために使用することができる。いくつかの態様では、システム100は、スマートフォンなどのモバイルデバイスに一体化され、ピコプロジェクタとして構成することができる。いくつかの態様では、フロント光源110およびバック光源115は、システム100の前後方向に位置合わせすることに加えて、またはその代わりに、横に並べて、または上下に重ねて配置することができる。
【００２９】
図4は、物体がディスプレイスクリーン160に接触しているかどうかを推測する方法400の1実施形態を示す図である。405で、参照画像(言い換えれば表示内容)が、(たとえばプロジェクタ105によって)ディスプレイスクリーン160に投影される。参照画像は、たとえば、投影システム100に結合されたコンピュータに記憶された、かつ/またはそのコンピュータによって送信されたデジタル画像とすることができる。参照画像としては、たとえばプレゼンテーションのスライド、文書、デスクトップ、ユーザインターフェース、ピクチャ、アニメーションなどが挙げられる。プロセス400がブロック410に進むかブロック430に進むかは、現在の時間ステップによって決まる。場合によっては、プロセス400は、最初は必ずブロック410および425のうちの一方に進む(たとえば常にブロック430より先にブロック410を実行する)。場合によっては、プロセス400は、絶対時間に依存する。
【００３０】
410で、ディスプレイスクリーン160付近の第1の領域を(たとえばフロント光源110によって)照明する。第1の領域は、ディスプレイスクリーン160のすぐ前の領域を含む、またはその領域からなることができる。たとえば、照明は、ユーザ、ユーザの手および/またはユーザの指が、投影システム100とディスプレイスクリーン160との間に位置して、ディスプレイスクリーン160と接触している場合に、ユーザの指が照明されやすくなるように構成することができる。いくつかの実施形態では、照明の方向および明るさは、415で取り込まれた画像において、第1の領域内の物体の周りに最小限の影しか生じないように、または全く影が生じないように、構成することができる。照明は、非可視光による照明を含むこともできる。この第1の領域の照明は、400で参照画像を投影するための光の放出(可視光の放出を含む)に加えて行うことができる。
【００３１】
415で、第1の領域の第1の画像を取り込む。第1の画像は、単一のカメラ(たとえばカメラ120など)または1組のカメラによって取り込むことができる。場合によっては、1つまたは複数の取込みカメラは、少なくとも部分的には、投影システム100の共用外側筐体内に封入される。第1の画像は、第1の領域が照明されている間に取り込むことができる。場合によっては、たとえば、第1の領域を照明している期間と実質的に同じ期間だけ、カメラ120のシャッタを開く。それより長い期間シャッタを開いておくと、画質が損なわれる可能性があり、それより短い期間シャッタを開いておくと、第1の領域を照明している光源に給電する必要がある電力が浪費される可能性がある。取り込まれた画像は、2次元デジタル画像を含むことができる。取り込まれた画像は、ディスプレイスクリーン160の一部またはすべてを含むことができる。
【００３２】
420で、関心のある物体の位置について推定を行う。この位置としては、(物体とスクリーンの接触に基づいて生成される)物体の頂部、物体の影の頂部、または物体上方の明るい区域の位置などがある。この位置は、x座標およびy座標を含む2次元位置を含む。x軸およびy軸は、第2の画像と関連付けられた軸であってもよいし、ディスプレイスクリーン160と関連付けられた軸であってもよい。1つの場合には、この位置は、物体がディスプレイスクリーン160と接触している場合にのみ物体の位置を正確に反映する座標を含む。場合によっては、この位置は、3次元位置を含む。たとえば、この位置は、同時に取り込まれた1組の第1の画像に基づいて推定することもできるし、あるいはコンピュータビジョン技術を使用して、画像のz座標を推定することもできる。
【００３３】
推定は、第1の画像中の物体の周りに影がほとんど、または全く生じないようにすることができるように、少なくとも部分的には第1の画像に基づいて行うことができる。したがって、いくつかの実施形態では、たとえば指先などを識別することは、その物体がディスプレイスクリーン160にどれくらい近いか、または接触しているかどうかさえ関わりなく、比較的容易であることがある。位置識別技術としては、たとえばコンピュータビジョン技術(たとえばフィーチャ検出、エッジ検出など)が挙げられる。たとえば、物体の縁部を利用して、物体の位置を識別することができる。
【００３４】
物体がスクリーンに接触しているかどうかの評価を可能にするためのその他の解析が行われている場合には、プロセス400は、425に進むことができ、このブロックで、投影画像と物体の相互作用が可能になる。この相互作用は、推定位置と物体がスクリーンに接触しているかどうかの判定とに依存することも(たとえば推定位置に投影されたアイコンをユーザが選択する、または移動させることができるようにする)、あるいは推定位置または接触判定のうちの一方のみに依存することもある。相互作用が可能になった後、または物体がスクリーンに接触しているかどうかの評価をまだ行うことができない場合には、プロセス400は、ブロック405に戻り、このブロックで、参照画像は、引き続き投影される、またはリフレッシュされる。いくつかの実施形態では、参照画像のリフレッシュ測度は、方法400とは無関係である。
【００３５】
次いで、プロセス400は、ブロック430に進むことができ、このブロックで、ディスプレイスクリーン160付近の第2の領域を(たとえばバック光源115によって)照明する。第2の領域は、ディスプレイスクリーン160の前面および/またはディスプレイスクリーンのすぐ前の領域を含む、あるいはディスプレイスクリーン160の前面および/またはディスプレイスクリーンのすぐ前の領域からなることができる。たとえば、照明は、ユーザが投影システム100とディスプレイスクリーン160との間に立ち、ディスプレイスクリーン160に接触している、またはスクリーン160の近くで指を停止させている場合に、ユーザの手が照明されやすくなるように構成することができる。いくつかの実施形態では、照明の方向および明るさは、435で取り込まれた画像において、物体がディスプレイスクリーン160と接触していない場合に第2の領域内の物体の周りに影または顕著な影が生じるように、構成することができる。照明は、非可視光による照明を含むこともできる。この第2の領域の照明は、プロセス400の参照画像を投影するための光の放出(可視光の放出を含む)に加えて行うことができる。
【００３６】
このように、第1の領域と第2の領域は、異なる期間であって、場合によっては重なり合わない期間中に照明することができる。タイミング回路125は、一方または両方の領域を照明する期間を制御することができる。第1の領域および第2の領域は、たとえばその領域を照明する複数の光源の異なる位置に基づいて、異なる空間領域を含むこともできる。ただし、第1の領域と第2の領域は、重複していてもよい(たとえばスクリーンの前にユーザがいないときには、両方がディスプレイスクリーン160のすべてまたは一部を照明してもよい)。
【００３７】
435で、第2の領域の第2の画像を取り込む。第2の画像は、単一のカメラ(たとえばカメラ120など)または1組のカメラによって取り込むことができる。場合によっては、1つまたは複数の取込みカメラは、少なくとも部分的には、投影システム100の共用外側筐体内に封入される。第1の画像と第2の画像は、同じカメラ(たとえば投影システム100内部の単一のカメラなど)によって取り込んでもよいし、1組のカメラによって取り込んでもよい。第1の画像および第2の画像は、同じ視点からの画像とすることができる。第2の画像は、第2の領域が照明されている間に取り込むことができる。場合によっては、たとえば、第2の領域を照明している期間と実質的に同じ期間だけ、カメラ120のシャッタを開く。取り込まれた画像は、2次元デジタル画像を含むことができる。取り込まれた画像は、ディスプレイスクリーン160の一部またはすべてを含むことができる。
【００３８】
第1の画像および第2の画像は、実質的に同様の視点、または同じ視点の画像とすることができる。1つの実施形態では、単一の撮像デバイスで、実質的に同様の方法または全く同じ方法で、両方の画像を取り込み、画像を取り込んだタイミングだけが異なる。いくつかの実施形態では、第2の画像は、第1の画像を取り込んでから約1、0.5、0.1または0.05秒未満後に取り込む。
【００３９】
440で、物体がディスプレイスクリーン160と接触しているかどうかの推測を行う。たとえば、関心のある物体が配置された後で、第2の画像中でその位置の周囲の領域を解析して、その物体の周囲の任意の影を評価することができる。この推測は、少なくとも部分的には、主として、または完全に、第2の画像に基づいて行うことができる。たとえば、物体(たとえば指先など)の周りに影がない場合には、その物体がディスプレイスクリーン160に接触していると推測することができる。場合によっては、この推測は、「物体がタッチスクリーン160に接触しているか否か」などのバイナリクエリを評価するものである。他の場合には、クエリは、「物体がスクリーン160から遠いか、スクリーン160に近いか、またはスクリーン160に接触しているか」あるいは「物体のどの部分がスクリーン160に接触しているか」(たとえばその周囲に影がほとんど、または全く存在しない物体の部分に基づいて決定される)など、3通り以上の結果を生じる可能性がある。いくつかの実施形態では、物体が、たとえばスクリーンからしきい値距離の範囲内などスクリーン付近で停止しているかどうか、および/またはしきい値時間だけ停止しているかどうかを判定することができる。
【００４０】
物体がスクリーンに接触していると推測された場合には、425で、投影画像と物体との間の相互作用を可能にすることができる。たとえば、ユーザは、プログラムを選択する、表示を先に進める、表示画面の一部をハイライトする、表示されたユーザインターフェースを用いてプログラムに入力を与えるなどの動作を行うことができる可能性がある。場合によっては、物体がスクリーンに接触していると推測されるときには、物体(たとえばユーザの指先など)が、実質的にコンピュータのマウスとして作用することもできる。場合によっては、物体がスクリーンに接触していると推測されるときには、ディスプレイスクリーン160は、実質的にトラックパッドとして作用する。たとえば、物体の位置を推定し、スクリーンとの接触状態を推測することにより、物体がスクリーンに接触しているかどうかか、スクリーンを叩いているかどうか、スクリーンに沿ってドラッグしているかどうか、および/またはスクリーンから離れたかどうかに関する推測が可能になる可能性がある。プログラムによって、物体の動作を特定のコマンド(たとえばプログラムを選択する、ビューを変更するなど)と関連付けることができる。
【００４１】
図4に示す方法のいずれの部分も、反復することができる。たとえば、単一または1組の参照画像が投影されている間に、第1の領域と第2の領域を(たとえば異なる期間中に)繰り返し照明することもできる。画像を、繰り返し取り込むこともできる。物体の位置に関する推定および物体がスクリーン160に接触しているかどうかの推測も、繰り返し行うことができる。図4において反復動作を示す矢印は、単なる例示のためのものである。この方法は、これとは異なる反復を含むこともできることを理解されたい。さらに、たとえばプロセス400では、ブロック410〜420を実行した後でブロック430〜440を実行してもよいし、あるいはその逆の順序で実行してもよいことは理解されるであろう。
【００４２】
図5は、(たとえば図4の430のように)物体の位置を推定する方法500の1実施形態を示す図である。505で、1つまたは複数の背景画像を取得する。背景画像は、背景画像には物体がないことを除けば、第1の画像および/または第2の画像(たとえば図4の415で取り込まれた第1の画像など)と実質的に同様とすることができる。たとえば、これらの1つまたは複数の背景画像は、第1/第2の画像の取込み中と同じ設定を有する、同じ1つまたは複数のカメラを用いて、同じ視点から、かつ/または実質的に同様の照明で、取り込むことができる。1つの場合には、第1の背景画像は、第1の画像を取り込む際に使用した、または使用する可能性が高い条件と同様の条件(たとえば設定、視点、照明など)で取り込まれる。第2の背景画像は、第2の画像を取り込む際に使用した、または使用する条件と同様の条件(たとえば設定、視点、照明など)で取り込まれる。
【００４３】
これらの1つまたは複数の背景画像は、物体が存在しない対照状態の間に取り込まれていることもある。これらの1つまたは複数の背景画像は、特に対照として(たとえば画像の取込み用のシーンを準備するようにユーザに命令した後で)取り込まれていることもあるし、あるいはユーザが知らないうちに撮影されていることもある。たとえば、投影システム100は、1つのシーンを単一の視点から繰り返し撮像することができる。明るさの変動性を決定する技術や、連続する複数の画像の間でしきい値を超える差(たとえば複数画素にわたる画素対強度の絶対差の累積和)があるかどうかを評価する技術などの技術を使用して、スクリーン160の前に物体が存在しない可能性が高い画像を識別することができる。「明るさ」、「強度」および「輝度」という用語は、本明細書では、画像の解析に関連して用いられているときには入れ替え可能であることは、理解されるであろう。
【００４４】
510で、第1の画像および/または第2の画像を、(たとえばそれぞれの)1つまたは複数の背景画像に基づいてフィルタリングする。1つの場合には、第1の画像は、対応する第1の背景画像に基づいてフィルタリングされ、第2の画像は、対応する第2の背景画像に基づいてフィルタリングされる。たとえば、1つまたは複数の背景画像から得られる2次元明るさマップ(Bx、y)を、第1の画像および/または第2の画像の同様のマップ(Ix、y)から減算すればよい。ノイズしきい値εは、フィルタリングされた画像が、第1の画像および/または第2の画像と背景画像との間の差がしきい値を超える画素でのみ非ゼロ値を有するように設定することができる。このプロセスは、以下のように表現することができる。
【００４５】
【数１】
2014535096.tif 000003
【００４６】
追加または代替のフィルタリング技術を適用することもできる。たとえば、第1の画像、第2の画像および/または背景画像は、スケーラまたは調節可能スケーラによってスケーリングすることができる。たとえば、
【００４７】
【数２】
2014535096.tif 000004
【００４８】
このようなスケーリングは、様々な画像を取り込む前にカメラの設定を調節することができる場合には、それほど有利でないか、または不要であることもある。510におけるフィルタリングでは、スクリーンや演壇などの静止物体を含まないフィルタリングされた画像(j)を生成することができる。
【００４９】
515で、たとえばフィルタリングされた画像に基づいて、物体に関連する位置を推定することができる。様々なコンピュータビジョン技術(たとえばエッジ検出またはフィーチャ検出など)を使用して、物体の位置を識別することができる。
【００５０】
いくつかの場合には、フィルタリングされた画像中の一番上の非ゼロ画素またはしきい値を超える一番上の画素が識別される。複数の列が、同じ一番上の行の所望の基準を満たす画素を含む場合には、たとえば最も左の列、中央の列または最も右の列を選ぶことによって、単一の一番上の画素を識別することができる。1実施形態では、一番上の画素は、画像の左上隅から右下隅まで走査しながら最初の非ゼロ画素またはしきい値を超える画素を探索することによって識別される。一番上の画素は、それ自体が推定位置を表すこともあれば、位置を推定するために使用される中間変数として働くこともある。たとえば、一番上の画素を識別した後で、一番上の画素の周りの区域(たとえば長方形など)内の極値位置を識別することができる。したがって、たとえば、一番上の画素が座標(15、60)を有すると決定することができる。次いで、(10、55)から(20、65)まで延びる長方形ブロック内の極値画素を、推定位置として識別することができる。
【００５１】
図6aは、(たとえば図4の440のように)物体がスクリーンに接触しているかどうかを判定する方法600aの1実施形態を示す図である。605で、画像(たとえば図4の425で取り込まれた第2の画像)内の関心のある点を識別することができる。この関心のある点としては、図5で物体と関連すると推定された位置が挙げられる。たとえば、この関心のある点は、物体の頂部(たとえば指先の頂部など)に対応すると推定される画素を含むことができる。
【００５２】
610で、関心のある領域を識別することができる。この領域は、関心のある点の周りの区域を含むことができる。たとえば、この領域は、関心のある点の周りの長方形の領域を含むことができる。
【００５３】
615で、この領域内の明るさの変動を解析する。物体がスクリーン上に影を落としている(停止している)ときには、影の暗い明るさの値と物体の明るさの値との間の差が劇的であることにより、明るさの変動が大きい可能性がある。物体がスクリーンに近づくときには、ほとんどの画素がその物体を表すことで、明るさの変動が比較的小さくなる可能性がある。物体がスクリーンに接触すると、物体の頂部に明るい境界が形成されることにより、明るさの変動が再び大きくなる可能性がある。
【００５４】
この解析は、その領域内の明るさ値の標準偏差または分散を計算することを含むことがある。1つの実施形態では、その領域の異なる部分(たとえば異なる画素列など)と各々関連付けられた複数の変動測度(たとえば標準偏差または修正標準偏差)を計算する。1つの実施形態では、これらの変動測度は、n値(画素数)で割らない修正標準偏差を含み、この修正により、測定値のブロックサイズの変化の影響の受けやすさが軽減することができる。単一の結合変動測度を、これら複数の変動測度に基づいて計算することができる(たとえばこれら複数の変動測度のメジアンまたは平均値に等しい)。たとえば解析した領域のサイズに対応するように、結合変動測度をスケーリングすることができる。
【００５５】
数学的表現を、以下に示す。この実施形態では、たとえば第2の画像(上述)から背景画像の(たとえば明るさの)値を引くことにより、フィルタリングされた画像を計算する。フィルタリングされた画像は、差がノイズしきい値ε未満である場合には、ゼロに設定される。関心のある位置(i、j)の周りの一番上のブロックKを解析する。各列σiについて、修正標準偏差を計算する。次いで、修正標準偏差を平均して、時間依存結合変動測度aiを計算する。
【００５６】
【数３】
2014535096.tif 000005
【００５７】
平均標準偏差を使用して、たとえば、物体がスクリーンに接近しつつあるかどうかを判定することができる。具体的には、平均標準偏差が小さければ、これを使用して、物体がスクリーンに接近しつつある状態で、スクリーン上方で停止していない(この場合には、物体の周りに影が生じる)、またはスクリーンと接触していない(この場合には、物体の周りに明るいスポットが生じる)と推測することができる。ただし、平均標準偏差では、すべての実施形態においてこれら2つの場合を区別できるとは限らない。
【００５８】
620で、暗/明符号を識別する。この符号は、たとえば、その領域内の極値点(または一番上のn個の点の強度の平均)および/または関心のある点が、「暗」の強度値と関連するか、「明」の強度値と関連するかを示すことができる。たとえば、暗符号は、関心のある点の明るさがしきい値未満であるか、または平均明るさ値未満であるときに識別することができる。明符号は、関心のある点の明るさがしきい値より上であるか、または平均明るさ値より上であるときに識別することができる。別の例では、強度分布の非対称を用いて、符号を決定することもできる。
【００５９】
しきい値は、画像が表示されている表面、周囲光、皮膚の色、対照物体の色、または投影されている画像または表示内容に基づいて決定することができる。しきい値は、強度値の分布を決定し、そのうちの所与の数の強度値がその値未満またはその値超となる値にしきい値を設定することによって決定することができる。たとえば、暗符号を決定するためのしきい値は、投影されている画像の強度値の分布を入手し、入手した値のうちの20%がそのしきい値未満となるようにしきい値を設定することによって決定することができる。しきい値は、定数であっても変数であってもよい。たとえば、しきい値は、投影されている画像またはスクリーン外平均瞬間強度に応じて変化してもよい。
【００６０】
625で、物体がスクリーンに接触しているかどうかの判定を行う。以下のtable(表1)は、様々な状態と関連する変動測度および暗/明符号を示している。したがって、615で決定された変動速度および620で決定された暗/明符号に基づいて、物体の状態(たとえば空中で停止している、スクリーンに接近中である、またはスクリーンに接触しているなど)を決定することができる。図7は、物体がスクリーンに接近するときの状況の変化を追跡することができる状態機械(state machine)の1例を示す図である。
【００６１】
【表１】
2014535096.tif 000006
【００６２】
図6bは、(たとえば図4の440のように)物体がスクリーンに接触しているかどうかを判定する別の方法600bの1実施形態を示す図である。655で、表示内容を表面に投影する。ブロック655は、ブロック405に関連して説明した実施形態と同様の実施形態を含むことができる。たとえば、表示内容は、プロジェクタによってディスプレイスクリーンに投影することができ、デジタル画像(たとえばプレゼンテーションのスライド、文書、デスクトップ、ユーザインターフェース、ピクチャ、アニメーションなど)とすることができる。
【００６３】
660で、表面付近の領域を照明する。ブロック660は、ブロック430に関連して説明した実施形態と同様の実施形態を含むことができる。たとえば、この領域は、その表面の前面および/またはその表面のすぐ前の領域を含む、あるいはその表面の前面および/またはその表面のすぐ前の領域からなることができ、照明は、ユーザが表示内容を投影しているプロジェクタとその表面の間に立ち、その表面に触れている場合に、ユーザの手が照明されやすくなるように設定することができる。照明は、非可視光による照明を含むこともできる。この第2の領域の照明は、400で参照画像を投影するための光の放出(可視光の放出を含む)に加えて行うことができる。したがって、655で表示内容が表面に投影されている間に、660で、この表面付近の領域を照明することができる。
【００６４】
665で、照明中に、この表面の画像を取り込む。ブロック665は、ブロック435に関連して説明した実施形態と同様の実施形態を含むことができる。670で、この画像の少なくとも一部分の画素の強度の変動を解析する。ブロック670は、ブロック615に関連して説明した実施形態と同様の実施形態を含むことができる。たとえば、この解析は、この領域内の明るさ値の1つまたは複数の(従来の、または修正した)標準偏差または分散を計算することを含むことがある。
【００６５】
675で、この部分に関連する極性を決定する。ブロック675は、ブロック620に関連して説明した実施形態と同様の実施形態を含むことができる。たとえば、この極性の決定は、この領域内の極値の符号を識別すること、この領域の強度値の分散の非対称の方向を識別すること、またはこの領域内の極値をしきい値と比較することを含むことができる。
【００６６】
680で、物体が表面に接触しているかどうかの判定を、画素の強度の変動の解析と決定した極性とに少なくとも部分的に基づいて行う。ブロック680は、ブロック625に関連して説明した実施形態と同様の実施形態を含むことができる。たとえば、この部分が画素強度の大きな変動を含み、極性が高または明であるときに、物体が表面に接触していると判定することができる。いくつかの実施形態では、物体が表面に接触しているかどうかの判定は、たとえば655で投影されている表示内容と関連するアプリケーションなどのアプリケーションの動作に影響を及ぼすこともある。
【００６７】
図8は、投影システム800の1実施形態を示す図である。図8に示す構成要素は、単一のデバイスの一部であっても、複数のデバイスの一部であってもよい。たとえば、いくつかの構成要素がプロジェクタの一部であり、他の構成要素が独立した(結合された、または結合されていない)コンピュータの一部であってもよい。いくつかの実施形態では、図示の構成要素の1つまたは複数をこのシステムから省略する、かつ/あるいは追加の構成要素を図示のシステムに追加することもできることを理解されたい。
【００６８】
システム800は、カメラ820(たとえばカメラ120など)、1つまたは複数の光源(たとえばフロント光源110および/またはバック光源115など)、およびタイミング回路825(たとえばタイミング回路125など)を含む。カメラ820は、ディスプレイスクリーンのところの領域またはディスプレイスクリーン付近の領域の画像を取り込むことができる。1つまたは複数の光源812は、スクリーンのところの領域またはスクリーン付近の領域を照明することができる。1つまたは複数の光源812は、非可視光(たとえば赤外線)を放出することもできる。光を放出している間に画像が取り込まれるように、カメラ820と1つまたは複数の光源812を結合することもできる。1つの実施形態では、カメラ820は、タイミング回路825を介して1つまたは複数の光源812に結合される。1つまたは複数の光源812が複数のライトを含む実施形態では、これに加えて、または別法として、タイミング回路825は、(たとえばこれらのライトが実質的に重なり合わない期間中に光を放出するように)これらのライトの発光を調整することができる。
【００６９】
カメラ820によって取り込まれた画像は、処理および/または解析することができる。1つの実施形態では、画像は、画像プリプロセッサ870に入力される。画像プリプロセッサ870は、たとえばフィルタ872を含むことができる。フィルタ872は、特定の空間周波数をフィルタリングによって除去する、画像を強化する、画像をクロッピングする、強度値(たとえば平均強度など)をすべての画素に加算または減算するなどの動作を行うことができる。場合によっては、フィルタ872は、静止物体除去器874を含む。静止物体除去器874は、取り込まれた画像のうち関心のない部分(たとえば動きのない物体、スクリーン、所与の期間内に動いていない物体など)をフィルタリングによって除去することができる。場合によっては、静止物体除去器874は、対照画像を使用して、このフィルタリングを実行する。たとえば、スクリーンのみからなる画像、または人間を含まない画像を、後続の画像から引くことができる。別の例では、対照画像は、(たとえば対照画像内で静止物体のみが目立つ状態で残るように)複数の画像の平均とする。プリプロセッサ870は、ノイズ除去器876を含むことができる。ノイズ除去器876は、たとえば、対照画像中の対応する値との差が不十分である値(たとえば明るさ値など)を有する画素を識別することができる。次いで、これらの画素の値を、ゼロに設定することができる。プリプロセッサ870は、正規化器878を含むことができる。たとえば、正規化器878は、環境照明を考慮に入れることを試みることができる。したがって、たとえば、特定の画素が常に遮られないと予測することができる。次いで、これらの値の画素が識別された値と等しくなる、または識別された範囲内に収まるように、フィルタリングされた画像を調整することができる。
【００７０】
前処理された画像は、1つまたは複数の画像解析器880によって解析することができる。いくつかの実施形態では、画像解析器880によって実行される解析は、問題の画像と関連付けられた特徴によって決まる。たとえば、フロント光源が光を放出している間に取得された画像の解析は、第2の光源が光を放出している間に取得された画像の解析とは異なることもある。画像解析器880は、エッジ検出器882を含むことができる。エッジ検出器882は、たとえば、線および/または画素変動を識別して、縁部を識別する。これらの縁部は、物体(たとえば指先)、物体の影および/または物体の周りの明るさの境界と関連する縁部とすることができる。
【００７１】
画像解析器880は、フィーチャ認識器884を含むことができる。フィーチャ認識器884は、一般的なフィーチャまたは特定のタイプのフィーチャを認識することができる。たとえば、フィーチャ認識器884は、あるシーンが(たとえば物体および影に対応する可能性がある)2つのフィーチャを含むことを識別することができる。いくつかの実施形態では、フィーチャ認識器884は、特に、あるシーンが指先などの物体を含むかどうかを認識することができる。フィーチャ認識器884は、画像の明るさ、明るさの変動、明るさの相関等を解析することができる。
【００７２】
画像解析器880は、変動検出器886を含むことができる。変動検出器886は、たとえば、画素値(たとえば画素の明るさ値)の変動、範囲または標準偏差を識別することができる。変動検出器886は、可変出力を絶対値またはスケーリングされた値(たとえば百分率など)として識別することができる。変動検出器886は、画像全体にわたって、または画像の(たとえば物体に関連する位置の周りの)一部分の中で、画素を解析することができる。
【００７３】
画像解析器880は、符号検出器888を含むことができる。符号検出器888は、画像は暗フィーチャ(たとえば指先の影など)を含むか明フィーチャ(たとえばスクリーンに接触している指先の頂部の明スポットなど)を含むかを解析することができる。符号検出器888は、画像全体を解析することも、あるいは画像の(たとえば物体と関連する位置の周りの)一部分を解析することもできる。符号検出器は、1つまたは複数の極値画素の符号、あるいはその領域内のメジアン、平均または最頻画素の符号を識別することができる。
【００７４】
画像解析器880は、物体検出器892、物体ロケータ894および/または物体状態検出器896に結合することができる。物体検出器892は、物体(物体一般、または指先など特定の物体)が画像内に存在するかどうかを検出することができる。物体ロケータ894は、物体の位置を推定することができる。物体状態検出器896は、物体の状態(たとえば空中停止している、遊休状態である、スクリーンに接触している、またはスクリーンに接近中であるなど)を推測することができる。物体検出器892、物体ロケータ894およびまたは物体状態検出器896は、プログラムインタラクタ898と結合することができる。たとえば、ユーザは、物体が検出され、かつ特定の状態にある(たとえばスクリーンに接触しているなど)ことが検出されたときにのみ、プログラムと対話することができることもある。対話の種類は、(たとえばスクリーン上でのユーザの手の位置によってプログラムが異なる応答をするように)物体の位置によって決まることがある。プログラムインタラクタ898は、投影光学素子805(たとえば投影光学素子105など)に結合して、たとえばその光学素子によって表示されるものが物体の存在、位置および/または状態によって決まるようにすることができる。したがって、投影光学素子805またはその他のそのような投影要素を使用して、画像、あるいはプログラム、アプリケーションまたはコンピュータシステムの状態または動作のその他の表現を投影することができる。ユーザは、画像または表現が投影または表示される表面に触れることによって、プログラム、アプリケーションまたはコンピュータシステムと対話することができる。たとえば、システム800は、画像が表示される表面にユーザが触れていることを検出したときに、この接触を(ユーザがマウスを使用する場合のように)クリック事象として扱うことができる。したがって、ユーザは、表面上に表示されたオブジェクトを、それらに触れることによって選択することができる。さらに、ユーザは、たとえば、表面に触れて、その表面に沿って自分の指をドラッグして選択ボックスを生成することができる、あるいは、オブジェクトに触れて、表面に沿って自分の指をドラッグしてそのオブジェクトを移動させることもできる。したがって、システム800が表面から離れていて、表面が電子構成
要素を含まないときでも、この表面をタッチスクリーンデバイスとして動作させることができることは、当業者なら理解するであろう。このように、たとえば投影されている画像またはその他の表示内容に基づいて、ユーザもしくはその他の物体が表面に接触しているかどうかの判定、および/または物体もしくは接触の位置特定を行うこと、ならびに/あるいはアプリケーションまたはコンピュータプロセスへの入力として利用することができる。いくつかの実施形態では、アプリケーションは、システム100または800上で実行する、あるいはシステム100または800によって実施することができる。いくつかの実施形態では、アプリケーションは、システム100または800に結合されたコンピュータ上で実行することができ、そのコンピュータシステムへの入力は、通信インターフェースを介して与えることができる。
【００７５】
投影システム100または800は、コンピュータシステムを含む、かつ/またはコンピュータシステムに結合することができる。たとえば、投影システム100は、どんな画像をディスプレイスクリーン160に表示するかを制御するコンピュータシステムに結合することができる。内部コンピュータまたは外部コンピュータを使用して、たとえば物体の位置を決定し、かつ/または物体がスクリーンに接触しているかどうかを判定することもできる。図9は、たとえば本明細書に記載する方法のすべてまたは一部を実行することができるコンピュータシステム900の1実施形態を示す概略図である。コンピュータシステム900の任意の部分またはすべての部分は、投影システム100に組み込み、かつ/または(たとえばワイヤレスまたは有線接続を介して)投影システム100に結合することができる。図9は、様々な構成要素の全体的な図を与えることのみを目的としたものであり、それらの任意の構成要素またはすべての構成要素は、適宜利用することができる。したがって、図9は、個々のシステム要素を、比較的分離して、または比較的統合して、どのように実装することができるかを大まかに示す図である。
【００７６】
コンピュータシステム900は、バス905を介して電気的に結合することができる(またはその他の方法で適宜通信することができる)ハードウェア要素を含むものとして示してある。これらのハードウェア要素は、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の特殊目的プロセッサ(デジタル信号処理チップおよび/またはグラフィックス高速化プロセッサなど)を含む(ただしこれらに限定されない)1つあるいは複数のプロセッサ910と、マウスおよび/もしくはキーボードなど(ただしこれらに限定されない)を含むことができる1つまたは複数の入力デバイス915と、ディスプレイデバイスおよび/もしくはプリンタなど(ただしこれらに限定されない)を含むことができる1つまたは複数の出力デバイス920とを含むことができる。
【００７７】
コンピュータシステム900は、1つまたは複数の記憶デバイス925をさらに含む(かつ/あるいはこれらと通信する)ことができ、この1つまたは複数の記憶デバイス925は、ローカル記憶装置および/またはネットワークアクセス可能記憶装置(ただしこれらに限定されない)を含むことができ、かつ/あるいはプログラマブルかつ/またはフラッシュ更新可能などにすることができるディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(RAM)および/または読取り専用メモリ(ROM)などの固体状態記憶デバイス(ただしこれらに限定されない)を含むことができる。このような記憶デバイスは、様々なファイルシステムおよび/またはデータベース構造など(ただしこれらに限定されない)など、任意の適当なデータ記憶装置を実装するように構成することができる
【００７８】
また、コンピュータシステム900は、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFi(登録商標)デバイス、WiMAX(登録商標)デバイス、セルラ通信機構など)(ただしこれらに限定されない)を含むことができる、通信サブシステム930を含むこともある。通信サブシステム930は、ネットワーク(例を挙げれば以下に記載するネットワークなど)、その他のコンピュータシステムおよび/または本明細書に記載のその他の任意のデバイスとデータを交換できるようにすることができる。多くの実施形態で、コンピュータシステム900は、上述のように、RAMまたはROMデバイスを含むことができるワーキングメモリ935をさらに含むことになる。
【００７９】
コンピュータシステム900は、ここではワーキングメモリ935内に位置するものとして示す、オペレーティングシステム940、デバイスドライバ、実行可能ライブラリ、および/またはその他のコード、たとえば1つもしくは複数のアプリケーションプログラム945などを含む、ソフトウェア要素も含むことができ、上記のその他のコードは、本明細書に記載するように、様々な実施形態で提供されるコンピュータプログラムを含み、かつ/あるいは他の実施形態で提供される方法を実施するように、かつ/または他の実施形態で提供されるシステムを構成するように設計することができる。単なる例であるが、上述の1つまたは複数の方法に関連して述べた1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実施することもでき、1つの態様では、このようなコードおよび/または命令を使用して、汎用コンピュータ(またはその他のデバイス)を、上述の方法に従って1つまたは複数の動作を実行するように構成し、かつ/あるいは適応させることができる。
【００８０】
1組のこれらの命令および/またはコードは、上述の1つまたは複数の記憶デバイス925などのコンピュータ可読記憶媒体に記憶することができる。場合によっては、記憶媒体は、システム900などのコンピュータシステム内に組み込むこともできる。他の実施形態では、記憶媒体は、コンピュータシステムとは別にし(たとえばコンパクトディスクなどの取外し可能媒体など)、かつ/またはインストールパッケージに設けて、その命令/コードが記憶された汎用コンピュータをプログラムし、構成し、かつ/または適応させるために記憶媒体を使用することができるようにすることもできる。これらの命令は、コンピュータシステム900によって実行可能な実行可能コードの形態をとり、かつ/あるいは(たとえば様々な一般に入手可能なコンパイラ、インストールプログラム、圧縮/圧縮解除ユーティリティなどのうちのいずれかを用いて)コンピュータシステム900にコンパイルおよび/またはインストールされたときに実行可能コードの形態をとるソースおよび/またはインストール可能コードの形態をとることができる。いくつかの実施形態では、システム900またはその構成要素は、システム100または800の筐体内に含まれるか、あるいはその他の形でシステム100または800に機械的に結合することができる。たとえば、1つまたは複数のプロセッサ910は、画像プリプロセッサ870、画像解析器880、物体検出器892、物体ロケータ894、物体状態検出器896またはプログラムインタラクタ898のうちの1つまたは複数を含むことができる。
【００８１】
特定の要件に従って大幅な変更を加えることができることは、当業者には明らかであろう。たとえば、カスタムハードウェアを使用することもでき、かつ/あるいは特定の要素をハードウェアもしくはソフトウェア(アプレットなどのポータブルソフトウェアなど)またはその両方で実装することもできる。さらに、ネットワーク入出力デバイスなど他の計算デバイスへの接続を利用することもできる。
【００８２】
上述のように、1つの態様では、いくつかの実施形態は、コンピュータシステム(コンピュータシステム900など)を利用して、本発明の様々な実施形態による方法を実行することができる。1組の実施形態によれば、これらの不法の手順の一部または全体は、プロセッサ910がワーキングメモリ535に収容された1つまたは複数の命令(オペレーティングシステム940、および/またはアプリケーションプログラム945などその他のコードに組み込むことができる)の1つまたは複数のシーケンスを実行するのに応答して、コンピュータシステム900によって実行される。このような命令は1つまたは複数の記憶デバイス925のうちの1つまたは複数など別のコンピュータ可読媒体からワーキングメモリ935に読み込むことができる。単なる例であるが、ワーキングメモリ935に収容された命令のシーケンスを実行することにより、1つまたは複数のプロセッサ910に、本明細書に記載の方法の1つまたは複数の手順を実行させることができる。たとえば、1つまたは複数のプロセッサ910は、プロセス400のブロック420、425および/または440、プロセス500のブロック505、510および/または515、プロセス600aのブロック605、610、615、620および/または625、ならびに/あるいはプロセス600bのブロック670、675および/または680を実行することができる。さらに、1つまたは複数のプロセッサ910は、たとえばプロジェクタ105、光源110、光源115および/またはカメラ120に、プロセス400のブロック405、410、415、430および/または435ならびに/あるいはプロセス600bのブロック655、660および/または665を実行するように命令し、かつ/またはこれらのブロックを実行させることができる。
【００８３】
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを提供することに関わる任意の媒体を指す。コンピュータ可読媒体および記憶媒体は、一時的な伝搬信号は指さない。コンピュータシステム900を用いて実施される実施形態では、様々なコンピュータ可読媒体が、命令/コードを実行するために1つまたは複数のプロセッサ910に提供する際に必要となる可能性があり、かつ/あるいはこれらの命令/コードを記憶するために使用される可能性がある。多くの実施態様では、コンピュータ可読媒体は、物理的な、かつ/または有形の記憶媒体である。このような媒体は、不揮発性媒体の形態をとってもよいし、あるいは揮発性媒体の形態をとってもよい。不揮発性媒体としては、たとえば、1つまたは複数の記憶デバイス925などの光学および/または磁気ディスクが挙げられる。揮発性媒体としては、ワーキングメモリ935などのダイナミックメモリが挙げられるが、これに限定されるわけではない。
【００８４】
物理的な、かつ/または有形のコンピュータ可読媒体の一般的な形態としては、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープまたはその他の任意の磁気媒体、CD-ROM、その他の任意の光学媒体、パンチカード、紙テープ、穴のパターンを有するその他の任意の物理的媒体、RAM、PROM、EPROM、フラッシュEPROM、その他の任意のメモリチップまたはカートリッジなどが挙げられる。
【００８５】
(実施例)
図10aは、図4の425に関連して説明したように「第2の画像」が取り込まれる状況の1例を示す図である。具体的には、バック光源は、画像が取り込まれる間に光を放出している。この場合には、手は、スクリーンの上方で停止している。照明の角度および強度により、手の下に影が差す。図10bおよび図10cは、第2の画像に基づいて計算した背景を引いた明るさマップの2つの視点から見た図である。このマップのz軸および着色は、各画素の明るさを示す。正の値は、その画素が背景より明るいことを示し、負の値は、その画素が背景より暗いことを示す。図(たとえば特に図10cの側面図)から分かるように、一番先頭の顕著な値は負であるので、影を表している。
【００８６】
図11aは、図4の425に関連して説明したように「第2の画像」が取り込まれる状況の別の例を示す図である。この場合には、指がスクリーンに接触している。図示のように、指の周りには明領域がある。図11bおよび図11cは、第2の画像に基づいて計算した背景を引いた明るさマップの2つの視点から見た図である。この場合も、このマップのz軸および着色は、各画素の明るさを示す。図(たとえば特に図11cの側面図)から分かるように、一番先頭の顕著な値は正であるので、明るい接触境界を表している。したがって、第2の画像を使用して、物体がスクリーン上方で停止している状況と、物体がスクリーンに接触している状況とを区別することができる。
【００８７】
上述の方法、システムおよびデバイスは、例である。様々な構成では、様々な手順または構成要素を、適宜省略、置換または追加することができる。たとえば、代替の構成では、これらの方法は、記載した順序と異なる順序で実行することができ、かつ/または様々なステージを追加、省略および/または結合することができる。また、特定の構成に関連して記載した特徴を、様々な他の構成において組み合わせることができる。これらの構成の様々な態様および要素も、同様に結合することができる。また、技術は進歩するので、これらの要素の多くは例であり、本開示または特許請求の範囲の範囲を制限するものではない。
【００８８】
上記の説明では、例示的な構成(実施態様を含む)が十分に理解されるように、具体的な詳細を与えた。ただし、これらの具体的な詳細を用いなくても、様々な構成を実現することができる。たとえば、周知の回路、プロセス、アルゴリズム、構造および技術は、構成が曖昧になるのを避けるために、不要な細部は省略して示してある。この説明は、例示的な構成を与えるものに過ぎず、特許請求の範囲の範囲、適用可能性または構成を制限するものではない。上記の様々な構成についての説明は、記載の技術の実施を可能にするための説明を当業者に与える。様々な要素の機能および配列には、本開示の趣旨または範囲を逸脱することなく、様々な変更を加えることができる。
【００８９】
また、様々な構成を、流れ図またはブロック図として描写されるプロセスとして説明していることもある。各々はそれらの動作を順次プロセスとして説明していることもあるが、これらの動作の多くは並行して、または同時に実行することができる。さらに、これらの動作の順序は並べ替えることもできる。プロセスは、図面に示していない追加ステップを含んでいてもよい。さらに、これらの方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語またはこれらの任意の組合せによって実施することができる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実施されるときには、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶することができる。プロセッサは、説明したタスクを実行することができる。
【００９０】
いくつかの例示的な構成について説明したが、本開示の趣旨を逸脱することなく、様々な修正形態、代替構造および均等物を使用することができる。たとえば、上記の様々な要素は、さらに大きなシステムの構成要素であってもよく、その場合には、他の規則が本発明の適用より優先されるなどして、本発明の適用が修正されることもある。また、上記の要素を考慮する前、考慮中、または考慮した後に、いくつかのステップを行うこともできる。したがって、上述の説明は、特許請求の範囲の範囲を制限するものではない。
【符号の説明】
【００９１】
100  投影システム
105  プロジェクタ
105a  プロジェクタ光源
105b  ミラー
110  フロント光源
115  バック光源
120  カメラ
125  タイミング回路
130  筐体
155  天井
160  ディスプレイスクリーン
805  投影光学素子
812  光源
820  カメラ
825  タイミング回路
870  画像プリプロセッサ
872  フィルタ
874  静止物体除去器
876  ノイズ除去器
878  正規化器
880  画像解析器
882  エッジ検出器
884  フィーチャ認識器
886  変動検出器
888  符号検出器
892  物体検出器
894  物体ロケータ
896  物体状態検出器
898  プログラムインタラクタ
900  コンピュータシステム
905  バス
910  1つまたは複数のプロセッサ
915  1つまたは複数の入力デバイス
920  1つまたは複数の出力デバイス
925  1つまたは複数の記憶デバイス
930  通信サブシステム
935  ワーキングメモリ
940  オペレーティングシステム
945  1つまたは複数のアプリケーション
【図１】
2014535096.tif 000007
【図２】
2014535096.tif 000008
【図３】
2014535096.tif 000009
【図４】
2014535096.tif 000010
【図５】
2014535096.tif 000011
【図６ａ】
2014535096.tif 000012
【図６ｂ】
2014535096.tif 000013
【図７】
2014535096.tif 000014
【図８】
2014535096.tif 000015
【図９】
2014535096.tif 000016
【図１０Ａ】
2014535096.tif 000017
【図１０Ｂ】
2014535096.tif 000018
【図１０Ｃ】
2014535096.tif 000019
【図１１Ａ】
2014535096.tif 000020
【図１１Ｂ】
2014535096.tif 000021
【図１１Ｃ】
2014535096.tif 000022
【手続補正書】
【提出日】平成26年6月3日(2014.6.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示内容を表面に投影するステップと、
複数の異なる期間中に前記表面付近の領域を照明するステップと、
前記複数の異なる期間中に前記表面の複数の画像を取り込むステップと、
前記複数の画像の少なくとも一部分の複数の画素にわたる強度の変動を解析するステップと、
前記複数の画像の間での前記一部分と関連する極性の変化を決定するステップと、
前記変動の前記解析および前記決定した極性の変化に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するステップと、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも一部分が、前記物体の少なくとも一部の推定位置の周りの領域を含む、請求項1に記載の方法。
【請求項３】
強度の前記変動を解析する前記ステップが、前記強度の1つまたは複数の標準偏差を計算するサブステップを含む、請求項1に記載の方法。
【請求項４】
強度の前記変動を解析する前記ステップが、前記一部分内の重なり合わない複数の領域と関連する複数の標準偏差を計算するサブステップを含む、請求項1に記載の方法。
【請求項５】
強度の前記変動を解析する前記ステップが、前記複数の標準偏差を平均するサブステップをさらに含む、請求項4に記載の方法。
【請求項６】
前記極性の変化を決定する前記ステップが、前記画像の前記一部分内の極値の符号を識別するサブステップを含む、請求項1に記載の方法。
【請求項７】
前記物体が前記表面に接触していると判定するのに、前記極性が前記決定した変化後に正であることが必要である、請求項1に記載の方法。
【請求項８】
前記表面付近の前領域を照明するステップと、
前記前領域の前記照明内に前記表面の影低減画像を取り込むステップと、
前記影低減画像に基づいて前記物体と関連する位置を識別するステップとをさらに含み、
前記前領域の照明が、前記影低減画像内の前記表面付近に停止している物体に関連する影を最小限に抑えるように構成される、請求項1に記載の方法。
【請求項９】
前記前領域を照明する前に、前記領域の照明を中止するステップをさらに含む、請求項8に記載の方法。
【請求項１０】
実質的に封入された投影デバイスが、前記表示内容を投影し、前記領域を照明し、前記画像を取り込む、請求項1に記載の方法。
【請求項１１】
表示内容を表面に投影するように構成された投影光学素子と、
複数の異なる期間中に前記表面に向かう方向に光を放出するように構成された光源と、
前記複数の異なる期間中に前記表面の複数の画像を取り込むように構成されたカメラと、
前記画像の少なくとも一部分の複数の画素にわたる強度の変動を検出し、前記複数の画像の間での前記一部分と関連する極性の変化を決定するように構成された画像解析器と、
前記変動の検出および前記決定した極性の変化に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するように構成された状態検出器と、
を備えることを特徴とするプロジェクタシステム。
【請求項１２】
前記画像解析器が、前記物体に関連する位置を推定するようにさらに構成される、請求項11に記載のプロジェクタシステム。
【請求項１３】
前記画像の前記一部分が、前記推定した位置の周りの領域を含む、請求項12に記載のプロジェクタシステム。
【請求項１４】
前記画像解析器が、前記画像の前記少なくとも一部分と関連する強度の複数の標準偏差を識別するようにさらに構成される、請求項11に記載のプロジェクタシステム。
【請求項１５】
前記方向とは異なる前記表面に向かう第2の方向に光を放出するように構成された第2の光源と、
前記第2の光源の光の放出中に前記カメラによって取り込まれた画像に基づいて前記物体の位置を検出するように構成された位置検出器と、
をさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１６】
前記極性の変化の前記決定が、前記画像の前記一部分内の極値の符号を識別することを含む、請求項11に記載のプロジェクタシステム。
【請求項１７】
前記物体が前記表面に接触していると判定されたときに、前記物体が前記表面に表示されているプログラムと対話することを可能にするように構成されたプログラムインタラクタをさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１８】
1つまたは複数の対照画像に少なくとも部分的に基づいて前記画像をフィルタリングするように構成された画像プリプロセッサをさらに備える、請求項11に記載のプロジェクタシステム。
【請求項１９】
前記光源が光を放出するタイミングを前記カメラが画像を取り込むタイミングと調和させるように構成された、前記カメラおよび前記光源に結合されたタイミング回路をさらに備える、請求項11に記載のプロジェクタシステム。
【請求項２０】
表示内容を表面に投影する手段と、
複数の異なる期間中に前記表面付近の領域を照明する手段と、
前記複数の異なる期間中に前記表面の複数の画像を取り込む手段と、
前記複数の画像の少なくとも一部分の複数の画素にわたる強度の変動を解析する手段と、
前記複数の画像の間での前記一部分と関連する極性の変化を決定する手段と、
前記解析および前記決定した極性の変化に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定する手段と、
を含むことを特徴とする投影システム。
【請求項２１】
前記少なくとも一部分が、前記物体の少なくとも一部の推定位置の周りの領域を含む、請求項20に記載の投影システム。
【請求項２２】
強度の前記変動を解析する前記手段が、前記強度の1つまたは複数の標準偏差を計算する手段を含む、請求項20に記載の投影システム。
【請求項２３】
強度の前記変動を解析する前記手段が、前記一部分内の重なり合わない複数の領域と関連する複数の標準偏差を計算する手段を含む、請求項20に記載の投影システム。
【請求項２４】
強度の前記変動を解析する前記手段が、前記複数の標準偏差を平均する手段をさらに含む、請求項23に記載の投影システム。
【請求項２５】
前記極性の変化を決定する前記手段が、前記画像の前記一部分内の極値の符号を識別する手段を含む、請求項20に記載の投影システム。
【請求項２６】
前記物体が前記表面に接触していると判定する前記手段が、前記極性が前記決定した変化後にしきい値を超えるという要件を課す手段を含む、請求項20に記載の投影システム。
【請求項２７】
前記表面付近の前領域を照明する手段と、
前記前領域の前記照明内に前記表面の影低減画像を取り込む手段と、
前記影低減画像に基づいて前記物体と関連する位置を識別する手段とをさらに含み、
前記前領域の照明が、前記影低減画像内の前記表面付近に停止している物体に関連する影を最小限に抑えるように構成される、請求項20に記載の投影システム。
【請求項２８】
前記前領域を照明する前に、前記領域の照明を中止する手段をさらに含む、請求項27に記載の投影システム。
【請求項２９】
実質的に封入された投影デバイスが、前記表示内容を投影する手段と、前記領域を照明する手段と、前記画像を取り込む手段とを含む、請求項20に記載の投影システム。
【請求項３０】
プロセッサによって実行されたときに、前記プロセッサに、
複数の異なる期間中に、表示内容が投影される表面の複数の画像を入手するステップと、
前記複数の画像の少なくとも一部分の複数の画素にわたる強度の変動を解析するステップと、
前記複数の画像の間での前記一部分と関連する極性の変化を決定するステップと、
前記変動の前記解析および前記決定した極性の変化に少なくとも部分的に基づいて、物体が前記表面に接触しているかどうかを判定するステップと、
を実行させる命令を収容する、非一時的コンピュータ可読記録媒体。
【請求項３１】
前記極性の変化を決定する前記ステップが、前記画像の前記一部分内の極値の符号を識別するサブステップを含む、請求項30に記載のコンピュータ可読記録媒体。
【請求項３２】
前記物体が前記表面に接触していると判定するのに、前記極性が前記決定した変化後に正であることが必要である、請求項30に記載のコンピュータ可読記録媒体。
【請求項３３】
強度の前記変動を解析する前記ステップが、前記強度の1つまたは複数の標準偏差を計算するサブステップを含む、請求項30に記載のコンピュータ可読記録媒体。
【国際調査報告】
2014535096.tif 000023
2014535096.tif 000024
2014535096.tif 000025