(57)【特許請求の範囲】
【請求項１】
投影デバイスによって、第1のフレームレートでキャプチャフレームを投影するステップと、
前記キャプチャフレームが投影されている時に、画像キャプチャデバイスによってオブジェクトの画像をキャプチャするステップと、
前記キャプチャされた画像のタイムスタンプ又は基準に基づいて、前記キャプチャされた画像が前記キャプチャフレームを含むと決定するステップと、
前記キャプチャされた画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するステップと、
前記投影デバイスによって、第2のフレームレートでコンテンツフレームを投影するステップと
を備え、
前記コンテンツフレームは、前記オブジェクトに関する情報を含み、
前記第1のフレームレートは、前記第2のフレームレートより低い、方法。
【請求項２】
前記キャプチャフレームを投影するステップが、ソリッドカラーのフレームと、画像を有していないフレームとのうちの1つを投影するステップを備える、請求項1に記載の方法。
【請求項３】
前記第1のフレームレートで前記キャプチャフレームを投影するステップが、前記投影されたキャプチャフレームが観察者に気付かれないように前記第1のフレームレートで前記キャプチャフレームを投影するステップを備える、請求項1に記載の方法。
【請求項４】
前記コンピュータビジョン機能を実行するステップが、
前記キャプチャされた画像に基づいてオブジェクト認識を実行するステップ、または、
前記キャプチャされた画像に基づいて追跡を実行するステップ
を備える、請求項1に記載の方法。
【請求項５】
前記実行されたオブジェクト認識または追跡に基づいて、投影のための前記コンテンツフレームを生成するステップをさらに備える、請求項4に記載の方法。
【請求項６】
前記コンテンツフレームを投影するステップが、前記オブジェクト認識または追跡が実行される前記オブジェクトを遮蔽するコンテンツフレームを投影するステップを備える、請求項4に記載の方法。
【請求項７】
前記キャプチャされた画像上で前記追跡を実行するステップが、前記キャプチャされた画像内の前記オブジェクトの位置、向き、または、深度のうちの少なくとも1つを決定するステップを備える、請求項4に記載の方法。
【請求項８】
前記オブジェクトの前記画像をキャプチャするステップが、
前記画像キャプチャデバイスによって、前記キャプチャフレームが投影されていることを示す信号を受信するステップと、
前記信号を受信するステップに応答して前記画像をキャプチャするステップと
を備える、請求項1に記載の方法。
【請求項９】
前記第1のフレームレートの少なくとも2倍のフレームレートで画像がキャプチャされ、前記方法が、前記キャプチャフレームを含む少なくとも1つの画像をキャプチャして、前記キャプチャフレームを含まない少なくとも1つの画像をキャプチャするために、前記投影デバイスと前記画像キャプチャデバイスとを同期させるステップを備える、請求項1に記載の方法。
【請求項１０】
第1のフレームレートでキャプチャフレームを、および第2のフレームレートでコンテンツフレームを投影するように構成された投影デバイスであって、前記第1のフレームレートは、前記第2のフレームレートより低い、投影デバイスと、
前記投影デバイスが前記キャプチャフレームを投影する時にオブジェクトの画像をキャプチャするように構成された画像キャプチャデバイスと、
前記投影デバイスと前記画像キャプチャデバイスとに結合された1つまたは複数のプロセッサであって、
前記キャプチャされた画像のタイムスタンプ又は基準に基づいて、前記キャプチャされた画像が前記キャプチャフレームを含むと決定し、
前記キャプチャされた画像を処理して、前記キャプチャされた画像に少なくとも部分的に基づいて、前記コンテンツフレームを生成するか、投影のための前記コンテンツフレームの位置または向きを決定する
ように構成され、前記コンテンツフレームは、前記オブジェクトに関する情報を含む、1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに結合されたメモリと
を備える、システム。
【請求項１１】
前記投影されたキャプチャフレームが、ソリッドカラーのキャプチャフレームと、画像を有していないキャプチャフレームとのうちの1つを備える、請求項10に記載のシステム。
【請求項１２】
前記画像キャプチャデバイスがカメラを備える、請求項10に記載のシステム。
【請求項１３】
前記カメラが、可視光カメラ、深度センシングカメラ、赤外線(IR)光または紫外線(UV)光を検出することが可能なカメラ、ステレオカメラ、または、飛行時間(ToF)カメラのうちの少なくとも1つを備える、請求項12に記載のシステム。
【請求項１４】
前記投影デバイスが、デジタルライトプロセッシング(DLP)プロジェクタ、レーザービームステアリング(LBS)プロジェクタ、または、リキッドクリスタルオンシリコン(LCoS)プロジェクタのうちの少なくとも1つを備える、請求項10に記載のシステム。
【請求項１５】
前記1つまたは複数のプロセッサが、前記キャプチャされた画像内の前記オブジェクトに基づいて、コンテンツと、前記投影されたコンテンツフレームの位置とを制御するように構成される、請求項10に記載のシステム。
【請求項１６】
前記1つまたは複数のプロセッサが、前記キャプチャされた画像上でオブジェクト認識を実行するように構成される、請求項10に記載のシステム。
【請求項１７】
前記1つまたは複数のプロセッサが、前記キャプチャされた画像に基づいて追跡を実行するように構成される、請求項10に記載のシステム。
【請求項１８】
前記投影されたコンテンツフレームが、前記キャプチャされた画像内の前記オブジェクト上またはその周囲に拡張現実を作成する、請求項10に記載のシステム。
【請求項１９】
第1のフレームレートでキャプチャフレームを投影するための手段と、
前記キャプチャフレームが投影されている時にオブジェクトの画像をキャプチャするための手段と、
前記キャプチャされた画像のタイムスタンプ又は基準に基づいて、前記キャプチャされた画像が前記キャプチャフレームを含むと決定するための手段と、
前記キャプチャされた画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するための手段と、
第2のフレームレートでコンテンツフレームを投影するための手段と
を備え、
前記コンテンツフレームは、前記オブジェクトに関する情報を含み、
前記第1のフレームレートは、前記第2のフレームレートより低い、システム。
【請求項２０】
前記キャプチャフレームを投影するための前記手段が、ソリッドカラーのフレーム、または、画像を有していないフレームのうちの少なくとも1つを投影するように構成される、請求項19に記載のシステム。
【請求項２１】
前記キャプチャフレームを投影するための前記手段が、前記投影されたキャプチャフレームが観察者に気付かれないように前記第1のフレームレートで前記キャプチャフレームを投影するように構成される、請求項19に記載のシステム。
【請求項２２】
前記コンピュータビジョン機能を実行するための手段が、
前記キャプチャされた画像に基づいてオブジェクト認識を実行するための手段、または、
前記キャプチャされた画像に基づいて追跡を実行するための手段
のうちの少なくとも1つを備える、請求項19に記載のシステム。
【請求項２３】
前記実行されたオブジェクト認識または追跡に基づいて、投影のための前記コンテンツフレームを生成するための手段
をさらに備える、請求項22に記載のシステム。
【請求項２４】
投影のための生成されたコンテンツフレームが、投影される時に、前記オブジェクト認識または追跡が実行される前記オブジェクトを遮蔽する、請求項23に記載のシステム。
【請求項２５】
追跡を実行するための前記手段が、前記キャプチャされた画像内の前記オブジェクトの位置、向き、または、深度のうちの少なくとも1つを決定するように構成される、請求項22に記載のシステム。
【請求項２６】
前記画像をキャプチャするための前記手段が、
前記キャプチャフレームが投影されていることを示す信号を受信するための手段を備える、請求項19に記載のシステム。
【請求項２７】
前記システムの動作中にキャプチャするための前記手段によって、前記キャプチャフレームを含む少なくとも1つの画像がキャプチャされ、前記キャプチャフレームを含まない少なくとも1つの画像がキャプチャされるように、前記第1のフレームレートの少なくとも2倍の第3のフレームレートで画像をキャプチャするために、前記画像をキャプチャするための前記手段と、投影するための前記手段とが同期される、請求項19に記載のシステム。
【請求項２８】
1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
第1のフレームレートでキャプチャフレームを投影するステップと、
前記キャプチャフレームが投影されている時にオブジェクトの画像をキャプチャするステップと、
前記キャプチャされた画像のタイムスタンプ又は基準に基づいて、前記キャプチャされた画像が前記キャプチャフレームを含むと決定するステップと、
前記キャプチャされた画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するステップと、
第2のフレームレートでコンテンツフレームを投影するステップと
を備える方法を実行させる命令を含み、
前記コンテンツフレームは、前記オブジェクトに関する情報を含み、
前記第1のフレームレートは、前記第2のフレームレートより低い、非一時的コンピュータ可読記録媒体。
【請求項２９】
前記第1のフレームレートは、前記第2のフレームレートの半分を超えない、請求項1に記載の方法。
【請求項３０】
前記キャプチャフレームは、コンテンツフレームが投影されていない時に、投影される、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示される実施形態は、一般に、画像をキャプチャすることと、コンテンツを投影することとが可能なシステムを対象とする。
【背景技術】
【０００２】
拡張現実(AR)は、ユーザが、彼らが世界と対話する方法を変更することを可能にする新しい技術である。ARは、物理的な現実世界環境の、生の直接的または間接的なビューであり、要素は、たとえば音、ビデオ、グラフィックス、および/または全地球測位システム(GPS)データなどのコンピュータが生成した入力によって拡張される。いくつかの用途では、ARは、ユーザの周囲の環境の画像をキャプチャして、次いで、拡張のために、キャプチャされた画像内のオブジェクトを認識するためのオブジェクト認識アルゴリズムを使用する、画像キャプチャデバイスを有するデバイスによって有効にされる。次いで、ユーザは、たとえば認識されたオブジェクトに基づいてビューの一部が拡張されたユーザの周囲の環境のビューを、デバイスのディスプレイ上で提供され得る。
【０００３】
パーソナルプロジェクタ、モバイルプロジェクタ、またはピコプロジェクタの開発が、ARに追加機能を提供してきた。たとえば、拡張された環境のビューを画面上に表示する代わりに、またはそれに加えて、デバイスは、たとえば実際のオブジェクト上の、および/あるいはオブジェクトの近く、その周囲、またはそれに関連付けられる領域上のオブジェクトおよび投影コンテンツを認識するために、プロジェクタと対話し得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
いくつかの実施形態に従って、投影デバイスによって、第1のレートでコンテンツを投影するステップと、投影デバイスによって、第2のレートでキャプチャフレームを投影するステップと、キャプチャフレームが投影されている時に、画像キャプチャデバイスによって画像をキャプチャするステップと、キャプチャされた画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するステップとを含む方法が提供される。本方法はまた、非一時的コンピュータ可読媒体に具現化され得る。本方法はまた、拡張現実を作成するために使用され得る。
【０００５】
いくつかの実施形態に従って、システムも提供される。本システムは、第1のレートでコンテンツを、および第2のレートでキャプチャフレームを投影するように構成された投影デバイスを含む。本システムはまた、投影デバイスがキャプチャフレームを投影する時に画像をキャプチャするように構成された画像キャプチャデバイスを含む。本システムは、投影デバイスと画像キャプチャデバイスとに結合された1つまたは複数のプロセッサをさらに含み、1つまたは複数のプロセッサは、キャプチャされた画像を処理して、キャプチャされた画像に少なくとも部分的に基づいて、コンテンツを生成するか、投影のためのコンテンツの位置または向きを決定するように構成される。本システムは、1つまたは複数のプロセッサに結合されたメモリをさらに含む。
【０００６】
いくつかの実施形態に従って、システムがさらに提供される。本システムは、第1のレートでコンテンツを投影するための手段と、第2のレートでキャプチャフレームを投影するための手段と、キャプチャフレームが投影されている時に画像をキャプチャするための手段と、キャプチャされた画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するための手段とを含む。
【０００７】
いくつかの実施形態に従って、投影されたコンテンツを含む画像をキャプチャするステップと、投影されたキャプチャフレームを含む画像をキャプチャするステップと、投影されたキャプチャフレームを含む画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するステップを含む方法も提供される。キャプチャフレームは、第1のレートで投影され得る。投影されたキャプチャフレームを含む画像は、第1のレートに基づいてキャプチャされ得る。いくつかの実施形態では、コンテンツとキャプチャフレームとは、投影デバイスによって投影され得る。さらに、投影されたキャプチャフレームを含む画像は、投影デバイスから、または投影デバイスに結合された処理デバイスから信号を受信することに応答してキャプチャされ得、および/あるいは信号は遠隔デバイスからワイヤレスに受信され得る。いくつかの実施形態では、本方法は、キャプチャされた画像が投影されたキャプチャフレームを含む画像を備えるかどうかを決定するために、キャプチャされた画像を分析するステップを含み、決定は、キャプチャされた画像のタイムスタンプ、またはキャプチャされた画像内の基準またはマーカーを識別することに基づき得る。いくつかの実施形態では、投影されたコンテンツを含む画像は、投影されたキャプチャフレームを含む画像を含み得る。いくつかの実施形態では、コンテンツはオブジェクト上に投影され得、コンピュータビジョン機能はオブジェクトを認識すること、または追跡することを備える。
【０００８】
いくつかの実施形態に従って、コンテンツが投影されている、および第1のレートでキャプチャフレームが投影されている領域を含む視野の少なくとも1つの画像をキャプチャするステップと、投影されたキャプチャフレームの少なくとも一部を含む少なくとも1つの画像の1つまたは複数の画像を決定するステップと、1つまたは複数の画像に少なくとも部分的に基づいて、コンピュータビジョン機能を実行するステップとを含む方法がさらに提供される。いくつかの実施形態では、コンテンツとキャプチャフレームとは、投影デバイスによって投影され得る。さらに、決定するステップは、受信された信号に基づき得、いくつかの実施形態では、信号は投影デバイスから、または投影デバイスに結合された処理デバイスから受信されるか、信号は遠隔デバイスからワイヤレスに受信され得る。いくつかの実施形態では、キャプチャするステップは、受信された信号に基づいて決定することに応答して実行され得る。いくつかの実施形態では、決定するステップは第1のレートに基づき得、キャプチャするステップは第1のレートに基づいて決定することに応答して実行され得る。いくつかの実施形態では、決定するステップは、1つまたは複数の画像のタイムスタンプに基づき得る。さらに、決定するステップは、1つまたは複数の画像内の基準またはマーカーを識別することに基づき得る。いくつかの実施形態では、キャプチャフレームは、コンテンツと、1つまたは複数のキャプチャ領域とを含み得る。さらに、コンテンツはオブジェクト上に投影され得、コンピュータビジョン機能は、オブジェクトを認識することまたは追跡することを含む。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態に従って、処理デバイスを示す図である。
【図２Ａ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図２Ｂ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図２Ｃ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図２Ｄ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図２Ｅ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図３Ａ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図３Ｂ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示す図である。
【図４Ａ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する別の例を示す図である。
【図４Ｂ】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する別の例を示す図である。
【図５Ａ】いくつかの実施形態に従って、入力のための画像をキャプチャして、低光の状況でコンテンツを投影する例を示す図である。
【図５Ｂ】いくつかの実施形態に従って、入力のための画像をキャプチャして、低光の状況でコンテンツを投影する例を示す図である。
【図６】いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影するための処理を示す流れ図である。
【図７】いくつかの実施形態に従って、コンテンツを投影して、画像をキャプチャするための処理を示す流れ図である。
【発明を実施するための形態】
【００１０】
図面において、同じ記号を有する要素は、同じまたは同様の機能を有する。
【００１１】
以下の説明では、具体的な詳細は、特定の実施形態について説明するように記載されている。しかしながら、開示された実施形態は、これらの特定の詳細のいくつかまたはすべてがなくとも実施され得ることが当業者には明らかであろう。提示された具体的な実施形態は例示的であり、限定的ではないことが意図される。当業者は、本明細書には具体的に記載されていないが、本開示の範囲および趣旨内の他の材料に気付くことができる。
【００１２】
前述のように、ポータブルプロジェクタまたはピコプロジェクタは、画像または他の情報を含むコンテンツを領域に投影するために、ARシステムおよびビデオゲームで使用され得、投影されたコンテンツはキャプチャされた画像に基づき得る。しかしながら、投影されたコンテンツは、画像キャプチャデバイスの視野内のオブジェクトに追加の線、色、およびテキストを導入することができ、それが、オブジェクト認識および/または追跡アルゴリズムが視野内のオブジェクトの認識および/または追跡を継続することを困難にする場合がある。さらに、プロジェクタは、プロジェクタおよび/または視野内のオブジェクトが移動するのに従って、投影されたコンテンツを所定位置に保持するために、オブジェクトを「追跡(track)」するためにオブジェクト認識および追跡アルゴリズムを利用することができるが、これは投影によって妨害され得る。
【００１３】
したがって、オブジェクト認識および追跡、イベント検出、動き推定、オブジェクト識別、オブジェクト検出、オブジェクト分類、および光学式の文字認識を含むコンピュータビジョン機能を実行するために、画像キャプチャデバイスが画像をキャプチャすることを可能にする画像キャプチャ入力および投影出力のためのシステムおよび方法が提供される。本システムおよび方法は、プロジェクタがキャプチャされた画像を不明瞭にし得るコンテンツを投影していない1つまたは複数の期間中に画像をキャプチャし得る。具体的には、本明細書に開示される実施形態は、コンテンツが投影されていない時、およびキャプチャフレームが投影されている時に画像をキャプチャし得る。
【００１４】
図1は、いくつかの実施形態に従って処理デバイス100を示す図である。処理デバイス100は、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、ラップトップまたはネットブック、ケーブルまたは衛星コンテンツプロバイダによって提供されるようなセットトップボックス(STB)、あるいはビデオゲームシステムコンソールなどのモバイルデバイスであり得る。処理デバイス100はまた、ヘッドマウントディスプレイ(HMD)でもよく、他のウェアラブルコンピューティングデバイスでもよい。いくつかの実施形態では、処理デバイス100は、自動車に、たとえば、自動車のエンターテインメントセンターまたはコンソールに実装されるか、あるいはヘルスケアデバイスに含まれるか、または実装される。いくつかの実施形態によれば、処理デバイス100は、画像をキャプチャしてコンテンツを投影するように構成されたハードウェアおよび/またはソフトウェアの任意の適切な組合せを使用して実装され得る。具体的には、処理デバイス100は、1つまたは複数のプロセッサを有し、画像をキャプチャしてコンテンツを投影するために1つまたは複数のプロセッサによって実行するために非一時的機械可読媒体に記憶された命令を読み取ることが可能なハードウェアおよび/またはソフトウェアの任意の適切な組合せを含み得る。いくつかの一般的な形態の機械可読媒体としては、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、CD-ROM、他の任意の光媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、他の任意のメモリチップまたはカートリッジ、および/あるいは1つまたは複数のプロセッサあるいはコンピュータが読み取るように適合された他の任意の媒体が挙げられる。
【００１５】
処理デバイス100は、ネットワークと通信するように構成されたネットワークインターフェース構成要素102を含み得る。いくつかの実施形態に従って、ネットワークインターフェース構成要素102は、同軸ケーブル、光ファイバーケーブル、デジタル加入者回線(DSL)モデム、公衆交換電話網(PSTN)モデム、イーサネット(登録商標)デバイス、および/または様々な他のタイプの有線ネットワーク通信デバイスとインターフェースをとるように構成され得る。ネットワークインターフェース構成要素102はまた、1つまたは複数のワイヤレストランシーバを含み得、各ワイヤレストランシーバは、分離可能または一体型の、またWi-Fi(登録商標)、3G、4G、HSDPA、LTE、RF、NFCなどの異なるワイヤレスネットワーキング技法に従って情報を送受信することが可能なアンテナを含み得る。
【００１６】
いくつかの実施形態に従って、処理デバイス100は、処理デバイス100内の様々な構成要素を相互接続して、様々な構成要素間で情報を伝達するためのシステムバス104を含む。いくつかの実施形態では、バス104は、システムオンチップ(SoC)で実装され、チップおよび/あるいは1つまたは複数のプロセッサのコアにある様々な要素または構成要素を接続する。構成要素は、1つまたは複数のプロセッサ、中央処理ユニット(CPU)、画像信号プロセッサ(ISP)、マイクロコントローラ、またはデジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、ならびにアナログおよび/またはデジタル音響信号プロセッサを含み得る音響信号プロセッサであり得る処理構成要素106を含み得る。構成要素はまた、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、光学式、磁気、固体、または上述のような他のメモリに対応し得るメモリ構成要素108を含み得る。
【００１７】
いくつかの実施形態に従って、処理デバイス100はまた、情報をユーザに表示するためのディスプレイ構成要素110を含み得る。ディスプレイ構成要素110は、液晶ディスプレイ(LCD)画面、有機発光ダイオード(OLED)画面(アクティブマトリクスAMOLED画面を含む)、LED画面、プラズマディスプレイ、またはブラウン管(CRT)ディスプレイであり得る。ディスプレイ構成要素110は処理デバイス100に統合されてもよく、処理デバイス100から分離されて処理デバイス100に結合されてもよい。処理デバイス100はまた、入力およびナビゲーション制御構成要素112を含み得、ユーザが情報を入力して、ディスプレイ構成要素110に沿ってナビゲートすることを可能にする。入力およびナビゲーション制御構成要素112は、たとえば、キーボードまたはキーパッド(物理的なものであるか仮想のものであるかを問わない)、マウス、トラックボール、または他のそのようなデバイス、あるいは容量性センサーベースのタッチスクリーンを含み得る。
【００１８】
処理デバイス100はまた、デバイス100および/またはその周囲に関連付けられるデータをキャプチャするセンサー114を含み得る。センサー114は、これに限定されないが、マイクロフォンまたは音響センサー、カメラ、光センサー、近接センサー、深度(depth)センサー、圧力センサー、慣性センサー(たとえば、加速度計および/またはジャイロスコープ)、磁力計等を含み得る。センサー114は、個別に、またはセンサーアレイなどとの組合せで、あるいは他の任意の組合せで使用され得る。センサー114は、相互に依存して、または相互に独立して動作可能である。センサー114は、たとえば、メモリ構成要素108および他のモジュールに記憶された命令に従って、センサー114によってキャプチャされたデータを処理するために、およびキャプチャされたデータに関連付けられるメタデータを生成または取得するために、システムバス104を通じて処理構成要素106と通信することができる。
【００１９】
処理デバイス100はまた、画像キャプチャデバイス116を含み得る。いくつかの実施形態では、画像キャプチャデバイス116は、可視光カメラなどのカメラ、または、マイクロソフト(登録商標)Xbox(登録商標)Kinect(登録商標)カメラなどの深度センシングカメラであり得る。画像キャプチャデバイス116はまた、赤外線(IR)光や紫外線(UV)光を検出するように構成され得る。画像キャプチャデバイス116はまた、ステレオカメラ、飛行時間(ToF)カメラ、または画像を検出してキャプチャすることが可能な他のカメラであり得る。いくつかの実施形態では、画像キャプチャデバイス116は、処理するために、画像キャプチャデバイス116の視野内のオブジェクトの1つまたは複数の画像をキャプチャするように構成され得る。いくつかの実施形態では、画像キャプチャデバイス116はセンサー114内に含まれる。
【００２０】
処理デバイス100はまた、投影デバイス118を含み得る。投影デバイス118は、1つまたは複数の画像を形成するために光を投影することが可能なデバイスであり得る。1つまたは複数の画像は、フレームの集合として投影される静止画または動画などのコンテンツを含み得る。いくつかの実施形態では、投影デバイス118は、投影された画像に動きまたはアニメーションのアピアランス(appearance)を与えるために、投影された光の配置を変更することができる。投影デバイス118は、デジタルライトプロセッシング(DLP)プロジェクタ、レーザービームステアリング(LBS)プロジェクタ、リキッドクリスタルオンシリコン(LCoS)プロジェクタ、または他のプロジェクタであり得る。いくつかの実施形態では、投影デバイス118はまた、モバイルプロジェクタまたはポータブルプロジェクタであり得る。
【００２１】
処理デバイス100はまた、投影生成120、ならびにオブジェクト認識122および追跡124などのコンピュータビジョン機能が可能であり得る。これらの機能は、処理構成要素106によって実行されると機能を実行する、1つまたは複数のソフトウェアモジュールによって実行され得る。他の実施形態では、機能は、メモリと、機能を実行するために命令を実行するための少なくとも1つのプロセッサとを有する特定用途向け集積回路(ASIC)または他の回路を指す場合がある。したがって、機能120〜124は、図1に示されるようにデバイス100内の他の構成要素から分離されてもよく、図1に示される1つまたは複数の他のモジュールに、たとえば処理構成要素106に結合および/または実装されてもよい。いくつかの実施形態では、投影生成120は、デバイス100の1人または複数のユーザ、および/またはデバイス100を使用していない場合があるが、対象オブジェクトまたは領域の閲覧可能な距離内にいる他の人による閲覧、対話、および/または他の消費のための、対象オブジェクトまたは領域上への投影デバイス118による投影のための1つまたは複数の画像を含むコンテンツを生成することを含み得る。いくつかの実施形態では、コンテンツは、対象オブジェクトまたは領域を拡張するためのコンテンツであり得る。
【００２２】
いくつかの実施形態では、投影生成120はまた、投影デバイス118による投影のためのキャプチャフレームを生成することを含み得る。キャプチャフレームは、投影されたコンテンツのフレームレートよりも低いフレームレートで投影されるフレームであり得、投影されたコンテンツと交互に投影されるか、または投影されたコンテンツとともに投影され得る。キャプチャフレームは、投影されたコンテンツが、処理するためにキャプチャされた画像内の特徴(feature)を不明瞭にしないように、画像キャプチャデバイス116が投影されたコンテンツなしに画像をキャプチャすることを可能にするために投影され得る。いくつかの実施形態では、投影されたキャプチャフレームは、観察者に気付かれないまま、オブジェクト認識122または追跡124にとって十分なフレームレートで投影される。いくつかの実施形態では、コンテンツは、投影デバイスによって約23.976〜300フレーム/秒(fps)のフレームレートで投影され得、キャプチャフレームは約10〜20fpsのレートで投影される。いくつかの実施形態では、コンテンツは約72fpsのフレームレートで投影され得、キャプチャフレームは約15fpsのレートで投影され得る。いくつかの実施形態では、コンテンツおよびキャプチャフレームの投影レートは、画像キャプチャデバイス116や投影デバイス118の機能、および/あるいは特定の用途または経験の必要性に応じてより高くてもよく、より低くてもよい。いくつかの実施形態では、画像キャプチャデバイス116は、キャプチャフレームの投影とは無関係である、あらかじめ定められたレートで画像をキャプチャするように構成され得、オブジェクト認識122および追跡124は、キャプチャフレームを含むそれらのキャプチャされた画像上に実行される。他の実施形態では、画像キャプチャデバイス116は、キャプチャフレームの投影に関連するレートで画像をキャプチャするように構成され得る。たとえば、画像キャプチャデバイス116は、キャプチャフレームが投影されている時に少なくとも1つの画像がキャプチャされ、キャプチャフレームが投影されない時に少なくとも1つの画像がキャプチャされるように、キャプチャフレームの投影レートの少なくとも2倍のレートで画像をキャプチャするように構成され得る。
【００２３】
いくつかの実施形態では、キャプチャフレームは、コンテンツが投影されていない空白のフレームであり得る。他の実施形態では、キャプチャフレームは、模様がないソリッドニュートラルカラーのフレームでもよく、画像キャプチャデバイスが、追跡124、オブジェクト認識122、および/または他のコンピュータビジョン機能のために処理され得る画像キャプチャデバイス116の視野内のオブジェクトの線、特徴、または境界を不明瞭にしない画像をキャプチャすることを可能にするために投影される非常に繊細な最小限の模様を有してもよい。いくつかの実施形態では、ソリッドニュートラルカラーのソリッドニュートラルフレームは、白などの非常に明るい色、灰色などの彩度が非常に低い色、または黒などの非常に濃い色を有してよい。さらに、キャプチャフレームは、低光の状況で画像キャプチャデバイス116による画像キャプチャを容易にするために視野を照光するために使用され得る光強度が高いフレームを含み得、それで構成されてもよい。いくつかの実施形態では、強度は周辺光センサーおよび/または画像キャプチャデバイス116からの情報によって決定される。いくつかの実施形態では、キャプチャフレームは、マーカー、基準、または、画像キャプチャデバイス116によってキャプチャされて処理されると、マーカーまたは基準を有するキャプチャされたフレームは、オブジェクト認識122および追跡124などのコンピュータビジョン機能を実行するために使用されるべきフレームであるという表示を提供する、他のインジケータを含み得る。さらに、いくつかの実施形態では、キャプチャフレームは、コンテンツとともに投影され得、どのようなコンテンツまたは画像も含まない投影されたコンテンツの一部またはサブセットであり得る。
【００２４】
いくつかの実施形態では、投影デバイス118と画像キャプチャデバイス116とは、画像キャプチャデバイス116が、投影デバイス118がキャプチャフレームを投影している時、視野内の領域の画像をキャプチャするように同期され得る。いくつかの実施形態では、投影デバイス118は、キャプチャフレームが投影されていることを示すために、信号を画像キャプチャデバイス116に送信することが可能であり得る。信号は、ソフトウェアを介して伝送されてもよく、ハードウェア回線を介して送信されてもよい。信号はまた、たとえば分散構成要素が実装される時に遠隔デバイスからワイヤレスに送信され得、そのいくつかの実施形態は以下で説明される。あるいは、信号は、投影生成120におけるキャプチャフレームの生成とともに提供され得る。さらに、投影デバイス118および画像キャプチャデバイス116は、投影デバイス118および画像キャプチャデバイス116がキャプチャフレームを同時に投影することと画像をキャプチャすることとが可能であり得るように、クロック信号生成器126によって提供されるクロッキングを使用して同期され得る。いくつかの実施形態では、投影デバイス118および画像キャプチャデバイス116の同期されたクロックは、投影デバイス118および画像キャプチャデバイス116が、たとえば、いくつかの実施形態では、画像キャプチャデバイス116がキャプチャフレーム、コンテンツ、またはそれらの組合せの投影レートに基づいて画像をキャプチャすることを可能にする、整列されたデューティーサイクルを有することを可能にし得る。
【００２５】
オブジェクト認識122は、画像キャプチャデバイス116によってキャプチャされた画像に1つまたは複数のオブジェクト認識アルゴリズムを実行することを含み得る。オブジェクト認識122で実行されるオブジェクト認識アルゴリズムは、特徴検出、模様認識、アピアランスマッチング、画像マッチング、エッジおよび/または線検出等を使用して、1つまたは複数の画像フレーム内のオブジェクトを認識することが可能であり得る。いくつかの実施形態では、オブジェクト認識122で認識されたオブジェクトは、追跡124のために使用されるオブジェクト、投影の対象として指定されたオブジェクト、および/または拡張のためのオブジェクトであり得る。いくつかの実施形態では、オブジェクト認識122は、自動的に認識することと、認識されたオブジェクトを投影および/または拡張の対象として指定することを含み得る。
【００２６】
いくつかの実施形態では、処理デバイス100のユーザは、オブジェクトを選択、またはオブジェクトと対話することによって、視野内のオブジェクトを投影の対象または拡張のためのオブジェクトとして指定することが可能であり得る。いくつかの実施形態では、オブジェクト自体はユーザによって操作され得、他の実施形態では、ユーザは、たとえばディスプレイ構成要素110によって処理デバイス100上にオブジェクトが表示されると、オブジェクトと対話し得る。ユーザが拡張のためのオブジェクトを選択すると、オブジェクト認識122は、選択されたオブジェクトを認識して、第三者によって提供された情報に基づいて、またはオブジェクトに関連する情報によって、コンテンツを有する認識されたオブジェクトを拡張しようとすることを含み得る。いくつかの実施形態では、オブジェクト認識122は、オブジェクト認識122を実行するために、およびオブジェクトに関連するコンテンツを見つけるために、ネットワークインターフェース構成要素102を使用してネットワークと通信することを含み得る。いくつかの実施形態では、特定のオブジェクトの認識は、ユーザによる動作または入力なしに拡張を決定するために十分である。
【００２７】
追跡124は、対象領域内のオブジェクトの位置を継時的に関連付けることを含み得る。いくつかの実施形態では、追跡124は、たとえプロジェクタが移動しても、または対象オブジェクトが移動しても、投影されたコンテンツが1つまたは複数の指定された対象オブジェクト上に投影されたままであるように、ある期間にわたって対象領域内のオブジェクトの決定された位置および向きに基づいて投影を制御するように構成され得る。追跡124は、画像キャプチャデバイス116によってキャプチャされた画像に基づいて、またいくつかの実施形態では、センサー114からの情報に基づいて、投影デバイス118の投影を制御し得る。いくつかの実施形態では、追跡124は、画像キャプチャデバイス116によってキャプチャされた画像、および/あるいは加速度計またはジャイロスコープなどのセンサー114によって取得された情報を使用して、対象オブジェクトについてのポーズ、向き、および深さ情報を推定することを含み得る。追跡124は、拡張された現実コンテンツを生成することを含む、投影デバイス118による投影を制御するために、後に投影生成120において使用され得る1つまたは複数のマトリクスを生成することをさらに含み得る。追跡124は、画像キャプチャデバイス116からキャプチャされた画像、および/またはセンサー114からの情報に基づいて、投影生成120のためのコンテンツをスケーリングすること、回転すること、および/または変換することを含み得る。追跡124は、キャプチャされた画像に基づいて、6つの自由度(degrees-of-freedom)を決定することと、決定された6つの自由度に基づいて投影のためのコンテンツを追跡することとを含み得る。画像キャプチャデバイス116が深度センシングカメラである、またはそれを含む場合の実施形態では、1つまたは複数の画像は、視野の深度マップを開発するために処理され得る。深度マップは、投影の適切な焦点を維持することを含む、投影を追跡して制御するために、追跡124において使用され得る。
【００２８】
処理デバイス100はまた、クロック信号生成器126を含み得る。クロック信号生成器126は、処理デバイス100の構成要素によって使用されるクロック信号を生成するように構成され得る。いくつかの実施形態では、画像キャプチャデバイス116は、上述のように10〜20fpsのレートで投影され得る、画像キャプチャフレームの投影レートに対応するあらかじめ定められたタイミングに基づいて投影デバイス118がキャプチャフレームを投影している時に、画像をキャプチャするように構成され得る。たとえば、画像キャプチャデバイス116は、15fpsの画像キャプチャフレームの投影レートに基づいて、67ミリ秒ごとに投影されたキャプチャフレームを含む視野の画像をキャプチャするように構成され得、タイミングは、クロック信号生成器126によって生成されたクロック信号によって画像キャプチャデバイス116に提供されている。同様に、投影デバイス118は、生成されたクロック信号によって提供されるタイミングに基づいて、15fpsの画像キャプチャフレーム投影レートに従って、67ミリ秒ごとにキャプチャフレームを投影するように構成され得る。あるいは、画像キャプチャデバイス116は、キャプチャフレームが投影されている時に少なくとも1つの画像がキャプチャされ、キャプチャフレームが投影されない時に少なくとも1つの画像がキャプチャされるように、キャプチャフレームの投影レートの少なくとも2倍のレートで画像をキャプチャするように構成され得る。
【００２９】
画像キャプチャデバイス116がキャプチャフレームの投影レートとは無関係のレートで画像をキャプチャするように構成される実施形態では、基準またはマーカーを有するキャプチャフレームを含み得る、キャプチャフレームを含まない画像は、キャプチャフレームの投影の知られているレートに基づいて、またはキャプチャされたフレームに関連付けられるクロック信号によって、処理の間に廃棄されるか、低い重みを与えられ得る。基準またはマーカーを投影することによって、いくつかの実施形態では、投影デバイス118と画像キャプチャデバイス116との間に実装される調整を低減させることができる。さらに、クロック信号生成器126は、キャプチャされた画像にタイムスタンプするために処理デバイス100によって使用され得、キャプチャフレームのタイムスタンプは知られており、どのキャプチャされた画像を分析するべきか、および/またはどのキャプチャされた画像上でオブジェクト認識122、追跡124、および他のコンピュータビジョン機能を実行するべきかを知るために使用され得る。
【００３０】
処理デバイス100は、いくつかの実施形態によれば、図1に示されるよりも多くの、または少ない構成要素を含み得る。さらに、図1に示される構成要素は、図1の1つまたは複数の他の構成要素に直接結合され得、システムバス104の必要性を排除する。さらに、図1に示される構成要素は、単一デバイス100の一部であるものとして示され得るが、構成要素が分離されているが、結合されて通信しているシステムの一部でもあり得る。一般に、図1に示される構成要素は、本明細書で開示する実施形態を実行することが可能な処理デバイス100における構成要素の例として示されている。ただし、処理デバイス100は、より多くの、またはより少ない構成要素を有してもなお、本明細書で開示するいくつかの実施形態を実行することが可能であり得る。
【００３１】
図2A〜図2Eは、いくつかの実施形態に従って、入力のための画像をキャプチャして、コンテンツを投影する例を示している。例示の目的で、図2A〜図2Eには処理デバイス100の一部のみが示されているが、図1に示される処理デバイス100の他の構成要素への参照が行われ得る。図2Aに示されるように、画像キャプチャデバイス116は、オブジェクト1 200を含む視野の初期画像をキャプチャすることが可能であり得る。いくつかの実施形態では、オブジェクト認識122などのコンピュータビジョン機能は、オブジェクト1 200を認識しようとするために、キャプチャされた画像上で実行され得る。いくつかの実施形態では、ポーズは、オブジェクト1 200を含む視野の初期画像から決定され得る。いくつかの実施形態では、キャプチャされた画像は、初期画像をキャプチャした後の、後続のキャプチャされた画像であり得、追跡124も、たとえば、ポーズ、位置、6つの自由度(DOF)、および/またはオブジェクト1 200についての他の情報を決定するために、キャプチャされた画像上で実行され得る。いくつかの実施形態では、画像キャプチャデバイス116は、オブジェクト1 200を含む視野の深度マップを決定するために使用され得る深度カメラを含み得、それはオブジェクト1 200の追跡124のために、およびオブジェクト1 200上の投影に焦点を合わせるために使用され得る。
【００３２】
図2Bに示されるように、投影デバイス118は、コンテンツ202をオブジェクト1 200上およびその周囲を含む視野内に投影し得る。いくつかの実施形態では、オブジェクト1上およびその周囲へのコンテンツ202の投影は、上述のように、後続のキャプチャされた画像の追跡124に基づいて制御され得る。いくつかの実施形態では、投影されたコンテンツの整列および/または位置は、オブジェクト1を追跡することに基づいて調整され得る。さらに、コンテンツ202はまた、センサー114から取得された情報(デバイス100および/または投影デバイス118の向き、デバイス100および/または投影デバイス118が安定しているかどうか、および、視野の輝度レベルを含み得る)に基づいて制御され得る。いくつかの実施形態では、コンテンツ202は、いくつかの実施形態では部分的または全体的に、オブジェクト認識122に基づいて生成され得る。オブジェクト認識122は、オブジェクト1 200の特徴を識別することと、マッチングオブジェクト、およびマッチングオブジェクトに関連付けられるコンテンツ202を見つけるために検索することとを含み得る。検索は、メモリ構成要素108内のオブジェクトを表す特徴に基づいて、またはネットワークを介して実行され得る。マッチングオブジェクトは、オブジェクト1 200上およびその周囲に投影され得る関連付けられるコンテンツ202を有し得る。関連付けられるコンテンツ202は、オブジェクト1 200の特徴、またはオブジェクト1 200を使用するための命令などの、オブジェクト1 200に関連する情報を含み得る。いくつかの実施形態では、マッチングオブジェクトに関連付けられるコンテンツ202は、オブジェクト1 200の周囲に拡張現実を作成するために、オブジェクト1 200およびオブジェクト1 200の周囲の領域を拡張するために使用され得る。
【００３３】
いくつかの実施形態では、コンテンツ202はまた、ユーザが選択した特徴を含み得る。たとえば、画像キャプチャデバイス116によってキャプチャされたオブジェクト1 200の画像は、デバイス100のディスプレイ構成要素110上に表示され得、デバイス100のユーザは、コンテンツ202に含まれ得る特徴を選択または作成するために入力およびナビゲーション制御構成要素112を使用して、表示された画像と対話することが可能であり得る。これらの特徴は、コンテンツ202の投影生成120において、オブジェクト認識122からのコンテンツとともに含まれ得る。いくつかの実施形態では、投影内の要素、または投影デバイスから投影された投影全体とも呼ばれ得るコンテンツ202はまた、画像1 204および画像2 206などの1つまたは複数の特定の画像を含み得る。図2Bに示されるように、コンテンツ202は、オブジェクト1 200上に投影された画像1 204と、オブジェクト1 200の下に投影された画像2 206とを含み得る。いくつかの実施形態では、オブジェクト1 200への画像1 204と画像2 206とを含むコンテンツ202の投影は、オブジェクト1 200の周囲に拡張現実を作成するためにオブジェクト1 200を拡張し得る。
【００３４】
図2Cに示されるように、オブジェクト1 200は、その以前の位置から距離dだけ離れて配置されている。追跡124のために位置におけるこの変化をキャプチャするために、および視野についての追加情報を決定するために、投影生成120は、投影デバイス118による投影のためにキャプチャフレーム208を定期的に生成することを含み得る。いくつかの実施形態では、キャプチャフレーム208は、コンテンツが投影されていない空白のフレームであり得る。キャプチャフレーム208はまた、オブジェクト1 200の線、特徴、または境界を不明瞭にしないソリッドニュートラルカラーのフレームであり得る。キャプチャフレーム208が投影デバイス118によって投影されると、画像キャプチャデバイス116は、キャプチャフレーム208を含む視野210の画像をキャプチャすることが可能であり得る。キャプチャフレーム208は、画像キャプチャデバイス116の視野210をカバーするために投影されているものとして示されているが、キャプチャフレーム208の大きさはより大きくても小さくてもよく、ユーザ、製造者、または開発者によって設定され得、投影されたコンテンツ202および/またはオブジェクト1 200に関連して大きさが変化する場合がある。
【００３５】
いくつかの実施形態では、投影デバイス118は、キャプチャフレーム208が投影されている時に、バス104を介して画像キャプチャデバイス116に信号を送信することが可能であり得る。いくつかの実施形態では、画像キャプチャデバイス116および投影デバイス118は、キャプチャフレーム208が投影されて、視野210の画像があらかじめ定められたタイミングで同時にキャプチャされるように、クロック信号生成器126によって生成されたクロック信号に基づいて同期され得る。いくつかの実施形態では、このあらかじめ定められたタイミングは、人間の目によってキャプチャフレーム208が気付かれないまま追跡124を可能にするために十分であり得る。いくつかの実施形態では、画像キャプチャデバイス116および投影デバイス118は、画像キャプチャデバイス116が、キャプチャフレーム208を含む視野210の少なくとも1つの画像と、キャプチャフレーム208を含まない視野210の少なくとも1つの画像とをキャプチャするように、クロック信号生成器126によって生成されたクロック信号に基づいて同期され得る。
【００３６】
図2Dに示されるように、キャプチャフレーム208が投影された後、画像1 204と画像2 206とを含むコンテンツ202は、投影デバイス118によって、オブジェクト1 200上および/またはその周囲に再び投影され得る。追跡124、およびキャプチャフレーム208が投影された時に視野210のキャプチャされた画像上で実行される他の処理に基づいて、画像1 204と画像2 206とを含むコンテンツ202の位置および向きは、オブジェクト1 200のその前の位置に対する変位dに基づいて補正され得る。
【００３７】
いくつかの実施形態では、画像1 204と画像2 206とを含むコンテンツは変更されている場合があり、画像1 204および画像2 206よりも大きいまたは小さい大きさを有する場合がある。任意の変化した画像を含むコンテンツ202の位置および向きを維持するために、オブジェクト1 200上およびその周囲に投影されたコンテンツの位置および/または向きが一定のままであるように、コンテンツ202またはその任意の要素は、スケーリング、配置、および/または、別の方法で操作され得る。
【００３８】
いくつかの実施形態では、処理デバイス100は、キャプチャ領域212が、たとえば追跡124を通じて決定されたオブジェクトの予測される位置に投影されている間に、コンテンツの一部をトリミングする、および/またはコンテンツ202がオブジェクトの周囲に投影されることを可能にするマスクを作成することが可能であり得る。図2Eに示されるように、たとえば、投影デバイス118は、オブジェクト1 200の予測された位置の周囲にキャプチャ領域212を投影している間に、オブジェクト1 200の周囲の画像2 206を含むコンテンツ202を有するキャプチャフレームを投影する。キャプチャ領域212は、コンテンツが投影されていない領域であり得、空白またはニュートラルカラーであり得る。いくつかの実施形態では、画像キャプチャデバイス116は、キャプチャ領域212を含む領域の画像をキャプチャするように構成され得る。いくつかの実施形態では、キャプチャ領域212は基準またはマーカーを含み得、画像キャプチャデバイス116は、コンテンツ202およびキャプチャ領域を含む領域の画像をキャプチャするが、オブジェクト認識122および/または追跡124は、基準またはマーカーに関して定義されたキャプチャされた領域上だけで実行されてもよく、基準またはマーカーは、投影がキャプチャ領域212を含むことを示してもよい。いくつかのそのような実施形態では、基準またはマーカーは、ユーザが基準またはマーカーに気付かないように、および/または画像またはマーカーがオブジェクト1 200を不明瞭にする可能性を減少させるために、コンテンツ202内に隠され得る。いくつかの実施形態では、処理デバイス100は、コンテンツを有するキャプチャフレームと、コンテンツを含まないキャプチャフレームとをインターリーブする。図2Eに1つのキャプチャ領域が示されているが、たとえば複数のオブジェクトを追跡する時に、キャプチャフレーム内に追加のキャプチャ領域が含まれ得ることを当業者は理解するであろう(たとえば図3〜図4に従っていくつかの実施形態に示されるように)。
【００３９】
一例では、オブジェクト1 200はプリンタまたは他のデバイスであり得、コンテンツ202はプリンタまたは他のデバイスを操作するための命令であり得る。画像1 204および画像2 206は、特定のボタン、ディスプレイ、あるいはプリンタまたは他のデバイスの他の部分上に配置され得、特定の領域に関連する命令を含み得る。たとえば、オブジェクト1 200が、エラーメッセージを表示しているディスプレイを含むプリンタである場合、キャプチャされた画像のオブジェクト認識122はプリンタタイプおよびエラーを認識し得、投影生成120は、エラーを修正するための命令を含む、コンテンツ202と画像204および206とを生成することを含み得る。
【００４０】
図2A〜図2Eでは、処理デバイス100は単一のデバイスとして示されているが、いくつかの実施形態では、処理デバイス100は別々の分散構成要素を有してもよく、別のデバイスまたはシステムに実装された1つまたは複数の要素を省略してもよい。たとえば、画像キャプチャデバイス116は、投影デバイス118から離れて配置され得る。いくつかのそのような実施形態では、画像キャプチャデバイス116と投影デバイス118の両方は、処理デバイス100と通信している。たとえば、画像キャプチャデバイス116は、ビデオゲームコンソールに関連付けられる画像キャプチャデバイスであり得、ユーザまたは他のオブジェクトを認識および/または追跡するように構成されてもよく、たとえば、認識122および/または追跡124を使用して認識および/または追跡するために情報を処理デバイス100に送信してもよい。投影デバイス118は、ユーザのための(たとえば、没入型の)ゲーム経験を作成するために、ユーザまたはオブジェクト上およびその周囲にコンテンツを投影するように構成され得る。さらに、処理デバイス100は、ビデオゲームの態様または投影されたコンテンツの他の特徴を制御するためにユーザによって行われたジェスチャを検出することが可能であり得る。そのような実施形態では、投影デバイス118は、ユーザによって行われたジェスチャが観察され得るように、あるいはキャプチャフレームまたはキャプチャ領域212が投影される時にキャプチャされたユーザの画像に基づいてコンテンツが移動または調整され得るように、第2のレートでキャプチャフレーム208またはキャプチャ領域212を投影することが可能であり得る。いくつかの実施形態では、画像キャプチャデバイス116は、たとえば表示または投影されたコンテンツで、またはゲームシステムで使用され得るように、遠隔デバイスまたは制御デバイスに実装される。画像のキャプチャの時間を決める、あるいは、どのフレームがキャプチャフレームを備えるか、または上述のキャプチャ領域を含むかを示すために使用される技法のいずれかが、分散構成要素が利用される時に実装され得る。いくつかの実施形態では、画像キャプチャデバイス116と投影デバイス118とのうちの1つまたは両方は、ウェアラブルデバイス、たとえばヘッドマウントディスプレイ(HMD)、ユーザの
手首または腕の周りに装着されるデバイス、ユーザの首にぶら下げるように構成されたデバイス、スマートファブリックまたは衣服、および/あるいは他のウェアラブル要素に含まれる。いくつかの実施形態では、1つまたは複数の要素は、処理デバイス100に関連して説明された他の要素とは無関係であるシステムまたはデバイスに実装され得る。たとえば、いくつかの実施形態では、投影デバイス118は省略され得、処理デバイス100とは無関係であり得る。ある例では、処理デバイス100は、スマートフォンなどのモバイルデバイスを備え得、独立した投影デバイス118によって投影されたキャプチャフレームを備える画像をキャプチャおよび/または処理し得る。一例では、投影デバイス118は、モバイルデバイスによって利用されるアプリケーション(たとえば、「アプリ(app)」)に関連付けられるコンテンツを投影し得る。アプリケーションは、たとえば、知られている、あるいは決定された基準またはマーカーに基づいて、キャプチャフレームまたは領域を識別するように構成され得、および/あるいはコンテンツが投影されているオブジェクトに関する情報をユーザに提示し得る。上述の分散されたおよび/または独立した構成要素は、本明細書に記載される実施形態のうちのいずれか、たとえば、図3〜図7に関連して説明した実施形態のうちの1つまたは複数に実装され得る、および/またはそれで使用され得ることを、当業者は理解するであろう。
【００４１】
図3Aおよび図3Bは、いくつかの実施形態に従って、交互に画像をキャプチャして、コンテンツを投影する例を示している。例示の目的で、図3Aおよび図3Bには処理デバイス100の一部のみが示されているが、図1に示される処理デバイス100の他の構成要素への参照が行われ得る。さらに、説明のために図2A〜図2Eへの参照が行われ得る。図3Aに示されるように、第2のオブジェクトであるオブジェクト2 300が、オブジェクト1 200とともに画像キャプチャデバイス116の視野内に現在あり、いくつかの実施形態では、図2A〜図2Eからのオブジェクト1 200と同じであり得るが、他の実施形態では、異なるオブジェクトであり得る。いくつかの実施形態では、オブジェクト1 200は図2Bにおけるものと同じであり、そこに示される構成の後に導入されている。キャプチャフレーム208が投影デバイス118によって定期的に投影され、オブジェクト2 300が識別され得、オブジェクト2 300に関連付けられる特徴が認識122および追跡124のために処理され得る。さらに、キャプチャフレーム208は、コンテンツが投影されていない空白のフレームでもよく、オブジェクト1 200およびオブジェクト2 300の線、特徴、または境界を不明瞭にしないソリッドニュートラルカラーのフレームでもよいので、オブジェクト認識122および追跡124のためにオブジェクト1 200およびオブジェクト2 300に関連付けられる特徴および境界を処理することが向上され得る。
【００４２】
図3Bに示されるように、キャプチャフレーム208が投影されていた間に画像キャプチャデバイス116によってキャプチャされた画像を処理することに基づいて、投影生成120は、オブジェクト1 200とオブジェクト2 300の両方に関連し得るコンテンツ302を含み得る。さらに、コンテンツ302は、追跡124のためにキャプチャフレーム208が投影された時に、画像キャプチャデバイス116によってキャプチャされた画像を処理することによって決定されたように、オブジェクト1 200とオブジェクト2 300の両方の位置に基づいて、オブジェクト1 200およびオブジェクト2 300の上および/またはその周囲に投影され得る。たとえば、コンテンツ302は、特定の位置でオブジェクト1 200に投影するための画像1 304と、特定の位置でオブジェクト2 300に投影するための画像2 306とを含み得る。いくつかの実施形態では、画像1 304と画像2 306のコンテンツおよび位置は、デバイス100のユーザによって指定され得る。いくつかの実施形態では、画像1 304と画像2 306のコンテンツおよび位置は、オブジェクト認識122に基づいて、オブジェクト1 200とオブジェクト2 300とに基づいてあらかじめ定められ得る。たとえば、画像1 304と画像2 306のコンテンツおよび位置は、オブジェクト1 200およびオブジェクト2 300のメーカー、販売業者、または商店主、コンテンツプロバイダ、あるいはアプリ開発者によって設定され得る。
【００４３】
一例では、オブジェクト1 200およびオブジェクト2 300は、カードで遊ぶことでもよく、カードを交換することでもよい。オブジェクト認識122は、オブジェクト1 200を特定のカードとして認識し得、追跡はカードの位置を決定し得、また投影生成120は、カード上またはその周囲に投影され得る、名前、価値、およびそのカードに関連する他の情報などの、そのカードに関連するコンテンツを生成することを含み得る。オブジェクト2 300が視野210に追加されると、オブジェクト認識122は、画像キャプチャフレーム208が別のカードとして投影される時に、キャプチャされた画像に基づいてオブジェクト2 300を認識し得、追跡124は、カードの位置を決定し得る。次いで、投影生成120は、第2のカードならびに第1のカードに関連するコンテンツを生成することを含み得、コンテンツは各カード上およびその周囲に投影されている。別々のコンテンツがカードごとに投影され得、関連するコンテンツが両方のカードのために投影され得る。いくつかの実施形態では、各カード上およびその周囲に投影されているコンテンツは、両方のカードの周囲に投影される統一されたコンテンツであり得る。統一されたコンテンツは、カードに印刷されたキャラクタ間の対話や対立を示すことができる。いくつかの実施形態では、処理デバイス100は、カードのうちの1つのコンテンツが優先権を有するかどうかを決定し得、コンテンツを適切に投影し得る。たとえば、優先権を有するコンテンツだけが投影され得、有線権を有するコンテンツが他のコンテンツの上に投影され得る。
【００４４】
図4Aおよび図4Bは、いくつかの実施形態に従って、交互に画像をキャプチャして、コンテンツを投影する別の例を示している。図4Aに示されるように、オブジェクト1 200およびオブジェクト2 300の位置は、図3Bに示される位置に対して変更されていてよい。いくつかの実施形態では、投影デバイス118がキャプチャフレーム208を投影している時に、画像キャプチャデバイス116は、処理するために使用され得る画像をキャプチャし得る。キャプチャされた画像は、たとえば追跡124およびオブジェクト認識122などのコンピュータビジョン機能を実行するために使用され得る。追跡124でオブジェクト1 200およびオブジェクト2 300を処理することによって、図3Bで以前に示されたオブジェクト1 200および/またはオブジェクト2 300の位置に対するオブジェクト1 200および/またはオブジェクト2 300の新しい位置を明らかにすることができる。図4Bに示されるように、追跡124によって決定された位置情報は、画像1 304および画像2 306を含むコンテンツ302が、オブジェクト1 200およびオブジェクト2 300の新しい位置に基づいて、オブジェクト1 200およびオブジェクト2 300上およびその周囲に投影されるように、投影生成120のために使用され得る。2つのオブジェクトが図3〜図4に示されているが、追加のオブジェクトが認識および/または追跡され得、あるいは、そのような追加のオブジェクトに対して他の何らかのコンピュータビジョン機能が実行され得ることが、当業者は理解できるであろう。さらに、処理デバイス100は、1つまたは複数のキャプチャフレームを処理する間、認識122および/または追跡124を省略し得ることが、当業者は理解できるであろう。
【００４５】
図5Aおよび図5Bは、いくつかの実施形態に従って、交互に画像をキャプチャして、低光の状況でコンテンツを投影する例を示している。図5Aに示されるように、オブジェクト1 200は、低光を有する領域500内にあり得る。画像キャプチャデバイス116は、比較的高速なシャッター速度と短い露光時間とを使用することができるので、領域500内のオブジェクト1 200のキャプチャされた画像は、いくつかの実施形態では低いまたは粗悪な画質を有し得る。その結果、特徴、境界、およびオブジェクト1 200と領域500についての他の情報は、オブジェクト認識122または追跡124のために容易に検出されない場合がある。粗悪な画質を有する画像を処理することに基づく任意の投影はまた、粗悪な品質を有する場合もあり、オブジェクト1 200について不完全または不正確であり得る。
【００４６】
図5Bに示されるように、投影生成120は、キャプチャフレーム502が投影される領域500の一部をより良く照光することができる高光強度を有するキャプチャフレーム502を生成することを含み得る。いくつかの実施形態では、画像キャプチャデバイス116は、高光強度を有するキャプチャフレーム502を含む視野504の画像をキャプチャすることが可能であり得る。次いで、キャプチャされた画像は、オブジェクト認識122および/または追跡124のために処理され得、改善された結果をオブジェクト1 200の特徴、境界、および線として提供し得、視野504はより良く照光される。いくつかの実施形態では、キャプチャフレーム502は、高光強度を有するソリッドカラーのフレームであり得る。いくつかの実施形態では、キャプチャフレーム502は空白のフレームであり得、処理デバイス100は、キャプチャフレーム502が投影されている時にアクティブ化または照光され得るフラッシュランプまたは発光ダイオード(LED)等を含み得る。いくつかの実施形態では、投影デバイス118は、キャプチャフレーム502が投影されている時に、バス104を介して画像キャプチャデバイス116に信号を送信することが可能であり得る。いくつかの実施形態では、画像キャプチャデバイス116および投影デバイス118は、キャプチャフレーム502が投影されて、視野504の画像があらかじめ定められたタイミングでキャプチャされるように、クロック信号生成器126によって生成されたクロック信号に基づいて同期され得る。いくつかの実施形態では、このあらかじめ定められたタイミングは、人間の目によってキャプチャフレーム502が比較的気付かれないまま追跡124および/またはオブジェクト認識122を可能にするために十分であり得る。
【００４７】
図6は、いくつかの実施形態に従って、コンテンツを投影して、画像をキャプチャするための処理を示す流れ図である。例示の目的で、図6は図1、図2A〜図2E、図3A〜図3B、図4A〜図4B、および図5A〜図5Bのいずれかを参照して説明される。図6に示される処理600は、その中の、またはデバイス100の処理構成要素106内の1つまたは複数のプロセッサによって実行されるために、メモリ構成要素108、投影生成120、オブジェクト認識122、および/または追跡124内のコンピュータ可読命令に具現化され得る。いくつかの実施形態では、処理600またはその一部は、デバイス100のオペレーティングシステムによって実装され得、デバイス100の構成要素のオペレーティングシステムまたはサブシステム内のバックグラウンドサービスとして実装され得る。図6に示されるように、処理600は、第1のレートでコンテンツを投影すること(602)によって開始する。いくつかの実施形態では、投影生成120は、オブジェクト認識122、追跡124に基づき、ユーザ入力は投影のためのコンテンツを生成し得る。コンテンツは1つまたは複数のオブジェクトおよび/あるいは対象への投影のために生成され得る。いくつかの実施形態では、コンテンツは、1つまたは複数のオブジェクトおよび/あるいは対象の周囲に拡張現実を作成するために、1つまたは複数のオブジェクト、および/あるいは対象を拡張するために投影され得る。コンテンツは、1つまたは複数の画像、画像フレーム、一連の画像フレーム、またはそれらの組合せであり得る。第1のレートは、約23.976〜300フレーム/秒(fps)の間のフレームレートの投影レートであり得る。いくつかの実施形態では、第1のレートは、約72fpsであり得る。
【００４８】
処理600は、第2のレートでキャプチャフレームを投影すること(604)によって継続する。いくつかの実施形態では、キャプチャフレームは、コンテンツが投影されていない空白のフレームでもよく、画像キャプチャデバイスが、オブジェクト認識122または追跡124のために処理され得る画像キャプチャデバイス116の視野内のオブジェクトの線、特徴、または境界を不明瞭にしない画像をキャプチャすることを可能にするために視野に投影されるソリッドニュートラルカラーのフレームでもよい。さらに、キャプチャフレームは、低光の状況で画像キャプチャデバイス116による画像キャプチャを容易にするために視野を照光するために使用され得る光強度が高いフレームを含み得、それで構成されてもよい。キャプチャフレームはまた、基準またはマーカーを含むキャプチャされた画像は、コンピュータビジョン機能を実行するために処理されるべきであるという表示を提供する基準またはマーカーを含むフレームであり得る。いくつかの実施形態では、キャプチャフレームが投影される第2のレートは、第1のフレームレートよりも低いフレームレートであり得る。いくつかの実施形態では、第2のレートは約10〜20fpsであり得る。たとえば、第2のレートは約15fpsであり得る。一般に、第2のレートは、画像キャプチャデバイス116が、キャプチャフレームがデバイス100のユーザまたは観察者の人間の目にとって可視であることなしに画像をキャプチャするために十分なレートである。
【００４９】
処理600は、キャプチャフレームが投影されているかどうかを決定すること(606)によって継続し得る。キャプチャフレームが投影されているかどうかを決定することは、キャプチャフレームが投影されている投影デバイス118から信号を受信することによって行われ得る。あるいは、投影デバイス118によるキャプチャフレームの投影は、キャプチャフレームがxミリ秒ごとに投影されるように、クロック信号生成器によって生成されるクロック信号に従って同期され得る。さらに、投影デバイス118によるキャプチャフレームの投影は、投影デバイス118によって投影されるコンテンツフレームの数に基づいて同期され得る。たとえば、投影デバイス118は、y数のコンテンツフレームごとにキャプチャフレームを投影することが可能であり得る。さらに、処理600は、キャプチャされた画像内の基準またはマーカーの存在または不在に基づいて、キャプチャフレームが投影されているかどうかを決定し得る。
【００５０】
キャプチャフレームが投影されていない場合、投影デバイス118は、第1のレートでコンテンツを投影しており(602)、キャプチャフレームが投影されるまでコンテンツを投影することを継続し得る。画像キャプチャデバイス116は、キャプチャフレームが投影されている時に、画像キャプチャデバイス116の視野を含む領域の画像をキャプチャし得る(608)。処理600は、キャプチャフレームが投影されていない時は画像キャプチャデバイス116の視野を含む領域の画像をキャプチャしないことを説明しているが、画像キャプチャデバイス116は、他の時間に画像をキャプチャし得る。たとえば、画像キャプチャデバイス116は、第1のレートよりも低い第2のレートであるが、キャプチャフレームが投影されるレートとは異なるレートで画像をキャプチャするように構成され得る。キャプチャフレーム上の基準またはマーカー、キャプチャフレームのタイムスタンプ等に基づいて、デバイス100は、キャプチャされた画像のうちのいずれをコンピュータビジョン機能のために処理するべきか決定することが可能であり得る。画像キャプチャデバイス116は、第1のレート、またはより高いレートで画像をキャプチャして、キャプチャされた画像のうちのいずれをコンピュータビジョン機能のために処理するべきか決定するように構成され得る。
【００５１】
図7は、いくつかの実施形態に従って、交互にコンテンツを投影して、画像をキャプチャするための処理を示す流れ図である。例示の目的で、図7は図1、図2A〜図2E、図3A〜図3B、図4A〜図4B、および図5A〜図5Bのいずれかを参照して説明される。図7に示される処理700は、その中の、またはデバイス100の処理構成要素106内の1つまたは複数のプロセッサによって実行されるために、メモリ構成要素108、投影生成120、オブジェクト認識122、および/または追跡124内のコンピュータ可読命令に具現化され得る。いくつかの実施形態では、処理700またはその一部は、デバイス100のオペレーティングシステムによって実装され得、デバイス100の構成要素のオペレーティングシステムまたはサブシステム内のバックグラウンドサービスとして実装され得る。たとえば、処理700の画像キャプチャおよび/またはコンピュータビジョン部分は、デバイス100のカメラサブシステム、グラフィックプロセッサ、またはビデオフロントエンド(VFE)に実装され得る。図7に示されるように、処理700は、初期画像をキャプチャすること(702)によって開始する。いくつかの実施形態では、初期画像は画像キャプチャデバイス116によってキャプチャされ得る。次いで、投影のためのコンテンツを生成する(706)ために、キャプチャされた画像上でコンピュータビジョン機能が実行され得る(704)。たとえば、初期画像上でオブジェクト認識122が実行され得、後続のキャプチャされた画像上で追跡124が実行され得る。追跡124は、投影のためのコンテンツを対象領域内に、および対象領域内の1つまたは複数のオブジェクト上に向けるために、対象領域内のオブジェクトの位置および向きを継時的に決定することを含み得る。いくつかの実施形態では、追跡124は、対象領域、およびオブジェクト1 200および/またはオブジェクト2 300などの対象領域内のオブジェクトについての位置、向き、および深度情報を推定することを含み得る。オブジェクト認識122は、後続のキャプチャされた画像の追跡124および投影生成120のために、画像キャプチャデバイス116によってキャプチャされた初期画像および/または後続のキャプチャされた画像に、1つまたは複数のオブジェクト認識アルゴリズムを実行すること
を含み得る。いくつかの実施形態では、オブジェクト認識122は、キャプチャされた初期画像において識別されたオブジェクトに関連付けられるコンテンツを決定すること、または見つけることを含み得る。
【００５２】
次いで、第1のレートでコンテンツが投影され得る(708)。コンテンツは1つまたは複数のオブジェクトおよび/あるいは対象への投影のために生成され得る。いくつかの実施形態では、コンテンツは、1つまたは複数のオブジェクトおよび/あるいは対象の周囲に拡張現実を作成するために、1つまたは複数のオブジェクト、および/あるいは対象を拡張するために投影され得る。コンテンツは、1つまたは複数の画像、画像フレーム、一連の画像フレーム、またはそれらの組合せであり得る。第1のレートは、約23.976〜300フレーム/秒(fps)の間のフレームレートの投影レートであり得る。いくつかの実施形態では、第1のレートは、約72fpsであり得る。次いで、第2のレートでキャプチャフレームが投影され得る(710)。いくつかの実施形態では、キャプチャフレームは、コンテンツが投影されていない空白のフレームでもよく、画像キャプチャデバイスが、オブジェクト認識122および/または追跡124のために処理され得る画像キャプチャデバイス116の視野内のオブジェクトの線、特徴、または境界を不明瞭にしない画像をキャプチャすることを可能にするために視野に投影されるソリッドニュートラルカラーのフレームでもよい。さらに、キャプチャフレームは、低光の状況で画像キャプチャデバイス116による画像キャプチャを容易にするために視野を照光するために使用され得る光強度が高いフレームを含み得、それで構成されてもよい。いくつかの実施形態では、キャプチャフレームは、基準またはマーカーを含むキャプチャされた画像は、コンピュータビジョン機能のために処理されるべきであるという表示として役立ち得る基準またはマーカーを含み得る。いくつかの実施形態では、キャプチャフレームが投影される第2のレートは、第1のフレームレートよりも低いフレームレートであり得る。いくつかの実施形態では、第2のレートは約10〜20fpsであり得る。たとえば、第2のレートは約15fpsであり得る。一般に、第2のレートは、画像キャプチャデバイス116が、キャプチャフレームがデバイス100のユーザまたは観察者の人間の目にとって可視であることなしに画像をキャプチャするために十分なレートである。
【００５３】
処理700は、キャプチャフレームが投影されているかどうかを決定すること(712)によって継続し得る。キャプチャフレームが投影されているかどうかを決定することは、キャプチャフレームが投影されている投影デバイス118から信号を受信することによって行われ得る。あるいは、投影デバイス118によるキャプチャフレームの投影は、キャプチャフレームがxミリ秒ごとに投影されるように、クロック信号生成器によって生成されるクロック信号に従って同期され得る。さらに、投影デバイス118によるキャプチャフレームの投影は、投影デバイス118によって投影されるコンテンツフレームの数に基づいて同期され得る。たとえば、投影デバイス118は、y数のコンテンツフレームごとにキャプチャフレームを投影することが可能であり得る。
【００５４】
キャプチャフレームが投影されていない場合、投影デバイス118は、第1のレートでコンテンツを投影している場合があり(708)、キャプチャフレームが投影されるまでコンテンツを投影することを継続し得る。画像キャプチャデバイス116は、キャプチャフレームが投影されている時に、画像キャプチャデバイス116の視野を含む領域の画像をキャプチャし得る(714)。次いで、オブジェクト認識122および/または追跡124、ならびに/あるいは他のコンピュータビジョン機能は、投影のためのコンテンツを生成する(706)ために、キャプチャされた画像上で実行され得る(704)。いくつかの実施形態では、投影のためのコンテンツを生成することは、オブジェクト認識122および/または追跡124に基づいて投影のためのコンテンツを生成することを含み得る。たとえば、オブジェクトが最初のキャプチャされた画像内のその位置から移動した場合、追跡124はオブジェクトの新しい位置を識別することができ、投影生成120は、新しい位置でコンテンツを投影することを含み得る。さらに、初期画像において認識されなかった追加のオブジェクトが視野に含まれる場合、オブジェクト認識122は新しいオブジェクトを認識し得、新しいオブジェクトの位置または向きは、投影生成120が、新しいオブジェクト上およびその周囲に投影され得る新しいオブジェクトに基づいてコンテンツを生成することを含み得るように決定され得る。処理700は、オブジェクト認識122によって検出された1つのオブジェクト、または複数のオブジェクト上およびその周囲に拡張現実を作成することが可能であり得る。さらに、処理700はビデオゲームまたは他のアプリケーションにおいて使用され得る。
【００５５】
処理700は、キャプチャフレームが投影されていない時は画像キャプチャデバイス116の視野を含む領域の画像をキャプチャしないことを説明しているが、画像キャプチャデバイス116は、他の時間に画像をキャプチャし得る。たとえば、画像キャプチャデバイス116は、第1のレートよりも低い第2のレートであるが、キャプチャフレームが投影されるレートとは異なるレートで画像をキャプチャするように構成され得る。キャプチャフレーム上の基準またはマーカー、キャプチャフレームのタイムスタンプ等に基づいて、デバイス100は、キャプチャされた画像のうちのいずれをコンピュータビジョン機能のために処理するべきか決定することが可能であり得る。画像キャプチャデバイス116は、第1のレート、またはより高いレートで画像をキャプチャして、キャプチャされた画像のうちのいずれをコンピュータビジョン機能のために処理するべきか決定するように構成され得る。
【００５６】
本開示によれば、プログラムコードおよび/またはデータなどのソフトウェアは、非一時的機械可読媒体を含む1つまたは複数の機械可読媒体に記憶され得る。本明細書中で識別されるソフトウェアが、1つまたは複数の汎用または特定目的のコンピュータ、ならびに/あるいは、ネットワーク化された、および/またはその他の方式のコンピュータシステムを使用して実装され得ることが企図されている。適用可能な場合に、本明細書で説明する様々なステップの順序が変更され、合成ステップに結合され、かつ/またはサブステップに分割されて、本明細書で説明する機能を提供することがある。
【００５７】
したがって、本明細書に記載される実施形態は、画像が投影されていない期間中にコンテンツの投影と画像のキャプチャとを交互に行うためのシステムおよび方法を提供し得る。本明細書で提供される実施形態および実施例は、投影が、投影によって遮蔽されていない領域の画像に基づいて補正または変更され得るように、コンテンツが投影されていない時に画像キャプチャを可能にすることによって改善を提供し得る。上記で提供される例は、例にすぎず、限定的であることは意図されていない。当業者は、本開示の範囲内であることが意図されている、開示する実施形態と整合する他のシステムを容易に考案することができる。したがって、本出願は以下の特許請求の範囲によってのみ限定される。
【符号の説明】
【００５８】
100  処理デバイス
102  ネットワークインターフェース構成要素
104  システムバス
106  処理構成要素
108  メモリ構成要素
110  ディスプレイ構成要素
112  入力およびナビゲーション制御構成要素
114  センサー
116  画像キャプチャデバイス
118  投影デバイス
120〜124  コンピュータビジョン機能
120  投影生成
122  オブジェクト認識
124  追跡
126  クロック信号生成器
200  オブジェクト1
202  コンテンツ
204  画像1
206  画像2
208  キャプチャフレーム
210  視野
212  キャプチャ領域
300  オブジェクト2
302  コンテンツ
304  画像1
306  画像2
500  領域
502  キャプチャフレーム
504  視野
600  処理
700  処理
【図１】
0006276394.tif 000002
【図２Ａ】
0006276394.tif 000003
【図２Ｂ】
0006276394.tif 000004
【図２Ｃ】
0006276394.tif 000005
【図２Ｄ】
0006276394.tif 000006
【図２Ｅ】
0006276394.tif 000007
【図３Ａ】
0006276394.tif 000008
【図３Ｂ】
0006276394.tif 000009
【図４Ａ】
0006276394.tif 000010
【図４Ｂ】
0006276394.tif 000011
【図５Ａ】
0006276394.tif 000012
【図５Ｂ】
0006276394.tif 000013
【図６】
0006276394.tif 000014
【図７】
0006276394.tif 000015