(57)【要約】  本開示は、ビデオシーケンスの画像中に現れるオブジェクトに関する拡張現実（ＡＲ）情報の生成を向上させ、可能性としては加速させることができる技法について説明する。そうするために、本開示の技法は、ビデオデバイスのユーザの眼についての情報を取り込み、使用する。ビデオデバイスは、２つの異なるカメラを含み得る。第１のカメラは、ユーザから外の画像シーケンス（たとえば、ビデオ）を取り込むように配向される。第２のカメラは、ユーザから外の画像を第１のカメラが取り込むと、ユーザの眼の画像を取り込むように配向される。第２のカメラの１つまたは複数の画像によって取り込まれたユーザの眼は、確率マップを生成するのに使うことができ、確率マップは、ＡＲ処理のために、第１の画像中のオブジェクトに優先度を付けるのに使うことができる。
2014501405.tif 000002
【特許請求の範囲】
【請求項１】
ハンドヘルドデバイスの第１のカメラを使って第１の画像を取り込むことであって、前記第１のカメラは、前記ハンドヘルドデバイスのユーザに対して外に向けられることと、
前記ハンドヘルドデバイスの第２のカメラを使って第２の画像を取り込むことであって、前記第２の画像は前記ユーザの眼を含むことと、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成することと、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成することと、
前記第１の画像とともに前記ＡＲ情報を表示することとを備える方法。
【請求項２】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項１に記載の方法。
【請求項３】
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成することと、
第２の確率マップを生成することであって、前記第２の確率マップが、前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップであることと、
前記第１および第２の確率マップに基づく複合確率マップを生成することと、
前記複合確率マップに基づいて前記ＡＲ情報を生成することとをさらに備える、請求項１に記載の方法。
【請求項４】
前記複合確率マップに基づいて前記ＡＲ情報を生成することは、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付けることと、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施することとを含む、請求項３に記載の方法。
【請求項５】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、請求項３に記載の方法。
【請求項６】
前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成することであって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成されることをさらに備える、請求項５に記載の方法。
【請求項７】
前記第１および第２の画像は時間同期される、請求項１に記載の方法。
【請求項８】
第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期されることをさらに備える、請求項１に記載の方法。
【請求項９】
第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表すことをさらに備える、請求項１に記載の方法。
【請求項１０】
前記方法は、前記第１のカメラと、前記第２のカメラと、ディスプレイとを含むハンドヘルドデバイスによって実施される、請求項１に記載の方法。
【請求項１１】
前記方法はリアルタイムに実施される、請求項１に記載の方法。
【請求項１２】
前記第１のカメラを使って第１の画像シーケンスを取り込むことと、
前記第２のカメラを使って第２のシーケンス画像を取り込むことであって、前記第２の画像シーケンスが前記ユーザの前記眼を含むことと、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成することと、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成することと、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示することとをさらに備える、請求項１に記載の方法。
【請求項１３】
前記第１のカメラが前記ハンドヘルドデバイスのユーザに対して外に向けられているとき、第１の画像を取り込むように配向された第１のカメラと、
前記第１のカメラが前記ユーザに対して外に向けられているとき、前記ユーザの眼を含む第２の画像を取り込むように配向された第２のカメラと、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成し、前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成する拡張現実（ＡＲ）ユニットと、
前記第１の画像とともに前記ＡＲ情報を表示するディスプレイとを備えるハンドヘルドデバイス。
【請求項１４】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項１３に記載のハンドヘルドデバイス。
【請求項１５】
前記ＡＲユニットは、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、
前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである第２の確率マップを生成し、
前記第１および第２の確率マップに基づく複合確率マップを生成し、
前記複合確率マップに基づいて前記ＡＲ情報を生成する、請求項１３に記載のハンドヘルドデバイス。
【請求項１６】
前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記ＡＲユニットは、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付け、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施する、請求項１５に記載のハンドヘルドデバイス。
【請求項１７】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、請求項１５に記載のハンドヘルドデバイス。
【請求項１８】
前記ＡＲユニットは、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成し、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、請求項１７に記載のハンドヘルドデバイス。
【請求項１９】
前記第１および第２の画像が時間同期される、請求項１３に記載のハンドヘルドデバイス。
【請求項２０】
前記ＡＲユニットは、第１の画像シーケンスのうちのすべての画像について前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期される、請求項１３に記載のハンドヘルドデバイス。
【請求項２１】
前記ＡＲユニットは、第１の画像シーケンスのうちのＮ個ごとに、画像についての前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、請求項１３に記載のハンドヘルドデバイス。
【請求項２２】
前記ＡＲ情報の生成がリアルタイムに起こる、請求項１３に記載のハンドヘルドデバイス。
【請求項２３】
前記第１のカメラは第１の画像シーケンスを取り込み、
前記第２のカメラは、前記ユーザの前記眼を含む第２のシーケンス画像を取り込み、
前記ＡＲユニットは、前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成し、前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成し、
前記ディスプレイは、前記第１の画像シーケンスとともに前記ＡＲ情報を表示する、請求項１３に記載のハンドヘルドデバイス。
【請求項２４】
前記ＡＲユニットは、集積回路およびマイクロプロセッサのうちの少なくとも１つを備える、請求項１３に記載のハンドヘルドデバイス。
【請求項２５】
ハンドヘルドデバイスを用いて第１の画像を取り込むための手段と、
前記ハンドヘルドデバイスを用いて第２の画像を取り込むための手段であって、前記第２の画像が前記ユーザの眼を含み、前記第１および第２の画像が実質的に同時に取り込まれる手段と、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成するための手段と、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成するための手段と、
前記第１の画像とともに前記ＡＲ情報を表示するための手段とを備えるデバイス。
【請求項２６】
前記確率マップが複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項２５に記載のデバイス。
【請求項２７】
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成するための手段と、
第２の確率マップを生成するための手段であって、前記第２の確率マップが、前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである手段と、
前記第１および第２の確率マップに基づく複合確率マップを生成するための手段と、
前記複合確率マップに基づいて前記ＡＲ情報を生成するための手段とをさらに備える、請求項２５に記載のデバイス。
【請求項２８】
前記複合確率マップに基づいて前記ＡＲ情報を生成するための前記手段は、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付けるための手段と、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施するための手段とを含む、請求項２７に記載のデバイス。
【請求項２９】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、請求項２７に記載のデバイス。
【請求項３０】
前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成するための手段であって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される手段をさらに備える、請求項２９に記載のデバイス。
【請求項３１】
前記第１および第２の画像は時間同期される、請求項２５に記載のデバイス。
【請求項３２】
前記ＡＲ情報の生成は、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について繰り返され、前記第１の画像シーケンスが前記第２の画像シーケンスと時間同期される、請求項２５に記載のデバイス。
【請求項３３】
前記ＡＲ情報の生成は、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに繰り返され、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、請求項２５に記載のデバイス。
【請求項３４】
前記デバイスは、前記第１のカメラと、前記第２のカメラ、及びディスプレイを含むハンドヘルドデバイスである、請求項２５に記載のデバイス。
【請求項３５】
前記ＡＲ情報の生成はリアルタイムに起こる、請求項２５に記載のデバイス。
【請求項３６】
第１の画像シーケンスを取り込むための手段と、
第２のシーケンス画像を取り込むための手段であって、前記第２の画像シーケンスが前記ユーザの前記眼を含む手段と、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成するための手段と、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成するための手段と、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示するための手段とをさらに備える、請求項２５に記載のデバイス。
【請求項３７】
プロセッサによって実行されると、前記プロセッサに、
ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、および
前記ハンドヘルドデバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成させ、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成させ、
前記ＡＲ情報をディスプレイに出力させる命令を備えるコンピュータ可読記憶媒体。
【請求項３８】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項３７に記載のコンピュータ可読媒体。
【請求項３９】
前記命令は、前記プロセッサに、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成させ、
前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである第２の確率マップを生成させ、
前記第１および第２の確率マップに基づく複合確率マップを生成させ、
前記複合確率マップに基づいて前記ＡＲ情報を生成させる、請求項３７に記載のコンピュータ可読媒体。
【請求項４０】
前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記命令は、前記プロセッサに、前記複合優先度マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けさせ、前記様々なオブジェクトの優先度付けに基づいて前記様々なオブジェクトのオブジェクト識別を実施させる、請求項３９に記載のコンピュータ可読媒体。
【請求項４１】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、請求項３９に記載のコンピュータ可読媒体。
【請求項４２】
前記命令は、前記プロセッサに、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成させ、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、請求項４１に記載のコンピュータ可読媒体。
【請求項４３】
前記第１および第２の画像は時間同期される、請求項３７に記載のコンピュータ可読媒体。
【請求項４４】
前記命令は、前記プロセッサに、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記ＡＲ情報を生成させ、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期される、請求項３７に記載のコンピュータ可読媒体。
【請求項４５】
前記命令は、前記プロセッサに、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記ＡＲ情報を生成させ、前記第１の画像シーケンスが前記第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、請求項３７に記載のコンピュータ可読媒体。
【請求項４６】
前記命令は、前記プロセッサに、前記ＡＲ情報をリアルタイムに生成させる、請求項３７に記載のコンピュータ可読媒体。
【請求項４７】
前記命令は、前記プロセッサに、
前記第１のカメラから第１の画像シーケンスを受信したとき、および
前記ユーザの前記眼を含む第２のシーケンス画像を、前記第２のカメラから受信したとき、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成させ、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成させ、
前記第１の画像シーケンスとともにレンダリングするために、前記ＡＲ情報を前記ディスプレイに出力させる、請求項３７に記載のコンピュータ可読媒体。
【請求項４８】
ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、および
前記ハンドヘルドデバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成し、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成し、
前記ＡＲ情報をディスプレイに出力するように構成された装置。
【請求項４９】
前記装置は、前記第１のカメラ、前記第２のカメラおよび前記ディスプレイに通信可能に結合されるプロセッサを備える、請求項４８に記載の装置。
【請求項５０】
前記装置はハンドヘルドデバイスのＡＲユニットを備える、請求項４８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ情報を取り込むデバイスが、ビデオ情報の中の１つまたは複数のオブジェクトについてのリアルタイム情報を提供し得る拡張現実（ＡＲ）処理に関し、より詳細には、ＡＲ処理を向上させ、可能性としては加速させ得る技法に関する。
【背景技術】
【０００２】
ビデオシーケンスの拡張現実（ＡＲ）処理は、ビデオシーケンス中に現れる１つまたは複数のオブジェクトについてのリアルタイム情報を提供するために実施され得る。ＡＲ処理を用いると、ビデオシーケンス中に現れるオブジェクトは、ビデオシーケンス中のオブジェクトについての補足情報（すなわち、拡張情報）をユーザに対して表示することができるように識別され得る。補足情報は、オブジェクトが識別され、定義され、または場合によってはユーザに対して説明されるように、ビデオシーケンスのフレームに重ねられるグラフィカルまたはテキスト情報を備え得る。このようにして、ＡＲは、取り込まれるとともにリアルタイムに表示されるビデオシーケンスに関して、強化されたリアルタイムのエクスペリエンスをユーザに提供することができる。
【０００３】
残念ながら、ＡＲ処理は非常に複雑な場合があり、大量の処理能力を必要とする場合がある。さらに、ＡＲ処理では、ビデオシーケンスの中で、ユーザにとって関心を引くオブジェクトを、ユーザにとって不適切なオブジェクトとは見分けにくい場合がある。補足的ＡＲ情報は、関心を引くオブジェクトについては望ましい場合があるが、不適切なオブジェクトについてはあまり望ましくない、または全く望ましくない場合もある。ＡＲ処理は、処理能力およびバッテリ電力が限られた、ビデオキャプチャをサポートするセルラー電話、スマートフォン、デジタルカメラ、または他のハンドヘルドデバイスなどのハンドヘルドデバイスでは特に困難であり得る。
【発明の概要】
【０００４】
本開示は、ビデオシーケンスの画像中に現れるオブジェクトに関する拡張現実（ＡＲ）情報の生成を向上させ、可能性としては加速させることができる技法について記載する。そうするために、本開示の技法は、ビデオデバイスのユーザの眼についての情報を取り込み、利用することができる。ビデオデバイスは、２つの異なるカメラを含み得る。ユーザが見ているシーンを第１のカメラが取り込むように、第１のカメラは、ユーザから外の画像シーケンス（たとえば、ビデオシーケンス）を取り込むように配向される。第２のカメラは、ユーザから外の画像を第１のカメラが取り込むと、ユーザの眼の画像を取り込むように配向される。第２のカメラの１つまたは複数の画像によって取り込まれたユーザの眼は、確率マップを生成するのに使うことができ、確率マップは、ＡＲ処理のために、第１の画像中のオブジェクトに優先度を付けるのに使うことができる。
【０００５】
一例では、本開示は、ハンドヘルドデバイスの第１のカメラを使って第１の画像を取り込むことであって、第１のカメラがハンドヘルドデバイスのユーザに対して外に向けられることと、ハンドヘルドデバイスの第２のカメラを使って第２の画像を取り込むことであって、第２の画像がユーザの眼を含むことと、第２の画像中のユーザの眼に基づく確率マップを生成することと、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成することと、第１の画像とともにＡＲ情報を表示することとを備える方法について記載する。
【０００６】
別の例では、本開示は、第１のカメラがハンドヘルドデバイスのユーザに対して外に向けられているとき、第１の画像を取り込むように配向された第１のカメラと、第１のカメラが、ユーザに対して外に向けられているとき、ユーザの眼を含む第２の画像を取り込むように配向された第２のカメラと、第２の画像中のユーザの眼に基づく確率マップを生成し、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成するＡＲユニットと、第１の画像とともにＡＲ情報を表示するディスプレイとを備えるハンドヘルドデバイスについて記載する。
【０００７】
別の例では、本開示は、ハンドヘルドデバイスを用いて第１の画像を取り込むための手段と、ハンドヘルドデバイスを用いて第２の画像を取り込むための手段であって、第２の画像がユーザの眼を含み、第１および第２の画像が実質的に同時に取り込まれる手段と、第２の画像中のユーザの眼に基づく確率マップを生成するための手段と、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成するための手段と、第１の画像とともにＡＲ情報を表示するための手段とを備えるデバイスについて記載する。
【０００８】
本開示で説明する技法は、場合によっては、ハードウェアと組み合わせたソフトウェアまたはファームウェアの態様を使用して、少なくとも部分的にハードウェアで実装され得る。部分的にソフトウェアまたはファームウェアで実装した場合、ソフトウェアまたはファームウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のハードウェアプロセッサにおいて実行され得る。本技法を実行するソフトウェアは、最初にコンピュータ可読媒体に記憶し、プロセッサにロードして実行することができる。
【０００９】
したがって、本開示は、プロセッサによって実行されると、プロセッサに、ハンドヘルドデバイスのユーザに対して外に向けられている、ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、およびハンドヘルドデバイスの第２のカメラを使って、ユーザの眼を含む第２の画像を受信したとき、第２の画像中のユーザの眼に基づく確率マップを生成させ、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成させ、ディスプレイにＡＲ情報を出力させる命令を備えるコンピュータ可読記憶媒体も企図する。
【００１０】
別の例では、本開示は、本明細書に記載するＡＲユニットを実装するのに使われるプロセッサであり得る装置について記載する。ハンドヘルドデバイスのユーザに対して外に向けられている、ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、およびハンドヘルドデバイスの第２のカメラを使って、ユーザの眼を含む第２の画像を受信したとき、この装置は、第２の画像中のユーザの眼に基づく確率マップを生成し、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成し、ディスプレイにＡＲ情報を出力するように構成され得る。
【００１１】
本開示の１つまたは複数の態様の詳細について添付の図面および以下の説明において述べる。本開示で説明する技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１２】
【図１】本開示に一致する例示的なビデオデバイスを示すブロック図。
【図２】本開示に一致する例示的なビデオデバイスを示すブロック図。
【図３Ａ】ユーザから外の背景の画像を取り込むように配向された第１のカメラによって取り込まれたフレームを示す概念図。
【図３Ｂ】ユーザの眼の画像を取り込むように配向された第２のカメラによって取り込まれたフレームのミラーバージョンを示す概念図。
【図３Ｃ】第１のカメラからの画像のタイルバージョンを示す概念図。
【図３Ｄ】図３Ｂの画像中のユーザの１つまたは複数の眼に基づく、関心を引く見込みエリアを示すための陰影をもつ、第２のカメラからの画像のミラーバージョンのタイル近似を示す概念図。
【図４Ａ】第１のカメラからの図３Ｃのタイル画像に基づく例示的な第１の確率マップを示す図。
【図４Ｂ】第２のカメラからの画像のミラーバージョンのタイル近似に基づく例示的な第２の確率マップを示す図。
【図５】図４Ａおよび図４Ｂの第１および第２の確率マップに基づく複合確率マップを示す図。
【図６】各オブジェクトの下にＡＲ情報が付加された画像を示す概念図。
【図７】本開示に一致するＡＲ情報を生成および表示するための例示的な技法を示す流れ図。
【図８】本開示に一致するＡＲ情報を生成および表示するための例示的な技法を示す流れ図。
【発明を実施するための形態】
【００１３】
本開示は、ビデオシーケンスの画像中に現れるオブジェクトに関する拡張現実（ＡＲ）情報の生成を向上させ、可能性としては加速させることができる技法について記載する。本開示の技法は、ビデオデバイスのユーザの１つまたは複数の眼の画像の取込みおよび使用を伴い得る。ビデオデバイスは、２つの異なるカメラを含むことができ、そうすることによって、シーンのビデオシーケンスが、同じシーンを見ているデバイスのユーザの眼のビデオシーケンスと同時に取り込まれ得る。第１のカメラは、ユーザから外の画像シーケンス（たとえば、ビデオシーケンス）を取り込むように配向され得る。第２のカメラは、ユーザから外の画像を第１のカメラが取り込むと、ユーザの眼の画像を取り込むように配向され得る。第２のカメラの１つまたは複数の画像によって取り込まれたユーザの眼は、確率マップを生成するのに使うことができ、確率マップは、ＡＲ処理のために、第１の画像中の特定のオブジェクトまたは第１の画像中の特定のエリアもしくはタイルに優先度を付けるのに使うことができる。このようにして、ユーザの注意（たとえば、ユーザの眼の位置または向きによって定義される）は、ＡＲ処理を向上させ得る情報を与えることができ、たとえば、ユーザの眼に基づいて、関心を引くオブジェクトにＡＲ処理を集中させる。
【００１４】
本開示の技法によると、オブジェクト識別アルゴリズムは、第２のカメラによって取り込まれたユーザの眼に基づいて、第１のカメラの取込みビデオシーケンスのエリアに優先度を付けるように定義され得る。このようにして、ユーザの眼の向きは、取込みビデオシーケンス内の、関心を引くオブジェクトを素早く識別するための能力を向上させ得るフィードバックを与えることができる。第２のカメラによって取り込まれた画像中のユーザの眼に基づいて、優先度マップが生成され得る。場合によっては、第１のカメラによって取り込まれた画像および第２のカメラによって取り込まれた画像（ユーザの眼を含む）に基づいて、２つの優先度マップが生成され得る。この場合、２つの優先度マップは、組み合わせて複合優先度マップにすることができ、複合優先度マップは、第１のカメラの取込みビデオシーケンスのエリアに対するＡＲ処理を優先させるのに使うことができる。
【００１５】
図１は、本開示に一致する２つのカメラを含む例示的なビデオデバイス１０を示す基本ブロック図である。ビデオデバイス１０は、２つのカメラを含むセルラー電話などのハンドヘルドデバイス（たとえば、ハンドセット）で実装され得る。あるいは、ビデオデバイス１０は、２つのカメラを含むとともにリアルタイムでユーザにＡＲ情報を表示する、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、パーソナルゲームデバイス、デジタルカメラ、または別のハンドヘルドデバイスなど、別のタイプのハンドヘルドデバイスとして実装され得る。
【００１６】
図１に示すように、ビデオデバイス１０は、２つの異なるビデオカメラ（第１のビデオカメラ１２および第２のビデオカメラ１４）を含み、これらのカメラは、実質的に同じ時間に、２つの異なるビデオシーケンスを取り込むのに使われる。各取込みビデオシーケンスは、画像シーケンス（ビデオフレームシーケンスと呼ばれることがある）を備える。「フレーム」という用語および「画像」という用語は概して、ビデオシーケンスのうちの画像フレームを指すように、本開示において交換可能に使われるが、本技法は、静止画像にも適用することができる。
【００１７】
第１のビデオシーケンスの画像は、第２のビデオシーケンスの画像と時間同期することができ、このことは、第１のカメラ１２が、第２のカメラ１４によって取り込まれた画像と同時に連続画像を取り込み得ることを意味する。どの所与の瞬間にも、第１のカメラ１２からの関連画像および第２のカメラ１４からの関連画像があり得るが、第１のカメラ１２および第２のカメラ１４用に異なるフレームレートを適用することが可能な場合もあり、その場合、遅い方のフレームレートのカメラのフレームは、高い方のフレームレートのカメラのＮ個おきのフレームに対応してよく、Ｎは整数である。いずれの場合にも、第２のカメラ１４によって取り込まれた画像内のユーザの眼は、第１のカメラ１２によって取り込まれた画像に関して、ユーザにとって関心を引くエリアについての情報を、ビデオデバイス１０に与えることができる。
【００１８】
たとえば、第１のビデオカメラ１２が概して、ユーザが目にする同じ眺めを取り込むように、外のビデオシーケンスを通常のやり方で取り込むために、第１のビデオカメラ１２は概して、ユーザから外に向けられる。第２のビデオカメラ１４は、第１のビデオカメラ１２がユーザに対して外に配向されているとき、ユーザの眼を含むビデオシーケンスを取り込むように配向すればよい。したがって、第１のビデオカメラ１２および第２のビデオカメラ１４は、概して反対向きに配向され、たとえば、互いに対してほぼ１８０度に配向され得る。他の配向でも、第２のカメラがユーザの眼を取り込み、第１のカメラが、ユーザの眺めに関連付けられた画像を取り込む限り、うまく働き得る。異なるカメラの反対配向により、２つの異なるカメラからの画像が共通視点から位置合せするように、カメラのうちの１つからの画像を「ミラーリング」することが望ましい場合がある。ただし、ミラーリングは、必ずしも必要とされるわけではない。
【００１９】
拡張現実（ＡＲ）ユニット１６は、第１のビデオカメラ１２および第２のビデオカメラ１４からの個々の画像またはシーケンスに関して動作し得る。第１のビデオカメラ１２からの第１の画像および第２のビデオカメラ１４からの第２の画像は、同じ瞬間に対応し得る。したがって、第２のビデオカメラ１４によって取り込まれたユーザの眼は、第１のビデオカメラ１２によって取り込まれた第１の画像の分析を助けるのに使われ得る。ユーザの眼は、注意の向きを示す位置（たとえば、瞳孔の位置）を定義し得る。場合によっては、複数のビデオフレームにわたる眼の動き、または眼の焦点（ユーザの瞳孔の向き、および可能性としては大きさによって判断される）は、注意の向きを定義するのに使われ得る。ＡＲユニット１６は、プロセッサや個別論理構成要素などのハードウェアを備え得る。場合によっては、ＡＲユニット１６は、ハードウェアと組み合わせたソフトウェアを実装し得る。
【００２０】
ＡＲユニット１６は、第１のビデオカメラ１２によって取り込まれた第１のビデオシーケンスに関してＡＲ処理を実施することができ、第１のビデオシーケンスに重ねられ得るＡＲ情報を生成することができる。ＡＲユニット１６によって実施されるＡＲ処理は、オブジェクト識別アルゴリズムまたはビデオシーケンス中のＡＲ情報もしくはオブジェクトを作成もしくは識別するのに使われる他のＡＲ処理技法を含み得る。ＡＲ情報は、グラフィカル情報、テキスト情報、ラベル、または第１のビデオシーケンスに取り込まれるオブジェクトを識別または修飾するどの情報も備え得る。
【００２１】
ＡＲユニット１６によって実施されるＡＲ処理は、第１のビデオシーケンス内のオブジェクトが、ライブラリに記憶され得るテンプレートオブジェクトと比較されるオブジェクトマッチング技法を備え得る。ＡＲユニット１６内にある、またはＡＲユニット１６にとってアクセス可能なメモリ（図示せず）は、テンプレートのライブラリと、そのようなテンプレートについての情報とを記憶することができる。第１のビデオシーケンス中のオブジェクトが特定のテンプレートオブジェクトと十分に一致するとＡＲユニット１６が判断した場合、テンプレートオブジェクトについての情報は、第１のビデオシーケンス中のオブジェクトに起因し得る。ＡＲユニット１６は、ＡＲユニットによって記憶され、またはアクセス可能なテンプレートオブジェクトのうちの１つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を実施することができる。ＡＲ処理は、顔認識技法、バイオメトリック認識技法、または第１のビデオシーケンス中のオブジェクト（１人もしくは複数の特定の人々であってよい）を識別するための他の技法も含み得る。
【００２２】
オブジェクト識別プロセスを助けるために、ＡＲユニット１６は、ユーザの眼の位置、向き、動きまたは焦点（第２のビデオカメラ１４によって取り込まれる）によって与えられる情報を使用し得る。ユーザは、自分の注目を、関心を引くオブジェクトに向ける場合があるので、ユーザの眼の位置（ならびに可能性としては動きおよび焦点）は、オブジェクト識別のために、第１の画像のエリアに優先度を付ける際にＡＲユニット１６を助け得る。たとえば、第１のビデオシーケンス中の画像が多くのオブジェクトを含むが、ユーザの眼は、ビデオシーケンスの左上エリアへの注意を示す場合、この左上エリアに、オブジェクト識別技法で優先度が与えられ得る。限られた量の処理能力、限られた電力、および限られた時間を仮定すると、ユーザの眼（第２のビデオカメラ１４によって取り込まれた）を利用することにより、第１のビデオカメラ１２によって取り込まれた第１のビデオシーケンスに対するオブジェクト識別技法が向上され得る。
【００２３】
第１のビデオカメラ１２は、第１の画像（または第１の画像シーケンス）を取り込むことができ、第１のビデオカメラ１２は、ビデオデバイス１０のユーザに対して外に向けることができる。第２のビデオカメラ１４は、第２の画像（または第２の画像シーケンス）を取り込むことができ、第２のビデオカメラは、第１のビデオカメラ１２がユーザに対して外に向けられているとき、ユーザの眼を取り込むように配向することができる。
【００２４】
ＡＲユニット１６は、第２の画像中のユーザの眼に基づく確率マップを生成することができ、確率マップに少なくとも部分的に基づいて、第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成することができる。出力デバイス１８は次いで、第１の画像とともにＡＲ情報を表示することができる。
【００２５】
以下でより詳細に説明するように、確率マップは複数のタイルを含み得るが、本開示の技法は、タイルベースの手法に必ずしも限定されない。タイルベースの確率マップが使われる場合、確率マップの１つまたは複数のタイルには、第２の画像中のユーザの眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられ得る。場合によっては、ＡＲユニット１６は、第１の画像中の１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、第２の確率マップを生成することができ、第２の確率マップは、第２の画像中のユーザの眼に基づく確率マップである。この場合、ＡＲユニット１６はまた、第１および第２の確率マップに基づく複合確率マップを生成し、複合確率マップに基づいてＡＲ情報を生成することができる。複合確率マップに基づくＡＲ情報の生成は、複合優先度マップに基づいて、第１の画像中の様々なオブジェクトに優先度を付けることと、様々なオブジェクトの優先度付けに基づいて、様々なオブジェクトのオブジェクト識別を実施することとを含み得る。
【００２６】
第１の確率マップは、関心を引くオブジェクトを含む確率が第１の画像中の他のエリアよりも高い、第１の画像中の１つまたは複数のエリアを定義することができ、第２の確率マップは、ユーザの眼に基づいて、第１の画像中の他のエリアに相対して、ユーザ関心の確率がより高い、１つまたは複数のエリアを定義することができる。第１のビデオカメラ１２および第２のビデオカメラ１４は反対向きに配向され得るので、第１のビデオカメラ１２および第２のビデオカメラ１４の画像を、共通視点から位置合せするのが有用または望ましい場合がある。したがって、ＡＲユニット１６は、第１および第２の画像が共通視点から位置合せするように、第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成することもでき、第１および第２の確率マップのうちの少なくとも１つは、ミラーバージョンに基づいて生成される。
【００２７】
ここでも、第１のビデオカメラ１２および第２のビデオカメラ１４によって取り込まれた第１および第２の画像は時間同期することができ、このことは、２つの異なる画像が、実質的に同様の瞬間に対応し得ることを意味する。ＡＲユニット１６は、ＡＲ処理を実質的にリアルタイムに実施することができ、ＡＲ処理は、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について繰り返すことができ、第１の画像シーケンスは、第２の画像シーケンスと時間同期される。ただし、さらに節電し、処理を加速するために、場合によっては、ＡＲユニット１６は、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとにＡＲ処理を実施してよく、第１の画像シーケンスは、第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表す。
【００２８】
さらに、ＡＲユニット１６は、必ずしもＡＲ処理を画像単位で実施する必要はない。他の例では、ＡＲユニット１６によるＡＲ処理は、ある時間ウィンドウ、たとえば、スライディングウィンドウにわたる画像シーケンスに対して起こり得る。この場合、第１のビデオカメラ１２は第１の画像シーケンスを取り込むことができ、第２のビデオカメラ１４は第２の画像シーケンスを取り込むことができ、第２の画像シーケンスはユーザの眼を含む。ＡＲユニット１６は、第２の画像シーケンス中のユーザの眼に基づく複数の確率マップを生成することができ、複数の確率マップに少なくとも部分的に基づいてＡＲ情報を生成することができる。出力デバイス１８は次いで、第１の画像シーケンスとともにＡＲ情報を表示することができる。
【００２９】
図２は、本開示に一致する１つの例示的なビデオデバイス２０を示すより詳細なブロック図である。この例では（図１の例と同様）、ビデオデバイス２０は、第１のビデオカメラ２１と、第２のビデオカメラ２２と、ＡＲユニット２５と、ディスプレイ２８（ＡＲ情報を表示することができる出力デバイスである）とを含む。これらのユニットは、図１のビデオデバイス１０に関して上で説明した第１のビデオカメラ１２、第２のビデオカメラ１４、ＡＲユニット１６および出力デバイス１８と同様に動作し得る。
【００３０】
図２の例では、ビデオデバイス２０は、取込みビデオシーケンスに対してグラフィックス処理を実施するグラフィックスプロセッサ２６、および取込みまたは受信ビデオ情報を符号化または復号し得るビデオコーデック２７（エンコーダデコーダ）などの追加構成要素も含み得る。ビデオコーデック２７は、たとえば、ＩＴＵ  Ｈ．２６４規格、またはＭＰＥＧ規格のうちの１つなどのビデオコーディング規格に従って、ビデオシーケンスを符号化または復号することができる。ＡＲユニット２５、グラフィックスプロセッサ２６およびビデオコーデック２７は、１つまたは複数のプロセッサ２９として実装され得る。これらの異なるユニット用に別個のプロセッサが使われてもよく、可能性としては同じプロセッサが、ユニット２５、２６および２７のうちの２つ以上を実装してもよい。
【００３１】
ビデオデバイス２０は、ビデオシーケンスを含み得るデータを記憶するためのメモリ２３も含み得る。メモリ２３は、ビデオカメラ２１および２２によって取り込まれた未加工ビデオシーケンスを記憶することができ、この場合、ＡＲユニット２５は、本明細書に記載するＡＲ処理を実施するために、メモリ２３中の記憶されたビデオシーケンスにアクセスすることができる。さらに、メモリ２３は、ＡＲ処理においてＡＲユニット２５によって使われるテンプレートオブジェクトのライブラリを記憶することもできる。メモリ２３は、グラフィックスプロセッサ２６によって出力された処理済みビデオシーケンスまたはビデオコーデック２７によって出力された符号化済みビデオシーケンスを記憶することもできる。内部メモリは、ＡＲユニット２５、グラフィックスプロセッサ２６またはビデオコーデック２７の処理を加速するために、１つまたは複数のプロセッサ２９に組み込んでもよい。場合によっては、メモリ２３は、本開示の技法を実施するために、ＡＲユニット２５によって実行されるコンピュータ可読命令を記憶するのに使ってもよい。
【００３２】
ビデオデバイス２０は、アンテナ１９を介した他のデバイスとのワイヤレス通信を円滑にする送受信機２４も含み得る。送受信機２４は、符号分割多元接続（ＣＤＭＡ）または他のワイヤレスプロトコルなど、広範なワイヤレスプロトコルのうちのいずれに従って動作してもよい。送受信機２４は、ＣＤＭＡに従ってデータを変調および復調するモデムを含み得る。送受信機２４によって使われ得る他の例示的なワイヤレス技術は、広域移動体通信システム（ＧＳＭ（登録商標）：global system for mobile communications）システム、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、直交周波数分割多元接続（ＯＦＤＭ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１プロトコルのうちの１つもしくは複数、超広帯域通信プロトコル、または任意の他の通信技法、規格もしくはそれらの組合せを含み得る。
【００３３】
システムバス１７は、ビデオデバイス２０の様々な構成要素またはユニットを通信可能に結合することができる。ただし、実施態様によっては、別個のバス、または他のワイヤードもしくはワイヤレスインターフェースが、様々な構成要素またはユニットの間で使われ得る。図２の例では、ビデオデバイス２０は、ワイヤレスセルフォンやスマートフォンなどのワイヤレス通信デバイスに対応し得る。オーディオ処理構成要素など、多くの処理構成要素は、簡単のために図２に示していない。
【００３４】
ここでも、本開示によると、ＡＲユニット２５は、第１のビデオカメラ２１によって取り込まれた第１のビデオシーケンスに関してＡＲ処理を実施することができ、第１のビデオシーケンスに重ねられ得るＡＲ情報を生成することができる。ＡＲユニット２５によって実施されるＡＲ処理は、第１のビデオシーケンス内のオブジェクトが、メモリ２３のライブラリに記憶され得るテンプレートオブジェクトと比較されるオブジェクトマッチング技法を備え得る。ＡＲユニット２５は、テンプレートオブジェクトのうちの１つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を実施することができる。上述のように、ＡＲ処理は、顔認識技法、バイオメトリック認識技法、または第１のビデオシーケンス中のオブジェクト（１人もしくは複数の特定の人々であってよい）を識別するための他の技法も含み得る。
【００３５】
生成されたＡＲ情報は、ビデオデバイス２０によって表示される、広範囲の異なるタイプの情報を補うのに使うことができる。ＡＲ情報は、オブジェクトについての広告材料、オブジェクトもしくは人々のラベル、向き、軍用識別子、緊急情報、設定もしくは場所についての予測もしくは推論情報、構造情報、観光情報、特定の協力者集団についての協力情報、オブジェクトもしくは人についての娯楽もしくは教育情報、オブジェクト内部の仮想「ｘ線」ビュー、音楽ラベルもしくは識別子、身障者を助けるための情報、または生成され画像もしくはシーンの上に重ねられ得るどのタイプの情報も備え得る。別の例として、ＡＲ情報は、仮想現実情報であってもよい。
【００３６】
オブジェクト識別プロセスを助けるために、ＡＲユニット２５は、（第２のビデオカメラ２２によって取り込まれる）ユーザの眼の位置または瞳孔の向きによって与えられた情報を使用することができる。第１のビデオカメラ２１は、第１の画像（または第１の画像シーケンス）を取り込むことができ、第１のビデオカメラ２１は、ビデオデバイス２０のユーザに対して外に向けることができる。第２のビデオカメラ２２は、第２の画像（または第２の画像シーケンス）を取り込むことができ、第２のビデオカメラは、第１のビデオカメラ２１がユーザに対して外に向けられているとき、ユーザの眼を取り込むように配向することができる。ＡＲユニット２５は、第２の画像（または第２の画像シーケンス）中のユーザの眼に基づく確率マップを生成することができ、確率マップに少なくとも部分的に基づいて、第１の画像（または第１の画像シーケンス）中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成することができる。ディスプレイ２８は次いで、第１の画像（または第１の画像シーケンス）を有するＡＲ情報を表示することができる。ディスプレイ２８は、ビデオデバイス２０のビューファインダー、またはユーザによってリアルタイムに視聴可能などのディスプレイも備え得るが、本開示の技法は、どの特定のディスプレイにも限定されず、像をリアルタイムに表示しない一部のアプリケーションに適用可能であり得る。
【００３７】
いくつかの例では、確率マップは複数のタイルを含んでよく、確率マップの１つまたは複数のタイルには、第２の画像中のユーザの眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられ得る。さらに、場合によっては、ＡＲユニット２５は、第１の画像中の１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、第２の確率マップを生成することができ、第２の確率マップは、第２の画像中のユーザの眼に基づく確率マップである。ＡＲユニット２５が第１および第２の確率マップを生成すると、ＡＲユニット２５はまた、第１および第２の確率マップに基づく複合確率マップを生成し、複合確率マップに基づいてＡＲ情報を生成することができる。複合確率マップに基づくＡＲ情報の生成は、複合優先度マップに基づいて、第１の画像中の様々なオブジェクトに優先度を付けることと、様々なオブジェクトの優先度付けに基づいて、様々なオブジェクトのオブジェクト識別を実施することとを含み得る。オブジェクトの優先度付けを与えられると、そのようなオブジェクトは、優先度順で処理され得る。ただし、場合によっては、オブジェクトすべてを処理するのに処理能力が不十分な場合、優先度が比較的低いオブジェクトは、スキップされてよく、処理されなくてよい。
【００３８】
第１の確率マップは、関心を引くオブジェクトを含む確率が第１の画像中の他のエリアよりも高い、第１の画像中の１つまたは複数のエリアを定義することができ、第２の確率マップは、ユーザの眼に基づいて、第１の画像中の他のエリアに相対して、ユーザ関心の確率がより高い、１つまたは複数のエリアを定義することができる。第１のビデオカメラ２１および第２のビデオカメラ２２は反対向きに配向され得るので、第１のビデオカメラ２１および第２のビデオカメラ２２の画像を、共通視点から位置合せするのが有用または望ましい場合がある。したがって、ＡＲユニット２５は、第１および第２の画像が共通視点から位置合せするように、第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成することもでき、第１および第２の確率マップのうちの少なくとも１つは、ミラーバージョンに基づいて生成される。
【００３９】
図３Ａ〜図３Ｄは、図１のビデオデバイス１０の観点から説明される概念図であるが、以下の説明は、他のデバイスにも当てはまり得る。図３Ａは、ユーザに対して外に配向される第１のカメラ１２によって取り込まれたフレーム（すなわち、画像）を示す概念図である。図３Ａに示す第１のカメラ１２からのフレームは、特定の時間（すなわち、時間１）に対応し得る。
【００４０】
図３Ｂは、ユーザの眼を取り込むように配向される第２のカメラ１４によって取り込まれたフレームのミラーバージョンを示す概念図である。図３Ｂに示すように第２のカメラ１４によって取り込まれたフレームのミラーバージョンは、図３Ａおよび図３Ｂに示す第１および第２のフレームが共通視点から位置合せするように、ＡＲユニット１６によって生成され得る。このミラーリングは、すべてのケースにおいて必要とされなくてもよいが、第１のカメラ１２および第２のカメラ１４は概して、反対向きを指すので、（図３Ｂに示す）第２のカメラ１４によって取り込まれたフレームのミラーバージョンにより、確実に、ユーザの眼は、（図３Ａに示す）第１のカメラ１２によって取り込まれたフレームに対する焦点の向きを示す。画像の処理順序（すなわち、ピクセルが処理される順序）は、鏡像の生成を実際に必要とすることなく、画像の異なる配向を考慮するのに使うこともできる。ただし、第２の画像のミラーバージョンは、ユーザの眼がどのようにして、第１のカメラからの、外向きに取り込まれた画像中の関心を引くエリアまたは関心を引くオブジェクトを突き止めるのを助けるのかを概念化するのを助け得る。
【００４１】
図３Ｃは、第１のカメラからのフレームのタイルバージョンを示す概念図である。タイリングのレベルは、異なる例において変わり得るので、図３Ｃは例にすぎない。この例では、タイル３１はオブジェクト１を含む。タイル３２はオブジェクト３を含む。タイル３３および３４は各々、オブジェクト２の一部分を含む。オブジェクト４は、オブジェクト４の一部がタイル３５、３６、３７および３８内に配置されるように、フレーム内に配置される。
【００４２】
図３Ｄは、図３Ｂの画像中のユーザの眼に基づく、関心を引く見込みエリアを示すための陰影をもつ、第２のカメラ１４からのフレームのミラーバージョンのタイル近似である。この例では、タイル３０１は、ユーザの眼が、タイル３０１に向かって位置決めされ、タイル３０１に向かって配向され、タイル３０１に向けられ、または場合によってはタイル３０１に焦点を合わせられる非常に高い見込みを示し得る陰影をもつ。タイル３０１に隣接するタイル３０２、３０３および３０４は、ユーザの眼が、タイル３０３、３０２または３０４に向かって位置決めされ、それらのタイルに向かって配向され、それらのタイルに向けられ、または場合によってはそれらのタイルに焦点を合わせられる中程度の見込みを示すための陰影も有し得る。残りのタイルは、いかなる陰影ももたず、このことは、残りのタイルは、ユーザの関心を引くオブジェクトを含む見込みがより低いことを示す。
【００４３】
図４Ａは、第１のカメラ１２からの図３Ｃのタイルフレームに基づく例示的な第１の確率マップである。この場合、異なるエリアには、そのようなエリアが、ＡＲ処理にとって関心を引くオブジェクトとなるであろうオブジェクトを含む見込みに基づいて、異なる優先度が割り当てられ得る。この例では、エリア４１および４２は、各々がフルオブジェクトを含むタイルに関連付けられるので、これらのエリアには、高い優先度（たとえば、１．０）が与えられ得る。エリア４３および４４は、各々がオブジェクトの半分を含むタイルに関連付けられるので、これらのエリアには、中程度の優先度（たとえば、０．５）が与えられ得る。エリア４５、４６、４７および４８は、オブジェクトの半分未満を含むタイルに各々が関連付けられるので、これらのエリアには、より低い優先度（たとえば、０．２５）が与えられてよく、残りのエリアは、どのオブジェクトまたは部分的オブジェクトも含まないと思われるので、残りのエリアには、最低優先度（たとえば、０．１）が与えられてよい。
【００４４】
図４Ｂは、第２のカメラ１４からの図３Ｃのフレームのミラーバージョンに基づく例示的な第２の確率マップである。本開示の一例によると、図４Ｂの確率マップは、ＡＲユニット１６によるＡＲ処理にとって関心を引くエリアに優先度を付けるのに使うことができる。この場合、エリア４０１には高い優先度（たとえば、１）を与えてよく、エリア４０２、４０３および４０４にはより低い優先度（たとえば、０．２）を与えてよく、残りのエリアには最低優先度（たとえば、０．１）を与えてよい。図４Ｂの確率マップは、（第２のカメラ１４によって取り込まれた）所与の時間のユーザの眼に基づくので、この確率マップは、（第１のカメラ１２によって取り込まれた）その時間での外の画像中のオブジェクトのＡＲ処理を優先させるのを助けることができる。たとえば、エリア４０１に対応する第１の画像のタイルを最初に処理してよく、その後に、エリア４０２、４０３および４０４に対応する第１の画像のタイルが続く。残りの処理能力および電力が利用可能な場合、確率マップの残りのエリアに関連付けられた残りのタイルを処理することができる。
【００４５】
場合によっては、図４Ａおよび図４Ｂの確率マップを組み合わせて、複合確率マップを定義することが望ましいことがある。このようにして、ユーザの眼についての情報を、関心を引くオブジェクトであり得るオブジェクトを有する見込みがあるエリアを識別する情報と組み合わせることができる。図５は、図４Ａおよび図４Ｂの第１および第２の確率マップに基づく複合確率マップを示す。図５の複合確率マップを生成するためには、図４Ａの第１の確率マップの確率に、図４Ｂの第２の確率マップの確率を乗算すればよい。その結果、異なるタイルについての一定の範囲の優先度値が生じ、これらの値は、ユーザの眼についての情報を、オブジェクトを有する見込みがあるエリアを識別する情報と組み合わせたものである。
【００４６】
図５の複合確率マップにおいて、エリア５１は１という優先度をもつが、これは、この例において可能な最も高い優先度である。エリア５５は、次に高い優先度である０．１という優先度をもつ。エリア５６および５７は０．０５の優先度をもち、エリア５８、５９、６１および６２は０．０２５の優先度をもつ。エリア５２、５３および５４は、０．０２の優先度をもつ。残りのエリアは、０．０１という確率を有し得る。
【００４７】
第１のカメラによって取り込まれた画像の対応するタイル（たとえば、図３Ｃに示すタイル画像は、ＡＲユニット１６によって、複合確率マップによって割り当てられた優先度順で処理され得る。この場合、エリア５１の確率が、図５の複合確率マップ中で最も高い値（すなわち、１）をもつので、タイル３１が最初に処理される。タイル３２が次に、エリア５５における優先度値０．１に基づいて、ＡＲユニット１６によって処理される。次に、タイル３３および３４が、エリア５６および５７における優先度値０．０５に基づいて、ＡＲユニット１６によって処理される。次に、タイル３５、３６、３７および３８が、エリア５８、５９、６１および６２における優先度値０．０２５に基づいて、ＡＲユニット１６によって処理される。次に、図３Ｃのタイル３１に隣接するタイルが、エリア５２、５３および５４における優先度値０．０２に基づいて、ＡＲユニット１６によって処理される。最後に、確率マップの残りのエリアに関連付けられたどの残りのタイルも処理され得る。このようにして、（第２の画像中で定義され、取り込まれた）ユーザの眼と、（第１の画像によって定義された）オブジェクトが存在する見込みエリアの複合要因に基づいて、様々なエリアに優先度が与えられる。
【００４８】
図６は、各オブジェクトの下にＡＲ情報が付加された画像を示す概念図である。たとえば、異なるオブジェクトが識別されるように、ＡＲ情報６３および６４が、第１のカメラからのオリジナルフレームに重ねられ得る。ＡＲ情報６３および６４は、単純なテキストラベルとして示してあるが、ＡＲ情報は、アイコンや画像などのグラフィカル情報、テキスト情報、ラベル、または第１の画像もしくは第１の画像シーケンスに取り込まれたオブジェクトを識別もしくは修飾するどの情報も含む他の形態をとり得る。一例として、人の名前、または建物の名称もしくは住所が、ＡＲ情報として生成され、それぞれのオブジェクトに重ねられ得る。どのタイプのオブジェクトについてもＡＲ情報が生成され得るが、どの所与の画像についてもＡＲ情報の量を制限することが望ましい場合がある。本開示の優先度付け技法は、実施され得るＡＲ処理の量を処理能力が制限しない場合であっても、ＡＲ情報を制限するのに使うことができる。
【００４９】
本開示の技法に一致して、ＡＲ情報６３の生成は、ＡＲ情報６４の生成よりも見込みが高くなり得る。このことは、図５の複合確率マップから明らかなはずであり、このマップでは、エリア５１および５５が、エリア５６、５７、５８、５９、６１および６２よりも高い優先度値をもつ。優先度が高い方のエリアが、優先度が低い方のエリアの前に処理され、それゆえ、限られた量の電力、時間または処理能力を仮定すると、確率マップの、優先度が高い方のエリアに対応する画像の対応するエリアは、ＡＲ情報を重ねられる見込みがより高くなり得る。この例では、オブジェクト１の周りのエリアは、（図４Ａの第１の確率マップ中で定義される）そこにあるオブジェクトの複合確率、および（図４Ｂの第２の確率マップ中で定義されるユーザの眼に基づいて割り当てられた高い確率により、最も高い優先度をもつ。
【００５０】
図７は、本開示に一致する、ＡＲ情報を生成および表示するための例示的な技法を示す流れ図である。図７に示すように、第１のビデオカメラ１２が、オブジェクトを含む第１の画像を取り込み（７１）、第２のビデオカメラ１４が、ユーザの眼を含む第２の画像を取り込む（７２）。ＡＲユニット１６は、第１および第２の画像を受信し、第２の画像中のユーザの眼に基づく、第１の画像中のオブジェクトについての確率マップを生成する（７３）。ＡＲユニット１６は次いで、確率マップに基づいてＡＲ処理を実施して、第１の画像中のオブジェクトのうちの１つまたは複数についてのＡＲ情報を生成する（７４）。ＡＲ処理は、たとえば、ＡＲユニット１６によって記憶され、またはアクセス可能なテンプレートオブジェクトのうちの１つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を含み得る。ＡＲ処理は、顔認識技法、バイオメトリック認識技法、または第１の画像中のオブジェクト（１人もしくは複数の特定の人々であってよい）を識別するための他の技法も含み得る。ＡＲユニット１６がＡＲ情報を生成すると、出力デバイス１８は、たとえば、第１の画像中の１つまたは複数のオブジェクトの上にＡＲ情報を重ねることによって、第１の画像とともにＡＲ情報を表示することができる。
【００５１】
図８は、本開示に一致する、ＡＲ情報を生成および表示するための別の例示的な技法を示す流れ図である。図８に示すように、第１のビデオカメラ１２が、オブジェクトを含む第１の画像シーケンスを取り込む（８１）。ＡＲユニット１６は、第１のビデオカメラ１２から第１の画像シーケンスを受信し、第１の画像シーケンスのうちの１つまたは複数の画像中のオブジェクトに基づく第１の確率マップを生成する（８２）。実質的に同時に、第２のビデオカメラ１４は、ユーザの眼を含む第２の画像シーケンスを取り込む（８３）。ＡＲユニット１６はまた、第２のビデオカメラ１４から第２の画像シーケンスを受信し、第２の画像シーケンスのうちの１つまたは複数の画像中のユーザの眼に基づく第２の確率マップを生成する（８４）。上述のように、第１および第２のカメラ用に異なるサンプリングレートを使うことが可能であってよく、その場合、本開示のＡＲ処理は、外の画像と同じ瞬間に、ユーザの眼の対応する画像をもつ外の画像に対して起こり得る。
【００５２】
ＡＲユニット１６は、たとえば、第１の確率マップの確率を、第２の確率マップの確率と組み合わせて、第１および第２の確率マップに基づく複合確率マップを生成する（８５）。たとえば、複合確率マップの様々な確率を生成するために、第１の確率マップの確率に、第２の確率マップの確率を乗算すればよい。ただし、場合によっては、第１または第２の確率マップのいずれかに、複合確率マップ中でより重みを与えてもよい。
【００５３】
ＡＲユニット１６は次に、複合確率マップに基づいて、第１の画像シーケンス中のオブジェクトに優先度を付け（８６）、オブジェクトの優先度付けに従って、様々なオブジェクトのＡＲ処理を実施する（８７）。このことは、より低い優先度を割り当てられている他のオブジェクトまたはより低い優先度をもつ、確率マップのエリア内に置かれた他のオブジェクトをＡＲユニット１６が処理する前に、より高い優先度を与えられているオブジェクトまたはより高い優先度をもつ、確率マップのエリア内に置かれたオブジェクトを、ＡＲユニット１６が処理することを意味する。ＡＲユニット１６は、オブジェクト処理の順序を定義するための優先度付け方式に概ね従って、様々なオブジェクトについてのＡＲ情報を生成する（８８）。ＡＲユニット１６がＡＲ情報を生成すると、出力デバイス１８は、たとえば、第１の画像中の１つまたは複数のオブジェクトの上にＡＲ情報を重ねることによって、第１の画像とともにＡＲ情報を表示することができる（８９）。
【００５４】
本開示の技法は、モバイルフォンなどのワイヤレス通信デバイスハンドセット、集積回路（ＩＣ）またはＩＣのセット（すなわち、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。機能的態様を強調するために与えられた任意の構成要素、モジュールまたはユニットについて説明したが、異なるハードウェアユニットによる実現を必ずしも必要とするわけではない。本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せでも実装され得る。モジュール、ユニット、または構成要素として説明する特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装できる。場合によっては、様々な特徴は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装できる。
【００５５】
ソフトウェアで実装する場合、これらの技法は、プロセッサで実行されると、上記で説明した方法の１つまたは複数を実行する命令を備えるコンピュータ可読媒体によって、少なくとも部分的に実現され得る。コンピュータ可読媒体は、有形コンピュータ可読記憶媒体を備え得、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読記憶媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などを備え得る。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または伝達し、コンピュータによってアクセス、読取り、および／または実行できるコンピュータ可読通信媒体によって、少なくとも部分的に実現できる。
【００５６】
命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
【００５７】
本開示はまた、本開示で説明した技法の１つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供できる。そのような集積回路デバイスは様々な適用例において使用でき、適用例のいくつかは携帯電話ハンドセットなどのワイヤレス通信デバイスでの使用を含む。
【００５８】
様々な例について本開示で説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
【図１】
2014501405.tif 000003
【図２】
2014501405.tif 000004
【図３Ａ】
2014501405.tif 000005
【図３Ｂ】
2014501405.tif 000006
【図３Ｃ】
2014501405.tif 000007
【図３Ｄ】
2014501405.tif 000008
【図４Ａ】
2014501405.tif 000009
【図４Ｂ】
2014501405.tif 000010
【図５】
2014501405.tif 000011
【図６】
2014501405.tif 000012
【図７】
2014501405.tif 000013
【図８】
2014501405.tif 000014
【手続補正書】
【提出日】平成25年8月19日(2013.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像中のオブジェクトの処理に優先度を付けるための方法であって、
デバイスの第１のカメラを使って第１の画像を取り込むことであって、前記第１のカメラは、前記デバイスのユーザに対して外に向けられることと、
前記デバイスの第２のカメラを使って第２の画像を取り込むことであって、前記第２の画像は前記ユーザの眼を含むことと、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成することと、
前記第２の画像中の前記ユーザの前記眼に基づく第２の確率マップを生成することと、
前記第１および第２の確率マップに基づく複合確率マップを生成することと、
前記複合確率マップに少なくとも部分的に基づいて、前記第１の画像中の前記１つまたは複数のオブジェクトに関連付けられた拡張現実、すなわちＡＲ、情報を生成することとを備え、
前記複合確率マップに基づいて前記ＡＲ情報を生成することが、前記複合優先度マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けることを含む方法。
【請求項２】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項１に記載の方法。
【請求項３】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心がより高い確率をもつ１つまたは複数のエリアを定義する、請求項１に記載の方法。
【請求項４】
前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成することであって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成されることをさらに備える、請求項３に記載の方法。
【請求項５】
前記第１および第２の画像は時間同期される、請求項１に記載の方法。
【請求項６】
第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期されることをさらに備える、請求項１に記載の方法。
【請求項７】
第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表すことをさらに備える、請求項１に記載の方法。
【請求項８】
前記方法は、前記第１のカメラと、前記第２のカメラと、ディスプレイとを含むハンドヘルドデバイスによって実施される、請求項１に記載の方法。
【請求項９】
前記方法はリアルタイムに実施される、請求項１に記載の方法。
【請求項１０】
前記第１のカメラを使って第１の画像シーケンスを取り込むことと、
前記第２のカメラを使って第２のシーケンス画像を取り込むことであって、前記第２の画像シーケンスは前記ユーザの前記眼を含むことと、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成することと、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成することと、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示することとをさらに備える、請求項１に記載の方法。
【請求項１１】
画像中のオブジェクトの処理に優先度を付けるためのデバイスであって、
第１のカメラが前記デバイスのユーザに対して外に向けられているとき、第１の画像を取り込むように配向された第１のカメラと、
前記第１のカメラが前記ユーザに対して外に向けられているとき、前記ユーザの眼を含む第２の画像を取り込むように配向された第２のカメラと、
拡張現実、すなわちＡＲ、ユニットであって、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、
前記第２の画像中の前記ユーザの前記眼に基づく第２の確率マップを生成し、
前記第１および第２の確率マップに基づく複合確率マップを生成し、
前記複合確率マップに少なくとも部分的に基づいて、前記第１の画像中の前記１つまたは複数のオブジェクトに関連付けられた拡張現実、すなわちＡＲ、情報を生成するＡＲユニットとを備え、
前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記ＡＲユニットは、前記複合確率マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けるデバイス。
【請求項１２】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項１１に記載のデバイス。
【請求項１３】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心がより高い確率をもつ１つまたは複数のエリアを定義する、請求項１１に記載のデバイス。
【請求項１４】
前記ＡＲユニットは、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成し、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、請求項１３に記載のデバイス。
【請求項１５】
前記第１および第２の画像は時間同期される、請求項１１に記載のデバイス。
【請求項１６】
前記ＡＲユニットは、第１の画像シーケンスのうちのすべての画像についての前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期される、請求項１１に記載のデバイス。
【請求項１７】
前記ＡＲユニットは、第１の画像シーケンスのうちのＮ個ごとに、画像についての前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、請求項１１に記載のデバイス。
【請求項１８】
前記ＡＲ情報の生成はリアルタイムに起こる、請求項１１に記載のデバイス。
【請求項１９】
前記第１のカメラは第１の画像シーケンスを取り込み、
前記第２のカメラは、前記ユーザの前記眼を含む第２のシーケンス画像を取り込み、
前記ＡＲユニットは、前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成し、前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成し、
前記ディスプレイは、前記第１の画像シーケンスとともに前記ＡＲ情報を表示する、請求項１１に記載のデバイス。
【請求項２０】
前記ＡＲユニットは、集積回路およびマイクロプロセッサのうちの少なくとも１つを備える、請求項１１に記載のデバイス。
【請求項２１】
画像中のオブジェクトの処理に優先度を付けるためのデバイスであって、
デバイスを用いて第１の画像を取り込むための手段と、
前記デバイスを用いて第２の画像を取り込むための手段であって、前記第２の画像は前記ユーザの眼を含み、好ましくは前記第１および第２の画像が実質的に同時に取り込まれる手段と、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成するための手段と、
前記第２の画像中の前記ユーザの前記眼に基づく第２の確率マップを生成するための手段と、
前記第１および第２の確率マップに基づく複合確率マップを生成するための手段と、
前記複合確率マップに少なくとも部分的に基づいて、前記第１の画像中の前記１つまたは複数のオブジェクトに関連付けられた拡張現実、すなわちＡＲ、情報を生成するための手段とを備え、
前記複合確率マップに基づいて前記拡張現実情報を生成するための前記手段は、前記複合確率マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けるための手段を含むデバイス。
【請求項２２】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項２１に記載のデバイス。
【請求項２３】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心がより高い確率をもつ１つまたは複数のエリアを定義する、請求項２１に記載のデバイス。
【請求項２４】
前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成するための手段であって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される手段をさらに備える、請求項２３に記載のデバイス。
【請求項２５】
前記第１および第２の画像は時間同期される、請求項２１に記載のデバイス。
【請求項２６】
前記ＡＲ情報の生成は、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について繰り返され、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期される、請求項２１に記載のデバイス。
【請求項２７】
前記ＡＲ情報の生成は、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに繰り返され、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表す、請求項２１に記載のデバイス。
【請求項２８】
前記デバイスは、前記第１のカメラ、前記第２のカメラ、及びディスプレイとを含むハンドヘルドデバイスである、請求項２１に記載のデバイス。
【請求項２９】
前記ＡＲ情報の生成はリアルタイムに起こる、請求項２１に記載のデバイス。
【請求項３０】
第１の画像シーケンスを取り込むための手段と、
第２のシーケンス画像を取り込むための手段であって、前記第２の画像シーケンスが前記ユーザの前記眼を含む手段と、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成するための手段と、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成するための手段と、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示するための手段とをさらに備える、請求項２１に記載のデバイス。
【請求項３１】
プロセッサによって実行されると、前記プロセッサに、
デバイスのユーザに対して外に向けられた、前記デバイスの第１のカメラから第１の画像を受信したとき、および
前記デバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成させ、
前記第２の画像中の前記ユーザの前記眼に基づく第２の確率マップを生成させ、
前記第１および第２の確率マップに基づく複合確率マップを生成させ、
前記複合確率マップに基づいて、前記第１の画像中の前記１つまたは複数のオブジェクトに関連付けられた拡張現実、すなわちＡＲ、情報を生成させる命令を備え、
前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記命令が、前記プロセッサに、前記複合確率マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けさせるコンピュータ可読記憶媒体。
【請求項３２】
前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項３１に記載のコンピュータ可読媒体。
【請求項３３】
前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心がより高い確率をもつ１つまたは複数のエリアを定義する、請求項３１に記載のコンピュータ可読媒体。
【請求項３４】
前記命令は、前記プロセッサに、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成させ、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、請求項３３に記載のコンピュータ可読媒体。
【請求項３５】
前記第１および第２の画像は時間同期される、請求項３１に記載のコンピュータ可読媒体。
【請求項３６】
前記命令は、前記プロセッサに、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記ＡＲ情報を生成させ、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期される、請求項３１に記載のコンピュータ可読媒体。
【請求項３７】
前記命令は、前記プロセッサに、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記ＡＲ情報を生成させ、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表す、請求項３１に記載のコンピュータ可読媒体。
【請求項３８】
前記命令は、前記プロセッサに、前記ＡＲ情報をリアルタイムに生成させる、請求項３１に記載のコンピュータ可読媒体。
【請求項３９】
前記命令は、前記プロセッサに、
前記第１のカメラから第１の画像シーケンスを受信したとき、および
前記ユーザの前記眼を含む第２のシーケンス画像を、前記第２のカメラから受信したとき、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成させ、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成させ、
前記第１の画像シーケンスとともにレンダリングするために、前記ＡＲ情報を前記ディスプレイに出力させる、請求項３１に記載のコンピュータ可読媒体。
【請求項４０】
画像中のオブジェクトの処理に優先度を付けるための装置であって、
デバイスのユーザに対して外に向けられた、前記デバイスの第１のカメラから第１の画像を受信したとき、および
前記デバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、
前記第２の画像中の前記ユーザの前記眼に基づく第２の確率マップを生成し、
前記第１および第２の確率マップに基づく複合確率マップを生成し、
前記複合確率マップに基づいて、前記第１の画像中の前記１つまたは複数のオブジェクトに関連付けられた拡張現実、すなわちＡＲ情報を生成するように構成され、前記複合確率マップに基づいて前記ＡＲ情報を生成する際、様々なオブジェクトが、前記複合確率マップに基づいて前記第１の画像中で優先度を付けられる装置。
【請求項４１】
前記装置は、前記第１のカメラ、前記第２のカメラおよび前記ディスプレイに通信可能に結合されるプロセッサを備える、請求項４０に記載の装置。
【請求項４２】
前記装置はハンドヘルドデバイスのＡＲユニットを備える、請求項４０に記載の装置。
【請求項４３】
ＡＲ情報を優先順に処理することによって、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施することをさらに備える、請求項１に記載の方法。
【請求項４４】
前記第１の画像とともに前記拡張現実、すなわちＡＲ、情報を表示することをさらに備える、請求項１に記載の方法。
【請求項４５】
前記ＡＲ情報を優先順に処理することによって、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施する、請求項１１に記載の装置。
【請求項４６】
前記第１の画像とともに前記ＡＲ情報を表示するディスプレイをさらに備える、請求項１１に記載の装置。
【請求項４７】
前記第１の画像とともに前記ＡＲ情報を表示するための手段をさらに備える、請求項２１に記載のデバイス。
【請求項４８】
前記ＡＲ情報を優先順に処理することによって、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施するための手段をさらに備える、請求項２１に記載のデバイス。
【請求項４９】
前記ＡＲ情報をディスプレイに出力することをさらに備える、請求項３１に記載のコンピュータ可読媒体。
【請求項５０】
前記ＡＲ情報を優先順に処理することによって、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施することをさらに備える、請求項３１に記載のコンピュータ可読媒体。
【請求項５１】
前記ＡＲ情報を出力するためのディスプレイをさらに備える、請求項４０に記載の装置。
【請求項５２】
前記ＡＲ情報を優先順に処理することによって、前記ＡＲ情報を優先順に処理することによって、前記様々なオブジェクトの優先度付けに基づいて前記様々なオブジェクトのオブジェクト識別を実施するようにさらに構成された、請求項４０に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
様々な例について本開示で説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］  ハンドヘルドデバイスの第１のカメラを使って第１の画像を取り込むことであって、前記第１のカメラは、前記ハンドヘルドデバイスのユーザに対して外に向けられることと、
前記ハンドヘルドデバイスの第２のカメラを使って第２の画像を取り込むことであって、前記第２の画像は前記ユーザの眼を含むことと、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成することと、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成することと、
前記第１の画像とともに前記ＡＲ情報を表示することとを備える方法。
［２］  前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、上記［１］に記載の方法。
［３］  前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成することと、
第２の確率マップを生成することであって、前記第２の確率マップが、前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップであることと、
前記第１および第２の確率マップに基づく複合確率マップを生成することと、
前記複合確率マップに基づいて前記ＡＲ情報を生成することとをさらに備える、上記［１］に記載の方法。
［４］  前記複合確率マップに基づいて前記ＡＲ情報を生成することは、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付けることと、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施することとを含む、上記［３］に記載の方法。
［５］  前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、上記［３］に記載の方法。
［６］  前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成することであって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成されることをさらに備える、上記［５］に記載の方法。
［７］  前記第１および第２の画像は時間同期される、上記［１］に記載の方法。
［８］  第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期されることをさらに備える、上記［１］に記載の方法。
［９］  第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記方法を繰り返すことであって、前記第１の画像シーケンスは、前記第２の画像シーケンスと時間同期され、Ｎは２以上の整数を表すことをさらに備える、上記［１］に記載の方法。
［１０］  前記方法は、前記第１のカメラと、前記第２のカメラと、ディスプレイとを含むハンドヘルドデバイスによって実施される、上記［１］に記載の方法。
［１１］  前記方法はリアルタイムに実施される、上記［１］に記載の方法。
［１２］  前記第１のカメラを使って第１の画像シーケンスを取り込むことと、
前記第２のカメラを使って第２のシーケンス画像を取り込むことであって、前記第２の画像シーケンスが前記ユーザの前記眼を含むことと、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成することと、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成することと、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示することとをさらに備える、上記［１］に記載の方法。
［１３］  前記第１のカメラが前記ハンドヘルドデバイスのユーザに対して外に向けられているとき、第１の画像を取り込むように配向された第１のカメラと、
前記第１のカメラが前記ユーザに対して外に向けられているとき、前記ユーザの眼を含む第２の画像を取り込むように配向された第２のカメラと、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成し、前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられたＡＲ情報を生成する拡張現実（ＡＲ）ユニットと、
前記第１の画像とともに前記ＡＲ情報を表示するディスプレイとを備えるハンドヘルドデバイス。
［１４］  前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、上記［１３］に記載のハンドヘルドデバイス。
［１５］  前記ＡＲユニットは、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成し、
前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである第２の確率マップを生成し、
前記第１および第２の確率マップに基づく複合確率マップを生成し、
前記複合確率マップに基づいて前記ＡＲ情報を生成する、上記［１３］に記載のハンドヘルドデバイス。
［１６］  前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記ＡＲユニットは、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付け、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施する、上記［１５］に記載のハンドヘルドデバイス。
［１７］  前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、上記［１５］に記載のハンドヘルドデバイス。
［１８］  前記ＡＲユニットは、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成し、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、上記［１７］に記載のハンドヘルドデバイス。
［１９］  前記第１および第２の画像が時間同期される、上記［１３］に記載のハンドヘルドデバイス。
［２０］  前記ＡＲユニットは、第１の画像シーケンスのうちのすべての画像について前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期される、上記［１３］に記載のハンドヘルドデバイス。
［２１］  前記ＡＲユニットは、第１の画像シーケンスのうちのＮ個ごとに、画像についての前記ＡＲ情報の生成を繰り返し、前記第１の画像シーケンスは、第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、上記［１３］に記載のハンドヘルドデバイス。
［２２］  前記ＡＲ情報の生成がリアルタイムに起こる、上記［１３］に記載のハンドヘルドデバイス。
［２３］  前記第１のカメラは第１の画像シーケンスを取り込み、
前記第２のカメラは、前記ユーザの前記眼を含む第２のシーケンス画像を取り込み、
前記ＡＲユニットは、前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成し、前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成し、
前記ディスプレイは、前記第１の画像シーケンスとともに前記ＡＲ情報を表示する、上記［１３］に記載のハンドヘルドデバイス。
［２４］  前記ＡＲユニットは、集積回路およびマイクロプロセッサのうちの少なくとも１つを備える、上記［１３］に記載のハンドヘルドデバイス。
［２５］  ハンドヘルドデバイスを用いて第１の画像を取り込むための手段と、
前記ハンドヘルドデバイスを用いて第２の画像を取り込むための手段であって、前記第２の画像が前記ユーザの眼を含み、前記第１および第２の画像が実質的に同時に取り込まれる手段と、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成するための手段と、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成するための手段と、
前記第１の画像とともに前記ＡＲ情報を表示するための手段とを備えるデバイス。
［２６］  前記確率マップが複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、上記［２５］に記載のデバイス。
［２７］  前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成するための手段と、
第２の確率マップを生成するための手段であって、前記第２の確率マップが、前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである手段と、
前記第１および第２の確率マップに基づく複合確率マップを生成するための手段と、
前記複合確率マップに基づいて前記ＡＲ情報を生成するための手段とをさらに備える、上記［２５］に記載のデバイス。
［２８］  前記複合確率マップに基づいて前記ＡＲ情報を生成するための前記手段は、前記複合優先度マップに基づいて、前記第１の画像中の様々なオブジェクトに優先度を付けるための手段と、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施するための手段とを含む、上記［２７］に記載のデバイス。
［２９］  前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、上記［２７］に記載のデバイス。
［３０］  前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成するための手段であって、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される手段をさらに備える、上記［２９］に記載のデバイス。
［３１］  前記第１および第２の画像は時間同期される、上記［２５］に記載のデバイス。
［３２］  前記ＡＲ情報の生成は、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について繰り返され、前記第１の画像シーケンスが前記第２の画像シーケンスと時間同期される、上記［２５］に記載のデバイス。
［３３］  前記ＡＲ情報の生成は、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに繰り返され、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、上記［２５］に記載のデバイス。
［３４］  前記デバイスは、第１のカメラと、第２のカメラと、ディスプレイとを含むハンドヘルドデバイスである、上記［２５］に記載のデバイス。
［３５］  前記ＡＲ情報の生成はリアルタイムに起こる、上記［２５］に記載のデバイス。
［３６］  第１の画像シーケンスを取り込むための手段と、
第２のシーケンス画像を取り込むための手段であって、前記第２の画像シーケンスが前記ユーザの前記眼を含む手段と、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成するための手段と、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成するための手段と、
前記第１の画像シーケンスとともに前記ＡＲ情報を表示するための手段とをさらに備える、上記［２５］に記載のデバイス。
［３７］  プロセッサによって実行されると、前記プロセッサに、
ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、および
前記ハンドヘルドデバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成させ、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成させ、
前記ＡＲ情報をディスプレイに出力させる命令を備えるコンピュータ可読記憶媒体。
［３８］  前記確率マップは複数のタイルを含み、前記確率マップの１つまたは複数のタイルには、前記第２の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、上記［３７］に記載のコンピュータ可読媒体。
［３９］  前記命令は、前記プロセッサに、
前記第１の画像中の前記１つまたは複数のオブジェクトに基づく第１の確率マップを生成させ、
前記第２の画像中の前記ユーザの前記眼に基づく前記確率マップである第２の確率マップを生成させ、
前記第１および第２の確率マップに基づく複合確率マップを生成させ、
前記複合確率マップに基づいて前記ＡＲ情報を生成させる、上記［３７］に記載のコンピュータ可読媒体。
［４０］  前記複合確率マップに基づいて前記ＡＲ情報を生成する際、前記命令は、前記プロセッサに、前記複合優先度マップに基づいて前記第１の画像中の様々なオブジェクトに優先度を付けさせ、前記様々なオブジェクトの優先度付けに基づいて前記様々なオブジェクトのオブジェクト識別を実施させる、上記［３９］に記載のコンピュータ可読媒体。
［４１］  前記第１の確率マップは、前記第１の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第１の画像中の１つまたは複数のエリアを定義し、
前記第２の確率マップは、前記ユーザの眼に基づいて、前記第１の画像中の他のエリアに対して、ユーザ関心の確率がより高い１つまたは複数のエリアを定義する、上記［３９］に記載のコンピュータ可読媒体。
［４２］  前記命令は、前記プロセッサに、前記第１および第２の画像が共通視点から位置合せするように、前記第１または第２の画像のうちの少なくとも１つのミラーバージョンを生成させ、前記第１および第２の確率マップのうちの少なくとも１つは、前記ミラーバージョンに基づいて生成される、上記［４１］に記載のコンピュータ可読媒体。
［４３］  前記第１および第２の画像は時間同期される、上記［３７］に記載のコンピュータ可読媒体。
［４４］  前記命令は、前記プロセッサに、第１の画像シーケンスおよび第２の画像シーケンスのうちのすべての画像について前記ＡＲ情報を生成させ、前記第１の画像シーケンスは前記第２の画像シーケンスと時間同期される、上記［３７］に記載のコンピュータ可読媒体。
［４５］  前記命令は、前記プロセッサに、第１の画像シーケンスのうちのＮ個の画像ごとおよび第２の画像シーケンスのうちのＮ個の画像ごとに前記ＡＲ情報を生成させ、前記第１の画像シーケンスが前記第２の画像シーケンスと時間同期され、Ｎが２以上の整数を表す、上記［３７］に記載のコンピュータ可読媒体。
［４６］  前記命令は、前記プロセッサに、前記ＡＲ情報をリアルタイムに生成させる、上記［３７］に記載のコンピュータ可読媒体。
［４７］  前記命令は、前記プロセッサに、
前記第１のカメラから第１の画像シーケンスを受信したとき、および
前記ユーザの前記眼を含む第２のシーケンス画像を、前記第２のカメラから受信したとき、
前記第２の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成させ、
前記複数の確率マップに少なくとも部分的に基づいて前記ＡＲ情報を生成させ、
前記第１の画像シーケンスとともにレンダリングするために、前記ＡＲ情報を前記ディスプレイに出力させる、上記［３７］に記載のコンピュータ可読媒体。
［４８］  ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第１のカメラから第１の画像を受信したとき、および
前記ハンドヘルドデバイスの第２のカメラを使って、前記ユーザの眼を含む第２の画像を受信したとき、
前記第２の画像中の前記ユーザの前記眼に基づく確率マップを生成し、
前記確率マップに少なくとも部分的に基づいて、前記第１の画像中の１つまたは複数のオブジェクトに関連付けられた拡張現実（ＡＲ）情報を生成し、
前記ＡＲ情報をディスプレイに出力するように構成された装置。
［４９］  前記装置は、前記第１のカメラ、前記第２のカメラおよび前記ディスプレイに通信可能に結合されるプロセッサを備える、上記［４８］に記載の装置。
［５０］  前記装置はハンドヘルドデバイスのＡＲユニットを備える、上記［４８］に記載の装置。
【国際調査報告】
2014501405.tif 000015
2014501405.tif 000016