ハンドヘルドデバイスの第1のカメラを使って第1の画像を取り込むことであって、前記第1のカメラは、前記ハンドヘルドデバイスのユーザに対して外に向けられることと、前記ハンドヘルドデバイスの第2のカメラを使って第2の画像を取り込むことであって、前記第2の画像は前記ユーザの眼を含むことと、前記第2の画像中の前記ユーザの前記眼に基づく確率マップを生成することと、前記確率マップに少なくとも部分的に基づいて、前記第1の画像中の1つまたは複数のオブジェクトに関連付けられた拡張現実AR情報を生成することと、前記第1の画像とともに前記AR情報を表示することとを備える方法。前記確率マップは複数のタイルを含み、前記確率マップの1つまたは複数のタイルには、前記第2の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項1に記載の方法。前記第1の画像中の前記1つまたは複数のオブジェクトに基づく第1の確率マップを生成することと、第2の確率マップを生成することであって、前記第2の確率マップが、前記第2の画像中の前記ユーザの前記眼に基づく前記確率マップであることと、前記第1および第2の確率マップに基づく複合確率マップを生成することと、前記複合確率マップに基づいて前記AR情報を生成することとをさらに備える、請求項1に記載の方法。前記複合確率マップに基づいて前記AR情報を生成することは、前記複合優先度マップに基づいて、前記第1の画像中の様々なオブジェクトに優先度を付けることと、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施することとを含む、請求項3に記載の方法。前記第1の確率マップは、前記第1の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第1の画像中の1つまたは複数のエリアを定義し、前記第2の確率マップは、前記ユーザの眼に基づいて、前記第1の画像中の他のエリアに対して、ユーザ関心の確率がより高い1つまたは複数のエリアを定義する、請求項3に記載の方法。前記第1および第2の画像が共通視点から位置合せするように、前記第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成することであって、前記第1および第2の確率マップのうちの少なくとも1つは、前記ミラーバージョンに基づいて生成されることをさらに備える、請求項5に記載の方法。前記第1および第2の画像は時間同期される、請求項1に記載の方法。第1の画像シーケンスおよび第2の画像シーケンスのうちのすべての画像について前記方法を繰り返すことであって、前記第1の画像シーケンスは、前記第2の画像シーケンスと時間同期されることをさらに備える、請求項1に記載の方法。第1の画像シーケンスのうちのN個の画像ごとおよび第2の画像シーケンスのうちのN個の画像ごとに前記方法を繰り返すことであって、前記第1の画像シーケンスは、前記第2の画像シーケンスと時間同期され、Nは2以上の整数を表すことをさらに備える、請求項1に記載の方法。前記方法は、前記第1のカメラと、前記第2のカメラと、ディスプレイとを含むハンドヘルドデバイスによって実施される、請求項1に記載の方法。前記方法はリアルタイムに実施される、請求項1に記載の方法。前記第1のカメラを使って第1の画像シーケンスを取り込むことと、前記第2のカメラを使って第2のシーケンス画像を取り込むことであって、前記第2の画像シーケンスが前記ユーザの前記眼を含むことと、前記第2の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成することと、前記複数の確率マップに少なくとも部分的に基づいて前記AR情報を生成することと、前記第1の画像シーケンスとともに前記AR情報を表示することとをさらに備える、請求項1に記載の方法。前記第1のカメラが前記ハンドヘルドデバイスのユーザに対して外に向けられているとき、第1の画像を取り込むように配向された第1のカメラと、前記第1のカメラが前記ユーザに対して外に向けられているとき、前記ユーザの眼を含む第2の画像を取り込むように配向された第2のカメラと、前記第2の画像中の前記ユーザの前記眼に基づく確率マップを生成し、前記確率マップに少なくとも部分的に基づいて、前記第1の画像中の1つまたは複数のオブジェクトに関連付けられたAR情報を生成する拡張現実ARユニットと、前記第1の画像とともに前記AR情報を表示するディスプレイとを備えるハンドヘルドデバイス。前記確率マップは複数のタイルを含み、前記確率マップの1つまたは複数のタイルには、前記第2の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項13に記載のハンドヘルドデバイス。前記ARユニットは、前記第1の画像中の前記1つまたは複数のオブジェクトに基づく第1の確率マップを生成し、前記第2の画像中の前記ユーザの前記眼に基づく前記確率マップである第2の確率マップを生成し、前記第1および第2の確率マップに基づく複合確率マップを生成し、前記複合確率マップに基づいて前記AR情報を生成する、請求項13に記載のハンドヘルドデバイス。前記複合確率マップに基づいて前記AR情報を生成する際、前記ARユニットは、前記複合優先度マップに基づいて、前記第1の画像中の様々なオブジェクトに優先度を付け、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施する、請求項15に記載のハンドヘルドデバイス。前記第1の確率マップは、前記第1の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第1の画像中の1つまたは複数のエリアを定義し、前記第2の確率マップは、前記ユーザの眼に基づいて、前記第1の画像中の他のエリアに対して、ユーザ関心の確率がより高い1つまたは複数のエリアを定義する、請求項15に記載のハンドヘルドデバイス。前記ARユニットは、前記第1および第2の画像が共通視点から位置合せするように、前記第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成し、前記第1および第2の確率マップのうちの少なくとも1つは、前記ミラーバージョンに基づいて生成される、請求項17に記載のハンドヘルドデバイス。前記第1および第2の画像が時間同期される、請求項13に記載のハンドヘルドデバイス。前記ARユニットは、第1の画像シーケンスのうちのすべての画像について前記AR情報の生成を繰り返し、前記第1の画像シーケンスは、第2の画像シーケンスと時間同期される、請求項13に記載のハンドヘルドデバイス。前記ARユニットは、第1の画像シーケンスのうちのN個ごとに、画像についての前記AR情報の生成を繰り返し、前記第1の画像シーケンスは、第2の画像シーケンスと時間同期され、Nが2以上の整数を表す、請求項13に記載のハンドヘルドデバイス。前記AR情報の生成がリアルタイムに起こる、請求項13に記載のハンドヘルドデバイス。前記第1のカメラは第1の画像シーケンスを取り込み、前記第2のカメラは、前記ユーザの前記眼を含む第2のシーケンス画像を取り込み、前記ARユニットは、前記第2の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成し、前記複数の確率マップに少なくとも部分的に基づいて前記AR情報を生成し、前記ディスプレイは、前記第1の画像シーケンスとともに前記AR情報を表示する、請求項13に記載のハンドヘルドデバイス。前記ARユニットは、集積回路およびマイクロプロセッサのうちの少なくとも1つを備える、請求項13に記載のハンドヘルドデバイス。ハンドヘルドデバイスを用いて第1の画像を取り込むための手段と、前記ハンドヘルドデバイスを用いて第2の画像を取り込むための手段であって、前記第2の画像が前記ユーザの眼を含み、前記第1および第2の画像が実質的に同時に取り込まれる手段と、前記第2の画像中の前記ユーザの前記眼に基づく確率マップを生成するための手段と、前記確率マップに少なくとも部分的に基づいて、前記第1の画像中の1つまたは複数のオブジェクトに関連付けられた拡張現実AR情報を生成するための手段と、前記第1の画像とともに前記AR情報を表示するための手段とを備えるデバイス。前記確率マップが複数のタイルを含み、前記確率マップの1つまたは複数のタイルには、前記第2の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項25に記載のデバイス。前記第1の画像中の前記1つまたは複数のオブジェクトに基づく第1の確率マップを生成するための手段と、第2の確率マップを生成するための手段であって、前記第2の確率マップが、前記第2の画像中の前記ユーザの前記眼に基づく前記確率マップである手段と、前記第1および第2の確率マップに基づく複合確率マップを生成するための手段と、前記複合確率マップに基づいて前記AR情報を生成するための手段とをさらに備える、請求項25に記載のデバイス。前記複合確率マップに基づいて前記AR情報を生成するための前記手段は、前記複合優先度マップに基づいて、前記第1の画像中の様々なオブジェクトに優先度を付けるための手段と、前記様々なオブジェクトの優先度付けに基づいて、前記様々なオブジェクトのオブジェクト識別を実施するための手段とを含む、請求項27に記載のデバイス。前記第1の確率マップは、前記第1の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第1の画像中の1つまたは複数のエリアを定義し、前記第2の確率マップは、前記ユーザの眼に基づいて、前記第1の画像中の他のエリアに対して、ユーザ関心の確率がより高い1つまたは複数のエリアを定義する、請求項27に記載のデバイス。前記第1および第2の画像が共通視点から位置合せするように、前記第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成するための手段であって、前記第1および第2の確率マップのうちの少なくとも1つは、前記ミラーバージョンに基づいて生成される手段をさらに備える、請求項29に記載のデバイス。前記第1および第2の画像は時間同期される、請求項25に記載のデバイス。前記AR情報の生成は、第1の画像シーケンスおよび第2の画像シーケンスのうちのすべての画像について繰り返され、前記第1の画像シーケンスが前記第2の画像シーケンスと時間同期される、請求項25に記載のデバイス。前記AR情報の生成は、第1の画像シーケンスのうちのN個の画像ごとおよび第2の画像シーケンスのうちのN個の画像ごとに繰り返され、前記第1の画像シーケンスは前記第2の画像シーケンスと時間同期され、Nが2以上の整数を表す、請求項25に記載のデバイス。前記デバイスは、前記第1のカメラと、前記第2のカメラ、及びディスプレイを含むハンドヘルドデバイスである、請求項25に記載のデバイス。前記AR情報の生成はリアルタイムに起こる、請求項25に記載のデバイス。第1の画像シーケンスを取り込むための手段と、第2のシーケンス画像を取り込むための手段であって、前記第2の画像シーケンスが前記ユーザの前記眼を含む手段と、前記第2の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成するための手段と、前記複数の確率マップに少なくとも部分的に基づいて前記AR情報を生成するための手段と、前記第1の画像シーケンスとともに前記AR情報を表示するための手段とをさらに備える、請求項25に記載のデバイス。プロセッサによって実行されると、前記プロセッサに、ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第1のカメラから第1の画像を受信したとき、および前記ハンドヘルドデバイスの第2のカメラを使って、前記ユーザの眼を含む第2の画像を受信したとき、前記第2の画像中の前記ユーザの前記眼に基づく確率マップを生成させ、前記確率マップに少なくとも部分的に基づいて、前記第1の画像中の1つまたは複数のオブジェクトに関連付けられた拡張現実AR情報を生成させ、前記AR情報をディスプレイに出力させる命令を備えるコンピュータ可読記憶媒体。前記確率マップは複数のタイルを含み、前記確率マップの1つまたは複数のタイルには、前記第2の画像中の前記ユーザの前記眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられる、請求項37に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、前記第1の画像中の前記1つまたは複数のオブジェクトに基づく第1の確率マップを生成させ、前記第2の画像中の前記ユーザの前記眼に基づく前記確率マップである第2の確率マップを生成させ、前記第1および第2の確率マップに基づく複合確率マップを生成させ、前記複合確率マップに基づいて前記AR情報を生成させる、請求項37に記載のコンピュータ可読媒体。前記複合確率マップに基づいて前記AR情報を生成する際、前記命令は、前記プロセッサに、前記複合優先度マップに基づいて前記第1の画像中の様々なオブジェクトに優先度を付けさせ、前記様々なオブジェクトの優先度付けに基づいて前記様々なオブジェクトのオブジェクト識別を実施させる、請求項39に記載のコンピュータ可読媒体。前記第1の確率マップは、前記第1の画像中の他のエリアよりも関心を引くオブジェクトを含む確率が高い、前記第1の画像中の1つまたは複数のエリアを定義し、前記第2の確率マップは、前記ユーザの眼に基づいて、前記第1の画像中の他のエリアに対して、ユーザ関心の確率がより高い1つまたは複数のエリアを定義する、請求項39に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、前記第1および第2の画像が共通視点から位置合せするように、前記第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成させ、前記第1および第2の確率マップのうちの少なくとも1つは、前記ミラーバージョンに基づいて生成される、請求項41に記載のコンピュータ可読媒体。前記第1および第2の画像は時間同期される、請求項37に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、第1の画像シーケンスおよび第2の画像シーケンスのうちのすべての画像について前記AR情報を生成させ、前記第1の画像シーケンスは前記第2の画像シーケンスと時間同期される、請求項37に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、第1の画像シーケンスのうちのN個の画像ごとおよび第2の画像シーケンスのうちのN個の画像ごとに前記AR情報を生成させ、前記第1の画像シーケンスが前記第2の画像シーケンスと時間同期され、Nが2以上の整数を表す、請求項37に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、前記AR情報をリアルタイムに生成させる、請求項37に記載のコンピュータ可読媒体。前記命令は、前記プロセッサに、前記第1のカメラから第1の画像シーケンスを受信したとき、および前記ユーザの前記眼を含む第2のシーケンス画像を、前記第2のカメラから受信したとき、前記第2の画像シーケンス中の前記ユーザの前記眼に基づく複数の確率マップを生成させ、前記複数の確率マップに少なくとも部分的に基づいて前記AR情報を生成させ、前記第1の画像シーケンスとともにレンダリングするために、前記AR情報を前記ディスプレイに出力させる、請求項37に記載のコンピュータ可読媒体。ハンドヘルドデバイスのユーザに対して外に向けられた、前記ハンドヘルドデバイスの第1のカメラから第1の画像を受信したとき、および前記ハンドヘルドデバイスの第2のカメラを使って、前記ユーザの眼を含む第2の画像を受信したとき、前記第2の画像中の前記ユーザの前記眼に基づく確率マップを生成し、前記確率マップに少なくとも部分的に基づいて、前記第1の画像中の1つまたは複数のオブジェクトに関連付けられた拡張現実AR情報を生成し、前記AR情報をディスプレイに出力するように構成された装置。前記装置は、前記第1のカメラ、前記第2のカメラおよび前記ディスプレイに通信可能に結合されるプロセッサを備える、請求項48に記載の装置。前記装置はハンドヘルドデバイスのARユニットを備える、請求項48に記載の装置。本開示は、ビデオシーケンスの画像中に現れるオブジェクトに関する拡張現実AR情報の生成を向上させ、可能性としては加速させることができる技法について記載する。本開示の技法は、ビデオデバイスのユーザの1つまたは複数の眼の画像の取込みおよび使用を伴い得る。ビデオデバイスは、2つの異なるカメラを含むことができ、そうすることによって、シーンのビデオシーケンスが、同じシーンを見ているデバイスのユーザの眼のビデオシーケンスと同時に取り込まれ得る。第1のカメラは、ユーザから外の画像シーケンスたとえば、ビデオシーケンスを取り込むように配向され得る。第2のカメラは、ユーザから外の画像を第1のカメラが取り込むと、ユーザの眼の画像を取り込むように配向され得る。第2のカメラの1つまたは複数の画像によって取り込まれたユーザの眼は、確率マップを生成するのに使うことができ、確率マップは、AR処理のために、第1の画像中の特定のオブジェクトまたは第1の画像中の特定のエリアもしくはタイルに優先度を付けるのに使うことができる。このようにして、ユーザの注意たとえば、ユーザの眼の位置または向きによって定義されるは、AR処理を向上させ得る情報を与えることができ、たとえば、ユーザの眼に基づいて、関心を引くオブジェクトにAR処理を集中させる。本開示の技法によると、オブジェクト識別アルゴリズムは、第2のカメラによって取り込まれたユーザの眼に基づいて、第1のカメラの取込みビデオシーケンスのエリアに優先度を付けるように定義され得る。このようにして、ユーザの眼の向きは、取込みビデオシーケンス内の、関心を引くオブジェクトを素早く識別するための能力を向上させ得るフィードバックを与えることができる。第2のカメラによって取り込まれた画像中のユーザの眼に基づいて、優先度マップが生成され得る。場合によっては、第1のカメラによって取り込まれた画像および第2のカメラによって取り込まれた画像ユーザの眼を含むに基づいて、2つの優先度マップが生成され得る。この場合、2つの優先度マップは、組み合わせて複合優先度マップにすることができ、複合優先度マップは、第1のカメラの取込みビデオシーケンスのエリアに対するAR処理を優先させるのに使うことができる。図1は、本開示に一致する2つのカメラを含む例示的なビデオデバイス10を示す基本ブロック図である。ビデオデバイス10は、2つのカメラを含むセルラー電話などのハンドヘルドデバイスたとえば、ハンドセットで実装され得る。あるいは、ビデオデバイス10は、2つのカメラを含むとともにリアルタイムでユーザにAR情報を表示する、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、パーソナルゲームデバイス、デジタルカメラ、または別のハンドヘルドデバイスなど、別のタイプのハンドヘルドデバイスとして実装され得る。図1に示すように、ビデオデバイス10は、2つの異なるビデオカメラ第1のビデオカメラ12および第2のビデオカメラ14を含み、これらのカメラは、実質的に同じ時間に、2つの異なるビデオシーケンスを取り込むのに使われる。各取込みビデオシーケンスは、画像シーケンスビデオフレームシーケンスと呼ばれることがあるを備える。フレームという用語および画像という用語は概して、ビデオシーケンスのうちの画像フレームを指すように、本開示において交換可能に使われるが、本技法は、静止画像にも適用することができる。第1のビデオシーケンスの画像は、第2のビデオシーケンスの画像と時間同期することができ、このことは、第1のカメラ12が、第2のカメラ14によって取り込まれた画像と同時に連続画像を取り込み得ることを意味する。どの所与の瞬間にも、第1のカメラ12からの関連画像および第2のカメラ14からの関連画像があり得るが、第1のカメラ12および第2のカメラ14用に異なるフレームレートを適用することが可能な場合もあり、その場合、遅い方のフレームレートのカメラのフレームは、高い方のフレームレートのカメラのN個おきのフレームに対応してよく、Nは整数である。いずれの場合にも、第2のカメラ14によって取り込まれた画像内のユーザの眼は、第1のカメラ12によって取り込まれた画像に関して、ユーザにとって関心を引くエリアについての情報を、ビデオデバイス10に与えることができる。たとえば、第1のビデオカメラ12が概して、ユーザが目にする同じ眺めを取り込むように、外のビデオシーケンスを通常のやり方で取り込むために、第1のビデオカメラ12は概して、ユーザから外に向けられる。第2のビデオカメラ14は、第1のビデオカメラ12がユーザに対して外に配向されているとき、ユーザの眼を含むビデオシーケンスを取り込むように配向すればよい。したがって、第1のビデオカメラ12および第2のビデオカメラ14は、概して反対向きに配向され、たとえば、互いに対してほぼ180度に配向され得る。他の配向でも、第2のカメラがユーザの眼を取り込み、第1のカメラが、ユーザの眺めに関連付けられた画像を取り込む限り、うまく働き得る。異なるカメラの反対配向により、2つの異なるカメラからの画像が共通視点から位置合せするように、カメラのうちの1つからの画像をミラーリングすることが望ましい場合がある。ただし、ミラーリングは、必ずしも必要とされるわけではない。拡張現実ARユニット16は、第1のビデオカメラ12および第2のビデオカメラ14からの個々の画像またはシーケンスに関して動作し得る。第1のビデオカメラ12からの第1の画像および第2のビデオカメラ14からの第2の画像は、同じ瞬間に対応し得る。したがって、第2のビデオカメラ14によって取り込まれたユーザの眼は、第1のビデオカメラ12によって取り込まれた第1の画像の分析を助けるのに使われ得る。ユーザの眼は、注意の向きを示す位置たとえば、瞳孔の位置を定義し得る。場合によっては、複数のビデオフレームにわたる眼の動き、または眼の焦点ユーザの瞳孔の向き、および可能性としては大きさによって判断されるは、注意の向きを定義するのに使われ得る。ARユニット16は、プロセッサや個別論理構成要素などのハードウェアを備え得る。場合によっては、ARユニット16は、ハードウェアと組み合わせたソフトウェアを実装し得る。ARユニット16は、第1のビデオカメラ12によって取り込まれた第1のビデオシーケンスに関してAR処理を実施することができ、第1のビデオシーケンスに重ねられ得るAR情報を生成することができる。ARユニット16によって実施されるAR処理は、オブジェクト識別アルゴリズムまたはビデオシーケンス中のAR情報もしくはオブジェクトを作成もしくは識別するのに使われる他のAR処理技法を含み得る。AR情報は、グラフィカル情報、テキスト情報、ラベル、または第1のビデオシーケンスに取り込まれるオブジェクトを識別または修飾するどの情報も備え得る。ARユニット16によって実施されるAR処理は、第1のビデオシーケンス内のオブジェクトが、ライブラリに記憶され得るテンプレートオブジェクトと比較されるオブジェクトマッチング技法を備え得る。ARユニット16内にある、またはARユニット16にとってアクセス可能なメモリ図示せずは、テンプレートのライブラリと、そのようなテンプレートについての情報とを記憶することができる。第1のビデオシーケンス中のオブジェクトが特定のテンプレートオブジェクトと十分に一致するとARユニット16が判断した場合、テンプレートオブジェクトについての情報は、第1のビデオシーケンス中のオブジェクトに起因し得る。ARユニット16は、ARユニットによって記憶され、またはアクセス可能なテンプレートオブジェクトのうちの1つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を実施することができる。AR処理は、顔認識技法、バイオメトリック認識技法、または第1のビデオシーケンス中のオブジェクト1人もしくは複数の特定の人々であってよいを識別するための他の技法も含み得る。オブジェクト識別プロセスを助けるために、ARユニット16は、ユーザの眼の位置、向き、動きまたは焦点第2のビデオカメラ14によって取り込まれるによって与えられる情報を使用し得る。ユーザは、自分の注目を、関心を引くオブジェクトに向ける場合があるので、ユーザの眼の位置ならびに可能性としては動きおよび焦点は、オブジェクト識別のために、第1の画像のエリアに優先度を付ける際にARユニット16を助け得る。たとえば、第1のビデオシーケンス中の画像が多くのオブジェクトを含むが、ユーザの眼は、ビデオシーケンスの左上エリアへの注意を示す場合、この左上エリアに、オブジェクト識別技法で優先度が与えられ得る。限られた量の処理能力、限られた電力、および限られた時間を仮定すると、ユーザの眼第2のビデオカメラ14によって取り込まれたを利用することにより、第1のビデオカメラ12によって取り込まれた第1のビデオシーケンスに対するオブジェクト識別技法が向上され得る。第1のビデオカメラ12は、第1の画像または第1の画像シーケンスを取り込むことができ、第1のビデオカメラ12は、ビデオデバイス10のユーザに対して外に向けることができる。第2のビデオカメラ14は、第2の画像または第2の画像シーケンスを取り込むことができ、第2のビデオカメラは、第1のビデオカメラ12がユーザに対して外に向けられているとき、ユーザの眼を取り込むように配向することができる。ARユニット16は、第2の画像中のユーザの眼に基づく確率マップを生成することができ、確率マップに少なくとも部分的に基づいて、第1の画像中の1つまたは複数のオブジェクトに関連付けられたAR情報を生成することができる。出力デバイス18は次いで、第1の画像とともにAR情報を表示することができる。以下でより詳細に説明するように、確率マップは複数のタイルを含み得るが、本開示の技法は、タイルベースの手法に必ずしも限定されない。タイルベースの確率マップが使われる場合、確率マップの1つまたは複数のタイルには、第2の画像中のユーザの眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられ得る。場合によっては、ARユニット16は、第1の画像中の1つまたは複数のオブジェクトに基づく第1の確率マップを生成し、第2の確率マップを生成することができ、第2の確率マップは、第2の画像中のユーザの眼に基づく確率マップである。この場合、ARユニット16はまた、第1および第2の確率マップに基づく複合確率マップを生成し、複合確率マップに基づいてAR情報を生成することができる。複合確率マップに基づくAR情報の生成は、複合優先度マップに基づいて、第1の画像中の様々なオブジェクトに優先度を付けることと、様々なオブジェクトの優先度付けに基づいて、様々なオブジェクトのオブジェクト識別を実施することとを含み得る。第1の確率マップは、関心を引くオブジェクトを含む確率が第1の画像中の他のエリアよりも高い、第1の画像中の1つまたは複数のエリアを定義することができ、第2の確率マップは、ユーザの眼に基づいて、第1の画像中の他のエリアに相対して、ユーザ関心の確率がより高い、1つまたは複数のエリアを定義することができる。第1のビデオカメラ12および第2のビデオカメラ14は反対向きに配向され得るので、第1のビデオカメラ12および第2のビデオカメラ14の画像を、共通視点から位置合せするのが有用または望ましい場合がある。したがって、ARユニット16は、第1および第2の画像が共通視点から位置合せするように、第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成することもでき、第1および第2の確率マップのうちの少なくとも1つは、ミラーバージョンに基づいて生成される。ここでも、第1のビデオカメラ12および第2のビデオカメラ14によって取り込まれた第1および第2の画像は時間同期することができ、このことは、2つの異なる画像が、実質的に同様の瞬間に対応し得ることを意味する。ARユニット16は、AR処理を実質的にリアルタイムに実施することができ、AR処理は、第1の画像シーケンスおよび第2の画像シーケンスのうちのすべての画像について繰り返すことができ、第1の画像シーケンスは、第2の画像シーケンスと時間同期される。ただし、さらに節電し、処理を加速するために、場合によっては、ARユニット16は、第1の画像シーケンスのうちのN個の画像ごとおよび第2の画像シーケンスのうちのN個の画像ごとにAR処理を実施してよく、第1の画像シーケンスは、第2の画像シーケンスと時間同期され、Nは2以上の整数を表す。さらに、ARユニット16は、必ずしもAR処理を画像単位で実施する必要はない。他の例では、ARユニット16によるAR処理は、ある時間ウィンドウ、たとえば、スライディングウィンドウにわたる画像シーケンスに対して起こり得る。この場合、第1のビデオカメラ12は第1の画像シーケンスを取り込むことができ、第2のビデオカメラ14は第2の画像シーケンスを取り込むことができ、第2の画像シーケンスはユーザの眼を含む。ARユニット16は、第2の画像シーケンス中のユーザの眼に基づく複数の確率マップを生成することができ、複数の確率マップに少なくとも部分的に基づいてAR情報を生成することができる。出力デバイス18は次いで、第1の画像シーケンスとともにAR情報を表示することができる。図2は、本開示に一致する1つの例示的なビデオデバイス20を示すより詳細なブロック図である。この例では図1の例と同様、ビデオデバイス20は、第1のビデオカメラ21と、第2のビデオカメラ22と、ARユニット25と、ディスプレイ28AR情報を表示することができる出力デバイスであるとを含む。これらのユニットは、図1のビデオデバイス10に関して上で説明した第1のビデオカメラ12、第2のビデオカメラ14、ARユニット16および出力デバイス18と同様に動作し得る。図2の例では、ビデオデバイス20は、取込みビデオシーケンスに対してグラフィックス処理を実施するグラフィックスプロセッサ26、および取込みまたは受信ビデオ情報を符号化または復号し得るビデオコーデック27エンコーダデコーダなどの追加構成要素も含み得る。ビデオコーデック27は、たとえば、ITUH.264規格、またはMPEG規格のうちの1つなどのビデオコーディング規格に従って、ビデオシーケンスを符号化または復号することができる。ARユニット25、グラフィックスプロセッサ26およびビデオコーデック27は、1つまたは複数のプロセッサ29として実装され得る。これらの異なるユニット用に別個のプロセッサが使われてもよく、可能性としては同じプロセッサが、ユニット25、26および27のうちの2つ以上を実装してもよい。ビデオデバイス20は、ビデオシーケンスを含み得るデータを記憶するためのメモリ23も含み得る。メモリ23は、ビデオカメラ21および22によって取り込まれた未加工ビデオシーケンスを記憶することができ、この場合、ARユニット25は、本明細書に記載するAR処理を実施するために、メモリ23中の記憶されたビデオシーケンスにアクセスすることができる。さらに、メモリ23は、AR処理においてARユニット25によって使われるテンプレートオブジェクトのライブラリを記憶することもできる。メモリ23は、グラフィックスプロセッサ26によって出力された処理済みビデオシーケンスまたはビデオコーデック27によって出力された符号化済みビデオシーケンスを記憶することもできる。内部メモリは、ARユニット25、グラフィックスプロセッサ26またはビデオコーデック27の処理を加速するために、1つまたは複数のプロセッサ29に組み込んでもよい。場合によっては、メモリ23は、本開示の技法を実施するために、ARユニット25によって実行されるコンピュータ可読命令を記憶するのに使ってもよい。ビデオデバイス20は、アンテナ19を介した他のデバイスとのワイヤレス通信を円滑にする送受信機24も含み得る。送受信機24は、符号分割多元接続CDMAまたは他のワイヤレスプロトコルなど、広範なワイヤレスプロトコルのうちのいずれに従って動作してもよい。送受信機24は、CDMAに従ってデータを変調および復調するモデムを含み得る。送受信機24によって使われ得る他の例示的なワイヤレス技術は、広域移動体通信システムGSM登録商標:globalsystemformobilecommunicationsシステム、周波数分割多元接続FDMA、時分割多元接続TDMA、直交周波数分割多元接続OFDM、Bluetooth登録商標、IEEE802.11プロトコルのうちの1つもしくは複数、超広帯域通信プロトコル、または任意の他の通信技法、規格もしくはそれらの組合せを含み得る。システムバス17は、ビデオデバイス20の様々な構成要素またはユニットを通信可能に結合することができる。ただし、実施態様によっては、別個のバス、または他のワイヤードもしくはワイヤレスインターフェースが、様々な構成要素またはユニットの間で使われ得る。図2の例では、ビデオデバイス20は、ワイヤレスセルフォンやスマートフォンなどのワイヤレス通信デバイスに対応し得る。オーディオ処理構成要素など、多くの処理構成要素は、簡単のために図2に示していない。ここでも、本開示によると、ARユニット25は、第1のビデオカメラ21によって取り込まれた第1のビデオシーケンスに関してAR処理を実施することができ、第1のビデオシーケンスに重ねられ得るAR情報を生成することができる。ARユニット25によって実施されるAR処理は、第1のビデオシーケンス内のオブジェクトが、メモリ23のライブラリに記憶され得るテンプレートオブジェクトと比較されるオブジェクトマッチング技法を備え得る。ARユニット25は、テンプレートオブジェクトのうちの1つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を実施することができる。上述のように、AR処理は、顔認識技法、バイオメトリック認識技法、または第1のビデオシーケンス中のオブジェクト1人もしくは複数の特定の人々であってよいを識別するための他の技法も含み得る。生成されたAR情報は、ビデオデバイス20によって表示される、広範囲の異なるタイプの情報を補うのに使うことができる。AR情報は、オブジェクトについての広告材料、オブジェクトもしくは人々のラベル、向き、軍用識別子、緊急情報、設定もしくは場所についての予測もしくは推論情報、構造情報、観光情報、特定の協力者集団についての協力情報、オブジェクトもしくは人についての娯楽もしくは教育情報、オブジェクト内部の仮想x線ビュー、音楽ラベルもしくは識別子、身障者を助けるための情報、または生成され画像もしくはシーンの上に重ねられ得るどのタイプの情報も備え得る。別の例として、AR情報は、仮想現実情報であってもよい。オブジェクト識別プロセスを助けるために、ARユニット25は、第2のビデオカメラ22によって取り込まれるユーザの眼の位置または瞳孔の向きによって与えられた情報を使用することができる。第1のビデオカメラ21は、第1の画像または第1の画像シーケンスを取り込むことができ、第1のビデオカメラ21は、ビデオデバイス20のユーザに対して外に向けることができる。第2のビデオカメラ22は、第2の画像または第2の画像シーケンスを取り込むことができ、第2のビデオカメラは、第1のビデオカメラ21がユーザに対して外に向けられているとき、ユーザの眼を取り込むように配向することができる。ARユニット25は、第2の画像または第2の画像シーケンス中のユーザの眼に基づく確率マップを生成することができ、確率マップに少なくとも部分的に基づいて、第1の画像または第1の画像シーケンス中の1つまたは複数のオブジェクトに関連付けられたAR情報を生成することができる。ディスプレイ28は次いで、第1の画像または第1の画像シーケンスを有するAR情報を表示することができる。ディスプレイ28は、ビデオデバイス20のビューファインダー、またはユーザによってリアルタイムに視聴可能などのディスプレイも備え得るが、本開示の技法は、どの特定のディスプレイにも限定されず、像をリアルタイムに表示しない一部のアプリケーションに適用可能であり得る。いくつかの例では、確率マップは複数のタイルを含んでよく、確率マップの1つまたは複数のタイルには、第2の画像中のユーザの眼に少なくとも部分的に基づいて、他のタイルよりも高い優先度が与えられ得る。さらに、場合によっては、ARユニット25は、第1の画像中の1つまたは複数のオブジェクトに基づく第1の確率マップを生成し、第2の確率マップを生成することができ、第2の確率マップは、第2の画像中のユーザの眼に基づく確率マップである。ARユニット25が第1および第2の確率マップを生成すると、ARユニット25はまた、第1および第2の確率マップに基づく複合確率マップを生成し、複合確率マップに基づいてAR情報を生成することができる。複合確率マップに基づくAR情報の生成は、複合優先度マップに基づいて、第1の画像中の様々なオブジェクトに優先度を付けることと、様々なオブジェクトの優先度付けに基づいて、様々なオブジェクトのオブジェクト識別を実施することとを含み得る。オブジェクトの優先度付けを与えられると、そのようなオブジェクトは、優先度順で処理され得る。ただし、場合によっては、オブジェクトすべてを処理するのに処理能力が不十分な場合、優先度が比較的低いオブジェクトは、スキップされてよく、処理されなくてよい。第1の確率マップは、関心を引くオブジェクトを含む確率が第1の画像中の他のエリアよりも高い、第1の画像中の1つまたは複数のエリアを定義することができ、第2の確率マップは、ユーザの眼に基づいて、第1の画像中の他のエリアに相対して、ユーザ関心の確率がより高い、1つまたは複数のエリアを定義することができる。第1のビデオカメラ21および第2のビデオカメラ22は反対向きに配向され得るので、第1のビデオカメラ21および第2のビデオカメラ22の画像を、共通視点から位置合せするのが有用または望ましい場合がある。したがって、ARユニット25は、第1および第2の画像が共通視点から位置合せするように、第1または第2の画像のうちの少なくとも1つのミラーバージョンを生成することもでき、第1および第2の確率マップのうちの少なくとも1つは、ミラーバージョンに基づいて生成される。図3A~図3Dは、図1のビデオデバイス10の観点から説明される概念図であるが、以下の説明は、他のデバイスにも当てはまり得る。図3Aは、ユーザに対して外に配向される第1のカメラ12によって取り込まれたフレームすなわち、画像を示す概念図である。図3Aに示す第1のカメラ12からのフレームは、特定の時間すなわち、時間1に対応し得る。図3Bは、ユーザの眼を取り込むように配向される第2のカメラ14によって取り込まれたフレームのミラーバージョンを示す概念図である。図3Bに示すように第2のカメラ14によって取り込まれたフレームのミラーバージョンは、図3Aおよび図3Bに示す第1および第2のフレームが共通視点から位置合せするように、ARユニット16によって生成され得る。このミラーリングは、すべてのケースにおいて必要とされなくてもよいが、第1のカメラ12および第2のカメラ14は概して、反対向きを指すので、図3Bに示す第2のカメラ14によって取り込まれたフレームのミラーバージョンにより、確実に、ユーザの眼は、図3Aに示す第1のカメラ12によって取り込まれたフレームに対する焦点の向きを示す。画像の処理順序すなわち、ピクセルが処理される順序は、鏡像の生成を実際に必要とすることなく、画像の異なる配向を考慮するのに使うこともできる。ただし、第2の画像のミラーバージョンは、ユーザの眼がどのようにして、第1のカメラからの、外向きに取り込まれた画像中の関心を引くエリアまたは関心を引くオブジェクトを突き止めるのを助けるのかを概念化するのを助け得る。図3Cは、第1のカメラからのフレームのタイルバージョンを示す概念図である。タイリングのレベルは、異なる例において変わり得るので、図3Cは例にすぎない。この例では、タイル31はオブジェクト1を含む。タイル32はオブジェクト3を含む。タイル33および34は各々、オブジェクト2の一部分を含む。オブジェクト4は、オブジェクト4の一部がタイル35、36、37および38内に配置されるように、フレーム内に配置される。図3Dは、図3Bの画像中のユーザの眼に基づく、関心を引く見込みエリアを示すための陰影をもつ、第2のカメラ14からのフレームのミラーバージョンのタイル近似である。この例では、タイル301は、ユーザの眼が、タイル301に向かって位置決めされ、タイル301に向かって配向され、タイル301に向けられ、または場合によってはタイル301に焦点を合わせられる非常に高い見込みを示し得る陰影をもつ。タイル301に隣接するタイル302、303および304は、ユーザの眼が、タイル303、302または304に向かって位置決めされ、それらのタイルに向かって配向され、それらのタイルに向けられ、または場合によってはそれらのタイルに焦点を合わせられる中程度の見込みを示すための陰影も有し得る。残りのタイルは、いかなる陰影ももたず、このことは、残りのタイルは、ユーザの関心を引くオブジェクトを含む見込みがより低いことを示す。図4Aは、第1のカメラ12からの図3Cのタイルフレームに基づく例示的な第1の確率マップである。この場合、異なるエリアには、そのようなエリアが、AR処理にとって関心を引くオブジェクトとなるであろうオブジェクトを含む見込みに基づいて、異なる優先度が割り当てられ得る。この例では、エリア41および42は、各々がフルオブジェクトを含むタイルに関連付けられるので、これらのエリアには、高い優先度たとえば、1.0が与えられ得る。エリア43および44は、各々がオブジェクトの半分を含むタイルに関連付けられるので、これらのエリアには、中程度の優先度たとえば、0.5が与えられ得る。エリア45、46、47および48は、オブジェクトの半分未満を含むタイルに各々が関連付けられるので、これらのエリアには、より低い優先度たとえば、0.25が与えられてよく、残りのエリアは、どのオブジェクトまたは部分的オブジェクトも含まないと思われるので、残りのエリアには、最低優先度たとえば、0.1が与えられてよい。図4Bは、第2のカメラ14からの図3Cのフレームのミラーバージョンに基づく例示的な第2の確率マップである。本開示の一例によると、図4Bの確率マップは、ARユニット16によるAR処理にとって関心を引くエリアに優先度を付けるのに使うことができる。この場合、エリア401には高い優先度たとえば、1を与えてよく、エリア402、403および404にはより低い優先度たとえば、0.2を与えてよく、残りのエリアには最低優先度たとえば、0.1を与えてよい。図4Bの確率マップは、第2のカメラ14によって取り込まれた所与の時間のユーザの眼に基づくので、この確率マップは、第1のカメラ12によって取り込まれたその時間での外の画像中のオブジェクトのAR処理を優先させるのを助けることができる。たとえば、エリア401に対応する第1の画像のタイルを最初に処理してよく、その後に、エリア402、403および404に対応する第1の画像のタイルが続く。残りの処理能力および電力が利用可能な場合、確率マップの残りのエリアに関連付けられた残りのタイルを処理することができる。場合によっては、図4Aおよび図4Bの確率マップを組み合わせて、複合確率マップを定義することが望ましいことがある。このようにして、ユーザの眼についての情報を、関心を引くオブジェクトであり得るオブジェクトを有する見込みがあるエリアを識別する情報と組み合わせることができる。図5は、図4Aおよび図4Bの第1および第2の確率マップに基づく複合確率マップを示す。図5の複合確率マップを生成するためには、図4Aの第1の確率マップの確率に、図4Bの第2の確率マップの確率を乗算すればよい。その結果、異なるタイルについての一定の範囲の優先度値が生じ、これらの値は、ユーザの眼についての情報を、オブジェクトを有する見込みがあるエリアを識別する情報と組み合わせたものである。図5の複合確率マップにおいて、エリア51は1という優先度をもつが、これは、この例において可能な最も高い優先度である。エリア55は、次に高い優先度である0.1という優先度をもつ。エリア56および57は0.05の優先度をもち、エリア58、59、61および62は0.025の優先度をもつ。エリア52、53および54は、0.02の優先度をもつ。残りのエリアは、0.01という確率を有し得る。第1のカメラによって取り込まれた画像の対応するタイルたとえば、図3Cに示すタイル画像は、ARユニット16によって、複合確率マップによって割り当てられた優先度順で処理され得る。この場合、エリア51の確率が、図5の複合確率マップ中で最も高い値すなわち、1をもつので、タイル31が最初に処理される。タイル32が次に、エリア55における優先度値0.1に基づいて、ARユニット16によって処理される。次に、タイル33および34が、エリア56および57における優先度値0.05に基づいて、ARユニット16によって処理される。次に、タイル35、36、37および38が、エリア58、59、61および62における優先度値0.025に基づいて、ARユニット16によって処理される。次に、図3Cのタイル31に隣接するタイルが、エリア52、53および54における優先度値0.02に基づいて、ARユニット16によって処理される。最後に、確率マップの残りのエリアに関連付けられたどの残りのタイルも処理され得る。このようにして、第2の画像中で定義され、取り込まれたユーザの眼と、第1の画像によって定義されたオブジェクトが存在する見込みエリアの複合要因に基づいて、様々なエリアに優先度が与えられる。図6は、各オブジェクトの下にAR情報が付加された画像を示す概念図である。たとえば、異なるオブジェクトが識別されるように、AR情報63および64が、第1のカメラからのオリジナルフレームに重ねられ得る。AR情報63および64は、単純なテキストラベルとして示してあるが、AR情報は、アイコンや画像などのグラフィカル情報、テキスト情報、ラベル、または第1の画像もしくは第1の画像シーケンスに取り込まれたオブジェクトを識別もしくは修飾するどの情報も含む他の形態をとり得る。一例として、人の名前、または建物の名称もしくは住所が、AR情報として生成され、それぞれのオブジェクトに重ねられ得る。どのタイプのオブジェクトについてもAR情報が生成され得るが、どの所与の画像についてもAR情報の量を制限することが望ましい場合がある。本開示の優先度付け技法は、実施され得るAR処理の量を処理能力が制限しない場合であっても、AR情報を制限するのに使うことができる。本開示の技法に一致して、AR情報63の生成は、AR情報64の生成よりも見込みが高くなり得る。このことは、図5の複合確率マップから明らかなはずであり、このマップでは、エリア51および55が、エリア56、57、58、59、61および62よりも高い優先度値をもつ。優先度が高い方のエリアが、優先度が低い方のエリアの前に処理され、それゆえ、限られた量の電力、時間または処理能力を仮定すると、確率マップの、優先度が高い方のエリアに対応する画像の対応するエリアは、AR情報を重ねられる見込みがより高くなり得る。この例では、オブジェクト1の周りのエリアは、図4Aの第1の確率マップ中で定義されるそこにあるオブジェクトの複合確率、および図4Bの第2の確率マップ中で定義されるユーザの眼に基づいて割り当てられた高い確率により、最も高い優先度をもつ。図7は、本開示に一致する、AR情報を生成および表示するための例示的な技法を示す流れ図である。図7に示すように、第1のビデオカメラ12が、オブジェクトを含む第1の画像を取り込み71、第2のビデオカメラ14が、ユーザの眼を含む第2の画像を取り込む72。ARユニット16は、第1および第2の画像を受信し、第2の画像中のユーザの眼に基づく、第1の画像中のオブジェクトについての確率マップを生成する73。ARユニット16は次いで、確率マップに基づいてAR処理を実施して、第1の画像中のオブジェクトのうちの1つまたは複数についてのAR情報を生成する74。AR処理は、たとえば、ARユニット16によって記憶され、またはアクセス可能なテンプレートオブジェクトのうちの1つと所与のオブジェクトが一致するかどうか判断するために、オブジェクト比較、オブジェクト形状比較、色もしくは輝度比較、または他のタイプの比較を含み得る。AR処理は、顔認識技法、バイオメトリック認識技法、または第1の画像中のオブジェクト1人もしくは複数の特定の人々であってよいを識別するための他の技法も含み得る。ARユニット16がAR情報を生成すると、出力デバイス18は、たとえば、第1の画像中の1つまたは複数のオブジェクトの上にAR情報を重ねることによって、第1の画像とともにAR情報を表示することができる。図8は、本開示に一致する、AR情報を生成および表示するための別の例示的な技法を示す流れ図である。図8に示すように、第1のビデオカメラ12が、オブジェクトを含む第1の画像シーケンスを取り込む81。ARユニット16は、第1のビデオカメラ12から第1の画像シーケンスを受信し、第1の画像シーケンスのうちの1つまたは複数の画像中のオブジェクトに基づく第1の確率マップを生成する82。実質的に同時に、第2のビデオカメラ14は、ユーザの眼を含む第2の画像シーケンスを取り込む83。ARユニット16はまた、第2のビデオカメラ14から第2の画像シーケンスを受信し、第2の画像シーケンスのうちの1つまたは複数の画像中のユーザの眼に基づく第2の確率マップを生成する84。上述のように、第1および第2のカメラ用に異なるサンプリングレートを使うことが可能であってよく、その場合、本開示のAR処理は、外の画像と同じ瞬間に、ユーザの眼の対応する画像をもつ外の画像に対して起こり得る。ARユニット16は、たとえば、第1の確率マップの確率を、第2の確率マップの確率と組み合わせて、第1および第2の確率マップに基づく複合確率マップを生成する85。たとえば、複合確率マップの様々な確率を生成するために、第1の確率マップの確率に、第2の確率マップの確率を乗算すればよい。ただし、場合によっては、第1または第2の確率マップのいずれかに、複合確率マップ中でより重みを与えてもよい。ARユニット16は次に、複合確率マップに基づいて、第1の画像シーケンス中のオブジェクトに優先度を付け86、オブジェクトの優先度付けに従って、様々なオブジェクトのAR処理を実施する87。このことは、より低い優先度を割り当てられている他のオブジェクトまたはより低い優先度をもつ、確率マップのエリア内に置かれた他のオブジェクトをARユニット16が処理する前に、より高い優先度を与えられているオブジェクトまたはより高い優先度をもつ、確率マップのエリア内に置かれたオブジェクトを、ARユニット16が処理することを意味する。ARユニット16は、オブジェクト処理の順序を定義するための優先度付け方式に概ね従って、様々なオブジェクトについてのAR情報を生成する88。ARユニット16がAR情報を生成すると、出力デバイス18は、たとえば、第1の画像中の1つまたは複数のオブジェクトの上にAR情報を重ねることによって、第1の画像とともにAR情報を表示することができる89。本開示の技法は、モバイルフォンなどのワイヤレス通信デバイスハンドセット、集積回路ICまたはICのセットすなわち、チップセットを含む、多種多様なデバイスまたは装置において実装され得る。機能的態様を強調するために与えられた任意の構成要素、モジュールまたはユニットについて説明したが、異なるハードウェアユニットによる実現を必ずしも必要とするわけではない。本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せでも実装され得る。モジュール、ユニット、または構成要素として説明する特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装できる。場合によっては、様々な特徴は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装できる。ソフトウェアで実装する場合、これらの技法は、プロセッサで実行されると、上記で説明した方法の1つまたは複数を実行する命令を備えるコンピュータ可読媒体によって、少なくとも部分的に実現され得る。コンピュータ可読媒体は、有形コンピュータ可読記憶媒体を備え得、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読記憶媒体は、同期型ダイナミックランダムアクセスメモリSDRAMなどのランダムアクセスメモリRAM、読取り専用メモリROM、不揮発性ランダムアクセスメモリNVRAM、電気消去可能プログラマブル読取り専用メモリEEPROM、フラッシュメモリ、磁気または光学データ記憶媒体などを備え得る。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または伝達し、コンピュータによってアクセス、読取り、および/または実行できるコンピュータ可読通信媒体によって、少なくとも部分的に実現できる。命令は、1つもしくは複数のデジタル信号プロセッサDSPなどの1つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路ASIC、フィールドプログラマブルロジックアレイFPGA、または他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。したがって、本明細書で使用するプロセッサという用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオコーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。本開示はまた、本開示で説明した技法の1つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供できる。そのような集積回路デバイスは様々な適用例において使用でき、適用例のいくつかは携帯電話ハンドセットなどのワイヤレス通信デバイスでの使用を含む。様々な例について本開示で説明した。これらおよび他の例は以下の特許請求の範囲内に入る。