(57)【要約】  いくつかの実施形態は、情報提供において使用する方法を提供する。これらの方法は、ディスプレイ装置の１又はそれ以上のカメラを用いて、第１の方向に沿ってビデオを取り込むステップと、ビデオ内に取り込まれた関心物体を検出するステップと、関心物体に対応する追加情報を取得するステップと、第１の方向とは反対を向いたディスプレイ装置のディスプレイに対するユーザの向きを判断するステップと、この判断されたユーザの向きに基づいて、ビデオ画像の各々のうちの表示する部分を決定し、このビデオ画像の部分が、ユーザにとって、ユーザと関心物体の間にディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするステップと、このビデオ画像の部分を取り込む際にこれらを表示すると同時に、関心物体と協働して追加情報を表示するステップとを含む。【選択図】図１
2015522834.tif 000002
【特許請求の範囲】
【請求項１】
情報の提供方法であって、
ディスプレイ装置の１又はそれ以上のカメラを用いて、一連のビデオ画像を含むビデオを第１の方向に沿って取り込むステップと、
前記ビデオ内に取り込まれた第１の関心物体を検出するステップと、
前記第１の関心物体に対応する追加情報を取得するステップと、
前記第１の方向とは反対を向いた前記ディスプレイ装置のディスプレイに対するユーザの向きを判断するステップと、
前記判断された前記ディスプレイに対する前記ユーザの向きに基づいて、前記ビデオ画像の各々のうちの前記ディスプレイ上に表示する部分を決定し、前記ビデオ画像の前記部分が、表示時に、前記ユーザにとって、前記ユーザと前記第１の関心物体との間に前記ディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするステップと、
前記ビデオ画像の前記部分を取り込む際に、前記ディスプレイ装置を通じて該ビデオ画像の該部分を表示すると同時に、前記第１の関心物体と協働して前記追加情報を表示するステップと、
を含むことを特徴とする方法。
【請求項２】
前記ビデオ画像の前記部分を表示する前記ステップは、前記ディスプレイを前記ユーザの視野から取り除いた場合に前記ユーザに見えていると思われるものと一致する深度を有するように前記ユーザに映るよう、前記ビデオ画像の前記部分を３次元で表示するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記追加情報を表示する前記ステップは、前記表示された追加情報が前記第１の関心物体についての前記ユーザの視点を妨げないように前記追加情報を表示するステップを含む、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の関心物体に対応する前記ユーザからの相互作用を検出するステップと、
前記検出された相互作用に基づいて、前記第１の関心物体に通信すべき制御情報を識別するステップと、
前記第１の関心物体に前記制御情報を通信するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記相互作用を検出する前記ステップは、前記表示された追加情報との相互作用を検出するステップを含む、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記ビデオを前記第１の方向に沿って取り込む前記ステップは、前記ディスプレイ装置を見ている時のユーザの視野の方向に一致する前記第１の方向に沿って前記ビデオを取り込むステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の関心物体に加え、前記ビデオ内に取り込まれた前記第２の関心物体を検出するステップと、
前記第２の関心物体に対応する追加情報を取得するステップと、
をさらに含み、前記ビデオ画像の前記部分を表示する前記ステップは、前記ビデオ画像の前記部分を取り込む際に、該ビデオ画像の該部分を表示すると同時に、前記第１の関心物体と協働して前記第１の関心物体に対応する前記追加情報を表示し、前記第２の関心物体と協働して前記第２の関心物体に対応する前記追加情報を表示するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
関心物体に対応する情報を提供するシステムであって、
一連のビデオ画像を含むビデオを第１の方向に沿って取り込むための手段と、
前記ビデオ内に取り込まれた第１の関心物体を検出するための手段と、
前記第１の関心物体に対応する追加情報を取得するための手段と、
前記第１の方向とは反対を向いた前記ディスプレイ装置のディスプレイに対するユーザの向きを判断するための手段と、
前記判断された前記ディスプレイに対する前記ユーザの向きに基づいて、前記ビデオ画像の各々のうちの前記ディスプレイ上に表示する部分を決定し、前記ビデオ画像の前記部分が、表示時に、前記ユーザにとって、前記ユーザと前記第１の関心物体との間に前記ディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするための手段と、
前記ビデオ画像の前記部分を取り込む際に、該ビデオ画像の該部分を表示すると同時に、前記第１の関心物体と協働して前記追加情報を表示するための手段と、
を備えることを特徴とするシステム。
【請求項９】
前記ビデオ画像の前記部分を表示するための前記手段は、前記ディスプレイを前記ユーザの視野から取り除いた場合に前記ユーザに見えていると思われるものと一致する深度を有するように前記ユーザに映るよう、前記ビデオ画像の前記部分を３次元で表示するための手段を含む、
ことを特徴とする請求項８に記載のシステム。
【請求項１０】
前記追加情報を表示するための前記手段は、前記表示された追加情報が前記第１の関心物体についての前記ユーザの視点を妨げないように前記追加情報を表示するための手段を含む、
ことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記第１の関心物体に対応する前記ユーザからの相互作用を検出するための手段と、
前記検出された相互作用に基づいて、前記第１の関心物体に通信すべき制御情報を識別するための手段と、
前記第１の関心物体に前記制御情報を通信するための手段と、
をさらに備えることを特徴とする請求項８に記載のシステム。
【請求項１２】
前記相互作用を検出するための前記手段は、前記表示された追加情報との相互作用を検出するための手段を含む、
ことを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記ビデオを前記第１の方向に沿って取り込むための前記手段は、前記ディスプレイ装置を見ている時のユーザの視野の方向に一致する前記第１の方向に沿って前記ビデオを取り込むための手段を含む、
ことを特徴とする請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に情報を提供することに関し、具体的には、関心物体に関する情報を提供することに関する。
【背景技術】
【０００２】
消費者電子装置の使用は増え続けている。幅広い機能を提供するポータブル消費者電子装置を持ち運ぶユーザがますます増えている。これらの装置に対するユーザの依存度は増している。さらに、ユーザは、これらの電子装置からのさらなる用途を期待し続けている。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の複数の実施形態は、追加情報の提供方法を提供することにより、上記の及びその他のニーズに有利に対応する。いくつかの実施形態では、情報の提供方法が、ディスプレイ装置の１又はそれ以上のカメラを用いて、一連のビデオ画像を含むビデオを第１の方向に沿って取り込むステップと、ビデオ内に取り込まれた第１の関心物体を検出するステップと、第１の関心物体に対応する追加情報を取得するステップと、第１の方向とは反対を向いたディスプレイ装置のディスプレイに対するユーザの向きを判断するステップと、この判断されたディスプレイに対するユーザの向きに基づいて、ビデオ画像の各々のうちのディスプレイ上に表示する部分を決定し、ビデオ画像の部分が、表示時にユーザにとって、ユーザと第１の関心物体との間にディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするステップと、ビデオ画像の部分を取り込む際に、ディスプレイ装置を通じてビデオ画像の部分を表示すると同時に、第１の関心物体と協働して追加情報を表示するステップとを含む。
【０００４】
他の実施形態は、関心物体に対応する情報を提供するシステムを提供する。これらの実施形態のいくつかは、一連のビデオ画像を含むビデオを第１の方向に沿って取り込むための手段と、ビデオ内に取り込まれた第１の関心物体を検出するための手段と、第１の関心物体に対応する追加情報を取得するための手段と、第１の方向とは反対を向いたディスプレイ装置のディスプレイに対するユーザの向きを判断するための手段と、この判断されたディスプレイに対するユーザの向きに基づいて、ビデオ画像の各々のうちのディスプレイ上に表示する部分を決定し、ビデオ画像の部分が、表示時に、ユーザにとって、ユーザと第１の関心物体との間にディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするための手段と、ビデオ画像の部分を取り込む際に、ビデオ画像の部分を表示すると同時に、第１の関心物体と協働して追加情報を表示するための手段とを備える。
【０００５】
以下の図面と共に示す以下の具体的な説明から、本発明の複数の実施形態の上記の及びその他の態様、特徴及び利点がより明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】いくつかの実施形態による、関心物体に対応する追加情報を提供及び／又は表示する処理の簡略フロー図である。
【図２Ａ】いくつかの実施形態による、関心物体に近接して位置付けられたディスプレイ装置の簡略斜視図である。
【図２Ｂ】いくつかの実施形態による、関心物体に対してユーザの視点から位置付けられたディスプレイ装置の簡略斜視図である。
【図３Ａ】いくつかの実施形態による、ディスプレイ装置のディスプレイを示すように向けられたディスプレイ装置の簡略平面図である。
【図３Ｂ】ディスプレイ装置のケーシング又は背面を示すように向けられた、図３Ａのディスプレイ装置の簡略平面図である。
【図４Ａ】いくつかの実施形態による、ディスプレイ装置の前方カメラによって取り込まれた画像の一部又はサブセットの選択の変化をさらに示す、ディスプレイ装置の簡略俯瞰図である。
【図４Ｂ】いくつかの実施形態による、ディスプレイ装置の前方カメラによって取り込まれた画像の一部又はサブセットの選択の変化をさらに示す、ディスプレイ装置の簡略側面図である。
【図５Ａ】いくつかの実施形態による、ユーザの距離配向に基づく画像の一部の選択の変化を示す、ディスプレイ装置の簡略図である。
【図５Ｂ】いくつかの実施形態による、ユーザの距離配向に基づく画像の一部の選択の変化を示す、ディスプレイ装置の簡略図である。
【図５Ｃ】いくつかの実施形態による、ユーザの距離配向に基づく画像の一部の選択の変化を示す、ディスプレイ装置の簡略図である。
【図５Ｄ】いくつかの実施形態による、ユーザの距離配向に基づく画像の一部の選択の変化を示す、ディスプレイ装置の簡略図である。
【図６】いくつかの実施形態による、ディスプレイ装置の背面の簡略斜視図である。
【図７】いくつかの実施形態による、ディスプレイ装置の前方カメラの一方に対応する、判断されたユーザの向きに基づいて選択された視野の一部又はサブセットの簡略表現である。
【図８】いくつかの実施形態による、ユーザの向きを判断する際に使用するパラメータの簡略的図形表現である。
【図９】いくつかの実施形態による、ユーザの向きを判断する際に使用するパラメータの簡略的図形表現である。
【図１０】いくつかの実施形態による、関心物体に関連する追加情報を提供する処理の簡略フロー図である。
【図１１】いくつかの実施形態による、関心物体を認識して関心物体との相互作用を行う処理の簡略フロー図である。
【図１２】いくつかの実施形態による、関心物体に対応する追加情報をディスプレイ装置上に表示する処理の簡略フロー図である。
【図１３】いくつかの実施形態による、ディスプレイ装置に対するユーザの向きを検出する処理の簡略フロー図である。
【図１４】いくつかの実施形態による、ユーザがディスプレイ装置と相互作用できるようにし、及び／又は識別された関心物体に関連して追加情報を表示する処理の簡略フロー図である。
【図１５】いくつかの実施形態による、認識された関心物体に関連する追加情報をユーザに提供する際に、方法、技術、装置、装置、システム、サーバ及びソースなどを実装するために使用するシステムを示す図である。
【発明を実施するための形態】
【０００７】
図面の複数の図を通じ、対応する参照文字は対応する構成要素を示す。当業者であれば、図の要素は単純さ及び明確さを目的として示したものであり、必ずしも縮尺通りではないと理解するであろう。例えば、本発明の様々な実施形態をより良く理解できるように、図の要素の中には、他の要素に対して寸法を誇張しているものもある。また、本発明のこれらの様々な実施形態をより分かり易く示すために、商業的に実現可能な実施形態において有用又は必要な、一般的なものではあるが良く理解されている要素については示していないことが多い。
【０００８】
以下の説明は、限定的な意味でとらえるべきではなく、例示的な実施形態の一般原則を説明するために行うものにすぎない。本発明の範囲は、特許請求の範囲を参照して判断すべきである。
【０００９】
本明細書を通じて、「１つの実施形態」、「ある実施形態」、「いくつかの実施形態」、「いくつかの実装」、又は同様の表現に対する言及は、これらの実施形態に関連して説明する特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて様々な箇所で出現する「１つの実施形態では」、「ある実施形態では」、「いくつかの実施形態では」という表現、及び同様の表現は、必ずしも全てが同じ実施形態について言及しているわけではない。
【００１０】
さらに、１又はそれ以上の実施形態では、本発明の説明する特徴、構造又は特性をあらゆる好適な形で組み合わせることもできる。以下の説明では、本発明の実施形態を完全に理解できるように、プログラム、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップの例などの数多くの特定の詳細を記載する。しかしながら、当業者であれば、これらの特定の詳細の１つ又はそれ以上を伴わずに、或いはその他の方法、構成要素及び材料などを用いて本発明を実施することもできると認識するであろう。その他の場合、本発明の態様を曖昧にしないように、周知の構造、材料又は動作については図示又は詳細な説明を行わない。
【００１１】
本実施形態は、関心物体又は装置に関する追加情報を提供するものである。ユーザが、ディスプレイ装置に組み込まれた１又はそれ以上のカメラを通じて取り込んだ関心物体及び周囲環境の表示画像を見ている時に、関心物体をディスプレイ装置上に表示することができる。従って、少なくともいくつかの例では、ディスプレイ装置が移動した場合、ディスプレイ装置上に提示される表示視野は、ユーザが見ていると思われる視野に対応する。ユーザには、この視野によってディスプレイ装置を「通じて」見ているように見える一方で、ディスプレイ装置は、関心物体又は関心装置に対応する追加情報をさらに表示するように構成される。
【００１２】
図１に、いくつかの実施形態による、関心物体に対応する追加情報を提供及び／又は表示する処理１１０の簡略フロー図を示す。ステップ１１２において、第１の方向に沿って向けられた、通常はユーザから離れた１又はそれ以上のカメラにより、ビデオ又は画像シーケンスを取り込む。ステップ１１４において、ビデオ内の１又はそれ以上の関心物体を検出し、選択し、及び／又は識別する。
【００１３】
ステップ１１６において、この１又は複数の関心物体に対応する追加情報を取得する。ステップ１１８において、ディスプレイ装置のディスプレイに対するユーザの向きを判定する。通常、ユーザはディスプレイを見ており、従って一般にディスプレイは、第１の方向とは逆、すなわち１８０度の方向を向いている。ステップ１２０において、このディスプレイに対するユーザの向きに基づいて、ビデオの画像の各々のディスプレイ上に表示すべき部分又はサブセットを決定する。いくつかの実施形態では、このビデオ画像部分が、表示時に、ユーザにとって、ユーザと関心物体の間にディスプレイ装置が存在しないかのごとく見えるように構成されるよう決定される。ステップ１２２において、このビデオ画像部分を取り込む際にこれらをリアルタイムで表示し、関心物体と連動して追加情報を表示する。通常、追加情報は、取り込んだ画像部分を表示するのと同時に表示される。ビデオ画像部分が複数の関心物体を含む場合、いくつかの例では、空間を利用できる時には関心物体の各々と協働して追加情報を表示することができる。空間を利用できない場合には、１又はそれ以上の関心物体を優先順位付けし、間隔及び優先順位付けに従って追加情報を表示すること、ディスプレイ装置を（例えば、横向きから縦向きに）強制的に再配向すること、及び／又はその他のこのような対策などの、１又はそれ以上の他の対策を取ることができる。
【００１４】
通常、画像は、再生装置に組み込まれた１又はそれ以上のカメラによって取り込まれる。さらに、いくつかの実施形態では、再生装置がビデオ及び／又は画像を３次元で再生できるように２台のカメラを利用する。例えば、ディスプレイ装置は、ビデオの３Ｄ再生を行う際に、２台のカメラによって取り込まれた２つの異なるビデオを利用できる３次元（３Ｄ）ディスプレイを含むことができる。いくつかの例では、ディスプレイ装置上のカメラの位置を一定距離だけ離れるようにする。この距離は、実質的にいずれの距離であってもよく、いくつかの実施形態では、平均的な大人の両眼間の平均距離にほぼ等しい。通常、１又はそれ以上のカメラは、再生装置のハウジング内に位置する。１又はそれ以上のカメラの視野は、ユーザがディスプレイを見ている時のユーザの視野に対して大まかに平行になるように、ディスプレイ装置のディスプレイから大まかに１８０度離れた第１の方向に沿う。
【００１５】
カメラの視野は、ディスプレイ装置に対する様々なユーザの向きに対応するように比較的広いものとすることができる。また、この視野は、ディスプレイ装置のサイズ、ディスプレイ装置がユーザの視野のどれほどを占める可能性があるか、及びその他のこのような関連因子に基づいて構成することもできる。いくつかの実施形態では、高解像度ビデオ及び／又は画像を提供するために、カメラの１又はそれ以上を高精細度カメラとすることができる。
【００１６】
図２Ａに、この実施形態ではテレビである関心物体又は関心装置２１４に近接して位置付けられたディスプレイ装置２１２の簡略斜視図を示す。図２Ｂには、関心物体２１４に対してユーザの視点から位置付けられたディスプレイ装置２１２の簡略斜視図を示す。従って、ディスプレイ装置２１２はビデオを取り込む。ディスプレイ装置は、ユーザ２１６の視点に基づいて、表示（又は再生）するビデオのフレームの一部を識別し、これらの画像部分を表示して、まるでユーザがディスプレイ装置２１２を通じて見ているかのように、及び／又はユーザと関心物体の間にディスプレイ装置が存在しないかのようにユーザ２１６に思わせる。さらに、いくつかの実施形態では、ビデオ画像の一部を表示する際に、ビデオ画像の表示部分が、ディスプレイ装置２１２をユーザの視野から取り除いた場合にユーザに見えていると思われるものに一致する深度を有するようにユーザに映るよう、これらのビデオ画像の一部を３次元で表示する。図２Ｂの例では、ディスプレイ装置２１２が、関心物体の一部２２０を周囲環境の一部と共に表示する。
【００１７】
上述したように、ディスプレイ装置２１２は、関心物体２１４に関連する追加情報２２２をさらに表示することができる。例えば、ユーザ２１６がＴＶ２１４を見ている場合、追加情報２２２は、視聴中の番組に関する情報、視聴可能な後からの又は代わりのテレビ番組、テレビ番組に関する情報へのリンク、ＴＶ２１４に関する情報（ユーザガイド情報及び／又はユーザガイド情報へのアクセスなど）、及び／又は関心物体２１４に関連するその他の情報を含むことができる。同様に、追加情報２２２は、音量を上げること、別のチャンネル又は番組を選択すること、番組を録画すること、電子番組ガイドを見てナビゲートすること、及び／又はその他のこのような情報などの、ユーザ２１６が関心物体を制御できるようにする制御手段を含むこともできる。さらに、追加情報２２２は、関心物体２１４を妨げないように表示することができる。例えば、ディスプレイ装置２１２は、画像内の関心物体２１４の表示部分の上方に追加情報２２２を表示する（例えば、ＴＶ及び／又はＴＶのディスプレイ上のビデオを覆い隠さずに、表示されたＴＶの上方に表示する）。いくつかの実装では、ディスプレイ装置２１２が、ディスプレイ装置２１２の視野角に関わらず、表示される追加情報２２２を関心物体２１４に対して同じ位置又は向きを保つように表示することができる。通常、関心物体を別の視点から見ている関心物体２１４の他のユーザ又は視聴者はディスプレイ装置２１２を見ることができず、従って追加情報を見ることはない。
【００１８】
ディスプレイ装置２１２は、画像シーケンス及び／又はビデオを所与の方向で取り込み、シーケンスの各画像又はビデオの少なくとも一部をユーザの視点に対して再生できる実質的にいかなるディスプレイ装置であってもよい。例えば、ディスプレイ装置２１２は、以下に限定されるわけではないが、スマートフォン、タブレットコンピュータ装置、メディア再生装置、Ｔａｂｌｅｔ  Ｓ、ｉＰａｄ、ｉＰｈｏｎｅ、ｉＴｏｕｃｈ、カメラ、ビデオカメラ、その他のこのようなポータブル及び／又はハンドヘルド装置、又はその他のこのような関連装置とすることができる。従って、このディスプレイ装置は、場合によっては本明細書で説明するような追加情報を提供しない標準装置として動作することもでき、また場合によっては追加情報を提供するように動作することもできる。さらに他の実施形態では、ディスプレイ装置を、もっぱら本明細書で説明するようにのみ動作して追加情報を提供するように構成することができる。いくつかの実施形態では、ディスプレイ装置が、Ｓｔｅｒｅｏ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（Ｓ．Ａ．Ｒ）ディスプレイ装置２１２（例えば、タブレット）を含む。ＳＡＲ装置は、立体視野をユーザの頭及び／又は眼の位置に調整するために使用できる（ディスプレイ側カメラ３２０〜３２１などの）頭部追跡カメラを提供することができる。
【００１９】
関心物体２１４は、ディスプレイ装置２１２（又はディスプレイ装置に提供される識別情報）、或いは別の装置又はサービスが識別でき、ディスプレイ装置が関連情報を表示できる実質的にあらゆるものとすることができる。例えば、関心装置は、以下に限定されるわけではないが、（ＴＶ、セットトップボックス、Ｂｌｕ−ｒａｙプレーヤ、ＤＶＤプレーヤ、増幅器、ラジオ、タブレットコンピュータ装置、Ｔａｂｌｅｔ  Ｓ、ｉＰａｄ、ｉＴｏｕｃｈ、及びその他のこのような装置などの）マルチメディア再生装置、電気製品、企業及び／又は企業看板、関心地点、又はその他のこのような物体を含むことができる。いくつかの例では、ディスプレイ装置が、関心物体を識別する際に、地理的及び／又は全地球測位システム（ＧＰＳ）情報、配向及び／又はコンパス情報、加速度計情報、地図情報、画像取り込み情報、（例えば、関心物体からの（ＷｉＦｉ、ＬＡＮなどの））通信情報、及び／又はその他のこのような情報などの他の情報を考慮することができる。例えば、ディスプレイ装置は、（３被写界深度（ＤＯＦ）、６ＤＯＦ、又はその他の加速度計などの）内部加速度計を含むことができる。
【００２０】
いくつかの例では、遠隔装置又はサービスが関心物体を識別することもできる。例えば、ネットワーク、インターネット、又はその他の１又は複数の通信方法を介した通信などにより、１又はそれ以上の画像又はフレーム、或いはビデオの一部をサードパーティサービスに転送することができる。サードパーティは、関心物体の１又はそれ以上（又は潜在的な関心物体）を識別し、１又はそれ以上の関心装置の各々に対応する追加情報を戻すことができる。
【００２１】
例えば、いくつかの実施形態では、図１のステップ１１４が、１又はそれ以上の画像を評価して１又はそれ以上の潜在的な関心物体を選択することを含むことができる。その後、再生装置は、この１又はそれ以上の潜在的な関心物体を識別しようと試みることができる。潜在的な関心物体の１つ又はそれ以上を識別できない場合、再生装置は、インターネットなどを介して１又はそれ以上の遠隔装置及び／又はサービスに支援を求めることができる。１又はそれ以上の遠隔サービスは、潜在的な関心物体の１つ又はそれ以上を識別できる場合、再生装置に１又はそれ以上の識別を戻すことができる。関心物体に関連して表示できる追加情報などのその他の情報を含めることもできる。この識別情報は、（単複の）画像の座標情報、サイズ、形状、色及び／又はその他のこのような情報などの、再生装置が（単複の）画像及び／又はビデオ内でどの装置が識別されているかを識別するための何らかの方法を含むこともできる。従って、再生装置は、関心物体を識別する際に、再生装置自体で、及び／又は遠隔装置又はサービスを利用して１又はそれ以上の関心物体の識別を判断することができる。
【００２２】
図３Ａに、いくつかの実施形態による、ディスプレイ３１２を示すように向けられたディスプレイ装置２１２の簡略平面図を示す。図３Ｂには、ケーシング又は背面３１４を示すように向けられた図３Ａのディスプレイ装置２１２の簡略平面図を示す。図３Ａ〜図３Ｂを参照すると、ディスプレイ装置２１２は、ディスプレイ側又は表面側３１６に、ハウジング３１８内に位置するディスプレイ３１２を含む。ハウジング３１８は、周囲を裏面側３３０まで広がる。いくつかの実施形態では、ディスプレイ装置２１２が、１又はそれ以上の入出力（Ｉ／Ｏ）部分又はその他の通信インターフェイス３２４を含むことができる。いくつかの例では、ディスプレイ装置２１２が、１又はそれ以上のディスプレイ側カメラ３２０〜３２１をさらに含む。
【００２３】
背面３１４に対して、１又はそれ以上の順方向カメラ３３４〜３３５（以下、前方カメラと呼ぶ）が位置する。通常、前方カメラ３３４〜３３５は、比較的解像度の高いカメラであり、いくつかの例では、（通常は１メガピクセル以上などの）高精細（ＨＤ）解像度カメラである。上述したように、いくつかの実施形態では、２又はそれ以上の前方カメラ３３４〜３３５が含まれ、これらのカメラは、少なくともいくつかの実装では平均的な大人の両眼間の平均距離にほぼ等しい距離３３８だけ離れる。従って、２又はそれ以上の前方カメラ３３４〜３３５によって取り込まれたビデオに基づくビデオを再生すると、ディスプレイ装置２１２は、このビデオを３次元（３Ｄ）に見えるように再生することができる。いくつかの実装では、ディスプレイ３１２が、ビデオを３Ｄで再生するように構成される。例えば、ディスプレイ３１２は、特殊メガネを必要とせずに３Ｄ立体視野を提供するレンチキュラーディスプレイ、或いはユーザが特殊メガネ又はゴーグルを必要とすることも又はしないこともあるその他のディスプレイを含むことができる。例えば、ディスプレイ装置２１２は、立体ビデオのためのレンチキュラー法又はその他の「裸眼」法を含むことができる。他の実装では、ＬＣＤシャッターメガネ、偏光フィルタメガネ、又はその他のこのようなメガネ、ゴーグル、又はその他のこのような装置を使用することができる。しかしながら、多くの実施形態は３Ｄでの表示を行い、これによりディスプレイ装置２１２が立体視野を用いて、ユーザが仮想的な意味でディスプレイ装置２１２を「通じて見る」ことを可能にする。従って、多くの場合、ユーザの関心の中心は、ディスプレイ装置２１２のディスプレイ３１２の表面ではなく、ディスプレイ装置の表面に存在せずに仮想的にユーザから離れているように表示できる関心物体２１４である。
【００２４】
いくつかの例では、ディスプレイ３１２を、画面にタッチすること（例えば、ピンチによるズーム、スクロール表示、オプションの選択、コマンドの実施及び／又はその他のこのような動作）によってユーザインタラクションを可能にするタッチ画面とすることができる。例えば、ディスプレイ装置２１２は、通りの先にあるレストランの看板を表示し、追加情報によってレストランのメニュー、メニューの一部、又はメニューにアクセスするためのオプションを表示することができる。ユーザは、より見やすいように画像を拡大して関心物体をより明確に識別する（例えば、レストランの看板を拡大する）ことなどができる。さらに、ディスプレイ装置２１２上には、１又はそれ以上のボタン、トラックボール、タッチパッド、又はその他のユーザインターフェイス要素を含めることもできる。いくつかの実施形態では、１又はそれ以上のディスプレイ側カメラ３２０〜３２１の解像度が、前方カメラ３３４〜３３５の解像度よりも低い。ディスプレイ側カメラ３２０〜３２１も、ユーザの場所及び／又は向きをより正確に判断できる距離３４０だけ離れることができる。
【００２５】
前方カメラ３３４〜３３５は、ディスプレイ３１２から１８０度離れた、ユーザがディスプレイ３１２と一直線になって（例えば、ディスプレイ３１２に対して垂直及び水平方向に真ん中に来て）ディスプレイを見ている時に、ユーザ２１６の視野と大まかに平行な視野を有するように配向される。前方カメラ３３４〜３３５は、この配向で、ディスプレイ装置３１０がユーザの視野内に存在しない場合にユーザ２１６に見えていると思われるビデオ及び／又は画像を取り込む。いくつかの実施形態では、前方カメラ３３４〜３３５が比較的広い視野を有するように構成され、広視野レンズを採用する。いくつかの例では、前方カメラ３３４〜３３５の視野を、平均的な大人の視野よりも広くすることができる。
【００２６】
ディスプレイ側カメラ３２０〜３２１は、ユーザ２１６の画像及び／又はビデオを取り込むように構成することができる。ユーザの頭の位置及び／又は眼の向きを追跡する際に、これらの画像及び／又はビデオを評価することができる。ディスプレイ装置２１２は、このユーザの向きに基づいて、ユーザ２１６の視野に対する正確な表現をユーザに与えるには前方カメラ３３４〜３３５によって取り込まれたビデオ又は画像のどの部分を表示すべきかを判断することができる。
【００２７】
図４Ａ〜図４Ｂには、いくつかの実施形態によるディスプレイ装置２１２の簡略俯瞰図及び側面図をそれぞれ示し、ディスプレイ装置２１２に対するユーザ２１６の水平（ｙ）の向き及び／又は垂直（ｘ）の向きに基づく、前方カメラ３３４〜３３５によって取り込まれた画像の一部又はサブセット４１２〜４１７の選択の変化をさらに示している。図４Ａ〜図４Ｂに示すように、ディスプレイ装置２１２のディスプレイ３１２に対するユーザ２１６の角度が変化すると、立体表示に使用する広視野角画像のサブセットも対応して変化する。この場合も、前方カメラ３３４〜３３５は比較的広い視野４２０を有する。ユーザ２１６がディスプレイ装置２１２に対して動くと、前方カメラ３３４〜３３５によって取り込まれた、ディスプレイ装置上に表示するように選択される画像部分も、ユーザの動きに対応して変化する（又は動く）。
【００２８】
図４Ａを参照して分かるように、ディスプレイ装置２１２に対するユーザの向きを追跡するには、ディスプレイ側カメラ３２０〜３２１を使用する。ユーザがディスプレイ装置に対して横方向（ｙ）に移動すると、表示される取り込んだ画像部分も対応して変化する。例えば、ユーザ２１６がディスプレイ装置２１２に対して第１の角度４２２（例えば、右方向）に位置する場合、一般に視野の左側に向かう画像の第１の部分４１２が表示されるように定められる。視点が第２の角度４２３（例えば、中心方向）に向かって移動すると、取り込んだ画像の第２の部分４１３が表示されるように定められる。
【００２９】
また、表示される取り込んだ画像の部分４１２〜４１７は、ユーザのディスプレイ装置２１２に対する垂直方向の角度又は向きによっても影響を受ける。例えば、ユーザがディスプレイ装置の下方の角度４２５に位置する場合、表示される画像部分は第４の部分４１５によって定められる。ユーザがディスプレイ装置の中心方向４２６に向かって動くと、取り込んだ画像の第５の部分４１６が表示されるように定められる。ユーザが、再びディスプレイ装置２１２の上方２２７に向かって上向きに動くと、取り込んだ画像の第６の部分４１７が表示されるように定められる。
【００３０】
なお、図４Ａ〜図４Ｂでは、ユーザの向きが変化した時に表示される画像部分の角度又は量４３０を実質的に同じように示しているが、通常、これらの部分の角度４３０は、ユーザの向きに応じて変化し、大幅に変化することもある。同様に、以下で説明するように、ユーザがディスプレイ装置２１２に近づいた時及び／又は離れた時（図４Ａ〜図４Ｂには「ｘ」方向として示す）にも、表示される画像部分の角度４３０は変化する。さらに、説明のために、取り込んだ画像の部分４１２〜４１７が増えるように示しているが、これらの表示部分は増えるのではなく、前方カメラ３３４〜３３５の視野４２０全体にわたり継続的に広がって重なり合う。
【００３１】
図５Ａ及び図５Ｃに、いくつかの実施形態による、前方カメラ３３４〜３３５によって取り込まれた画像部分４１２〜４１７の、ディスプレイ装置２１２に対するユーザ２１６の距離又は深度（ｘ）配向に基づく選択の変化を示すディスプレイ装置２１２の簡略側面図を示し、図５Ｂ及び図５Ｄにはこの簡略俯瞰図を示す。ディスプレイ装置からのユーザの頭の距離が変化すると、頭及び／又は眼の追跡に基づき、表示するカメラ画像のサブセットを選択するために使用される水平方向及び垂直方向の両方の角度が対応して変化する。
【００３２】
図５Ａ〜図５Ｂを参照して分かるように、ディスプレイ装置２１２は、ディスプレイ装置からのユーザの距離５１２（第１の距離５１２）の決定に基づき、表示するカメラ画像部分の選択において使用するために、前方カメラの視野の第１の水平角５２０及び第１の鉛直角５２２を計算する。ユーザ２１６とディスプレイ装置２１２の間の距離が変化すると、使用するカメラ画像の部分を選択するために用いられる視野の鉛直角及び水平角の一方又は両方が変化する。
【００３３】
図５Ｃ〜図５Ｄには、ディスプレイ装置２１２から第２の距離５１４（この例ではより近く）に存在するユーザ２１６を示している。従って、ディスプレイ装置は、表示するカメラ画像部分を選択する際に使用するために、前方カメラの視野の第２の水平角５２４及び第２の鉛直角５２６を計算する。この場合も、この例では、ユーザがディスプレイ装置２１２に近付いており、従って鉛直角及び水平角は、第２の水平角５２４及び第２の鉛直角５２６の方が第１の水平角５２０及び第１の鉛直角５２２よりもそれぞれ大きくなるように増加する。この変化量は、距離の変化に正比例し、場合によっては、ディスプレイ装置２１２のディスプレイ３１２のサイズ、及び／又は関心物体２１４までのディスプレイ装置の距離に正比例する。
【００３４】
図６に、いくつかの実施形態による、ディスプレイ装置２１２の背面３１４の簡略斜視図を示す。ここでも、ディスプレイ装置は、２又はそれ以上の前方カメラ３３４〜３３５（例えば、立体カメラ）を含むことができる。立体画像を取り込むために使用される各前方カメラは、広視野６２０〜６２１をもたらす比較的広い角度を使用する。ディスプレイ装置２１２に対するユーザの向き（例えば、垂直及び水平方向の頭の角度及び距離５１２）の決定に応答して、この広角画像のサブセット又は一部がユーザ２１６に提示される。
【００３５】
図７には、前方カメラの一方３３５に対応する、ディスプレイ装置２１２に対する決定されたユーザ２１６の向きに基づいて選択された視野６２１の一部又はサブセット７１２の簡略表現を示す。ディスプレイ装置２１２は、この選択部分７１２を用いて、前方カメラ３３４〜３３５によって取り込まれたビデオからの対応する画像部分を表示することができる。
【００３６】
ディスプレイ装置２１２は、ディスプレイ装置２１２に対するユーザ２１６の向きを追跡する際に、一般にユーザの身体又はユーザの頭を追跡することができる。これに加えて又はこれとは別に、他の例では、ディスプレイ装置がユーザの眼を追跡し、取り込んだビデオ画像の一部又はサブセットを表示する際にカメラ入力から選択する角度の決定においてこの情報を使用することができる。ディスプレイ装置は、向きを判断する場合、ユーザからディスプレイ装置までの距離を考慮する。従って、いくつかの実施形態では、３〜５フィート、１メートル、又は他の何らかの距離とすることができる最大距離を設定するが、これはディスプレイ装置及びディスプレイ装置の用途に依存することができる。多くの場合、ディスプレイ装置はハンドヘルド装置であり、従って、通常、ユーザとディスプレイ装置の間の距離はユーザの腕の長さにより制限される。従って、多くの場合、３〜４フィートの最大距離閾値が妥当である。いくつかの実施形態では、（例えば、ユーザの眼がディスプレイ装置から１〜２インチのところにあるなどの）ユーザとディスプレイ装置２１２の間の最小距離をさらに考慮又は適用する。
【００３７】
いくつかの実施形態では、ディスプレイ装置に対するユーザの向きを判断して追跡する際に、使用角度と、ユーザの頭からディスプレイ装置までの距離との線形関係を利用する。図８〜図９に、いくつかの実施形態による、ユーザの向きを判断する際に使用するパラメータの簡略的図形表現を示す。ユーザ、ユーザの頭又はユーザの眼などに関する初期角度８１２を計算することができる。上述したように、１又はそれ以上のディスプレイ側カメラ３２０〜３２１を用いてユーザを検出し、ディスプレイ装置に対するユーザの向きを計算することができる。いくつかの例では、例えば、ユーザの眼８１６とディスプレイ装置２１２（例えば、ディスプレイ３１２の中心点）の間の距離８１４に基づいて、片眼又は両眼に関する初期角度８１２をラジアンで計算することができる。ユーザの顔及び／又は眼に対するディスプレイ装置２１２の向きに基づいて、（通常は水平及び垂直の両方の）補正角８２０を（例えば、ラジアンで）計算することもできる。ディスプレイ装置２１２は、これらのパラメータから、ユーザの向きに関連してディスプレイ装置のディスプレイ３１２上に提示するためのカメラ画像のサブセット又は一部を定める最終角度９１２を規定することができる。
【００３８】
この場合も、いくつかの実施形態では、最大距離閾値及び最小距離閾値を設定する。ユーザ又はユーザの眼８１６が最大距離又はそれよりも遠くに存在する場合、いくつかの実施形態では、ディスプレイ装置２１２が初期角度８１２を所定の最小値に設定する。ユーザの眼８１６が最小距離内に存在する場合、いくつかの実施形態では、ディスプレイ装置が、ビデオ又はシーンデータを収集するために使用する前方カメラ２３４〜２３５から取得された最大広角視野４２０に一致するように初期角度８１２を設定する。
【００３９】
図９を参照して分かるように、ディスプレイ装置２１２は、水平及び垂直の両方の向きに関して初期角度８１２に補正角８２０の余弦を乗じることにより、最終角度９１２を見出すことができる。従って、取り込んだ画像の表示する部分を定めるために使用される最終角度９１２は、初期角度８１２よりも減少し、補正角８２０によって配向される。補正角がゼロの場合には、初期角度８１２を使用する。ディスプレイ装置２１２はユーザの視野に対して傾斜しているので、補正角８２０によって表示すべきシーンの量９１４（すなわち、前方カメラによって取り込まれるシーン全体の角度）が減少し、シーンのどの部分を取り出すべきかが選択される。図９で分かるように、最終角度９１２は、シーン９１４全体（前方カメラ３３４〜３３５の視野）の角度の一部である。補正角８２０は、表示すべきカメラ入力の一部又はサブセットを、ユーザの位置に対するディスプレイ装置２１２の角度又は傾斜に一致するように回転させる。
【００４０】
ユーザの向きを識別し、及び／又はユーザ又はユーザの眼を追跡する他の方法を使用することもできる。例えば、ユーザは、追跡を容易にする物体を着用することができ、及び／又は（通常は電池式の）３Ｄメガネ又はゴーグルなどの着用された物体が追加情報を提供することもできる。メガネ又はその他の装置からの情報は、有線又は無線通信（例えば、無線周波数、発光、又はその他のこのような技術）を介して通信することができる。これに加えて又はこれとは別に、メガネ又はその他の装置は、例えば画像処理を通じて目標にすることができる（反射パッチ又はパターンなどの）受動構造を有することができる。情報を取り込む際には、可視光及び／又は赤外線を使用することができる。同様に、ディスプレイ装置上の１又はそれ以上のカメラ、又はメガネなどを使用することもできる。追跡では、ウィット画像処理などの１又はそれ以上のアルゴリズムを使用することができ、これらのアルゴリズムは、特徴に基づくもの及び強度に基づくものなど、又はこれらの組み合わせとすることができる。自動較正、手動較正、自動較正と手動較正の組み合わせを使用できる実施形態もあれば、（所定仕様及び／又は想定仕様などの）較正を使用又は必要としない他の計算の実施形態及び／又は態様もある。
【００４１】
多くの用途において、（ユーザ２１６に対する）要求が最も少ない方法は、ユーザが着用するあらゆる装置を避けて、通常は画像処理を伴う方法を使用するものである。いくつかの実施形態では、ディスプレイ装置２１２及び／又はディスプレイ装置における処理を簡略化しようと試みる。従って、いくつかの実施形態では、画像取り込みハードウェア及び／又は処理を最小限に抑える。例えば、いくつかの実施形態では、１台の可視光ディスプレイ側カメラ３２０を使用する。これに加えて又はこれとは別に、他の実施形態では、多くの場合１又はそれ以上の対応するＩＲ光源と連動する１又はそれ以上のＩＲカメラを使用することができる。
【００４２】
取り込んだ画像に対して顔追跡アルゴリズムを使用する場合には、ユーザの眼の位置及び向きを規定の空間又は範囲内で判断することができる。このアルゴリズムにより定められる空間は、（画像ストリーム内の画素などに基づくので）無単位のことが多い。この空間をディスプレイ装置２１２とユーザ２１６の間の３Ｄ体積に変換するために計算を行う。この較正は、何らかの基本的幾何学情報を含むことができる。画素間の角度は不変であり、（ディスプレイ側カメラ３２０などの）取り込み装置の既知の光学系に基づく。さらに、一部の較正は、取り込んだ画像の特徴内の２又はそれ以上の既知の距離を提供することによって行うことができる。例えば、端部間の距離は分かっており、各端部からその半円の頂点までであるため、半円分度器を使用することができる。これらの距離及び角度を用いて、アルゴリズムの抽象的な空間座標を、カメラ３２０及び／又はディスプレイ３１２に対する実数値に変換することができる。
【００４３】
再び図２Ｂを参照して分かるように、ディスプレイ装置２１２は、取り込んだ画像部分を表示している間に、関心物体２１４に関連する情報２２２を付加的に表示するように構成することができる。通常、ディスプレイ装置２１２は、情報２２２を表示する際に関心物体２１４の外観を妨げないように情報を表示する。さらに、いくつかの例では、追加情報２２２が、この情報が別の物体ではなく関心物体２１４に関連するものであることを識別するように（例えば、配置、近接性、引き出し線、吹き出し又は色など、又はこれらの組み合わせで）表示される。なお、ディスプレイ装置２１２は、前方カメラ３３４〜３３５によって取り込まれたビデオの関連部分を再生する際に、１つよりも多くの潜在的な関心物体を表示することができる。さらに、いくつかの例では、１つよりも多くの関心物体に関連する情報を同時に表示することもできる。ユーザは、これらの関心装置の１つを選択し、又は別様に識別することができる。
【００４４】
図１０に、いくつかの実施形態による、関心物体２１４に関連する追加情報２２２を提供する際の処理１０１０の簡略フロー図を示す。ステップ１０１２において、１又はそれ以上の前方カメラ３３４〜３３５を作動させ及び／又は作動状態に保つ。いくつかの実施形態では、ステップ１０１４において、関心物体２１４を識別するために、及び／又は関連する及び／又は関心がある可能性のある情報を識別するように追加情報を考慮することができる。この追加情報は、以下に限定されるわけではないが、ＧＰＳ情報、（例えば、関心物体２１４からＷｉＦｉを介して受け取られるような）無線で受け取られた情報、加速度計情報、コンパス情報、関心物体に関連するソースからの情報、及び／又はその他のこのような情報を含むことができる。これらの情報は、ディスプレイ装置２１２にローカルに記憶された情報、又は（例えば、ディスプレイ装置がインターネットを介して遠隔ソース又はデータベースにアクセスすることを通じて）遠隔的に記憶された情報に基づくことができる。いくつかの例では、これらの情報が、ディスプレイ装置２１２がアクセスできる、又はディスプレイ装置によりアクセスされるその他の（単複の）装置又は（単複の）サービス、及びディスプレイ装置により使用される情報がアクセスできる１又はそれ以上のデータベース内に保持される。
【００４５】
ステップ１０１６において、前方カメラ３３４〜３３５がビデオを取り込む。例えば、ユーザ２１６は、ユーザの前方領域をスキャンすることができる。ステップ１０１８において、ディスプレイ装置２１２は、１又はそれ以上の関心物体、ディスプレイ装置２１２が関心物体２１４を認識できるようにする関心物体の場所及び／又は特徴を認識する。いくつかの実施形態では、ディスプレイ装置が、１又はそれ以上の関心物体を識別し、及び／又は１又はそれ以上の関心物体に対応する追加情報を取得する支援とするために、１又はそれ以上の別個の装置及び／又はサービスにアクセスすることができる。ステップ１０２０において、ディスプレイ装置２１２は、このディスプレイ装置２１２が（例えば、インターネット、ＷｉＦｉ、ローカルエリアネットワーク、赤外線、ＲＦなどを介して）１又はそれ以上の装置と通信する能力を有しているかどうかを判断する。例えば、ディスプレイ装置２１２は、このディスプレイ装置２１２がインターネットにアクセスして潜在的な関心物体２１４に関する追加情報を取得することができるかどうかを判断することができる。他の例では、ディスプレイ装置２１２が、（ＴＶなどの）関心物体又は（セットトップボックスなどの）関心物体に関連する装置と通信して追加情報を取得することができる。
【００４６】
ディスプレイ装置２１２がさらなるソースからの情報にアクセスできない場合、ステップ１０２２に進んで、ディスプレイ装置２１２が識別する関心物体及び／又はディスプレイ装置２１２が表示する追加情報２２２を、ディスプレイ装置によりローカルに記憶された情報に制限する。或いは、ディスプレイ装置２１２が他のソースにアクセスできる場合、処理１０１０はステップ１０２４に進んで、ディスプレイ装置が関心物体２１４と通信できると判断する。例えば、関心物体がユニバーサルプラグアンドプレイ（ＵＰｎＰ）機能を有しているかどうかを判断することができる。ディスプレイ装置２１２が関心物体と通信できない（例えば、ＵＰｎＰを利用できない、又は通信を確立できない）場合、いくつかの実施形態では、ステップ１０２６において、ディスプレイ装置２１２は、ソースにアクセスして、ディスプレイ装置２１２に機能を提供できるアプリケーション、ソフトウェア又は実行ファイルなどをダウンロードする（例えば、様々なロケーション機能を表示するためのアプリケーションをダウンロードする）ことができる。アプリケーションは、実質的にいかなる関連アプリケーションソース又は「ストア」からもダウンロードすることができるが、これは適当なオペレーティングシステムに依存することができる。ＵＰｎＰ又はその他の通信が利用可能な場合、ステップ１０３０において、ディスプレイ装置２１２が（最新の取引及び特売品などの）関連情報を取得して、通常は関心物体２１４を取り込んだビデオを表示している間に表示することができる。例えば、関心物体２１４は、ローカルエリアネットワークを介してＡＰＩを公開することができ、ディスプレイ装置２１２上のアプリケーションは、これを検出して使用することができる。
【００４７】
いくつかの実施形態は、プラットフォームを提供し、このプラットフォームを通じて提供される機能をアプリケーション開発者が利用できるようにする。例えば、このプラットフォームは、画像処理（ユーザの向き、顔認識、装置（画像）認識など）を行えるようにする。従って、アプリケーションプロバイダは、アプリケーション内に、ディスプレイ装置２１２が関心物体２１４を認識するために取得すべきパラメータを定義する（例えば、ＴＶメーカーが、ローカルエリアネットワークで公開するアプリケーション内でパラメータを定義できるアプリケーションを生成し、アプリケーション及び／又はディスプレイ装置２１２は、このパラメータを用いて、ディスプレイ装置２１２が実装しているアプリケーションを通じて制御すべき装置としてＴＶを認識することができる）。
【００４８】
さらに、このプラットフォームは、関心物体２１４が、ディスプレイ装置２１２に対してユーザの「視野」内のどこに存在するかについての位置データ及び／又は空間データを提供し、従って、アプリケーションはこの機能を提供する必要がなく、代わりにこの提供された機能を使用することができる。例えば、アプリケーションは、取り込んだビデオから通常は３Ｄで関心物体を表示する際に、この空間データを用いて、仮想世界において関心物体に対して追加情報２２２を正確に表示することができる。この場合も、ディスプレイ装置が関心物体を表示する際には、この関心物体はアニメーションではなく、３Ｄで表示できる実際の関心物体の画像である。
【００４９】
さらに、このプラットフォームは、アプリケーションにタッチ画面フィードバックなどの様々なレベルの相互作用を提供する（例えば、アプリケーションにタッチ画面フィードバック情報を提供し、アプリケーションは、表示される追加情報２２２の調整方法、及び／又は関心物体２１４に対する（音量調節などの）コマンド又は制御情報の通信方法を決定する際にこの情報を使用することができる）。同様に、このプラットフォームは、ユーザ追跡情報及び／又はユーザの向き情報を提供するとともに、ユーザの向きに対する表示コンテンツの調整方法を決定する。
【００５０】
上述したように、関心物体は複数存在することがある。さらに、ディスプレイ装置は、１又はそれ以上の関心物体の画像を取り込むこと及び／又は複数の関心物体を同時に含む画像（ビデオなど）を取り込むことができる。いくつかの実施形態では、ディスプレイ装置２１２が、関心物体を識別すること又は識別を支援することができる。さらに、１又はそれ以上の関心物体の識別、及び／又はこの１又はそれ以上の関心物体に対応する追加情報の提供を遠隔装置又はサービスが支援することもできる。
【００５１】
図１１に、いくつかの実施形態による、関心物体２１４を認識し、この関心物体と相互作用する処理１１１０の簡略フロー図を示す。例えば、関心物体２１４が（ＴＶなどの）オーディオ／ビデオ（Ａ／Ｖ）再生装置である場合、ユーザは、処理１１１０において、ディスプレイ装置２１２を通じて関心物体を制御することができる。ステップ１１１２において、１又はそれ以上の前方カメラ３３４〜３３５を作動させ及び／又は作動状態に保つ。ステップ１１１４において、この前方カメラ３３４〜３３５がビデオを取り込む。例えば、ユーザ２１６は、１又はそれ以上の潜在的な関心物体に前方カメラを向けてユーザの前方領域をスキャンし、又はその他のこのような動作を行うことができる。ステップ１１１６において、ディスプレイ装置２１２は、関心物体２１４の可能性がある物体及び／又は物体の外観を識別するために、前方カメラからの取り込み画像を評価する。例えば、ディスプレイ装置は、物体の形状、物体の外観形状、記号、英数字、間隔、及び／又は潜在的に目立つ特徴の相対的配向（例えば、ボタンの位置及び／又は向き、ポートの位置、（眼、口、鼻の場所及び／又は向きなどの）顔の構造など）、及び／又はその他のこのような情報に基づいてローカルデータベース及び／又は遠隔データベースを検索することができる。同様に、いくつかの実施形態では、現在位置、潜在的な関心物体の位置及び／又は特徴、或いはディスプレイ装置２１２が関心物体２１４を認識するために使用できるその他のこのような情報を考慮することもできる。ステップ１１２０において、関心物体２１４が検出される。場合によっては、複数の関心物体が認識されることもある。さらに、ディスプレイ装置２１２及び／又はユーザ２１６は、これらの複数の物体の１つを選択することができる。
【００５２】
さらに、いくつかの実施形態では、上述した実施形態と同様に、ＧＰＳ情報、（関心物体２１４などからＷｉＦｉを介して受け取られるような）無線で受け取った情報、加速度計情報、コンパス情報、関心物体に関連するソースからの情報、及び／又はその他のこのような情報を考慮することができる。これらの情報は、ディスプレイ装置２１２上にローカルに記憶された情報又は（例えば、ディスプレイ装置がインターネットを介して遠隔ソース又はデータベースにアクセスすることを通じて）遠隔的に記憶された情報に基づくことができる。いくつかの例では、これらの情報が、ディスプレイ装置２１２がアクセスできる、又はディスプレイ装置によりアクセスされるその他の装置がアクセスできる１又はそれ以上のデータベース内に保持され、ディスプレイ装置により使用される。
【００５３】
ステップ１１２２において、ディスプレイ装置２１２は、関心物体２１４がディスプレイ装置２１２との無線通信を確立するように構成されているかどうかを判断する。通信を確立できない場合、いくつかの実施形態では、ステップ１１２４において、ディスプレイ装置２１２が、（例えば、両方の装置が関連する能力を有し、対応するコマンドを訂正する赤外線（ＩＲ）遠隔制御コマンド情報を通じて、）ユーザがディスプレイ装置を関心物体への遠隔制御として使用することを可能にすることができる。いくつかの例では、ＩＲコマンド又はコードをローカルに記憶し、及び／又は（例えば、遠隔データベースから定期的に）更新することができる。一方、無線通信を確立できる場合、処理１１１０はステップ１１２６に進み、ディスプレイ装置２１２は、関心物体又は関心装置がＵＰｎＰ能力又はその他の同様の能力を有しているかどうかを判断する。ＵＰｎＰを利用できない場合、ステップ１１２８において、ユーザ２１６が関心物体２１４を制御する際にディスプレイ装置２１２を利用できるようにするアプリケーション又はコードをダウンロードすることができる。ＵＰｎＰを確立できると、ステップ１１３０において、ディスプレイ装置２１２は、このＵＰｎＰを使用して関心物体２１４にクエリを行って関心物体２１４を制御する。
【００５４】
多くの実施形態では、ディスプレイ装置２１２による関心物体２１４の認識が、追加情報２２２を提供するアプリケーション内で定義される、ローカルデータベース又は遠隔データベースなどから取得される情報に基づく。いくつかの例では、ディスプレイ装置２１２、ディスプレイ装置上で動作するアプリケーション、及び／又は関連するデータベースを、さらなる関心物体の識別において使用できる情報で更新することができる。例えば、アプリケーションソース（例えば、ディスプレイ装置２１２に関連するアプリケーションストア又はソース）を通じて、（メーカーの装置などの）新たな関心物体を追加するための追加データファイルを追加することができる。いくつかの例では、ディスプレイ装置２１２が基本認識データファイルセットを記憶し、又はこれにアクセスすることができる。これらの認識データファイルは、ディスプレイ装置のメーカー、ディスプレイ装置の販売業者又は関心物体のメーカーなどにより制御及び／又は更新することができる。さらに、いくつかの実施形態では、ディスプレイ装置に対するソフトウェア更新により、認識データファイルを変更し、置換し、及び／又は更新することができる。
【００５５】
さらに、いくつかの実施形態では、例えば拡張ディスプレイ装置２１２及び（ＢＤプレーヤ、テレビ、オーディオシステム、ゲーム機などの）消費者電子装置上に表示されるデータの調整機構が設けられる。クエリが行われると、関心物体２１４又は関心物体に関連するその他のソースは、ユーザ体験を強化できる情報をディスプレイ装置２１２に提供し、この情報をディスプレイ装置２１２のディスプレイ３１２上に拡張現実データとして表示することができる。一例として、拡張ディスプレイ装置２１２を通じてＴＶを見ると、ディスプレイ装置２１２は、現在の又は異なるＴＶチャンネル上でその日のうちに放映される予定の（ＴＶ番組、映画、スポーツなどの）番組を示す情報（フィルムストリップ様の表示など）を表示することができる。この追加情報は、（例えば、ＴＶの上部又は側部に、ディスプレイ装置２１２の関心物体に対する相対的な向きに依存できるフローティング表示を行って）ＴＶで再生中のコンテンツを妨げないように表示することができ、これによりＴＶで再生中のビデオを画面、グラフィックス又はビデオ上の他の何らかのもので覆ったり又は消したりする必要性を避けることができる。他のシステムは、部分的に透明なオーバーレイとしての表示を行ってビデオを小さくサイズ変更することによりＴＶコンテンツが不明瞭になること、又はユーザ体験に悪影響を与え得る他のこのような影響をごまかすことに取り組もうと試みてきた。一方、本実施形態は、ＴＶで再生中のビデオを不明瞭にしないように追加情報を表示することができる。ディスプレイ装置２１２上の複数のカメラを用いて、立体画像を提供し及び／又は３Ｄ表現を表示することができる。さらに、ユーザ情報を提供できる他のシステムは、ユーザの向き及び／又はユーザの向きに対するディスプレイ装置の向きを考慮していない。
【００５６】
一方、いくつかの実施形態は、関心物体を含む表示画像上の領域の「外部」のディスプレイ画面上の領域を使用して、関心物体又は関心装置に関連する（何がＴＶに表示されているかなどの）情報を表示する機構を提供する。ＴＶ画面上のビデオは全画面を保ち、グラフィックスがオーバーレイ表示されることはない。追加情報は、ディスプレイ装置２１２の拡張現実ディスプレイ３１２内に、ＴＶ画面自体の表示領域の外部に存在する形で現れるように表示することができる。本実施形態は、この情報を拡張ディスプレイ装置に提供する方法を実現することができ、従って関心物体に対して追加情報を正確に表示し、関心物体に対する情報の表示方法を認識し又は計算することができる。さらに、ディスプレイ装置２１２は、追加情報２２２を表示するように構成し、又は追加情報２２２を表示するための情報を有することができるので、追加情報２２２をＴＶパネルの外部に現れるように表示することができ、表示中のビデオが不明瞭になったり、オーバーレイ表示されたり、サイズ変更されたりすることはない。
【００５７】
さらに、いくつかの実施形態は、（例えば、頭又は眼の追跡を用いて）ディスプレイ装置２１２に対するユーザ２１６の向きを追跡して、取り込み画像の少なくとも一部を正確に表示し、ユーザが向こう側にあるものをディスプレイ装置を「通じて見ている」という印象を与えるように構成することができる。ディスプレイ装置のディスプレイ３１２上の立体画像は、ディスプレイ装置がそこに存在しない場合にユーザに見えると思われるものを再現する。いくつかの例では、ディスプレイ装置２１２を、関連する追加情報２２２、ユーザがディスプレイ装置２１２を通じて見ているものに対してこの関連する追加情報をいかに表示すべきか、及び／又は追加情報の向きを識別する際に、ディスプレイ装置２１２に対するユーザの向きを追跡し続けながら、ユーザがディスプレイを通じて実際に見ることができるようにする透明ＬＣＤ又はその他の装置とすることができる。また、ユーザが透明ＬＣＤを通じて見ながら追加情報を見ることができるように、関心物体に関連する追加情報を表示するように構成されたディスプレイ装置２１２上で作動するアプリケーションを、前方カメラによって取り込まれたビデオ画像が追加情報の表示中に表示されないようにディスプレイ装置２１２に要求又は制御するように構成することもできる。多くの例では、追加情報２２２を提供するアプリケーションが終了し、もはや主制御を行わなくなり、及び／又は集約的アプリケーションではなくなる（例えば、動作はしているもののバックグラウンドで動作する）と、ディスプレイ装置２１２は、この集約的アプリケーションに関連する全ての関連情報、画像、ビデオ、又はその他の情報を表示し続けることができる。いくつかの実施形態では、透明ディスプレイの一部を、追加情報２２２が表示されている透明のままにしておく一方で、ディスプレイの別の部分を（インターネットブラウザアプリケーションなどの）代わりのアプリケーション専用とすることができる。
【００５８】
同様に、ディスプレイ装置２１２が透明ディスプレイを有していない場合、追加情報２２２を提供している集約的アプリケーションは、前方カメラによって取り込まれたビデオ画像の表示を停止し、及び／又は前方カメラによって取り込まれた画像の表示を一時的に停止するようにディスプレイ装置に指示することができる（例えば、ディスプレイ装置２１２上で実行中のアプリケーションは、ディスプレイ装置上にバックプレート又はバックライトが存在するかどうかに関わらず、アプリケーションの実行中にビデオ背景の描画を停止するように要求することができる）。アプリケーションが集約的でなくなり又は終了すると、ディスプレイ装置２１２は、通常の装置動作を再開することができる。
【００５９】
ディスプレイ装置の現実環境に対する配置構造により、いくつかの実施形態では、現実世界の表示アイテム上に（非相互作用型）タグ及び相互作用型オプションをさらに配置することができる。例えば、Ａ／Ｖ受信機から楽曲が再生されている時に、ディスプレイ装置２１２を、このＡ／Ｖ受信機上にアルバムの表紙を表示するように構成することができる。これに加えて又はこれとは別に、別の例として、ディスプレイ装置２１２を、楽曲を演奏しているアーティストのビデオをＡ／Ｖ受信機の上方にフローティング表示するように構成することもできる。同様に、ゲーム機の上方に（残りのＨＤ空間、どのゲームが再生中であり又は利用可能であるか、（例えば、新しいゲームに関する）販促情報、及びその他のこのような情報などの）追加情報２２２を表示することもできる。同様に、ディスプレイ装置２１２は、Ａ／Ｖ受信機に対するスピーカ間のオーディオバランスがどのようなものであったかについての視覚表現を示し、取り込んだ画像内の壊れた及び正常に動作していないようなスピーカ上に追加情報２２２として赤文字の×を表示することができる。いくつかの実施形態は、実質的に拡張された現実装置に対してどのようなデータを表示可能であるか、及びユーザに対するこのデータの表示方法を消費者電子装置が記述するための標準的方法を提供するように構成される。
【００６０】
本実施形態は、数多くの実装及び用途を提供することができる。以下は、いくつかの実施形態のほんのわずかな実装例である。ディスプレイ装置２１２は、関心物体２１４に関する（メニュー又はその他の制御を含む、画像、テキスト、グラフィックス及び表などの）実質的にあらゆる情報とすることができる追加情報を表示することができ、これらの情報は、一般に関心物体（ディスプレイが向けられた、目的とする、位置合わせされた、又は指し示した物体に関する情報など）を含む、ディスプレイ装置が取り込んだ画像に関連して表示される。ユーザは、これらの追加情報２２２により、例えばディスプレイ装置２１２上のタッチスクリーンディスプレイ３１２を通じて１又はそれ以上の表示された仮想メニューと相互作用することによって関心物体又は関心装置２１４を制御することができる。ディスプレイ装置２１２をホームオートメーションに使用して、例えば、ライトのオン又はオフを行うこと、装置の電気使用量を見ること、サーモスタットレベルを変更することなどもできる。同様に、関心物体がユーザの車である場合などには、（例えば、車のビデオ又は画像を取り込むようにディスプレイ装置を車に向けて）ディスプレイ装置２１２を自動車に関連付けて、車又は（次にオイル又はトランスミッション液の交換が必要になる時期などの）車に関連するメンテナンスに関する情報を表示するようにすることもできる。別の例として、家庭環境では、ディスプレイ装置２１２が、室内のスピーカバランスを、ユーザが横切ることができる仮想３Ｄ形状として表示することもできる。いくつかの例では、ＴＶ上のビデオが覆われないようにＴＶチャンネルガイドを表示する（ＴＶ画面上にフローティング表示させる）こともできる。ユーザは、ディスプレイ装置２１２のタッチスクリーンディスプレイ３１２を通じて、ＴＶ上に仮想的にフローティング表示されたガイドから項目を選択することができる。ＴＶは、ディスプレイ装置２１２において実行されたコマンドに応答する（例えば、選択されたチャンネル、入力、ストリーミングビデオ、又はその他のビデオソースに切り換える）ことができる。
【００６１】
同様に、ディスプレイ装置２１２は、音楽又はラジオ局がオンになっている時に、Ａ／Ｖ受信機上にフローティング表示する追加情報２２２を用いて、取り込んだ画像又はビデオ内にアルバム、アーティストの画像、歌詞、及び／又はその他のこのような情報を表示することもできる。ユーザは、（ユーザインターフェイス及びタッチ画面などを通じて）ディスプレイ装置と相互作用することにより、例えば、ディスプレイ装置２１２が、ユーザが追跡し、歩き及び／又は横切ることができる３Ｄ形状として仮想無線データ信号範囲を表示することによって装置をローカルエリアネットワーク又はホームネットワークなどに接続してルーティングすることができる。また、情報２２２を電話のために提供する（例えば、電話が鳴っている時に、ディスプレイ装置２１２が通話者の識別情報及び／又は電話番号を電話機上にフローティング表示する）こともできる。
【００６２】
別の例として、ディスプレイ装置２１２をフットボールに向けることにより、ディスプレイ装置がフットボールを認識し、マルチメディアコンテンツに関連付け、フットボールに関連するマルチメディアコンテンツに対応する情報２２２を表示する（例えば、スポーツのＴＶ番組に関する情報を表示し、フットボールを含む表示画像又は表示ビデオ上に表示する）こともできる。追加情報２２２は、障害者ユーザのための字幕情報又はその他の情報を含むこともできる。
【００６３】
さらに、追加情報２２２を、家の修繕、自動車のメンテナンス、趣味、組立説明書、及びその他のこのような学習情報に関連付けることもできる。例えば、ディスプレイ装置２１２は、家具、色塗り、タイル張り又はその他の作業を実際に行う前に、家具の一部、壁の色の変更、家具を置く前の床のタイル張りを仮想的に含むことができる。画像処理、ユーザ選択又はユーザインタラクション、及び／又はその他の関連情報に基づいて推薦を行う（例えば、レシピに基づくワインの組み合わせ、壁の色に基づく家具の色、選んだ家具に基づくペンキの色などを提供する）こともできる。ディスプレイ装置をＣＡＤモデル及び／又はその他の関連情報又はプログラミングと協働させることにより、ディスプレイ装置２１２は、家、オフィス、工場などの壁の内部配線、配管及び骨組みなどを、まるでユーザが壁を透かして見ることができるかのように仮想的に示すこともできる。
【００６４】
消費者用途では、ユーザが店内を移動すると、ディスプレイ装置が、表示する商品の近くに商品価格を仮想的にフローティング表示することができる。同様に、ディスプレイ装置２１２は、表示物体又は表示人物の近くに、この物体及び人物に関する情報２２２をフローティング表示することもできる。例えば、画像又はビデオ内で、ディスプレイ内の誰かの頭の上などにその人物の名前を表示することができる。この情報は、例えばある人物がデータの公開を許可した時に限定し、それ以外の場合は表示できないようにすることができる。同様に、ディスプレイ装置２１２は、表示人物の画像又はビデオに追加情報２２２を加える前にこの人物を識別するために、顔認識機能を使用し、又は顔認識を行う遠隔ソースに画像を転送することもできる。
【００６５】
別の応用例として、ディスプレイ装置２１２は、テーマパークにおいて、ディスプレイ装置を通じてしか見えない仮想キャラクタを表示することができる。また、ユーザは、この仮想キャラクタが単なる静止した人形ではないように、ディスプレイ装置２１２を用いて仮想キャラクタと相互作用することもできる。同様に、ディスプレイ装置２１２は、ジオキャッシングを用いた仮想スカベンジャーハントゲームを可能にすることもできる。地上を歩きながらどこかにたどり着く方法を探しているかのように、地図及び／又は仮想ガイドラインを表示することができる。同様に、テーマパークで地図又は仮想ガイドラインを使用して、最も行列の短い乗り物に客を誘導し、工業団地では訪問者を所望の目的地及びその他のこのような仮想方向に到達させることもできる。
【００６６】
いくつかの実施形態は、医学的応用を提供する。例えば、ディスプレイ装置を用いて（例えば、顔認識、患者名の認識などを通じて）患者のカルテを取得することができる。投薬の指示及び／又は投薬の注意事項を与えることもできる。例えば、ユーザが処方薬の瓶のビデオを取り込み、ディスプレイ装置が（例えば、バーコード検出、テキスト認識などを通じて）この処方薬を認識して、処方薬に関する情報（副作用、用法、推奨投薬量、識別された薬剤と組み合わせるべきでない他の薬剤など）を表示することができる。
【００６７】
従って、本実施形態は、アプリケーションがディスプレイ装置２１２の属性を活用して、関心物体に関連する追加情報をユーザに提供できるフレームワーク、プラットフォーム又は環境を提供する。この環境を所与の関心物体又は所与の情報のために利用するようにアプリケーションを準備することができる。実質的にあらゆるソースがこれらのアプリケーションを生成し、本実施形態を通じて提供される環境を活用してディスプレイ装置の機能を利用することができる。多くの実施形態では、ユーザの追跡、画像又はビデオの取り込み、ビデオセグメントの選択又はこれらの機能に関連する処理の能力をアプリケーションが有する必要はない。代わりに、これらのアプリケーションは、ディスプレイ装置２１２、或いはディスプレイ装置上で動作する１又はそれ以上の他のアプリケーションにより提供されるこれらの機能を活用するように単純化することができる。
【００６８】
図１２に、いくつかの実施形態による、関心物体２１４に対応する追加情報２２２をディスプレイ装置２１２上に表示する処理１２１０の簡略フロー図を示す。いくつかの実装では、上述した又はさらに後述するような追加情報を表示するための関連プログラム又はアプリケーションをディスプレイ装置２１２上で作動させることに応答して処理１２１０をアクティブにすることができる。これに加えて又はこれとは別に、ディスプレイ装置２１２が作動したことに応答して（例えば、起動処理中に、又はシステムの起動に応答して又はその後に）処理１２１０をアクティブにすることもできる。さらに、処理１２１０は、１又はそれ以上の他の処理をアクティブにし、及び／又は処理１２１０の進行前、進行後、又は進行中に実施できる１又はそれ以上の他の処理と協働して動作することもできる。処理１２１０については、ディスプレイ装置２１２によって表示される、例えばユーザが関心物体２１４を制御できるようにする（例えば、テレビを制御する）制御パネルである追加情報２２２に関連して後述する。
【００６９】
ステップ１２１２において、１又はそれ以上の関心物体の認識データをロードすることができる。例えば、関心物体の登録メーカー及び／又は登録サービスの認識データを、画像認識ライブラリアプリケーション又はサービスにロードすることができる。上述したように、いくつかの例では、処理１２１０が、図１３〜図１４を参照しながら後述する処理１３１０及び１４１０などの１又はそれ以上の他の処理（Ｐ２、Ｐ３）と協働することができる。ステップ１２１４において、ディスプレイ装置２１２の１又はそれ以上の前方カメラ３３４〜３３５を作動させてビデオ及び／又は画像を取り込む。このカメラデータは、画像認識ライブラリサービス又はアプリケーションに転送することができる。いくつかの例では、この処理が、図１０の処理１０１０及び／又は図１１の処理１１１０の一部又は全部を含むことができる。
【００７０】
ステップ１２１６において、関心物体が認識されると、この検出された関心物体２１４に対応する追加情報２２２を表示するために、情報及びパラメータなどを取得する。例えば、この追加情報が、ユーザが関心物体２１４を制御するために使用できる制御パネル（例えば、ユーザが制御オプションを選択できるようにするユーザインターフェイス）である場合、取得する情報は、制御パネルを表示又は描画するためのモデルデータ、及び関心物体における所望の制御動作を実施するために関心物体に通信できる制御パネルの制御項目毎の応答のマッピング情報、制御情報及び／又は信号を含むことができる。この場合も、画像認識ライブラリアプリケーション又はサービスにロードされる（例えば、関心物体の登録メーカー及び／又はサービス、物体の画像、物体の寸法、認識可能な特徴、及び／又は特徴の相対的な向きなどの）認識データを用いて、１又はそれ以上の関心物体を識別することができる。複数の潜在的な関心物体が検出されると、ディスプレイ装置は、関心装置の１つを選択するようにユーザに要求し、（例えば、最も関連性の高い、直近に使用された過去のユーザ行動などに基づいて）これらの装置の１つを選択し、関心物体の１又はそれ以上のための追加情報を表示することなどができる。
【００７１】
ステップ１２１８において、ディスプレイ装置２１２上に表示されているものに対して追加情報２２２（この例では制御パネル）が構成され、この制御パネルが、関心物体２１４に対して隣、上方、又はその他の向きに配置された仮想３Ｄモデル空間内に表示される。この処理は、制御パネルを表示する向きを決定する際に、制御パネルが関心物体に重なっていないかどうか、別の関心物体に対応する他の追加情報に重なっていないかどうか、又は別の関心物体に重なっていないかどうかなどを考慮することができる。このような場合、処理１２１０は、表示しようとしている制御パネル（及び／又は他の関心物体に関連するその他の追加情報）に関し、位置の変更、向きの変更、フォーマットの変更、又はその他の動作を行うことができる。重ならない制御パネルの位置が見つからない場合などのいくつかの例では、ディスプレイ装置が、ユーザにディスプレイ装置２１２を（例えば、横向きから縦向きに）回転させるように促すことができる。いくつかの例では、処理１２１０がステップ１２１４に戻って前方カメラからビデオ及び／又は画像を取り込み続けることができる。
【００７２】
図１３に、いくつかの実施形態による、ディスプレイ装置２１２に対するユーザ２１６の向きを検出する処理１３１０の簡略フロー図を示す。この場合も、処理１３１０を図１２の処理１２１０及び／又はその他の処理と協働的に利用することができる。ステップ１３１２において、（通常、ユーザがディスプレイ３１２を見ている時にはユーザの方を向いている）ディスプレイ側カメラ３２０〜３２１を作動させる。頭及び／又は眼の追跡ライブラリ、ソフトウェア及び／又はアプリケーションを作動させて、ユーザの相対的位置を検出し追跡することができる。ステップ１３１４において、ディスプレイ装置は、１又はそれ以上のディスプレイ側カメラからビデオ及び／又は画像を受け取り、図４Ａ〜図９に関連して上述したように、これらのビデオ及び／又は画像を追跡ライブラリに関連して処理してユーザの凝視している向き（頭及び眼の位置／向き及び／又は角度など）を取得する。
【００７３】
ステップ１３１６において、前方カメラ３３４〜３３５によって取り込まれた視野角及び／又は画像部分４１２〜４１７を判断する。いくつかの例では、取り込み画像の表示すべき部分の識別が、仮想カメラの向きを識別すること、及びディスプレイ装置２１２に対するユーザの頭及び／又は眼の位置及び／又は向きを通じて識別される仮想的位置を識別することに類似することができる。ステップ１３１８において、前方カメラによって取り込まれた画像部分と協働的に表示するための、表示すべきと判断された追加情報２２２を生成又は描画する。いくつかの例では、追加情報の表示が、１又はそれ以上の前方カメラ３３４、３３５から表示される背景ビデオ部分上に（処理１２１０から取得した追加情報などの）仮想シーンを動画化又は描画することに類似する。また、いくつかの実施形態と共に上述したように、ディスプレイ装置は、透明ディスプレイ３１２を有することができる。これらのタイプのディスプレイ装置では、透明ディスプレイに関するバックプレート及び／又はバックライトを取り外していた場合、前方カメラによって取り込まれた背景ビデオをディスプレイ装置が表示していない間に、追加情報２２２を識別した向きで表示することができる。ステップ１３２０において、ディスプレイ装置２１２のディスプレイ３１２及び／又はタッチ画面の矩形領域に制御パネル要素（又はその他の追加情報）をマッピングする。例えば、制御パネルの相互作用部分をタッチ画面にマッピングして、ディスプレイ装置２１２がユーザのタッチを検出し、ユーザがどの制御要素を作動させようとしているかを識別できるようにする。この場合も、制御パネルの制御要素は、関心物体２１４、関心物体の能力、ディスプレイ装置の能力、ユーザの許可、ユーザのアクセスレベル、及び／又はその他のこのような因子に依存することができる。いくつかの例では、処理１３１０がステップ１３１４に戻って、ディスプレイ装置２１２に対するユーザ２１６の向きを追跡し続けることができる。
【００７４】
図１４に、いくつかの実施形態による、ユーザ２１６がディスプレイ装置２１２と相互作用できるようにし、及び／又は識別された関心物体２１４に関連して追加情報（追加情報の制御パネルなど）を表示する処理１４１０の簡略フロー図を示す。通常、処理１４１０は、図１３の処理１３１０を含む他の処理と協働的に行うことができる。ステップ１４１２において、タッチスクリーンディスプレイ３１２を作動させる。ステップ１４１４において、処理１３１０で生成された、タッチ画面の矩形領域に対するパネル制御の現在のマッピングにアクセスする。
【００７５】
ステップ１４１４において、タッチ画面上におけるユーザのタッチの向きを識別し、ユーザがタッチした位置を制御要素にマッピングする際に、マッピングされた対応する制御要素を識別する。ステップ１４１６において、このマッピングされた１又は複数の制御要素の応答にタッチ情報（例えば、タッチ、ドラッグ、ピンチなどの回数）を転送する。この応答は、タッチ情報に基づく関連動作を識別し、適切な対応を開始及び／又は実行する。制御要素の応答は、例えば、制御パネルのための更新された又は新たなモデルデータの要求、メディアの再生の開始、関心物体２１４への（ＴＶチャンネルの変更などの）制御コマンドの送信、又は提供される応答マップによって決まる実質的にあらゆる１又は複数の関連動作のための呼び出しを行うことができる。いくつかの例では、処理１４１０がステップ１４１４に戻って、タッチ画面とのさらなるユーザインタラクションを待つことができる。
【００７６】
本明細書で説明した方法、技術、システム、装置、サービス、サーバ及びソースなどは、多くの異なるタイプの装置及び／又はシステム上で利用し、実装し、及び／又は実行することができる。図１５を参照すると、いくつかの実施形態による、このようなあらゆる実装に使用できるシステム１５００を示している。システム１５００の１又はそれ以上の構成要素は、例えば、上述した又は後述するディスプレイ装置２１２、関心物体２１４、カメラ３２０〜３２１、３３４〜３３５、ディスプレイ３１２、コンテンツソース、画像処理システム、装置検出及びユーザの向きの追跡などの、上述した又は後述するいずれかのシステム、装置又は機器、又はこのようなシステム、装置又は機器の一部を実装するために使用することができる。しかしながら、システム１５００又はシステム１５００のいずれかの部分の使用が必ず必要なわけではない。
【００７７】
一例として、システム１５００は、コントローラ１５１０、ユーザインターフェイス１５１６、１又はそれ以上の通信リンク、パス又はバスなど１５２０を含むことができる。システム１５００には、電源又は電力供給装置（図示せず）が含まれ、又は結合される。いくつかの実施形態は、１又はそれ以上のカメラ１５３０、入出力ポート又はインターフェイス１５３２、１又はそれ以上の通信インターフェイス、ポート、トランシーバ１５３４、及び／又はその他のこのような構成要素をさらに含む。コントローラ１５１０は、１又はそれ以上のプロセッサ１５１２、マイクロプロセッサ、中央処理装置、ロジック、メモリ１５１４、ローカルデジタルストレージ、ファームウェア及び／又はその他の制御ハードウェア及び／又はソフトウェアを通じて実装することができ、このコントローラ１５１０を使用して、本明細書で説明した方法及び技術のステップを実行し、又はこれらの実行を支援するとともに、様々な通信、プログラム、コンテンツ、リスト化、サービス、インターフェイスなどを制御することができる。ユーザは、ユーザインターフェイス１５１６を用いてシステム１５００と相互作用し、このシステムを通じて情報を受け取ることができる。ユーザインターフェイス１５１６は、ディスプレイ１５２２を含み、場合によっては、システム１５００の一部とすること、或いは有線又は無線で結合することができる、遠隔制御装置、キーボード、マウス、トラックボール、ゲームコントローラ、ボタン、タッチ画面などの１又はそれ以上のユーザ入力部１５２４も含む。
【００７８】
システム１５００は、１又はそれ以上の通信トランシーバ１５３４により、分散ネットワーク、ローカルネットワーク、インターネット、通信リンク１５２０、他の装置との間の他のネットワーク又は通信チャネル、及び／又はその他のこのような通信を介して通信することができる。さらに、トランシーバ１５３４は、有線、無線、光、光ファイバケーブル、又はその他のこのような通信構成又はこのような通信の組み合わせに合わせて構成することができる。システム１５００は、Ｉ／Ｏポートにより、他の構成要素、センサ及び周辺装置などに結合することができる。
【００７９】
システム１５００は、コントローラ１５１０を含む制御システム及び／又はプロセッサベースシステムの例を含む。この場合も、コントローラ１５１０は、１又はそれ以上のプロセッサ、コントローラ、中央処理装置、ロジック及びソフトウェアなどを通じて実装することができる。さらに、いくつかの実装では、プロセッサ１５１２がマルチプロセッサ機能を提供することができる。
【００８０】
通常、プロセッサ１５１２がアクセスできるメモリ１５１４は、少なくともプロセッサ１５１２によりアクセスされる１又はそれ以上のプロセッサ可読媒体及び／又はコンピュータ可読媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ及び／又はその他のメモリ技術などの揮発性及び／又は不揮発性媒体を含むことができる。さらに、メモリ１５１４は、システム１５００の内部及びコントローラ１５１０の内部に存在するように示しているが、内部メモリ、外部メモリ、又は内部メモリと外部メモリの組み合わせとすることができる。同様に、メモリ１５１４の一部又は全部が、プロセッサ１５１２の内部に存在することもできる。外部メモリは、以下に限定されるわけではないが、フラッシュメモリセキュアデジタル（ＳＤ）カード、ユニバーサルシリアルバス（ＵＳＢ）スティック又はドライブ、その他のメモリカード、ハードドライブ、及びその他のこのようなメモリ又はこのようなメモリの組み合わせなどの実質的にあらゆる関連メモリとすることができる。メモリ１５１４は、コード、ソフトウェア、アプリケーション、実行ファイル、スクリプト、情報、パラメータ、データ、コンテンツ、マルチメディアコンテンツ、座標情報、３Ｄ仮想環境座標、プログラミング、プログラム、メディアストリーム、メディアファイル、テキストコンテンツ、識別子、ログ又は履歴データ及びユーザ情報などを記憶することができる。
【００８１】
上述した又は後述する実施形態、方法、処理、手法及び／又は技術の１又はそれ以上は、プロセッサベースシステムにより実行可能な１又はそれ以上のコンピュータプログラムに実装することができる。一例として、このようなプロセッサベースシステムは、プロセッサベースシステム１５００、コンピュータ、タブレット、マルチメディアプレーヤ、スマートフォン、カメラなどを含むことができる。このようなコンピュータプログラムは、上述した又は後述する方法、処理及び／又は技術の様々なステップ及び／又は機能を実行するために使用することができる。すなわち、これらのコンピュータプログラムは、上述した又は後述する機能をプロセッサベースシステムが実行又は達成するように、又はプロセッサベースシステムをそのように構成するように適合させることができる。例えば、このようなコンピュータプログラムは、関心物体に関連する追加情報を表示するための、及び一般に関心物体を含む取り込み画像又はビデオを表示しながら、この関心物体に関連する追加情報を仮想的に表示するための上述した又は後述するステップ、処理又は技術のいずれかの実施形態を実施するために使用することができる。別の例として、このようなコンピュータプログラムは、上述した又は後述する実施形態、方法、処理、手法及び／又は技術のいずれか１つ又はそれ以上を使用するいずれかのタイプのツール又は同様のユーティリティを実施するために使用することもできる。いくつかの実施形態では、上述した又は後述する方法、処理及び／又は技術の様々なステップ及び／又は機能を実行するために、コンピュータプログラム内のプログラムコードモジュール、ループ、サブルーチンなどを使用することができる。いくつかの実施形態では、これらのコンピュータプログラムを、本明細書で説明した１又は複数のコンピュータ可読記憶媒体又は記録媒体のいずれかなどの、１又は複数のコンピュータ可読記憶媒体又は記録媒体上に記憶又は具体化することができる。
【００８２】
従って、いくつかの実施形態は、プロセッサ又はコンピュータに入力するためのコンピュータプログラムを具体化するように構成された媒体と、上述した又は後述する実施形態、方法、処理、手法及び／又は技術のいずれか１つ又はそれ以上に含まれるステップのいずれか１つ又はそれ以上を含むステップをプロセッサ又はコンピュータに実施又は実行させるように構成された、媒体内に具体化されるコンピュータプログラムとを含むプロセッサ又はコンピュータプログラム製品を提供する。例えば、いくつかの実施形態は、コンピュータシミュレーションと共に使用するための１又はそれ以上のコンピュータプログラムを記憶する１又はそれ以上のコンピュータ可読記憶媒体を提供し、この１又はそれ以上のコンピュータプログラムは、コンピュータ及び／又はプロセッサベースシステムに、ディスプレイ装置の１又はそれ以上のカメラを用いて、一連のビデオ画像を含むビデオを第１の方向に沿って取り込むステップと、ビデオ内に取り込まれた関心物体を検出するステップと、この関心物体に対応する追加情報を取得するステップと、第１の方向とは反対を向いたディスプレイ装置のディスプレイに対するユーザの向きを識別するステップと、この識別されたディスプレイに対するユーザの向きに基づいて、ビデオ画像の各々のうちのディスプレイ上に表示する部分を決定し、ビデオ画像の部分が、表示時に、ユーザにとって、ユーザと関心物体の間にディスプレイ装置が存在しないかのごとく見えるよう構成されるようにするステップと、ビデオ画像の部分を取り込む際に、ディスプレイ装置を通じてビデオ画像の部分を表示すると同時に、関心物体と協働して追加情報を表示するステップとを実行させるように構成される。
【００８３】
他の実施形態は、コンピュータシミュレーションと共に使用されるように構成された１又はそれ以上のコンピュータプログラムを記憶する１又はそれ以上のコンピュータ可読記憶媒体を提供し、この１又はそれ以上のコンピュータプログラムは、コンピュータ及び／又はプロセッサベースシステムに、第１の方向に沿ってビデオ画像を取り込むステップと、ビデオ画像内に取り込まれ第１の関心物体を識別するステップと、この関心物体に対応する追加情報を取得するステップと、ディスプレイに対するユーザの向きを識別するステップと、この識別されたディスプレイに対するユーザの向きに基づいて、ビデオ画像の各々のうちのディスプレイ上に表示する部分を決定するステップと、ビデオ画像の部分を取り込む際にこれらを表示すると同時に、関心物体と協働して追加情報を表示するステップとを実行させるように構成される。
【００８４】
上述したように、いくつかの実施形態は、ビデオ画像内に取り込まれた１又はそれ以上の関心物体を識別する。いくつかの例では、複数の関心装置を識別することができるが、提供する追加情報２２２は、全ての潜在的な関心装置未満となるように制限することができる。例えば、提供する追加情報は、これらの追加情報の一部又は全部を提供し、又はディスプレイ装置２１２を追加情報のソースに別様に向けることができる装置に制限することができる。別の例では、一部の装置の電源をオフにし、従ってこれらの電源をオフにした装置に追加情報が関連しないようにすることができる。別の例では、ディスプレイ装置２１２が、（例えば、タッチスクリーンディスプレイ３１２を通じてユーザに１又はそれ以上の関心装置を選択させ、潜在的な物体のリストから物体を選択させ、ディスプレイ装置２１２とのユーザインタラクション、音声認識及び過去のユーザ履歴などに基づいて関心物体を識別させることにより）ユーザ２１６に潜在的な関心物体の１つ又はそれ以上を選択する能力を与えることができる。
【００８５】
追加情報は、ディスプレイ装置２１２上に記憶し、関心物体２１４から取得し、（例えば、インターネットを介してアクセスされる）遠隔ソース又はその他のこのような方法から取得することができる。例えば、ディスプレイ装置２１２は、ローカルエリアネットワークにアクセスして、（例えば、装置ＩＤを含むヘッダに基づいて）関心物体からの通信を識別することができる。いくつかの例では、ディスプレイ装置２１２が関心物体２１４に対して要求を発行することができ、場合によっては、ディスプレイ装置が、何を要求中であるかを知っておく必要があることもある。別の例では、ディスプレイ装置２１２が要求を発行した後に、関心物体２１４が、例えば現在の状態に基づいてメニューを含む追加情報２２２を配信し、その後、関心物体がメニュー選択に応答して追加情報を定期的に同報通信し、この追加情報を関連装置などが受け取ることができる。いくつかの例では、追加情報が、さらなる追加情報に関する選択肢をユーザに与えることができる。例えば、関心物体が動画化した要素を提供し、これが選択されると、観戦中の試合の得点、試合に関する統計、又は試合に出場している選手などを提供することができる。
【００８６】
この場合も、ディスプレイ装置２１２は、関心物体２１４以外の別のソースから追加情報２２２を取得することができる。例えば、ディスプレイ装置２１２は、関心物体を識別し（例えば、顔認識、装置認識、（小売製品の箱上などの）テキスト認識、又は（店舗内の場所などの）場所に基づく認識など）、その後（ローカルデータベース又は遠隔データベースに関わらず、識別された関心物体に依存できる）データベースにアクセスして追加情報を取得することができる。例えば、小売環境では、ディスプレイ装置２１２が関心物体を識別し、ローカルデータベースにアクセスして、（例えば、店の在庫情報、未決注文、欠品商品、クーポン、（例えば、オンス／サーバ／などを単位とする価格などの）価格、比較、レビューなどの）情報を取得することができる。これに加えて又はこれとは別に、ディスプレイ装置２１２は、インターネットを介してデータベースにアクセスし、（例えば、店の在庫情報、未決注文、欠品商品、クーポン、（例えば、オンス／サーバ／などを単位とする価格などの）価格、比較、レビューなどの）追加情報２２２を取得することもできる。顔認識に関しては、ディスプレイ装置２１２は、ローカルに記憶された情報及びソーシャルネットワークサイト情報などを使用することができる。地図及び／又は街路表示情報に関しては、ディスプレイ装置２１２は、（グーグルマップなどの）遠隔ソースにアクセスして関連する追加情報２２２を取得することができる。
【００８７】
通常、ディスプレイ装置２１２は、ディスプレイ装置に対するユーザ２１６の向きに基づく追加情報も表示する。従って、ディスプレイ装置は、ディスプレイ３１２に対するユーザの向きを識別することができる。この向きは、身体、頭、眼又は他の認識に基づくことができる。同様に、頭及び／又は眼の追跡を継続的に更新することもできる。ディスプレイ装置２１２は、１又はそれ以上のディスプレイ側カメラ３２０〜３２１、画像処理及び計算を使用して、前方カメラ３３４〜３３５によって取り込まれた画像又はビデオの関連部分を表示すべきかを判断することができる。ディスプレイ装置２１２は、ユーザの向きについての知識を用いて、前方カメラ３３４〜３３５によって取り込まれた画像又はビデオの関連部分をさらに表示することができる。さらに、通常、これらの関連部分は、ユーザ２１６がディスプレイ装置を通じて効果的に見ているような概観を与えられた表示部分がディスプレイ装置２１２によって表示されるように識別される。さらに、いくつかの実施形態では、ディスプレイ装置２１２が、前方カメラ３３４〜３３５によって取り込まれた画像及び／又はビデオ、及び／又は追加情報を、ユーザの向きに基づく関連する配向で３Ｄ表示することができる。従って、追加情報は、３Ｄ空間に投影されて見えるような空間的位置及び配向で表示することができる。いくつかの実施形態は、ユーザの向きを判断する際に、ユーザのディスプレイ装置２１２からの距離（例えば、ｘ軸）、及びディスプレイ装置に対する角度（例えば、ｙ及びｚ軸）を考慮する。通常、ディスプレイ装置２１２は、前方カメラ３３４〜３３５によって取り込まれた画像又はビデオの識別部分を、画像又はビデオが取り込まれる際に実質的にリアルタイムで表示する。さらに、通常、追加情報は、関心物体と協働的に画像又はビデオの表示部分と同時に表示される。
【００８８】
さらに、ディスプレイ装置は、前方カメラ３３４〜３３５によって取り込まれた画像又はビデオの画像処理を行って、追加コンテンツをどこに表示すべきかを決定することができる。同様に、ディスプレイ装置２１２は、この画像処理により、追加情報を表示できる関連空間に基づいて、表示する追加情報の量、フォント及びその他の関連因子を決定することができる。さらに、これに加えて又はこれとは別に、いくつかの例では、ディスプレイ装置２１２が、追加情報の一部又は全部をオーディオコンテンツとして提供することができる。いくつかの例では、追加情報を識別し、表示する画像又はビデオ部分を識別し、及び／又は表示された画像又はビデオ部分のどこに情報を表示すべきかを識別する際に、ディスプレイ装置２１２の向き、ＧＰＳ情報、加速度計情報、ジャイロスコープ情報及び（例えば、関心物体２１４がディスプレイ装置２１２に戻す）関心物体２１４における画像処理などのその他の因子が考慮される。
【００８９】
本明細書で説明した機能ユニットの多くについては、これらの実装非依存性をより一層強調するために、装置、システムモジュール及び構成要素として表記した。例えば、装置及び／又はシステムは、カスタムＶＬＳＩ回路又はゲートアレイ、ロジックチップ、トランジスタ又はその他の個別部品などの市販の半導体を含むハードウェア回路として実装することができる。装置及びシステムは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック又はプログラマブルロジック装置などのプログラマブルハードウェア装置に実装することもできる。
【００９０】
装置及びシステムは、様々なタイプのプロセッサにより実行されるソフトウェアに実装することもできる。例えば、識別される実行可能コードのモジュールは、例えば、オブジェクト、手続き又は関数として体系化できるコンピュータ命令の１又はそれ以上の物理又は論理ブロックを含むことができる。それにも関わらず、識別されたモジュールの実行ファイルは、物理的に共に位置する必要はなく、論理的に結合された時に装置又はシステムを構成して、上述した装置又はシステムのための目的を達成する異なる場所に記憶された異種の命令を含むことができる。
【００９１】
実際に、実行可能コードの装置又はシステムは、単一の命令とすることも、又は多くの命令とすることもでき、さらには複数の異なるコードセグメントにわたって、異なるプログラム間で、及び複数のメモリ装置にわたって分散することもできる。同様に、本明細書では、装置又はシステム内で動作データを識別し、あらゆる好適な形で具体化し、あらゆる好適なタイプのデータ構造内で体系化することができる。これらの動作データは、単一のデータセットとしてまとめることも、又は異なるストレージ装置にわたらせることを含め、異なる場所にわたって分散させ、システム又はネットワーク上の電子信号としてのみ少なくとも部分的に存在させることもできる。
【００９２】
本明細書で開示した発明については、特定の実施形態、その実施例及び用途を用いて説明したが、当業者であれば、特許請求の範囲に示す本発明の範囲から逸脱することなく数多くの修正及び変更を行うことができる。
【符号の説明】
【００９３】
１１０  処理
１１２  ビデオを取り込む
１１４  関心物体を識別
１１６  追加情報を取得
１１８  ユーザの向きを識別
１２０  表示する画像部分を決定
１２２  ビデオ画像部分を表示
【図１】
2015522834.tif 000003
【図２Ａ】
2015522834.tif 000004
【図２Ｂ】
2015522834.tif 000005
【図３Ａ】
2015522834.tif 000006
【図３Ｂ】
2015522834.tif 000007
【図４Ａ】
2015522834.tif 000008
【図４Ｂ】
2015522834.tif 000009
【図５Ａ】
2015522834.tif 000010
【図５Ｂ】
2015522834.tif 000011
【図５Ｃ】
2015522834.tif 000012
【図５Ｄ】
2015522834.tif 000013
【図６】
2015522834.tif 000014
【図７】
2015522834.tif 000015
【図８】
2015522834.tif 000016
【図９】
2015522834.tif 000017
【図１０】
2015522834.tif 000018
【図１１】
2015522834.tif 000019
【図１２】
2015522834.tif 000020
【図１３】
2015522834.tif 000021
【図１４】
2015522834.tif 000022
【図１５】
2015522834.tif 000023
【国際調査報告】
2015522834.tif 000024