(57)【特許請求の範囲】
【請求項１】
仮想現実システムにおける方法であって：
デジタルカメラを使用して該デジタルカメラの視野により制限される周囲環境に関する情報を担持する映像フレームを有する入力映像ストリームを捕捉する段階；
前記デジタルカメラに結合されたハンドヘルドコンピュータにおいて前記入力映像ストリームを処理する段階；
前記処理する段階における、前記ハンドヘルドコンピュータにより前記入力映像ストリームから動きパラメータを抽出する段階であって、抽出された前記動きパラメータは、前記入力映像ストリームにおける顕著な特徴の位置のトラッキングを有し、前記顕著な特徴の位置のトラッキングは、
第１フレームにおける顕著な特徴の位置を測定することと、
次のフレームにおける顕著な特徴の位置を測定することと、
前記次のフレームにおける顕著な特徴の位置に対して前記第１フレームにおける顕著な特徴の位置を比較することと、
を更に有する、段階；並びに
前記処理する段階における、前記ハンドヘルドコンピュータにより前記入力映像ストリームから抽出された動きパラメータに基づいて仮想環境のレンダリングシーンを規定するパラメータを調節する段階；
を有する方法であり、
前記調節されたパラメータは、現時間において及び前時間において得られたユーザの垂直方向の視線角度と水平方向の視線角度との間の比較に基づき、そして得られた前記垂直方向の視線角度及び前記水平方向の視線角度に基づいて推定されるユーザの垂直方向の視線角度及び水平方向の視線角度を有することが可能である；
方法。
【請求項２】
請求項１に記載の方法であって、調節されたシーン規定パラメータに基づいて、前記調節する段階の後に表示装置において前記仮想環境の調節されたレンダリングシーンを提供する段階を更に有する、方法。
【請求項３】
請求項１に記載の方法であって、前記調節する段階の前に前記入力映像ストリームからノイズをフィルタリングする段階を更に有する、方法。
【請求項４】
請求項１に記載の方法であって、前記動きパラメータの前記抽出は前記入力映像ストリームの主な動き分析を有し、該主な動き分析は：
前記入力映像ストリームの画素のオプティカルフローを計算すること；及び
前記オプティカルフローから統計的に支配的な動きを抽出すること；
を有する、方法。
【請求項５】
請求項４に記載の方法であって、前記統計的に支配的な動きを前記抽出することは：
前記入力映像ストリームの複数の画像フレームについての画素の前記オプティカルフローの計算の結果をキャッシュすること；及び
前記統計的に支配的な動きを決定するように前記キャッシュされた結果の主な成分分析を実行すること；
を有する、方法。
【請求項６】
請求項４に記載の方法であって、前記の画素のオプティカルフローを計算することは、ユーザが前記ハンドヘルドコンピュータを動かすときに前記ハンドヘルドコンピュータに対する背景領域画像の相対的動きを決定することを有する、方法。
【請求項７】
請求項１に記載の方法であって、前記動きパラメータの前記抽出はユーザの顔の画像の動きをトラッキングすることを有する、方法。
【請求項８】
請求項７に記載の方法であって、前記の動きのトラッキングは、顔の画像の周りのバウンディングボックスパラメータにより規定されるバウンディングボックスを生成することを更に有する、方法。
【請求項９】
請求項８に記載の方法であって、前記調節はズーミングを有し、該ズーミングは最初の顔の画像の周りのバウンディングボックスのサイズに対して現時間における顔の画像の周りのバウンディングボックスのサイズを比較することにより決定される、方法。
【請求項１０】
請求項８に記載の方法であって、前記調節はロール角を調節することを有し、前記ロール角の調節は最初の顔の画像の周りのバウンディングボックスのチルトに対して現時間における顔の画像の周りのバウンディングボックスのチルトを比較することにより決定される、方法。
【請求項１１】
請求項８に記載の方法であって、前記調節は仰角における変化についての調節であって、前時間において測定されたバウンディングボックスパラメータの垂直位置に対して現時間において測定されたバウンディングボックスパラメータの垂直位置を比較することにより決定される仰角における変化についての調節、を有する、方法。
【請求項１２】
請求項８に記載の方法であって、前記調節は方位角における変化についての調節であって、前時間において測定されたバウンディングボックスパラメータの水平位置に対して現時間において測定されたバウンディングボックスパラメータの水平位置を比較することにより決定される方位角における変化についての調節、を有する、方法。
【請求項１３】
請求項１に記載の方法であって、前記動きパラメータの前記抽出は所定時間インターバルにおいてユーザの視線方向のパラメータを測定することを有する、方法。
【請求項１４】
請求項１３に記載の方法であって、前記調節は方位角における変化についての調節であって、前の時間において測定された水平視線角度に対して現時間において測定された水平視線角度を比較することにより決定される方位角における変化についての調節、を有する、方法。
【請求項１５】
請求項１３に記載の方法であって、調節は仰角における変化についての調節であって、前時間において測定された垂直視線角度に対して現時間において測定された垂直視線角度を比較することにより決定される仰角における変化についての調節、を有する、方法。
【請求項１６】
入力映像ストリームを捕捉するためのデジタルカメラであって、デジタルカメラの視野により制限される周囲環境に関する情報を担持する映像フレームを有する、デジタルカメラ；並びに
前記デジタルカメラに結合されたハンドヘルドコンピュータであって、前記入力映像ストリームの動き分析に基づいて仮想環境のレンダリングシーンを規定するパラメータを調節するため及び前記入力映像ストリームの前記動き分析を実行するために、前記デジタルカメラから前記入力映像ストリームを受け入れる、ハンドヘルドコンピュータ；
を有する装置であり、
前記調節されるパラメータは、現時間において及び前時間において得られたユーザの垂直方向の視線角度と水平方向の視線角度との間の比較に基づき、そして得られた前記垂直方向の視線角度及び前記水平方向の視線角度に基づいて推定されるユーザの垂直方向の視線角度及び水平方向の視線角度を有することが可能である；
装置。
【請求項１７】
請求項１６に記載の装置であって、前記仮想環境の前記レンダリングシーンを表示する表示装置を更に有する、装置。
【請求項１８】
請求項１７に記載の装置であって、表示装置はハンドヘルドコンピュータの構成要素である、ことを特徴とする装置。
【請求項１９】
請求項１６に記載の装置であって、前記動き分析は前記入力映像ストリームの主な動き分析を有し、該主な動き分析は：
前記入力映像ストリームの画素のオプティカルフローを計算すること；及び
前記オプティカルフローから統計的に支配的な動きを抽出すること；
を有する、装置。
【請求項２０】
請求項１６に記載の装置であって、前記動き分析は顔の動きをトラッキングすることを有する、装置。
【請求項２１】
複数の命令を記憶している機械読み取り可能媒体であって、機械により実行される場合に、機械が、方法であって：
デジタルカメラを使用して該デジタルカメラの視野により制限される周囲環境に関する情報を担持する映像フレームを有する入力映像ストリームを捕捉する段階；
前記デジタルカメラに結合されたハンドヘルドコンピュータにおいて前記入力映像ストリームを処理する段階；
前記処理する段階における、前記ハンドヘルドコンピュータにより前記入力映像ストリームから動きパラメータを抽出する段階であって、抽出された前記動きパラメータは、前記入力映像ストリームにおける顕著な特徴の位置のトラッキングを有し、前記顕著な特徴の位置のトラッキングは、
第１フレームにおける顕著な特徴の位置を測定することと、
次のフレームにおける顕著な特徴の位置を測定することと、
前記次のフレームにおける顕著な特徴の位置に対して前記第１フレームにおける顕著な特徴の位置を比較することと、
を更に有する、段階；並びに
前記処理する段階における、前記ハンドヘルドコンピュータにより前記入力映像ストリームから抽出された動きパラメータに基づいて仮想環境のレンダリングシーンを規定するパラメータを調節する段階；
を有する方法、を実行するようにする、機械読み取り可能媒体であり、
前記調節されたパラメータは、現時間において及び前時間において得られたユーザの垂直方向の視線角度と水平方向の視線角度との間の比較に基づき、そして得られた前記垂直方向の視線角度及び前記水平方向の視線角度に基づいて推定されるユーザの垂直方向の視線角度及び水平方向の視線角度を有することが可能である；
機械読み取り可能媒体。
【請求項２２】
請求項２１に記載の機械読み取り可能媒体であって、前記動きパラメータの前記抽出は前記入力映像ストリームの画素フロー分析を有し、該画素フロー分析は：
入力映像ストリームの画素のオプティカルフローを計算すること；及び
オプティカルフローから統計的に支配的な動きを抽出すること；
を有する、機械読み取り可能媒体。
【請求項２３】
ハンドヘルドコンピュータにおけるプロセッシングユニット；
バスを介して前記プロセッシングユニットに結合されているメモリ；及び
デジタルカメラを使用して該デジタルカメラの視野により制限される周囲環境に関する情報を担持する映像フレームを有する入力映像ストリームを捕捉するために、且つ前記ハンドヘルドコンピュータにより前記入力映像ストリームから抽出された動きパラメータに基づいて仮想環境のレンダリングシーンを規定するパラメータを調節するために、前記プロセッシングユニットにより前記メモリから実行されるプロセスをレンダリングする仮想シーン；
を有するシステムであって、
前記調節されるパラメータは、現時間において及び前時間において得られたユーザの垂直方向の視線角度と水平方向の視線角度との間の比較に基づき、そして得られた前記垂直方向の視線角度及び前記水平方向の視線角度に基づいて推定されるユーザの垂直方向の視線角度及び水平方向の視線角度を有することが可能である；
システム。
【請求項２４】
請求項２３に記載のシステムであって、前記動きパラメータの前記抽出は前記入力映像ストリームの主な動き分析を有し、該主な動き分析は：
前記入力映像ストリームの画素のオプティカルフローを計算すること；及び
オプティカルフローから統計的に支配的な動きを抽出すること；
を有する、システム。
【請求項２５】
請求項２３に記載のシステムであって、前記動きパラメータの抽出は顔の動きのトラッキングを有する、システム。
【請求項２６】
サーバ及びクライアントに結合されている仮想シーンレンダリング装置であって、該仮想シーンレンダリング装置はハンドヘルド装置に結合されたデジタルカメラを有し、該デジタルカメラは該デジタルカメラの視野により制限された周囲環境に関する情報を担持する映像フレームを有する入力映像ストリームを捕捉する、仮想シーンレンダリング装置；及び
前記入力映像ストリームを処理し、
前記デジタルカメラの視覚的動きに関してデータを抽出し、
前記入力映像ストリームの動き分析を実行し、
前記入力映像ストリームの前記動き分析に基づいて仮想環境のレンダリング仮想シーンを規定するパラメータを調節する、
前記ハンドヘルド装置；
を有する、システムであって、
前記仮想シーンは、前記仮想シーンレンダリング装置、前記サーバ及び前記クライアントの間に分配される；
システムであり、
前記調節されるパラメータは、現時間において及び前時間において得られたユーザの垂直方向の視線角度と水平方向の視線角度との間の比較に基づき、そして得られた前記垂直方向の視線角度及び前記水平方向の視線角度に基づいて推定されるユーザの垂直方向の視線角度及び水平方向の視線角度を有することが可能である；
システム。
【請求項２７】
請求項２６に記載のシステムであって、前記仮想環境の調節されたレンダリングシーンは、調節されたシーン規定パラメータに基づいて、前記クライアントのコンピュータに結合されている表示装置において提供される、システム。
【請求項２８】
請求項２６に記載のシステムであって、前記動き分析は前記入力映像ストリームにおいて顕著な特徴の位置のトラッキングを有する、システム。
【請求項２９】
請求項２６に記載のシステムであって、前記動き分析は前記入力映像ストリームの主な動き分析を有し、該主な動き分析は：
前記入力映像ストリームの画素のオプティカルフローを計算すること；及び
前記オプティカルフローから統計的に支配的な動きを抽出すること；
を有する、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、仮想現実システムに関し、特に、携帯用仮想現実システムに関する。
【背景技術】
【０００２】
仮想現実（ＶＲ）システムはコンピュータグラフィクス研究室において一般的になってきた。しかしながら、この技術は、民生用に広く現実化させる必要はない。殆どの仮想空間システムは、仮想環境にいるかのような感覚を実現するために、“ＶＲゴーグル”、“ＶＲヘルメット”および“ヘッドアップディスプレイ”のような特殊な表示システムを使用する。そのような表示システムは、ユーザの眼のすぐ前に高解像度表示装置を連続的に置くヘルメットとして実行されることが可能である。システムはまた、代表的には、インタラクティブなフレームレートにおいて高性能な３Ｄグラフィクスを提供することができるホストプロセッシングシステムを有する。
【０００３】
ヘルメットは位置および方向トラッキング装置と共に備えられることができる。そのような装置は、ヘルメットの装着者の略３段の位置および方向の６次元表示を生成することができる。６次元は位置（ｘ，ｙ，ｚ）および方向（方位角、仰角、ロール角）として記録される。この情報は、ホストプロセッサに毎秒数十乃至数百回のオーダーで送信され、ヘルメットにおいて表示される３Ｄ画像を動的に更新するために用いられる。その結果は、ユーザが現実世界において彼の頭を動かすとき、そのシステムは仮想世界においてユーザが彼の頭を動かしていることをシミュレートする画像を表示する。そのシステムは、仮想世界を歩き回り且つ観測することができる感覚をユーザに与えることができる。仮想世界におけるインタラクションは、物理的世界における自然な動きによりなされるために、“自然”である。
【０００４】
実行するための１つの技術は、天井に取り付けられた３次元の電磁場エミッタを使用する。ヘルメットは、磁場を読み取り且つ受信装置の位置と方向を決定することができる受信装置を有する。次いで、受信装置は、シリアルケーブルによりホストコンピュータにこのデータを送信する。
【０００５】
しかしながら、現在の仮想現実技術は、その利点にも拘わらず、幾つかの問題点を有している。先ず、配置の限定が非常に厳しく、その技術を使用することが可能である場所は極めて限定される。仮想現実システムは、代表的には、そのシステムと電磁場ジェネレータを収容するための専用の部屋を必要とする。さらに、表示装置とトラッキングシステムは、表示装置のレンダリングと位置処理を実行するホストシステムに固定長さのケーブルをしばしば必要とする。それ故、そのようなシステムは本質的に非携帯である。
【０００６】
他の問題は、ＶＲヘルメットは肉体的に快適ではないことである。多くのヘルメットは重過ぎて長時間被っていることはできない。さらに、ＶＲシミュレータの病気は、よく報告される問題点である。シミュレータの病気の問題に対して提案された解決方法は、ユーザに現実世界の視覚的特徴（現実世界のオーバーレイされる小さい映像窓かまたは現実世界について固定されたままになっている合成対象のどちらか）を与えることが必要である。さらに、現在の表示装置は、それらが、長い時間、近景に焦点を合わせることを必要とするため、ユーザの眼にしばしば負担を掛ける。また、多くのユーザは強力な電磁場において没頭して、そのように長時間、時間を費やす傾向にはない。
【０００７】
最後に、ＶＲヘルメットを被ることは社会的には恥ずかしいこととなっている。ヘルメットを被っている人は、他の人の前では、ヘッドアップ表示装置を被ることは不快または奇異に感じることとなる。このような装置を身に着けることにより、他の人と会うことが難しくなり、このために、社会的な接触が減少することがあり得る。逆もまた真である。すなわち、人は、ＶＲヘルメットを被っている人と付き合うことを快く思わないことがあり得る。
【発明の開示】
【課題を解決するための手段】
【０００８】
携帯用仮想現実について開示する。以下の説明においては、説明を目的として、本発明の十分な理解を提供するために、数多くの具体的な詳細について説明する。しかしながら、本発明を実行するためにこれらの具体的な詳細を説明する必要がないことを当業者は認識するであろう。他の例においては、本発明を不必要に曖昧にすることを避けるために、周知の構造および装置をブロック図の形式で示している。
【０００９】
デジタルカメラは、カメラの視野により制限される周囲の環境についての情報を担持する映像フレームから構成される入力映像ストリームを捕捉する。入力映像ストリームは、カメラに結合されたハンドヘルドコンピュータにより処理される。仮想環境のレンダリングシーンを規定するパラメータは、プロセッシングを行うハンドヘルドコンピュータにより入力映像ストリームから抽出される動きパラメータに基づいて調節される。本発明を実施することにより、真に携帯用仮想現実（ＶＲ）システムを提供する。また、本発明の実施により、ユーザが身に着けなければならない、かさばっていて且つ不快な装置についての必要性が排除される。また、それは現在のＶＲ技術に関連する社会的障壁を減少させる。さらに、そのシステムのコストは現在のシステムのそれから非常に減少されたものとなる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施形態のシステムレベルの概要を示している。仮想シーンレンダリング装置１１０は、入力映像ストリームを捕捉するためのデジタルカメラであって、映像ストリームはデジタルカメラの視野に関する情報を担持する画像のような画像から構成される、デジタルカメラと、デジタルカメラに結合されるハンドヘルドコンピュータとから構成されることが可能である。一実施形態において、ハンドヘルドコンピュータは、デジタルカメラからの入力映像ストリームを受け取り、入力映像ストリームの動き分析を実行する。ハンドヘルドコンピュータは、入力映像ストリームに動き分析に基づいて、仮想環境のレンダリングに関連するパラメータを調節する。
【００１１】
仮想シーンレンダリング装置１１０はスタンドアロンまたはネットワーク環境において動作されることが可能であるが、本発明はそれに限定されるものではない。ネットワークを含む一実施形態においては、アプリケーションは複数のプロセッサに亘って行き渡るようにされる。他の実施形態においては、装置１１０は入力映像ストリームを捕捉する。映像ストリームの処理は、装置１１０、或いはサーバ１２０に結合されたクライアントのコンピュータ１３０または装置１１０に結合されたサーバ１２０におけるプロセッサのような他のプロセッサにおいて実行されることが可能である。仮想シーンは、クライアントのコンピュータ１３０に結合される表示装置１４０のような遠隔の表示装置において調節され且つレンダリングされることが可能である。そのようなアプリケーションは、遠隔の視聴者に仮想シーンを提供するために用いられることが可能であるが、本発明はそれに限定されるものではない。
【００１２】
他の実施形態においては、仮想シーンレンダリング装置１１０は、図２Ａの装置２００、図２Ｂの装置２５０または図２Ｃの装置２９０のような装置とすることが可能である。
【００１３】
図２Ａは、本発明に従った仮想シーンレンダリング装置の一実施形態についてのブロック図である。デジタルカメラ２１０は、デジタルカメラの視野により制限される周囲の環境の画像から構成される入力映像ストリームを捕捉する。ハンドヘルドコンピュータ２２０は、デジタルカメラ２１０から入力映像ストリームを受け取り且つ入力映像ストリームの動き分析を実行するために、デジタルカメラ２１０に結合される。ハンドヘルドコンピュータ２２０は、入力ビデオストリームの動き分析に基づいて、仮想環境のレンダリングシーンを調節する。
【００１４】
図２Ｂは、仮想シーンレンダリング装置の他の実施形態についてのブロック図である。表示装置２３０はハンドヘルドコンピュータ２２０に結合されている。一実施形態においては、表示装置２３０はハンドヘルドコンピュータ２２０の構成要素である。他の実施形態においては、表示装置２３０は、例えば、液晶表示装置（ＬＣＤ）のような当該分野のハンドヘルドコンピュータ表示装置のいずれかの状態をとる。ノイズフィルタ２４０はまた、ハンドヘルドコンピュータ２２０に結合されることが可能である。ノイズフィルタ２４０は、仮想シーンがレンダリングされる前に、入力映像ストリームからノイズをフィルタリングすることが可能である。ノイズのフィルタリングは、ユーザの手の中の装置のブレの影響を減少させるために必要であるものである。  
入力映像ストリームにおける画像フレームは、カメラの視野により可視的な周囲の環境の割合についての情報を伝達する。ハンドヘルドコンピュータ２２０は、眼に見える動きに関するデータを得るために入力映像システムを処理する。仮想環境のシーンは、表示装置２３０において連続的にレンダリングされることが可能である。仮想シーンを調節するために用いられる視点は、入力映像ストリームから抽出される動きパラメータに従って規定される。シーンレンダリング装置２５０の動きは、仮想シーンの調節およびレンダリングを促進する。
【００１５】
図２Ｃは、仮想シーンレンダリング装置のさらに他の実施形態についてのブロック図である。アルゴリズムシステム２６０は、デジタルカメラ２１０とハンドヘルドコンピュータ２２０との間のインタフェースを提供する。アルゴリズムシステム２６０内には、コンピュータ映像サブシステム２７０がある。コンピュータ映像サブシステム２７０は、入力映像ストリームの動き分析を実行する。コンピュータ映像サブシステム２７０は、動き分析を実行するために、顔および背景セグメンテーション、オプティカルフロー推定および／または顔トラッキングを用いることが可能である。また、アルゴリズムシステム２６０内のレンダリングサブシステム２８０は、方位角、仰角、ロール角またはズームを調節するためのコマンドとしてコンピュータ映像サブシステム２７０から出力を受け取り、その出力に基づいて、表示装置２３０において表示されるレンダリングされたシーンを調節する。一実施形態において、ユーザの画像はデジタルカメラ２１０により捕捉され、コンピュータ映像サブシステム２７０により受け取られる。３Ｄレンダリングサブシステム２８０は、コンピュータ映像サブシステム２７０から動き分析情報を受け取り、表示装置２３０において仮想シーンをレンダリングする。
【００１６】
図３は、本発明の実施形態に従って実行される方法のフロー図である。ブロック３０５において、デジタルカメラは、カメラの視野により制限される周囲の環境についての情報を担持する。一実施形態において、映像フレームは周囲環境の画像から構成される。ブロック３１０において、デジタルカメラに結合されたハンドヘルドコンピュータは入力映像ストリームを処理する。ブロック３１５において、仮想環境のレンダリングシーンを規定するパラメータは、処理中にハンドヘルドコンピュータにより入力映像ストリームから抽出された動き分析情報（動きパラメータ）に基づいて調節される。
【００１７】
図４は、本発明の他の実施形態に従って実施される方法についてのフロー図である。ブロック４０５において、デジタルカメラは、カメラの視野により制約された環境についての映像フレーム担持情報から構成される入力映像ストリームを捕捉する。ブロック４１０において、入力映像ストリームは、カメラに結合されたハンドヘルドコンピュータにより受け取られ且つ処理される。ブロック４１５において、仮想環境のレンダリングシーンを規定するパラメータは、ハンドヘルドコンピュータにより入力映像ストリームから抽出された動き分析情報に基づいて調節される。一実施形態においては、この調節はレンダリングから構成される。ブロック４２０において、仮想環境のレンダリングシーンは、調節されたシーン規定パラメータに基づいて、表示装置においてユーザに提供される。ブロック４２５において、ノイズは分析の前に入力映像ストリームからフィルタリングされ、レンダリングが実行される。
【００１８】
図５Ａ乃至５Ｄは、本発明の他の実施形態に従って実行される区別可能な動き分析方法の実施形態についてのフロー図である。図５Ａの実施形態においては、動き分析が、入力映像ストリームにおける１つのまたは複数の顕著な特徴である位置のトラッキングにより実行される。ブロック５０５において、それらの顕著な特徴の位置は第１画像フレームにおいて決定される。ブロック５１０において、顕著な特徴の位置は次の画像フレームについて決定される。ブロック５１５において、顕著な特徴の動きが、長時間に亘り、それらの特徴の位置の評価の関数として推定される。
【００１９】
図５Ｂは、動き分析が入力映像ストリームのオプティカルフローの主な動きを計算することにより実行される他の実施形態を示している。ブロック５２０において、入力映像ストリームの画素のオプティカルフローが計算される。ブロック５２５において、統計的に支配的な動きがオプティカルフローから抽出される。統計的に支配的な動きの抽出は、入力映像ストリームの複数の画像フレームについてのオプティカルフローの計算の結果をキャッシュすることと、統計的に支配的な動きを決定するためにキャッシュされた結果に関して主な成分分析を実行することから構成される。他の実施形態においては、動き分析は、ユーザがハンドヘルドコンピュータを動かすときに、画像における背景領域の主な動きに制限される。背景領域からのユーザの顔の分離は、全体的な動きの推定におけるローバスト性を可能にする。
【００２０】
図５Ｃは、顔の動きに基づいてレンダリングシーンを調節する他の実施形態を示している。ブロック５３０において、ユーザの顔の画像を表すパラメータが測定される。ブロック５３５において、バウンディングボックスが顔の画像の周囲に形成される。バウンディングボックスは、画面上の対象または画像の周囲に配置される不可視の四角形である。バウンディングボクスは、バウンディングボックスパラメータにより規定されることが可能である。ブロック５４０において、ズーミング操作が、最初の顔の画像の周りのバウンディングボックスのチルトに対して現時点の時間における顔の画像の周りのバウンディングボックスのチルトを比較することによりなされる。ブロック５４７において、仰角における変化についての調節が、前の時間において測定されたバウンディングボックスの垂直方向の位置に対して現時点の時間において測定されたバウンディングボックスの垂直方向の位置を比較することによりなされる。ブロック５４８において、方位角における変化の調節が、前の時間において測定されたバウンディングボックスの水平方向の位置に対して現時点の時間において測定されたバウンディングボックスの水平方向の位置を比較することによりなされる。
【００２１】
図５Ｄは、ユーザの視線方向に基づいて、レンダリングシーンを調節する他の実施形態を示している。ブロック５５０において、視線方向のパラメータが、所定時間のインターバルで測定される。視線方向のパラメータは、推定される垂直方向と水平方向の視線角度を含むことが可能であるが、本発明はこれに限定されるものではない。ブロック５５５において、方位角における変化の調節が、前の時間において測定された水平方向の視線角度に対して現時点の時間において測定された水平方向の視線角度を比較することによりなされる。ブロック５６０において、方位角における変化の調節が、前の時間において測定された垂直方向の視線角度に対して現時点の時間において測定された垂直方向の視線角度を比較することによりなされる。
【００２２】
図６は、本発明を実行するために用いることが可能である代表的なコンピュータシステムについての一例を示している。図６はコンピュータシステムの種々の構成要素を示す一方、構成要素を相互接続するいずれかの特定のアーキテクチャまたは方法を示すことを意図するものではなく、それ故、詳細は本発明に関係するものではない。また、より少ない構成要素またはことによるとより多くの構成要素を有するネットワークコンピュータおよび他のデータプロセッシングシステムが、本発明において、用いられることもまた可能であることは理解されるであろう。
【００２３】
図６に示したように、データプロセッシングシステムを構成するコンピュータシステム６０１は、マイクロプロセッサ６０３およびＲＯＭ６０７に揮発性ＲＡＭ６０５および不揮発性メモリを結合させるバス６０２を含む。マイクロプロセッサ６０３は、図６の例に示すように、キャッシュメモリ６０４に結合される。バス６０２は、種々の構成要素と共に相互接続され、また、これらの構成要素６０３、６０４、６０５および６０６を表示制御装置と表示装置６０８とに、並びに、デジタルカメラ、マウス、キーボード、モデム、ネットワークインタフェース、プリンタおよび当該技術分野で周知の他の装置とすることが可能である入力／出力（Ｉ／Ｏ）装置のような周辺機器に接続される。代表的には、入力／出力装置６１０は、入力／出力制御装置６０９によりシステムに結合される。揮発性ＲＡＭ６０５は、代表的には、メモリにおけるデータをリフレッシュしまたは保存するために、連続的に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実施される。不揮発性メモリ６０６は、代表的には、磁気ハードディスクドライブ、磁気オプティカルドライブ、オプティカルドライブまたは電力がシステムから切られた後でさえデータを保存する他のタイプのメモリシステムである。不揮発性メモリはまた、代表的には、ランダムアクセスメモリとするが、これは必ずしも必要とされない。図６は、不揮発性メモリ６０６がデータプロセッシングシステムにおける残りの構成要素に直接結合されるローカル装置であることを示しているが、本発明は、モデムまたはイーサネット（登録商標）インタフェースのようなネットワークインタフェースによりデータプロセッシングシステムに結合されるネットワーク記憶装置のようなシステムから遠く離れた不揮発性メモリを利用することが可能である。バス６０２は、当該技術分野で周知の種々のブリッジ、制御装置および／またはアダプタにより互いに接続される１つまたはそれ以上のバスを含むことが可能である。一実施形態において、Ｉ／Ｏ制御装置６０９は、ＵＳＢ周辺機器を制御するためにＵＳＢ（ユニバーサルシリアルバス）アダプタを含む。
【００２４】
本発明の特徴は、例えば、ソフトウェア等の機械実行可能命令において、少なくとも一部において実施されることが可能であることは、以上の説明から明らかであろう。すなわち、その技術は、ＲＯＭ６０７、揮発性ＲＡＭ６０５、不揮発性メモリ６０６、キャッシュ６０４または遠隔の記憶装置のようなメモリに含まれる命令のシーケンスを実行するマイクロプロセッサのようなプロセッサに応じて、コンピュータシステムまたは他のデータプロセッシングシステムにおいて、実行されることが可能である。種々の実施形態において、配線回路が、本発明を実行するためのソフトウェアの命令と組み合わせて用いられることが可能である。このように、この技術は、ハードウェア回路およびソフトウェアのいずれかの特定の組み合わせに限定されるものではなく、または、データプロセッシングシステムにより実行される命令のためのいずれかの特定のソースに限定されるものではない。さらに、以上の説明を通じて、説明を簡単化するために、ソフトウェアコードにより実行されるかまたはもたらされるものとして種々の機能および操作を説明した。しかしながら、機能がマイクロプロセッサ６０３のようなプロセッサによるコードの実行からもたらされる、そのような表現が意味することを、当業者は認識するであろう。
【００２５】
図７は、本発明に従ったデータプロセッシングシステムを備えて用いられることが可能であるコンピュータ読み取り可能媒体の例を示している。コンピュータ読み取り可能媒体は、デジタルプロセッシングシステムのようなデータプロセッシングシステムにおいて実行されるときにそのシステムが本発明の種々の方法を実行するようにする実行可能なソフトウェアとデータを含む。上記のように、この実行可能なソフトウェアとデータは、例えば、ＲＯＭ６０７，揮発性ＲＡＭ６０５、不揮発性メモリ６０６および／またはキャッシュ６０４を含む種々の場所に記憶されることが可能である。このソフトウェアおよびデータの一部は、これらの記憶装置のいずれか１つに記憶されることが可能である。一実施形態においては、例えば、媒体７０１は、主に、揮発性ＲＡＭ６０５および不揮発性メモリ６０６であることが可能である。ユーザアプリケーション７０３は、例えば、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、インターネットウェブブラウザアプリケーションまたは仮想シーンレンダリングアプリケーション等の、コンピュータシステムにおいて実行されるソフトウェアアプリケーションを表す。オペレーティングシステム７０７は、起動時に、ＲＯＭ６０７に記憶され且つＲＡＭ６０５にロードされることが可能であるオープンファームウェアソフトウェア７１５を含む。ハードウェア状態ソフトウェアおよびハードウェア状態値７１１は、ハードウェア状態値を生成するソフトウェアである。カーネルコード７０９は、オペレーティングシステムのカーネルを表し、多数のタスクを実行する。仮想メモリマネージャソフトウェア７２１は、仮想メモリプロセスを制御する。これは、代表的には、システムの仮想メモリの一部としてデザインされた不揮発性メモリ６０６の一部およびＲＡＭ６０５のような物理的ＲＡＭを含む仮想メモリ全てにおけるデータの状態を表す頁データのマップを保存することを含む。仮想メモリマネージャソフトウェアは、当該技術分野において周知である従来の仮想メモリプロセスを実行する。パワーマネージャソフトウェア７１９は、例えば、システムの電力消費状態に対する変化についてアプリケーション、システムおよび駆動装置に知らせること等の種々の電力管理操作を実行する。ソフトウェアはまた、操作を継続するために十分な電力が存在するかどうかおよび表示装置がシステムの電力状態およびバッテリの状態をユーザに知らせる警告を表示するかどうかを決定するために、コンピュータのバッテリの状態をモニタすることが可能である。ソフトウェア７１７を操作するディスクは、ディスクオペレーティングシステムの従来の機能を実行する。これは、代表的には、揮発性ＲＡＭ６０５のための揮発性メモリとしての役割を果たす多くの実施例における不揮発性メモリ６０６であるハードディスクドライブの動作を制御することを含む。
【００２６】
図３乃至５Ｄにおけるブロックにより表される命令は必ずしも示される順序において実行される必要はなく、ブロックにより表される処理の全ては本発明を実行するために必ずしも必要ではないことをさらに認識されるであろう。
【００２７】
以上の説明においては、本発明について、特定の例としての実施形態を参照して説明した。同時提出の請求の範囲に記載するように、本発明の範囲と広い主旨から逸脱することなく、種々の変更が可能であることは明白であろう。したがって、以上の詳細説明および図は限定を意図するものではなく、例示を意図するものである。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態のシステムレベルの概要を示す図である。
【図２Ａ】本発明に従った仮想シーンレンダリング装置の一実施形態のブロック図である。
【図２Ｂ】仮想シーンレンダリング装置の他の実施形態のブロック図である。
【図２Ｃ】仮想シーンレンダリング装置の他の実施形態のブロック図である。
【図３】本発明の実施形態に従ったコンピュータにより実行される方法のフロー図である。
【図４】本発明の他の実施形態に従ったコンピュータにより実行される方法のフロー図である。
【図５Ａ】本発明の他の実施形態に従って実行される動き分析方法の実施形態のフロー図である。
【図５Ｂ】本発明の他の実施形態に従って実行される動き分析方法の実施形態のフロー図である。
【図５Ｃ】本発明の他の実施形態に従って実行される動き分析方法の実施形態のフロー図である。
【図５Ｄ】本発明の他の実施形態に従って実行される動き分析方法の実施形態のフロー図である。
【図６】本発明を実行するために適切な操作環境を示す図である。
【図７】本発明の一実施形態に従った図６の操作環境のような操作環境において使用されることが可能であるコンピュータ読み取り可能媒体を示す図である。
【図１】
0004181039.tif 000002
【図２Ａ】
0004181039.tif 000003
【図２Ｂ】
0004181039.tif 000004
【図２Ｃ】
0004181039.tif 000005
【図３】
0004181039.tif 000006
【図４】
0004181039.tif 000007
【図５Ａ】
0004181039.tif 000008
【図５Ｂ】
0004181039.tif 000009
【図５Ｃ】
0004181039.tif 000010
【図５Ｄ】
0004181039.tif 000011
【図６】
0004181039.tif 000012
【図７】
0004181039.tif 000013