(57)【特許請求の範囲】
【請求項１】
ユーザのモバイルプラットフォームに対する位置を決定するステップと、
環境に関する表示情報を提供するステップであって、前記表示情報は前記環境の画像および拡張現実データのうちの少なくとも1つを含む、ステップと、
前記ユーザと前記モバイルプラットフォームとの間の視線に整合する、表示するべき前記表示情報の一部を決定するために、前記ユーザの前記モバイルプラットフォームに対する前記位置を使用するステップと、
前記モバイルプラットフォームが前記視線に沿っていない方向を向いているとき、前記ユーザと前記モバイルプラットフォームとの間の前記視線に整合する前記表示情報の前記一部のみを表示するステップと
を含む、方法。
【請求項２】
前記ユーザと前記モバイルプラットフォームとの間の前記視線に整合する前記表示情報の前記一部のみを表示する前記ステップは、前記画像の一部を表示するステップ、拡張現実データを表示するステップ、および前記画像の前記一部上に拡張現実データを表示するステップのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項３】
前記ユーザの前記モバイルプラットフォームに対する前記位置を決定する前記ステップは、
前記モバイルプラットフォーム上の後方カメラによって前記ユーザの画像を取得するステップと、
前記画像内の前記ユーザの前記位置を決定するために前記ユーザの前記画像を分析するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記モバイルプラットフォームと前記ユーザとの間の距離を決定するステップと、
表示するべき前記表示情報の前記一部をさらに決定するために前記モバイルプラットフォームと前記ユーザとの間の前記距離を使用するステップであって、前記表示情報の増加した部分は、前記モバイルプラットフォームと前記ユーザとの間の前記距離が減少するとき表示される、ステップと
をさらに含む、請求項1に記載の方法。
【請求項５】
前記モバイルプラットフォームと前記ユーザとの間の前記距離を決定する前記ステップは、
前記モバイルプラットフォーム上の後方カメラによって前記ユーザの画像を取得するステップと、
前記モバイルプラットフォームと前記ユーザとの間の前記距離を決定するために生体認証を使用して前記ユーザの前記画像を分析するステップと
を含む、請求項4に記載の方法。
【請求項６】
環境に関する表示情報を提供する前記ステップは、モバイルプラットフォーム上の前方カメラによって前記環境の画像を取得するステップを含む、請求項1に記載の方法。
【請求項７】
表示するべき前記表示情報の一部を決定するために前記ユーザの前記モバイルプラットフォームに対する前記位置を使用する前記ステップは、前記視線に整合する前記画像の前記一部を生成するために前記環境の前記画像を切り取るステップを含む、請求項6に記載の方法。
【請求項８】
表示するべき前記表示情報の一部を決定するために前記ユーザの前記モバイルプラットフォームに対する前記位置を使用する前記ステップは、前記モバイルプラットフォームの位置および方位、ならびに前記ユーザの前記モバイルプラットフォームに対する前記位置に基づいて視野を決定するステップと、前記視野に基づいて拡張現実データを取り出すステップとを含む、請求項1に記載の方法。
【請求項９】
前記モバイルプラットフォームは、前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するために、前記環境の画像を取得するための前方カメラと、前記ユーザの画像を取得するための後方カメラとを含む、請求項1に記載の方法。
【請求項１０】
モバイルプラットフォームであって、
前方カメラと、
後方カメラと、
前記前方カメラおよび前記後方カメラからデータを受信するために接続されたプロセッサと、
前記プロセッサに接続されたメモリと、
前記メモリに接続されたディスプレイと、
前記プロセッサに、前記後方カメラによって取得されたユーザの画像に基づいて前記ユーザの前記モバイルプラットフォームに対する位置を決定させ、前記前方カメラによって取得された環境の画像および拡張現実データのうちの少なくとも1つを含む、前記環境に関する表示情報を提供させ、前記ユーザと前記モバイルプラットフォームとの間の視線に整合する、表示するべき前記表示情報の一部を決定するために前記ユーザの前記モバイルプラットフォームに対する前記位置を使用させ、前記ディスプレイ上に前記表示情報の前記一部のみを表示させるように、前記メモリ内に保持され前記プロセッサ内で動作するソフトウェアと
を含む、モバイルプラットフォーム。
【請求項１１】
表示される前記表示情報の前記一部は、前記画像の一部、拡張現実データ、および前記画像の前記一部上の拡張現実データのうちの少なくとも1つを含む、請求項10に記載のモバイルプラットフォーム。
【請求項１２】
前記ソフトウェアは、前記プロセッサに、前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するために前記ユーザの前記画像を分析させる、請求項10に記載のモバイルプラットフォーム。
【請求項１３】
前記ソフトウェアは、前記プロセッサに、前記モバイルプラットフォームと前記ユーザとの間の距離を決定するために生体認証を使用して前記ユーザの前記画像を分析させ、表示するべき前記表示情報の前記一部をさらに決定するために前記モバイルプラットフォームと前記ユーザとの間の前記距離を使用させ、前記表示情報の増加した部分は、前記モバイルプラットフォームと前記ユーザとの間の前記距離が減少するとき表示される、請求項12に記載のモバイルプラットフォーム。
【請求項１４】
前記ソフトウェアは、前記プロセッサに、前記視線に整合する前記画像の一部を生成するために、前記画像を切り取ることによって、表示するべき前記表示情報の一部を決定するように前記ユーザの前記モバイルプラットフォームに対する前記位置を使用させる、請求項10に記載のモバイルプラットフォーム。
【請求項１５】
表示するべき前記表示情報の一部を決定するために前記ユーザの前記モバイルプラットフォームに対する前記位置を前記プロセッサに使用させる前記ソフトウェアは、前記モバイルプラットフォームの位置および方位、ならびに前記ユーザの前記モバイルプラットフォームに対する前記位置に基づいて視野を決定するためのソフトウェアを含み、前記ソフトウェアは前記プロセッサに、前記視野に基づいて拡張現実データを取り出させる、請求項12に記載のモバイルプラットフォーム。
【請求項１６】
ユーザのモバイルプラットフォームに対する位置を決定するための手段と、
環境に関する表示情報を提供するための手段であって、前記表示情報は前記環境の画像および拡張現実データのうちの少なくとも1つを含む、手段と、
前記ユーザと前記モバイルプラットフォームとの間の視線に整合する、表示するべき前記表示情報の一部を決定するために、前記ユーザの前記モバイルプラットフォームに対する前記位置を使用するための手段と、
前記モバイルプラットフォームが前記視線に沿っていない方向を向いているとき、前記ユーザと前記モバイルプラットフォームとの間の前記視線に整合する前記表示情報の前記一部のみを表示するための手段と
を含む、システム。
【請求項１７】
前記ユーザと前記モバイルプラットフォームとの間の前記視線に整合する前記表示情報の前記一部のみを表示するための前記手段は、前記画像の一部、拡張現実データ、および前記画像の前記一部上の拡張現実データのうちの少なくとも1つを表示する、請求項16に記載のシステム。
【請求項１８】
前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するための前記手段は、
前記モバイルプラットフォーム上の後方カメラによって前記ユーザの画像を取得するための手段と、
前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するために前記ユーザの前記画像を分析するための手段と
を含む、請求項16に記載のシステム。
【請求項１９】
前記モバイルプラットフォームと前記ユーザとの間の距離を決定するための手段と、
表示するべき前記表示情報の前記一部を決定するために前記モバイルプラットフォームと前記ユーザとの間の前記距離を使用するための手段であって、前記表示情報の増加した部分は、前記モバイルプラットフォームと前記ユーザとの間の前記距離が減少するとき表示される、手段と
をさらに含む、請求項16に記載のシステム。
【請求項２０】
前記モバイルプラットフォームと前記ユーザとの間の前記距離を決定するための前記手段は、前記モバイルプラットフォームと前記ユーザとの間の前記距離を決定するために前記モバイルプラットフォーム上の後方カメラによって取得する前記ユーザの画像を生体認証で分析するための手段を含む、請求項19に記載のシステム。
【請求項２１】
コンピュータによって実行されるとき、前記コンピュータに動作を実行させるプログラムコードを記録するコンピュータ可読記録媒体であって、前記プログラムコードは、
後方カメラによって取得されたユーザの画像に基づいて、前記ユーザのモバイルプラットフォームに対する位置を決定するためのプログラムコードと、
環境に関する表示情報を提供するためのプログラムコードであって、前記表示情報は、前方カメラによって取得された前記環境の画像および拡張現実データのうちの少なくとも1つを含む、プログラムコードと、
前記ユーザと前記モバイルプラットフォームとの間の視線に整合する、表示するべき前記表示情報の一部を決定するために、前記ユーザの前記モバイルプラットフォームに対する前記位置を使用するためのプログラムコードと、
前記モバイルプラットフォームが前記視線に沿っていない方向を向いているとき、前記視線に整合する、前記環境に関する前記表示情報の前記一部のみを表示するためのプログラムコードと
を含む、コンピュータ可読記録媒体。
【請求項２２】
前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するための前記プログラムコードは、前記ユーザの画像内の前記ユーザの前記位置を決定するために前記モバイルプラットフォーム上の後方カメラによって取得された前記画像を分析し、前記ユーザの前記モバイルプラットフォームに対する前記位置を決定するために前記画像内の前記ユーザの前記位置を使用するためのプログラムコードを含む、請求項21に記載のコンピュータ可読記録媒体。
【請求項２３】
前記モバイルプラットフォームと前記ユーザとの間の距離を決定するためのプログラムコードであって、表示するべき前記表示情報の前記一部を決定するために前記ユーザの前記モバイルプラットフォームに対する前記位置を使用するための前記プログラムコードは、表示するべき前記表示情報の前記一部を決定するために前記モバイルプラットフォームと前記ユーザとの間の前記距離を使用するためのプログラムコードをさらに含み、前記表示情報の増加した部分は、前記モバイルプラットフォームと前記ユーザとの間の前記距離が減少するとき表示される、プログラムコードをさらに含む、請求項21に記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
オンボード運動センサとともに、よく知られている全地球測位衛星(GPS)システムまたは全地球航法衛星システム(GNSS)などの衛星測位システム(SPS)を使用して典型的には決定されるポータブル電子デバイスの位置がわかれば有効となるユーザアプリケーションの1つは、拡張現実(AR)アプリケーションである。拡張現実は、実世界の画像を、グラフィックスまたはテキスト情報などのコンピュータ生成データと結合させる。コンピュータ生成データを画像内の対象とする物体と適切に整合させるために、撮像デバイスの位置が既知でなければならない。テレビジョンカメラなどの撮像デバイスが固定位置を有するとき、撮像デバイスの位置は、容易に決定され得る。しかしながら、モバイルデバイスがある場合、位置が追跡されなければならない。
【０００２】
しかしながら、ARアプリケーションに用いられる撮像デバイスの位置は、ユーザとカメラとの関係を考慮に入れていない。したがって、ARオーバーレイデータが実世界の画像に整合され得るが、ARオーバーレイデータおよび実世界の画像は、実世界と適切に整合されないことがある。例として、図8は、星の画像に関してレンダリングされたAR画像14とともに、北斗七星の星座内の星の画像12を表すディスプレイ11を有する従来のモバイルプラットフォーム10を示す。星の画像12は、モバイルプラットフォーム10上のカメラによって取得された画像またはAR生成画像である可能性がある。また、図8は、一部がモバイルプラットフォーム10の後ろに隠れた、北斗七星の星座の一部を形成する実世界の星16を示す。わかるように、星の画像12およびAR画像14は、実世界の星16に整合しない。したがって、表示画像およびコンピュータ生成データと実世界との整合は、ユーザに任され、ユーザの多くは、この作業が集中力をそぐもので、困難なものと感じる。
【発明の概要】
【課題を解決するための手段】
【０００３】
モバイルプラットフォームは、ユーザのモバイルプラットフォームに対する位置に基づいて画像および/または拡張現実(AR)データの補正像を表示する。表示されるべき情報は、前方カメラによって取得された環境の画像もしくはビデオフレーム、および、単独でまたは画像上に表示されてもよいテキストまたはグラフィックスなどのARデータであってもよい。補正像は、後方カメラからのユーザの画像を使用してユーザのモバイルプラットフォームに対する位置を決定することによって生成される。たとえば、画像内のユーザの位置は、ユーザのモバイルプラットフォームに対する位置、およびユーザとモバイルプラットフォームとの間の視線を決定するために使用され得る。ユーザのモバイルプラットフォームに対する位置は、表示される情報が実世界環境に整合するように、表示されるAR情報がユーザとモバイルプラットフォームとの間の視線に整合するようにモバイルプラットフォームに整合する、表示されるべき表示情報の一部を決定するために使用される。加えて、ユーザとモバイルプラットフォームとの間の距離は、表示されるべき表示情報の一部を決定するために使用され得る。ユーザとモバイルプラットフォームとの間の距離は、たとえば、画像内でユーザの生体認証分析を使用して決定され得る。
【図面の簡単な説明】
【０００４】
【図１Ａ】ユーザのモバイルプラットフォームに対する位置に基づいて表示情報の補正像を表示することができるモバイルプラットフォームの前面部を示す図である。
【図１Ｂ】ユーザのモバイルプラットフォームに対する位置に基づいて表示情報の補正像を表示することができるモバイルプラットフォームの背面部を示す図である。
【図２】モバイルプラットフォームが視線に直角に保持される、従来のモバイルプラットフォーム、ユーザ、および環境の上面図である。
【図３】表示画像がユーザの視線に整合しないようにモバイルプラットフォームが視線に対して回転した状態で保持される、従来のモバイルプラットフォーム、ユーザ、および環境の別の上面図である。
【図４】モバイルプラットフォームが視線に対して回転した状態で保持されるが、視線に整合する環境の画像を表示するためにモバイルプラットフォームが像を補正する、モバイルプラットフォーム、ユーザ、および環境の上面図である。
【図５】モバイルプラットフォームの前方カメラによって取得された環境の画像を示し、モバイルプラットフォームによって表示される画像を形成するために、図4におけるユーザの視線に整合する画像の切り取られた部分を示す図である。
【図６】表示画像の視野を調整するために、ユーザとモバイルプラットフォームとの間の距離が決定および使用される、図4と同様のモバイルプラットフォームを示す図である。
【図７】表示画像の視野を調整するために、ユーザとモバイルプラットフォームとの間の距離が決定および使用される、図4と同様のモバイルプラットフォームを示す図である。
【図８】実世界環境に整合しない画像および拡張現実データを有する、従来のモバイルプラットフォームを示す図である。
【図９】表示画像および拡張現実データが実世界環境に整合するように、ユーザのモバイルプラットフォームに対する位置に基づいて、表示される像を補正するモバイルプラットフォームを示す図である。
【図１０】ユーザのモバイルプラットフォームに対する位置に基づいて、表示される像を補正するモバイルプラットフォームのブロック図である。
【図１１】ユーザのモバイルプラットフォームに対する位置に基づいて、モバイルプラットフォームのディスプレイによって表示される像を補正する方法を示すフローチャートである。
【発明を実施するための形態】
【０００５】
図1Aおよび図1Bは、ユーザのモバイルプラットフォーム100に対する位置に基づいて表示情報の補正像を表示することができるモバイルプラットフォーム100の前面部および背面部をそれぞれ示す。表示情報は、モバイルプラットフォームによって取得された環境の画像を含むことができ、取得画像は、たとえば写真などの単一の画像、またはビデオの1つもしくは複数のフレームを含む。同じくまたは代替的に、表示情報は、テキスト、またはモバイルプラットフォームによって表示されるようにレンダリングされるグラフィックスなどの拡張現実(AR)データを含み得る。表示される情報の像を補正することによって、たとえば取得画像および/またはARデータなどの表示情報は、実世界環境に整合する。
【０００６】
本明細書で使用される場合、モバイルプラットフォームは、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、または他の適したモバイルデバイスなどの任意のポータブル電子デバイスを指す。モバイルプラットフォームは、ナビゲーション測位信号など、ワイヤレス通信および/またはナビゲーション信号を受信することが可能であり得る。「モバイルプラットフォーム」という用語はまた、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを含むことを意図し、衛星信号受信、支援データ受信、および/または位置関連処理が、そのデバイスで生じるか、またはPNDで生じるかにかかわらない。また、「モバイルプラットフォーム」は、ARが可能であるワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータなどを含む、すべての電子デバイスを含むことを意図する。
【０００７】
筐体101、タッチスクリーンディスプレイであり得るディスプレイ102、ならびにスピーカ104およびマイクロフォン106を含むモバイルプラットフォーム100が示される。さらに、モバイルプラットフォーム100は、環境を撮像するための前方カメラ112、およびユーザを撮像するための後方カメラ110を含む。後方カメラ110からのユーザの画像に基づいて、モバイルプラットフォーム100のユーザに対する方位が決定され得、その方位から、ユーザとモバイルプラットフォーム100との間の視線、および/または表示されるべき所望の視野が決定され得る。ディスプレイ102上に表示されるべき表示情報は、ユーザのモバイルプラットフォーム100に対する位置に基づいて、表示情報が実世界に対して整合するように補正され得る。
【０００８】
図2は、従来の(この図では短縮された)モバイルプラットフォーム10およびユーザ120の上面図を示し、文字「A」、「B」、および「C」としてモバイルプラットフォーム10によって撮像されている実世界環境130も示す。図2は、前方カメラ112(図1B)の視野113も示す。ユーザ120とモバイルプラットフォーム10との間の視線122は、ユーザ120からモバイルプラットフォーム10を通って延び環境130に入り文字「B」と交差する破線により示される。図2において、モバイルプラットフォーム10は、視線122に直角に、すなわちθ=90°で保持されるように非回転で保持される。言い換えれば、カメラ112の視野113およびユーザ120の視線122は、整合する。したがって、ディスプレイ102上に示される環境130の一部は、表示画像123として現れる文字「B」によって示されるように、視線122に沿っている。
【０００９】
図3は、従来のモバイルプラットフォーム10、ユーザ120、および環境130の別の上面図を示すが、モバイルプラットフォーム10が視線122と直角にならないように、すなわちθ≠90°となるように、モバイルプラットフォーム100は、ユーザ120の視線122に対して回転している。図3においてわかるように、モバイルプラットフォームが視線122に対して回転した際に生成される表示画像125は、ユーザ120の視線122が環境130の異なる部分すなわち文字「B」のほうへ向いていても、この例では文字「A」である、視野113の中心にある。したがって、表示画像125は、ユーザ120から見て実世界環境130に整合しない。
【００１０】
図4は、ユーザ120のモバイルプラットフォーム100に対する位置に基づいて補正像を表示することができるモバイルプラットフォーム100の上面図を示す。図4は、ユーザ120を撮像する後方カメラ110の視野111を示すことを除いて、図3と同様である。モバイルプラットフォーム100は、後方カメラ110からのユーザ120の画像を使用して、ユーザ120のモバイルプラットフォーム100に対する位置を決定することができる。ユーザ120のモバイルプラットフォーム100に対する位置に基づいて、ユーザ120とモバイルプラットフォーム100との間の視線122に沿った環境130の一部が、決定および表示され得る。たとえば、モバイルプラットフォーム100は、顔認識を使用して、後方カメラ110によって生成される画像内のユーザ120の位置を決定することができる。図4に示すように、ユーザ120は、線124によって示される、視野111の中心から角度φだけ離れている。たとえば、視野111の中心線124は、顔認識に基づいて容易に見つけられ得る、ユーザ120の両眼間の中心点に基づいている可能性がある。したがって、視線122は、反対方向にほぼ同じ角度φだけ、前方カメラ112の視野114の中心から離れている。モバイルプラットフォーム100は、ユーザ120の離心角度φを使用して、または同等に画像内のユーザ120の位置もしくは視線122を使用して、表示される環境130の一部が、表示画像126として現れる文字「B」によって示される視線122に整合するように、カメラ112の視野で取得された画像を補正することができる。表示画像126は、たとえば、カメラ112によって取得された画像を切り取ることによって生成され得る。言い換えれば、カメラ112によって取得された画像全体を表示する代わりに、画像は、視線122に整合した部分、すなわち視線122を中心とした部分のみを表示するために切り取られる。図5は、例として、カメラ112の視野114内の環境130の一部の取得画像128全体を示し、表示画像126を形成する視線122に整合する画像の切り取られた部分を示す。モバイルプラットフォーム100は、垂直回転すなわちピッチまたは高さに関しても同様にモバイルプラットフォーム100の像を補正することができることを理解されたい。
【００１１】
加えて、表示されるべき視野、すなわち視線122に整合する画像の一部は、ユーザ120とモバイルプラットフォーム100との間の距離に基づいて調整され得る。図6および図7は、たとえば、表示される視野を調整するために、ユーザ120とモバイルプラットフォーム100との間の距離が決定および使用される、図4と同様のモバイルプラットフォーム100を示す。たとえば、図6は、ユーザ120とモバイルプラットフォーム100との間のより大きい距離D1を示し、したがって、表示画像128をもたらす比較的狭い視野116を示すが、図7は、ユーザ120とモバイルプラットフォーム100との間のより小さい距離D2を示し、したがって、異なる表示画像129をもたらす比較的広い視野118を示す。ユーザ120とモバイルプラットフォーム100との間の距離は、たとえば、カメラのオートフォーカスレンジファインダーを使用して、または生体認証分析を使用して、両眼間の較正距離もしくは推定距離またはユーザ120の頭の幅に基づいて決定され得る。生体認証を使用することで、ワンタイム較正手順を実行して、特定の観視者までの距離を正確に決定することができ、較正データは、顔認識を使用して観視者の識別情報に関連付けられ得る。たとえば他のセンサを使用してモバイルプラットフォーム100からユーザ120までの距離を決定する他の方法が、同様に、または代替として使用され得る。したがって、表示されるべき、視線122を中心とした環境130の一部は、ユーザ120とモバイルプラットフォーム100との間の距離を使用して決定される。
【００１２】
図9は、実世界環境に関する補正像を表示するモバイルプラットフォーム100を示すことを除いて、上記で説明した図8と同様である。図8と同様に、図9は、一部がモバイルプラットフォーム100の後ろに隠れた、北斗七星の星座を形成する実世界の星16を示す。また、図9は、画像200およびARデータ202が実世界の星16に整合するように、ユーザのモバイルプラットフォーム100に対する位置に基づく、グラフィックスおよびテキストを含む、星の画像200およびARデータ202の補正像を示す。星の画像200は、カメラ112によって取得された画像であるか、またはAR生成画像である可能性がある。
【００１３】
図10は、表示される情報、すなわち取得画像および/またはARデータが実世界環境に整合するように、ユーザのモバイルプラットフォーム100に対する位置に基づいて像を補正するモバイルプラットフォーム100のブロック図である。モバイルプラットフォーム100は、前方カメラ112および後方カメラ110、ならびにカメラ110、112によって取得された画像を表示することができるディスプレイ102を含むユーザインターフェース150を含む。また、ユーザインターフェース150は、キーパッド152、または、ユーザが情報をモバイルプラットフォーム100に入力することができる他の入力デバイスを含み得る。必要に応じて、キーパッド152は、タッチセンサを有するディスプレイ102に仮想キーパッドを組み込むことによって省かれてもよい。また、ユーザインターフェース150は、たとえばモバイルプラットフォームが携帯電話である場合には、マイクロフォン106とスピーカ104を含み得る。
【００１４】
場合によっては、モバイルプラットフォーム100は、たとえば加速度計、ジャイロスコープ、電子コンパス、または他の同様の運動検知素子を含む運動センサ158、および衛星測位(SPS)システムからの測位信号を受信することができるSPS受信機159など、ARアプリケーションに役に立つ可能性がある追加の特徴部を含み得る。モバイルプラットフォーム100は、「コンピュータビジョン」技術を用いるオブジェクト認識などの、他の位置決定方法を含み得る。当然ながら、モバイルプラットフォーム100は、ワイヤレストランシーバなどの、本開示に関係しない他の要素を含み得る。
【００１５】
また、モバイルプラットフォーム100は、使用する場合、運動センサ158およびSPS受信機159などの他の特徴部とともにカメラ110および112ならびにユーザインターフェース150と接続および通信する制御ユニット160を含む。制御ユニット160は、カメラ110および112からデータを受けて処理し、それに応じてディスプレイ102を制御する。制御ユニット160は、プロセッサ161および関連するメモリ164、ハードウェア162、ソフトウェア165、ならびにファームウェア163によって提供され得る。モバイルプラットフォーム100は、カメラ110および112からの画像を処理するための画像プロセッサ166と、後方カメラ110からの画像内のユーザの位置を特定するための顔認識ユニット167とを含み得る。さらに、制御ユニット160は、ディスプレイ102内に所望のARデータをレンダリングするために、たとえばゲームエンジンであってもよいグラフィックスエンジン168を含み得る。画像プロセッサ166および顔認識ユニット167は、ともに、ユーザのモバイルプラットフォーム100に対する位置を決定するために使用され得るが、次いで、画像プロセッサ166は、前方カメラ112からの画像を適切に修正するために使用され得る。グラフィックスエンジン168は、ユーザのモバイルプラットフォーム100に対する位置に基づいて、ユーザの視線に整合する視野内にある、記憶装置からの(たとえばメモリ164内の)ARデータを取り出すことができる。画像プロセッサ166、顔認識ユニット167、およびグラフィックスエンジンは、説明を簡単にするためにプロセッサ161とは別に示されているが、これらはプロセッサ161の一部でもよく、または、プロセッサ161の中で動作するソフトウェア165の命令に基づいてプロセッサの中で実施されてもよい。本明細書では、プロセッサ161は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要はないことが理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能を説明するように考えられている。さらに、本明細書で使用する「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連する他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、いかなる特定の種類のメモリ、もしくはメモリの数、またはメモリが記憶される媒体の種類に限定されない。本明細書では、「AおよびBのうちの少なくとも1つ」というフレーズは、少なくとも1つのA、少なくとも1つのB、またはAとBとのある組合せを意味する。
【００１６】
本明細書で説明される方法は、用途に応じて様々な手段によって実施されてもよい。たとえば、これらの方法は、ハードウェア162、ファームウェア163、ソフトウェア165、またはそれらの任意の組合せで実施されてもよい。ハードウェアの実装形態の場合、処理ユニットは、本明細書で説明された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号プロセッシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装されてもよい。
【００１７】
ファームウェアおよび/またはソフトウェアの実装形態の場合、これらの方法は、本明細書で説明された機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明する方法を実施する際に、命令を有形に具現化する任意の機械可読媒体を使用してもよい。たとえば、ソフトウェアコードがメモリ164に記憶され、プロセッサ161によって実行されてもよい。メモリは、プロセッサ161の内部に実装されてもよく、または、プロセッサ161の外部に実装されてもよい。
【００１８】
機能は、ファームウェアおよび/またはソフトウェアに実装される場合、コンピュータ可読媒体製品上に1つもしくは複数の命令またはコードとして記憶されてもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体、およびコンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体でもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、かつコンピュータによってアクセスすることのできる任意の他の媒体を備えてよく、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フレキシブルディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【００１９】
図11は、表示される情報が実世界環境に整合するように、ユーザのモバイルプラットフォームに対する位置に基づいて表示像を補正する方法を示すフローチャートである。図11に示すように、ユーザのモバイルプラットフォームに対する位置が決定される(302)。上記で説明したように、ユーザのモバイルプラットフォームに対する位置は、後方カメラ110によってユーザ120を撮像することによって決定され得る。画像内のユーザ120の位置が決定され、その位置から、ユーザのモバイルプラットフォームに対する位置が、たとえば離心角度φなどとして決定され得る。
【００２０】
たとえば、前方カメラ112によって取得された環境の画像、および/またはディスプレイ上にレンダリングされるべきARデータであってもよい、環境に関する表示情報が提供される(304)。ユーザのモバイルプラットフォームに対する位置は、ユーザとモバイルプラットフォームとの間の視線に整合する、表示されるべき表示情報の一部を決定するために使用される(306)。たとえば、上記で説明したように、環境の画像の一部は、ユーザとモバイルプラットフォームとの間の視線に整合する画像の一部が保持される一方、画像の残りが除去されるように切り取られ得る。ARデータに関して、表示されるべきARデータの一部に関する視野は、ユーザのモバイルプラットフォーム100に対する位置と、SPS受信機159およびオンボード運動センサ158(図10)に基づいて決定されてもよい、たとえばグローバル基準フレームに対するモバイルプラットフォーム100の位置および方位とに基づいて決定され得る。視野は、任意のARデータを視野内に取り出すために、たとえばメモリ164に記憶されるなど、データベースに渡される。次いで、ARデータは、表示するためにフォーマットされ、次いで、取得画像上にオーバーレイされるか、またはディスプレイ102上に単に表示される(オーバーレイがない)。
【００２１】
次いで、ユーザ120の視線に沿った表示情報の一部が、ディスプレイ102上に表示される(308)。したがって、モバイルプラットフォーム100が視線に直角でないとき、すなわちモバイルプラットフォームが視線に沿っていない方向を向いているとき、表示画像は、視線に整合する。
【００２２】
説明のために本発明を特定の実施形態に関連して示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱することなく様々な適合および改変がなされてもよい。したがって、添付の特許請求の範囲における趣旨および範囲は、上記の説明に限定されるべきではない。
【符号の説明】
【００２３】
10  モバイルプラットフォーム(先行技術)
11  ディスプレイ(先行技術)
12  星の画像(先行技術)
14  AR画像(先行技術)
16  実世界の星
100  モバイルプラットフォーム
101  筐体
102  ディスプレイ
104  スピーカ
106  マイクロフォン
110  後方カメラ
111  後方カメラの視野
112  前方カメラ
113  視野
114  前方カメラの視野
116  比較的狭い視野
118  比較的広い視野
120  ユーザ
122  視線
123  表示画像
125  表示画像
126  表示画像
128  取得画像、表示画像
129  異なる表示画像
130  環境
150  ユーザインターフェース
152  キーパッド
158  運動センサ
159  SPS受信機
160  制御ユニット
161  プロセッサ
162  ハードウェア
163  ファームウェア
164  メモリ
165  ソフトウェア
166  画像プロセッサ
167  顔認識ユニット
168  グラフィックスエンジン
200  星の画像
202  ARデータ
【図１Ａ】
0005766821.tif 000002
【図１Ｂ】
0005766821.tif 000003
【図２】
0005766821.tif 000004
【図３】
0005766821.tif 000005
【図４】
0005766821.tif 000006
【図５】
0005766821.tif 000007
【図６】
0005766821.tif 000008
【図７】
0005766821.tif 000009
【図８】
0005766821.tif 000010
【図９】
0005766821.tif 000011
【図１０】
0005766821.tif 000012
【図１１】
0005766821.tif 000013