(57)【要約】【課題】リアルタイムレンズ収差補正を行うためのシステム及び方法を提供する。【解決手段】頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上で提示するための画像を受信するシステム及び方法である。画像はアプリケーションによって提供される。受信された画像は、予歪付与されて、ＨＭＤ内に設けられた光学部品が画像をレンダリングすることを可能にする。アライメントオフセットは、ＨＭＤを装着するユーザの眼について、ＨＭＤの光学部品の少なくとも１つのレンズの光学軸に対する眼の位置を決定することによって特定される。アプリケーションによって提供される予歪付与済み画像は、アライメントオフセットを反映する補正済みで予歪付与済みの画像を規定するために調整される。【選択図】図６Ａ
2019191588.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上で提示するための画像を受信し、前記画像は、前記画像が予歪付与されて、前記ＨＭＤ内に設けられた光学部品が前記画像をレンダリングすることを可能にするアプリケーションによって提供されるものであり、
前記ＨＭＤを装着するユーザの眼のアライメントオフセットを、前記ＨＭＤの前記光学部品の少なくとも１つのレンズの光学軸に対する前記眼の位置を決定することによって特定し、
前記アプリケーションによって提供される前記予歪付与済み画像を調整し、それにより、前記アライメントオフセットを反映する補正済みで予歪付与済みの画像を規定し、かつ、
前記ＨＭＤの前記ディスプレイスクリーン上でレンダリングするため前記補正済みで予歪付与済みの画像を送信し、それにより、前記光学部品を通して提示される前記画像は、前記アライメントオフセットによってもたらされる収差を除去し、
方法オペレーションはプロセッサによって実行される、方法。
【請求項２】
前記アライメントオフセットは、ユーザの両方の眼について特定される、請求項１に記載の方法。
【請求項３】
前記ＨＭＤの前記光学部品は、ニアアイフォーカスを提供するように構成される、請求項１に記載の方法。
【請求項４】
前記アライメントオフセットの特定は、ｘシフト、ｙシフト、ｚシフト、ｘ及びｙシフト、ｘ及びｚシフト、ｙ及びｚシフト、またはｘ−ｙ−ｚシフトのうちの１つの特定を含む、請求項１に記載の方法。
【請求項５】
前記眼の位置は、前記ＨＭＤ上に設けられた１つまたは複数の内部センサを使用して取込まれる、請求項１に記載の方法。
【請求項６】
前記光学部品のレンズは、球面レンズ、非球面レンズ、ホログラフィック導波レンズ、またはその任意の組合せのうちの１つである、請求項１に記載の方法。
【請求項７】
前記アライメントオフセットを特定および前記予歪付与済み画像の調整は、前記ＨＭＤ内に設けられたプロセッサによって実行され、前記アライメントオフセットは、前記ＨＭＤの前記ディスプレイスクリーン上に前記画像が提示されているときに実質的にリアルタイムに前記眼の位置を追跡することによって特定される、請求項１に記載の方法。
【請求項８】
前記アライメントオフセットの特定は、前記ＨＭＤの前記ディスプレイスクリーン上に前記画像が提示されているときに実質的にリアルタイムに前記眼の位置を追跡することによって、前記ＨＭＤのプロセッサによって実行され、前記予歪付与済み画像の調整は、前記ＨＭＤに通信可能に接続されるコンピューティングデバイスのプロセッサによって実行される、請求項１に記載の方法。
【請求項９】
前記アライメントオフセットの特定では、
前記ＨＭＤで使用される前記光学部品のレンズの形状及びタイプを決定し、
前記光学軸に対する前記眼の位置を決定し、
前記眼の位置に基づいて１つまたは複数の予め規定された歪マップを選択し、前記歪マップは、前記ディスプレイスクリーンの可視視野内の異なる場所の対応する変位オフセットに対するマッピングを提供し、前記選択は三角測量によって決定されるものであり、
前記選択された１つまたは複数の予め規定されたマップから、前記変位オフセットの線形補間を使用して前記アライメントオフセットを計算する、請求項１に記載の方法。
【請求項１０】
前記予め規定された歪マップは２次元マップであり、前記２次元マップは、前記ＨＭＤで使用される前記光学部品のレンズの各タイプについて、また、前記画像を提示するために使用される各主カラースペクトルについて規定され、前記予め規定された歪マップの前記選択は、特定の光学部品についてのまた調整される必要がある前記主カラースペクトルの各カラーについての予め規定された歪マップを含む、請求項９に記載の方法。
【請求項１１】
前記予め規定された歪マップのそれぞれは、前記可視視野または前記可視視野の中心を覆うエリアの特定の象限に関連する、請求項９に記載の方法。
【請求項１２】
方法であって、
ａ）頭部搭載型ディスプレイ（ＨＭＤ）を装着するユーザの眼のアライメントオフセットを、前記ＨＭＤ内に設けられる光学部品の少なくとも１つのレンズの光学軸に対する前記眼の位置を決定することによって特定し、
ｂ）前記ＨＭＤのディスプレイスクリーン上でレンダリングするためのアプリケーションによって提供されるメディアコンテンツの予歪付与済み画像を調整し、前記調整は、前記アライメントオフセットを反映する補正済みで予歪付与済みの画像の生成をもたらすものであり、かつ、
ｃ）前記ＨＭＤの前記ディスプレイスクリーン上でレンダリングするため前記補正済みで予歪付与済みの画像を送信し、それにより、前記光学部品を通して提示される前記画像は、前記アライメントオフセットによってもたらされる収差を除去し、
前記方法オペレーションはプロセッサによって実行される、方法。
【請求項１３】
前記メディアコンテンツ画像のフレームのレンダリング中にオペレーションａ）〜ｃ）を更にｒ、請求項１２に記載の方法。
【請求項１４】
前記画像からの前記メディアコンテンツが前記ＨＭＤでレンダリングされているフレームレートでオペレーションａ）〜ｃ）を実行する、請求項１２に記載の方法。
【請求項１５】
前記補正済みで予歪付与済みの画像は、ユーザの両眼で観察するために前記ＨＭＤの前記ディスプレイスクリーンに提示される、請求項１２に記載の方法。
【請求項１６】
前記ＨＭＤの前記光学部品は、前記ユーザの両眼の前で前記補正済みで予歪付与済みの画像のニアアイフォーカスを提供するように構成される、請求項１２に記載の方法。
【請求項１７】
前記アライメントオフセットの特定では、
前記ＨＭＤ上に設けられた１つまたは複数の内部センサを使用して実質的にリアルタイムに前記眼の位置を追跡し、
前記ＨＭＤの前記光学部品内で使用されるレンズの形状及びタイプを決定し、
前記ＨＭＤの前記光学部品の前記レンズの光学軸に対する前記眼の位置のシフトを決定し、
前記眼の位置に基づいて１つまたは複数の予め規定された歪マップを選択し、前記歪マップは、前記ディスプレイスクリーンの可視視野内の異なる場所の対応する変位オフセットに対するマッピングを提供し、前記選択は三角測量を使用して決定されるものであり、かつ、
前記選択された１つまたは複数の予め規定されたマップから、前記変位オフセットの線形補間を使用して前記アライメントオフセットを計算する、請求項１２に記載の方法。
【請求項１８】
前記アライメントオフセットの特定および前記予歪付与済み画像の調整は、前記ＨＭＤ内に設けられたプロセッサによって実行される、請求項１２に記載の方法。
【請求項１９】
前記アライメントオフセットの特定および前記予歪付与済み画像の調整は、前記ＨＭＤに通信可能に接続されるコンピューティングデバイスのプロセッサによって実行される、請求項１２に記載の方法。
【請求項２０】
頭部搭載型ディスプレイデバイスであって、
頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上でレンダリングされるマルチメディアコンテンツの予歪付与済み画像を観察するための光学部品のレンズと、
眼位置センサであって、
（ａ）前記ＨＭＤ内に設けられる光学部品の少なくとも１つのレンズの光学軸に対する、前記ＨＭＤを装着するユーザの眼の位置を決定し、
（ｂ）前記ユーザの眼のアライメントオフセットを決定する
ように構成される、前記眼位置センサと、
光学部品歪プロセッサと、を備え、前記光学部品歪プロセッサは、
前記ＨＭＤの前記ディスプレイスクリーン上でレンダリングするためのアプリケーションによって提供されるメディアコンテンツの前記予歪付与済み画像を調整するように構成され、前記調整することは、前記アライメントオフセットを反映する補正済みで予歪付与済みの画像の生成をもたらし、前記メディアコンテンツの前記補正済みで予歪付与済みの画像は、レンダリングするために前記ＨＭＤの前記ディスプレイスクリーンに送信される、デバイス。
【請求項２１】
前記眼位置センサは、前記ＨＭＤの前記ディスプレイスクリーン上に前記画像が提示されているときに前記ユーザの眼の位置を追跡する位置追跡器を更に含んで、前記位置追跡器によって提供される情報に基づいて実質的にリアルタイムに前記予歪付与済み画像に対する調整を実行する、請求項２０に記載のデバイス。
【請求項２２】
前記予歪付与済み画像は、前記アプリケーションを実行するコンピューティングデバイスによって提供され、前記コンピューティングデバイスは前記ＨＭＤに通信可能に接続される、請求項２０に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
本出願は、２０１４年９月３０日に出願され、「ＲＥＡＬＴＩＭＥ  ＬＥＮＳ  ＡＢＥＲＲＡＴＩＯＮ  ＣＯＲＲＥＣＴＩＯＮ  ＦＲＯＭ  ＥＹＥ  ＴＲＡＣＫＩＮＧ」と題する米国仮特許出願第６２／０５８，０５７号に対して米国特許法第１１９条の下で優先権を主張し、その出願についての開示は、参照により本明細書に組込まれる。
【０００２】
関連出願の相互参照
本出願は、２０１４年２月２１日に出願され、「DIGITAL INTER-PUPILARY DISTANCE ADJUSTMENT」と題する米国出願第１４／１８７，１２７号、２０１４年３月２５日に出願され、「SYSTEMS AND METHODS FOR CUSTOMIZING OPTICAL REPRESENTATION OF VIEWS PROVIDED BY A HEAD MOUNTED DISPLAY BASED ON OPTICAL PRESCRIPTION OF A USER」と題する米国出願第１４／２２５，４０８号、及び２０１４年６月１１日に出願された英国特許出願第１４１０３９７．２号に関連し、それらは、参照によりその全体が本明細書に組込まれる。
【０００３】
本発明は、眼追跡に基づいて頭部搭載型ディスプレイに提供される画像を調整するための方法及びシステムに関する。
【背景技術】
【０００４】
ビデオゲーム及びコンピュータ業界は、一般に、長年にわたって多くの変化を見てきた。コンピューティングパワーが拡張したため、ビデオゲーム／アプリケーションの開発者は、コンピューティングパワーのこれらの増加を利用するゲーム及び他のソフトウェアを同様に作成してきた。そのため、ビデオゲーム及びアプリケーションの開発者は、非常に現実的なゲーム／アプリケーション体験を生成するため精緻なオペレーション及び数学を組込むゲーム及びアプリケーションをコーディングしてきた。
【０００５】
コンピュータゲーミング業界における成長傾向は、ユーザとコンピューティングシステムとの間の相互作用を増加させる、ゲーム、ゲームコントローラ、及び頭部搭載型ディスプレイ（ＨＭＤ：ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）または頭部結合型ディスプレイを開発することである。ゲームコントローラは、例えば、ゲーミングシステムがプレーヤのいろいろな動きを追跡し、これらの動きをゲーミングシステム上で実行されるゲームについての入力として使用することを可能にすることによってより豊富な相互作用的体験を可能にする特徴を含む。頭部搭載型ディスプレイは、ユーザの一方または両方の眼の前に光学部品及びディスプレイスクリーンを含んで、ゲーミングアプリケーション等のアプリケーションの鮮明な３次元画像を提供する。
【０００６】
コストに関して節約するため、低コストレンズ光学部品がＨＭＤのために使用される。しかし、これらの光学部品は、ユーザが観察する画像の品質の低下をもたらす（幾何学的及び／または色的）収差を生成する。
【０００７】
本発明の実施形態は、このような背景のもとになされたものである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施形態は、本明細書で述べるように、リアルタイムレンズ収差補正を提供するためのシステム及び方法を提供する。
【課題を解決するための手段】
【０００９】
大まかに言って、本発明の種々の実施形態は、ゲーミングアプリケーション等のアプリケーションによって頭部搭載型ディスプレイ（ＨＭＤ）に提供される画像を調整するシステム及び方法であって、それにより、ＨＭＤのディスプレイスクリーン上でレンダリングされかつＨＭＤを装着するユーザによって観察される画像の品質を改善する、システム及び方法を開示する。ＨＭＤは、ニアアイ観察のために、ＨＭＤのスクリーン上で提示される画像を歪補正するレンズ／光学部品を含む。しかし、光学部品を通してユーザが観察する画像は、ＨＭＤ内に設けられる光学部品のレンズの光学軸に関するユーザの眼（複数可）のミスアライメントによってもたらされる色収差及び／または幾何学的収差によって低品質である場合がある。高品質画像を提供するため、アプリケーションによって提供される画像は、ユーザの眼（複数可）のミスアライメントあるいは位置のずれによってもたらされる歪をいずれも最小にするまたはなくすために更に調整される必要がある。
【００１０】
この目的のため、方法が開示される。この方法は、頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上で提示するための画像を受信することを含む。画像はアプリケーションによって提供される。受信された画像は、予歪付与されて、ＨＭＤ内に設けられた光学部品が画像をレンダリングすることを可能にする。アライメントオフセットは、ＨＭＤを装着するユーザの眼について、ＨＭＤの光学部品の少なくとも１つのレンズの光学軸に対する眼の位置を決定することによって特定される。アプリケーションによって提供される予歪付与済み画像は、アライメントオフセットを反映する補正済みで予歪付与済みの画像を規定するために調整される。補正済みで予歪付与済みの画像は、レンダリングするためＨＭＤのディスプレイスクリーンに転送され、それにより、ＨＭＤの光学部品を通して提示される画像は、アライメントオフセットによってもたらされる収差を除去する。
【００１１】
一実施形態において、アライメントオフセットは、ユーザの両方の眼について特定される。
【００１２】
一実施形態において、ＨＭＤの光学部品は、ニアアイフォーカスを提供するように構成される。
【００１３】
一実施形態において、アライメントオフセットを特定することは、ｘシフト、ｙシフト、ｚシフト、ｘ及びｙシフト、ｘ及びｚシフト、ｙ及びｚシフト、またはｘ−ｙ−ｚシフトのうちの１つを特定することをさらに含む。
【００１４】
一実施形態において、眼の位置は、ＨＭＤ上に設けられた１つまたは複数の内部センサを使用して取込まれる。
【００１５】
一実施形態において、光学部品のレンズは、球面レンズ、非球面レンズ、ホログラフィック導波レンズ、またはその任意の組合せのうちの１つである。
【００１６】
一実施形態において、アライメントオフセットを特定し、予歪付与済み画像を調整することは、ＨＭＤ内に設けられたプロセッサによって実行され、アライメントオフセットは、ＨＭＤのディスプレイスクリーン上に画像が提示されているときに実質的にリアルタイムに眼の位置を追跡することによって特定される。
【００１７】
一実施形態において、アライメントオフセットを特定することは、ＨＭＤのディスプレイスクリーン上に画像が提示されているときに実質的にリアルタイムに眼の位置を追跡することによって、ＨＭＤ内に設けられたプロセッサによって実行され、予歪付与済み画像を調整することは、ＨＭＤに通信可能に接続されるコンピューティングデバイスのプロセッサによって実行される。
【００１８】
一実施形態において、アライメントオフセットは、ＨＭＤで使用される光学部品のレンズの形状及びタイプを最初に決定することによって特定される。眼の位置は、ＨＭＤ内に設けられる光学部品のレンズの光学軸に対して決定される。決定すると、１つまたは複数の予め規定された歪マップが眼の位置に基づいて選択される。歪マップは、ディスプレイスクリーンの可視視野内の異なる場所の対応する変位オフセットに対するマッピングを提供する。選択は三角測量によって決定される。アライメントオフセットは、選択された１つまたは複数の予め規定されたマップから、変位オフセットの線形補間を使用して計算される。
【００１９】
一実施形態において、予め規定された歪マップは２次元マップであり、２次元マップは、ＨＭＤで使用される光学部品のレンズの各タイプについて、また、画像を提示するために使用される各主カラースペクトルについて規定される。予め規定された歪マップは、ＨＭＤで使用される光学部品のレンズのタイプに基づいて、また、調整される必要がある主カラースペクトルの各カラーに基づいて選択される。
【００２０】
一実施形態において、予め規定された歪マップのそれぞれは、可視視野または可視視野の中心を覆うエリアの特定の象限に関連する。
【００２１】
一実施形態において、方法が開示される。方法は、頭部搭載型ディスプレイを装着するユーザの眼のアライメントオフセットを特定することを含む。アライメントオフセットは、ＨＭＤ内に設けられる光学部品の少なくとも１つのレンズの光学軸に対する眼の位置を決定することによって特定される。ＨＭＤのディスプレイスクリーン上でレンダリングするためのアプリケーションによって提供されるメディアコンテンツの予歪付与済み画像が調整される。調整することは、アライメントオフセットを反映する補正済みで予歪付与済みの画像の生成をもたらす。補正済みで予歪付与済みの画像は、ＨＭＤのディスプレイスクリーン上でレンダリングするために送信され、それにより、光学部品を通して提示される画像は、アライメントオフセットによってもたらされる収差を除去する。
【００２２】
一実施形態において、アライメントオフセットを特定するオペレーション、予歪付与済み画像を調整するオペレーション、及び補正済みで予歪付与済みの画像を送信するオペレーションは、画像からのメディアコンテンツがＨＭＤでレンダリングされているフレームレートで実行される。
【００２３】
本発明の他の態様は、以下の詳細な説明を、本発明の実施形態の原理を例として示す添付図面を参照することにより明らかになる。
【００２４】
本発明の種々の実施形態は、以下の説明を、添付図面とあわせて参照することによって非常によく理解され得る。
【図面の簡単な説明】
【００２５】
【図１】本発明の幾つかの実施形態による、ＨＭＤを装着するユーザの、またＨＭＤを装着するユーザの眼の異なるアライメントオフセットを決定する例示的な上面図を示す。
【図２】本発明の複数の実施形態による、ＨＭＤ内に配設されるカメラによって取込まれる画像情報に基づいてユーザの一方または両方の眼を参照してアライメントオフセットを特定する例示的な図を示す。
【図３Ａ】本発明の幾つかの実施形態による、ＨＭＤ内に配設されるカメラを使用して決定される、ＨＭＤを装着するユーザの眼（複数可）の視線方向に基づいてアライメントオフセットを特定する例示的な側面図を示す。
【図３Ｂ】本発明の幾つかの実施形態による、ＨＭＤ内に配設されるカメラを使用して決定される、ＨＭＤを装着するユーザの眼（複数可）の視線方向に基づいてアライメントオフセットを特定する例示的な側面図を示す。
【図４Ａ】本発明の幾つかの実施形態による、ＨＭＤ内に配設されるカメラを使用して決定される、ＨＭＤを装着するユーザがユーザの眼を右及び左に移動させるときにアライメントオフセットを特定する例示的な上面図を示す。
【図４Ｂ】本発明の幾つかの実施形態による、ＨＭＤ内に配設されるカメラを使用して決定される、ＨＭＤを装着するユーザがユーザの眼を右及び左に移動させるときにアライメントオフセットを特定する例示的な上面図を示す。
【図４Ｃ】本発明の幾つかの実施形態による、ＨＭＤ内に配設されるカメラを使用して決定される、ＨＭＤを装着するユーザがユーザの眼を右及び左に移動させるときにアライメントオフセットを特定する例示的な上面図を示す。
【図５Ａ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｂ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｃ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｄ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｅ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｆ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｇ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｈ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図５Ｉ】本発明の異なる実施形態による、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するための例示的なカメラ及び／またはセンサの場所を示す図を示す。
【図６Ａ】本発明の一実施形態における、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するために使用される例示的なシステムアーキテクチャを示す。
【図６Ｂ】本発明の一実施形態における、ＨＭＤを装着するユーザの眼のアライメントオフセットを決定するために使用される例示的なシステムアーキテクチャを示す。
【図７】本発明の一実施形態による、ユーザの眼のアライメントオフセットを決定し、アプリケーションから受信される予歪付与済み画像を調整するために使用される画像歪処理モジュールのブロック線図を示す。
【図８】本発明の一実施形態による、予歪付与済み画像に対して補正を提供するための方法の例示的なプロセスフローオペレーションを示す。
【図９】本発明の他の実施形態による、予歪付与済み画像に対して補正を提供するための方法の例示的なプロセスフローオペレーションを示す。
【図１０】本発明の一実施形態における、ゲームモジュールの全体的なシステムアーキテクチャを示す。
【図１１】本発明の一実施形態による、ゲームシステムのブロック線図を示す。
【発明を実施するための形態】
【００２６】
アライメントオフセットを決定し、アプリケーションから受信される画像を調整するためにアライメントオフセットを使用するためのシステム及び方法が述べられる。コンピューティングデバイス／コンソールまたはゲームクラウド上で実行されるゲーミングアプリケーション等のアプリケーションは、ゲームの相互作用的シーンの画像が、頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上でレンダリングするためＨＭＤに送信されるようにさせる。送信される画像は予歪付与される。予歪付与済み画像は、ニアアイビュー用のＨＭＤの光学部品によって処理され、それにより、画像が光学部品のレンズを通して観察されると、画像はピントがあった状態になる。画像に適用される予歪の量は、ＨＭＤ内に設けられる光学部品のレンズからの眼の距離に依存する。更に、明瞭な画像を提供するため、ユーザの眼（片眼あるいは両眼）のアライメントは、ＨＭＤ内に設けられる少なくとも１つのレンズの光学軸に一致しなければならない。ＨＭＤを装着するユーザの眼は、ＨＭＤ内に設けられる光学軸に完全に整列されない場合がある。結果として、ディスプレイスクリーンに提示されかつ光学部品を通して観察される画像は、（幾何学的及び／または色的）収差を含む場合があり、その収差は、ＨＭＤのディスプレイスクリーン上でレンダリングされる画像の品質を下げる可能性がある。より高品質の画像を提供するため、アプリケーションから受信される予歪付与済み画像は、ユーザの眼において検出される光学軸（すなわち、光学軸）に対するいかなるミスアライメントをも反映するように更に調整される必要がある。調整済みで予歪付与済みの画像が、ＨＭＤの光学部品によって処理されると、光学部品を通して観察される画像は、鮮明であり、また、ユーザの眼のミスアライメントによってもたらされる収差が実質的にない。
【００２７】
ミスアライメントオフセットは、単純な形態の眼追跡を使用して決定されてもよい。一実施形態において、眼追跡は、画像検知デバイス及び／または深度検知デバイス等のＨＭＤ内のハードウェア、及び、ＨＭＤ内のまたはＨＭＤに通信可能に接続されるコンピューティングデバイス内のソフトウェアの組合せを使用して実施される可能性がある。眼追跡に関するより更なる情報については、２０１３年６月１１日に出願された英国出願第１３１０３６８．４号及び２０１３年８月２１日に出願された英国出願第１３１４９７５．２号に対して参照が行われる可能性があり、その出願は、参照によりその全体が本明細書に組込まれる。眼追跡は、眼（複数可）の前に配設されるレンズの光学軸に対して、ＨＭＤを装着するユーザの眼（複数可）の位置を追跡する。光学軸からの眼の相対的な位置を使用して、より正確な収差補正が、実質的にリアルタイムに計算されて、ＨＭＤを装着するユーザのために最良画像品質を送出する可能性がある。一実施形態において、ＨＭＤは、仮想現実（ＶＲ：ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）画像または拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）画像を提示するために使用される可能性がある。結果として、本明細書で述べる種々の実施形態は、ＨＭＤの光学部品を通して観察されるＶＲ画像とＡＲ画像の両方に適用されてもよい。予歪付与済み画像に対して更なる調整を提供する方法は、レンズの回折的性質のせいで色収差が一般的である、球面レンズ、非球面レンズ、またはホログラフィック導波レンズを含む、ＨＭＤ内に設けられる異なるタイプ及び形状の光学部品のために使用される可能性がある。
【００２８】
一実施形態において、眼追跡及び収差補正のプロセスは、プロセッサまたはプロセッサ内に設けられるカスタムエレクトロニクスを使用してＨＭＤ自体上で実行される可能性がある。他の実施形態において、プロセスは、ＨＭＤに通信可能に接続されるコンピューティングデバイスによって実行される可能性があり、コンピューティングデバイスは、ゲームコンソール、サーバデバイスであって、ローカルエリアネットワーク、ワイドエリアネットワーク、パーソナルエリアネットワーク、他のネットワーク内にまたはクラウド上に配設される、サーバデバイスであってよい。本発明の概要によって、異なる実施形態が、ここで、種々の図面を参照して述べられる。
【００２９】
図１は、一実施形態における、ＨＭＤを装着するユーザ、及び、ＨＭＤ内に設けられる光学部品のレンズの光学軸に対するユーザの眼の位置に基づいて特定される異なるアライメントシフトの例示的な上面図を示す。頭部搭載型ディスプレイ（ＨＭＤ）１００は、画像データコンテンツ１０５がその上でレンダリングされる可視視野を規定するディスプレイパネルまたはディスプレイスクリーン１０４を含む。画像データコンテンツ１０５は、ＨＭＤのプロセッサまたはＨＭＤに通信可能に接続されるコンピューティングデバイス上で実行されるアプリケーションによって提供されてもよい。一実施形態において、コンピューティングデバイスは、ゲームコンソール等の独立型コンピュータまたはコンソールであってよく、または、ワイドエリアネットワーク、ローカルエリアネットワーク、パーソナルエリアネットワーク、ローカルイントラネット、メトロポリタンネットワーク、バーチャルプライベートネットワーク、またはインターネットを通じてアクセスされるサーバ、クラウド上のバーチャルサーバ等のようなネットワークの一部であってよい。ネットワークのリストは、例示的であり、制限的または網羅的であると考えられるべきでない。
【００３０】
光学部品１０２は、一実施形態に示すように、ディスプレイスクリーン１０４と、ユーザの眼のそれぞれとの間に配設され、また、「ニアアイ」フォーカスのための画像を処理するために使用される。ニアアイフォーカスとは、例えば、メディアコンテンツの画像が、人間の眼によって観察されると遠い焦点距離（例えば、少なくとも３ｍ＋所定の距離、または、幾つかの事例において、無限大）にあるように見えるよう、ディスプレイスクリーン上でメディアコンテンツの画像にフォーカスさせるように構成されるときのものである。他の実施形態において、光学部品は、一方の眼（右眼または左眼）のみの前に配設されてもよい。光学部品は、レンズを使用して規定され、また、球面レンズ、非球面レンズ、ホログラフィック導波レンズ等を含んでもよい。前述のタイプの光学部品は例示であり、また、他のタイプの光学部品が、ニアアイフォーカスのためまたは人間の眼が明瞭に観察するためにメディアコンテンツをレンダリングするためメディアコンテンツを処理することが可能である限り、同様に使用されてもよい。
【００３１】
１つまたは複数のカメラまたはセンサ１０６は、ＨＭＤ内に設けられ、光学軸１０２ａに対するユーザの眼（複数可）のアライメントオフセットを決定するために使用される。センサは、深度検知デバイスまたは画像検知デバイスの一方であってよい。深度検知デバイスは、深度センサカメラ、ステレオ３次元カメラ、深度センサ、ビデオカメラ、またはその任意の組合せを含んでもよい。画像検知デバイスは、赤外線カメラ、デジタルカメラ、紫外線カメラ、レーダデバイス、レーザデバイス、単一レンズカメラ、またはその組合せを含む。センサ１０６が使用されて、眼の位置に関連する３次元情報を取込み／取得し、ＨＭＤ内に配設される光学部品１０２の中心１０２ａを決定してもよい。一実施形態において、センサ１０６が使用されて、ユーザの眼の瞳孔間距離（ＩＰＤ：ｉｎｔｅｒ−ｐｕｐｉｌａｒｙ  ｄｉｓｔａｎｃｅ）を決定し、それを光学部品のＩＰＤと比較し、それにより、アライメントのシフトが存在するかどうかを判定し、存在する場合、どの方向（複数可）にまたどれのみの量かを決定してもよい。他の実施形態において、ＨＭＤを装着するユーザの眼の位置は、仮想ラインを使用し、シフトが存在するかどうかを判定し、存在する場合、どの方向（複数可）にまたどれのみの量かを決定することによって、眼の前に設けられた光学中心と比較する。例えば、センサ１０６によって取込まれる画像が使用されて、ｘシフト（すなわち、ｘオフセット）のみ、ｙシフト（図１には示さず）のみ、ｚシフト（すなわち、ｚオフセット）のみ等を決定してもよい。図１に示す実施形態において、ｘシフトは、ユーザの眼（点線で示す）が光学軸（実線で示す）に対して左にシフトされるため、負値であると示される。ユーザの眼が光学軸に正しく整列される場合、ｘシフトはゼロであることになり、ユーザの眼が光学軸に対して右にシフトされる場合、ｘシフトは正値であることになる。
【００３２】
図２は、一実施形態における、光学軸に対するユーザの眼（複数可）の位置を基準にして検出されるアライメントオフセットの例示的な図を示す。ＨＭＤ内に配設されるカメラ／センサは、ＨＭＤ内に配設される光学部品のレンズの光学軸に対するユーザの眼（複数可）の位置に関連する３次元情報を取込むことが可能である。３次元情報が使用されて、光学軸に対するユーザの眼のアライメントオフセットを決定する。一実施形態において、カメラ／センサ１０６によって提供される情報に基づいて、アライメントオフセットは、デカルト座標のセットとして計算される。図２に示す実施形態において、ＨＭＤの光学部品のレンズの光学軸から計算される右眼についてのアライメントオフセットは、（＋ｘ１，−ｙ１，＋ｚ２）に等しく、左眼についてのアライメントオフセットは、（＋ｘ１，−ｙ１，＋ｚ１）に等しい。この実施形態において、右眼に関連するオフセットは、ｘ及びｙ座標は一致するが、ｚ座標が異なるため、左眼に関連するオフセットと同じでない。一実施形態において、ｘ及びｙ座標は、眼シフトを規定すると考えられ、ｚ座標は、瞳距離を規定すると考えられる。眼シフト及び瞳距離を決定することによって、ほとんどの最適な歪調整が、光学部品について決定され、また、ＨＭＤの光学部品を通して観察されると画像が明瞭になるように画像に適用されてもよい。２つの眼のアライメントオフセットの差は、ＨＭＤがユーザの頭部上でどのように平衡するかまたは位置決めされるかによる場合がある。例えば、ＨＭＤは、ユーザの頭部形状または快適度等に基づいて位置決めされてもよい。ユーザが、例えば、処方メガネを装着している場合、ＨＭＤは、メガネを覆って位置決めされなければならず、ｚシフト（瞳距離）の変化をもたらす。別の実施形態において、光学軸に対する右眼及び左眼のアライメントオフセットが同じである場合がある。図２に示す実施形態において、ｘ、ｙ、及びｚシフトがモニターされている。
【００３３】
図３Ａ及び３Ｂは、別の実施形態における、カメラ／センサ１０６がアライメントオフセットを検出するために使用されるＨＭＤを装着するユーザの例示的な側面図を示す。図３Ａに示す実施形態において、ユーザは、真っ直ぐ前を見ているが、ユーザの眼は、光学軸に整列していない。カメラ／センサ１０６は、ｙ軸に沿うシフトで示されるｙオフセット（−ｙ１）を取込む。負の符号は、ユーザの眼が光学軸の下に整列していることを示す。一実施形態において、レンズの光学軸は、（ｘ，ｙ，ｚ）座標が全て集中するレンズの中心ポイントであると考えられる。その結果、光学軸についての（ｘ，ｙ，ｚ）座標は、（０，０，０）の値を有する場合がある。眼から引かれた仮想ラインが、光学部品の中心を通って引かれた仮想ラインの左にあるとき、ｘ座標は、負のｘシフトを有すると考えられ、右にあるとき、ｘ座標は、正のｘシフトを有すると考えられる。同様に、眼の中心から引かれた仮想ラインが、光学部品中心を通るラインの上にあるとき、ｙ座標は正のｙシフトを有すると考えられ、その線より下にあるとき、ｙ座標は、図３Ａの（−ｙ１）で示すように、負のｙシフトを有すると考えられる。ｚシフトは、眼球が光学部品の中心からどれくらい近くにまたはどれくらい遠くにあるかに基づく。例えば、ＨＭＤが、ユーザの眼のそれぞれを覆って異なるように位置決めされる場合、左眼及び右眼に関して異なるｚシフトが存在するであろう。図３Ａに示す実施形態において、ｚ座標は、両方の眼についてｚ１に等しくなるように計算される。
【００３４】
図３Ｂは、ユーザの眼の位置が変化しており、ユーザが下を見ている実施形態を示す。この実施形態において、カメラ／センサ１０６は、図３Ａで特定されるｙシフトと同じ方向（すなわち、下）へのｙ座標の更なるシフト（δｙ）を取込む。この実施形態において、ｙシフトに基づくｙオフセットは、（−ｙ１＋−δｙ）であると計算される。一方で、ｙシフトが、図３Ａで特定されるｙシフトから反対の方向であった場合、ｙオフセットは、（−ｙ１＋δｙ）であると計算されることになる。この実施形態において、図３Ａに示す実施形態の場合と同様に、図３Ａ及び３Ｂに示す実施形態において、ｙ及びｚシフトのみがモニターされている。座標（ｚ１）は同じままであり続ける。
【００３５】
図４Ａ〜４Ｃは、別の実施形態における、ＨＭＤを装着するユーザについてのアライメントオフセットの計算を示す。図４Ａは、光学軸に対するユーザの眼の位置に基づいて計算されるアライメントオフセットを示す。アライメントオフセットは、ユーザの眼が光学軸とどのように一直線に整列するかに応じて任意の方向（複数可）で検出され得る。図４Ａに示す実施形態において、アライメントオフセットは、ｘ軸上の正のシフトによるｘ軸に沿うオフセットであると認識される。図４Ｂは、アライメントオフセットが、ユーザの眼がｘ軸に沿って左に約４５°のみ移動することに基づいて計算される実施形態を示す。この実施形態において、アライメントオフセットは、ｘ軸に沿う眼のシフト（δｘ）が図４Ａに示す眼の初期位置と反対の方向にあるため、（−ｘ＋−δｘ）として計算される。同様なラインに沿って、図４Ｃは、アライメントオフセットが、ユーザの眼がｘ軸に沿って右に約４５°のみ移動することに基づいて計算される実施形態を示す。この実施形態において、アライメントオフセットは、ｘ軸に沿う眼のシフト（＋δｘ）が図４Ａを基準にして規定される眼の初期位置と同じ方向であるため、（＋ｘ＋δｘ）として計算される。図４Ａ〜４Ｃに示す種々の実施形態において、オフセットは、カメラ／センサ１０６によって取込まれる情報に基づいて計算される。
【００３６】
図５Ａ〜５Ｉは、ＨＭＤのディスプレイスクリーンの可視視野の周りの場所を特定する異なる実施形態を示し、１つまたは複数のカメラ／センサが、光学軸に対するユーザの眼のシフトを取込むために配設される可能性がある。もちろん、カメラ／センサは、内向きカメラ／センサであり、内向きカメラ／センサは、ユーザがＨＭＤを装着しているときユーザの眼（複数可）に向かって方向付けられ、ＨＭＤのディスプレイスクリーン上でレンダリングされる画像の遮られないビューを提供しながら、ＨＭＤ内に配設される光学軸を基準として眼の位置の相対的シフト及び凝視方向を取込むように配設される。先に述べたように、１つまたは複数のカメラ／センサによって取込まれる眼シフトに関連する情報は、光学部品中心を基準とするユーザの眼のアライメントオフセットを計算するために使用される。２つ以上のカメラ／センサが使用されるとき、複数のカメラ／センサからの情報は、混合／融合／平均されて、光学部品に対する眼の位置を決定する。幾つかの実施形態において、複数のカメラ／センサからの情報は、線形補間を使用して結合されて、アライメントオフセットを決定する。
【００３７】
図５Ａに示す実施形態において、カメラまたはセンサは、矩形可視視野の両側に配設されて、光学軸に対するユーザの凝視方向及び眼の位置を決定する。図５Ａ〜５Ｉに示す可視視野を規定する形状（すなわち、矩形形状）が、例示であり、制限的であると考えられるべきでないことが本明細書で留意されるべきである。他の幾何学的形状が、可視視野を示すために考えられてもよく、また、こうした幾何学的形状は、ＨＭＤ内に配設されるディスプレイスクリーンの形状／サイズに依存する場合がある。更に、各セクションの中央に位置決めされるセンサが示される。センサは、各側面の特定の端等を含む各側面に沿ってどこにでも位置決めされる可能性がある。
【００３８】
図５Ｂは、光学軸に対してユーザの眼の位置及び凝視方向を決定するために一対のカメラ／センサが使用される実施形態を示す。この実施形態において、カメラ／センサは、可視視野の上部側面及び下部側面に配設される。図５Ｃは、カメラ／センサが、一方の側面−可視視野の下部側面の中央のみに配設される別の実施形態を示す。図５Ｄは、図５Ｂに示す実施形態に対する他の実施形態を示す。この実施形態において、カメラ／センサが可視視野の下部／上部側面の中央に配設される代わりに、カメラ／センサは、可視視野の左側面及び右側面の中央に配設される。カメラ／センサは、図５Ｅに示す他の実施形態において、視野の外側右側面／左側面にのみ、または、図５Ｆの実施形態に示すように、視野の内側右側面／左側面にのみ配設されてもよい。図５Ｇに示す別の他の実施形態において、カメラ／センサは、各眼の前に提示される可視視野の右側面のみの中央に配設されてもよい。図５Ｈに示す例示的な実施形態において、１つのカメラ／センサは、一方の眼の前で規定される可視視野の一方の側面（例えば、上部側面）に配設される可能性があり、別のカメラは、他の眼の前で規定される視野の反対の側面に配設される可能性がある。
【００３９】
図５Ｉに示す他の実施形態において、カメラ／センサは、一方の眼の前で規定される可視視野の周りに配設されてもよく、また、情報が使用されて、両方の眼について提示される予歪付与済み画像に任意の調整を適用してもよい。この実施形態において、一方の眼のみに関連する動きが追跡され、その情報が、両方の眼の前でレンダリングするため画像がＨＭＤに送信される前に、予歪付与済み画像に対して更なる調整を実行するために使用される。他の実施形態において、各眼の前のカメラ／センサが使用されて、各眼の相対的動きを決定し、ユーザが一方の側で斜視を示しているかどうかまたは左眼の動きが右眼の動きをミラーリングするかどうかを判定してもよい。その判定に基づいて、一方の眼（例えば、斜視を有するユーザの場合、移動している眼）のみが追跡されて、予歪付与済み画像に対して更なる調整が行われる必要があるかどうかを判定し、両方の眼の前に提示される画像に対して更なる調整を適用してもよい。見てわかるように、カメラ／センサは、可視視野の任意の側面に任意の構成で配設されてもよく、また、カメラによって取込まれる情報が使用されて、アライメントオフセットを決定し、計算されたアライメントオフセットに基づいて、一方または両方の眼の前に配設されるディスプレイスクリーンでレンダリングされる画像に対して任意の調整を実施してもよい。
【００４０】
図６Ａは、画像がＨＭＤの光学部品によって処理されレンダリングされる前に、予歪付与済み画像を調整するために使用される例示的なシステムを示す。調整は、光学軸に対するユーザの眼（複数可）のミスアライメントによって存在する場合があるどんな収差にも対処することである。システムは、コンテンツの予歪付与済み画像に対する調整を提供するために関わる複数のモジュールを特定する。図６Ａに示す一実施形態において、システムは、ＨＭＤ１００及びＨＭＤ１００に通信可能に接続されるコンピューティングデバイス２００を含む。先に述べたように、コンピューティングデバイスは、ネットワークもしくは独立型コンピュータまたはコンソールの一部であってよい。コンピューティングデバイス２００とＨＭＤ１００との間の接続は、有線または無線接続を通して行われてもよい。
【００４１】
ＨＭＤ１００は、ユーザが観察するため、アプリケーションによって提供されるコンテンツを受信しレンダリングするように構成される。このため、ＨＭＤ１００は、アプリケーションによって提供される画像コンテンツをレンダリングするために使用されるディスプレイスクリーン１０４、及び、ニアアイフォーカスのためディスプレイスクリーン上で提供される画像コンテンツを処理するための光学部品１０２を含んで、ＨＭＤを装着するユーザが画像コンテンツを明瞭に観察することを可能にする。光学部品１０２は、ディスプレイスクリーン１０４とユーザの眼（複数可）との間に配設される。一実施形態において、ＨＭＤのディスプレイスクリーンに転送される画像は、画像が光学部品１０２を通して提示され観察されると、画像が鮮鋭にかつ明瞭に見えるように予歪付与される。
【００４２】
ＨＭＤ１００は、同様に、ユーザの眼のアライメント情報等のような情報を取込みコンピューティングデバイス２００に提供して、コンピューティングデバイスが、その情報を使用し、光学軸に対するユーザの眼（複数可）の（もしあれば）アライメントオフセットを計算するように構成される。このため、ＨＭＤは、１つまたは複数のカメラ／センサを含んで、ＨＭＤ内に設けられる光学軸１０２に対するユーザの眼（複数可）のアライメントに関する情報を取込む。図６Ａでバブル１及び２で示す取込み済み情報は、カメラ（複数可）／センサ（複数可）によって、処理のためにコンピューティングデバイス２００に送信される。
【００４３】
コンピューティングデバイス２００は、ＨＭＤによって提供される情報を処理し、ＨＭＤのディスプレイスクリーン上でレンダリングするため、予歪付与済み画像コンテンツを提供するための複数のモジュールを含む。例示的なモジュールの幾つかは、コンテンツ実行モジュール２０２、画像レンダリングロジック２０４、画像コンテンツデータモジュール２０６、眼位置センサ２０８、及び光学部品歪処理モジュール２１０を含む。コンテンツ実行モジュール２０２は、ユーザ入力３００に応答して始動される。ユーザ入力３００は、実行するためのアプリケーションの選択であってよく、コンテンツ実行モジュール２０２は、アプリケーションのユーザ選択を検出し、選択されたアプリケーションを実行する。画像コンテンツを含む実行用アプリケーションからのコンテンツは、画像レンダリングロジック２０４に提供される。画像レンダリングロジック２０４は、ＨＭＤで使用される光学部品（複数可）のタイプ及び画像に適用される必要がある歪の量を決定するため、画像がＨＭＤに提示されると、光学部品は、ニアアイフォーカスのために画像に対して必要な補正を提供することになる。特定の光学部品についての歪データ情報が使用されて、画像コンテンツデータに歪を適用し、予歪付与済み画像コンテンツデータは、予歪付与済み画像コンテンツデータが格納される画像コンテンツデータモジュール２０６に送信され、画像コンテンツデータモジュール２０６から、予歪付与済み画像コンテンツデータが、更なる処理のために取出される。光学部品歪処理モジュール２１０は、画像コンテンツデータモジュール２０６から予歪付与済み画像コンテンツデータを取出し、眼位置センサ２０８から眼位置データを取出し、ユーザの眼の位置に関連するアライメントオフセットを決定し、ＨＭＤで使用される光学部品に基づいて、予歪付与済み画像コンテンツデータに適用される必要がある更なる歪を決定し、更なる歪を適用して、ＨＭＤのディスプレイスクリーン１０４上でレンダリングするためＨＭＤに提示される補正済みで予歪付与済みの画像データ１１０を生成する。眼位置を決定し、光学軸に対する眼位置のアライメントオフセットを計算し、予歪付与済み画像に対して調整を提供するプロセスは、回路要素、ＤＳＰ（デジタル信号処理）、ソフトウェア、またはその組合せを使用して実行されてもよく、それは、ＨＭＤに接続されるコンピュータ、コンソール（例えば、ゲームコンソール）、携帯電話／デバイス等に関連する。
【００４４】
一実施形態において、ＨＭＤの光学軸に対して眼位置を決定し、眼位置に基づいて予歪付与済み画像データを調整するプロセスは、ユーザがＨＭＤを装着している限り、また、アプリケーションが実行されている限り、連続して実行されてもよい。この実施形態において、眼の位置が連続して追跡されて、新しい眼位置を決定し、または、予め規定された眼位置を検証し、予歪付与済み画像に対して調整が行われ、補正済みで予歪付与済みの画像は、ＨＭＤのディスプレイスクリーン上でメディアコンテンツがレンダリングされているフレームレートでディスプレイスクリーンに送信される。別の実施形態において、眼追跡及び歪適用プロセスは、画像コンテンツデータがＨＭＤ上でレンダリングされる前に、アプリケーションの初期化ステップの一部としてまたはＨＭＤの較正ステップの一部として一回実行され、眼位置の変化がＨＭＤで検出されるときはいつでも繰返されてもよい。
【００４５】
一実施形態において、アライメントオフセットは、ｘ軸のみに沿って眼位置のシフトを追跡することによって計算される。別の実施形態において、アライメントオフセットは、ｙ軸のみに沿って眼位置シフトを追跡することによって計算される。１つの他の実施形態において、眼位置シフトは、ｚ軸のみに沿って追跡される。別の実施形態において、眼位置シフトは、ｘ及びｙ軸のみに沿って追跡される。別の実施形態において、眼位置シフトは、ｘ及びｚ軸のみに沿って追跡される。別の実施形態において、眼位置シフトは、ｙ及びｚ軸のみに沿って追跡される。一実施形態において、眼位置シフトは、ｘ、ｙ、及びｚ軸に沿って追跡される。種々の実施形態から見てわかるように、異なる軸のシフトが追跡され、また、画像が調整されて、ＨＭＤにおいて画像の明瞭なビューを提供してもよい。行われる必要がある調整の量は、光学部品で使用されるレンズのタイプに依存する。更なる歪が画像にどのように適用されるかについての更なる情報は、図７を参照して更に説明される。
【００４６】
図６Ａに示す実施形態において、予歪付与済み画像に更なる歪を適用するプロセスは、異なるモジュールが配設されるコンピューティングデバイス２００上で実行される。眼位置データを処理し、更なる歪を適用するためにコンピューティングデバイスを使用することは、ＨＭＤで画像をレンダリングするためのレイテンシをもたらす場合があり、そのレイテンシは、使用される通信リンクに依存する場合がある。
【００４７】
図６Ｂは、画像処理の一部がＨＭＤで実行される実施形態を示す。ＨＭＤでの処理が行われて、レイテンシに対処し、高速かつ効率的な方法でＨＭＤにおいて高品質画像を提供してもよい。この実施形態において、眼位置センサモジュール２０８'及び光学部品歪処理モジュール２１０'は、コンピューティングデバイス２００の代わりにＨＭＤ１００内に設けられる。眼位置センサモジュール２０８'及び歪処理モジュール２１０'の機能は、図６Ａで論じたコンピューティングデバイス内に設けられた対応するものと同様である。眼位置センサモジュール２０８'及び歪処理モジュール２１０'をコンピューティングデバイスの代わりにＨＭＤ内に設けることによって、更なる歪の適用及び画像コンテンツデータのレンダリングは、より迅速である。その理由は、アライメントオフセットが、眼位置センサモジュール２０８'内でローカルに計算され、予歪付与済み画像コンテンツデータが、ＨＭＤのディスプレイスクリーン上に提示され、光学部品を通して観察される前に、光学部品歪処理モジュール２１０'によってローカルに調整されるからである。
【００４８】
図７は、光学部品歪処理モジュール２１０によって、調整済みで歪付与済みの画像データ１１０を生成するプロセスを示す。プロセスは、１つもしくは複数のカメラまたはセンサ１０６を使用してユーザの眼（複数可）の位置の検出で始まる。ユーザの眼の位置は、ユーザがＨＭＤを装着するかつ／またはアクティブ化することに応答して、アプリケーションのアクティブ化に応答して、ＨＭＤまたはアプリケーション等の初期化ステップの一部として検出されてもよい。眼位置は、光学軸に対する眼の相対的位置に基づいて決定されてもよい。光学軸に対する眼の相対的位置を単純かつより迅速に決定する場合、ディスプレイスクリーンの可視視野は、規定された数の領域に分割され、眼の相対的位置は、規定された領域に対して決定される。図７に示す一実施形態において、視野は、バブル１〜４で示す４つの象限及びバブル５で示す中央エリアに分割される。象限のそれぞれは、眼位置が特定の方向にシフトする可能性がある視野内の最も遠いポイントをカバーする。領域及び領域をカバーするエリアの数は例示であり、より少ないまたはより多い領域が規定されて、眼位置をより的確に特定してもよい。眼位置センサ（例えば、深度センサ、画像センサ、カメラ等）は、ＨＭＤ内に設けられた光学軸に対して眼位置データを取込み、この情報を、光学部品歪処理モジュール２１０内の位置特定モジュール２１０ａに提供する。
【００４９】
一実施形態において、位置特定モジュール２１０ａは、眼位置センサ１０６によって提供される情報を使用し、１つまたは複数の領域からのデータを使用して光学軸に対して眼の位置を決定する。位置特定モジュール２１０ａからの情報は、歪マップ発生器モジュール２１０ｂに提供される。歪マップ発生器モジュール２１０ｂは、位置特定モジュール２１０ａからの位置データ情報を使用し、ＨＭＤで使用される光学部品のタイプ及び形状に関連する情報を取得し、１つまたは複数の予め規定された／予め計算された２次元（２Ｄ）歪マップを特定して、変位を眼位置に的確にマッピングし、歪補正を決定する。２Ｄ歪マップは、ＨＭＤで使用される光学部品の各タイプ及び形状についてのまたＨＭＤの視野内の各場所についての光学シミュレーションに基づいて予め規定されている。図７に示す実施形態において、眼位置は、象限３、４及び中央領域５からのデータを使用することによって決定されてもよい。別の実施形態において、眼位置は、全ての領域（例えば、象限１〜４及び中央領域５）からのデータを使用することによって決定されてもよい。更に別の実施形態において、眼位置は、象限２〜４及び中央領域５からのデータを使用して決定されてもよい。幾つかの他の実施形態において、眼位置は、１つの領域（象限３、４または中央領域５）のみからのデータを使用して決定されてもよい。眼位置を決定するために使用される領域の数によらず、歪マップ発生器モジュール２１０ｂは、予め計算された／予め規定された２次元（２Ｄ）マップの１つまたは複数を特定し、特定されたマップを使用して、画像コンテンツデータ２０６に適用される必要がある歪補正を的確に決定する。
【００５０】
適切なマップを特定するため、歪マップ発生器モジュール２１０ｂは、ＨＭＤの光学部品で使用されるレンズの形状及びタイプを最初に決定する。光学部品内のレンズのタイプ及び形状並びにユーザの眼位置のアライメントオフセットのためレンダリングされる画像に含まれる場合がある異なる形態の収差が存在する。例えば、球面レンズが使用されるとき、収差は、本質的に半径方向である場合がある。非球面レンズが使用されるとき、収差は、幾何学的、直線的、色的、またはその任意の組合せである場合がある。ホログラフィック導波レンズが使用されるとき、収差は、本質的に色的である場合がある。色収差は、画像に関連する赤、緑、青カラースペクトルの１つまたは複数のカラースペクトルがシフトし、同じポイントにフォーカスしないときにもたらされる場合がある。ＨＭＤで使用される光学部品に基づいて、こうした収差は、高品質画像をユーザに提供するため、更なる調整を適用することによって補正される必要がある。したがって、特定される２Ｄマップは、ＨＭＤについて選択される光学部品のタイプ及び形状に基づく。
【００５１】
光学部品の各タイプ及び形状について、別個の２Ｄマップモデルが、画像をレンダリングするときに使用される主スペクトルカラーのそれぞれについて規定される。これらのモデルは、画像内の各主スペクトルカラーについて適用される必要がある歪の量を規定する。例えば、光学部品が非球面レンズを使用する場合、非球面レンズに関連する各カラーについての２Ｄマップが特定される。同様に、光学部品が球面レンズまたはホログラフィック導波レンズを使用する場合、球面レンズまたはホログラフィック導波レンズについての適切な２Ｄマップが、各カラーについて特定される。更なる２Ｄマップは、光学部品の各タイプの異なるサイズ及び形状について規定されてもよい。したがって、２Ｄマップの特定のマップは、ＨＭＤで使用される特定のタイプの光学部品について、その光学部品のサイズ及び形状に基づいて特定されてもよい。
【００５２】
光学部品のタイプに関連する複数の２Ｄマップは、位置特定モジュール２１０ａによって特定される特定の領域に関連する２Ｄマップを含むように更にフィルタリングされる。適切な２Ｄマップが特定されると、歪マップ発生器モジュールは、複数の特定済み２Ｄマップからのデータの線形補間を実施して、眼位置に対して規定されたアライメントオフセットについて２Ｄアクティブ歪調整マップをオンザフライで生成する。新しく生成されるアクティブ歪調整マップからのデータは、調整式歪処理モジュール２１０ｃ（単に「アジャスタモジュール（ａｄｊｕｓｔｅｒ  ｍｏｄｕｌｅ）」と呼ばれる）に提供される。アジャスタモジュール２１０ｃは、入力として、アプリケーションから画像コンテンツデータを受信する。アジャスタモジュール２１０ｃで受信される画像コンテンツデータは、画像がＨＭＤにて提示されると、光学部品が、歪を補正して、ニアアイフォーカスにおいてより明瞭な画像をユーザに提示することになる。アジャスタモジュールは、新しく生成されるアクティブ歪調整マップにおいて提供されるデータに基づいて、予歪付与済み画像に対して更なる調整を実施して、補正済みで予歪付与済みの画像１１０を生成する。補正済みで予歪付与済みの画像データ１１０は、レンダリングのためにＨＭＤ１０４のディスプレイスクリーンに転送される。補正済みで予歪付与済みの画像データ１１０がＨＭＤに提供されると、ＨＭＤ上の光学部品は、ニアアイフォーカスのために画像を処理して、ユーザが画像を観察することを可能にする。提示される画像は、アライメントオフセットによってもたらされる収差を除去し、高品質である。
【００５３】
本発明の実施形態が使用されて、ユーザの眼の動きを予測し、予測に基づいて画像データコンテンツを調整する可能性がある。例えば、アプリケーションの実行の一部として、地雷爆破、落雷、火山噴火、受信される新しい電子メール、受信されるソーシャルフィード更新等のような活動が存在する場合があり、可視視野の一端で提示される画像は、活動を取込む場合がある。一般に、こうした活動は、ユーザの注意を引き、ユーザの眼が、その活動を観察するためにこの場所にシフトする。この予測に基づいて、新しいマップがオンザフライで生成され、予歪付与済み画像に対する調整が、実質的にリアルタイムに実行されてもよい。一実施形態において、ｘシフトのみが眼位置について決定され、新しいマップがｘシフトについて生成され、調整が、ｘシフトに従って行われる。他の実施形態において、ｙシフトのみ、ｚシフトのみ、ｘ及びｙシフトのみ、ｘ及びｚシフトのみ、ｙ及びｚシフトのみ、またはｘ−ｙ−ｚシフトが決定され、新しいマップが、検出されたシフトに従って生成され、調整が、検出された軸シフトに従って行われる。ユーザの眼の動きを予測することによって、レイテンシが最小にされてもよい。幾つかの実施形態において、ユーザの眼の動きの予測は、レンダリングされるコンテンツに依存する。
【００５４】
図８は、頭部搭載型ディスプレイにおいて受信される画像を調整するために使用される方法の種々の方法オペレーションを示す。方法は、オペレーション８１０で始まり、画像が、頭部搭載型ディスプレイのディスプレイスクリーン上で提示するため受信される。コンピューティングデバイスが独立型コンピュータまたはネットワーク化コンピューティングデバイスである場合がある一実施形態において、画像は、ＨＭＤに通信可能に接続されるコンピューティングデバイス上で実行されるアプリケーションによって提供される。アプリケーションによって提供される画像は、ＨＭＤのディスプレイスクリーン上で提示される前に、予歪付与されるため、ＨＭＤ内に設けられる光学部品を通して観察されるときの画像は、ニアアイフォーカスのために提示される。ＨＭＤを装着するユーザの眼のアライメントオフセットは、オペレーション８２０に示すように特定される。アライメントオフセットは、ＨＭＤ内に設けられる光学部品の少なくとも１つのレンズの光学軸に対する眼の位置を決定することによって特定される。アプリケーションによって提供される予歪付与済み画像は、オペレーション８３０に示すように、アライメントオフセットを反映するように調整される。調整は、補正済みで予歪付与済みの画像を生成させる。補正済みで予歪付与済みの画像は、オペレーション８４０に示すように、ディスプレイスクリーン上でレンダリングするためＨＭＤに転送される。光学部品を通して観察されるときの補正済みで予歪付与済みの画像は、明瞭であり、また、アライメントオフセットによってもたらされる収差がない。
【００５５】
図９は、他の実施形態における、方法のプロセスフローオペレーションを示す。方法は、オペレーション９１０で始まり、ＨＭＤを装着するユーザの眼のアライメントオフセットが特定される。アライメントオフセットは、ＨＭＤ内に設けられる光学部品の少なくとも１つのレンズの光学軸に対する眼の位置を決定することによって特定される。ＨＭＤのディスプレイスクリーン上でレンダリングするためアプリケーションによって提供されるメディアコンテンツの予歪付与済み画像は、オペレーション９２０に示すように調整される。調整は、アライメントオフセットを考慮する補正済みで予歪付与済みの画像の生成をもたらす。補正済みで予歪付与済みの画像は、オペレーション９３０に示すように、ディスプレイスクリーン上でレンダリングするためＨＭＤに送信される。ＨＭＤの光学部品を通して提示される画像は、アライメントオフセットによってもたらされる収差がない。
【００５６】
ＨＭＤのディスプレイスクリーン上でレンダリングされるコンテンツをユーザがよりよく観察することを可能にするため、ユーザの眼位置が光学部品に対して設定または規定される必要があることが留意されるべきである。例えば、これは、ユーザがディスプレイスクリーン上のオブジェクトに追従するにつれて、ユーザの眼の動きを追跡することを含む場合がある。その結果、線形補間を使用して眼位置を検出する頻度及び歪調整は、ユーザの眼位置において検出される変化の量に依存し、また、幾つかの実施形態において、画像がディスプレイスクリーン上でリフレッシュされるフレームレート（すなわち、スクリーンリフレッシュレート）に基づく。他の実施形態において、調整は、スクリーンリフレッシュレートの半分または数分の一で行われる可能性がある。
【００５７】
図１０は、本発明の幾つかの実施形態を実装するために使用される場合があるハードウェア及びユーザインタフェースを示す。図１０は、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ３（登録商標）エンタテインメントデバイスの全体的なシステムアーキテクチャを概略的に示す。ＰｌａｙＳｔａｔｉｏｎの他のバージョンは、より多いまたはより少ない機能を含んでもよい。システムユニット１３００が設けられ、種々の周辺デバイスがシステムユニット１３００に接続可能である。システムユニット１３００は、セルプロセッサ１３０２、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１３０４、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）１３０８を有するリアリティシンセサイザグラフィクスユニット１３０６、及び、Ｉ／Ｏブリッジ１３１０を含む。システムユニット１３００は、同様に、Ｉ／Ｏブリッジ１３１０を通してアクセス可能な、ディスク１３１２ａ及び取外し可能スロットインハードディスクドライブ（ＨＤＤ）１３１４から読出するためのＢｌｕ  Ｒａｙ（登録商標）Ｄｉｓｋ  ＢＤ−ＲＯＭ（登録商標）光ディスクリーダ１３１２を備える。任意選択で、システムユニット１３００は、同様に、Ｉ／Ｏブリッジ１３１０を通して同様にアクセス可能な、コンパクトフラッシュ(登録商標)メモリカード、Ｍｅｍｏｒｙ  Ｓｔｉｃｋ（登録商標）メモリカード等を読取るためのメモリカードリーダ１３０１を備える。
【００５８】
Ｉ／Ｏブリッジ１３１０は、同様に、６つのユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）２．０ポート１３１６、ギガビットイーサネット(登録商標)ポート１３１８、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１３２０、及び、最大７のＢｌｕｅｔｏｏｔｈ(登録商標)接続をサポートすることが可能なＢｌｕｅｔｏｏｔｈ（登録商標）無線リンクポート１３２２に接続する。
【００５９】
動作時、Ｉ／Ｏブリッジ１３１０は、１つまたは複数のゲームコントローラ１１０及び１３２４からのデータを含む、全ての無線、ＵＳＢ、及びイーサネット(登録商標)データを扱う。例えば、ユーザがゲームをしているとき、Ｉ／Ｏブリッジ１３１０は、Ｂｌｕｅｔｏｏｔｈ(登録商標)リンクを介してゲームコントローラ１１０及び１３２４からデータを受信し、そのデータをセルプロセッサ１３０２に送り、セルプロセッサ１３０２は、ゲームの目下の状態を相応して更新する。
【００６０】
無線、ＵＳＢ、及びイーサネット(登録商標)ポートは、同様に、ゲームコントローラ１１０及び１３２４に加えて、リモートコントロール１３２６、キーボード１３２８、マウス１３３０、Ｓｏｎｙ  ＰＳＰ（登録商標）エンタテインメントデバイス等の可搬型エンタテインメントデバイス１３３２、ＰｌａｙＳｔａｔｉｏｎ（登録商標）アイカメラ１３３４、形状オブジェクト１３３６、及びマイクロフォン１３３８等の他の周辺デバイスについての接続性を提供する。したがって、こうした周辺デバイスは、原理上、システムユニット１３００に無線で接続されてもよく、例えば、可搬型エンタテインメントデバイス１３３２はＷｉ−Ｆｉアドホック接続を介して通信してもよく、一方、形状オブジェクト１３３６はＢｌｕｅｔｏｏｔｈ(登録商標)リンクを介して通信してもよい。
【００６１】
これらのインタフェースの供給は、ＰｌａｙＳｔａｔｉｏｎ３デバイスが、同様に、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、可搬型メディアプレーヤ、ボイスオーバーインターネットプロトコル（ＩＰ）電話、携帯電話、プリンタ、及びスキャナ等の他の周辺デバイスにおそらくは適合していることを意味する。更に、レガシーメモリカードリーダ１３４０は、ＵＳＢポート１３１６を介してシステムユニットに接続され、ＰｌａｙＳｔａｔｉｏｎ（登録商標）またはＰｌａｙＳｔａｔｉｏｎ２（登録商標）デバイスによって使用される種類のメモリカードの読取りを可能にしてもよい。
【００６２】
ゲームコントローラ１１０及び１３２４は、Ｂｌｕｅｔｏｏｔｈ(登録商標)リンクを介してシステムユニット１３００と無線通信する、または、ＵＳＢポートに接続されるように動作可能であり、それにより、電力を提供し、それにより、ゲームコントローラ１１０及び１３２４の電池に充電する。ゲームコントローラ１１０及び１３２４は、同様に、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリ等の永久メモリ、照明式球セクション、発光ダイオード（ＬＥＤ）、または赤外光、超音波通信用のマイクロフォン及びスピーカ、音響チャンバ、デジタルカメラ、内部クロック、ゲームコンソールに向く認識可能形状、及びＢｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（商標）等のようなプロトコルを使用する無線通信を含む可能性がある。認識可能形状は、実質的に、球、立方体（ｃｕｂｅ）、平行四辺形、直方体、円錐、ピラミッド、サッカーボール、フットボール、またはラグビーボール、不完全形状、球のセクション、切頭ピラミッド、切頭円錐、ベースボールバット、切頭立方体、多面体、スター等、またはこれらの形状の２つ以上の組合せの形状である可能性がある。
【００６３】
ゲームコントローラ１３２４は、両手で使用されるように設計されたコントローラであり、ゲームコントローラ１１０は、ボールアタッチメントを有する片手コントローラである。１つまたは複数のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラは、３次元場所決定に敏感である。その結果、ゲームコントローラのユーザによるジェスチャ及び動きは、従来のボタンまたはジョイスティックコマンドに加えてまたはその代わりに、ゲームに対する入力として変換されてもよい。任意選択で、Ｓｏｎｙ  ＰＳＰ（登録商標）可搬型デバイス等の他の無線対応周辺デバイスがコントローラとして使用されてもよい。Ｓｏｎｙ  ＰＳＰ（登録商標）可搬型デバイスの場合、更なるゲームまたは制御情報（例えば、制御命令またはライブの数）が、デバイスのスクリーン上に提供されてもよい。ダンスマット（図示せず）、ライトガン（図示せず）、ステアリングホイール及びペダル（図示せず）、または、迅速応答クイズゲーム用（また図示せず）の単一のもしくは幾つかの大型ボタン等のベスポークコントローラ等の、他の他のまたは補助の制御デバイスが、同様に使用されてもよい。
【００６４】
リモートコントロール１３２６は、同様に、Ｂｌｕｅｔｏｏｔｈ(登録商標)リンクを介してシステムユニット１３００と無線通信するように動作可能である。リモートコントロール１３２６は、Ｂｌｕ  Ｒａｙ（商標）ディスクＢＤ−ＲＯＭリーダ１３１２に、また、ディスクコンテンツのナビゲーションに適したコントロールを備える。
【００６５】
Ｂｌｕ  Ｒａｙ（商標）ディスクＢＤ−ＲＯＭリーダ１３１２は、従来のプレレコーデッドでかつレコーダブルなＣＤ、いわゆるスーパーオーディオＣＤに加えて、ＰｌａｙＳｔａｔｉｏｎ及びＰｌａｙＳｔａｔｉｏｎ２デバイスに適合するＣＤ−ＲＯＭを読出すように動作可能である。リーダ１３１２は、同様に、従来のプレレコーデッドでかつレコーダブルなＤＶＤに加えて、ＰｌａｙＳｔａｔｉｏｎ２及びＰｌａｙＳｔａｔｉｏｎ３デバイスに適合するＤＶＤ−ＲＯＭを読出すように動作可能である。リーダ１３１２は、ＰｌａｙＳｔａｔｉｏｎ３デバイス並びに従来のプレレコーデッドでかつレコーダブルなＢｌｕｅ−Ｒａｙディスクに適合するＢＤ−ＲＯＭを読出すように更に動作可能である。
【００６６】
システムユニット１３００は、オーディオ及びビデオコネクタを通して、リアリティシンセサイザグラフィクス（ＲＳＸ：Ｒｅａｌｉｔｙ  Ｓｙｎｔｈｅｓｉｚｅｒ  ｇｒａｐｈｉｃｓ  Ｕｎｉｔ）１３０６を介してＰｌａｙＳｔａｔｉｏｎ３によって生成または復号されるオーディオ及びビデオを、ディスプレイ１３４６及び１つまたは複数のラウドスピーカ１３４８または独立型スピーカ１３５０を有するモニターまたはテレビジョンセット等のディスプレイ及びサウンド出力デバイス１３４２に供給するように動作可能である。一実施形態において、音声及び凝視入力が利用されて、ユーザのＰＯＧに従って特定のオーディオスピーカに向かってサウンドを演奏する。オーディオコネクタ１３５８は、従来のアナログ及びデジタル出力を含んでもよく、一方、ビデオコネクタ１３６０は、コンポーネントビデオ、Ｓビデオ、複合ビデオ、及び１つまたは複数の高品位マルチメディアインタフェース（ＨＤＭＩ(登録商標)：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）出力をさまざまに含んでもよい。その結果、ビデオ出力は、ＰＡＬまたはＮＴＳＣ等のフォーマットもしくは７２０ｐ、１０８０ｉ、または１０８０ｐ高品位であってよい。
【００６７】
オーディオ処理（生成、復号等）は、セルプロセッサ１３０２によって実行される。ＰｌａｙＳｔａｔｉｏｎ３デバイスのオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）シアターサラウンド（ＤＴＳ：Ｄｏｌｂｙ(登録商標)  Ｔｈｅａｔｒｅ  Ｓｕｒｒｏｕｎｄ）、及びＢｌｕ  Ｒａｙ（商標）ディスクからの７．１サラウンドサウンドの復号をサポートする。
【００６８】
本実施形態において、ビデオカメラ１３３４は、単一電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及び符号化装置を備えるため、圧縮済みビデオデータは、システムユニット１３００が復号するための標準的な、画像内ベースＭＰＥＧ（ｍｏｔｉｏｎ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔ  ｇｒｏｕｐ、モーションピクチャエキスパートグループ）等の適切なフォーマットで送信されてもよい。カメラＬＥＤインジケータは、例えば、悪い照明状態を表すため、システムユニット１３００からの適切な制御データに応答して照明するように配置される。ビデオカメラ１３３４の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ(登録商標)、またはＷｉ−Ｆｉ通信ポートを介してシステムユニット１３００とさまざまに接続してもよい。ビデオカメラの実施形態は、１つまたは複数の関連するマイクロフォンを含み、また同様に、オーディオデータを送信することが可能であってよい。ビデオカメラの実施形態において、ＣＣＤは、高品位ビデオ取込みに適する解像度を有してもよい。使用時、ビデオカメラによって取込まれる画像は、例えば、ゲーム内に組込まれる、または、ゲーム制御入力として解釈されてもよい。別の実施形態において、カメラは、赤外光を検出するのに適する赤外線カメラである。
【００６９】
一般に、成功裡のデータ通信が、システムユニット１３００の通信ポートのうちの１つの通信ポートを介してビデオカメラまたはリモートコントロール等の周辺デバイスに関して起こるために、デバイスドライバ等のソフトウェアの適切なピースが提供されるべきである。デバイスドライバ技術は、よく知られており、デバイスドライバまたは同様なソフトウェアが、説明される本実施形態において必要とされる場合があることを当業者が気付くことになる以外に、ここでは詳細に述べられない。
【００７０】
図１１は、本発明の種々の実施形態によるゲームシステム１１００のブロック線図である。ゲームシステム１１００は、ネットワーク１１１５を介して１つまたは複数のクライアント１１１０にビデオストリームを提供するように構成される。ゲームシステム１１００は、通常、ビデオサーバシステム１１２０及びオプションのゲームサーバ１１２５を含む。ビデオサーバシステム１１２０は、最低品質のサービスによって１つまたは複数のクライアント１１１０にビデオストリームを提供するように構成される。例えば、ビデオサーバシステム１１２０は、ビデオゲームの状態またはビデオゲーム内の視点を変更するゲームコマンドを受信し、最小遅れ時間で、この状態の変化を反映する更新済みビデオストリームをクライアント１１１０に提供してもよい。ビデオサーバシステム１１２０は、ビデオストリームを、まだ規定されていないさまざまな他のビデオフォーマットで提供するように構成されてもよい。更に、ビデオストリームは、さまざまなフレームレートでユーザに提示するように構成されるビデオフレームを含んでもよい。典型的なフレームレートは、３０フレーム／秒、６０フレーム／秒、及び１２０フレーム／秒であるが、より高いまたはより低いフレームレートが、本発明の他の実施形態に含まれる。
【００７１】
ここで１１１０Ａ、１１１０Ｂ等と個々に呼ばれるクライアント１１１０は、頭部搭載型ディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、独立型デバイス、手持ち式ゲームプレイングデバイス、及び／または同様なものを含んでもよい。通常、クライアント１１１０は、符号化済みビデオストリームを受信し、ビデオストリームを復号し、結果得られるビデオを、ユーザ、例えば、ゲームのプレーヤに提示するように構成される。符号化済みビデオストリームを受信するプロセス及び／またはビデオストリームを復号するプロセスは、通常、個々のビデオフレームをクライアントの受信バッファに記憶することを含む。ビデオストリームは、クライアント１１１０に一体のディスプレイ上で、または、モニターまたはテレビジョン等の別個のデバイス上で提示されてもよい。クライアント１１１０は、任意選択で、２人以上のゲームプレーヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人またはそれより多い数の同時プレーヤをサポートするように構成されてもよい。これらのプレーヤのそれぞれは、別個のビデオストリームを受信してもよい、または、単一ビデオストリームは、各プレーヤについて特に生成される、例えば、各プレーヤの視点に基づいて生成されるフレームの領域を含んでもよい。クライアント１１１０は、任意選択で、地理的に分散する。ゲームシステム１１００に含まれるクライアントの数は、１人または２人から、何千、何万、またはそれより多い数まで幅広く変動する場合がある。本明細書で使用されるとき、用語「ゲームプレーヤ（ｇａｍｅ  ｐｌａｙｅｒ）」は、ゲームをする人を指すために使用され、用語「ゲームプレイングデバイス（ｇａｍｅ  ｐｌａｙｉｎｇ  ｄｅｖｉｃｅ）」は、ゲームをするために使用されるデバイスを指す。幾つかの実施形態において、ゲームプレイングデバイスは、ユーザにゲーム体験を送出するために協働する複数のコンピューティングデバイスを指してもよい。例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１１２０と協働して、ＨＭＤを通して観察されるゲームを送出してもよい。一実施形態において、ゲームコンソールは、ビデオサーバシステム１１２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームを、レンダリングするためにＨＭＤに転送する、または、ビデオストリームを更新する。
【００７２】
クライアント１１１０は、ネットワーク１１１５を介してビデオストリームを受信するように構成される。ネットワーク１１１５は、電話ネットワーク、インターネット、無線ネットワーム、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク、及び／または同様なものを含む、任意のタイプの通信ネットワークであってよい。典型的な実施形態において、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準的なプロトコルを介して通信される。代替的に、ビデオストリームは、独占的標準を介して通信される。
【００７３】
クライアント１１１０の典型的な例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号ロジック、ネットワーク通信能力、及び入力デバイスを備えるパーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含んでもよい。ビデオストリームを復号する（また、符号化する）ためのシステムは、当技術分野でよく知られており、使用される特定の符号化スキームに応じて変動する。
【００７４】
クライアント１１１０は、受信済みビデオを修正するために構成されるシステムを更に含んでもよいが、含むことを必要とされない。例えば、クライアントは、更なるレンダリングを実行する、１つのビデオ画像を別のビデオ画像上のオーバレイする、ビデオ画像をクロッピングする、及び／または同様なことをするように構成されてもよい。例えば、クライアント１１１０は、Ｉフレーム、Ｐフレーム、及びＢフレーム等の種々のタイプのビデオフレームを受信し、これらのフレームを、ユーザに表示するための画像になるよう処理するように構成されてもよい。幾つかの実施形態において、クライアント１１１０のメンバは、更なるレンダリング、シェーディング、３Ｄへの変換等のオペレーションをビデオストリームに実行するように構成される。クライアント１１１０のメンバは、任意選択で、２つ以上のオーディオまたはビデオストリームを受信するように構成される。クライアント１１１０の入力デバイスは、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジャスチャ認識システム、凝視認識システム、音声認識システム、キーボード、ジョイスティック、指示デバイス、力フィードバックデバイス、運動及び／または場所検知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、まだ開発されていない入力デバイス等を含んでもよい。
【００７５】
クライアント１１１０によって受信されるビデオストリーム（及び任意選択で、オーディオストリーム）は、ビデオサーバシステム１１２０によって生成され提供される。本明細書の他の所で更に述べるように、このビデオストリームはビデオフレームを含む（また、オーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに対して表示される画像に有意に寄与するように構成される（例えば、ビデオフレームは、適切なデータ構造のピクセル情報を含む）。本明細書で使用されるとき、用語「ビデオフレーム（ｖｉｄｅｏ  ｆｒａｍｅ）」は、ユーザに対して表示される画像に寄与する、例えば、画像に影響を及ぼすように構成される情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書の教示のほとんどは、同様に、「オーディオフレーム（ａｕｄｉｏ  ｆｒａｍｅ）」に適用される可能性がある。
【００７６】
クライアント１１１０は、通常、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更する、またはそうでなければ、ゲームプレイに影響を及ぼすように構成されるゲームコマンドを含んでもよい。ゲームコマンドは、入力デバイスを使用して受信される可能性がある、かつ／または、クライアント１１１０上で実行されるコンピューティング命令によって自動的に生成されてもよい。受信済みゲームコマンドは、ネットワーク１１１５を介してクライアント１１１０からビデオサーバシステム１１２０及び／またはゲームサーバ１１２５に通信される。例えば、幾つかの実施形態において、ゲームコマンドは、ビデオサーバシステム１１２０を介してゲームサーバ１１２５に通信される。幾つかの実施形態において、ゲームコマンドの別個のコピーは、クライアント１１１０からゲームサーバ１１２５及びビデオサーバシステム１１２０に通信される。ゲームコマンドの通信は、任意選択で、コマンドのアイデンティティに依存する。ゲームコマンドは、任意選択で、オーディオまたはビデオストリームをクライアント１１１０Ａに提供するために使用される異なるルートまたは通信チャネルを通してクライアント１１１０Ａから通信される。
【００７７】
ゲームサーバ１１２５は、任意選択で、ビデオサーバシステム１１２０と異なるエンティティによって動作される。例えば、ゲームサーバ１１２５は、マルチプレーヤゲームのパブリシャによって動作されてもよい。この例において、ビデオサーバシステム１１２０は、任意選択で、ゲームサーバ１１２５によってクライアントと見なされ、また任意選択で、ゲームサーバ１１２５の観点から、従来技術のゲームエンジンを実行する従来技術のクライアントであるように見えるように構成される。ビデオサーバシステム１１２０とゲームサーバ１１２５との間の通信は、任意選択で、ネットワーク１１１５を介して行われる。したがって、ゲームサーバ１１２５は、ゲーム状態情報を、複数のクライアントであって、その中の１つのクライアントがビデオサーバシステム１１２０である、複数のクライアントに送信する従来技術のマルチプレーヤゲームサーバである可能性がある。ビデオサーバシステム１１２０は、ゲームサーバ１１２５の複数のインスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム１１２０は、異なるユーザに複数の異なるビデオゲームを提供するように構成される可能性がある。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１１２５によってサポートされてもよい、かつ／または、異なるエンティティによってパブリッシュされてもよい。幾つかの実施形態において、ビデオサーバシステム１１２０の幾つかの地理的に分配されたインスタンスは、ゲームビデオを複数の異なるユーザに提供するように構成される。ビデオサーバシステム１１２０のこれらのインスタンスのそれぞれは、ゲームサーバ１１２５の同じインスタンスと通信状態にあってもよい。ビデオサーバシステム１１２０と１つまたは複数のゲームサーバ１１２５との間の通信は、任意選択で、専用通信チャネルを介して行われる。例えば、ビデオサーバシステム１１２０は、ゲームサーバ１１２５に、これら２つのシステム間の通信に専用である広帯域チャネルを介して接続されてもよい。
【００７８】
ビデオサーバシステム１１２０は、少なくとも、ビデオソース１１３０、Ｉ／Ｏデバイス１１４５、プロセッサ１１５０、及び非一時的ストレージ１１５５を備える。ビデオサーバシステム１１２０は、１つのコンピューティングデバイスを含んでもよい、または、複数のコンピューティングデバイスの間に分配されてもよい。これらのコンピューティングデバイスは、任意選択で、ローカルエリアネットワーク等の通信システムを介して接続される。
【００７９】
ビデオソース１１３０は、ビデオストリーム、例えば、ムービングピクチャを形成するストリーミングビデオまたは一連のビデオフレームを提供するように構成される。幾つかの実施形態において、ビデオソース１１３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤからゲームコマンドを受信し、受信コマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置、並びに通常、視点を含む。ゲーム状態は、同様に、オブジェクトのプロパティ、画像、カラー、及び／またはテキスチャを含んでもよい。ゲーム状態は、通常、ゲームルール、並びに、ｍｏｖｅ、ｔｕｒｎ、ａｔｔａｃｋ、ｓｅｔ  ｆｏｃｕｓ  ｔｏ、ｉｎｔｅｒａｃｔ、ｕｓｅ、及び／または同様なもの等のゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択で、ゲームサーバ１１２５内に配設される。ゲームサーバ１１２５は、地理的に分散したクライアントを使用して、複数のプレーヤから受信されるゲームコマンドに基づいてゲームの状態のコピーを維持してもよい。これらの場合、ゲーム状態は、ゲームサーバ１１２５によって、ゲーム状態のコピーが記憶され、レンダリングが実行されるビデオソース１１３０に提供される。ゲームサーバ１１２５は、ネットワーク１１１５を介してクライアント１１１０から直接ゲームコマンドを受信してもよい、かつ／または、ビデオサーバシステム１１２０を介してゲームコマンドを受信してもよい。
【００８０】
ビデオソース１１３０は、通常、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１１５５等のコンピュータ可読媒体に記憶されるソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックの全てまたは一部は、任意選択で、グラフィクス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）内に配設される。レンダリングロジックは、通常、オブジェクト間の３次元空間関係を決定するために、及び／または、ゲーム状態及び視点に基づいて適切なテキスチャ等を適用するために構成される処理ステージを含む。レンダリングロジックは、未処理ビデオを生成し、未処理ビデオは、その後、クライアント１１１０に通信する前に、通常、符号化される。例えば、未処理ビデオは、Ａｄｏｂｅ  Ｆｌａｓｈ（登録商標）標準、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化されてもよい。符号化プロセスは、リモートデバイス上のデコーダに送出するため、任意選択でパッケージされるビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートを特徴とする。典型的なフレームサイズは、８００×６００、１２８０×７２０（例えば、７２０ｐ）、１０２４×７６８を含むが、任意の他のフレームサイズが使用されてもよい。フレームレートは、１秒当たりのビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含んでもよい。例えば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上の全てのマクロブロック／ピクセルをリフレッシュする情報を含み、一方、Ｐフレームは、そのサブセットをリフレッシュする情報を含む。Ｐフレームは、通常、Ｉフレームよりデータサイズが小さい。本明細書で使用するとき、用語「フレームサイズ（ｆｒａｍｅ  ｓｉｚｅ）」は、１フレーム内のピクセルの数を指すことを意味する。用語「フレームデータサイズ（ｆｒａｍｅ  ｄａｔａ  ｓｉｚｅ）」は、そのフレームを記憶するために必要とされるバイトの数を指すために使用される。
【００８１】
他の実施形態において、ビデオソース１１３０は、カメラ等のビデオ記録デバイスを含む。このカメラが使用されて、コンピュータゲームのビデオストリームに含まれる可能性がある遅延ビデオまたはライブビデオを生成する。結果得られるビデオストリームは、任意選択で、レンダリング済み画像と、スチルまたはビデオカメラを使用して記録された画像の両方を含む。ビデオソース１１３０は、同様に、ビデオストリームに含まれる前もって記録したビデオを記憶するように構成されるストレージデバイスを含んでもよい。ビデオソース１１３０は、同様に、オブジェクト、例えば人の運動または位置を検出するように構成される運動または位置決め検知デバイス、及び、検出された運動及び／または位置に基づいてゲーム状態を決定するまたはビデオを生成するように構成されるロジックを含んでもよい。
【００８２】
ビデオソース１１３０は、任意選択で、他のビデオ上に設置されるように構成されるオーバレイを提供するように構成される。例えば、これらのオーバレイは、コマンドインタフェース、命令のログ、ゲームプレーヤに対するメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤのビデオフィード（例えば、ウェブカムビデオ）を含んでもよい。タッチスクリーンインタフェースまたは凝視検出インタフェースを含むクライアント１１１０Ａの実施形態において、オーバレイは、仮想キーボード、ジョイスティック、タッチパッド等を含んでもよい。オーバレイの一例において、プレーヤの音声は、オーディオストリーム上にオーバレイされる。ビデオソース１１３０は、任意選択で、１つまたは複数のオーディオソースを更に含む。
【００８３】
ビデオサーバシステム１１２０が２人以上のプレーヤからの入力に基づいてゲーム状態を維持するように構成される実施形態において、各プレーヤは、位置及び視方向を含む異なる視点を有してもよい。ビデオソース１１３０は、任意選択で、その視点に基づいて各プレーヤについての別個のビデオストリームを提供するように構成される。更に、ビデオソース１１３０は、クライアント１１１０のそれぞれに対して、異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成されてもよい。ビデオソース１１３０は、任意選択で、３Ｄビデオを提供するように構成される。
【００８４】
Ｉ／Ｏデバイス１１４５は、ビデオ、コマンド、情報についての要求、ゲーム状態、凝視情報、デバイス運動、デバイス場所、ユーザ運動、クライアントアイデンティティ、プレーヤアイデンティティ、ゲームコマンド、セキュリティ情報、オーディオ、及び／または同様なもの等の情報をビデオサーバシステム１１２０が送信及び／または受信するように構成される。Ｉ／Ｏデバイス１１４５は、通常、ネットワークカードまたはモデム等の通信ハードウェアを含む。Ｉ／Ｏデバイス１１４５は、ゲームサーバ１１２５、ネットワーク１１１５、及び／またはクライアント１１１０と通信するように構成される。
【００８５】
プロセッサ１１５０は、本明細書で論じるビデオサーバシステム１１２０の種々のコンポーネント内に含まれるロジック、例えばソフトウェアを実行するように構成される。例えば、プロセッサ１１５０は、ソフトウェア命令でプログラムされて、ビデオソース１１３０、ゲームサーバ１１２５、及び／またはクライアントクオリファイア１１６０の機能を実施してもよい。ビデオサーバシステム１１２０は、任意選択で、プロセッサ１１５０の２つ以上のインスタンスを含む。プロセッサ１１５０は、同様に、ソフトウェア命令でプログラムされて、本明細書で論じるように、ビデオサーバシステム１１２０によって受信されるコマンドを実行してもよい、または、ゲームシステム１１００の種々の要素の動作を協調させてもよい。プロセッサ１１５０は、１つまたは複数のハードウェアデバイスを含んでもよい。プロセッサ１１５０は電子プロセッサである。
【００８６】
ストレージ１１５５は、非一時的なアナログ及び／またはデジタル記憶デバイスを含む。例えば、ストレージ１１５５は、ビデオフレームを記憶するように構成されるアナログ記憶デバイスを含んでもよい。ストレージ１１５５は、コンピュータ可読デジタルストレージ、例えば、ハードドライブ、光ドライブ、または固体ストレージを含んでもよい。ストレージ１１５５は、ビデオフレーム、アーティフィシャルフレーム、ビデオフレームとアーティフィシャルフレームの両方を有するビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同様なものを（例えば、適切なデータ構造またはファイルシステムによって）記憶するように構成される。ストレージ１１５５は、任意選択で、複数のデバイスの間に分配される。幾つかの実施形態において、ストレージ１１５５は、本明細書の他の所で論じたビデオソース１１３０のソフトウェアコンポーネントを記憶するように構成される。これらのコンポーネントは、必要とされるときにいつでも供給されるフォーマットで記憶されてもよい。
【００８７】
ビデオサーバシステム１１２０は、任意選択で、クライアントクオリファイア１１６０を更に備える。クライアントクオリファイア１１６０は、クライアント１１１０Ａまたは１１１０Ｂ等のクライアントの能力をリモートで決定するために構成される。これらの能力は、クライアント１１１０Ａ自体の能力、並びに、クライアント１１１０Ａとビデオサーバシステム１１２０との間の１つまたは複数の通信チャネルの能力を含む可能性がある。例えば、クライアントクオリファイア１１６０は、ネットワーク１１１５を通して通信チャネルを試験するように構成されてもよい。
【００８８】
クライアントクオリファイア１１６０は、クライアント１１１０Ａの能力を手動でまたは自動で決定（例えば、発見）する可能性がある。手動決定は、クライアント１１１０Ａのユーザと通信すること、及び、能力を提供するようユーザに頼むことを含む。例えば、幾つかの実施形態において、クライアントクオリファイア１１６０は、クライアント１１１０Ａのブラウザ内で、画像、テキスト、及び／または同様なものを表示するように構成される。一実施形態において、クライアント１１１０Ａは、ブラウザを含むＨＭＤである。別の実施形態において、クライアント１１１０Ａは、ＨＭＤ上で表示される場合があるブラウザを有するゲームコンソールである。表示されるオブジェクトは、クライアント１１１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダタイプ、ネットワーク接続のタイプ、ディスプレイ解像度等のような情報をユーザが入力することを要求する。ユーザによって入力される情報は、クライアントクオリファイア１１６０に戻るように通信される。
【００８９】
自動決定は、クライアント１１１０Ａ上のエージェントの実行によって、及び／または、試験ビデオをクライアント１１１０Ａに送信することによって行われてもよい。エージェントは、ウェブページに埋め込まれる、または、アドオンとしてインストールされる、ｊａｖａスクリプト等のコンピューティング命令を含んでもよい。エージェントは、任意選択で、クライアントクオリファイア１１６０によって提供される。種々の実施形態において、エージェントは、クライアント１１１０Ａの処理パワー、クライアント１１１０Ａの復号及び表示能力、クライアント１１１０Ａとビデオサーバシステム１１２０との間の通信チャネルの遅れ時間信頼性及び帯域幅、クライアント１１１０Ａのディスプレイタイプ、クライアント１１１０Ａ上に存在するファイヤウォール、クライアント１１１０Ａのハードウェア、クライアント１１１０Ａ上で実行されるソフトウェア、クライアント１１１０Ａ内のレジストリエントリ、及び／または同様なものを見出す可能性がある。
【００９０】
クライアントクオリファイア１１６０は、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含む。クライアントクオリファイア１１６０は、任意選択で、ビデオサーバシステム１１２０の１つまたは複数の他の要素と別個のコンピューティングデバイス上に配設される。例えば、幾つかの実施形態において、クライアントクオリファイア１１６０は、クライアント１１１０とビデオサーバシステム１１２０の２つ以上のインスタンスとの間の通信チャネルの特性を決定するように構成される。これらの実施形態において、クライアントクオリファイアによって発見される情報が使用されて、ビデオサーバシステム１１２０のどのインスタンスが、クライアント１１１０のうちの１つにストリーミングビデオを送出するのに最もよく適するかを決定する可能性がある。
【００９１】
本発明の実施形態は、手持ち式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラマブルな消費者向けエレクトロニクス、ミニコンピュータ、メインフレームコンピュータ、及び同様なものを含む種々のコンピュータシステム構成によって実行されてもよい。本発明の幾つかの実施形態は、同様に、有線ベースまたは無線ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実行される可能性がある。
【００９２】
上記実施形態を考慮して、本発明の幾つかの実施形態が、コンピュータシステムに記憶されたデータを伴う種々のコンピュータ実装式オペレーションを使用する可能性があることが理解されるべきである。これらのオペレーションは、物理的量の物理的操作を必要とするオペレーションである。本発明の種々の実施形態の一部を形成する本明細書で述べるオペレーションのいずれもが有用な機械オペレーションである。本発明の幾つかの実施形態は、同様に、これらのオペレーションをｒためのデバイスまたは装置に関連する。装置は、要求される目的のために特に構築される可能性がある、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または構成される汎用コンピュータである可能性がある。特に、種々の汎用機械は、本明細書の教示に従って書かれたコンピュータプログラムと共に使用される可能性がある、または、要求されるオペレーションを実行するため、より特別な装置を構築することがより好都合である場合がある。
【００９３】
本発明の種々の実施形態は、同様に、コンピュータ可読媒体上のコンピュータ可読コードとして具現化される可能性がある。コンピュータ可読媒体は、データを記憶できる任意のデータ記憶デバイスであって、その後、コンピュータシステムによって読出される可能性がある、任意のデータ記憶デバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワークアタッチトストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ  ａｔｔａｃｈｅｄ  ｓｔｏｒａｇｅ）、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＲＷ）、磁気テープ、並びに他の光学及びに非光学データ記憶デバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク結合済みコンピュータシステムにわたって分配されるコンピュータ可読有形媒体を含む可能性がある。
【００９４】
方法オペレーションが特定の順序で述べられたが、他のハウスキーピングオペレーションがオペレーションの間に実行されてもよい、または、オペレーションが、オーバレイオペレーションの処理が所望の方法で実行される限り、わずかに異なる時間で起こるように調整されてもよい、または、処理に関連する種々の間隔での処理オペレーションの発生を可能にするシステム内に分配されてもよいことが理解されるべきである。
【００９５】
先の発明が、理解を明解にするため、或る程度詳細に述べられたが、幾つかの変更及び修正が、添付特許請求の範囲内で実施される可能性があることが認識されるであろう。したがって、本実施形態は、制限的ではなく例証であるとして考えられ、本発明の種々の実施形態は、本明細書で示す詳細に限定されるのではなく、添付特許請求の範囲の範囲及び均等物内で修正されてもよい。
【図１】
2019191588.tif 000003
【図２】
2019191588.tif 000004
【図３Ａ】
2019191588.tif 000005
【図３Ｂ】
2019191588.tif 000006
【図４Ａ】
2019191588.tif 000007
【図４Ｂ】
2019191588.tif 000008
【図４Ｃ】
2019191588.tif 000009
【図５Ａ】
2019191588.tif 000010
【図５Ｂ】
2019191588.tif 000011
【図５Ｃ】
2019191588.tif 000012
【図５Ｄ】
2019191588.tif 000013
【図５Ｅ】
2019191588.tif 000014
【図５Ｆ】
2019191588.tif 000015
【図５Ｇ】
2019191588.tif 000016
【図５Ｈ】
2019191588.tif 000017
【図５Ｉ】
2019191588.tif 000018
【図６Ａ】
2019191588.tif 000019
【図６Ｂ】
2019191588.tif 000020
【図７】
2019191588.tif 000021
【図８】
2019191588.tif 000022
【図９】
2019191588.tif 000023
【図１０】
2019191588.tif 000024
【図１１】
2019191588.tif 000025
【手続補正書】
【提出日】令和1年5月22日(2019.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上で提示するための画像を受信し、前記画像は、前記画像が予歪付与済みとされて、前記ＨＭＤ内に設けられた光学部品が前記画像をレンダリングすることを可能にするアプリケーションによって提供されるものであり、
前記ＨＭＤを装着するユーザの眼のアライメントオフセットを、前記ＨＭＤの前記光学部品の少なくとも１つのレンズの光学軸に対する前記眼の位置を決定することによって特定し、
前記アライメントオフセットに対して歪補正を決定し、前記眼の位置に対して特定された前記歪補正は前記眼の位置に対して特定されたものであり、
前記歪補正を適用することで、前記アプリケーションによって提供される前記予歪付与済み画像を調整し、それにより、前記アライメントオフセットを反映する補正済みで予歪付与済みの画像を規定し、かつ、
前記ＨＭＤの前記ディスプレイスクリーン上でレンダリングするため前記補正済みで予歪付与済みの画像を用い、それにより、前記光学部品を通して提示される前記画像は、前記アライメントオフセットによってもたらされる収差を除去する方法。
【請求項２】
前記アライメントオフセットは、複数のセンサによって取りこまれたユーザの前記眼の画像に関連するデータの線形補間を用いて特定される、請求項１に記載の方法。
【請求項３】
前記アライメントオフセットの特定は、ｘシフト、ｙシフト、ｚシフト、ｘ及びｙシフト、ｘ及びｚシフト、ｙ及びｚシフト、またはｘ−ｙ−ｚシフトのうちの１つの特定を含む、請求項１に記載の方法。
【請求項４】
前記アライメントオフセットの特定は、ユーザの両方の眼について特定される、請求項１に記載の方法。
【請求項５】
前記眼の位置は、前記ＨＭＤ上に設けられた１つまたは複数の内部センサを使用して取りこまれる、請求項１に記載の方法。
【請求項６】
前記ＨＭＤの前記光学部品は、ニアアイフォーカスを提供するように構成される、請求項１に記載の方法。
【請求項７】
前記歪補正は、光学部品に用いられるレンズの形状及びタイプについて特定される、請求項１に記載の方法。
【請求項８】
前記光学部品のレンズは、球面レンズ、非球面レンズ、ホログラフィック導波レンズ、またはその任意の組合せのうちの１つである、請求項７に記載の方法。
【請求項９】
前記アライメントオフセットを特定及び前記予歪付与済み画像の調整は、前記ＨＭＤ内に設けられたプロセッサによって実行され、前記アライメントオフセットは、前記ＨＭＤの前記ディスプレイスクリーン上に前記画像が提示されているときに実質的にリアルタイムに前記眼の位置を追跡することによって特定される、請求項１に記載の方法。
【請求項１０】
前記アライメントオフセットの特定は、前記ＨＭＤの前記ディスプレイスクリーン上に前記画像が提示されているときに実質的にリアルタイムに前記眼の位置を追跡することによって、前記ＨＭＤのプロセッサによって実行され、前記予歪付与済み画像の調整は、前記ＨＭＤに通信可能に接続されるコンピューティングデバイスのプロセッサによって実行される、請求項１に記載の方法。
【請求項１１】
前記アライメントオフセットの特定では、
ＨＭＤ内に設けられる光学部品のレンズの形状及びタイプを決定し、
１つまたは複数の予め規定された歪マップが前記ユーザの前記眼の前記位置に基づいて選択され、前記予め規定された歪マップは、前記ディスプレイスクリーンの可視視野内の異なる場所の対応する変位オフセットに対するマッピングを提供し、
前記１つまたは複数の予め規定された歪マップの前記選択は、三角測量によって決定され、かつ、
前記アライメントオフセットを、前記選択された１つまたは複数の予め規定されたマップから、前記変位オフセットの線形補間を使用して計算し、前記予め規定された画像の調整についての前記特定の歪補正は、前記計算されたアライメントオフセットに基づくものである、請求項１に記載の方法。
【請求項１２】
前記予め規定された歪マップは２次元マップであり、前記２次元マップは、前記ＨＭＤで使用される前記光学部品のレンズの各タイプについて、また、前記画像を提示するために使用される各主カラースペクトルについて規定され、前記予め規定された歪マップの前記選択は、特定の光学部品についてのまた調整される必要がある前記主カラースペクトルの各カラーについての予め規定された歪マップを含む、請求項１１に記載の方法。
【請求項１３】
頭部搭載型ディスプレイデバイスであって、
頭部搭載型ディスプレイ（ＨＭＤ）のディスプレイスクリーン上でレンダリングされるマルチメディアコンテンツの予歪付与済み画像を観察するための光学部品のレンズと、
前記ＨＭＤを装着するユーザの眼のアライメントオフセットを決定する眼位置センサを有し、前記アライメントオフセットは、前記ＨＭＤの光学部品の前記レンズの光学軸に対する前記ユーザの前記眼の位置に基づいて決定されるものであり、
光学部品歪プロセッサを有し、この光学部品歪プロセッサは、
前記アライメントオフセットに対する歪補正を決定し、前記歪補正は前記眼の前記位置について特定されるものであり、
前記ＨＭＤの前記ディスプレイスクリーン上でレンダリングするためのアプリケーションによって提供されるメディアコンテンツの前記予歪付与済み画像を、前記歪補正を適用することで調整して前記アライメントオフセットを反映する補正済みで予歪付与済みの画像を定義し、
前記メディアコンテンツの前記予歪付与済みの画像を前記ＨＭＤの前記ディスプレイスクリーンに送信してレンダリングする、
ヘッドマウントディスプレイデバイス。