(57)【要約】【解決手段】頭部装着型ディスプレイ装置による表示のために生成された画像の画像処理方法は、画像領域について、２ｘ２のピクセルマスクパターンにおける１つ以上のピクセルおよび対応するマスクされたピクセルの位置を示す２ｘ２のピクセルマスクパターンを定めるステップと、通常のグリッド上で４分の１の解像度でサンプリングを行うように、マルチサンプルアンチエイリアシング（ＭＳＡＡ）方式を適応させるステップと、適応させたＭＳＡＡ方式を使用して値をサンプリングし、２ｘ２のピクセルマスクによって示される１つ以上のそれぞれのピクセルをレンダリングすることで、１つ以上のレンダリングされたピクセルと対応する欠落ピクセルとを含む画像領域を生成するステップと、それぞれのピクセルのうちの１つ以上のピクセルを膨張させ、画像領域内の１つ以上の欠落ピクセルを満たすステップとを含む。【選択図】図２０
2020510918.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型ディスプレイ装置による表示のために生成された画像の画像処理方法であって、
画像領域について、２ｘ２のピクセルマスクパターンにおける１つ以上のピクセルおよび対応するマスクされたピクセルの位置を示す前記２ｘ２のピクセルマスクパターンを定めるステップと、
通常のグリッド上で４分の１の解像度でサンプリングを行うように、マルチサンプルアンチエイリアシング（ＭＳＡＡ）方式を適応させるステップと、
前記適応させたＭＳＡＡ方式を使用して値をサンプリングし、前記２ｘ２のピクセルマスクによって示される前記１つ以上のそれぞれのピクセルをレンダリングすることで、１つ以上のレンダリングされたピクセルと対応する欠落ピクセルとを含む画像領域を生成するステップと、
前記それぞれのピクセルのうちの１つ以上のピクセルを膨張させ、前記画像領域内の前記１つ以上の欠落ピクセルを満たすステップと
を含む、画像処理方法。
【請求項２】
前記２ｘ２のピクセルマスクに定められるマスクされたピクセルの数が、前記画像の中心からの前記画像領域の距離の関数として増加する、請求項１に記載の画像処理方法。
【請求項３】
１つ、２つ、または３つのマスクされたピクセルを含む予め定められた２ｘ２のピクセルマスクが、前記画像の中心からの前記画像領域の前記距離の関数として選択される、請求項２に記載の画像処理方法。
【請求項４】
前記定められた２ｘ２のピクセルマスクの前記パターンは、連続する各フレームで変化する、請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記定められた２ｘ２のピクセルマスクの前記パターンは、連続する各フレームで９０°回転している、請求項４に記載の画像処理方法。
【請求項６】
複数の連続するフレームの前記画像領域を時間アンチエイリアシングフィルタに入力するステップと、
前記時間アンチエイリアシングフィルタの出力を出力生成画像の前記画像領域として使用するステップと
を含む、請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項７】
前記画像領域が重要であるとされる前記画像内の特徴に対応するか否かを検出するステップと、
ｉ）請求項１〜６のいずれか一項に記載の方法の前記ステップをバイパスすること、および
ｉｉ）前記画像領域について選択されたと考えられるデフォルトの２ｘ２のピクセルマスクよりもマスクされたピクセルが少ない２ｘ２のピクセルマスクを選択すること
で構成されるリストから選択される１つのステップと
を含む、請求項１〜６のいずれか一項に記載の画像処理方法。
【請求項８】
前記画像領域が重要でないとされる前記画像内の特徴に対応するか否かを検出するステップと、
前記画像領域について選択されたと考えられるデフォルトの２ｘ２のピクセルマスクよりもマスクされたピクセルが多い２ｘ２のピクセルマスクを選択するステップと
を含む、請求項１〜７のいずれか一項に記載の画像処理方法。
【請求項９】
コンピュータによって実行されたときに請求項１〜８のいずれか一項に記載の方法を前記コンピュータに実行させるコンピュータソフトウェア。
【請求項１０】
請求項１〜８のいずれか一項に記載の方法によって処理された画像を表す画像データ。
【請求項１１】
請求項９に記載のコンピュータソフトウェアまたは請求項１０に記載の画像データを格納した非一時的な機械可読記憶媒体。
【請求項１２】
頭部装着型ディスプレイ装置による表示のために生成された画像を処理するように動作することができる画像処理装置（３００、３２０、３５０）であって、
画像領域について、２ｘ２のピクセルマスクパターンにおける１つ以上のピクセルおよび対応するマスクされたピクセルの位置を示している前記２ｘ２のピクセルマスクパターンを定めるように構成されたマスクプロセッサ（３０１、３２１、３５１）と、
通常のグリッド上で４分の１の解像度でサンプリングを行うようにマルチサンプルアンチエイリアシング（ＭＳＡＡ）方式を修正するように構成され、前記修正されたＭＳＡＡ方式を使用して値をサンプリングし、前記２ｘ２のピクセルマスクによって示される前記１つ以上のそれぞれのピクセルをレンダリングすることで、１つ以上のレンダリングされたピクセルと対応する欠落ピクセルとを含む画像領域を生成するように動作することができるエイリアシングプロセッサ（３０１、３２１、３５１）と、
前記それぞれのピクセルのうちの１つ以上のピクセルを膨張させて前記画像領域内の前記１つ以上の欠落ピクセルを満たすように構成された膨張プロセッサ（３０１、３２１、３５１）と
を備える、画像処理装置（３００、３２０、３５０）。
【請求項１３】
前記２ｘ２のピクセルマスクに定められるマスクされたピクセルの数が、前記画像の中心からの前記画像領域の距離の関数として増加する、請求項１２に記載の画像処理装置。
【請求項１４】
前記定められた２ｘ２のピクセルマスクの前記パターンは、連続する各フレームで変化する、請求項１２または１３に記載の画像処理装置。
【請求項１５】
時間アンチエイリアシングフィルタを備え、
前記時間アンチエイリアシングフィルタは、複数の連続するフレームの前記画像領域を入力として受け取るように動作することができ、
前記時間アンチエイリアシングフィルタは、出力生成画像の領域として使用するために対応する画像領域を出力するように動作することができる、請求項１２〜１４のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば画像表示のための画像処理に関する。
【０００２】
背景として、典型的な頭部装着型ディスプレイ（ＨＭＤ）が説明されるが、（以下でさらに説明されるように）本開示は、他の種類のディスプレイにも適用可能である。
【背景技術】
【０００３】
ＨＭＤは、頭部に装着でき、あるいはヘルメットの一部として装着できる画像またはビデオ表示装置である。片方の目または両方の目に、小さな電子ディスプレイ装置が設けられる。
【０００４】
一部のＨＭＤは、表示画像を現実世界の眺めに重ね合わせることができる。この形式のＨＭＤは、光学シースルーＨＭＤと呼ばれることができ、一般に、ディスプレイ装置をユーザの目の直接前方ではない場所に配置する必要がある。したがって、表示画像をユーザにとって見えるようにするために表示画像を偏向させる何らかの方法が必要である。これを、ユーザの目の前方に配置された部分反射ミラーを使用して行うことができ、ユーザは、ミラーの向こうを見ることができるだけでなく、ディスプレイ装置の出力の反射も見ることができる。欧州特許出願公開第１７３１９４３号明細書および米国特許出願公開第２０１０／０１５７４３３号明細書（これらの内容は、ここでの言及によって本明細書に援用される）に開示されている別の構成においては、ユーザの頭部の側方に配置されたディスプレイ装置からの表示画像を伝達するために、全反射を使用する導波路装置が用いられ、ユーザは表示画像を見ることができるだけでなく、導波路を通して現実世界の眺めを依然として見ることができる。繰り返すと、これらの種類の構成のいずれかで、ディスプレイの仮想画像が、ユーザがリラックスした鑑賞を可能にする適切なサイズおよび距離で仮想画像を眺めることができるように（既知の手法を使用して）生成される。例えば、たとえ物理的なディスプレイ装置がきわめて小型（例えば、１０ｍｍ  ｘ  １０ｍｍ）であり、ユーザの目からわずか数ミリメートルのところにあったとしても、仮想画像を、ユーザから（例えば）２０ｍの距離にあって５ｍ  ｘ  ５ｍのサイズを有しているとユーザに知覚されるように、配置することが可能である。
【０００５】
しかしながら、他のＨＭＤにおいては、ユーザは表示画像だけを見ることができ、すなわちユーザを取り巻く現実世界の環境は見えなくなる。この形式のＨＭＤは、実際のディスプレイ装置を、例えば上述の光学シースルーＨＭＤと同様の仮想距離および知覚サイズなど、ユーザがリラックスしたやり方で注目できる適切な距離に仮想の表示画像を位置させる適切なレンズと組み合わせて、ユーザの目の前方に配置することができる。この形式の装置は、映画や同様の録画コンテンツを見るために使用可能であり、あるいはユーザの周囲の仮想空間を表すいわゆる仮想現実コンテンツを表示するために使用可能である。しかしながら、例えば前方に向けられたカメラを使用して、ディスプレイ装置に表示するための画像を生成することにより、この形式のＨＭＤに現実世界の視界を表示することも当然ながら可能である。
【０００６】
ＨＭＤの最初の開発は、おそらくは、これらの装置の軍事的および専門的応用によって推進されたが、ＨＭＤは、例えばコンピュータゲームまたは家庭用コンピューティングアプリケーションにおけるカジュアルなユーザによる使用に関して、ますます一般的になってきている。
【発明の概要】
【０００７】
本開示は、請求項１によって定められる。
【０００８】
本開示のさらなるそれぞれの態様および特徴が、添付の特許請求の範囲に定められる。
【図面の簡単な説明】
【０００９】
次に、本開示の実施形態を、添付の図面を参照して説明する。
【００１０】
【図１】ユーザによって装着されたＨＭＤを概略的に示している。
【図２】ＨＭＤの概略の平面図である。
【図３】ＨＭＤによる仮想画像の形成を概略的に示している。
【図４】ＨＭＤで使用するための別の種類のディスプレイを概略的に示している。
【図５】１対の立体画像を概略的に示している。
【図６】ＨＭＤのユーザの視界の変化を概略的に示している。
【図７ａ】動き検出を備えたＨＭＤを概略的に示している。
【図７ｂ】動き検出を備えたＨＭＤを概略的に示している。
【図８】Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ  ３（登録商標）ゲームコンソールに接続されたＨＭＤを装着しているユーザを概略的に示している。
【図９】Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ  ３（登録商標）ゲームコンソールに接続されたＨＭＤを装着しているユーザを概略的に示している。
【図１０】図１０Ａ〜Ｅは、元の出力とユーザによる知覚との間でゲーム出力画像に加わる一連の歪みを概略的に示している。
【図１１】ゲーム出力画像を効率的に生成する際に使用するためのマスクを概略的に示している。
【図１２Ａ】ゲーム出力画像を効率的に生成する際に使用するためのマスクを概略的に示している。
【図１２Ｂ】ゲーム出力画像を効率的に生成する際に使用するためのマスクを概略的に示している。
【図１３】マスクに用いられるマスクパターンを概略的に示している。
【図１４】ピクセル膨張処理を概略的に示している。
【図１５Ａ】処理後の画像におけるアーチファクトを示している。
【図１５Ｂ】処理後の画像におけるアーチファクトを示している。
【図１６】それぞれのマスクパターンへの順次の変更を概略的に示している。
【図１７】処理後の画像におけるアーチファクトの低減を示している。
【図１８Ａ】従来からのマルチサンプルアンチエイリアシングのサンプル点と修正されたマルチサンプルアンチエイリアシングのサンプル点との間の違いを概略的に示している。
【図１８Ｂ】従来からのマルチサンプルアンチエイリアシングのサンプル点と修正されたマルチサンプルアンチエイリアシングのサンプル点との間の違いを概略的に示している。
【図１９Ａ】修正されたマルチサンプルアンチエイリアシング方式のピクセル解像度とサンプル解像度との間の違いを概略的に示している。
【図１９Ｂ】修正されたマルチサンプルアンチエイリアシング方式のピクセル解像度とサンプル解像度との間の違いを概略的に示している。
【図２０】修正されたマルチサンプルアンチエイリアシング方式に基づいて出力画像を生成する処理を概略的に示している。
【図２１】頭部装着型ディスプレイ装置による表示のために生成された画像の画像処理方法のフロー図である。
【図２２】ハードウェア構成の概略図である。
【発明を実施するための形態】
【００１１】
本開示の実施形態は、視聴者に画像を表示するように動作することができるディスプレイを使用する表示方法および装置を提供することができる。いくつかの実施形態において、ディスプレイは頭部装着型ディスプレイであり、視聴者の頭部の位置および／または向きは、頭部装着型ディスプレイの位置および／または向きを検出することによって検出される。頭部装着型ディスプレイは、視聴者の頭部に取り付けられ、使用時に視聴者のそれぞれの目の前方に位置する一方または両方の目表示位置を定めるフレームと、目表示位置の各々に対して取り付けられ、ビデオ信号ソースからのビデオ信号のビデオ表示の仮想画像を視聴者の該当の目へと提供する表示要素とを有することができる。他の例において、ディスプレイは、頭部装着型ディスプレイではない。いくつかの実施形態において、ディスプレイ（頭部装着型であるか否かにかかわらず）は、通常の使用においてユーザの視野の少なくともしきい値角度範囲（例えば、少なくとも４０°）を占める点で、没入型ディスプレイと呼ばれることもある。例として、複数のプロジェクターディスプレイ、ラップアラウンド（湾曲）ディスプレイ、などが挙げられる。
【００１２】
ここで図１を参照すると、ユーザ１０が、ユーザの頭部３０にＨＭＤ２０を装着している。ＨＭＤは、この例では後部ストラップおよび上部ストラップで形成されたフレーム４０と、ディスプレイ部５０とを備える。
【００１３】
図１のＨＭＤは、周囲の環境についてのユーザの視界を完全に見えなくする。ユーザは、ＨＭＤ内に表示される１対の画像だけを見ることができる。
【００１４】
ＨＭＤには、ユーザの左右の耳７０にはめ込まれるヘッドフォンイヤピース６０が組み合わせられている。イヤピース６０は、外部ソースからもたらされるオーディオ信号を再生するが、外部ソースは、ユーザの目へと表示されるビデオ信号をもたらすビデオ信号ソースと同じであってよい。
【００１５】
動作時に、ＨＭＤによる表示のためのビデオ信号がもたらされる。これを、ビデオゲーム機またはデータ処理装置（例えば、パーソナルコンピュータ）などの外部ビデオ信号ソース８０によってもたらすことができ、その場合、信号を有線または無線接続によってＨＭＤへと送信することができる。適切な無線接続の例として、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続が挙げられる。イヤピース６０のためのオーディオ信号も、同じ接続によって伝送することができる。同様に、ＨＭＤからビデオ（オーディオ）信号ソースへと渡される制御信号があれば、同じ接続によって伝送することができる。
【００１６】
したがって、図１の構成は、観察者の頭部に取り付けられ、使用時に観察者のそれぞれの目の前方に位置する一方または両方の目表示位置を定めるフレームと、目表示位置の各々に対して取り付けられ、ビデオ信号ソースからのビデオ信号のビデオ表示の仮想画像を観察者の該当の目へと提供するディスプレイ要素とを備える頭部装着型ディスプレイシステムの一例を提供する。
【００１７】
図１は、ＨＭＤの一例を示しているにすぎない。他の形式も可能であり、例えば或るＨＭＤは、従来からのメガネに関するフレームにさらによく似たフレームを使用することができ、すなわちディスプレイ部から後方へとユーザの耳の上部後方に延び、おそらくは耳の後ろを下方へと曲がる実質的に水平なレグを使用することができる。他の例においては、外部環境についてのユーザの視界が、実際には完全には遮られていなくてもよく、表示画像を、外部環境に（ユーザの視点から）重ねられるように配置することができる。そのような構成の例は、図４を参照して以下で説明される。
【００１８】
図１の例においては、ユーザの目ごとに個別のディスプレイが用意されている。これがどのように達成されるのかについての概略の平面図が、ユーザの目の位置１００およびユーザの鼻の相対位置１１０を示す図２として示されている。ディスプレイ部５０は、概略的な形態において、周辺光をユーザの目から隠す外部シールド１２０と、一方の目が他方の目に向けられた表示を見ることを防止する内部シールド１３０とを含む。ユーザの顔、外部シールド１２０、および内部シールド１３０の組み合わせにより、各々の目に１つずつ、２つのコンパートメント１４０が形成される。各々のコンパートメントに、ディスプレイ要素１５０および１つ以上の光学要素１６０が設けられる。ディスプレイ要素および光学要素が協働してユーザに表示を提供するやり方を、図３を参照して説明する。
【００１９】
図３を参照すると、ディスプレイ要素１５０は、ディスプレイ要素１５０によって生成される実際の画像よりも大きくかつはるかに遠くに位置するようにユーザに見える仮想画像１７０を生成するために、（この例では）光学要素１６０（凸レンズとして概略的に示されているが、複合レンズまたは他の要素を含んでもよい）によって屈折させられる表示画像を生成する。一例として、仮想画像は、１ｍを超える見かけの画像サイズ（画像の対角線）を有し、ユーザの目（または、ＨＭＤのフレーム）から１ｍを超える距離に配置されてよい。一般的には、ＨＭＤの目的に応じて、仮想画像をユーザからかなりの距離に配置することが望まれる。例えば、ＨＭＤが映画などを見るためのものである場合、そのような視聴の際にユーザの目がリラックスした状態であることが望ましく、そのためには、少なくとも数メートルの距離（仮想画像まで）が必要である。図３においては、実線（線１８０など）が実際の光線を示すために使用されている一方で、破線（線１９０など）が仮想の光線を示すために使用されている。
【００２０】
別の構成が、図４に示されている。この構成は、外部環境についてのユーザの視界を完全には妨げないようにすることが望まれる場合に使用することができる。しかしながら、ユーザの外部の視界を完全に見えなくするＨＭＤにも適用可能である。図４の構成においては、ディスプレイ要素１５０および光学要素２００が、ミラー２１０へと投影される画像をもたらすように協働し、ミラー２１０が、画像をユーザの目の位置２２０に向けて偏向させる。ユーザは、仮想画像を、ユーザの前方かつユーザから適切に離れた位置２３０に位置するように知覚する。
【００２１】
外部環境についてのユーザの視界が完全に妨げられるＨＭＤの場合、ミラー２１０は、実質的に１００％の反射ミラーであってよい。したがって、図４の構成は、ディスプレイ要素および光学要素を、ユーザの頭部の重心およびユーザの目の側方のより近くに配置することができ、ユーザにとってより嵩張らずに着用することができるＨＭＤを生み出すことができるという利点を有する。あるいは、ＨＭＤが外部環境についてのユーザの視界を完全には隠さないように設計される場合、ユーザが、ミラー２１０を通して外部環境を、現実の外部環境に仮想画像を重ねた状態で眺めるように、ミラー２１０を部分反射であるように製作することができる。
【００２２】
ユーザの目ごとに個別のディスプレイが用意される場合、立体画像を表示することが可能である。左目および右目に表示するための１対の立体画像の例が、図５に示されている。画像は、お互いに対して横方向の変位を呈し、画像の特徴の変位は、画像をキャプチャしたカメラの（実際の、またはシミュレーションによる）横方向の隔たり、カメラの角度の収束、およびカメラ位置からの画像の各特徴の（実際の、またはシミュレーションによる）距離に依存する。
【００２３】
図５の横方向の変位が、実際には逆であってよく、すなわち図示の左目画像が実際には右目画像であり得、図示の右目画像が実際には左目画像であり得ることに、注意すべきである。これは、一部の立体ディスプレイが、ユーザが立体ウィンドウを通して向こうのシーンを見つめているという考え方をシミュレートするために、オブジェクトを右目画像においては右に、左目画像においては左に移動させる傾向を有するからである。しかしながら、一部のＨＭＤは、図５に示した構成を、ユーザが双眼鏡を通してシーンを眺めているという印象をユーザに与えるがゆえに使用する。これら２つの構成の間の選択は、システム設計者の裁量に任される。
【００２４】
いくつかの状況においては、ＨＭＤが、単に映画などを見るために使用され得る。この場合、ユーザがユーザの頭部を例えば左右に回すときに、表示画像の見かけの視点を変更する必要はない。しかしながら、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムに関連する用途など、他の用途においては、ユーザの視点が、ユーザが位置する現実または仮想空間に対する動きを追跡する必要がある。
【００２５】
この追跡は、ＨＭＤの動きを検出し、表示画像の見かけの視点を、見かけの視点が動きを追跡するように変化させることによって実行される。
【００２６】
図６は、ＶＲまたはＡＲシステムにおけるユーザの頭部の動きの影響を概略的に示している。
【００２７】
図６を参照すると、仮想環境が、ユーザの周囲の（仮想）球状シェル２５０によって表されている。この構成を２次元の紙の図面で表す必要があるため、シェルは、表示された仮想画像のユーザからの隔たりと同等のユーザからの距離で、円の一部によって表される。ユーザは、最初は第１の位置２６０にあり、仮想環境の一部分２７０の方を向いている。この部分２７０が、ユーザのＨＭＤのディスプレイ要素１５０に表示される画像に表される。
【００２８】
次に、ユーザが頭部を新たな位置および／または向き２８０へと動かす状況を考える。仮想現実または拡張現実の表示の正しい感覚を維持するために、仮想環境のうちの表示部分も移動し、移動の終わりに、新たな部分２９０がＨＭＤによって表示される。
【００２９】
したがって、この構成においては、仮想環境内の見かけの視点が、頭部の動きとともに移動する。例えば、図６に示されるように、頭部が右側に回転する場合、見かけの視点も、ユーザの視点から右側に移動する。この状況を、表示されたオブジェクト３００などの表示されたオブジェクトの見地から考慮すると、オブジェクトは、事実上、頭部の動きとは反対の方向に移動する。したがって、頭部が右側へと移動する場合、見かけの視点は右側へと移動するが、仮想環境内の静止している表示されたオブジェクト３００などのオブジェクトは、仮想環境の表示部分が右側へと移動する一方で、表示されたオブジェクト３００は仮想環境内で移動していないという単純な理由で、表示画像の左側へと移動し、最終的には表示画像の左側から消える。同様の考えが、動きの上下方向成分にも当てはまる。
【００３０】
図７ａおよび図７ｂは、動き検出を備えたＨＭＤを概略的に示している。これら２つの図は、図２に示した図と同様の形式である。すなわち、これらの図は、ディスプレイ要素１５０および光学要素１６０を単純な箱形で表したＨＭＤの概略の平面図である。図を見やすくするために、図２の多くの特徴は図示されていない。両方の図は、観察者の頭部の動きを検出するための動き検出器を備えたＨＭＤの例を示している。
【００３１】
図７ａにおいては、前方を向いたカメラ３２０が、ＨＭＤの前部に設けられている。これは、必ずしもユーザへの表示用の画像をもたらすわけではない（ただし、拡張現実の構成においては、そのようにしてもよい）。代わりに、本実施形態におけるその主たる目的は、動き検出を可能にすることである。カメラ３２０によってキャプチャされた画像を使用して動き検出を行う技術は、図８に関連して後述される。これらの構成において、動き検出器は、フレームと一緒に動くように取り付けられたカメラと、カメラによってキャプチャされた連続画像を比較して画像間の動きを検出するように動作することができる画像比較部とを備える。
【００３２】
図７ｂは、ハードウェア動き検出器３３０を利用している。これは、ＨＭＤ内またはＨＭＤ上の任意の場所に取り付け可能である。適切なハードウェア動き検出器の例は、圧電加速度計または光ファイバージャイロスコープである。当然ながら、ハードウェア動き検出およびカメラに基づく動き検出の両方を同じ装置において使用することができ、その場合は、一方の検出機構を他方が利用できない場合のバックアップとして使用することができ、あるいは一方の検出機構（カメラなど）が表示画像の見かけの視点を変更するためのデータを提供できる一方で、他方（加速度計など）が画像安定化のためのデータを提供できることを、理解できるであろう。
【００３３】
図８が、（図１の外部ビデオソース８０に相当する）ベース装置の例としてのＳｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ  ３（登録商標）ゲームコンソール２０００に接続されたＨＭＤを装着したユーザを概略的に示しており、ベース装置のさらなる例は、ＰｌａｙＳｔａｔｉｏｎ  ４（登録商標）ゲームコンソールである。ゲームコンソール２０００は、主電源２０１０に接続され、さらに（随意により）主ディスプレイ画面（図示せず）に接続される。上述のケーブル８２、８４として作用する（したがって、電源ケーブルおよび信号ケーブルの両方として作用する）ケーブルが、ＨＭＤ２０をゲームコンソール２０００へと接続し、例えばコンソール２０００上のＵＳＢソケット２０２０へと差し込まれる。この実施形態においては、ケーブル８２、８４の機能を満たす単一の物理的なケーブルが設けられていることに注意すべきである。図８において、さらにユーザは、現在実行されているゲームプログラムに関係するゲーム動作を制御する（あるいは、ゲーム動作の制御に寄与する）ためにゲームコンソール２０００と無線で通信する例えばＳｏｎｙ（登録商標）Ｍｏｖｅ（登録商標）コントローラであってよいハンドヘルドコントローラ２０３０を保持して図示されている。
【００３４】
ＨＭＤ２０のビデオディスプレイは、ゲームコンソール２０００によって生成された画像を表示するように構成され、ＨＭＤ２０のイヤピース６０は、ゲームコンソール２０００によって生成されたオーディオ信号を再生するように構成される。ＵＳＢ方式のケーブルが使用される場合、これらの信号はＨＭＤ２０への到達時にデジタルの形態であるため、ＨＭＤ２０は、少なくともオーディオ信号を再生のために再びアナログの形態へと変換するデジタル−アナログ変換器（ＤＡＣ）を備えることに、注意すべきである。
【００３５】
ＨＭＤ２０に取り付けられたカメラ２０５０からの画像が、ケーブル８２、８４を介してゲームコンソール２０００へと戻される。同様に、動きセンサまたは他のセンサがＨＭＤ２０に設けられている場合、それらのセンサからの信号は、ＨＭＤ２０において少なくとも部分的に処理されてよく、さらには／あるいはゲームコンソール２０００において少なくとも部分的に処理されてよい。
【００３６】
さらに、ゲームコンソール２０００からのＵＳＢ接続は、ＵＳＢ規格に従ってＨＭＤ２０に電力も供給する。
【００３７】
図９は、ＨＭＤ２０がケーブル接続８２、８４によって接続されるベースまたは中間装置２０４０として機能するいわゆる「ブレイクアウトボックス」にゲームコンソールが（有線または無線リンクによって）接続される同様の構成を概略的に示している。この点に関して、ブレイクアウトボックスは、さまざまな機能を有する。１つの機能は、（例えば）電力制御、輝度制御、入力ソースセレクタ、音量制御、などのうちの１つ以上など、ＨＭＤの動作に関連するいくつかのユーザ制御部について、ユーザの近くに場所を提供することである。別の機能は、ＨＭＤ用の局所電源を提供することである（該当の実施形態に応じて必要とされる場合）。別の機能は、ローカルケーブルの固定点を提供することである。この最後の機能において、ブレイクアウトボックス２０４０が地面や家具に固定されることは想定されていないが、ゲームコンソール２０００からきわめて長く延びるケーブルを有するよりもむしろ、ブレイクアウトボックスは、ＨＭＤ２０をブレイクアウトボックスに接続するケーブル８２、８４がブレイクアウトボックスの位置の周りを移動する傾向となるように、局所的に重くされた地点を提供する。これにより、きわめて長く延びるケーブルの使用を回避することで、ユーザの安全性および快適性を向上させることができる。
【００３８】
ＨＭＤが相互接続された装置の組または群（すなわち、データまたは信号の伝送の目的で相互接続されるが、必ずしも物理的なケーブルで接続される必要はない）の一部を形成できることに鑑みて、本出願において説明される種々の技術における処理の場所が、全体としての効果には変わりなくさまざまであり得ることを、理解できるであろう。したがって、ＨＭＤなどの或る装置「において」行われるとして説明される処理が、ゲームコンソール（ベース装置）またはブレイクアウトボックスなどの別の装置に委ねられてもよい。処理タスクを、装置間で共有することができる。必要に応じて、処理の対象であるソース信号を別の装置に分配することができ、あるいは、それらのソース信号の処理からの処理結果を別の装置に送信することができる。したがって、特定の装置において行われる処理への言及は、この文脈にて理解されるべきである。同様に、例えば或る装置のカメラまたはセンサが他の装置の信号または特徴を検出する場合など、２つの装置の間の相互作用が基本的に対称である場合、２つの装置をいかなる機能も失うことなく入れ替えることが、文脈からそれが不可能でない限り可能であることを理解できるであろう。
【００３９】
ここで図１０を参照すると、高いフレームレートで立体画像（すなわち、２つの画像）を生成するプロセスは、計算コストが高いことが理解されよう。したがって、可能な場合に、好ましくはユーザの知覚するゲーム体験に大きく影響しないやり方で、計算オーバーヘッドを減らすことが望ましい。
【００４０】
計算オーバーヘッドを減らす１つのやり方は、画像においてレンダリングする必要があるピクセルの数を減らすことである。
【００４１】
ＨＭＤの場合、ＨＭＤ光学系によってユーザの目へと投影される画像が事実上円形であり、光学系は、パネルのコンテンツがユーザの視覚のすべてを占めるよう、ディスプレイパネルの実質的に最大の幅および高さをユーザの（円形の）瞳孔へと投影するように構成されることを、理解できるであろう。しかしながら、これは、（正方形の）画像の角部がユーザの視野内に収まらないことを意味する。
【００４２】
したがって、各々の表示画像について、レンダリングされたゲーム出力１０Ａを生成するときの最初のステップとして、ユーザにとって見えない画像の角部のピクセルのレンダリングを防止する円形のレンダリングマスクを適用することができる。これにより、元の画像においてレンダリングされ得るピクセルのうち、約２５％が削減される。
【００４３】
しかしながら、レンダリング処理の計算効率をさらに向上させる余地が存在する。
【００４４】
さらに、ＨＭＤ光学系は、ＨＭＤの左右のディスプレイパネルに表示される画像にいわゆる糸巻き型歪み１０Ｄを加える。明らかに、これは、ゲーム出力１０Ａに適用された場合に望ましくない効果をもたらすと考えられる。したがって、これを補償するために、たる型歪み１０Ｂとして知られる逆の歪みが、出力ゲーム画像に適用され、結果として、歪んだ画像１０ＣがＨＭＤのそれぞれのパネルに表示される。
【００４５】
このたる型歪みは、画像の周辺部分の相対的な収縮によって実現でき、あるいは画像の中央部分の相対的な膨張によっても実現することができる。いずれの場合も、適用される変更の程度は、典型的には、画像の中心からの距離の連続的な関数である。具体的な関数は、典型的には、ＨＭＤ光学系によって引き起こされる画像における変化の程度の逆数となるように計算または経験的に決定され、光学的効果を補償する。
【００４６】
さらに、図１０は、それぞれの画像１０Ａ、１０Ｃ、および１０Ｅの中央から概念的に得られた典型的なピクセルを２段目に示している。画像の中央の相対的な拡大によってたる型歪みが実現される場合に、ゲーム出力の元のピクセルが拡大され、潜在的に或る１つの画像ピクセルがＨＭＤパネル上で複数の物理的なピクセルにまたがって表示され、その後にユーザによって知覚されるときに光学系の糸巻き型歪みによってほぼ元のサイズへと再び縮小されることを、見て取ることができる。しかしながら、これは、明らかに、ＨＭＤパネル上の物理的なピクセルの非効率的な使用である。
【００４７】
したがって、図１０の３段目に示されるように、随意によりゲーム出力はＨＭＤパネルの固有のピクセル解像度よりも高い解像度（例えば、１．４倍の解像度）で生成される（解像度のこの向上は、典型的には、画像の中央においてたる型歪みによって引き起こされる拡大の程度におおむね相当するように選択される）。したがって、画像がたる型に歪んでいる場合、画像の中央のピクセルがＨＭＤパネルの物理的なピクセルに実質的に対応し、したがって、より鮮明かつ正確に表示される。さらに、光学系の糸巻き型歪みによってこれらのピクセルが再び縮小されると、ユーザは、画像の中央領域をより高い解像度を有すると知覚する。
【００４８】
しかしながら、画像の中央領域のたる型に歪んだピクセルが、ＨＭＤディスプレイパネル上の物理的なピクセルとのおおむね１：１のマッピングを達成できる一方で、パネルの物理的な解像度よりも高い解像度を有するゲーム出力画像の周辺領域のたる型に歪んだピクセルは、サブサンプリングされ（すなわち、各々の物理的なピクセルについて画像ピクセルが１つよりも多い）、したがって画像情報およびその画像情報の生成における対応する計算労力が無駄になることを、理解できるであろう。
【００４９】
原則として、この問題に対する最も効率的な解決策は、中心からの半径距離の関数としてのたる型歪みによる拡大度に対応する異なる解像度でゲーム出力画像をレンダリングすることであると考えられるが、既存のグラフィックスハードウェアはこれを行うことができない。
【００５０】
したがって、別の解決策は、画像全体を低い解像度でレンダリングし、画像の中央領域を高い解像度でレンダリングすることにより、計算オーバーヘッドを或る程度節約することである。しかしながら、この解決策は、いくつかの理由で理想的ではなく、第一には、複数のレンダリングターゲット（低解像度および高解像度の画像）を有することによる計算管理上のオーバーヘッドが存在し、第二には、２つの部分の滑らかな混ざり合いを可能にするためにレンダリングを或る程度重なり合わせる必要があるが、これは本質的に非効率であり、第三には、たる型歪みによってもたらされる倍率の連続的な変化の大まかな近似にすぎず、したがって最終的に知覚される画像において画像品質の顕著な変動が生じる可能性がある。
【００５１】
したがって、ここで図１１も参照すると、本発明の一実施形態においては、最初にレンダリングされるピクセルの数をさらに削減するために、ゲーム出力画像の生成時にさらなるレンダーマスキングが適用される。
【００５２】
図１１は、レンダリングマスクである（説明のために左右の画像を並べて表示している）。本明細書においてすでに説明したように、レンダリングマスクの黒色のピクセルは、ステンシルまたは深度テストによってマスクされて除かれるピクセルを表し、したがって、対応する画像ピクセルのレンダリングを防止するように機能する。この画像の黒一色の外縁は、すでに述べたユーザの実質的に円形の視野の外側のピクセルに相当する。さらに、図１１は、ユーザが目にする画像の周辺において、レンダリングされるピクセルの数を減らすために、今やレンダリングマスク上にディザリングパターンが使用されることを示している（この図においては、市松模様の交互のオン／オフのマスクピクセル）。
【００５３】
図１１が、マスクにおいて完全なレンダリングとレンダリングなしとの間にディザリング段階が１つしか存在しない点で、最も単純な実施形態を示していることを理解できるであろう。しかしながら、上記の手法は、これに限られるわけではない。したがって、例えば、図１２Ａおよび図１２Ｂ（わかりやすくするために用意された図１２Ａの一部分の拡大）を参照すると、漸進的なディザパターンを、画像の中心からの半径の関数として適用することができる。したがって、図１２Ａおよび図１２Ｂにおいて、画像の中央付近にディザは存在しない。次に、２５％のディザが適用され、次いで５０％のディザが適用され、次いで７５％のディザが適用された後に、画像の実質的な縁において１００％のマスクが適用される。
【００５４】
図１３が、２５％、５０％、および７５％のディザの典型的なディザパターンを示している。
【００５５】
ここで図１４を参照すると、ひとたび画像がこのやり方でディザリング領域においてピクセルを（次第に）まばらにレンダリングすることによってレンダリングされると、低コストの膨張パスが画像に適用され、１つまたは随意により２つ以上のレンダリングされたピクセルからの色情報が隣接するマスクされたピクセルへとコピーされることによって、レンダーマスクによって生成された画像内のギャップが埋められる。膨張を、レンダリングの完了後に、別のパスとして適用することができる。あるいは、近隣のピクセルをマスクされたピクセルへと膨張させるための別個のパスを有するのではなく、本発明のいくつかの実施形態は、これらの読み取りをオンデマンドで実行することにより帯域幅を節約することができる。これは、テクスチャの読み取りおよび書き込みの帯域幅を節約するために、より多くのシェーダＡＬＵサイクルを必要とするが、これはシェーダの他のレイテンシによってほとんど隠される。さらに、サンプリングはマスクされたバージョンから行われるため、実際にサンプリングされるピクセルの総数がより少なく、アクセスパターンがよりキャッシュフレンドリーであるため、より効率的である。
【００５６】
図１４が、元のレンダリングされたピクセルサイズの４倍のカラーブロックをもたらす７５％のディザ領域における膨張の結果を示している。
【００５７】
したがって、このディザマスキング処理の結果は、２５％のディザパターンが実質的に４分の３の解像度の画像領域をもたらし、５０％のディザパターンが実質的に半分の解像度の画像領域をもたらし、７５％のディザパターンが実質的に４分の１の解像度の画像領域をもたらすという結果である。
【００５８】
このようにして、本明細書においてすでに述べた解像度の所望の半径方向の変動をより良く近似できるだけでなく、画像の周辺の今やマスクされたピクセルをレンダリングする計算負荷を、他のレンダリングされたピクセルからの膨張（コピー）のはるかに小さい計算負荷で置き換えることによって生じるそのような可変の解像度のレンダリングに伴う計算負荷の有益な削減も、得ることができる。図１２Ａに示した画像の場合、計算コストの節約は、すでに述べたように画像の角部をマスクすることによって得られる２５％に加えて、２０％程度である。
【００５９】
さらに、上記の例は３つのディザレベル（ディザなしを０％のディザパターンとして数えるならば、４つのディザレベル）を示しているが、画像の中心からの半径の関数として所与のピクセルをマスキングする確率を決定するために、画像のたる型歪みによる解像度の変化の影響のより連続的な近似を、たる型歪みを半径の関数として記述する式を使用することによって構想することができ、これにより、典型的には画像の中心（または、画像の中央領域）におけるマスクなしから外周におけるＮ％のマスク（ここで、Ｎは例えば５０％、７５％、９０％、または１００％であってよい）へと進行する半径の関数としての統計的に滑らかなマスク分布を生成できることを、理解できるであろう。当然ながら、必要に応じて、偶然による特定のピクセル数を超えるサイズのマスク領域の生成を覆すルールを設けることもでき、さらに随意により、そのようなサイズも半径の関数として定めることができる。随意により、このマスクは一度だけ生成される必要がある。このマスクは、画像における半径の関数としてのたる型歪み倍率に対応する画像の徐々に変化する解像度の統計的に正確な表現を表すと考えられる。
【００６０】
上記の技術は、（図１１においては第１レベルの近似、図１２Ａにおいては第２レベルの近似、および上述の確率モデルにおいては第３レベルの近似まで）レンダーマスクの使用によってゲーム出力の可変解像度レンダーを近似するという所望の効果を実現する。
【００６１】
したがって、好都合なことに、例えばすでに述べたように高い解像度および低い解像度の画像をレンダリングしてつなぎ合わせる他の解決策と比較して、画像品質への目障りな影響を少なくし、あるいは無視できるようにしつつ、ゲーム出力画像の生成におけるハードウェアの計算オーバーヘッドが少ない。
【００６２】
結果として、ハードウェアは、同じフレームレートでより複雑なグラフィックスを生成することができ、あるいはグラフィックスの複雑さが同レベルであればフレームレートを高めることができ、これは、頭部の動きとレンダリングされる画像との間のラグがユーザの没入および快適の感覚における重要な要因であるため、仮想現実にとって重要である。
【００６３】
しかしながら、ディザパターンによって生じるレンダリング画像のパターンサンプリングと、膨張によるこれらのサンプルの実施的な拡大とにより、最終的な画像に、ユーザにとって気付きにくい画像の周辺領域にではあるが、望ましくないエイリアシングおよびブロッキング作用が生じる可能性がある。
【００６４】
図１５Ａが、ディザおよび膨張のない画像の例を示しており、図１５Ｂが、図１２Ａに示したディザ方式に従ってディザおよび膨張が適用された後の同じ画像の拡大領域を示している。エイリアシングおよびブロッキングパターンを、画像の拡大部分において明瞭に見て取ることができる。
【００６５】
手法の計算効率を維持しつつ、この影響を回避することが望ましいと考えられる。
【００６６】
したがって、本発明の一実施形態において、この原理は、４つのフレームからなるシーケンスにおいて、所与のピクセルのサンプルがフレームごとに取得される一方で、ディザマスクがフレームごとに変化し、したがって異なるピクセルが複数のサンプルに寄与するように調整される。このようにして、図１４に見られる低解像度の「膨張ピクセル」に、それぞれの膨張ピクセルに寄与する最後の４フレームにおいてレンダリングされた内在の個々のピクセルの混合である色が割り当てられる。
【００６７】
図１６が、この処理を４つのフレームからなるシーケンスについて示しており、２５％、５０％、および７５％のディザパターンの異なる回転バージョンが順に使用される。
【００６８】
本明細書においてすでに述べたように、たる型歪みの関数に応答するマスクピクセルの確率分布が使用された場合、回転する所定のディザパターンが存在しないことを、理解できるであろう。しかしながら、同じ効果を達成するために、マスク全体の各々の２ｘ２または４ｘ４のブロックを１８０°（２つのフレームからなるシーケンスの場合）または順に９０°（４つのフレームからなるシーケンスの場合）回転させることによって、同等のマスクを容易に生成することができる。
【００６９】
したがって、このプロセスは、時間的な分解能を空間的な解像度とトレードオフする。この手法を、ディザリングされたマスクを有する画像の領域においてのみ実行することができ、あるいはＮ％のしきい値ディザ（例えば、５０％のディザ以上、または７５％のディザのみ）を有する画像の領域においてのみ実行することができ、所望であれば、例えば１：４の膨張（１／４の解像度、７５％のディザ）の領域に起因する画像アーチファクトを被らない画像の領域において時間分解能の喪失が引き起こされることがないように、画像の他の場所には従来からのアンチエイリアシング技術を適用できることを、理解できるであろう。
【００７０】
これは、画像の品質への最大の影響は、ソース画像の最大量がマスクされる場所であることを認める。
【００７１】
図１７が、上述の時間サンプリングアンチエイリアシング手法を画像の膨張ピクセルに適用することによって生じる画像品質の違いを示している。ステッピングおよびエイリアシングのアーチファクトが大幅に削減され、ほとんどの場合に除去されていることがわかる。
【００７２】
本発明の実施形態において、ピクセルごとのステンシルマスクの使用は効率的でないと考えられ、何故ならば、ＧＰＵは「クワッド」と呼ばれる２ｘ２のピクセルブロックにてシェーディングを行い、クワッド内のいずれかのピクセルがシェーディングを必要とする場合、そのクワッド内のマスクされたピクセルはいずれにしてもシェーディングされて破棄され、したがってピクセルをマスクすることによる性能向上を消してしまうからである。したがって、図１３を再び参照すると、レンダーマスクは、右側の列の４ｘ４のパターンに似ていると考えられる。
【００７３】
しかしながら、マスクの実質的にピクセルごとの制御を有することが望ましい。
【００７４】
ＭＳＡＡの特性を使用して、これを達成することができる。
【００７５】
本発明の実施形態は４ｘＭＳＡＡを使用してシェーディングを行うが、アンチエイリアシングのための通常のＭＳＡＡの使用のような「ピクセルレート」でのシェーディングではなく、シェーディングは、代わりに「サンプルレート」で行われる。これは、ピクセルシェーダが、１回だけ実行されるのではなく、各々のピクセルにおいてサンプリングされた４つのサンプルすべてに対して呼び出されることを意味する。したがって、４ｘＭＳＡＡが使用され、このサンプルレートでレンダリングが行われ、各軸における解像度が半分に減らされる場合、画像のピクセル数は同じである。これが、図１９Ａから図１９Ｂへの移行によって概略的に示されている。ＭＳＡＡサンプル位置を、デフォルトの回転グリッドではなく、非回転グリッドパターンへとさらに調整する場合（図１８Ａ−回転および図１８Ｂ−非回転を参照）、ＭＳＡＡ解決後に、ＭＳＡＡ適応なしの画像とほぼ同一の画像が得られる（ラスタライズにおける丸めの違いは無視）。上述のように、ハードウェアが画像整列グリッドパターンのサンプルで構成されるクワッドを必要とするがゆえ、ＭＳＡＡが有効にされるとき、ピクセルクワッドを構成するサンプルは、もはや連続した２ｘ２グリッドではない。代わりに、クワッドは、ピクセルの２ｘ２のグリッド内の各ピクセルからの対応するサンプルで構成される。したがって、クワッドを、ピクセルの２ｘ２のグリッドの各々からのサンプル０で構成でき、次のクワッドは、ピクセルの２ｘ２のグリッドの各々からのサンプル１で構成される、などと考えられる。
【００７６】
この特性は、クワッド全体のマスクがピクセル粒度マスキングパターンを生成するために今や生じることを意味する（実際には「サンプル粒度」であるが、シェーディングがサンプル周波数であるため、これは、この場合にはサンプルが最終的にピクセルであることを意味する）。
【００７７】
次に、すでに述べたやり方と同様のやり方で、マスキングパターンが連続したフレームにおいて回転し、したがって適応ＭＳＡＡサンプリングプロセスが、マスキングパターンの各々の非マスク領域の４つのサンプルから異なるピクセルを生成するために使用される。
【００７８】
したがって、各々のフレームについて、ＭＳＡＡプロセスは、画像のその部分に使用されるマスキングパターンに従ってピクセルのまばらな分布をレンダリングし、ピクセルの位置は各フレームで変化する。
【００７９】
次に、各々のフレームについて、上述の膨張プロセスが使用され、画像の領域に使用されるディザパターンに応じて、該当する１つ、２つ、または３つの欠落ピクセルが埋められる。
【００８０】
次に、別の標準的な時間アンチエイリアシング技術（移動平均と同じくらい単純であり得る）を使用して、２つ、３つ、または４つ以上のフレームにわたってディザリングされた画像を混ぜ合わせることができる。
【００８１】
このプロセスが、図２０に要約される。この図の１段目は、１／４の解像度のディザマスクの場合について、最大解像度であるかのようにＭＳＡＡターゲットを処理することによって得られた拡大マスクを示している。２段目は、結果としてのまばらなピクセル分布を示しており、各フレームにおいてマスキングパターンが変化するときに異なるピクセルが生成されている。皮肉なことに、特許出願の目的のためにＰＤＦを生成するプロセスにおいて、この図に示されているまばらなピクセルはアンチエイリアスされている。しかしながら、実際には、このようなアンチエイリアシングは、この段階では生じない。次いで、３段目は、これらのまばらなピクセルを膨張させてギャップを埋めた後の画像を示している。最後に、４段目は、（この場合には）４つのフレームからの寄与を組み合わせる後続の時間アンチエイリアシングによって出力される画像を示している。
【００８２】
本明細書において上述したように、レンダリングされるピクセルの数を減らすように画像の中心からの距離の関数としてディザパターンを変更することにより、画像の有効解像度を、出力画像に後に加わるたる型歪みによって引き起こされる解像度の実質的な変化を近似するように変えることができる。
【００８３】
したがって、好都合なことに、システムは、画像全体にわたって変化する有効解像度で画像を効率的にレンダリングすることができる。
【００８４】
さらに、上記の説明は、たる型歪みを補償するために画像の中心からの距離の関数として有効解像度を低下させるディザパターンについて言及しているが、原則として、視覚的な品質をほとんど犠牲にすることなくレンダリングのための計算オーバーヘッドを削減できる場所において、任意のディザパターンを使用できることを理解できるであろう。したがって、例えば、ディザパターンを、空または雲に対応する画像の領域、あるいは空間的な変動（例えば、テクスチャにおけるピクセル値の変化の係数の合計として、あるいはテクスチャの２Ｄフーリエ変換における非ＤＣピークの値に基づいて、事前に決定または初期化段階において決定することができる）がしきい値未満であるシーン内の任意のテクスチャに適用することができる。このようなテクスチャに、上記の手法に適していると事前にフラグを立てることができる。
【００８５】
反対に、例えば重要なオブジェクトが画像の周辺に位置している場合、可能な限り最良のバージョンの画像が出力されるように、ディザパターンを無効にし、そのオブジェクトをより高い有効解像度でレンダリングすることが望ましいかもしれない。この状況の一例は、画面上に２名のキャラクタが存在する場合であってよく、ユーザが第１のキャラクタに注目するとき、第２のキャラクタは視野の周辺の方に位置するかもしれないが、進行中の対話において依然として重要な役割を有し得る。したがって、第２のキャラクタ（あるいは、少なくともその顔）を依然としてフル解像度でレンダリングすることが好ましいと考えられる。
【００８６】
したがって、本発明の一変種の実施形態においては、或るしきい値レベルの重要度が関連付けられた所定のゲーム要素（キャラクタの顔など）は、ディザマスクの対象とされず、軽減および／または最大パーセンテージのディザマスクの対象とされる。例えば、周囲の領域よりも２５％低いディザマスクまたは５０％低いディザマスクを適用することができる。
【００８７】
したがって、画像内のデフォルトのディザパターンと比較して、画像の重要度の高い特徴は、ディザを有さず、あるいはディザが軽減され、したがって比較的高い有効解像度を有することができる一方で、画像の重要度が低く、かつ／または低空間周波数の特徴は、ディザを有し、あるいはディザが増やされ、したがって比較的低い有効解像度を有することができる。
【００８８】
ここで図２１を参照すると、本発明の概要の実施形態において、頭部装着型ディスプレイ装置による表示のために生成された画像の画像処理方法は、
・第１のステップｓ１１０において、本明細書においてすでに説明したように、画像領域について、２ｘ２のピクセルマスクパターンにおける１つ以上のピクセルおよび対応するマスクされたピクセルの位置を示している２ｘ２のピクセルマスクパターンを定めること、
・第２のステップｓ１２０において、本明細書においてすでに説明したように、通常の非回転グリッド上で４分の１の解像度でサンプリングを行うように、マルチサンプルアンチエイリアシング（ＭＳＡＡ）方式を適応させること、
・第３のステップｓ１３０において、本明細書においてすでに説明したように、適応させたＭＳＡＡ方式を使用して値をサンプリングし、２ｘ２のピクセルマスクによって示される１つ以上のそれぞれのピクセルをレンダリングすることで、１つ以上のレンダリングされたピクセルと対応する欠落ピクセルとを含む画像領域を生成すること、および
・第４のステップｓ１４０において、本明細書においてすでに説明したように、それぞれのピクセルのうちの１つ以上のピクセルを膨張させ、画像領域内の１つ以上の欠落ピクセルを満たすこと
を含む。
【００８９】
この概要の実施形態の一事例においては、本明細書においてすでに述べたように、２ｘ２のピクセルマスクに定められるマスクされたピクセルの数が、画像の中心からの画像領域の距離の関数として増加する。
【００９０】
この場合、随意により、１つ、２つ、または３つのマスクされたピクセルを含む予め定められた２ｘ２のピクセルマスクが、本明細書においてすでに述べたように、画像の中心からの画像領域の距離の関数として選択される。
【００９１】
この概要の実施形態の一事例においては、本明細書においてすでに述べたように、定められた２ｘ２のピクセルマスクのパターンが、連続する各フレームで変化する。
【００９２】
この場合、随意により、本明細書においてすでに述べたように、定められた２ｘ２のピクセルマスクのパターンが、連続する各フレームで９０°回転する。
【００９３】
この概要の実施形態の一事例において、本方法は、本明細書においてすでに述べたように、複数の連続するフレームの画像領域を時間アンチエイリアシングフィルタに入力するステップと、時間アンチエイリアシングフィルタの出力を出力生成画像の画像領域として使用するステップとをさらに含む。
【００９４】
この概要の実施形態の一事例において、本方法は、本明細書においてすでに述べたように、画像領域が重要であるとされる画像の特徴に対応するか否かを検出するステップと、概要の実施形態において上述した方法のステップをバイパスすること、およびその画像領域について選択されたと考えられるデフォルトの２ｘ２のピクセルマスクよりもマスクされたピクセルが少ない２ｘ２のピクセルマスクを代替として選択することで構成されるリストから選択される１つのステップとをさらに含む。
【００９５】
この概要の実施形態の一事例において、本方法は、本明細書においてすでに述べたように、画像領域が重要でないとされる画像の特徴に対応するか否かを検出するステップと、もしあれば、その画像領域について選択されたと考えられるデフォルトの２ｘ２のピクセルマスクよりもマスクされたピクセルが多い２ｘ２のピクセルマスクを選択するステップとをさらに含む。
【００９６】
図２１が、本技術を実施するために使用することができる典型的なハードウェアを概略的に示しており、図８および図９に概略的に示した装置の特徴に関する。ＨＭＤ装置３２０は、ケーブル８２、８４によって随意によるブレイクアウトボックス３５０に接続され、ＨＭＤおよびブレイクアウトボックスの各々は、処理ユニット（それぞれ３２１、３５１）およびメモリユニット（それぞれ３２２、３５２）を含む。次いで、ブレイクアウトボックスは、さらなるケーブル８２、８４を介して、例えばゲームコンソールなどのビデオソース３５０にさらに接続される。ビデオソースも、自身のプロセッサ３０１およびメモリユニット３０２を有する。上述の画像の処理は、３つのプロセッサ（３０１、３２１、３５１）のいずれかによって、それぞれのメモリユニットとの協働において実行されてよく、あるいは３つのプロセッサの間に分散されてもよい。しかしながら、本技術は、プロセッサ３０１による実行に役立ち、すなわち処理がビデオソース３００において実行される。さらに、ハードウェアを、ブレイクアウトボックス３５０を用いずに構成してもよく、ＨＭＤ３２０をビデオソース３００に直接接続することができる。
【００９７】
したがって、図２１は、上述の方法に従って頭部装着型ディスプレイ装置による表示のために生成された画像を処理するように動作可能な画像処理装置の例を示している。
【００９８】
したがって、本発明の概要の実施形態において、画像処理装置（ビデオゲームコントローラ、ブレイクアウトボックス、およびＨＭＤ３００、３２０、３５０のうちの１つなど）は、頭部装着型ディスプレイ装置による表示のために生成された画像を処理するように動作可能である。この装置は、画像領域について、２ｘ２のピクセルマスクパターンにおける１つ以上のピクセルおよび対応するマスクされたピクセルの位置を示している２ｘ２のピクセルマスクパターンを定めるように構成されたマスクプロセッサ（例えば、適切なソフトウェア命令のもとで動作するそれぞれの装置のうちの１つ以上の装置のＣＰＵ３０１、３２１、３５１）と、通常のグリッド上で４分の１の解像度でサンプリングを行うようにマルチサンプルアンチエイリアシング（ＭＳＡＡ）方式を修正するように構成され、修正されたＭＳＡＡ方式を使用して値をサンプリングし、２ｘ２のピクセルマスクによって示される１つ以上のそれぞれのピクセルをレンダリングすることで、１つ以上のレンダリングされたピクセルと対応する欠落ピクセルとを含む画像領域を生成するように動作することができるエイリアシングプロセッサ（やはり、例えば適切なソフトウェア命令のもとで動作するそれぞれの装置のうちの１つ以上の装置のＣＰＵ３０１、３２１、３５１）と、それぞれのピクセルのうちの１つ以上のピクセルを膨張させて画像領域内の１つ以上の欠落ピクセルを満たすように構成された膨張プロセッサ（やはり、例えば適切なソフトウェア命令のもとで動作するそれぞれの装置のうちの１つ以上の装置のＣＰＵ３０１、３２１、３５１）とを備える。
【００９９】
この実施形態の種々の事例が、本明細書においてすでに述べた方法の概要の実施形態の事例に対応して想定される。
【０１００】
この実施形態の一事例においては、２ｘ２のピクセルマスクに定められるマスクされたピクセルの数が、画像の中心からの画像領域の距離の関数として増加する。
同様に、この実施形態の一事例においては、定められた２ｘ２のピクセルマスクのパターンが、連続する各フレームで変化する。
【０１０１】
やはり、この実施形態の一事例において、装置は、時間アンチエイリアシングプロセッサを備え、時間アンチエイリアシングフィルタは、複数の連続するフレームの画像領域を入力として受け取り、出力生成画像の領域として使用するために対応する画像領域を出力するように動作することができる。
【０１０２】
したがって、上記の方法を、ソフトウェア命令あるいは専用ハードウェアの包含または置換によって必要に応じて適切に構成される従来からのハードウェア上で実行できることを、理解できるであろう。
【０１０３】
したがって、従来からの同等の機器の既存の部分について必要な適応を、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、あるいはこれらの記憶媒体または他の記憶媒体の任意の組み合わせなどの非一時的な機械可読媒体に記憶されたプロセッサ実行可能命令を含むコンピュータプログラム製品の形態で実施でき、あるいはＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または従来からの同等の機器の適応において使用するために適した他の設定可能回路として、ハードウェアで実現することができる。さらに、そのようなコンピュータプログラムを、Ｅｔｈｅｒｎｅｔ（登録商標）、無線ネットワーク、Ｉｎｔｅｒｎｅｔ、あるいはこれらのネットワークまたは他のネットワークの任意の組み合わせなどのネットワーク上のデータ信号を介して送信することができる。
【０１０４】
［付録］
本書に記載の技術に関するさらなる注記。
【０１０５】
本発明の実施形態によれば、本発明の発明者は、画像の外側に向かってマスキングの密度を高めながら、レンダリング画像全体にわたって時間的に変化するディザパターンでピクセルをマスクする。次いで、その後のレンダーパスが、周囲のピクセルをマスクされた領域へと膨張させてギャップを埋め、あるいはサンプル位置を調整して有効な場所からサンプリングする。レンダリング結果は、すべての画面ピクセルからの寄与を保証するために複数のフレームにわたって蓄積され、時間分解能を空間解像度と引き換えにする。さらに、本来であればこのマスキングを２ｘ２のピクセル粒度で行うように強いるクワッドオーバードローの性能限界が、得られる品質を大幅に向上させるピクセル粒度でのマスキングを可能にする４ｘマルチサンプリングアンチエイリアシングで採用されるインターリーブピクセルクワッドパッキングを利用することによって回避される。
【０１０６】
本明細書においてすでに述べたように、ＨＭＤヘッドセットにおいてユーザが体験する視界へとゲーム出力画像を取り入れる過程においてもたらされる歪み（システムによってもたらされるたる型歪み、および光学系によってもたらされる糸巻き型歪み）により、ユーザが体験する画像の有効解像度が画像全体で異なる結果となる。これを利用するために、画像の中心においてより高い解像度（各軸においてｘ１．４）でレンダリングを行うとともに、画像周辺部においてより低い解像度でレンダリングを行うことにより、レンダリング時間の節約の機会を得ることができる。典型的には、グラフィックスハードウェアは、そのままでは空間的に変化する解像度でのレンダリングをサポートしないため、本明細書に記載の手法は、これを近似する。
【０１０７】
とりわけ、本発明の実施形態は、マスキングパターンを時間的に変化させて、４つのフレームの過程にわたってすべての画面ピクセルからの寄与の平均化を可能にする。これらは、時間的アンチエイリアシングパスにいくつかの小さな変更を加えて蓄積される。これにより、より高品質の（エイリアスの少ない）画像を得るために必要に応じて時間分解能を空間解像度と引き換えることができる。
【０１０８】
本発明の実施形態は、４ｘマルチサンプリングアンチエイリアシング（４ｘＭＳＡＡ）のインターリーブピクセルクワッドパッキング動作を利用して、（この技術の利点を制限している可能性がある）クワッドオーバードローのコストを被ることなく、ピクセル粒度でのマスキングを可能にする。これは、これをサポートするためにＭＳＡＡのさまざまな特徴を適応させ、サンプル周波数シェーディングを使用して出力を以前と同じ解像度のレンダーターゲットにレンダリングし、非ＭＳＡＡパターンに一致するようにサンプル位置を調整する。
【０１０９】
・ＭＳＡＡは、三角形の辺のアンチエイリアシングを、これらの場所で複数のサンプルを取得することによって行うために、伝統的に使用されている。しかしながら、通常の回転クワッドよりもむしろグリッドパターンにてサンプルを取り出すように強い、マスキングパターンを使用してサンプルを破棄することにより、４倍のマルチサンプリングを効果的に使用して、ハーフ解像度のレンダリングターゲットを得、中央にフル解像度で表示し、パターンに従ってエッジにおいて徐々に低くなる解像度で表示することができる。
【０１１０】
・本発明の実施形態において、ＭＳＡＡレンダリングの結果は、本質的にマルチサンプル低解像度画像を高解像度画像として扱う欠落サンプルからの黒穴を有する画像である。欠落サンプルの混合は、隣接する有効なサンプルが検出されて穴を埋めるために使用される膨張の事後処理として行われる。
【０１１１】
・ＭＳＡＡは、ピクセルごとに複数のサンプルをラスタライズするが、シェーディングは１回だけであり、それをすべてのサンプル（深度テストの合格などに依存）について使用することによって機能する。この高速のラスタライズは、より高い解像度のエッジをもたらすが、プリミティブ内のシェーディング解像度に違いはない。
【０１１２】
・しかしながら、上述のような「ピクセルレート」でのシェーディングではなく、本発明の実施形態は、代わりに「サンプルレート」でシェーディングを行う。つまり、ピクセルシェーダは、１回だけ実行されるのではなく、各ピクセル内のすべてのサンプルに対して実行される。したがって、４ｘＭＳＡＡを使用してサンプルレートでレンダリングし、解像度を各軸において半分に減らすと、画像のピクセル数は同じになる。ＭＳＡＡサンプルの位置をグリッドパターンにさらに調整すると、ＭＳＡＡの解決後に、ＭＳＡＡの適応なしの画像とほぼ同じ画像が得られる（丸め誤差は無視）。
【０１１３】
・したがって、４ｘＭＳＡＡでサンプル周波数（ＭＳＡＡサンプル位置を調整する）および１／４の解像度（１／２ｘ１／２）でレンダリングを行うことができるが、依然として同じ数のサンプルを見ることができ、しかしながらクワッドを構成するサンプルは解決された画像においてさらに離れている。
【０１１４】
・したがって、ピクセルクワッドは、今やさまざまな「サンプル」で構成される（ＭＳＡＡのピクセルクワッドは、勾配計算を簡素化するためにサンプルが長方形のグリッドにあるように構成される）。
【０１１５】
・上述のように、本発明の実施形態において、解決されたＭＳＡＡ出力の結果にはまだ穴が残っている。穴は最も近い有効なピクセルを使用してコピーされ、次いで時間的アンチエイリアシングが、その性質上、最後の数フレームの結果を蓄積し、４フレームの過程にわたる各ピクセルからの寄与を保証する。
【０１１６】
近隣のピクセルをマスクされたピクセルへと膨張させるための別個のパスを有するのではなく、本発明のいくつかの実施形態は、これらの読み取りをオンデマンドで実行することにより帯域幅を節約することができる。これは、シェーダの他のレイテンシによってほとんど隠されてしまうわずかな余分のＡＬＵと引き換えに、テクスチャの読み取りおよび書き込みの帯域幅を節約する。さらに、サンプリングはマスクされたバージョンから行われるため、実際にサンプリングされるピクセルの総数がより少なく、アクセスパターンがよりキャッシュフレンドリーであるため、より効率的である。
【０１１７】
また、この手法は、画像の外側に向かってより密になるマスクパターンだけでなく、任意のマスキングパターンを持つ便宜もサポートする。したがって、例えば、マスキングパターンを制御して、例えばキャラクタの顔などの目的のオブジェクトを常に高解像度にし、あるいは例えば煙効果などのより低い周波数の詳細を常に低解像度にすることができる。
【０１１８】
さらに、本出願は、たとえ上述の動機となる歪み効果が存在しなくても、伝統的な非ＶＲゲームにも適用可能である。したがって、画像を生成するための本明細書に記載の画像処理方法は、頭部装着型ディスプレイ装置による表示に適しているが、本明細書で説明したとおり、計算オーバーヘッドを減らすために可変有効解像度レンダリングを有益に使用することができる他の状況も存在するため、頭部装着型ディスプレイ装置による表示は必須ではないことを、理解できるであろう。
【図１】
2020510918.tif 000003
【図２】
2020510918.tif 000004
【図３】
2020510918.tif 000005
【図４】
2020510918.tif 000006
【図５】
2020510918.tif 000007
【図６】
2020510918.tif 000008
【図７Ａ】
2020510918.tif 000009
【図７Ｂ】
2020510918.tif 000010
【図８】
2020510918.tif 000011
【図９】
2020510918.tif 000012
【図１０】
2020510918.tif 000013
【図１１】
2020510918.tif 000014
【図１２Ａ】
2020510918.tif 000015
【図１２Ｂ】
2020510918.tif 000016
【図１３】
2020510918.tif 000017
【図１４】
2020510918.tif 000018
【図１５Ａ−１５Ｂ】
2020510918.tif 000019
【図１６】
2020510918.tif 000020
【図１７】
2020510918.tif 000021
【図１８Ａ】
2020510918.tif 000022
【図１８Ｂ】
2020510918.tif 000023
【図１９Ａ−１９Ｂ】
2020510918.tif 000024
【図２０】
2020510918.tif 000025
【図２１】
2020510918.tif 000026
【図２２】
2020510918.tif 000027
【国際調査報告】
2020510918.tif 000028
2020510918.tif 000029
2020510918.tif 000030