(57)【要約】  画像生成装置２００の位置・姿勢取得部２５０は、ユーザ頭部の位置や姿勢の情報を取得する。ビュースクリーン制御部２５２は、ユーザの視点に応じたビュースクリーンを設定する。原画像操作部２５４は、原画像を仮想空間に配置し、ユーザの視点の移動に応じてその位置を移動させるとともにオブジェクトが固定されて見えるように画素の変位量を計算することにより、画像平面の画素ごとに参照ベクトルを設定し、参照ベクトルが設定されない画素について補間により参照ベクトルを決定する。表示画像生成部２６８は、得られた参照ベクトルを用いて原画像をビュースクリーンにマッピングして表示画像を生成する。出力部２７０は表示画像を出力する。
2017212679.tif 000002
【特許請求の範囲】
【請求項１】
左右の異なる視点から取得された一対の原画像を用いて、オブジェクトを立体視できる画像を生成する画像生成装置であって、  ユーザの視点の移動に対し前記オブジェクトが仮想空間で固定されるように、当該視点の移動に応じた前記原画像の各画素の変位を算出することにより、変位後の位置から前記原画像における変位前の位置を参照する参照ベクトルを、画像平面に画素ごとに表したベクトルマップを生成するとともに、前記変位により前記参照ベクトルが設定されない画素について補間により前記参照ベクトルを決定する原画像操作部と、  表示画像の各画素に対応する前記ベクトルマップ上の位置における前記参照ベクトルに基づき、当該画素の画素値を、前記原画像上の対応する位置における画素値を参照することにより決定する表示画像生成部と、  前記表示画像のデータを出力する出力部と、  を備えたことを特徴とする画像生成装置。
【請求項２】
前記原画像操作部は、前記変位により前記参照ベクトルが設定されない画素について補間を行う際、周囲の画素に設定されている前記参照ベクトルの傾きに応じて、補間に用いる画素を選択することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記表示画像生成部は、前記ベクトルマップにおける前記参照ベクトルから、前記原画像の各画素の変位を表す変位ベクトルが再現できる場合に、当該変位ベクトルの終点位置に基づき、表示画像の各画素に対応する前記ベクトルマップ上の位置における前記参照ベクトルを導出することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記表示画像生成部は、表示画像の各画素に対応する前記ベクトルマップ上の位置から所定範囲に設定されている前記参照ベクトルを用いて前記位置における前記参照ベクトルを補間により取得することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
【請求項５】
前記表示画像生成部は、前記所定範囲に設定されている前記参照ベクトルを用いて補間するか否かを、各参照ベクトルに係る情報に基づき選択することを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記表示画像生成部は、表示画像の各画素に対応する前記ベクトルマップ上の位置から所定範囲に設定されている前記参照ベクトルが参照先とする、前記原画像上の位置における画素値を取得し、それらを補間することにより前記各画素の画素値を決定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
【請求項７】
前記原画像は複数解像度のデータを含み、前記表示画像生成部は、視点の移動に応じた前記原画像の各画素の変位に基づく縮小率と、前記ベクトルマップの画像平面と前記表示画像の平面との対応関係に基づく縮小率とに基づき、表示画像の生成に用いる原画像の解像度を画素ごとに決定することを特徴とする請求項１から６のいずれかに記載の画像生成装置。
【請求項８】
前記原画像操作部は、前記原画像に設けられている視差の値を画像平面に表した視差値画像を参照して、前記ベクトルマップの対応する画素に前記参照ベクトルを設定するとともに、前記視差値画像において視差値が設定されていない画素に、隣接する画素の視差値に基づく新たな視差値を与えることにより、前記ベクトルマップの対応する画素にさらに参照ベクトルを設定することを特徴とする請求項１から７のいずれかに記載の画像生成装置。
【請求項９】
前記原画像操作部は、ユーザの視点に基づき描画された一対の表示画像を原画像として、その後のユーザの視点の移動に対応させた前記ベクトルマップを生成し、  前記出力部は、当該ベクトルマップに基づき前記表示画像から対応する位置の画素値を取得したうえ、表示に必要な補正を施して出力することを特徴とする請求項１から８のいずれかに記載の画像生成装置。
【請求項１０】
左右の異なる視点から取得された一対の原画像を用いて、オブジェクトを立体視できる画像を生成する画像生成方法であって、  ユーザの視点に係る情報を取得するステップと、  前記視点の移動に対し前記オブジェクトが仮想空間で固定されるように、当該視点の移動に応じた前記原画像の各画素の変位を算出することにより、変位後の位置から前記原画像における変位前の位置を参照する参照ベクトルを、画像平面に画素ごとに表したベクトルマップを生成するとともに、前記変位により前記参照ベクトルが設定されない画素について補間により前記参照ベクトルを決定するステップと、  表示画像の各画素に対応する前記ベクトルマップ上の位置における前記参照ベクトルに基づき、当該画素の画素値を、前記原画像上の対応する位置における画素値を参照することにより決定するステップと、  前記表示画像のデータを出力するステップと、  を含むことを特徴とする画像生成装置による画像生成方法。
【請求項１１】
左右の異なる視点から取得された一対の原画像を用いて、オブジェクトを立体視できる画像を生成するコンピュータプログラムであって、  ユーザの視点に係る情報を取得する機能と、  前記視点の移動に対し前記オブジェクトが仮想空間で固定されるように、当該視点の移動に応じた前記原画像の各画素の変位を算出することにより、変位後の位置から前記原画像における変位前の位置を参照する参照ベクトルを、画像平面に画素ごとに表したベクトルマップを生成するとともに、前記変位により前記参照ベクトルが設定されない画素について補間により前記参照ベクトルを決定する機能と、  表示画像の各画素に対応する前記ベクトルマップ上の位置における前記参照ベクトルに基づき、当該画素の画素値を、前記原画像上の対応する位置における画素値を参照することにより決定する機能と、  前記表示画像のデータを出力する機能と、  をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、立体映像を生成する画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】  映像を立体的に提示できる３次元テレビやヘッドマウントディスプレイ等の３次元表示デバイスが利用されている。携帯電話や携帯ゲーム機等の携帯端末機において映像を立体的に提示できるデバイスも開発されており、一般のユーザが立体的な映像を視聴する機会が増加してきている。【０００３】  立体的な映像を表示する３次元表示デバイスは、ユーザの左右の目に視差のある画像を見せることでユーザが画像を立体視することを可能にする。左右の目に視差のある画像を見せるために特殊な光学メガネを利用する方式や、光学メガネを使わずにパララックスバリアやレンチキュラーレンズを用いる方式などがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  歪みのない立体映像を見せるためには、ユーザの視点に基づく正確な視差画像を生成する必要がある。したがって視点の動きを許容して立体映像を提示するには、一般的には仮想３次元空間にオブジェクトを配置しカメラ座標系を変化させて射影するなどの処理が必要になる。しかしながら画像の質や精度を追求するほど、そのような処理に要する時間が増え、表示が視点の動きに追随しにくくなる。また元の視差画像のデータに多くの操作が加わることにより、画質が劣化する可能性が高くなる。【０００５】  本発明はこうした課題に鑑みてなされたものであり、その目的は、視点が変位しても高品質な立体画像を少ない遅延で生成できる技術を提供することにある。
【課題を解決するための手段】
【０００６】  本発明のある態様は画像生成装置に関する。この画像生成装置は、左右の異なる視点から取得された一対の原画像を用いて、オブジェクトを立体視できる画像を生成する画像生成装置であって、  ユーザの視点の移動に対し前記オブジェクトが仮想空間で固定されるように、当該視点の移動に応じた原画像の各画素の変位を算出することにより、変位後の位置から原画像における変位前の位置を参照する参照ベクトルを、画像平面に画素ごとに表したベクトルマップを生成するとともに、変位により参照ベクトルが設定されない画素について補間により参照ベクトルを決定する原画像操作部と、表示画像の各画素に対応するベクトルマップ上の位置における参照ベクトルに基づき、当該画素の画素値を、原画像上の対応する位置における画素値を参照することにより決定する表示画像生成部と、表示画像のデータを出力する出力部と、を備えたことを特徴とする。【０００７】  本発明の別の態様は画像生成方法に関する。左右の異なる視点から取得された一対の原画像を用いて、オブジェクトを立体視できる画像を生成する画像生成方法であって、ユーザの視点に係る情報を取得するステップと、視点の移動に対しオブジェクトが仮想空間で固定されるように、当該視点の移動に応じた原画像の各画素の変位を算出することにより、変位後の位置から原画像における変位前の位置を参照する参照ベクトルを、画像平面に画素ごとに表したベクトルマップを生成するとともに、変位により前記参照ベクトルが設定されない画素について補間により前記参照ベクトルを決定するステップと、表示画像の各画素に対応する前記ベクトルマップ上の位置における参照ベクトルに基づき、当該画素の画素値を、原画像上の対応する位置における画素値を参照することにより決定するステップと、表示画像のデータを出力するステップと、を含むことを特徴とする。【０００８】  なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】  本発明によると、視点が変位しても高品質な立体画像を少ない遅延で提示できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態におけるヘッドマウントディスプレイ１００の外観図である。
【図２】本実施の形態における画像表示システムの構成図である。
【図３】本実施の形態の画像表示システムによって実現される表示の形態を説明するための図である。
【図４】本実施の形態の画像生成装置が生成する画像を模式的に示す図である。
【図５】本実施の形態において視差画像を取得する段階で与えられる視差と画像の関係を説明するための図である。
【図６】適切な位置から視差画像を鑑賞する場合の視点と画像の関係を示す図である。
【図７】左右の原画像に表される同一のオブジェクトの像を重ねて示す図である。
【図８】本実施の形態における画像生成装置が、原画像から表示画像を生成する処理手順の概略を示すフローチャートである。
【図９】本実施の形態において、仮想空間で画像スクリーンの位置を固定し、ユーザが画像側に移動した際の画像の見え方を模式的に示す図である。
【図１０】本実施の形態において、視点の位置に応じて原画像を変化させる手法を説明するための図である。
【図１１】本実施の形態において、視線の方向を加味して原画像をビュースクリーン上に描画する様子を示す図である。
【図１２】本実施の形態における画像生成装置の内部回路構成を示す図である。
【図１３】本実施の形態における画像生成装置の機能ブロックを示す図である。
【図１４】本実施の形態において、視点の移動量のうちＺ軸方向およびＸ軸方向の移動量成分と、それに応じた原画像の画素の移動量との関係を説明するための図である。
【図１５】本実施の形態において、視点の移動量のうちＺ軸方向およびＹ軸方向の移動量成分と、それに応じた原画像の画素の移動量との関係を説明するための図である。
【図１６】本実施の形態において、画像スクリーンを移動させない場合の画素の移動量を説明するための図である。
【図１７】本実施の形態において、原画像および画像参照ベクトルマップにおける画素の区分と位置の対応関係を模式的に示す図である。
【図１８】本実施の形態において、視点の移動量のうちＺ軸方向およびＸ軸方向の移動量成分と、右目用の画像参照ベクトルマップにおいて左目用の原画像を参照する際の画素の移動量との関係を説明するための図である。
【図１９】本実施の形態において、視差値画像を用いて相互参照が可能な画素を特定する手法を説明するための図である。
【図２０】本実施の形態において、拡張参照における画像参照ベクトルの計算手法を説明するための図である。
【図２１】図８のＳ１２において原画像操作部が画像参照ベクトルマップを生成する処理手順を示すフローチャートである。
【図２２】図２１のＳ２２において、自己画像を参照先とする画像参照ベクトルを設定する処理手順を示すフローチャートである。
【図２３】図２１のＳ２４において、相互参照および拡張参照時の画像参照ベクトルを設定する処理手順を示すフローチャートである。
【図２４】本実施の形態において、原画像の画素中心とそれに対応する画像参照ベクトルマップ上の位置との関係例を模式的に示す図である。
【図２５】本実施の形態において、Ｚ値の補間対象となった画素と、相互参照または拡張参照を行う画素との関係を説明するための図である。
【図２６】本実施の形態における画像参照ベクトルの補間手法を説明するための図である。
【図２７】図８のＳ１４において、表示画像生成部が画像参照ベクトルマップを用いて表示画像を生成する手順を示すフローチャートである。
【図２８】本実施の形態において、表示画像、画像参照ベクトルマップ、原画像の関係を説明するための図である。
【図２９】本実施の形態において、画像参照ベクトルのバイリニア補間について説明するための図である。
【図３０】本実施の形態において、原画像をミップマップテクスチャとする場合の表示画像との関係を説明するための図である。
【図３１】本実施の形態において、画像スクリーンからマップスクリーンへの変換時のＬＯＤを計算する手法を説明するための図である。
【図３２】本実施の形態の手法を用いずに、オブジェクトの像を微小三角形に分割した単位で直接マッピングする場合の、ミップマッピングにおける問題を説明するための図である。
【図３３】本実施の形態において、視点の移動によって像をサブピクセルレベルで移動させるときの画像の変化を模式的に示す図である。
【図３４】本実施の形態において、視差値画像の拡張前後の画像参照ベクトルマップを模式的に示す図である。
【図３５】本実施の形態において視差値画像を拡張した場合の、サブピクセルレベルでの移動に伴う画像の変化を模式的に示す図である。
【図３６】本実施の形態において、画像参照ベクトルマップおよびＺバッファが画素単位で保持するデータの構造を例示する図である。
【図３７】レンズ歪み補正処理を含む画像の変遷を模式的に示す図である。
【図３８】本実施の形態において、画像参照ベクトルマップを利用して、一旦描画された画像にその後の視点移動を反映させる手法を説明するための図である。
【発明を実施するための形態】
【００１１】  本実施の形態は、視差画像のうち右目用画像を右目に、左目用画像を左目に到達させることにより立体視させる３次元画像表示システムに関する。その限りにおいて画像の表示形態やユーザの鑑賞形態は限定されない。例えば平板型ディスプレイやスクリーンに同時あるいは交互に視差画像を表示させ、偏光眼鏡やシャッター眼鏡により鑑賞する態様が考えられる。あるいは左右の目に対し独立に画像を提示できるヘッドマウントディスプレイを利用することも考えられる。ここでは主に、後者を例に説明する。
【００１２】  図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
【００１３】  図２は、本実施の形態における画像表示システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００で画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。画像生成装置２００はゲーム装置、パーソナルコンピュータ、携帯端末などのいずれでもよい。また画像生成装置２００とヘッドマウントディスプレイ１００とを一体的に構成してもよい。
【００１４】  図３は、画像表示システムによって実現される表示の形態を説明するための図である。本実施の形態では、画像を表す平面を、さらに仮想空間に配置した状態を作り出す。すなわち観念的には（ａ）に示すように、画像を表示させたスクリーン５０を仮想空間における場５２上に配置させ、ユーザ５４が、ビュースクリーン５６を介してそれを鑑賞できるようにする。ここでビュースクリーン５６は、ヘッドマウントディスプレイ１００に表示される画像の視野に対応する。
【００１５】  ユーザ５４が仮想空間を見ながら移動すると、仮想世界との相対位置の変化に応じてスクリーン５０の見え方も変化する。例えば（ａ）に示すように、ユーザ５４がスクリーン５０に対し右方にいる場合、画像生成装置２００は矢印で示すような視線に対応する（ｂ）のような画像を生成し、ヘッドマウントディスプレイ１００に表示させる。なお仮想空間における場５２は仮想空間の座標系を表象しているに過ぎず、形状などを限定する主旨ではない。また必ずしも表示させなくてよい。
【００１６】  図４は、図３の態様を実現するために画像生成装置２００が生成する画像を模式的に示している。本実施の形態において画像スクリーン５０に表示させる画像は、立体視用の一対の視差画像、すなわち左目用画像６０ａおよび右目用画像６０ｂで構成される。図３で示すような画像を立体視させるためには、同じオブジェクトが左目用画像６０ａでは右寄りに、右目用画像６０ｂでは左寄りに表れる。
【００１７】  また画像スクリーン５０に対する視点の位置が左右の目で異なるため、それぞれの視点から透視変換を行う必要がある。例えば図３に示すようにユーザが画像スクリーン５０に対し右方にいる場合、左目より右目の方が画像スクリーン５０に近く、画像スクリーン５０の平面に垂直な軸に対する角度が大きくなる。結果として画像スクリーン５０の枠の形状および位置は左目用画像６０ａ、右目用画像６０ｂで異なり、それらを同一平面上に重ねて表すと、平面６２に示すような位置関係となる。
【００１８】  このような左目用画像６０ａ、右目用画像６０ｂを生成し、ヘッドマウントディスプレイ１００の画面を左右に分割してなる領域のうち左目に対する領域に前者を、右目に対する領域に後者を表示させることにより、ユーザには図３の（ｂ）で示される状態で画像スクリーン５０に表れるオブジェクトが立体に見えるようになる。なお実際には、ヘッドマウントディスプレイ１００の画面とユーザの目の間にはレンズが設けられ、左右の目の視野全体に画像が表れるようにする。そのため左目用画像６０ａ、右目用画像６０ｂにはそれぞれ、レンズを介して見たときに本来の画像が視認されるようなレンズ歪み補正が施される。
【００１９】  このように本実施の形態では、立体視用の視差画像が準備されており、それを自由な視点で鑑賞できるような態様を実現する。仮想的な空間を立体視させる技術としては、仮想世界が３次元空間で定義済みであり、鑑賞者の左右の視点に応じたビュースクリーンに仮想世界のオブジェクトを射影して視差画像を生成する技術がある。一方、３次元動画のようにあらかじめ撮影または生成された２次元画像を立体視させる場合、元々視差が与えられているためそのままでは鑑賞者の視点が限定される。
【００２０】  図５は、視差画像を取得する段階で与えられる視差と画像の関係を説明するための図である。同図は想定する左右の視点（カメラ７０ａ、７０ｂ）、視差画像が取得される画像スクリーン７６、および視差画像に写るオブジェクト７８を含む仮想的な空間を俯瞰した状態を模式的に示している。なお視差画像はステレオカメラで撮影した画像とすることもでき、カメラ７０ａ、７０ｂはその場合のステレオカメラに相当する。
【００２１】  また同図では一対の視差画像の平面を画像スクリーン７６で同時に表している。以後、このように画像スクリーン７６上で元々取得されている視差画像を、鑑賞段階での表示画像と区別するために「原画像」と呼ぶことがある。また以後の説明において原画像の平面と垂直な方向をＺ軸、画像平面における水平方向および垂直方向をそれぞれＸ軸、Ｙ軸とする。
【００２２】  原画像にはオブジェクト７８の像が表れている。例えばオブジェクト７８表面のある点８０は、左のカメラ７０ａからは光軸８２ａから右側にａだけ離れた位置８４ａに、右のカメラ７０ｂからは光軸８２ｂから左側にｂだけ離れた位置８４ｂに表れる。つまり点８０に対する視差Ｄｐはａ＋ｂである。実際には様々な位置にオブジェクトが存在してよく、その深さ方向の距離に応じた視差で、左右の原画像に像が表される。
【００２３】  画像スクリーン７６からオブジェクト７８上の点８０までの距離Ｚｐは、視差Ｄｐを用いて三角形の相似により次のように求められる。  Ewp : Exp - Dp = Scp + Zp : Zp  よって  Zp = Scp * Ewp / Dp - ScpここでＥｗｐは左右のカメラ７０ａ、７０ｂの間隔、Ｓｃｐはカメラ７０ａ、７０ｂから画像スクリーン７６までの距離である。
【００２４】  このように得られた視差画像を上述のように鑑賞する場合を考える。図６は適切な位置から視差画像を鑑賞する場合の視点と画像の関係を示している。図の形式は図５と同様である。画像を鑑賞する段階では、鑑賞者の視点８８ａ、８８ｂと、それらから距離Ｓｃｓだけ隔てた位置に鑑賞者が見るビュースクリーン８６が存在する。そのような空間に図５で示した視差画像取得時の位置関係を当てはめた場合、図示するように鑑賞者の視点８８ａ、８８ｂがカメラ７０ａ、７０ｂと同じ位置になるように画像スクリーン７６の位置を決め、その位置での視差画像をビュースクリーン８６にそれぞれ射影すれば、オブジェクト７８を歪みなく立体視できる。
【００２５】  これは原画像を取得した際のカメラ７０ａ、７０ｂの視錐台と、それを鑑賞する際の視点８８ａ、８８ｂの視錐台がそれぞれ一致していることに相当する。一方、鑑賞者が移動して視点８８ａ、８８ｂが図示するような位置関係から外れると、オブジェクトが歪んで見えたり適正に立体視できなかったりすることが考えられる。場合によっては体調に悪影響を及ぼすこともある。
【００２６】  このような視点の移動を許容して適正に立体視させるためには、与えられた２次元画像を一旦、３次元の仮想空間に逆射影したうえ、再度ビュースクリーンに射影することが考えられる。例えば左右どちらかの原画像を、画素中心を頂点とする微小三角形に分割し、それぞれの距離Ｚｐに応じて仮想３次元空間に配置する。距離Ｚｐは上述の視差Ｄｐにより求められる。そして鑑賞者の視点に対応する左右のビュースクリーンに各微小三角形を射影し、内部をテクスチャマッピングにより描画する。
【００２７】  しかしながらこの場合、次に述べるような問題が生じる。図７は左右の原画像に表される同一のオブジェクトの像を重ねて示している。左目用の原画像９０ａ、右目用の原画像９０ｂの画素領域の境界を、それぞれ実線、破線の格子で示している。図示するように同じオブジェクトの像９２を表す画素集合であっても、両画像の画素の境界が一致するとは限らない。このとき、例えば左目用の原画像９０ａ中のある画素（例えば太線枠の画素９４）に対応する領域は、右目用の原画像９０ｂでは２つの画素にまたがっている。
【００２８】  この場合、左目用の原画像９０ａの画素９４に対して得られる視差値は画素より小さいサブピクセルの単位となる。つまりおよそ同じ像を表す画素であっても、左右どちらの原画像を基準とするかで、表されるオブジェクト上の位置に微小な差が生じ、それがサブピクセル単位の視差値の差を生む。結果として画素ごとに視差値を表したデータは、左右の原画像で一致しないことが多い。換言すれば、画素単位で視差の値を保持する「視差値画像」を、左右の原画像のそれぞれに対して生成しておくことにより、サブピクセル単位での視差情報、ひいては奥行き情報を画像に反映させることができる。
【００２９】  一方、上述のように原画像を微小三角形に分割して仮想３次元空間に配置する場合、左右どちらかの原画像を選択せざるを得ず、奥行き情報も選択された画像を基準とした情報のみとなる。その結果、サブピクセル単位での詳細な画像表現が困難になる。また一般的に異なる視点から取得された画像間では光の鏡面反射の成分や屈折光の成分が異なることが普通であるが、オブジェクトを単独の点群あるいは微小三角形の集まりで表現すると、これらの情報が欠落してしまい結果的にオブジェクトの質感を損ねることになる。さらに、分割した微少領域を３次元空間に逆射影する処理、３次元空間における微少領域をビュースクリーンに射影する処理、という２段階の処理により、最終的な表示画像の品質が劣化しやすい。鑑賞者の視点が図６に示すような適切な位置にあり、本来は画像の変換の必要がなくても、そのような処理が介在することにより無駄に画質が劣化することになる。
【００３０】  また従来の処理では、例えば大量のメモリを準備し３次元の仮想空間に逆射影した情報を点群あるいは微小三角形の集合として保存しておいたとしても、再度ビュースクリーンに対する各点の透視変換が必要であり、処理の負荷が大きい。このため原画像を動画としたりユーザの移動が早かったりした場合は特に、看過できないレイテンシを生む。そこで本実施の形態では、原画像と表示画像を直接的に関連づけることで、画質の劣化やレイテンシを最小限に抑える。具体的には、視点の移動に応じたビュースクリーンの変化に対し、原画像の像がどのように移動するかをビュースクリーン上の画素ごとに計算して描画する。
【００３１】  この計算において、視点が移動しても、それに応じて仮想空間でのオブジェクトの位置が変化したり歪んだりすることがないように原画像を補正した補正画像を、原画像と同一平面、または原画像と平行な平面上で生成する。これにより、各点の４ｘ４の透視変換マトリックスを用いた透視変換処理が簡略化され、少ない演算量で画素ごとの変位を計算することが可能になる。また、最終的にビュースクリーンに対する補正画像の透視変換が必要になるが、これは補正画像全体をカバーする一つの三角形に対し実行すればよいため、従来のグラフィックスハードウェアを用いて非常に高い効率で処理することが可能である。なお以後の説明では、図６に示した、カメラと鑑賞者の視錐台が一致した状態での視点の位置を基点とし、そこからの視点の移動とそれによる画像の変化に主眼を置く。
【００３２】  図８は、本実施の形態における画像生成装置２００が、原画像から表示画像を生成する処理手順の概略を示すフローチャートである。画像生成装置２００はまず、ユーザの視点の位置と視線の方向を取得する（Ｓ１０）。例えばヘッドマウントディスプレイ１００に内蔵したモーションセンサによりユーザの頭部の姿勢を取得できる。また図示しない撮像装置でユーザを撮影し、ヘッドマウントディスプレイ１００の表面に設けた発光マーカーの像などに基づきユーザ頭部の位置や姿勢を取得できる。
【００３３】  あるいはヘッドマウントディスプレイ１００側に、ユーザの視野に対応する画像を撮影する図示しない撮像装置を設け、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。ユーザの視点や視線を取得する手法は、ヘッドマウントディスプレイ１００を利用する場合に限らず様々に考えられることは当業者には理解されるところである。
【００３４】  次に画像生成装置２００は、視点の位置や視線の方向に対応するようにビュースクリーンを設定し、ビュースクリーン上の画素が原画像のどの位置に対応するかを計算する（Ｓ１２）。より詳細にはまず、視点の動きに応じて画像に表されているオブジェクトが変化しないように、すなわちオブジェクトの位置が仮想空間で固定されて見えるように、像を構成する各画素の移動量、移動方向を求めて原画像を変化させた補正画像を生成する。この際、補正画像を生成する平面（画像スクリーン）は原画像と同じ位置でもよいし、視点の動きに応じてＺ軸方向に平行移動させてもよい。
【００３５】  そのうえで、視線の方向に応じて補正画像全体に透視変換をかける。定性的には、このような一連の動きを逆に辿ることにより、ビュースクリーンの画素ごとに原画像の対応する位置を求められる。そして原画像における当該位置のカラー値をビュースクリーンの画素に反映させることにより表示画像を描画する（Ｓ１４）。これらの処理を左右の視点に対して行うことで、表示すべき視差画像を生成できる。当該視差画像のデータを、適宜レンズ歪み補正を施しヘッドマウントディスプレイ１００に出力することで（Ｓ１６）、仮想３次元空間への逆射影を介在させずに、視点の移動に対応するような視野で歪みのない立体画像を視認させることができる。
【００３６】  次に、Ｓ１２で視点の移動に応じて画像スクリーンを移動させる効果について説明する。図９は、図６のような仮想空間で画像スクリーンの位置を固定し、ユーザが画像側に移動した際の画像の見え方を模式的に示している。図６で示したようなカメラ７０ａ、７０ｂと画像スクリーン７６の配置は、原画像を取得した際の想定上のものであり、画像を鑑賞するユーザには意識されない。
【００３７】  したがってユーザが画像スクリーンに近づいていくと、やがて（ａ）に示すように、ユーザ３０２ａが画像スクリーン３００ａより前に出てしまうことが考えられる。この場合透視変換が破綻し、オブジェクト３０４ａを含む原画像はユーザ３０２ａから見えなくなってしまう。また（ｂ）に示すように、ユーザ３０２ｂが画像スクリーン３００ｂより前に出なくとも、近づくほど透視変換による原画像の拡大率が大きくなり、表示画像におけるオブジェクトの解像度が低下する。このことは、ユーザの移動範囲が広いヘッドマウントディスプレイ１００の場合は特に顕著である。
【００３８】  図１０は、視点の位置に応じて画像スクリーンを移動させる手法を説明するための図である。一実施形態では、上述のような不都合を回避するため、図示するようにユーザ３０６がＺ軸の逆方向にΔＺだけ移動したら、画像スクリーン３０８もΔＺだけ同じ方向に移動させる。すなわち視点のＺ成分の移動量に対し、画像スクリーンを同じ量だけ同方向に平行移動させることにより、ユーザ３０６と画像スクリーン３０８との距離を一定に保つ。
【００３９】  同時に、オブジェクト３１０が仮想空間に固定されて見えるように、原画像の像を構成する画素を移動させる。これにより、画像スクリーン３０８が移動したことはユーザ３０６には認識されない。結果として見た目の状況に影響を与えることなく、図９で示したような状況を回避できる。なお上述はＺ軸の逆方向への動きであったが、視点がＺ軸方向へ移動したときも、画像スクリーンを同方向へ平行移動させてよい。
【００４０】  図１１は、視線の方向を加味して原画像をビュースクリーン上に描画する様子を示している。この場合も図１０で説明したのと同様、ユーザ３１２の移動量のＺ成分と同じ距離だけ画像スクリーンを同方向に平行移動させる。ただし図示するように、移動後の視線がＺ軸に対し角度θを有すると、左目の視点の移動量ΔＺｌと右目の視点の移動量ΔＺｒが異なる。
【００４１】  したがって移動後の画像スクリーンは、左目用の画像スクリーン３１６ａと右目用の画像スクリーン３１６ｂで異なる位置になる。図示する例ではユーザが左前方を向いていることにより、左目用の画像スクリーン３１６ａがユーザに近い位置にある。そして各画像スクリーン３１６ａ、３１６ｂに合わせて左右の原画像を変化させ、さらに移動後のユーザ３１２の視点の位置および視線の方向に対応するように設定したビュースクリーン３１８に射影する。
【００４２】  なお図１０、１１で示したような画像スクリーンの移動は、ユーザの視点が大きく移動する場合に必要な処理である。一方、表示の主目的がオブジェクトや動画像の鑑賞であり視点の移動が大きくないと考えられる場合には、画像スクリーンの移動を省略し、原画像と同一位置の画像スクリーンに補正画像を生成してよい。ただし以下の説明では、より計算量の多い、画像スクリーンを平行移動させる形態を主に例示する。このようにしても、一般的な３次元の透視変換に比べ少ない演算量で各画素の変位量を計算可能である。
【００４３】  図８のＳ１２およびＳ１６の２段階の処理は、原画像自体を順次変化させて実現することも可能である。すなわち視点の移動により、一旦、原画像を変化させた補正画像を生成し、それをビュースクリーン上に透視変換することにより表示画像を描画できる。ただしこの場合、やはり原画像に対して２度の変換処理が施されるため、表示画像の品質が維持されない可能性がある。そこで上述の第２の原画像を生成する代わりに、視点移動に応じた補正画像における各画素が、元は原画像のどの位置にあったかを表す画像マップを生成する。
【００４４】  そして当該画像マップをビュースクリーン上に射影してビュースクリーンとマップとの位置関係を特定したうえで、ビュースクリーン上の画素が原画像のどの位置に対応するかを確認して原画像からカラー値を取得する。このようにすることで、原画像に対する操作は１度ですむことになり、画質を原画像レベルに維持することができる。
【００４５】  ここで補正画像における各画素が原画像のどの位置に対応するかを表す情報は、画像平面上で始点および終点が規定されるベクトル値となるため、以後、「画像参照ベクトル」と呼ぶ。また補正画像上で画素ごとに移動参照ベクトルの情報を保持する、画像平面に対応するマップを「画像参照ベクトルマップ」または単に「マップ」と呼ぶ。
【００４６】  図１２は画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。
【００４７】  入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。
【００４８】  ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００４９】  図１３は、本実施の形態における画像生成装置２００の機能ブロックを示している。なお図１３で示した画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の機能のうち少なくとも一部を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。また画像生成装置２００を、ゲーム機やパーソナルコンピュータなどの情報処理装置の一部としてもよい。
【００５０】  同図は画像生成装置２００が有する機能のうち、主に表示画像を生成する機能に着目したブロック図を描いている。これらの機能ブロックは、ハードウェア的には、図１２に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００５１】  画像生成装置２００は、ヘッドマウントディスプレイ１００の位置や姿勢を取得する位置・姿勢取得部２５０、視点の位置や視線の方向に基づきビュースクリーンを制御するビュースクリーン制御部２５２、視点の位置に基づき画像参照ベクトルマップを生成する原画像操作部２５４、原画像のデータを格納する原画像データ記憶部２５６、画像参照ベクトルマップなどの中間データを格納する参照データ記憶部２６２、画像参照ベクトルマップを用いてビュースクリーンに表示画像を描画する表示画像生成部２６８、および、生成された表示画像のデータを出力する出力部２７０を備える。
【００５２】  位置・姿勢取得部２５０は、上述のような手段のいずれかによりユーザの頭部の位置や姿勢を取得する。ビュースクリーン制御部２５２は、位置・姿勢取得部２５０により取得された頭部の位置や姿勢に基づいてユーザの視点の位置や視線の方向を決定し、それに応じたビュースクリーンを設定する。ビュースクリーン上で描画される表示画像は、例えば図４で示した左目用画像６０ａおよび右目用画像６０ｂであり、ビュースクリーンも左目用と右目用を設定する。
【００５３】  原画像操作部２５４は、視点の位置に応じて、必要に応じて画像スクリーンを平行移動させるとともにオブジェクトの像を構成する画素の移動量および方向を計算する。そして移動後のスクリーンにおける各画素が、原画像のどの位置に対応するかを表す画像参照ベクトルを生成する。さらに当該ベクトルを移動後のスクリーン上での画像平面の各画素に対応づけた画像参照ベクトルマップを、左右の目に対しそれぞれ生成する。なお視線がＺ軸に対し角度を有する場合は、図１１に示したように左右の目で移動後のスクリーンの位置が異なる。ただし以後の説明ではそれらを包括して１つのスクリーンで表すこととする。
【００５４】  後述するように画像参照ベクトルを決定するには、視点の移動量および移動方向に加え、画像上で表されているオブジェクトの、仮想空間における距離Ｚｐが必要になる。距離Ｚｐは左右の原画像の視差Ｄｐから上述のように求められる。原画像データ記憶部２５６には、左右の原画像データ２５８と、それぞれの画像の画素ごとに視差値を保持する左右の視差値画像データ２６０が格納される。視差値画像を左右別々に用意するのは、上述したようにサブピクセル精度の情報を活用するためである。なお視差値画像データ２６０の代わりに、左右の画像の画素ごとに距離Ｚｐを保持する距離値画像データを準備してもよい。
【００５５】  原画像操作部２５４は、視点によっては左目用の画像参照ベクトルマップに右目用の原画像を参照する画素を設けたり、右目用の画像参照ベクトルマップに左目用の原画像を参照する画素を設けたりしてもよい。これは、左右の原画像のうち一方では死角になって像として表れていない箇所が、他方で表れている場合があるためである。視点の移動によってそのような死角部分を表示する必要が生じた場合、他方の画像からデータを取得することにより、そのような細部も高精度に再現することができる。原画像操作部２５４はさらに、視差値画像が保持する視差値を像の外側に拡張することにより、拡張分の画像参照ベクトルも準備してよい。詳細は後述する。
【００５６】  参照データ記憶部２６２は、原画像操作部２５４が生成した、左右の画像参照ベクトルマップ２６６を格納するほか、それを作成する段階で、画像参照ベクトルの書き込みの是非を判定するためのＺ値の情報を格納するＺバッファ２６４を含む。表示画像生成部２６８は、ビュースクリーン制御部２５２が設定したビュースクリーン上に、各画素に対応する原画像の画素値を参照することによって表示画像を描画する。
【００５７】  すなわち画像参照ベクトルマップを透視変換によりビュースクリーン上にマッピングしたうえ、ビュースクリーン上の画素に対応するマップ上の位置で取得された画像参照ベクトルに基づき原画像のカラー値を取得することで、当該画素の画素値を決定する。これを左右の目のそれぞれに対して行うことで、左目用、右目用の表示画像を生成できる。なお原画像データ記憶部２５６に格納する原画像データ２５８を複数解像度のデータとし、透視変換による縮小率の度合いに応じて描画に用いる解像度を切り替えてもよい。
【００５８】  原画像の解像度を切り替えてテクスチャマッピングを行うことにより、画像のちらつきを抑える手法は、ミップマッピングとして知られている。ただし本実施の形態では、画像を分割してなる微小領域の縮小率ではなく、スクリーン上の画素が元の原画像から遷移するまでに経た視点の移動量に基づきＬＯＤ（Level of Detail）を計算し適切な解像度を選択する。これにより、透視変換によって原画像の微少領域がどのように変形しても、それとは独立に画素に対する適切な解像度を求めることができる。
【００５９】  出力部２７０は、表示画像生成部２６８が生成した左右の表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで出力する。この際、表示画像にレンズ歪み補正を施したうえで出力してもよい。出力部１７０はさらに、メニュー画面用の音楽や各種コンテンツに含まれる音声などの音響データも出力してよい。
【００６０】  次に原画像操作部２５４が画像参照ベクトルを計算する手法について説明する。図１４は、視点の移動量のうちＺ軸方向およびＸ軸方向の移動量成分と、それに応じた原画像の画素の移動量との関係を説明するための図である。同図では図６で示した状態における視点８８ａ、８８ｂからＺ軸方向に−ｚ＿ｏｆｆ、Ｘ軸方向にｘ＿ｏｆｆだけ移動した後の視点を、右目の視点３３２を代表させて示している。
【００６１】  この移動に対し、上述したように画像スクリーン７６を、Ｚ軸方向に−ｚ＿ｏｆｆだけ移動させ、その平面上での各画素に対し画像参照ベクトルを生成する。以後、移動後の画像スクリーンを「マップスクリーン」３３４と呼ぶ。画像参照ベクトルは、視点８８ｂから原画像をみたときと、移動後の視点３３２からマップスクリーン３３４を見たときで、仮想空間にあるオブジェクト７８が固定されて見えるときの画素の対応関係を表す情報である。例えば視点８８ｂから見て右目用の原画像のＸ軸方向の位置ｉｘＲに見える像を、マップスクリーン３３４上の位置ｔｘＲに移動させ、視点３３２から見れば、オブジェクト７８は固定されて見える。
【００６２】  なお基点となる視点８８ａ、８８ｂを結んだ線分の中点を通るＺ軸方向の線と画像スクリーン７６との交点を、左目用、右目用に関わらず画像の原点Ｏとする。まず視点８８ｂのＺ軸方向の動きを取り出して考える。このとき元の視点８８ｂと画像スクリーン７６との関係を維持したまま、両者をｚ＿ｏｆｆだけＺ軸の負の方向に平行移動することにより、移動後の視点３３０とマップスクリーン３３４が得られる。一方、オブジェクト７８は固定されるため、視点のＺ軸方向の動きにより、それを見る視線は実質上、Ｘ軸方向に移動していることになる。このときの移動量をｇｘとする。
【００６３】  三角形の相似により  b : gx = Scp : z_offである。したがって移動量ｇｘは次のように求められる。  gx = b * z_off / Scp
【００６４】  一方、スクリーンをｚ＿ｏｆｆだけ移動させたことによる、画像スクリーン７６上の位置ｉｘＲに対応するマップスクリーン３３４上の位置ｉｘＲ２は次のように求められる。  ixR - ixR2 : z_off = b : Scpよって  ixR2 = ixR - b * z_off / Scp = ixR - gx
【００６５】  上述のｇｘに、さらに最終的な視点３３２へのＸ軸方向の移動分ｘ＿ｏｆｆを考慮すると、マップスクリーン３３４上の位置ｉｘＲ２からの移動量ｄｘ２は次のように求められる。  dx2 : x_off + gx = Zp - z_off : Scp + Zp - z_offよって  dx2 = (x_off + gx)*(Zp - z_off) / (Scp + Zp - z_off)
【００６６】  ｚ＿ｏｆｆおよびｘ＿ｏｆｆの視点の移動による、画像スクリーン７６上の位置ｉｘＲに対応するマップスクリーン３３４上の位置ｔｘＲを上述のｄｘ２を用いて表すと、次にようになる。  txR = ixR2 + dx2 = ixR - gx + dx2すなわちｔｘＲとｉｘＲとの差は、原画像におけるオブジェクトの像の位置、原画像に与えられているオブジェクトの視差値（または画像スクリーンまでの距離）、および視点の移動量に依存する。
【００６７】  左目の視点の移動についても同様に計算でき、次のようになる。  gx = a * z_off / Scp  ixL2 = ixL +gx  dx2 = (x_off - gx)*(Zp -z_off) / (Scp + Zp - z_off)  txL = ixL2 + dx2 = ixL + gx + dx2
【００６８】  ここでｉｘＬ、ｉｘＬ２、ｔｘＬは、画像スクリーン７６上での左目用の原画像における水平方向の位置、画像スクリーンをｚ＿ｏｆｆだけ移動させたときの対応する位置、左の視点がｚ＿ｏｆｆ、ｘ＿ｏｆｆだけ移動してもオブジェクト７８を変化させないためのマップスクリーン３３４上の位置である。
【００６９】  図１５は、視点の移動量のうちＺ軸方向およびＹ軸方向の移動量成分と、それに応じた原画像の画素の移動量との関係を説明するための図である。図１４と座標軸の向きが異なり、図の横軸をＹ軸としている。つまり仮想空間を横から見た状態であるため、両目の視点８８は１つに重なっている。計算手法は基本的に図１４で説明したのと同様である。すなわち画像スクリーン７６における原画像のＹ軸方向の位置ｉｙに見える像を、オブジェクト７８が固定されて見えるように、マップスクリーン３３４上の位置ｔｙに移動させる。
【００７０】  同図ではｔｙ近傍の図を別途、拡大して示している。まず視点８８がＺ軸方向に−ｚ＿ｏｆｆだけ動いたことによる、視線のＹ軸方向の移動量ｇｙは次のように求められる。  gy = - iy * z_off / Scpここで負の符号がつくのは、図示する例ではｉｙが原点Ｏより下の負の領域にあるためである。一方、スクリーンをｚ＿ｏｆｆだけ移動させたことによる、画像スクリーン７６上の位置ｉｙに対応するマップスクリーン３３４上の位置ｉｙ２は次のように求められる。  iy2 = iy - iy * z_off / Scp = iy + gyこの演算は除算を含むが、Ｓｃｐは定数のため全体の処理に対して一回だけ割り算を実行しておけばよい。
【００７１】  上述のｇｙに、さらに最終的な視点３３２へのＹ軸方向の移動分ｙ＿ｏｆｆを考慮すると、マップスクリーン３３４上の位置ｉｙ２からの移動量ｄｙ２は次のようになる。  dy2 = (y_off + gy)*(Zp - z_off) / (Scp + Zp - z_off)  ｚ＿ｏｆｆおよびｙ＿ｏｆｆの視点の移動による、画像スクリーン７６上の位置ｉｙに対応するマップスクリーン３３４上の位置ｔｙを上述のｄｙ２を用いて表すと、次にようになる。  ty = iy2 + dy2 = iy + gy +dy2この計算は、左右どちらの画像でも同じである。なおｄｙ２の演算における（Ｓｃｐ＋Ｚｐ−ｚ＿ｏｆｆ）による除算は、一般的な透視変換処理のパースペクティブ除算に相当するものであることを指摘しておく。
【００７２】  このようにして、視点の移動量の各成分（ｘ＿ｏｆｆ，ｙ＿ｏｆｆ，ｚ＿ｏｆｆ）に応じた、画像参照ベクトルマップ上の位置（ｔｘ，ｔｙ）と原画像上の位置（ｉｘ，ｉｙ）との対応関係を少ない演算量で導出できる。なお左右の画像におけるＸ軸方向の位置ｔｘＲおよびｔｘＬをｔｘ、ｉｘＲおよびｉｘＬをｉｘと総称している。
【００７３】  ここで、マップスクリーンを原画像の画像スクリーン７６から移動させないケースについても例示する。図１６は、図１４と同様の視点の移動に対し、画像スクリーン７６を移動させない場合の画素の移動量を説明するための図である。すなわち視点は、Ｚ軸方向に−ｚ＿ｏｆｆ、Ｘ軸方向にｘ＿ｏｆｆだけ移動する。このとき例えば視点８８ｂから見て右目用の原画像のＸ軸方向の位置ｉｘＲに見える像を、同じ画像スクリーン７６上の位置ｔｘＲに移動させ、視点３３２から見れば、オブジェクト７８は固定されて見える。
【００７４】  視点のＺ軸方向の動きによる画素の移動量ｇｘは図１４と同様、次のようになる。  gx = b * z_off / Scp  さらに最終的な視点３３２へのＸ軸方向の移動分ｘ＿ｏｆｆを考慮すると、画像スクリーン７６上の位置ｉｘＲからの移動量ｄｘは次のように求められる。  dx : x_off + gx = Zp : Scp + Zp - z_offよって  dx = (x_off + gx)* Zp / (Scp + Zp - z_off)
【００７５】  ｚ＿ｏｆｆおよびｘ＿ｏｆｆの視点の移動による、画像スクリーン７６上の位置ｉｘＲの、移動後の位置ｔｘＲを上述のｄｘを用いて表すと、次にようになる。  txR = ixR + dx  左目の視点の移動、Ｚ軸方向およびＹ軸方向の移動についても、画像スクリーンを移動させる上述の計算手法を変形させることにより容易に計算できる。
【００７６】  画像参照ベクトルを決定するにはさらに、両者の画像の画素区分を考慮する必要がある。図１７は、原画像および画像参照ベクトルマップにおける画素の区分と位置の対応関係を模式的に示している。同図に示す格子は、（ａ）が原画像における画素区分、（ｂ）が画像参照ベクトルマップの画素区分を表す。このうち各画素の中心の位置座標を（０，０）、（１，０）、（２，０）、・・といった整数値で表すとする。（ａ）に示すように、原画像における（ｉｘ，ｉｙ）をこのような整数値とした場合、上述で算出される（ｔｘ，ｔｙ）は多くの場合、小数点以下の値を持つ。すなわち（ｔｘ，ｔｙ）は画像参照ベクトルマップの画素の中心からはずれることが多い。
【００７７】  そこで（ｂ）に示すように、そのようにして得られた終点の位置（ｔｘ，ｔｙ）を四捨五入することにより整数値（ｔｘ’，ｔｙ’）とし、その位置を始点とした逆向きのベクトルを画像参照ベクトルＶとする。すなわち（ｔｘ’，ｔｙ’）を画素中心とする画素に対応づける画像参照ベクトルＶ（ｉｎｖ＿ｘ，ｉｎｖ＿ｙ）は次のように表される。  tx' = (int)(tx + 0.5)  ty' = (int)(ty + 0.5)  inv_x = (float)ix - tx  inv_y = (float)iy - ty
【００７８】  このようにすると、画像参照ベクトルＶの終点（ｉｘ’，ｉｙ’）の多くは、原画像の画素の中心から外れることになる。そのようにしても、表示画像描画時にサンプリングされるマップ上の位置に基づく画像参照ベクトルの補間、画像参照ベクトルが示す原画像上の位置に基づくカラー値の補間、といった処理を経ることにより、サブピクセル精度での高画質な画像を表示できる。画像参照ベクトルを参照した描画に係る処理については後に述べる。なお図の（ａ）の矢印のように（ｉｘ，ｉｙ）を始点とし（ｔｘ，ｔｙ）を終点とするベクトルを「変位ベクトル」と呼ぶ。
【００７９】  次に、左右の画像参照ベクトルマップの一方において、他方の原画像を参照する場合の画像参照ベクトルの計算手法を説明する。上述のとおり左右の原画像には、取得時には死角になり像として表れていないが、視点の移動によって見えるようになる部分が存在し得る。原画像操作部２５４はそのような像を表現すべき画素に対し、他方の原画像を参照する画像参照ベクトルを生成することで、死角であった部分をより正確に描画できるようにする。このような技術を視差画像の相互参照と呼ぶ。
【００８０】  図１８は、視点の移動量のうちＺ軸方向およびＸ軸方向の移動量成分と、右目用の画像参照ベクトルマップにおいて左目用の原画像を参照する際の画素の移動量との関係を説明するための図である。計算にあたっての考え方は図１４で示したのと同様であるが、本来の始点であるｉｘＲに対応する、左目用の画像における位置ｉｘＬが始点となる点が異なる。
【００８１】  すなわち図１４と同様、右目の視点の移動に着目すると、ｚ＿ｏｆｆおよびｘ＿ｏｆｆの視点の移動による画像スクリーン７６上の位置ｉｘＲに対応するマップスクリーン３３４上の位置ｔｘＲは上述のとおり、  txR = ixR2 + dx2 = ixR - gx + dx2である。右目用の原画像における位置ｉｘＲと、それに対応する左目用の原画像の位置ｉｘＬとは次の関係にある。  ixR = ixL + Ewosc
【００８２】  ここでＥｗｏｓｃは、視点８８ａ、８８ｂの間隔Ｅｗｐと、原画像における視差Ｄｐ＝ａ＋ｂから次にように与えられる。  Ewosc = Ewp - Dp  結果としてｔｘＲは、左目用の原画像上の位置ｉｘＬを始点とすると、次のように求められる。  txR = ixL + Ewosc - gx +dx2
【００８３】  なおＥｗｏｓｃの算出に用いる視差Ｄｐは、左目用の原画像の画素に対して与えられている、左目の視差値画像が保持する値である。左目の視点の移動についても同様に計算できる。すなわち画像スクリーン７６上の位置ｉｘＬに対応するマップスクリーン３３４上の位置ｔｘＬは  txL = ixL2 + dx2 = ixL + gx + dx2であるから、右目用の原画像上の位置ｉｘＲを始点とすると、次のようになる。  txL = ixR - Ewosc + gx + dx2
【００８４】  ただしＥｗｏｓｃの算出に用いる視差Ｄｐは、右目用の原画像の画素に対して与えられている、右目の視差値画像が保持する値である。視点移動によるＹ軸方向の位置の移動は、相互参照しない場合と同様に、下記の通りとなる。  ty = iy2 + dy2 = iy + gy + dy2以上の計算により、相互参照しない場合と同様に、画像参照ベクトルマップの各画素に対し画像参照ベクトルを設定できる。
【００８５】  なお左右の視差値画像を利用して、左右一方の原画像において死角となり他方の原画像を参照できる画素についてあらかじめ特定しておいてもよい。図１９は、視差値画像を用いて相互参照が可能な画素を特定する手法を説明するための図である。同図は図示するような形状のオブジェクト３４４と、それを表す左右の原画像３４０、３４２の平面を俯瞰した状態を模式的に示している。視差値画像は、オブジェクト３４４のうち原画像で見えている部分についての視差値を保持している。
【００８６】  例えば右目用の原画像３４２の各画素は、破線矢印の先に示すようなオブジェクト３４４上の位置を表し、対応する視差値画像の各画素は、一点鎖線矢印が示すように、オブジェクト３４４上の各位置が左目用の原画像３４０でどの位置に表れるかを、画像平面上の差分で示している（例えば矢印Ａ）。したがって、右目用の視差値画像が保持する視差の終点のいずれにも該当しない左目用の原画像の領域Ｂは、右視点からは死角であり左視点からは見えているオブジェクトの部分を表していることになる。
【００８７】  この場合、図１８で示したように右目の画像参照ベクトルを、左目用の原画像３４０における領域Ｂの画素を参照するように設定することが可能である。そこで画像平面に対し、領域Ｂの存在を示したデータをあらかじめ作成しておくことができる。これを相互参照フラグと呼ぶ。左目用の原画像３４０における領域Ｂを表す相互参照フラグは次のように生成できる。すなわち同じ水平ライン上の画素列において、右目用の原画像３４２上の位置ｉｘＲに対応する、左目用の原画像３４０上の位置ｉｘＬは上述のとおり、  ixL = ixR - Ewoscである。
【００８８】  ただしＥｗｏｓｃの算出に用いる視差Ｄｐは、右目用の原画像の画素に対して与えられている、右目の視差値画像が保持する値である。ここでｉｘＲは画素の中心であり、ｉｘＬは画素の中心とは限らない。そこでｉｘＬを四捨五入して最近傍の画素中心を求め、それを中心とする画素を特定する。このようにして得られる画素は、図１９における視差の終点となる画素であり、それ以外の画素は領域Ｂのように、右目用の表示画像のために参照できる画素である。
【００８９】  したがってそれらの画素が区別できるように１ビットの情報を与える。このようなデータを左右の原画像平面に対し取得することにより、左右の相互参照フラグを生成できる。上記は左右の原画像における相互参照の手法であるが、原画像を取得した際の左右のカメラのさらに外側を視点とする原画像を別途取得しておくことにより、元の左右の原画像の相互参照では補えなかった画素をさらに補うこともできる。ここで、外側の視点から取得した原画像を参照先とする手法を拡張参照と呼ぶ。
【００９０】  図２０は、拡張参照における画像参照ベクトルの計算手法を説明するための図である。この例では、元の左右の原画像を取得した際に想定された視点８８ａ、８８ｂのうち、右の視点８８ｂのさらに右側に、間隔Ｅｗｐをあけてカメラ３５０を設定し、第３の原画像を取得しておく。そして視点８８ｂにおいて死角となり右目用原画像で表されていなかった部分について、視点の移動により描画する必要が生じたら、当該第３の原画像を参照するように画像参照ベクトルを設定する。計算にあたっての考え方は図１８で示した相互参照の場合と同様であるが、左目用原画像におけるｉｘＬを始点とする代わりに、第３の原画像上の対応する位置ｉｘＲＥを始点とする。
【００９１】  すなわち図１４と同様、右目の視点の移動に着目すると、ｚ＿ｏｆｆおよびｘ＿ｏｆｆの視点の移動による画像スクリーン７６上の位置ｉｘＲに対応するマップスクリーン３３４上の位置ｔｘＲは上述のとおり、  txR = ixR2 + dx2 = ixR - gx + dx2である。右目用の原画像における位置ｉｘＲと、それに対応する第３の原画像の位置ｉｘＲＥとは次の関係にある。  ixR = ixRE - Ewosc
【００９２】  ここでＥｗｏｓｃは、視点の間隔Ｅｗｐと、第３の原画像に対応して生成されている視差値画像における、位置ｉｘＲＥの画素に対応する視差Ｄｐから次にように与えられる。  Ewosc = Ewp - Dp  結果としてｔｘＲは、第３の原画像上の位置ｉｘＲＥを始点とすると、次のように求められる。  txR = ixRE - Ewosc - gx + dx2
【００９３】  左の視点８８ａのさらに左側に設置したカメラにより第４の原画像を取得しておき、左目用の表示画像の描画時に参照する場合も同様に計算できる。すなわち画像スクリーン７６上の位置ｉｘＬに対応するマップスクリーン３３４上の位置ｔｘＬは  txL = ixL2 + dx2 = ixL + gx + dx2であるから、第４の原画像上の位置ｉｘＬＥを始点とすると、次のようになる。  txL = ixLE + Ewosc + gx + dx2
【００９４】  視点移動によるＹ軸方向の位置の移動は、相互参照しない場合と同様に、下記の通りとなる。  ty = iy2 + dy2 = iy + gy + dy2以上の計算により、画像参照ベクトルマップの各画素に対し画像参照ベクトルを設定できる。
【００９５】  これまで述べた計算により画像参照ベクトルを取得したら、当該データを画像参照ベクトルマップに書き込む。この際、画像参照ベクトルを計算する時に得られたＺ値を用いてＺバッファ処理を行い、より視点に近いＺ値を持つ画像参照ベクトルをマップに書き込んで保存するようにする。この処理により、マップの一つの画素に対して一つの画像参照ベクトルがのみが記憶される。
【００９６】  なお、異なる視点画像から得られる点群あるいは微小三角形をビュースクリーンに描画する従来の手法では、光の鏡面反射成分や透過成分の視点による違い等による画素間の輝度の不連続性を隠すためのアルファブレンド描画が行われていたが、これにより画像の解像感が低下したり処理の負荷が大きくなったりする問題が発生していた。本実施の形態によれば、後述するように画素間のアルファブレンドを各画像間の境界の画素のみに限定することで、元の画像の解像感を保ったまま高速に処理を行うことが可能になる。
【００９７】  また、これまで述べたように画像参照ベクトルは、まず原画像の各画素を始点として、視点の移動によって定まるマップスクリーン上の対応する位置を終点とする変位ベクトルを求め、その逆ベクトルを画像参照ベクトルマップの画素中心に合わせて微小移動させることによって得られる。そのような手順によれば、原画像では隣接する画素を始点とした変位ベクトルの終点が離間し、間に画像参照ベクトルが設定されない画素（以後「穴」と呼ぶことがある）が生じることが考えられる。これは視点の移動によって原画像の一部が画素レベルで引き延ばされることなどに起因する。そのため原画像操作部２５４は、そのような穴を検知し適切な画像参照ベクトルを補う。
【００９８】  このような穴が発生するのを防ぐために、画像を微小三角形で表し、三角形ごとにラスタライズ処理を行うことが考えられる。しかしながら微小三角形のラスタライズは現在のグラフィックスハードウェアにおいても処理の負荷が大きく、全体のボトルネックになることが多い。そこで本実施の形態では、微小三角形のラスタライズ処理を省略し、少ない演算量で穴の補間を実現する。
【００９９】  同様の理由によりＺバッファについても補間する。ここでＺバッファは、画像参照ベクトルマップの生成過程で必要となる。例えば原画像の複数の画素が、画像参照ベクトルマップの同一画素内の位置に対応している場合、Ｚテストにより視点に近い対応関係を採用することで、当該画素に適切な画像参照ベクトルが設定される。Ｚ値は原画像に対応する視差値画像から、原画像の画素ごとに求められる。なお上述のとおりＺ値は、画像参照ベクトルを求める際の変位ベクトルの算出にも利用される。
【０１００】  図２１は、図８のＳ１２において原画像操作部２５４が画像参照ベクトルマップを生成する処理手順を示すフローチャートである。まずＺバッファおよび画像参照ベクトルマップのバッファを初期化する（Ｓ２０）。次に自己画像を参照先とする画像参照ベクトルを設定する（Ｓ２２）。ここで自己画像とは、右目用のマップについては右目用原画像、左目用のマップについては左目用原画像を指す。次に相互参照および拡張参照により自己画像以外の原画像を参照先とする画像参照ベクトルを設定する（Ｓ２４）。
【０１０１】  Ｓ２２、Ｓ２４の処理においてＺバッファへの書き込みや、場合に応じたＺ値の補間を並列して行う。これらの処理においては、画像参照ベクトルの補間は行わない。次に、画像参照ベクトルの穴を補間する（Ｓ２６）。同図に示す処理を、左目用、右目用でそれぞれ行うことにより画像参照ベクトルマップが両目に対し完成する。なお視差値画像においてデータが保持されていない画素はオブジェクトが存在しないことになるため、そのような画素を指す画像参照ベクトルも存在しない。結果として画像参照ベクトルマップには、オブジェクトの像の外側などに、画像参照ベクトルマップが存在しない領域があってよい。
【０１０２】  図２２は、図２１のＳ２２において、自己画像を参照先とする画像参照ベクトルを設定する処理手順を示すフローチャートである。まず原画像において１つの基準画素を定める（Ｓ３２）。そして当該基準画素と、それに隣接する複数の参照画素の中心位置について変位ベクトルを計算する（Ｓ３４）。隣接する画素について計算された変位ベクトルは、後に当該画素が基準画素となった際に利用するため一時的に記憶しておいてもよい。次に、画像参照ベクトルマップの画素配列で構成されるＺバッファのうち、基準画素を始点とする変位ベクトルの終点を含む画素のデータを確認し、Ｚ値および画像参照ベクトルを書き込み可能か確認する（Ｓ３６）。
【０１０３】  当該画素に以前にＺ値が書き込まれていなかった場合、あるいは書き込まれていても書き込もうとしているデータの方が視点に近いことがＺ値により確認できた場合、書き込み可能と判定する（Ｓ３６のＹ）。そして基準画素のＺ値をＺバッファに書き込むとともに、変位ベクトルから求めた画像参照ベクトルをマップの対応画素に書き込む（Ｓ３８）。同一画素に以前に書き込みがなされていればそれを上書きする。なおＺバッファには、参照先が自己画像であることを示す画像の識別情報も書き込むことにより、相互参照や拡張参照のデータより優先されるようにする。
【０１０４】  次にＺバッファのうち、基準画素の変位ベクトルの終点を含む画素に隣接する画素が穴となるかどうかを確認し、穴となる場合はＺ値を補う（Ｓ４０のＹ、Ｓ４２）。このとき、当該Ｚ値が補われたものであることを示すフラグも同時に書き込む。Ｚ値の補間手法は後に述べる。Ｓ３６で、以前に書き込まれていたＺ値との比較によりデータの書き込みが不可と判定された場合、書き込みや穴の確認は行わない（Ｓ３６のＮ）。Ｓ４０で隣接する画素に穴がなければ当然、Ｚ値の補間は行わない（Ｓ４０のＮ）。原画像の全画素が基準画素となるまで（Ｓ４４のＮ）、例えばラスタ順に基準画素を設定していき（Ｓ３２）、Ｓ３４〜Ｓ４２の処理を繰り返す。全画素が基準画素となったら処理を終了する（Ｓ４４のＹ）。
【０１０５】  図２３は、図２１のＳ２４において、相互参照および拡張参照時の画像参照ベクトルを設定する処理手順を示すフローチャートである。この処理は図２２で示した自己画像を参照先とする場合と基本的には同様であるが、変位ベクトルの計算や書き込みが限定的である点と、Ｚ値の補間を行わない点に主な差がある。これは、相互参照および拡張参照が、自己画像で描画できない画素を補填するための補助的な処理であり、高速化のために簡略化しても多くの場合、問題が顕在化しないためである。したがって処理時間に余裕があれば、自己画像の描画と同様にＺ値の補間処理を行ってもよい。まず原画像において１つの基準画素を定める（Ｓ５２）。ここでの原画像は、右目用の画像参照ベクトルマップに対しては左目用の原画像や右目のさらに右の視点から取得した画像である。左目用の画像参照ベクトルマップに対しては右目用の原画像や左目のさらに左の視点から取得した画像である。
【０１０６】  続いて、相互参照フラグを生成している場合は、当該基準画素が参照先となり得るか否かをフラグにより確認する（Ｓ５４）。参照先となり得ない場合は当該基準画素を参照先とするような画像参照ベクトルに係る処理を行わない（Ｓ５４のＮ）。参照先となり得る場合は（Ｓ５４のＹ）、基準画素と、それに隣接する複数の参照画素の中心位置について変位ベクトルを計算する（Ｓ５６）。そしてＺバッファのうち、基準画素を始点とする変位ベクトルの終点を含む画素のデータを確認し、Ｚ値および画像参照ベクトルを書き込み可能か確認する（Ｓ５８）。
【０１０７】  この場合、先に書き込まれているＺ値が自己画像のものであるときは書き込みを不可とする。また書き込まれているＺ値が補間により設定されたものである場合は書き込みを可能とする。これにより、自己画像の正当な参照が可能な場合はそれを優先させ、補間によりＺ値のみが書き込まれている場合は相互参照、拡張参照を優先させる。書き込みが可能な場合は（Ｓ５８のＹ）、基準画素のＺ値をＺバッファに書き込むとともに、変位ベクトルから求めた画像参照ベクトルをマップの対応画素に書き込む（Ｓ６０）。
【０１０８】  この際、参照される原画像が自己画像でなくどの画像であるかがわかるように、Ｚバッファおよび画像参照ベクトルマップに画像の識別情報も書き込む。Ｓ５８で書き込みが不可と判定されたら書き込みは行わない（Ｓ５８のＮ）。原画像の全画素が基準画素となるまで（Ｓ６２のＮ）、例えばラスタ順に基準画素を設定していき（Ｓ５２）、Ｓ５４〜Ｓ６０の処理を繰り返す。全画素が基準画素となったら処理を終了する（Ｓ６２のＹ）。
【０１０９】  次にＺ値の補間処理について説明する。なおＺ値および画像参照ベクトルの補間処理は、穴の大きさが高々１画素であることを前提としている。本実施の形態では、原画像と画像参照ベクトルマップの平面が平行であり、また両者の解像度が同程度であることを想定しているため、上記のような前提をしても差し支えない。Ｚ値の補間においてはまず、図２２のＳ４０で示すように補間すべき穴を特定する。定性的には、原画像において隣接する画素が、画像参照ベクトルマップ上で引き延ばされて間隔が広がり、マップの画素を単位としたときに１画素分の隙間が生じた状態を検出する。
【０１１０】  図２４は、原画像の画素中心とそれに対応する画像参照ベクトルマップ上の位置との関係例を模式的に示している。同図に示す格子は、（ａ）が原画像における画素区分、（ｂ）が画像参照ベクトルマップの画素区分を表す。（ａ）に示す網掛けされた４つの画素の中心を始点として変位ベクトルを求めると、例えば実線矢印のようになる。この矢印の先を含む画素に、矢印と逆向きの画像参照ベクトルが設定される。
【０１１１】  この例では、破線矢印で対応関係を示したように、（ｂ）に示す網掛けされた４つの画素が変位ベクトルの終点を含むため、補間の必要なく画像参照ベクトルを設定できる。このような状況において、濃い網掛けで示した画素を基準画素３６０として設定する。さらに基準画素３６０の右、下、右下の画素を参照画素３６２ａ、３６２ｂ、３６２ｃとする。そしてそれらの画素中心を始点とする変位ベクトルが指す、画像参照ベクトルマップ上の位置を特定する。
【０１１２】  そのうち基準画素３６０および右と下に隣接する参照画素３６２ａ、３６２ｂに対応する３点の位置を含む最小の画素行列の領域３６４を決定する。この領域３６４のうち、基準画素３６０および参照画素３６２ａ、３６２ｂ、３６２ｃに対応する位置を含まず、かつ基準画素３６０に隣接する画素を、Ｚ値を補間すべき穴として決定する。図２４の場合、太枠で囲まれた画素が抽出される。なおこのような画素は別の基準画素によって正確な値が書き込まれたり、Ｚテストにより補間値を書き込めなかったりする可能性もあるため、厳密には補間すべき画素の候補である。
【０１１３】  次に図２２のＳ４２で示すように、決定した画素にＺ値を補う。最も単純には隣接する画素のＺ値の平均値などで補間することが考えられるが、平均化することにより本来は背後にある物が見えて表現されてしまうことが起こり得る。オブジェクトの輪郭部分などＺ値に急な変化が生じている箇所ではそのような危険性が高くなる。したがってＺ値が得られている周囲の画素からのＺ値の変化の大きさに応じて、補うＺ値を調整する。定性的には、周囲の画素からの差が大きいほど視点からの距離が大きくなるようにＺ値を調整する。
【０１１４】  図２４を例にとると、基準画素３６０と、その右、下、右下に位置する参照画素３６２ａ、３６２ｂ、３６２ｃにおけるＺ値が、視差値画像に基づき変位ベクトルの算出時に計算されている。ここで基準画素３６０のＺ値をＺｓｃ０、参照画素３６２ａ、３６２ｂ、３６２ｃのＺ値をそれぞれＺｓｃ１、Ｚｓｃ２、Ｚｓｃ３とする。
【０１１５】  画像参照ベクトルマップのうち、基準画素３６０に対応する位置を含む画素３６６には、基準画素３６０に対し得られたＺｓｃ０がＺ値として与えられる。当該画素３６６に隣接し、Ｚ値を補間すべき画素とされた太線枠の画素には、Ｚｓｃ０を上述のように調整したＺ値を与える。調整後のＺ値であるＺｓａｆｅは、例えば次のように計算する。  Zsafe = Zsc0 + | Zsc1 - Zsc0 | + | Zsc2 - Zsc0 | + | Zsc3 - Zsc0 |あるいは  Zsafe = Zsc0 + max(| Zsc1-Zsc0 |+| Zsc3-Zsc0 |, | Zsc2-Zsc0 |+| Zsc3-Zsc0 |)
【０１１６】  なおＺ値は視点からの距離に応じて値が増えるように座標軸をとっている。このような計算により、例えば基準画素のＺ値（Ｚｓｃ０）に比べ周辺の画素のＺ値が極めて大きい場合にも、穴埋めに用いるＺ値を当該周辺の画素におよそ合わせることができ、背後の物が不自然に前に見えたりすることがなくなる。ＺバッファへのＺ値の書き込みは、実際には上述のＺテストを経てなされる。ＺｓａｆｅをＺｓｃ０から大きくなる方向に調整しておくことにより、計算誤差などにより誤った画素を書き込み先としてしまっても、当該画素に本来与えられるＺ値を上書きするのを防ぐこともできる。
【０１１７】  図２１を参照して説明したように、自己画像を参照先とする画像参照ベクトルの設定段階でＺバッファの穴を埋めたうえで、相互参照や拡張参照をする画像参照ベクトルを設定する。図２５は、Ｚ値の補間対象となった画素と、相互参照または拡張参照を行う画素との関係を説明するための図である。同図は（ａ）（ｂ）とも、画像参照ベクトルマップの画素配列を表し、（ａ）は図２４の（ｂ）に示した図と対応する。すなわち網掛けされた画素には視差値から計算された本来のＺ値が書き込まれ、太線枠の画素には補間されたＺ値が書き込まれている。
【０１１８】  ただしそれらの画素にはまだ、画像参照ベクトルは設定されていない。この状態から図２３の処理を開始すると、補間によりＺ値が与えられた画素に対し相互参照あるいは拡張参照をする画像参照ベクトルが設定される可能性がある。図２５の（ｂ）における太線枠の画素のうち網掛けされた画素３７０ａ、３７０ｂは、そのようにしてデータが書き込まれた画素である。以上の処理により、相互参照、拡張参照の場合も含め可能な限り画像参照ベクトルを決定したうえで、残った画素３７２ａ、３７２ｂについて画像参照ベクトルの補間を行う。
【０１１９】  補う画像参照ベクトルは基本的に、周囲の画素の画像参照ベクトルに近い値とする。図２６は画像参照ベクトルの補間手法を説明するための図である。同図に示す画素配列において、太線枠で囲まれた画素に画像参照ベクトルの穴があるとする。この場合、最も単純には、周囲の画素に設定されている画像参照ベクトルの平均値により補間することが考えられる。ただし補間に用いる画像参照ベクトルは、視点の移動に基づく変位ベクトルから得られたものとし、補間によって得られたベクトルをさらに補間に用いることは避ける。
【０１２０】  例えばターゲットとする太線枠の画素の上下左右の画素（画素Ｄ、Ｃ、Ｄ、Ａ、Ｂ）に、矢印で示すように画像参照ベクトルが与えられていれば、それら４つの画像参照ベクトルの平均ベクトルをターゲットの画像参照ベクトルとする。あるいはターゲットの画素に対する位置に応じて重みを変化させて平均化してもよい。例えば周囲の８画素のうち上下左右の画素（画素Ｄ、Ｃ、Ｄ、Ａ、Ｂ）に２倍の重みをつけて、Ａ〜Ｈの８画素の画像参照ベクトルを加重平均する。
【０１２１】  あるいは画像参照ベクトルの方向性に応じて補間に用いる画素や重みを決定してもよい。例えば図示する例では、周囲の画素の画像参照ベクトルが全て水平に近くなっている。このことから当該部分が原画像から水平方向に引き延ばされたものであり、穴はそれによって生じたことが推定される。したがってこの場合、ターゲットの周囲の画素のうち、左右の画素Ａ、Ｂを用いて線形補間したり、それらの画素に、より大きい重みをつけて平均化したりすることにより、状況に応じた精度の高い補間を実現できる。
【０１２２】  例えばターゲットの画素の上下左右の４画素の画像参照ベクトルの平均ベクトルを求め、それと画像の水平方向（Ｘ軸方向）とのなす角度θが−３０°＜θ＜３０°または１５０°＜θ＜２１０°のとき、左右の画素Ａ、Ｂの画像参照ベクトルを平均してターゲットの画像参照ベクトルとする。角度θが６０°＜θ＜１２０°または２４０°＜θ＜３００°のとき、上下の画素Ｄ、Ｃの画像参照ベクトルを平均してターゲットの画像参照ベクトルとする。角度θがそれ以外のときは上下左右の画素の画像参照ベクトルを平均してターゲットの画像参照ベクトルとする。
【０１２３】  なお上述のような角度のしきい値や、それによって補間に用いる画素を選択するか重みを変化させるか、といった態様の組み合わせは様々に考えられる。ユーザの頭部は上下運動より水平運動であることが多く、結果として画素の変位も水平方向が多いと考えられる。したがって上述のように角度の判定を行わず、常に左右の画素の画像参照ベクトルを補間に用いるようにして、精度を維持しつつ処理を高速化してもよい。
【０１２４】  本実施の形態ではこのように、視点の移動による画像の局所的な伸張が生じても、ベクトルを補間対象とすることにより、方向性に基づいた計算式の選択が可能である。また実際のカラー値に対する操作は、最終的に表示画像を描画する段階に限られるため、この補間処理が表示画像の品質に与える悪影響を抑えられる。例えば画像参照ベクトルを導入せず、直接カラー画像を補間する場合、このような方向性に基づく調整は行えない。
【０１２５】  例えば一方向に引き延ばされた結果生じた穴であっても、カラー画像にはその情報がないため、引き延ばされた方向に関わらず同様の補間計算となる。その結果、余計な色が混じり、表示画像の品質にも悪影響を与え得る。画像参照ベクトルは視点の動きによる画素の移動を表しているという特性上、図２６に示すように画素単位で大きな変化が生じるものではない。結果として、たとえ方向性に関わらずターゲットの周囲の画素を補間に利用しても大きな誤差にはなりにくく、混色による画質の劣化も防止できる。
【０１２６】  なお上述した補間手法は、変位ベクトル計算から導き出されたいわば正当な画像参照ベクトルが周囲の画素に与えられていることを前提としていた。一方、２画素以上が連続して穴となっている場合は、その周囲で補間でない画像参照ベクトルを探索し、当該ベクトルをそのまま補間に用いてもよい。例えば図２６において、ターゲットの周囲の８つの画素に探索の優先順位を規則づけておく。一例として画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈといった順序が考えられる。そしてその順で探索し、最初に検出された補間でない画像参照ベクトルをターゲットのベクトルとして採用する。いずれの補間手法にしても、画像参照ベクトルの生成段階ではカラー値が確定してないため、最終的にはサブピクセルの位置精度でカラー値を決定することができる。
【０１２７】  次に画像参照ベクトルマップを用いて最終的な表示画像を生成する手法について説明する。図２７は、図８のＳ１４において、表示画像生成部２６８が画像参照ベクトルマップを用いて表示画像を生成する手順を示すフローチャートである。まず表示画像生成部２６８は、ビュースクリーン制御部２５２からその時点での視点の位置や視線の方向に応じたビュースクリーンの位置や姿勢を取得し、それに画像参照ベクトルマップをマッピングする（Ｓ７２）。そのうえで描画すべき対象画素を設定する（Ｓ７４）。
【０１２８】  そして対象画素に対応する画像参照ベクトルマップのサンプリング点を特定し、その位置における画像参照ベクトルを取得する（Ｓ７６）。基本的にはサンプリング点を含む所定数の画素、例えば２行２列の４画素に対し設定されている画像参照ベクトルに補間フィルタをかけることによって求める。次に原画像をミップマップとしている場合、参照先のミップマップレベルを決定づけるＬＯＤを算出する（Ｓ７８）。このとき、画像参照ベクトルマップをビュースクリーンにマッピングした際に得られるＬＯＤに加え、原画像から画像参照ベクトルマップへの変換時になされた拡縮を加味する。
【０１２９】  そして、原画像のうちＳ７６で取得した画像参照ベクトルの示す位置のカラー値を取得し対象画素を描画する（Ｓ８０）。ミップマップの場合はＳ７８で算出したＬＯＤに対応するレベルの原画像からカラー値を取得する。表示画像の全画素が描画されるまで（Ｓ８２のＮ）、Ｓ７４〜Ｓ８０の処理を繰り返す。全画素が描画されたら処理を終了する（Ｓ８２のＹ）。同図に示す処理を、左右それぞれ行うことにより、左目用、右目用の表示画像を生成できる。
【０１３０】  図２８は表示画像、画像参照ベクトルマップ、原画像の関係を説明するための図である。（ａ）の点線で示した画素配列は表示画像３８０、網掛けされた画素配列は画像参照ベクトルマップ３８２の、それぞれ一部であり、位置の対応を示すように重ねて示している。なお画像参照ベクトルマップ３８２は透視変換により形状が歪んでいることがあり得るが、わかりやすさのために同図では各画素を正方形で表している。（ｂ）の画素配列は原画像３８６の一部である。
【０１３１】  表示画像３８０において、太線枠で示した画素を描画対象画素とすると、その中心の位置に対応する、画像参照ベクトルマップ３８２上の画素３８８内の位置をサンプリング点３８４とする。当該サンプリング点３８４における白抜き矢印で示した画像参照ベクトルは、例えばサンプリング点３８４を含む画素３８８と、それに隣接しサンプリング点３８４に近い３画素で構成される、濃い網掛けで示した２行２列の４画素の画像参照ベクトルに基づき決定する。基本的には、これら４つの画素の画像参照ベクトルをバイリニア補間することにより決定できる。
【０１３２】  ただし４つの画像参照ベクトルが同じ原画像を参照先としていない場合、４画素のＺ値が大きく異なりオブジェクトの段差を跨いでいることが疑われるとき、その他、補間に適さない画像参照ベクトルが混じっている場合は例外として補間は行わない。そのようにしてサンプリング点３８４の画像参照ベクトルが求められたら、原画像３８６のうち当該画像参照ベクトルが指す位置をカラー値のサンプリング点３９０とする。そしてカラー値のサンプリング点３９０を含む２行２列の４画素を補間することにより、表示画像の描画対象画素のカラー値を決定する。なおこのときの補間は実際には、縮小率に応じた２つのレベルのミップマップを用いて補間するトライリニアフィルタリングにより行う。
【０１３３】  図２９は、画像参照ベクトルのバイリニア補間について説明するための図である。同図は画像参照ベクトルマップのうちサンプリング点４００を含む画素配列を示している。そのうち太線枠で示された４画素が、サンプリング点４００における画像参照ベクトルを求めるために用いられる。画像参照ベクトルはマップの画素中心における、参照すべき原画像上の位置を示すベクトルである。ただし元々は図６に示すように、原画像の画素中心を始点として求めた変位ベクトルを、終点の座標（ｔｘ，ｔｙ）が画像参照ベクトルマップの画素中心（ｔｘ’，ｔｙ’）になるように平行移動させて方向を逆にしたものである。
【０１３４】  したがってその逆の処理により、マップの各画素が保持する画像参照ベクトルから元の変位ベクトルが容易に求められる。すなわち画像参照ベクトルの終点が原画像の画素中心となるように平行移動させ方向を逆にすればよい。そこで本実施の一つの形態では、サンプリング点４００の周囲の４画素が保持する画像参照ベクトルから元の変位ベクトル（例えば変位ベクトル４０４）を求め、その終点の位置（例えば位置４０６ａ、４０６ｂ）とサンプリング点４００との位置関係に基づき、バイリニア補間の係数を決定する。なおここで述べた関係が成り立つのは、画像参照ベクトルが元の変位ベクトルから直接求められた場合であり、例えば穴の補間処理により生成された画像参照ベクトルの場合、その補間方法によっては元の変位ベクトルが正しく求められないことに留意する。
【０１３５】  つまり変位ベクトル４０４などが、視点の移動に応じた画素の移動量を上述のように計算した結果として得られている場合、それを逆方向とした逆変位ベクトルを補間に用いる。同図右下には当該逆変位ベクトルをｖ０、ｖ１、ｖ２、ｖ３として示している。また係数を決定する際は、同図右側に白丸で示した変位ベクトルの終点を近似する長方形４０８を用いることで計算を単純化する。具体的には４画素のうち横方向に並ぶ画素および縦方向に並ぶ画素同士で、変位ベクトルの終点を結ぶ線分の中点をそれぞれ求める。図ではそれらを黒丸で示している。そして当該中点を通り画像の横方向および縦方向に辺を有する長方形４０８を定義する。
【０１３６】  長方形４０８の２方向の辺を、サンプリング点４００の対応する座標成分が内分する比率を、バイリニア補間の係数とする。図示する例では、横方向の辺がα：１−αに内分され、縦方向の辺がβ：１−βに内分されている。これを用いて、求める画像参照ベクトルＶｔｇｔは、４画素のうち左下、左上、右下、右上の画素の逆変位ベクトルをそれぞれｖ０，ｖ１，ｖ２，ｖ３とすると次のように求められる。  Vtgt = v0 *(1-α)*β + v1*α*β + v2 *(1- α)*(1-β) + v3 *α* (1-β)
【０１３７】  なお４画素に設定されている画像参照ベクトルに、相互参照などにより異なる原画像を参照先とするベクトルが混じっている場合は、例外処理として画像参照ベクトルの補間は行わない。その代わりに、それらの画像参照ベクトルが参照先とする原画像からカラー値を取得し、カラー値に対し補間処理を施す。このときも図示した長方形４０８の内分比率α、β等を用いてサンプリング点４００からの距離に応じた補間を行う。原画像をミップマップとする場合はトライリニアフィルタにより縮小率も加味した補間とする。４画素のＺ値に差がある場合など、画像参照ベクトルの補間が適切でない他のケースでも同様とする。
【０１３８】  上述のとおりオブジェクトが存在しない領域では、画像参照ベクトルも存在しないことになる。このような画素が４画素に混じっている場合も、残りの画素に設定されている画像参照ベクトルを用いて直接カラー値を取得し補間してよい。このとき画像参照ベクトルが存在しない画素についてはカラー値を０として計算する。このように画像参照ベクトルが存在しないことを、画像参照ベクトルの成分が０であることと区別するため、画像参照ベクトルのデータには、存在がないことを示すフラグ格納領域を設ける。
【０１３９】  なお図２９で示したバイリニア補間は、サンプリング点４００の周囲の画像参照ベクトルから一旦、元の変位ベクトル求め、その４個の終点とサンプリング点４００との位置関係に基づきサンプリング点４００の画像参照ベクトルを求めた。これにより画像参照ベクトルと変位ベクトルの関係を利用した高精度な補間を実現できる。一方、変位ベクトルの終点を求めずに、サンプリング点４００と周囲の画素の中心との位置関係に基づく一般的なバイリニア補間を採用してもよい。例えば当該周囲の画素でＺ値に大きな差がない場合、あるいは上述したように画像参照ベクトルの穴の補間処理により得られた、元の変位ベクトルを正確に復元できない画像参照ベクトルを補間対象に含む場合には、一般的なバイリニア補間を行うことで、処理時間を短縮したり、復元処理の誤差により生じる精度の低下を防いだりすることができる。
【０１４０】  図３０は、原画像をミップマップテクスチャとする場合の表示画像との関係を説明するための図である。ヘッドマウントディスプレイ１００を利用する場合、ユーザの移動に伴いビュースクリーンが移動するため、画像参照ベクトルマップの画像平面には任意の透視変換がかけられることになる。結果として原画像からの縮小率も場所によって変化する。図示する例では、画像平面（マップスクリーン）４２２がマッピングされた表示画像４２０において、領域４２４ａと領域４２４ｂで縮小率が大きく異なる。
【０１４１】  原画像を一解像度で準備した場合、縮小率が大きい４２４ｂでは表示画像にエイリアシングが生じ、視点の移動によって激しいちらつきにつながる。そのため解像度を段階的に変化させたミップマップテクスチャとして原画像のデータを準備する。例えば領縮小率が小さい領域４２４ａにはミップマップレベルの低い原画像データを用い、縮小率の大きい４２４ｂにはミップマップレベルの高い原画像データを用いてトライリニアフィルタにより画素値を決定する。
【０１４２】  このとき、どのレベルのミップマップを用いるかを決定づけるＬＯＤを計算する必要がある。本実施の形態では実質上、画像スクリーンからマップスクリーンへの変換と、マップスクリーンからビュースクリーンへの変換という２段階の変換がなされているため、ＬＯＤの計算にも双方を考慮する必要がある。すなわちＬＯＤを、１段階目での縮小率の大きさを表すＬＯＤ１と、２段階目での縮小率の大きさを表すＬＯＤ２の和として算出する。
【０１４３】  図３１は、画像スクリーンからマップスクリーンへの変換時のＬＯＤ１を計算する手法を説明するための図である。この変換では視点の３次元空間での移動方向および移動量によって縮小率が変化する。しかしながらＸ軸、Ｙ軸方向の移動に対しては、縮小率の変化が画像平面での位置によって様々であるため、この変化をミップマップの選択に用いると却って不自然に見えることが考えられる。従って視点のＺ軸方向の移動のみを考慮し、それによって生じる、画像の全体的な縮小率をＬＯＤ１に反映させる。
【０１４４】  まずオブジェクトがある、画像スクリーン７６からの距離がＺｐの位置に仮定した画素４４０の間隔を１とする。なお同図では説明のため、画素４４０を表す矩形の大きさを誇張して表している。原画像上での当該画素の像の幅ＯｒｇＤは、三角形の相似により次のように求められる。  OrgD : Scp = 1 : Scp + Zp  よって  OrgD = Scp / (Scp + Zp)
【０１４５】  次に、視点がＺ軸方向に−ｚ＿ｏｆｆだけ移動した場合、マップスクリーン３３４上での当該画素の像の幅ＮｅｗＤは、三角形の相似により次のように求められる。  NewD : Scp = 1 : Scp + Zp - z_off  よって  NewD = Scp / (Scp + Zp - z_off)
【０１４６】  すなわちこの変換処理によるＬＯＤ１は次のように求められる。  LOD1 = ln2 (OrgD / NewD)        = ln2 ((Scp + Zp - z_off)/ (Scp + Zp))
【０１４７】  ここでＺｐは、画像参照ベクトルマップを生成する際に生成されたＺバッファから取得する。２段階目の変換に基づくＬＯＤ２は、一般的なテクスチャマッピングと同様に求める。すなわちビュースクリーンに画像参照ベクトルマップをマッピングする際に、透視変換により求められる縮小率をＬＯＤとして算出する。この計算には、テクスチャマッピングを含むレンダリングを行う一般的なハードウェアの機能を利用できる。
【０１４８】  以上により各段階でのＬＯＤを取得したら、その和ＬＯＤ１＋ＬＯＤ２を最終的なＬＯＤとして参照先の原画像のミップマップレベルを決定し、トライリニアフィルタ処理により画素のカラー値を取得する。なお画像参照ベクトルマップ自体をミップマップデータとしてもよい。ただし画像参照ベクトルの画素間の差は小さいため、上述のとおりサンプリング点の周囲の４画素のベクトルをバイリニア補間する手法で十分な機能を果たす。
【０１４９】  図３２は、本実施の形態の手法を用いずに、オブジェクトの像を微小三角形に分割した単位で直接マッピングする場合の、ミップマッピングにおける問題を説明するための図である。この例では、正方形で表した２行２列の４つの画素（例えば画素４４４）に、それより小さい多数の微小三角形（例えば三角形４４６）がマッピングされている。一般的な手法によれば、マッピングする段階で微小三角形の単位でＬＯＤが計算される一方、ミップマップレベルの選択に反映されるＬＯＤは画素単位である。
【０１５０】  図示する例では網掛けした三角形群４４８を境にして段差が生じているようなオブジェクトの表面形状により、当該三角形群４４８は見かけ上、幅が狭くなっている。このため三角形群４４８に属する三角形のＬＯＤは、他の三角形のＬＯＤより高くなる。画素に対するミップマップレベルの選択に用いるＬＯＤを、画素の中心にある三角形のＬＯＤとした場合、三角形群４４８が中心にかかっている画素４５０のみ、他の画素より高いＬＯＤが採用され、縮小率の大きいテクスチャが選択されることになる。
【０１５１】  このように偶発的なＬＯＤのばらつきにより、マッピングするテクスチャの解像度が様々になると、ちらつき抑制などミップマッピングの効果が発揮されないことが考えられる。本実施の形態では、視点に応じてあらかじめ画素の変位を計算しておき、それを表す概念上の画像である画像参照ベクトルマップ全体をマッピングするため、微小三角形ごとのマッピングは必要ない。したがって上述のような偶発的なＬＯＤのぶれが発生しない。また、画素中心の画像参照ベクトルは、周辺の画素の画像参照ベクトルを加味して決定されるため、精度の高いテクスチャマッピングが可能となる。
【０１５２】  また画像自体をテクスチャマッピングする手法では、微小三角形の内部領域をラスタライズしてテクスチャ座標を取得していく必要がある。図示するように１つの三角形に含まれる画素数が低下すると、ハードウェアの実行効率は大幅に低下する。また、一つの微小三角形を構成する頂点のＺ値が大きく異なると、描画する三角形の画素数が増大し、結果的に画像全体のマッピングに長い時間を要することがある。本実施の形態では上述のとおり、画像全体をマッピングするため処理の負荷が格段に小さく、また視点位置の変化に伴う負荷の変動も少ない。結果として、より軽い負荷で高品質な画像描画が可能となる。これは、視点移動の表示画面への反映を常に低レイテンシで行わなければならないＶＲ機器にとってたいへん有効な性質である。
【０１５３】  次に、本実施の形態の原画像操作部２５４が視差データを拡張することにより、オブジェクトの像の周縁を精度よく描画する手法について説明する。図３３は視点の移動によって像をサブピクセルレベルで移動させるときの画像の変化を模式的に示している。（ａ）は原画像の画素配列を示しており、薄い網掛けの画素がオブジェクトの像、それを囲む濃い網掛けの画素がα値が０の、像がない領域を表している。本実施の形態では、サブピクセルの精度でサンプリング点を決定し、カラー値を決定する。しかしオブジェクトの像の外側は、視差値画像にデータが存在しないため、それを指す画像参照ベクトルも存在しない。
【０１５４】  仮に当該原画像の画素中心が画像参照ベクトルマップの画素中心と一致していた場合、画像参照ベクトルが実質的に表す画像も（ａ）のようになる。ここで矢印４６０に示すようにサブピクセルレベルで画素を移動させる必要が生じた場合、（ｂ）に矢印で示すように、各画素の画像参照ベクトルに逆方向の成分が加算され、原画像上でのサンプリングポイント４６２ａ〜４６２ｃが画素中心からずれる。
【０１５５】  その結果、原画像における隣接する画素との補間により決定されたカラー値により、画像参照ベクトルが実質的に表す画像は、（ｂ）に示すようにサブピクセルの変位を反映したものとなる。ただし原画像でオブジェクトの像が存在しない領域（例えば領域４６４）には、上述のとおりそれを指す画像参照ベクトルが存在しないため、サブピクセルの変位を反映させることができない。結果として対応する領域４６６は元のままとなる。
【０１５６】  そこでバッファ上などで視差値画像における像の周縁を１画素程度外側に拡張しておくことで、拡張分を指す画像参照ベクトルが生成されるようにする。図３４は視差値画像の拡張前後の画像参照ベクトルマップを模式的に示している。（ａ）は視差値画像を拡張しないときの画像参照ベクトルマップの画素配列であり、網掛けされた領域は、対応する原画像の画素にオブジェクトの像が表れているため画像参照ベクトルマップが格納されている画素である。白抜きの領域は像の外側に対応するため、画像参照ベクトルマップが存在しない画素である。
【０１５７】  （ｂ）は視差値画像を拡張したときの画像参照ベクトルマップの画素配列であり、グレーで表された画素は、拡張された視差のデータを用いて生成された画像参照ベクトルを格納する。このように画像参照ベクトルを生成しても、原画像において示された先の画素のα値が０であれば画像上は変化しないため、像自体が不自然に拡張されることはない。拡張処理には（ｂ）の上に示したカーネル４６８などを用いて拡張フィルタリングを行う。
【０１５８】  図３５は、視差値画像を拡張した場合の、サブピクセルレベルでの移動に伴う画像の変化を模式的に示している。（ａ）は図３３の（ａ）に対応するが、像の周囲の画素は、視差データの拡張により画像参照ベクトルが設定されていることをグレーで示している。このようにすると、（ｂ）で示すように、周囲の画素にもサブピクセルレベルの変位を反映させることができる。その結果、図３３の（ｂ）では変化のなかった領域４６６の画素も、隣接する画素との補間により決定されたカラー値が表れることになる。このような処理により、視点の移動に伴いオブジェクトの輪郭もより滑らかに移動して見えるようになる。
【０１５９】  図３６は画像参照ベクトルマップおよびＺバッファが画素単位で保持するデータの構造を例示している。（ａ）の画像参照ベクトルマップのデータは、Ｘ値フィールド４５０ａ、Ｙ値フィールド４８０ｂ、画像ＩＤフィールド４８０ｃ、および存在フラグフィールド４８０ｄで構成される。Ｘ値フィールド４８０ａおよびＹ値フィールド４８０ｂには、画像参照ベクトルのＸ成分およびＹ成分を格納する。画像ＩＤフィールド４８０ｃには、参照先が自己画像か、相互参照時の他方の原画像か、拡張参照時の外側の視点からの原画像かを区別するための、画像の識別情報を格納する。
【０１６０】  存在フラグフィールド４８０ｄには、画像参照ベクトルが存在するか否かを示すフラグを格納する。このフラグにより、画像参照ベクトルが存在しその成分が（０，０）であることと、当該位置にオブジェクトが存在せず画像参照ベクトルとして設定すべきものがないこととを区別する。（ｂ）のＺバッファのデータは、Ｚ値フィールド４８２ａ、画像ＩＤフィールド４８２ｂ、被補間フラグフィールド４８２ｃ、補間可否フラグフィールド４８２ｄで構成される。
【０１６１】  Ｚバッファは、画像参照ベクトルマップ生成時にあっては、Ｚテストなどを経て最新に書き込まれたデータが格納され、表示画像の描画時にあっては、画像参照ベクトルマップが保持しているベクトルに対応する情報が格納される。Ｚ値フィールド４８２ａには、その画素が表すオブジェクトのＺ値を格納する。画像ＩＤフィールド４８２ｂには、上述同様、画像の識別情報を格納する。相互参照や拡張参照のデータより自己画像参照のデータを優先して格納するために用いられる。
【０１６２】  被補間フラグフィールド４８２ｃには、Ｚ値フィールド４８２ａに格納されているＺ値が、穴埋めにより後から補われたデータであることを示すフラグを格納する。このフラグによって、相互参照や拡張参照を行う画像参照ベクトルを設定できることが示される。補間可否フラグフィールド４８２ｄには、表示画像の描画時に、周囲の画像参照ベクトルとバイリニア補間できるか否かを示すフラグを格納する。例えばマップ上で隣接する画素とのＺ値が大きい場合、補間を不可とするフラグを格納する。これにより、段差が大きく補間に適さない画像参照ベクトルを混合し、当該段差が不鮮明に表現されるのを防止できる。
【０１６３】  次に、画像参照ベクトルマップを利用して視点補正を高精度に行う手法について説明する。この態様を実現する場合、図１３で示した原画像操作部２５４を、出力部２７０におけるレンズ歪み補正機能の前段に組み入れる。ヘッドマウントディスプレイ１００では上述のとおり、視野を拡大するために左右の目の前にレンズを設け、それを介して画面を見るように構成されていることが多い。そのため画面に表示する段階では、レンズによる歪みをキャンセルするように、描画した本来の表示画像に非線形な歪み補正処理が施される。
【０１６４】  図３７は、レンズ歪み補正処理を含む画像の変遷を模式的に示している。中間フレームバッファ４９０およびレンズ歪み補正用フレームバッファ４９２は双方、左目用フレームバッファおよび右目用フレームバッファを含む。まず中間フレームバッファ４９０には、その時点の視点に応じた表示画像が、表示画像生成部２６８によって書き込まれる。出力部２７０は、中間フレームバッファに書き込まれた表示画像のデータをサンプリングし、適切な位置に再配置させてレンズ歪み補正用フレームバッファ４９２に書き込む。これを順次ディスプレイに出力することで、レンズを介して正常に見える画像を表示できる。
【０１６５】  一方、ヘッドマウントディスプレイ１００では、ユーザの視点に応じた画像をリアルタイムに表示することが求められる。ところが視点に応じてビュースクリーンを設定するタイミングと、レンズ歪み補正を行うタイミングでは数ｍ秒程度のずれがあるため、その間で視点の位置や方向が動いてしまっていることが考えられる。この場合、そのままレンズ補正を施し出力すると、実際の視点の動きより遅延した画像が表示され、ユーザに違和感を与えることがあり得る。
【０１６６】  そのため中間フレームバッファに書き込まれた画像を、一定方向に微小量シフトさせたうえで歪み補正を行うことで、疑似的に視点の動きに追随させることが考えられる。しかしながらこの手法では、視点の移動（ＸＹＺ軸方向の移動）を正確に反映できない。上述したように異なるＺ値を持つ画素は、視点の移動に伴う変化量が異なるため、画像平面のシフトでは正確に計算することができない。例えばユーザが頭部を回転させる場合も視線の方向が転回するだけでなく、一方の目に対し他方の目は相対的に移動していることになる。
【０１６７】  換言すれば画像平面のシフトで再現できる視点の動きは極めて近似的かつ限定的である。そこで画像参照ベクトルマップを利用して、視点の移動を加味して変化させた画像にレンズ歪み補正を行えるようにする。図３８は、画像参照ベクトルマップを利用して、一旦描画された画像にその後の視点移動を反映させる手法を説明するための図である。図３７で説明したのと同様、中間フレームバッファ４９０には、ある時刻ｔでの視点に応じた表示画像が書き込まれる。この表示画像は、視差値あるいはＺ値が判明していれば、画像参照ベクトルマップを利用したものでも、そうでなくてもよい。
【０１６８】  一方、画像参照ベクトルマップ５００として、表示画像を描画した時刻より遅れた時刻ｔ＋Δｔでの視点に応じたものを生成する。当該視点は、実際の計測結果に基づくものでもよいし、それ以前の視点の動きから予測したものでもよい。そしてレンズ歪み補正用フレームバッファ４９２には、中間フレームバッファ４９０に書き込まれた表示画像を原画像として、Δｔ分の視点の動きを反映させた画像参照ベクトルが示す位置からカラー値をサンプリングしたうえ、歪み補正を施したデータを書き込む。
【０１６９】  このようにすることで、一旦、描画された画像を正確にタイムシフトさせた状態で表示でき、視点の動きに追随するリアルタイムな画像表現を実現できる。なお中間フレームバッファ４９０に書き込むべき表示画像の描画にも画像参照ベクトルマップを利用した場合、画像参照ベクトルマップ５００の生成に用いるＺ値は、前段のマップを作成する過程で生成したＺバッファを利用できる。
【０１７０】  以上述べた本実施の形態によれば、左右の視差画像を用いて立体視を実現するシステムにおいて、あらかじめ生成された原画像を、視点の動きや方向に応じて変化させて表示画像とする。このとき視点の移動に応じて、仮想空間でのオブジェクトの位置を固定した状態で各画素の変位量を計算し、正確な補正量を求める。場合によっては、視点のＺ軸方向の動きに応じて、原画像の平面を同方向に平行移動させてもよい。このような構成によりユーザが大きく移動しても歪みのない自然な３次元の形状をユーザに提示することができる。
【０１７１】  このような視点の移動を反映した透視変換には、原画像そのものを用いずに、原画像における位置との差分を示す画像参照ベクトルマップを用いる。これにより、原画像に対する変換操作は、最終的に表示画像の画素値を決定するときのみとなるため、原画像からの画質の劣化を抑えられる。さらにビュースクリーンへのマッピングに必要な頂点データは画像参照ベクトルマップの４頂点のみのため、レンダリングの負荷を格段に抑えることができる。
【０１７２】  またラスタライズを省略して画像参照ベクトルマップ上で補間を行うため、それによっても処理の負荷が小さく、精度を維持しつつ高速に視点変換処理を実現できる。また原画像をミップマップデータとすることで、視点の動きに応じた画面のちらつきを抑えることができる。この際、ミップマップレベルを決定するＬＯＤを、視点のＺ軸方向の動きによる縮小と、画像参照ベクトルマップの透視変換による縮小によって決定するため、微小三角形単位でマッピングする一般的な処理と比較しＬＯＤの精度が高く、ミップマッピングの効果を発揮しやすい。
【０１７３】  さらに一方の目の表示画像に、部分的に他方の目の原画像を利用したり、別の視点からの原画像を利用したりすることが容易にできる。これにより原画像作成時に死角になっていた部分を精度よく再現でき、ユーザの動きを制限することなく破綻の少ない立体画像を提示できる。また本来オブジェクトの像ではない周縁部分にも画像参照ベクトルを準備しておくことにより、サブピクセルレベルの画素の変位を、像の輪郭部分にも正確に反映させることができる。
【０１７４】  以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１７５】  １００  ヘッドマウントディスプレイ、  ２００  画像生成装置、  ２２２  ＣＰＵ、  ２２４  ＧＰＵ、  ２２６  メインメモリ、  ２５０  位置・姿勢取得部、  ２５２  ビュースクリーン制御部、  ２５４  原画像操作部、  ２５６  原画像データ記憶部、  ２５８  原画像データ、  ２６０  視差値画像データ、  ２６２  参照データ記憶部、  ２６４  Ｚバッファ、  ２６６  画像参照ベクトルマップ、  ２６８  表示画像生成部、  ２７０  出力部。
【産業上の利用可能性】
【０１７６】  以上のように本発明は、ゲーム装置、画像表示装置、画像再生装置、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。
【図１】
2017212679.tif 000003
【図２】
2017212679.tif 000004
【図３】
2017212679.tif 000005
【図４】
2017212679.tif 000006
【図５】
2017212679.tif 000007
【図６】
2017212679.tif 000008
【図７】
2017212679.tif 000009
【図８】
2017212679.tif 000010
【図９】
2017212679.tif 000011
【図１０】
2017212679.tif 000012
【図１１】
2017212679.tif 000013
【図１２】
2017212679.tif 000014
【図１３】
2017212679.tif 000015
【図１４】
2017212679.tif 000016
【図１５】
2017212679.tif 000017
【図１６】
2017212679.tif 000018
【図１７】
2017212679.tif 000019
【図１８】
2017212679.tif 000020
【図１９】
2017212679.tif 000021
【図２０】
2017212679.tif 000022
【図２１】
2017212679.tif 000023
【図２２】
2017212679.tif 000024
【図２３】
2017212679.tif 000025
【図２４】
2017212679.tif 000026
【図２５】
2017212679.tif 000027
【図２６】
2017212679.tif 000028
【図２７】
2017212679.tif 000029
【図２８】
2017212679.tif 000030
【図２９】
2017212679.tif 000031
【図３０】
2017212679.tif 000032
【図３１】
2017212679.tif 000033
【図３２】
2017212679.tif 000034
【図３３】
2017212679.tif 000035
【図３４】
2017212679.tif 000036
【図３５】
2017212679.tif 000037
【図３６】
2017212679.tif 000038
【図３７】
2017212679.tif 000039
【図３８】
2017212679.tif 000040
【国際調査報告】
2017212679.tif 000041
2017212679.tif 000042
2017212679.tif 000043
2017212679.tif 000044