(57)【要約】【課題】映像の滑らかな動きと、高画質とを両立させて、仮想体験のリアリティを向上させること。【解決手段】利用者に視点操作をさせる機能と、  生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する機能と、  投影条件変更後の画像データを出力する機能とを有することを特徴とするバーチャルリアリティシステム。【選択図】なし【特許請求の範囲】
【請求項１】
利用者に視点操作をさせる機能と、
生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する機能と、
投影条件変更後の画像データを出力する機能とを有することを特徴とするバーチャルリアリティシステム。
【請求項２】
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項１に記載のバーチャルリアリティシステム。
【請求項３】
生成済みの画像データを受け取る機能と、
補間制御指示を受け取る機能と、
補間制御指示を受け取ると、生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する機能と、
投影条件変更後の画像データを出力する機能とを有することを特徴とする補間画像生成装置。
【請求項４】
前記生成済みの画像データの各画素に対応するデプス値を受け取る機能も有し、
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項３に記載の補間画像生成装置。
【請求項５】
利用者に視点操作をさせる工程と、
生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する工程と、
投影条件変更後の画像データを出力する工程とを含むことを特徴とするバーチャルリアリティ方法。
【請求項６】
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項５に記載のバーチャルリアリティ方法。
【請求項７】
生成済みの画像データを受け取る工程と、
補間制御指示を受け取る工程と、
補間制御指示を受け取ると、生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する工程と、
投影条件変更後の画像データを出力する工程とを含むことを特徴とする補間画像生成方法。
【請求項８】
生成済みの画像データの各画素に対応するデプス値を受け取る工程も有し、
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項７に記載の補間画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バーチャルリアリティの技術に関する。
【背景技術】
【０００２】
一般に、バーチャルリアリティシステムは、観察視点などによって定まる投影条件や、三次元シーンデータ（対象物の三次元形状データや対象物表面の性状を示すテクスチャ画像などからなる）などに基づいたリアルタイム画像生成（レンダリング）を行うことによって自由な空間移動などの仮想体験を実現しようとするものである。
【０００３】
仮想体験のリアリティを向上させるには、映像の画質に加えて、視点移動などの投影条件変化への反応速度も含めた動きの滑らかさが重要である。滑らかな動きを実現するためには、高速に（一般に毎秒３０回以上）画像生成を行い、画面の更新を行う必要がある。画質の向上のためには、三次元形状データの詳細化、テクスチャ画像の高精細化、表示画像の高精細化などが求められるが、これらは何れもデータ処理量の増大（処理速度の低下）を招く。従って、仮想体験のリアリティを向上させるには、映像の滑らかな動きと、高画質とを両立させることが、技術的な課題となる。この課題を達成するために、従来から、以下に示すような様々な試みがなされているが、十分な成果を挙げていない。
【０００４】
データ量を削減せずに画像生成速度を向上させる方法として、複数のコンピュータを用いて処理を分散する方法がある（例えば、非特許文献１参照）。しかしながら、この方法では、コンピュータの台数に応じてコストの増大を伴う。
【０００５】
また、画像の再生成を行うことなく視点変更後の視野を高速に得る方法として、既に生成された画像を電気回路により平行移動することで、高速に視点移動後の映像を得るものが提案され、また、精度を向上させるために平行移動に加えて台形変換を行う試みも行われている（例えば、非特許文献２参照）。しかしながら、画像の平行移動と台形変形によって視点移動後の正しい映像が得られるのは、図１に示すように、視点位置が変化せずに視線方向や視野角のみが変化した場合に限られ、図２に示すように、視線方向や視野角が変化せずに視点位置のみが変化した場合には、視点から対象までの距離によって見かけの移動量が異なるため、平行移動や台形変形では移動後の正しい画像を得ることはできない。
【０００６】
また、三次元シーンにおいて、予め、複数の視点を選び、選んだ視点ごとに、選んだ視点から見た映像を用意しておき、任意の視点から見た映像を、予め用意した映像の中で、この任意の視点に近い視点から見たものに基づいて求める方法がある（例えば、非特許文献３参照）。しかしながら、予め、複数の視点を選び、選んだ視点ごとに、選んだ視点から見た映像を用意しておく作業が必要であり、複数の視点の選び方も問題となる。
【非特許文献１】ダニエル・Ｆ・サバレーゼ他著，“ＰＣクラスタ構築法−Ｌｉｎｕｘによるベオウルフ・システム”，産業図書
【非特許文献２】木島竜吾、山田英治郎、小鹿丈夫，“前庭反射機能を備えたＨＭＤの開発”，日本バーチャルリアリティ学会第５回大会論文集，日本バーチャルリアリティ学会，２０００年９月，ｐ．４３−４６
【非特許文献３】Ｌｕｃｉａ  Ｄａｒｓａ、Ｂｒｕｎｏ  Ｃｏｓｔａ  Ｓｉｌｖａ、Ａｍｉｔａｂｈ  Ｖａｒｓｈｎｅｙ，“Ｎａｖｉｇａｔｉｎｇ  ｓｔａｔｉｃ  ｅｎｖｉｒｏｎｍｅｎｔｓ  ｕｓｉｎｇ  ｉｍａｇｅ−ｓｐａｃｅ  ｓｉｍｐｌｉｆｉｃａｔｉｏｎ  ａｎｄ  ｍｏｒｐｈｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １９９７  ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｔｅｒａｃｔｉｖｅ  ３Ｄ  ｇｒａｐｈｉｃｓ，ＵＳＡ，ＡＭＣ  Ｐｒｅｓｓ，１９９７，Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｔｅｒａｃｔｉｖｅ  ３Ｄ  Ｇｒａｐｈｉｃｓ，ｐ．２５−３４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は斯かる背景技術に鑑みてなされたもので、映像の滑らかな動きと、高画質とを両立させて、仮想体験のリアリティを向上させることを課題とする。
【課題を解決するための手段】
【０００８】
本発明において上記の課題を達成するために、まず請求項１の発明では、利用者に視点操作をさせる機能と、
生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する機能と、
投影条件変更後の画像データを出力する機能とを有することを特徴とするバーチャルリアリティシステムとしたものである。
【０００９】
また請求項２の発明では、前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項１に記載のバーチャルリアリティシステムとしたものである。
【００１０】
また請求項３の発明では、生成済みの画像データを受け取る機能と、
補間制御指示を受け取る機能と、
補間制御指示を受け取ると、生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する機能と、
投影条件変更後の画像データを出力する機能とを有することを特徴とする補間画像生成装置としたものである。
【００１１】
また請求項４の発明では、前記生成済みの画像データに対応する各画素のデプス値を受け取る機能も有し、
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項３に記載の補間画像生成装置としたものである。
【００１２】
また請求項５の発明では、利用者に視点操作をさせる工程と、
生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する工程と、
投影条件変更後の画像データを出力する工程とを含むことを特徴とするバーチャルリアリティ方法としたものである。
【００１３】
また請求項６の発明では、前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項５に記載のバーチャルリアリティ方法としたものである。
【００１４】
また請求項７の発明では、生成済みの画像データを受け取る工程と、
補間制御指示を受け取る工程と、
補間制御指示を受け取ると、生成済みの画像データに対して、この画像データが生成されたときの投影条件からの視点操作による変更に伴う幾何学変形操作を加えることによって、投影条件変更後の画像データを生成する工程と、
投影条件変更後の画像データを出力する工程とを含むことを特徴とする補間画像生成方法としたものである。
【００１５】
また請求項８の発明では、生成済みの画像データに対応する各画素のデプス値を受け取る工程も有し、
前記幾何学変更操作が、前記生成済みの画像データの各画素とそれぞれのデプス値とを、投影条件の変更に応じて、移動させるものであることを特徴とする請求項７に記載の補間画像生成方法としたものである。
【発明の効果】
【００１６】
請求項１、３、５、及び７の発明は、投影条件変更後の画像データを、三次元シーンデータから生成するよりも高速に生成できるので、視点操作に対する応答性が向上し、映像の滑らかな動きと、高画質とを両立させて、仮想体験のリアリティを向上させることができるという効果がある。
【００１７】
請求項２、４、６、及び８の発明は、幾何学変更操作に、この操作を加える画像データの各画素のデプス値を用いるので、この操作の結果精度を向上させることができるという効果がある。また、デプス値は、多くのレンダリング手法において用いられるものであるために、多様なレンダリングシステムと組み合わせることが可能であるという効果もある。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明の最良の一実施形態を説明する。
【００１９】
１．構成
本実施形態のバーチャルリアリティシステムは、図３に示すように、画像生成装置と、補間画像生成装置と、表示装置（１９）とを備える。
【００２０】
画像生成装置は、プログラムにより三次元描画機能を有するコンピュータであって、画像データ生成に用いる。
【００２１】
補間画像生成装置は、視点の位置や視線方向などの投影条件の変更操作に伴って、三次元シーンデータにもとづく画像データの再生成を毎回行う代わりに、既に生成された画像データに対して投影条件の変更に従った変形操作を加えることによって、簡易的に条件変更後の画像データを生成することで画像データの補間を行い、画像データの再生成の回数を減らしながらも、画面更新の回数を維持し、動きの滑らかさを確保するためのものである（図４参照）。補間画像生成装置は、三次元シーンデータからの画像データ生成を行う画像生成装置から、画像データに加えて、画像生成処理の際に得られるデプス情報(画像データの各画素のデプス値を示す情報であって、デプス画像、距離画像とも云う)を受けとり、初期画像データから条件変更後の画像を得るために必要な画像変換条件（各画素の移動量）を画素毎に算出することで、処理時間のかかる画像データの再生成を行うことなく、条件変更後の画像データを高速かつ高精度に生成する。
【００２２】
画像生成装置は、図３に示すように、操作部（１）と、制御部（２）と、画像生成演算部（３）と、三次元シーンデータ保管部（４）と、画像バッファ（５）と、デプスバッフ
ァ（６）と、画像出力部（７）と、デプス情報出力部（８）とを有する。
【００２３】
補間画像生成装置は、図３に示すように、補間制御部（９）と、画像入力部（１０）と、デプス情報入力部（１１）と、画像入力バッファ（１２）と、デプス情報入力バッファ（１３）と、画素移動量算出部（１４）と、移動量マップバッファ（１５）と、画素移動量処理部（１６）と、画像出力バッファ（１７）と、画像出力部（１８）とを有する。
【００２４】
操作部（１）は、例えばゲームパッド型の操作器であり、利用者はボタン操作により、前進、後退、回転などの視点操作やシーン選択などに係る情報を入力する。
【００２５】
制御部（２）は、画像生成装置の各部及び各バッファの動作タイミングを制御するとともに、操作部（１）から入力された情報に基づいて、シーン選択の変更、或は、視点の位置や視線方向などの投影条件の更新などを行い、画像生成演算部（３）に対して、画像データ生成の指示を与える。また、補間画像生成装置に、投影条件を含む補間制御指示を与える。
【００２６】
画像生成演算部（３）は、制御部からの指示に基づき、三次元シーンデータ保管部（４）に保管されている三次元シーンデータを参照して画像データを生成し、画像バッファ（５）に書き込む。同時に、生成されたデプス情報をデプスバッファ（６）に書き込む。多くの場合、バーチャルリアリティやコンピュータグラフィックスの画像生成処理においては、オブジェクトの奥行き方向の重なり合いを正確に処理するために、デプス値が用いられているため、通常はここで新たな処理負荷が発生することは無い。
【００２７】
三次元シーンデータ保管部（４）は、三次元シーンデータを保管する。
【００２８】
画像バッファ（５）は、画像データを保持する。
【００２９】
デプスバッファ（６）は、デプス情報を保持する。
【００３０】
画像出力部（７）は、画像バッファ（５）内の画像データを読み出し、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒｆａｃｅ）などの出力インタフェースを介して、補間画像生成装置に出力する。
【００３１】
デプス情報出力部（８）は、デプスバッファ（６）内のデプス情報を読み出し、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒｆａｃｅ）などの出力インタフェースを介して、補間画像生成装置に出力する。
【００３２】
補間制御部（９）は、画像生成装置からの補間制御指示に従い、補間画像生成装置の各部及び各バッファの動作タイミングを制御するとともに、画素移動量算出部（１４）に与える演算パラメータを生成する。この演算パラメータは、各画素のスクリーン座標とデプス値から、視点操作による各画素の移動する先を表すスクリーン座標と、移動後のデプス値とを求める関数（詳細は後述）を定義するものである。
【００３３】
画像入力部（１０）は、画像生成装置から入力された画像データを画像入力バッファ（１２）に書込む。
【００３４】
デプス情報入力部（１１）は、画像生成装置から入力されたデプス情報をデプス情報入力バッファ（１３）に書込む。
【００３５】
画像入力バッファ（１２）は、画像生成装置から入力された画像データを保持する。
【００３６】
デプス情報入力バッファ（１３）は、画像生成装置から入力されたデプス情報を保持する。
【００３７】
画素移動量算出部（１４）は、補間制御部（９）から与えられた演算パラメータと、デプス情報入力バッファ（１３）が保持しているデプス情報とに基づいて、画像入力バッファ（１２）が保持している画像データの各画素ごとに、視点操作による各画素の移動先を表すスクリーン座標と移動後のデプス値とからなる書き込み座標を示す移動量マップ（詳細は後述）を生成し、移動量マップバッファ（１５）に書き込む。この処理を、画素移動量算出処理と云う。この処理（詳細は後述）においては、座標計算を画素数分繰り返す必要があるが、計算量は三次元シーンデータの内容に依存しないため、複雑な三次元シーンにおいても処理負荷の増大は無い、また、この処理はハードウエアロジックによって容易にリアルタイムで行い得るものである。
【００３８】
移動量マップバッファ（１５）は、移動量マップを保持する。
【００３９】
画素移動処理部（１６）は、画像出力バッファ（１７）に保持されているデプス情報と、画像入力バッファ（１２）が保持している画像データと、移動量マップバッファ（１５）が保持している移動量マップとに基づいて、視点操作後の画像データと、視点操作後のデプス情報とを作成して、画像出力バッファ（１７）に書き込む。この処理を、画素移動処理と云う。この処理（詳細は後述）においても、画素移動量算出処理と同様に、処理を画素数分繰り返す必要があるが、この計算量も三次元シーンデータの内容に依存しないため、複雑な三次元シーンにおいても処理負荷の増大は無い、また、この処理もハードウエアロジックによって容易にリアルタイムで行いうるものである。
【００４０】
画像出力バッファ（１７）は、画像データと、デプス情報とを保持する。このデプス情報は、後述するように、画素の重複を正しく処理するために必要となる。
【００４１】
画像出力部（１８）は、画像出力バッファ（１７）内の画像データを読み出し、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒａｔｉｖｅ）などの出力インタフェースを介して表示装置（１９）に出力する。
【００４２】
表示装置（１９）は、画像データが表す画像を表示する。
【００４３】
ここで、画素移動量算出部（１４）が行う画素移動量算出処理の詳細を説明する。
【００４４】
一般のバーチャルリアリティシステムにおいて、三次元シーンから画像を生成するには、透視投影として知られる座標変換によって三次元シーン内の各座標点をスクリーン座標に変換し、遠近感のある映像を生成する方法が一般的である。また、座標変換後の座標点のスクリーン奥行き方向に沿っての位置を示す値が、デプス値である。
【００４５】
図５に、三次元シーン内で、視点操作により視点が視点Ａから視点Ａ’に変化したとき、点Ｐ（Ｘ，Ｙ，Ｚ）に対応するスクリーン座標とデプス値の移動を矢印で示す。
【００４６】
ここでは、視点が視点Ａであるとき、三次元シーンの中の点Ｐ（Ｘ，Ｙ，Ｚ）を、スクリーン上の点Ｓ（Ｘｓ，Ｙｓ）およびデプス値Ｄに変換する関数を、（Ｘｓ，Ｙｓ，Ｄ）＝Ｆ（Ｘ，Ｙ，Ｚ） とする。
【００４７】
また、この逆関数を、（Ｘ，Ｙ，Ｚ）＝Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）とする。
【００４８】
この変換関数Ｆ（）、Ｆｉｎｖ（）は、視点位置、視野角、視線方向などの視点操作によって定まるもので、視点操作によって変化する。
【００４９】
視点操作後に視点が視点Ａ’になったとき、三次元シーンの中の点Ｐ（Ｘ，Ｙ，Ｚ）を、スクリーン上の点Ｓ’（Ｘｓ’，Ｙｓ’，Ｄ’）およびデプス値Ｄ’に変換する関数を、（Ｘｓ’，Ｙｓ’，Ｄ’）＝Ｆ’（Ｘ，Ｙ，Ｚ） とすると、（Ｘｓ’，Ｙｓ’，Ｄ’）＝Ｆ’（Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ））という関数が得られる。補間制御部（９）から画素移動量算出部（１４）に与えられる演算パラメータは、この関数を定義するものである。そして、画素移動量算出部（１４）では、この関数を用いて、画像入力バッファ（１２）に保持されている画像データの各画素ごとに、各画素のスクリーン座標（Ｘｓ，Ｙｓ）およびデプス値Ｄから、視点操作後のスクリーン座標とデプス値（Ｘｓ’，Ｙｓ’，Ｄ’）を求める処理を、画素数分繰り返すことによって、画像入力バッファ（１２）に保持されている画像データについて、視点操作による各画素の移動先を表すスクリーン座標と移動後のデプス値とからなる書き込み座標を示す移動量マップが生成される。
【００５０】
ここで、画素移動処理部（１６）が行う画素移動処理の詳細を説明する。
【００５１】
画素移動処理部（１６）は、画像入力バッファ（１２）が保持している画像データを読み取り、また、移動量マップバッファ（１５）が保持している移動量マップから、各画素の書き込み座標を読み取る。
【００５２】
画素移動処理部（１６）は、読み取った画像データについて、各画素ごとに、画像出力バッファ（１７）に現在保持されているデプス値と、書き込み座標が示す移動後のデプス値とを比較し、画像出力バッファ（１７）に現在保持されているデプス値が移動後のデプス値以下である画素については、その画素値を、書き込み座標が示す移動先の画素に移動複写し、他方、画像出力バッファ（１７）に現在保持されているデプス値が、書き込み座標に含まれる移動後のデプス値よりも大きい画素については、隠されるべきものとして、その画素値を、書き込み座標が示す移動先の画素に移動複写しないことにより、読み取った画像データを変形して視点操作後の画像データを作成する。
【００５３】
また画素移動処理部（１６）は、各書き込み座標が示す移動先の画素が、各書き込み座標が示す移動後のデプス値を有する、視点操作後のデプス情報を作成する。
【００５４】
続いて、画素移動処理部（１６）は、視点操作後の画像データと、視点操作後のデプス情報とを、画像出力バッファ（１７）に書き込む。
【００５５】
ここで、図６に、画素移動量算出部（１４）と画素移動量処理部（１６）がそれぞれ行う画素移動量算出処理と画素移動量処理との具体例を示す。
【００５６】
図６に示す具体例は、画像入力部（１０）に入力されて、画像入力バッファに保持されている入力画像データと、デプス情報入力部（１１）に入力されて、デプス情報入力バッファに保持されているデプス情報とが、それぞれ、画像出力バッファ（１７）にも保持されて、さらに、入力画像データが表す画像を表示装置（１９）が表示しているときに、補間制御部（９）に補間制御指示が入力されることによって、画素移動量算出部（１４）と画素移動量処理部（１６）が、それぞれ画素移動量算出処理と画素移動量処理とを行うことにより、出力画像データ（視点操作後の画像データ）が作成される例である。
【００５７】
図６中の入力画像データ、出力画像データ、デプス情報、移動量マップ、それぞれにおいて、桝目一つ一つが、それぞれ、画素を表し、Ｘ方向の数値、Ｙ方向の数値は、それぞれ、各画素を特定するスクリーン座標系におけるＸＹ成分を表す。
【００５８】
移動量マップでは、桝目内部の３つ組みの数値で、この桝目が表す画素の書き込み座標を表しており、桝目内部の左から１番目と２番目の数値が、それぞれ、視点操作により、この桝目が表す画素が移動する先の画素を特定するスクリーン座標のＸＹ成分を表し、桝目内部の左から３番目の数値が、この桝目が表す画素が移動した後のデプス値を表す。
【００５９】
例えば、画素（０，０）の書き込み座標は（２，０，１）であるが、この書き込み座標は、視点操作による画素（０，０）の移動先が画素（２，０）であり、移動後のデプス値が１であることを示す。
【００６０】
デプス情報では、桝目内部の数値で、この桝目が表す画素のデプス値を表している。
【００６１】
入力画像データ、出力画像データでは、それぞれ、桝目内部に描かれている図形で、この桝目が表す画素の画素値を表す。
【００６２】
画素移動量算出部（１４）は、補間制御部（９）から与えられた演算パラメータと、デプス情報とから、各画素の書き込み座標を計算して、移動量マップを作成する。
【００６３】
画素移動量処理部（１６）は、入力画像データについて、各画素毎に、デプス情報におけるデプス値と、移動量マップの書き込み座標が示す移動後のデプス値とを比較し、デプス情報におけるデプス値が移動後のデプス値以下の画素については、その画素値を、移動量マップの書き込み座標で示される移動先の画素に移動複写し、他方、デプス情報におけるデプス値が移動後のデプス値よりも大きい画素については、隠されるべきものとして、その画素値を、移動量マップの書き込み座標で示される移動先の画素に移動複写しないことにより、入力画像データを変形して出力画像データを作成する。
【００６４】
例えば、画素（０，０）、画素（０，１）、画素（１，０）、画素（１，１）では、何れも、デプス情報におけるデプス値と、移動量マップの書き込み座標が示す移動後のデプス値とは、同じ１であるので、入力画像データにおける画素（０，０）、画素（０，１）、画素（１，０）、画素（１，１）の画素値は、移動量マップの書き込み座標が示す移動先の画素（２，０）、画素（３，０）、画素（２，１）、画素（３，１）に、それぞれ移動複写される。
【００６５】
また例えば、画素（２，２）、画素（２，３）、画素（３，２）、画素（３，３）では、何れも、デプス情報におけるデプス値と、移動量マップの書き込み座標が示す移動後のデプス値とは、同じ３であるので、入力画像データにおける画素（２，２）、画素（２，３）、画素（３，２）、画素（３，３）の画素値は、移動量マップの書き込み座標が示す移動先の画素（３，２）、画素（４，２）、画素（３，３）、画素（４，３）に、それぞれ移動複写される。
【００６６】
また例えば、画素（０，２）、画素（０，３）、画素（１，２）、画素（１，３）、画素（２，０）、画素（２，１）、画素（３，０）、画素（３，１）では、何れも、デプス情報におけるデプス値が∞であり、移動量マップの書き込み座標が示す移動後のデプス値が０であって、デプス情報におけるデプス値が、移動量マップの書き込み座標が示す移動後のデプス値よりの大きいので、入力画像データにおける画素（０，２）、画素（０，３）、画素（１，２）、画素（１，３）、画素（２，０）、画素（２，１）、画素（３，０）、画素（３，１）の画素値は、移動量マップの書き込み座標が示す移動先の画素（０，０）に移動複写されない。
【００６７】
ところで、入力画像データを画素単位で移動複写した結果として、出力画像データに未
更新の画素が残る可能性がある。
【００６８】
例えば、図７に示す入力画像に対して白色画素を移動させず黒色画素だけをＸ方向に＋１移動させる画素移動量処理を施した場合、図８に示すように、出力画像データには、×印で示す未更新の画素が残っている。
【００６９】
出力画像データに残る未更新の画素を更新する方法には、少なくとも、以下の３つが考えられる。
【００７０】
第１の方法は、入力画像データ中の、出力画像データに残る未更新の画素と同じ座標の画素を移動せずに用いるものである。
【００７１】
第１の方法を図８に示す出力画像データに適用した場合、図７に示す入力画像データにおいて、図８に示す×印で示す未更新の画素と同じ座標の画素は、黒色画素であるから、図９に示すように、未更新の画素を黒色画素で更新することになる。
【００７２】
第２の方法は、入力画像データ中の、出力画像データに残る未更新の画素と同じ座標の画素に対する移動量を、同座標の座標値から減算して得られる座標を持つ、入力画像データ中の画素を用いるものである。
【００７３】
第２の方法を図８に示す出力画像データに適用した場合、図７に示す入力画像データにおいて、図８に示す×印で示す未更新の画素と同じ座標の画素に対する移動量（Ｘ方向に＋１）を、同座標の座標値から減算して得られる座標を持つ、入力画像データ中の画素は、白色画素であるから、図１０に示すように、未更新の画素を白色画素で更新することになる。
【００７４】
第３の方法は、出力画像データにおいて、未更新の画素の周辺画素を用いて補間するものである。
【００７５】
２．処理の流れの例
以下に、画像生成装置が行う処理の流れの例を、図１１のフローチャートに従って説明する。
【００７６】
ＳＴＥＰ１；
制御部（２）は、画像生成装置の各部や各バッファの初期化を行う。この初期化で、例えば、投影条件の初期化がなされる。
【００７７】
ＳＴＥＰ２；
制御部（２）は、三次元シーンデータ格納部（４）に保管されている三次元シーンデータを参照して、初期化された投影条件で、画像データとデプス情報とを生成して、それぞれを画像バッファ（５）とデプスバッファ（６）に書き込むことを、画像生成演算部（３）に開始させる。
【００７８】
ＳＴＥＰ３；
利用者は、操作部（１）から視点操作に係る情報を入力する。
【００７９】
ＳＴＥＰ４；
制御部（２）は、操作部（１）から入力された視点操作に係る情報に従って、投影条件を更新する。
【００８０】
ＳＴＥＰ５；
制御部（２）は、画像生成演算部（３）が、画像データとデプス情報を生成して、それぞれを画像バッファ（５）とデプスバッファ（６）に書き込むことを完了したか否かを判断し、
完了したならば、ＳＴＥＰ６に進み、
他方、完了してないならば、ＳＴＥＰ９に飛ぶ。
【００８１】
ＳＴＥＰ６；
制御部（２）は、画像バッファ（５）に保持されている画像データを、補間画像生成装置に出力することを、画像出力部（８）にさせる。
【００８２】
ＳＴＥＰ７；
制御部（２）は、デプスバッファ（６）に保持されているデプス情報を、補間画像生成装置に出力することを、デプス情報出力部（８）にさせる。
【００８３】
ＳＴＥＰ８；
制御部（２）は、三次元シーンデータ格納部（４）に保管されている三次元シーンデータを参照して、ＳＴＥＰ４で更新した投影条件で、画像データとデプス情報の生成して、それぞれを画像バッファ（５）とデプスバッファ（６）に書き込むことを、画像生成演算部（３）に開始させる。
【００８４】
ＳＴＥＰ９；
制御部（２）は、ＳＴＥＰ４で更新した投影条件を含む補間制御指示を、補間画像生成装置に出力し、ＳＴＥＰ３に戻る。
【００８５】
以下に、補間画像生成装置が行う処理の流れの例を、図１２のフローチャートに従って説明する。
【００８６】
ＳＴＥＰ１；
補間制御部（９）は、補間画像生成装置の各部や各バッファの初期化を行う。
【００８７】
ＳＴＥＰ２；
補間制御部（９）は、画像生成装置から画像入力部（１０）に画像データが入力されたか否かを判断し、
画像データが入力されたならば、ＳＴＥＰ３に進み、
他方、画像データが入力されないならば、ＳＴＥＰ４に飛ぶ。
【００８８】
ＳＴＥＰ３；
補間制御部（９）は、画像生成装置から画像入力部（１０）に入力された画像データを、画像入力バッファ（１２）に書き込むことを、画像入力部（１０）に行わせることで、画像データの取り込みを行う。
【００８９】
ＳＴＥＰ４；
補間制御部（９）は、画像生成装置からデプス情報入力部（１１）にデプス情報が入力されたか否かを判断し、
デプス情報が入力されたならば、ＳＴＥＰ５に進み、
他方、デプス情報が入力されないならば、ＳＴＥＰ６に飛ぶ。
【００９０】
ＳＴＥＰ５；
補間制御部（９）は、画像生成装置からデプス情報入力部（１１）に入力されたデプス
情報を、デプス情報入力バッファ（１３）に書き込むことを、デプス情報入力部（１１）に行わせることで、デプス情報の取り込みを行う。
【００９１】
ＳＴＥＰ６；
補間制御部（９）は、画像生成装置から補間制御指示が入力されたか否かを判断し、
補間制御指示が入力されたならば、ＳＴＥＰ６に進み、
補間制御指示が入力されないならば、ＳＴＥＰ９に飛ぶ。
【００９２】
ＳＴＥＰ７；
補間制御部（１０）は、補間制御指示に従って演算パラメータを生成し、生成した演算パラメータを画素移動量算出部（１４）に与えて、演算パラメータと、デプス情報入力バッファ（１３）が保持しているデプス情報とに基づいて、画像入力バッファ（１２）が保持している画像データの各画素ごとに、視点操作による各画素の移動先を表すスクリーン座標と移動後のデプス値とからなる書き込み座標を示す移動量マップを生成し、移動量マップバッファ（１５）に書き込むことを、画素移動量算出部（１４）に行わせる。
【００９３】
ＳＴＥＰ８；
補間制御部（１０）は、画像出力バッファ（１７）に保持されているデプス情報と、画像入力バッファ（１２）が保持している画像データと、移動量マップバッファ（１５）が保持している移動量マップとに基づいて、視点操作後の画像データと、視点操作後のデプス情報とを作成して、画像出力バッファ（１７）に書き込むことを、画素移動処理部（１６）に行わせる。
【００９４】
ＳＴＥＰ９；
補間制御部（１０）は、画像出力バッファ（１７）内の画像データを読み出して表示装置（１９）に出力することを、画像出力部（１８）に行わせる。
【００９５】
３．補足
本実施形態は、１画面を処理単位とした逐次処理に限定されたものではない。各処理を並列化する、あるいは、処理単位を走査線ごとや微小ブロックごとなどに細分化することで、容易に操作入力に対する応答時間を１フレーム時間以下に短縮できる。これにより、たとえば、ゲームパッドに代えて、三次元モーションセンサーを入力に用いることで、６自由度全ての視点の動きに対して極めて優れた応答性を持つヘッドマウントディスプレイを実現することができる（非特許文献２参照）。
【００９６】
本実施形態では、外付けの補間画像生成装置を用いた場合についての例を記述したが、ＣＰＵやグラフィックカードなどの機能を用いて同等の処理を実装しても良い。
【００９７】
本実施形態では、視点操作後の画像データを生成するための中間データとして、移動量マップを生成しているが、入力画像データに同期した座標演算を行うことによって、移動量マップの生成を省略しても良い。
【００９８】
本実施形態では、画像データとデプス情報を分離して記述しているが、これは物理的に分離されていることを意味してはいない。各画素にＲＧＢ輝度値とデプス値の４チャネル分の情報を持たせるなど、画像とデプス情報を一体化した実装をしても良い。
【００９９】
４．効果
本実施形態では、実際には例えば毎秒３０回のレンダリング処理を行わなくとも、見かけ上滑らかな動画像を生成することが出来、画像生成により多くの時間をかけられるため、高画質性と動きの滑らかさが両立される。
【０１００】
補間処理の負荷は、表示画像の画素数のみに依存し、レンダリング方法や三次元形状データの量には非依存であるため、レイトレーシングなどの高精度な計算手法に基づく高品質なレンダリングや、対象物の細部の形状までを含んだ高精細な形状データを用いる場合などに特に有効である。
【０１０１】
また、入力情報の変化に対して、１フレーム時間以内に表示を更新できる高速応答性が実現され、ヘッドマウントディスプレイ利用時の違和感の軽減など、厳しい時間応答性が要求される用途への応用が可能となる。
【０１０２】
「デプス情報」は、多くのレンダリング手法において用いられるものであるため、本実施形態の補間画像生成装置は多様なレンダリングシステムと組み合わせることが可能である。
【図面の簡単な説明】
【０１０３】
【図１】視点の回転による画像の変化を示す図。
【図２】視点の平行移動による画像の変化を示す図。
【図３】本実施形態のバーチャルリアリティシステムの構成例を示す図。
【図４】画像の補間により、画像の再生成の回数を減らしながらも、画面更新回数を維持することを示す図。
【図５】三次元シーン内での視点操作により視点が視点Ａから視点Ａ’に変更したときのスクリーン座標とデプス値の移動を矢印で示す図。
【図６】画素移動量算出部（１４）と画素移動量処理部（１６）がそれぞれ行う画素移動量算出処理と画素移動量処理とを具体的に例示する図。
【図７】入力画像データの例を示す図。
【図８】図７に示す入力画像データに対して黒色画素だけをＸ方向に＋１移動させる画素移動量処理を施して得られる出力画像データを示す図。
【図９】図８に示す出力画像データに残る未更新の画素を、図７に示す入力画像データにおいて、この未更新の画素と同じ座標を持つ画素を用いて更新したものを示す図。
【図１０】図８に示す出力画像データに残る未更新の画素を、図７に示す入力画像データにおいて、この未更新の画素と同じ座標の画素に対する移動量（Ｘ方向に＋１）を、同座標の座標値から減算して得られる座標を持つ、入力画像データ中の画素を用いて更新したものを示す図。
【図１１】画像生成装置が行う処理の流れの例を示すフローチャート。
【図１２】補間画像生成装置が行う処理の流れの例を示すフローチャート。
【図１】
2007025861.tif 000002
【図２】
2007025861.tif 000003
【図３】
2007025861.tif 000004
【図４】
2007025861.tif 000005
【図５】
2007025861.tif 000006
【図６】
2007025861.tif 000007
【図７】
2007025861.tif 000008
【図８】
2007025861.tif 000009
【図９】
2007025861.tif 000010
【図１０】
2007025861.tif 000011
【図１１】
2007025861.tif 000012
【図１２】
2007025861.tif 000013