(57)【要約】【課題】コンピュータグラフィックスの見た目の品質を向上させる。【解決手段】レンダリング部２３２は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成する。ＡＲ重畳部２３４は、現実空間の撮影画像にコンピュータグラフィックス画像を重畳して拡張現実画像を生成する。ポストプロセス部２３６は、拡張現実画像にポストプロセスを施す。ＡＲ重畳部２３４は、レンダリング部２３２により生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の撮影画像を同一のコンピュータグラフィックス画像に重畳して拡張現実画像を生成する。【選択図】図４
2019074881.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
コンピュータグラフィックス画像にポストプロセスを施すポストプロセス部とを含み、
前記ポストプロセス部は、前記レンダリング部が前記コンピュータグラフィックス画像を生成するフレームレートよりも高い頻度で前記コンピュータグラフィックス画像にポストプロセスを施すことを特徴とする画像生成装置。
【請求項２】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部と、
前記拡張現実画像にポストプロセスを施すポストプロセス部とを含み、
前記重畳部は、前記レンダリング部により生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の前記撮影画像を同一の前記コンピュータグラフィックス画像に重畳して前記拡張現実画像を生成することを特徴とする画像生成装置。
【請求項３】
ポストプロセスが施された前記拡張現実画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部をさらに含むことを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記レンダリング部が前記コンピュータグラフィックス画像を生成した時点の視点位置または視線方向に合うように前記撮影画像を逆変換する逆リプロジェクション部をさらに含み、
前記重畳部は、複数枚の前記撮影画像の各々に前記逆リプロジェクション部によって逆変換を施した上で前記コンピュータグラフィックス画像を重畳して前記拡張現実画像を生成することを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記レンダリング部が前記コンピュータグラフィックス画像を生成した時点の視点位置または視線方向に合うように前記撮影画像を逆変換する逆リプロジェクション部をさらに含み、
前記重畳部は、１枚目の前記撮影画像には前記コンピュータグラフィックス画像を重畳して１枚目の前記拡張現実画像を生成し、２枚目以降の前記撮影画像には前記逆リプロジェクション部によって逆変換を施した上で前記コンピュータグラフィックス画像を重畳して２枚目以降の前記拡張現実画像を生成することを特徴とする請求項３に記載の画像生成装置。
【請求項６】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳ステップと、
前記拡張現実画像にポストプロセスを施すポストプロセスステップとを含み、
前記重畳ステップは、前記レンダリングステップにより生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の前記撮影画像を同一の前記コンピュータグラフィックス画像に重畳して前記拡張現実画像を生成することを特徴とする画像生成方法。
【請求項７】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング機能と、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳機能と、
前記拡張現実画像にポストプロセスを施すポストプロセス機能とをコンピュータに実現させ、
前記重畳機能は、前記レンダリング機能により生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の前記撮影画像を同一の前記コンピュータグラフィックス画像に重畳して前記拡張現実画像を生成することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を生成する装置および方法に関する。
【背景技術】
【０００２】
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
【０００３】
また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
拡張現実の映像をヘッドマウントディスプレイに表示する場合、ヘッドマウントディスプレイに搭載されたカメラではユーザの頭部の動きに連動して高フレームレートで外界の映像が取り込まれるのに対して、重畳される仮想世界はレンダリングに時間がかかるため、仮想世界のフレームレートはカメラに比べると低い。そのため、カメラの高フレームレートに合わせて拡張現実の映像を生成することができず、ユーザは拡張現実の映像に微妙な遅れを感じ、現実世界とのつながり感を失うことになる。また、拡張現実の映像に施すポストプロセスの頻度もレンダリングの頻度で行われるため映像の品質が低下する。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、コンピュータグラフィックスの見た目の品質を向上させることのできる画像生成装置および画像生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、コンピュータグラフィックス画像にポストプロセスを施すポストプロセス部とを含む。前記ポストプロセス部は、前記レンダリング部が前記コンピュータグラフィックス画像を生成するフレームレートよりも高い頻度で前記コンピュータグラフィックス画像にポストプロセスを施す。
【０００７】
本発明の別の態様もまた、画像生成装置である。この装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部と、前記拡張現実画像にポストプロセスを施すポストプロセス部とを含む。前記重畳部は、前記レンダリング部により生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の前記撮影画像を同一の前記コンピュータグラフィックス画像に重畳して前記拡張現実画像を生成する。
【０００８】
本発明のさらに別の態様は、画像生成方法である。この方法は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳ステップと、前記拡張現実画像にポストプロセスを施すポストプロセスステップとを含む。前記重畳ステップは、前記レンダリング部により生成されるコンピュータグラフィックス画像のフレームレートよりも高いフレームレートで提供される複数枚の前記撮影画像を同一の前記コンピュータグラフィックス画像に重畳して前記拡張現実画像を生成する。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、コンピュータグラフィックスの見た目の品質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】ヘッドマウントディスプレイの外観図である。
【図２】本実施の形態に係る画像生成システムの構成図である。
【図３】ヘッドマウントディスプレイの機能構成図である。
【図４】本実施の形態に係る画像生成装置の機能構成図である。
【図５】カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提となる画像生成システムの構成を説明する図である。
【図６】図５の画像生成システムによる拡張現実画像の生成手順を説明する図である。
【図７】カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための本実施の形態に係る画像生成システムの構成を説明する図である
【図８】図７の画像生成システムによる拡張現実画像の生成手順を説明する図である。
【発明を実施するための形態】
【００１２】
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
【００１３】
ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
【００１４】
ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。
【００１５】
ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
【００１６】
図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。
【００１７】
画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。
【００１８】
画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。
【００１９】
図３は、ヘッドマウントディスプレイ１００の機能構成図である。
【００２０】
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
【００２１】
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
【００２２】
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【００２３】
姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
【００２４】
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
【００２５】
カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。
【００２６】
ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、カメラユニット８０により撮影された外界の映像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。
【００２７】
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
【００２８】
姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。
【００２９】
図４は、本実施の形態に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００３０】
画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
【００３１】
位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。
【００３２】
視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
【００３３】
ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像を受信し、画像信号処理部２５０に供給する。
【００３４】
画像信号処理部２５０は、ヘッドマウントディスプレイ１００のカメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部２５０は画像信号処理および歪み補正処理が施されたＲＧＢ画像を画像生成部２３０に供給する。
【００３５】
画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、画像信号処理部２５０から提供される現実空間のカメラ画像に重畳することで拡張現実画像を生成し、画像記憶部２６０に出力する。
【００３６】
画像生成部２３０は、レンダリング部２３２と、ＡＲ重畳部２３４と、ポストプロセス部２３６と、逆リプロジェクション部２３８と、リプロジェクション部２４０と、歪み処理部２４２とを含む。
【００３７】
レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングし、ＡＲ重畳部２３４に与える。
【００３８】
ＡＲ重畳部２３４は、画像信号処理部２５０から供給されるカメラ画像にレンダリング部２３２により生成されたＣＧ画像を重畳することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
【００３９】
ポストプロセス部２３６は、拡張現実画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、現実空間の画像に仮想オブジェクトが重畳された拡張現実画像が自然で滑らかに見えるように後処理する。
【００４０】
リプロジェクション部２４０は、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された拡張現実画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【００４１】
ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
【００４２】
このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
【００４３】
そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
【００４４】
歪み処理部２４２は、リプロジェクション処理が施された拡張現実画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。
【００４５】
ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された拡張現実画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
【００４６】
過去の時点の視点位置・視線方向を前提としてレンダリングされたＣＧ画像に対してより新しい時点の視点位置・視線方向で撮影されたカメラ画像を重畳する場合、視点位置・視線方向を過去のＣＧ画像に合わせるためにカメラ画像に対して逆リプロジェクション処理を施す必要がある。
【００４７】
逆リプロジェクション部２３８は、画像信号処理部２５０から供給されるカメラ画像を過去の視点位置・視線方向から見える画像に戻す逆リプロジェクション処理を施し、ＡＲ重畳部２３４に与える。ＡＲ重畳部２３４は、逆リプロジェクションされたカメラ画像にレンダリング部２３２により生成された過去の視点位置・視線方向のＣＧ画像を重畳することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
【００４８】
図５および図６を参照して、本実施の形態の前提技術を説明し、その後、図７および図８を参照して本実施の形態の改良技術を説明する。
【００４９】
図５は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提となる画像生成システムの構成を説明する図である。ここでは、説明を簡単にするため、拡張現実画像を生成するためのヘッドマウントディスプレイ１００と画像生成装置２００の主な構成を図示して説明する。
【００５０】
ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像は画像生成装置２００に送信され、画像信号処理部２５０に供給される。画像信号処理部２５０は、カメラ画像に対して画像信号処理と歪み補正処理を施し、ＡＲ重畳部２３４に与える。
【００５１】
画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、ＡＲ重畳部２３４に与える。
【００５２】
ＡＲ重畳部２３４は、カメラ画像にＣＧ画像を重畳し、拡張現実画像を生成する。ポストプロセス部２３６は拡張現実画像にポストプロセスを施す。リプロジェクション部２４０はポストプロセスが施された拡張現実画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２はリプロジェクション後の拡張現実画像に歪み処理を施す。歪み処理後の最終的なＲＧＢ画像はヘッドマウントディスプレイ１００に送信され、ディスプレイパネル３２に表示される。
【００５３】
図６は、図５の画像生成システムによる拡張現実画像の生成手順を説明する図である。
【００５４】
ヘッドマウントディスプレイ１００のカメラユニット８０が外界を撮影し、Ｒａｗ画像を出力する（Ｓ１０）。画像信号処理部２５０は、カメラユニット８０により撮影されたＲａｗ画像に画像信号処理および歪み補正処理を施し、ＳＬＡＭ（Simultaneous Localization and Mapping）に使用するためのカメラ画像を生成する（Ｓ１２）。ヘッドマウントディスプレイ１００の姿勢センサ６４などの慣性計測ユニット（ＩＭＵ(Inertial Measurement Unit)）から、ヘッドマウントディスプレイ１００の現在の姿勢情報を示すＩＭＵデータを取得する（Ｓ１４）。カメラ画像およびＩＭＵデータを用いて、自己位置推定と環境地図作成を同時に行うＳＬＡＭ処理が実行され、ヘッドマウントディスプレイ１００を装着したユーザの姿勢が推定される（Ｓ１６）。
【００５５】
姿勢推定データにもとづいて視点計算、仮想オブジェクトの物理演算などコンピュータグラフィックスの更新に必要な処理が行われる（Ｓ１８）。レンダリング部２３２は仮想空間のオブジェクトをレンダリングし、ＣＧ画像を生成する（Ｓ２０）。
【００５６】
ここで、レンダリングは、仮想空間に表示するオブジェクトの数に応じて処理量が増えるため、オブジェクトの数が多いと処理に相当な時間がかかることに留意する。
【００５７】
画像信号処理部２５０は、カメラユニット８０により撮影されたＲａｗ画像に画像信号処理および歪み補正処理を施し、ヘッドマウントディスプレイ１００にシースルー映像を提供するためのカメラ画像を生成する（Ｓ２２）。
【００５８】
ＡＲ重畳部２３４は、カメラ画像にＣＧ画像を重畳することで拡張現実画像を生成する（Ｓ２４）。ポストプロセス部２３６は拡張現実画像にポストプロセスを施す（Ｓ２６）。
【００５９】
ここで、ポストプロセスは、画像全体に対する処理であるため、仮想オブジェクトの数には関係なく、レンダリングに比べて短い時間で行うことができることに留意する。
【００６０】
慣性計測ユニットから、ヘッドマウントディスプレイ１００の最新の姿勢情報を示すＩＭＵデータを取得する（Ｓ２８）。リプロジェクション部２４０は、ヘッドマウントディスプレイ１００の最新の姿勢情報に合わせて拡張現実画像を変換する（Ｓ３０）。歪み処理部２４２は、リプロジェクション後の拡張現実画像にレンズ歪み処理を施し、レンズ歪み処理を施した拡張現実画像を出力する（Ｓ３２）。
【００６１】
図５および図６で説明した画像生成システムの構成と処理手順の場合、レンダリングのフレームレートに合わせてカメラ画像を重畳することになる。レンダリングは処理時間がかかるため、レンダリング部２３２による仮想空間のレンダリングのフレームレートは、カメラユニット８０による現実空間の撮影のフレームレートに比べると遅い。たとえば、カメラユニット８０により１２０ｆｐｓの撮影が行われても、レンダリングは６０ｆｐｓでしか描画できないことがある。そのため、ヘッドマウントディスプレイ１００のディスプレイパネルに表示されるシースルー映像のフレームレートはレンダリングのフレームレートに合わせて低下し、シースルー映像がとぎれとぎれになり、拡張現実の映像を見ても現実感が伴わない結果となる。
【００６２】
そこで、本実施の形態では、１回のレンダリングされたＣＧ画像にカメラ画像を複数回重畳して拡張現実映像のポストプロセスを複数回行うことで、カメラユニット８０のフレームレートに合わせた滑らかな映像を生成する。
【００６３】
図７は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための本実施の形態に係る画像生成システムの構成を説明する図である。図５の前提術の説明と重複する説明は適宜省略し、前提技術から改善した構成について説明する。
【００６４】
レンダリング部２３２による１回のレンダリング結果であるＣＧ画像に対して、カメラユニット８０によるカメラ画像を複数回重畳するために、逆リプロジェクション部２３８は、画像信号処理部２５０により画像信号処理および歪み補正処理されたカメラ画像に対して逆リプロジェクション処理を施し、過去のヘッドマウントディスプレイ１００の視点位置・視線方向から見える画像に変換し、ＡＲ重畳部２３４に与える。
【００６５】
ＡＲ重畳部２３４は、レンダリング部２３２による１回のレンダリング結果のＣＧ画像に対して１回目は画像信号処理部２５０から供給されるカメラ画像を合成するが、２回目以降は同じＣＧ画像に対して逆リプロジェクション部２３８により逆リプロジェクションされたカメラ画像を合成する。ポストプロセス部２３６は、いずれの場合でもＡＲ重畳部２３４により合成された拡張現実画像にポストプロセスを施す。それ以降の処理は図５の前提技術と同じである。なお、１回目と２回目以降を区別せずに、１回目についてもレンダリング結果のＣＧ画像に対して逆リプロジェクション部２３８により逆リプロジェクションされたカメラ画像を合成するように構成してもよい。
【００６６】
図８は、図７の画像生成システムによる拡張現実画像の生成手順を説明する図である。
【００６７】
ヘッドマウントディスプレイ１００のカメラユニット８０が外界を撮影し、（ｎ−１）番目のＲａｗ画像を出力する（Ｓ４０）。
【００６８】
ｎ番目のＶｓｙｎｃのタイミングにおいて、以下のステップＳ４２〜Ｓ６２の処理が実行される。
【００６９】
画像信号処理部２５０は、カメラユニット８０により撮影された（ｎ−１）番目のＲａｗ画像に画像信号処理および歪み補正処理を施し、ＳＬＡＭに使用するためのカメラ画像を生成する（Ｓ４２）。慣性計測ユニットから、ヘッドマウントディスプレイ１００の現在の姿勢情報を示すＩＭＵデータを取得する（Ｓ４４）。カメラ画像およびＩＭＵデータを用いて、ＳＬＡＭ処理が実行され、ヘッドマウントディスプレイ１００を装着したユーザの姿勢が推定される（Ｓ４６）。
【００７０】
姿勢推定データにもとづいて視点計算、仮想オブジェクトの物理演算などコンピュータグラフィックスの更新に必要な処理が行われる（Ｓ４８）。レンダリング部２３２は仮想空間のオブジェクトをレンダリングし、（ｎ−１）番目のＣＧ画像を生成する（Ｓ５０）。
【００７１】
画像信号処理部２５０は、カメラユニット８０により撮影された（ｎ−１）番目のＲａｗ画像に画像信号処理および歪み補正処理を施し、ヘッドマウントディスプレイ１００にシースルー映像を提供するための（ｎ−１）番目のカメラ画像を生成する（Ｓ５２）。
【００７２】
ＡＲ重畳部２３４は、（ｎ−１）番目のカメラ画像に（ｎ−１）番目のＣＧ画像を重畳することで（ｎ−１）番目の拡張現実画像を生成する（Ｓ５４）。ポストプロセス部２３６は（ｎ−１）番目の拡張現実画像にポストプロセスを施す（Ｓ５６）。
【００７３】
慣性計測ユニットから、ヘッドマウントディスプレイ１００の最新の姿勢情報を示すＩＭＵデータを取得する（Ｓ５８）。リプロジェクション部２４０は、ヘッドマウントディスプレイ１００の最新の姿勢情報にもとづいて２フレーム先の視点位置・視線方向を予測し、（ｎ−１）番目の拡張現実画像を（ｎ＋１）番目の拡張現実画像に変換する（Ｓ６０）。レンダリングにより２フレーム分遅延するため、２フレーム先を予測してリプロジェクションを行う。
【００７４】
歪み処理部２４２は、リプロジェクション後の（ｎ＋１）番目の拡張現実画像にレンズ歪み処理を施し、（ｎ＋１）番目のＶｓｙｎｃのタイミングでレンズ歪み処理を施した（ｎ＋１）番目の拡張現実画像を出力する（Ｓ６２）。
【００７５】
次にｎ番目のＶｓｙｎｃのタイミングにおいてヘッドマウントディスプレイ１００のカメラユニット８０が外界を撮影し、ｎ番目のＲａｗ画像を出力する（Ｓ７０）。
【００７６】
（ｎ＋１）番目のＶｓｙｎｃのタイミングにおいて、以下のステップＳ７２〜Ｓ８６の処理が実行される。
【００７７】
画像信号処理部２５０は、カメラユニット８０により撮影されたｎ番目のＲａｗ画像に画像信号処理および歪み補正処理を施し、ヘッドマウントディスプレイ１００にシースルー映像を提供するためのｎ番目のカメラ画像を生成する（Ｓ７２）。
【００７８】
慣性計測ユニットから、ヘッドマウントディスプレイ１００の最新の姿勢情報を示すＩＭＵデータを取得する（Ｓ７４）。逆リプロジェクション部２３８は、最新のＩＭＵデータにもとづいてｎ番目のカメラ画像を１フレーム前の視点位置・視線方向から見た（ｎ−１）番目のカメラ画像に変換する（Ｓ７６）。
【００７９】
ＡＲ重畳部２３４は、逆リプロジェクションされた（ｎ−１）番目のカメラ画像に、ステップＳ５０においてレンダリングされた（ｎ−１）番目のＣＧ画像を重畳することで（ｎ−１）番目の拡張現実の画像を生成する（Ｓ７８）。ポストプロセス部２３６は（ｎ−１）番目の拡張現実画像にポストプロセスを施す（Ｓ８０）。
【００８０】
慣性計測ユニットから、ヘッドマウントディスプレイ１００の最新の姿勢情報を示すＩＭＵデータを取得する（Ｓ８２）。リプロジェクション部２４０は、ヘッドマウントディスプレイ１００の最新の姿勢情報にもとづいて３フレーム先の視点位置・視線方向を予測し、（ｎ−１）番目の拡張現実画像を（ｎ＋２）番目の拡張現実画像に変換する（Ｓ８４）。逆リプロジェクション処理でカメラ画像を１フレーム前に戻したため、ステップＳ８４のリプロジェクション処理では３フレーム先に進めることに留意する。
【００８１】
歪み処理部２４２は、リプロジェクション後の（ｎ＋２）番目の拡張現実画像にレンズ歪み処理を施し、（ｎ＋２）番目のＶｓｙｎｃのタイミングでレンズ歪み処理を施した（ｎ＋２）番目のカメラ画像を出力する（Ｓ８６）。
【００８２】
このようにレンダリングでは（ｎ−１）番目のＣＧ画像が生成され、（ｎ−１）番目のＣＧ画像が（ｎ−１）番目のカメラ画像とｎ番目のカメラ画像に重畳され、ポストプロセスが施される。レンダリングに比べてポストプロセスは、カメラのフレームレートに等しい２倍の頻度で行われるため、滑らかな画像が生成される。
【００８３】
なお、上記の説明では、１回のレンダリングによる同一のＣＧ画像に対して２枚のカメラ画像が重畳されてポストプロセスが施されたが、レンダリングがさらに時間がかかる場合には、１回のレンダリングによるＣＧ画像に対して複数枚のカメラ画像が重畳され、複数回のポストプロセスが施されてもよい。
【００８４】
上記の説明では、レンダリング結果のＣＧ画像が１枚目のカメラ画像に重畳されるときは、カメラ画像に逆リプロジェクションを適用せず、同一のＣＧ画像が２枚目以降のカメラ画像に重畳されるときは、２枚目以降のカメラ画像に逆リプロジェクションを適用した。しかしながら、レンダリングには時間がかかるため、最新のカメラ画像はポストプロセスの直前に取得するのが好ましく、そのため、レンダリングの際に利用した三次元グラフィックスの視点のタイムスタンプと重畳するカメラ画像のタイムスタンプに差が生じる。そのような場合、ＣＧ画像が１枚目のカメラ画像に重畳されるときにも、２つのタイムスタンプの差を埋めるためにカメラ画像に逆リプロジェクションを適用してからＣＧ画像を重畳してもよい。
【００８５】
逆リプロジェクションは、三次元グラフィックスの視点のタイムスタンプとポストプロセス時に使用するカメラ画像のタイムスタンプを合わせるために行われるものであり、逆リプロジェクションで適用する姿勢の差分を計算するために、２つのタイムスタンプの間に取得されるＩＭＵデータを利用する。
【００８６】
なお、慣性計測ユニットからは常にＩＭＵデータを取得しており、リプロジェクションに必要な区間のＩＭＵデータをすべて利用して姿勢を予測することができる。ＩＭＵデータの取得周期は１ミリ秒以下であり、Ｖｓｙｎｃの間隔よりも短い。ＩＭＵデータが不足している区間は予測時間分を線形補間すればよい。
【００８７】
以上述べたように、本実施の形態の画像生成装置２００によれば、１回のレンダリング結果のＣＧ画像に対して複数枚のカメラ画像を重畳してポストプロセスを複数回施すので見かけ上フレームレートがカメラ画像のフレームレートまで上がり、滑らかで自然な拡張現実画像を生成することができる。
【００８８】
上記の実施の形態では、カメラ画像にＣＧ画像を重畳した拡張現実画像に対してレンダリングの頻度よりも高い頻度でポストプロセスを施して滑らかな拡張現実画像を生成したが、この方法は、ヘッドマウントディスプレイのトラッキングに限らず、一般的にレンダリングに使う仮想カメラのアングルが変化している場合にも適用しても効果を奏する。たとえば、背景に動画を再生しながら、手前に仮想オブジェクトをレンダリングして、エフェクトを表示しているような場合には、アンチエイリアシングやノイズリダクションにより、見かけ上の品質を向上させることができる。
【００８９】
また、多層レンダリングに対してレンダリングの頻度よりも高い頻度でポストプロセスを施してもよい。たとえば、近距離の動きの激しいオブジェクトは高フレームレートでレンダリングし、遠距離で比較的動きの少ないオブジェクトは低フレームレートでレンダリングし、両者を合成してポストプロセスを施す。ポストプロセスの頻度を高めると見かけ上の品質を向上させることができる。
【００９０】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９１】
１０  制御部、  ２０  入力インタフェース、  ３０  出力インタフェース、  ３２  ディスプレイパネル、  ４０  通信制御部、  ４２  ネットワークアダプタ、  ４４  アンテナ、  ５０  記憶部、  ６４  姿勢センサ、  ７０  外部入出力端子インタフェース、  ７２  外部メモリ、  ８０  カメラユニット、  １００  ヘッドマウントディスプレイ、  ２００  画像生成装置、  ２１０  位置・姿勢取得部、  ２２０  視点・視線設定部、  ２３０  画像生成部、  ２３２  レンダリング部、  ２３４  ＡＲ重畳部、  ２３６  ポストプロセス部、  ２３８  逆リプロジェクション部、  ２４０  リプロジェクション部、  ２４２  歪み処理部、  ２５０  画像信号処理部、  ２６０  画像記憶部、  ２８０  ＨＤＭＩ送受信部、  ３００  インタフェース。
【図１】
2019074881.tif 000003
【図２】
2019074881.tif 000004
【図３】
2019074881.tif 000005
【図４】
2019074881.tif 000006
【図５】
2019074881.tif 000007
【図６】
2019074881.tif 000008
【図７】
2019074881.tif 000009
【図８】
2019074881.tif 000010