(57)【要約】【課題】仮想世界と現実世界の境界が目立ち、一体感のある拡張現実映像にならない。【解決手段】レンダリング部２３２は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成する。重畳部２３４は、現実空間の撮影画像にコンピュータグラフィックス画像を重畳して仮の重畳画像を生成する。ポストプロセス部２３６は、仮の重畳画像にポストプロセスを施す。クロマキー生成部２３５は、現実空間の撮影画像の奥行き情報にもとづいてコンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成する。合成部２４４は、ポストプロセスが施された仮の重畳画像に対してクロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する。合成クロマキー画像は、現実空間の撮影画像に重畳して拡張現実画像を生成するために利用される。【選択図】図１０
2019079339.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳部と、
前記仮の重畳画像にポストプロセスを施すポストプロセス部と、
前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とする画像生成装置。
【請求項２】
ポストプロセスが施された前記仮の重畳画像および前記クロマキー画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部をさらに含み、
前記合成部は、リプロジェクション処理が施された前記仮の重畳画像に対してリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、前記合成クロマキー画像を生成することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記重畳部が前記仮の重畳画像を生成する際に利用する前記現実空間の撮影画像は、前記拡張現実画像を生成するために利用される前記現実空間の撮影画像よりも解像度が低いことを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して重畳画像を生成する第１の重畳部と、
前記重畳画像にポストプロセスを施すポストプロセス部と、
前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記重畳画像および前記クロマキー画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
ポストプロセスおよびリプロジェクション処理が施された前記重畳画像に対してリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記ヘッドマウントディスプレイは、
前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
第２のリプロジェクション部によりリプロジェクション処理が施された前記現実空間の撮影画像に、前記画像生成装置から伝送される前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含むことを特徴とする画像生成システム。
【請求項５】
ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する第１の重畳部と、
前記仮の重畳画像にポストプロセスを施すポストプロセス部と、
前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記ヘッドマウントディスプレイは、
前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
前記画像生成装置から伝送される前記合成クロマキー画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
第１のリプロジェクション部によるリプロジェクション処理が施された前記現実空間の撮影画像に、第２のリプロジェクション部によるリプロジェクション処理が施された前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含むことを特徴とする画像生成システム。
【請求項６】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳ステップと、
前記仮の重畳画像にポストプロセスを施すポストプロセスステップと、
前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成ステップと、
ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成ステップとを含み、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とする画像生成方法。
【請求項７】
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング機能と、
現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳機能と、
前記仮の重畳画像にポストプロセスを施すポストプロセス機能と、
前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成機能と、
ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成機能とをコンピュータに実現させ、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を生成する装置、システムおよび方法に関する。
【背景技術】
【０００２】
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
【０００３】
また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラ画像にＣＧによって生成された仮想オブジェクトを重畳させて拡張現実の映像を生成してヘッドマウントディスプレイに表示する場合、画像に対するポストプロセスの影響によって仮想オブジェクトの境界にエイリアシングが発生し、仮想世界と現実世界の境界が目立ち、一体感のあるＡＲ映像にならないことがある。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、拡張現実の映像の品質を向上させることのできる画像生成装置、画像生成システム、および画像生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳部と、前記仮の重畳画像にポストプロセスを施すポストプロセス部と、前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用される。
【０００７】
本発明の別の態様は、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して重畳画像を生成する第１の重畳部と、前記重畳画像にポストプロセスを施すポストプロセス部と、前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記重畳画像および前記クロマキー画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、ポストプロセスおよびリプロジェクション処理が施された前記重畳画像に対してリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記ヘッドマウントディスプレイは、前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、第２のリプロジェクション部によりリプロジェクション処理が施された前記現実空間の撮影画像に、前記画像生成装置から伝送される前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含む。
【０００８】
本発明のさらに別の態様もまた、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する第１の重畳部と、前記仮の重畳画像にポストプロセスを施すポストプロセス部と、前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記ヘッドマウントディスプレイは、前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、前記画像生成装置から伝送される前記合成クロマキー画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、第１のリプロジェクション部によるリプロジェクション処理が施された前記現実空間の撮影画像に、第２のリプロジェクション部によるリプロジェクション処理が施された前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含む。
【０００９】
本発明のさらに別の態様は、画像生成方法である。この方法は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳ステップと、前記仮の重畳画像にポストプロセスを施すポストプロセスステップと、前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成ステップと、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成ステップとを含む。前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用される。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、拡張現実の映像の品質を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】ヘッドマウントディスプレイの外観図である。
【図２】本実施の形態に係る画像生成システムの構成図である。
【図３】図１のヘッドマウントディスプレイに搭載されたカメラにより撮影されるカメラ画像の例を説明する図である。
【図４】図３のカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像を説明する図である。
【図５】図４の拡張現実画像に対してユーザが仮想オブジェクトに手を伸ばしている様子を示す図である。
【図６】クロマキー合成に利用されるＣＧ画像を説明する図である。
【図７】前提技術に係るヘッドマウントディスプレイの機能構成図である。
【図８】前提技術に係る画像生成装置の機能構成図である。
【図９】カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。
【図１０】第１の実施の形態に係る画像生成装置の機能構成図である。
【図１１】カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。
【図１２】第２の実施の形態に係る画像生成装置の機能構成図である。
【図１３】カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。
【発明を実施するための形態】
【００１３】
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
【００１４】
ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
【００１５】
ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。
【００１６】
ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
【００１７】
図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。
【００１８】
画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。
【００１９】
画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。
【００２０】
図３〜図６を参照してカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像について説明する。
【００２１】
図３は、ヘッドマウントディスプレイ１００に搭載されたカメラにより撮影されるカメラ画像の例を説明する図である。このカメラ画像は部屋を背景としてテーブルとその上にあるバスケット４００を撮影したものである。カメラ画像において背景はほとんど変化しないが、テーブルの上にあるバスケット４００はユーザが手を伸ばして動かすこともある。
【００２２】
図４は、図３のカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像を説明する図である。テーブルの上にある現実のオブジェクトであるバスケット４００は、ＣＧによって生成された仮想オブジェクトであるティーポット４１０によって置き換えられ、カメラ画像にティーポット４１０が重畳される。これにより、ユーザは現実空間に仮想オブジェクトが描かれた拡張現実画像をヘッドマウントディスプレイ１００で見ることができる。
【００２３】
図５は、図４の拡張現実画像に対してユーザが仮想オブジェクトに手を伸ばしている様子を示す図である。拡張現実画像をヘッドマウントディスプレイ１００で見ているユーザが仮想オブジェクトであるティーポット４１０を触ろうとすると、ユーザの手がヘッドマウントディスプレイ１００に搭載されたカメラで撮影されるため、カメラ画像には手４２０が写り込む。手４２０が写り込んだカメラ画像に仮想オブジェクトであるティーポット４１０が重畳される。このとき、手４２０の上にティーポット４１０が重畳されて手４２０が見えなくなるなど不自然な拡張現実画像にならないように、ティーポット４１０と手４２０の位置関係を奥行き情報を用いて正しく判定する必要がある。
【００２４】
そこで、カメラ画像の奥行き（デプス）情報を用いて、カメラ画像に写り込んだ物体と仮想オブジェクトの位置関係を判定し、奥行きを正しく反映した描画を行う。部屋の背景や既に存在がわかっているバスケット４００についてはあらかじめ奥行きがわかっているので、仮想オブジェクトとの位置関係はあらかじめ判定しておくことができるが、ユーザが手や足を伸ばしたときや、ユーザ以外の動体（たとえば、他人や犬、猫など）が視野に入ってくる場合などは、あらかじめ奥行きがわかっていないので、カメラ画像のデプス情報から奥行きをその都度判定する必要がある。
【００２５】
一般に、ＣＧ画像をカメラ画像に重畳する際、ＣＧ画像において背景など描画されない領域を特定の一色に塗りつぶしたクロマキー画像を作成し、クロマキー合成に利用する。クロマキーとして特定された色の領域（「クロマキー領域」と呼ぶ）は透明になるため、クロマキー画像をカメラ画像に重畳すると、クロマキー領域にはカメラ画像が表示される。
【００２６】
図６は、クロマキー合成に利用されるＣＧ画像を説明する図である。図５の状態において、背景がクロマキーの特定色（たとえば赤）に塗りつぶされている。また、カメラ画像に写り込んだ手４２０がティーポット４１０よりも手前にあることから、ティーポット４１０の領域の内、手４２０によって隠れる領域もクロマキーの特定色に塗りつぶされている。このクロマキー画像をカメラ画像に重畳すると、クロマキーの特定色の部分は透明であるため、カメラ画像が残り、図５の拡張現実画像が得られる。
【００２７】
図７は、前提技術に係るヘッドマウントディスプレイ１００の機能構成図である。
【００２８】
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
【００２９】
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
【００３０】
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【００３１】
姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
【００３２】
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
【００３３】
カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。
【００３４】
画像信号処理部８２は、カメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部８２は画像信号処理および歪み補正処理が施されたカメラ画像を制御部１０に供給する。
【００３５】
リプロジェクション部８４は、姿勢センサ６４が検出したヘッドマウントディスプレイ１００の最新の位置・姿勢情報にもとづき、カメラ画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【００３６】
歪み処理部８６は、リプロジェクション処理が施されたカメラ画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、歪み処理が施されたカメラ画像を制御部１０に供給する。
【００３７】
ＡＲ重畳部８８は、歪み処理が施されたカメラ画像に画像生成装置２００により生成されたＣＧ画像を重畳することで拡張現実画像を生成し、制御部１０に供給する。
【００３８】
ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、画像信号処理部８２により画像信号処理および歪み補正処理が施されたＲＧＢ画像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。
【００３９】
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
【００４０】
姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。
【００４１】
図８は、前提技術に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００４２】
画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
【００４３】
位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。
【００４４】
視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
【００４５】
ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像の奥行き情報を受信し、デプス取得部２５０に供給する。
【００４６】
画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、デプス取得部２５０から提供される現実空間のカメラ画像の奥行き情報にもとづいてＣＧ画像からクロマキー画像を生成し、画像記憶部２６０に出力する。
【００４７】
画像生成部２３０は、レンダリング部２３２と、クロマキー生成部２３５と、ポストプロセス部２３６と、リプロジェクション部２４０と、歪み処理部２４２とを含む。
【００４８】
レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、クロマキー生成部２３５に与える。
【００４９】
クロマキー生成部２３５は、デプス取得部２５０から与えられたカメラ画像の奥行き情報にもとづいてＣＧ画像からクロマキー画像を生成する。具体的には、現実空間のオブジェクトと仮想空間のオブジェクトの位置関係を判定し、ＣＧ画像において仮想オブジェクトの背景や仮想オブジェクトよりも手前にある現実空間のオブジェクトの部分を特定の１色（たとえば赤色）に塗りつぶしたクロマキー画像（「ＣＧクロマキー画像」と呼ぶ）を生成する。
【００５０】
ポストプロセス部２３６は、ＣＧクロマキー画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧクロマキー画像が自然で滑らかに見えるように後処理する。
【００５１】
リプロジェクション部２４０は、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施されたＣＧクロマキー画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【００５２】
ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
【００５３】
このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
【００５４】
そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
【００５５】
歪み処理部２４２は、リプロジェクション処理が施されたＣＧクロマキー画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。
【００５６】
ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成されたＣＧクロマキー画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
【００５７】
図９は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。ここでは、説明を簡単にするため、拡張現実画像を生成するためのヘッドマウントディスプレイ１００と画像生成装置２００の主な構成を図示して説明する。
【００５８】
ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報は画像信号処理部８２に供給される。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、リプロジェクション部８４に与える。画像信号処理部８２は、デプス情報を画像生成装置２００に送信し、クロマキー生成部２３５に供給する。
【００５９】
画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、クロマキー生成部２３５に与える。
【００６０】
クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成する。ポストプロセス部２３６はＣＧクロマキー画像にポストプロセスを施す。リプロジェクション部２４０はポストプロセスが施されたＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２はリプロジェクション後のＣＧクロマキー画像に歪み処理を施す。歪み処理後の最終的なＲＧＢ画像はヘッドマウントディスプレイ１００に送信され、ＡＲ重畳部８８に供給される。このＲＧＢ画像は、カメラ画像が重畳されるべき領域がクロマキー合成で指定する１色（たとえば赤色）で塗りつぶされた画像である。クロマキーに指定される１色についてはＣＧ画像として利用できないため、ＣＧ画像ではクロマキーに指定される１色を避けて別の色を使って表現する。
【００６１】
ヘッドマウントディスプレイ１００のリプロジェクション部８４は、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。歪み処理部８６はリプロジェクション後のカメラ画像に歪み処理を施す。ＡＲ重畳部８８は、画像生成装置２００から供給されるＣＧクロマキー画像を歪み処理後のカメラ画像に重畳することにより、拡張現実画像を生成する。生成された拡張現実画像は、ディスプレイパネル３２に表示される。
【００６２】
上述の前提技術に係る画像生成システムでは、クロマキー生成部２３５により生成されたＣＧクロマキー画像がポストプロセス部２３６によるポストプロセス、リプロジェクション部２４０によるリプロジェクション処理、歪み処理部２４２により歪み処理を受けるため、仮想オブジェクトの境界においてエイリアシングが発生したり、実際にはない偽色が発生し、ＡＲ重畳部８８によってカメラ画像に重畳されるときに不自然さが目立つようになる。また、一般的な画像の伝送インタフェースはＲＧＢには対応するが、アルファ値を含めたＲＧＢＡには対応しておらず、アルファ値を伝送できないことから半透明のＣＧ画像は表現できないという制約も受ける。
【００６３】
以下、前提技術に係る画像生成システムにおける課題を克服したいくつかの実施の形態に係る画像生成システムを説明するが、前提技術と重複する説明は適宜省略し、前提技術から改善した構成について説明する。
【００６４】
第１の実施の形態について説明する。ヘッドマウントディスプレイ１００の構成は図７に示したものと同じである。
【００６５】
図１０は、第１の実施の形態に係る画像生成装置２００の機能構成図である。
【００６６】
ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影されたカメラ画像とデプス情報を受信し、カメラ画像をカメラ画像取得部２５２に、デプス情報をデプス取得部２５０に供給する。
【００６７】
画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、カメラ画像取得部２５２から提供されるカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成するとともに、デプス取得部２５０から提供されるデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。仮の重畳画像にはポストプロセス、リプロジェクション処理、歪み処理を施し、ＣＧクロマキー画像にはリプロジェクション処理、歪み処理を施す。ＣＧクロマキー画像にはポストプロセスを施さないことに留意する。最後にＣＧクロマキー画像で仮の重畳画像をマスクすることにより、最終的なＣＧクロマキー画像を合成して画像記憶部２６０に出力する。
【００６８】
画像生成部２３０は、レンダリング部２３２と、重畳部２３４と、クロマキー生成部２３５と、ポストプロセス部２３６と、リプロジェクション部２４０ａ、２４０ｂと、歪み処理部２４２ａ、２４２ｂと、合成部２４４とを含む。
【００６９】
レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、重畳部２３４とクロマキー生成部２３５に与える。
【００７０】
重畳部２３４は、カメラ画像取得部２５２から与えられたカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成し、ポストプロセス部２３６に与える。
【００７１】
ポストプロセス部２３６は、仮の重畳画像に対してポストプロセスを施し、仮の重畳画像が自然で滑らかに見えるように後処理する。
【００７２】
第１のリプロジェクション部２４０ａは、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された仮の重畳画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【００７３】
第１の歪み処理部２４２ａは、リプロジェクション処理が施された仮の重畳画像に対して歪み処理を施し、合成部２４４に与える。
【００７４】
クロマキー生成部２３５は、デプス取得部２５０から与えられたカメラ画像のデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。
【００７５】
ＣＧクロマキー画像にはポストプロセスを施さない。
【００７６】
第２のリプロジェクション部２４０ｂは、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ＣＧクロマキー画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
【００７７】
第２の歪み処理部２４２ｂは、リプロジェクション処理が施されたＣＧクロマキー画像に対して歪み処理を施し、合成部２４４に与える。
【００７８】
合成部２４４は、仮の重畳画像に対してＣＧクロマキー画像をマスクとして用いて合成し、合成ＣＧクロマキー画像を生成し、画像記憶部２６０に記憶する。
【００７９】
ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された合成ＣＧクロマキー画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
【００８０】
図１１は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。
【００８１】
ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報は画像信号処理部８２に供給される。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、リプロジェクション部８４に与える。さらに、画像信号処理部８２は、画像信号処理と歪み補正処理が施されたカメラ画像とデプス情報を画像生成装置２００に送信し、カメラ画像は重畳部２３４に、デプス情報はクロマキー生成部２３５に供給される。
【００８２】
画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、重畳部２３４とクロマキー生成部２３５に与える。
【００８３】
重畳部２３４は、ＣＧ画像にカメラ画像を重畳し、仮の重畳画像を生成し、ポストプロセス部２３６に与える。ここで、ヘッドマウントディスプレイ１００から提供されるカメラ画像は低解像度でもよい。なぜなら、仮の重畳画像におけるカメラ画像の部分はＣＧクロマキー画像でマスクされて最終的には消去されるからである。
【００８４】
ポストプロセス部２３６は仮の重畳画像にポストプロセスを施す。リプロジェクション部２４０ａはポストプロセスが施された仮の重畳画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２ａはリプロジェクション後の仮の重畳画像に歪み処理を施し、合成部２４４に与える。
【００８５】
クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成する。リプロジェクション部２４０ｂはＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２ｂはリプロジェクション後のＣＧクロマキー画像に歪み処理を施し、合成部２４４に与える。
【００８６】
合成部２４４は、ＣＧクロマキー画像で仮の重畳画像をマスクすることで合成ＣＧクロマキー画像を生成する。ここで、仮の重畳画像はポストプロセスを施されているため、滑らかな画像となっており、カメラ画像とＣＧ画像の境界は目立たない。他方、ＣＧクロマキー画像はポストポロセスが施されていないため、仮想オブジェクトの境界にエイリアシングや偽色が発生していない。したがって、ポストポロセスが施されていないＣＧクロマキー画像でポストポロセスが施された重畳画像をマスクすれば、仮想オブジェクトの境界にエイリアシングや偽色がなく、かつ自然で滑らかなＣＧクロマキー画像が合成される。
【００８７】
合成ＣＧクロマキー画像は特定の１色がクロマキーに指定されたＲＧＢ画像としてヘッドマウントディスプレイ１００に送信され、ＡＲ重畳部８８に供給される。
【００８８】
ヘッドマウントディスプレイ１００のリプロジェクション部８４は、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。歪み処理部８６はリプロジェクション後のカメラ画像に歪み処理を施す。ＡＲ重畳部８８は、画像生成装置２００から供給される合成ＣＧクロマキー画像を歪み処理後のカメラ画像に重畳することにより、拡張現実画像を生成する。生成された拡張現実画像は、ディスプレイパネル３２に表示される。
【００８９】
第１の実施の形態の画像生成システムによれば、カメラ画像とＣＧ画像の境界の違和感をポストプロセスによって緩和するとともに、クロマキー画像にはポストポロセスを施さないため、エイリアシングや偽色のないクロマキー画像を生成して、高品質の合成ＣＧクロマキー画像を生成できる。この合成ＣＧクロマキー画像をカメラ画像に重畳して拡張現実画像を生成するため、不自然さのない拡張現実画像を生成できる。また、ＣＧ画像に半透明部分がある場合もカメラ画像に重畳してポスト処理する際に半透明処理を施すことができるので、半透明部分もレンダリングによるレイテンシはあるが表現することができる。また、合成ＣＧクロマキー画像は、特定の１色をクロマキーとしたＲＧＢ画像であるため、ＲＢＧ画像を伝送することのできるＨＡＭＩなどの一般的な通信インタフェースで伝送することができる。
【００９０】
第２の実施の形態について説明する。ヘッドマウントディスプレイ１００の構成は基本的には図７に示したものと同じであるが、リプロジェクション部８４は、カメラ画像用の第１のリプロジェクション部８４ａと合成ＣＧクロマキー画像用の第２のリプロジェクション部８４ｂを有する。
【００９１】
図１２は、第２の実施の形態に係る画像生成装置２００の機能構成図である。
【００９２】
ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影されたカメラ画像とデプス情報を受信し、カメラ画像をカメラ画像取得部２５２に、デプス情報をデプス取得部２５０に供給する。
【００９３】
画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、カメラ画像取得部２５２から提供されるカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成するとともに、デプス取得部２５０から提供されるデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。重畳画像にはポストプロセスを施すが、ＣＧクロマキー画像にはポストプロセスを施さない。最後にＣＧクロマキー画像で仮の重畳画像をマスクすることにより、最終的なＣＧクロマキー画像を合成して画像記憶部２６０に出力する。
【００９４】
画像生成部２３０は、レンダリング部２３２と、重畳部２３４と、クロマキー生成部２３５と、ポストプロセス部２３６と、合成部２４４とを含む。
【００９５】
レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、重畳部２３４とクロマキー生成部２３５に与える。
【００９６】
重畳部２３４は、カメラ画像取得部２５２から与えられたカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成し、ポストプロセス部２３６に与える。
【００９７】
ポストプロセス部２３６は、仮の重畳画像に対してポストプロセスを施し、仮の重畳画像が自然で滑らかに見えるように後処理する。
【００９８】
クロマキー生成部２３５は、デプス取得部２５０から与えられたカメラ画像のデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。
【００９９】
合成部２４４は、仮の重畳画像に対してＣＧクロマキー画像をマスクとして用いて合成し、合成ＣＧクロマキー画像を生成し、画像記憶部２６０に記憶する。
【０１００】
ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された合成ＣＧクロマキー画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
【０１０１】
図１３は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。
【０１０２】
ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報は画像信号処理部８２に供給される。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、リプロジェクション部８４に与える。さらに、画像信号処理部８２は、画像信号処理と歪み補正処理が施されたカメラ画像とデプス情報を画像生成装置２００に送信し、カメラ画像は重畳部２３４に、デプス情報はクロマキー生成部２３５に供給される。
【０１０３】
画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、重畳部２３４とクロマキー生成部２３５に与える。
【０１０４】
重畳部２３４は、ＣＧ画像にカメラ画像を重畳し、仮の重畳画像を生成し、ポストプロセス部２３６に与える。第１の実施の形態と同様、ヘッドマウントディスプレイ１００から提供されるカメラ画像は低解像度でもよい。
【０１０５】
ポストプロセス部２３６は仮の重畳画像にポストプロセスを施し、合成部２４４に与える。
【０１０６】
クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成し、合成部２４４に与える。
【０１０７】
合成部２４４は、ＣＧクロマキー画像で重畳画像をマスクすることで合成ＣＧクロマキー画像を生成する。第１の実施の形態と同様、ポストポロセスが施されていないＣＧクロマキー画像でポストポロセスが施された重畳画像をマスクすれば、仮想オブジェクトの境界にエイリアシングや偽色がなく、かつ自然で滑らかなＣＧクロマキー画像が合成される。
【０１０８】
合成ＣＧクロマキー画像は特定の１色がクロマキーに指定されたＲＧＢ画像としてヘッドマウントディスプレイ１００に送信され、リプロジェクション部８４ｂに供給される。
【０１０９】
ヘッドマウントディスプレイ１００の第１のリプロジェクション部８４ａは、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。
【０１１０】
ヘッドマウントディスプレイ１００の第２のリプロジェクション部８４ｂは、合成ＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。
【０１１１】
ここで、ヘッドマウントディスプレイ１００において、カメラ画像用の第１のリプロジェクション部８４ａと合成ＣＧクロマキー画像用の第２のリプロジェクション部８４ｂに分かれているのは、画像生成装置２００のレンダリングには時間がかかり、リプロジェクションによって補正すべき差分量が異なるからである。たとえば、第１のリプロジェクション部８４ａで１フレーム先のリプロジェクションを行うのに対して、第２のリプロジェクション部８４ｂでは２フレーム先のリプロジェクションを行う必要がある。
【０１１２】
ＡＲ重畳部８８は、第２のリプロジェクション部８４ｂによりリプロジェクション処理が施された合成ＣＧクロマキー画像を、第１のリプロジェクション部８４ａによりリプロジェクション処理が施されたカメラ画像に重畳することにより、拡張現実画像を生成し、歪み処理部８６に供給する。
【０１１３】
歪み処理部８６は拡張現実画像に歪み処理を施す。生成された拡張現実画像は、ディスプレイパネル３２に表示される。
【０１１４】
第２の実施の形態の画像生成システムによれば、第１の実施の形態と同様に、合成ＣＧクロマキー画像をカメラ画像に重畳して拡張現実画像を生成するため、不自然さのない拡張現実画像を生成できるという利点の他、次の利点がある。第１の実施の形態とは異なり、ヘッドマウントディスプレイ１００側でカメラ画像と合成ＣＧクロマキー画像に対してリプロジェクション処理を施すため、ディスプレイパネル３２に表示する直前の視点位置・視線方向に合うようにカメラ画像と合成ＣＧクロマキー画像を変換でき、高い精度で追従性のある拡張現実画像を提供できる。また、画像生成装置２００側のリプロジェクション処理の負担を軽減できるので、画像生成装置２００側ではレンダリングにより多くのリソースをかけることができる。
【０１１５】
第１の実施の形態および第２の実施の形態において、ＣＧクロマキー画像にはポストプロセス部２３６によるポストプロセスを施さない構成を説明したが、変形例として、ＣＧクロマキー画像に対して視点合わせやスケーリングのためにポストプロセスを適用する構成としてもよい。この場合、画素を補間する際に周囲の画素の平均値を使うなどの方法を採用すると、境界の色がクロマキー色とは異なる色に変わってしまう。そこでクロマキー色を変えないようにポストプロセスを適用することが必要である。あるいは、境界の色が変わってしまうような通常のポストプロセスをＣＧクロマキー画像に適用した後、元のクロマキー色と完全に一致する領域のみをマスクとして利用するようにしてもよい。
【０１１６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１７】
１０  制御部、  ２０  入力インタフェース、  ３０  出力インタフェース、  ３２  ディスプレイパネル、  ４０  通信制御部、  ４２  ネットワークアダプタ、  ４４  アンテナ、  ５０  記憶部、  ６４  姿勢センサ、  ７０  外部入出力端子インタフェース、  ７２  外部メモリ、  ８０  カメラユニット、  ８２  画像信号処理部、  ８４  リプロジェクション部、  ８６  歪み処理部、  ８８  ＡＲ重畳部、  １００  ヘッドマウントディスプレイ、  ２００  画像生成装置、  ２１０  位置・姿勢取得部、  ２２０  視点・視線設定部、  ２３０  画像生成部、  ２３２  レンダリング部、  ２３４  重畳部、  ２３５  クロマキー生成部、  ２３６  ポストプロセス部、  ２４０  リプロジェクション部、  ２４２  歪み処理部、  ２４４  合成部、  ２５０  デプス取得部、  ２５２  カメラ画像取得部、  ２６０  画像記憶部、  ２８０  ＨＤＭＩ送受信部、  ３００  インタフェース。
【図１】
2019079339.tif 000003
【図２】
2019079339.tif 000004
【図３】
2019079339.tif 000005
【図４】
2019079339.tif 000006
【図５】
2019079339.tif 000007
【図６】
2019079339.tif 000008
【図７】
2019079339.tif 000009
【図８】
2019079339.tif 000010
【図９】
2019079339.tif 000011
【図１０】
2019079339.tif 000012
【図１１】
2019079339.tif 000013
【図１２】
2019079339.tif 000014
【図１３】
2019079339.tif 000015