(57)【要約】【課題】ヘッドトラッキング式のＨＭＤを使用したゲーム等の映像コンテンツにおいて、滑らかな映像を提供する画像処理装置及びプログラムを提供することにある。【解決手段】生成装置と、合成装置とからなる画像処理装置であって、前記生成装置は、仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、３次元モデルを移動して前記仮想空間に配置する配置手段と、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、前記合成装置は、仮想空間画像を受信する受信手段と、現実空間画像を取得する現実空間画像取得手段と、複合現実画像を生成する複合現実画像取得手段とを有することを特徴とする。【選択図】図１
2018198025.tif 000002
【特許請求の範囲】
【請求項１】
３次元モデルが配置される仮想空間を生成する生成装置（１０）と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置（２０）とからなる画像処理装置であって、
前記生成装置（１０）は、
現実空間における前記撮像装置（６０）の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置手段と、
前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、
前記合成装置（２０）は、
前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記仮想空間画像として、前記現実空間画像の後に配置する客観背景画像と、前記現実空間画像の前に配置する客観前景画像とを生成する
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び／又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載された画像処理装置であって、
前記客観背景画像には、前記仮想空間に配置された前記３次元モデルの全部が配置され、
前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び／又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記３次元モデルの一部である一部画像が配置される
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観背景画像から前記一部画像を抽出する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観背景画像から特定の色を透過することにより、前記一部画像を抽出する
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載された画像処理装置であって、
前記現実空間画像取得手段は、
前記撮像装置で撮像された前記現実空間画像から前記対象を含む特定画像を抽出する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記現実空間画像取得手段は、
前記撮像装置で撮像された前記現実空間画像から特定の色を透過することにより、前記特定画像を抽出する透過処理手段を有する
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理装置であって、
前記生成装置には、ヘッドマウントディスプレイが接続され、
前記生成装置は（１０）、
現実空間における前記ヘッドマウントディスプレイ（３０）の位置と向きを繰り返し取得し、前記仮想空間における主観仮想カメラの位置と向きである主観仮想カメラ位置を繰り返し特定する主観カメラ位置特定手段と、
前記仮想空間に配置された前記３次元モデルを前記主観カメラ位置特定手段で特定された前記主観仮想カメラ位置を視点として、主観仮想空間画像を生成する主観仮想空間画像取得手段と、
前記主観仮想空間画像を表示するように制御するＨＭＤ表示制御手段とを有する
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記主観仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置にカメラオブジェクトを表示するように制御する
ことを特徴とする画像処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の画像処理装置であって、
前記合成装置は、一又は複数の画像を加工するビデオミキサー、ビデオスイッチャーその他の映像切替装置である
ことを特徴とす画像処理装置。
【請求項１２】
３次元モデルが配置される仮想空間を生成する生成装置（１０）と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置（２０）とからなる画像処理装置の制御方法であって、
前記生成装置の客観カメラ位置特定手段が、現実空間における前記撮像装置（６０）の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定工程と、
前記生成装置の対象位置特定手段が、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定工程と、
前記生成装置の配置手段が、前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置工程と、
前記生成装置の仮想空間画像取得手段が、前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得工程と、
前記生成装置の送信手段が、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信工程とを有し、
前記合成装置の現実空間画像取得手段が、前記生成装置から送信された前記仮想空間画像を受信する受信工程と、
前記合成装置の現実空間画像取得手段が、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得工程と、
前記合成装置の複合現実画像取得手段が、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得工程とを有する
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
３次元モデルが配置される仮想空間を生成する生成装置（１０）と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置（２０）とからなる画像処理装置の制御方法を実行可能なプログラムであって、
前記生成装置を、
現実空間における前記撮像装置（６０）の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置手段と、
前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段として機能させ、
前記合成装置を、
前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段
として機能させることを特徴とする画像処理のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。特にヘッドトラッキング式のＨＭＤを使用したゲーム等の映像コンテンツにおいて、滑らかな映像を提供する画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年では、様々なヘッドマウントディスプレイ（Head Mounted Display、以下、「ＨＭＤ」という。）が登場し、バーチャルリアリティ（Virtual Reality、以下「ＶＲ」という。）の表現の可能性が広がっている。ＨＭＤは、それを頭部に装着したプレイヤの左右の目に視差画像を表示することで立体映像を表示する装置である。ＨＭＤは、プレイヤの頭部の動きを追跡しその結果を映像に反映させることでＶＲへの没入感や臨場感を与えることもできる。
【０００３】
また、カメラ等で撮像した現実の世界（以下、「現実空間」という。）の画像に、コンピュータで生成された仮想の世界（以下、「仮想空間」という。）の画像を重ね合わせて、画像表示装置に表示する技術が存在する。このような技術には、複合現実（Mixed Reality、以下「ＭＲ」という。）や拡張現実（Augmented Reality、以下「ＡＲ」という。）等がある。このＭＲにおいては、没入感や臨場感を高めるために、ＨＭＤを装着したプレイヤの位置と向きをリアルタイムに取得し、現実空間を撮像した画像の変化に追従させて仮想空間の画像を生成し、ＨＭＤを通じてプレイヤに対してリアルタイムに表示する。
【０００４】
そのため、ＭＲは、センサ等によって計測したプレイヤの位置と向きを仮想空間での仮想の位置と向きとして設定し、この設定に基づいて仮想空間の画像をＣＧによって描画し、現実空間の画像と合成している。これにより、ＨＭＤを装着しているプレイヤは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察できる。このような技術の発達に応じて、ＨＭＤを装着しているプレイヤが、ＭＲによって複合現実を体験している様子を撮像したり、その撮像したものを第三者が見たいという要望がある。
【０００５】
しかし、現実空間でＨＭＤを装着しているプレイヤを撮像したとしても、そのプレイヤと現実空間が撮像されるだけで、仮想空間に存在する３次元モデルのオブジェクト等を含めて撮像することはできない。そこで、ＭＲとクロマキー合成を用いる技術について検討されている。つまり、複合現実を体験する部屋を均質な色（例えば、緑色）にし、ＨＭＤを装着しているプレイヤを撮像して、撮像した画像や映像の中の均質な色を透明にして、そこに仮想空間の画像と重ね合わせる。こうすることで、ＭＲを体験しているプレイヤと同じ仮想空間を含めた画像を撮像したり、その撮像したものを第三者が見ることができる。
【０００６】
しかし、このような方法ではＭＲを体験しているプレイヤが、仮想空間の画像において、適切に表示できない場合がある。例えば、ＨＭＤを使用したゲームにおいては、プレイヤの背景となる背景オブジェクトとプレイヤが持つアイテムとなるアイテムオブジェクトが使用される。このとき、背景オブジェクトはプレイヤの後ろ側に表示され、アイテムオブジェクトはプレイヤの位置や向きに応じて前や後に表示されなければならない。しかし、プレイヤは、自由に歩き回ることができるため、仮想空間におけるプレイヤの位置を考慮しないと、アイテムオブジェクトが常にプレイヤの後ろ側に表示されるような不自然な画像となってしまう。このように、ＨＭＤを使用したゲーム等の映像コンテンツには様々な提案がなされているが、特許文献を基に従来の技術を説明する。
【０００７】
例えば、撮影現場において合成結果を確認しながら役者が演技をしたりＣＧの操作者が操作を行うことを可能とする映像合成装置の技術が知られている（特許文献１参照）。また、画像処理装置の負担を軽減しつつ、リアリティの高い拡張現実を提供することが可能な画像処理装置、画像装置の制御方法及びプログラムの技術が知られている（特許文献２参照）。さらに、現実空間のプレイヤを撮像することにより生成される画像を仮想空間上の適切な位置に表示する情報処理装置、その制御方法及びプログラムの技術が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２３０３７４号公報
【特許文献２】特開２０１３−８２９７号公報
【特許文献３】特開２０１５−１７０２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載された発明は、実写画像とＣＧデータの合成の際に、実際の空間の奥行きを示す３次元情報を取得し、この３次元情報に基づいて実写画像とＣＧデータとの前後関係を考慮した合成を行うものである。特許文献１に記載された発明では、対象物を含む現実空間画像を仮想空間上に単に配置しただけでは、仮想空間上に設定された視点から見た場合の対象物の大きさと、現実空間において撮像装置から見た場合の対象物の大きさとが異なってしまうという問題点があった。
【００１０】
特許文献２に記載された発明は、移動しない物体の被写体画像を被写体オブジェクトにマッピングして仮想空間に配置するものである。特許文献２に記載された発明では、現実空間を移動する対象物の現在位置をリアルタイムに特定し、対象物を撮像した現実空間画像を仮想空間に配置できないという問題点があった。特許文献３に記載された発明は、客観カメラから見た対象物の大きさと、仮想空間に設定される視点から見た現実空間画像に含まれる対象物の大きさとが略同一になるよう、現実空間画像のサイズを変更するものである。特許文献３に記載された発明では、仮想空間に現実空間画像を配置した上で、画像の生成と画像の合成を同じ情報処理装置で行われるため、処理落ちが頻繁に発生し滑らかな映像が提供できないという問題点があった。
【００１１】
本発明は、以上のような従来の問題点を解決するために創作されたもので、次の目的を達成する。本発明の目的は、滑らかな映像を提供する画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。
【課題を解決するための手段】
【００１２】
本発明は、前記目的を達成するために次の手段をとる。
本発明１の画像処理装置は、３次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置であって、前記生成装置は、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置手段と、前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、前記合成装置は、前記生成装置から送信された前記仮想空間画像を受信する受信手段と、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有することを特徴とする。
【００１３】
本発明２の画像処理装置は、本発明１であって、
前記仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び／又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成することを特徴とする。
【００１４】
本発明３の画像処理装置は、本発明２であって、前記客観背景画像には、前記仮想空間に配置された前記３次元モデルの全部が配置され、前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び／又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記３次元モデルの一部である一部画像が配置されることを特徴とする。
【００１５】
本発明４の画像処理装置は、本発明３であって、前記客観背景画像には、前記仮想空間に配置された前記３次元モデルの全部が配置され、前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び／又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記３次元モデルの一部である一部画像が配置されることを特徴とする。
【００１６】
本発明５の画像処理装置は、本発明４であって、前記仮想空間画像取得手段は、前記客観背景画像から前記一部画像を抽出することを特徴とする。
【００１７】
本発明６の画像処理装置は、本発明５であって、前記仮想空間画像取得手段は、前記客観背景画像から特定の色を透過することにより、前記一部画像を抽出することを特徴とする。
【００１８】
本発明７の画像処理装置は、本発明１〜６のいずれかであって、前記現実空間画像取得手段は、前記撮像装置で撮像された前記現実空間画像から前記対象を含む特定画像を抽出することを特徴とする。
【００１９】
本発明８の画像処理装置は、本発明７であって、前記現実空間画像取得手段は、前記撮像装置で撮像された前記現実空間画像から特定の色を透過することにより、前記特定画像を抽出する透過処理手段を有することを特徴とする。
【００２０】
本発明９の画像処理装置は、本発明１〜８のいずれかであって、前記生成装置には、ヘッドマウントディスプレイが接続され、前記生成装置は、現実空間における前記ヘッドマウントディスプレイの位置と向きを繰り返し取得し、前記仮想空間における主観仮想カメラの位置と向きである主観仮想カメラ位置を繰り返し特定する主観カメラ位置特定手段と、前記仮想空間に配置された前記３次元モデルを前記主観カメラ位置特定手段で特定された前記主観仮想カメラ位置を視点として、主観仮想空間画像を生成する主観仮想空間画像取得手段と、前記主観仮想空間画像を表示するように制御するＨＭＤ表示制御手段とを有することを特徴とする。
【００２１】
本発明１０の画像処理装置は、本発明９であって、前記主観仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置にカメラオブジェクトを表示するように制御することを特徴とする。
【００２２】
本発明１１の画像処理装置は、本発明１〜１０のいずれかであって、前記合成装置は、一又は複数の画像を加工するビデオミキサー、ビデオスイッチャーその他の映像切替装置であることを特徴とする。
【００２３】
本発明１２の画像処理装置の制御方法は、３次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置の制御方法であって、前記生成装置の客観カメラ位置特定手段が、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定工程と、前記生成装置の対象位置特定手段が、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定工程と、前記生成装置の配置手段が、前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置工程と、前記生成装置の仮想空間画像取得手段が、前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得工程と、前記生成装置の送信手段が、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信工程とを有し、前記合成装置の現実空間画像取得手段が、前記生成装置から送信された前記仮想空間画像を受信する受信工程と、前記合成装置の現実空間画像取得手段が、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得工程と、前記合成装置の複合現実画像取得手段が、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得工程とを有することを特徴とする。
【００２４】
本発明１３のプログラムは、３次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置の制御方法を実行可能なプログラムであって、前記生成装置を、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、前記客観仮想カメラ位置及び／又は前記対象位置に従って、前記３次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び／又は前記対象の移動に応じて、前記３次元モデルを移動して前記仮想空間に配置する配置手段と、前記仮想空間に配置された前記３次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段として機能させ、前記合成装置を、前記生成装置から送信された前記仮想空間画像を受信する受信手段と、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段として機能させることを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の第一実施形態を適用した画像処理装置１とそれを使用した状態を示す外観図である。
【図２】図２は、画像処理装置１のハードウェア構成を示す図である。
【図３】図３は、画像処理装置１の機能構成を示す図である。
【図４】図４は、画像処理装置１の処理の流れを示すフローチャートである。
【図５】図５は、各装置の位置と向きを格納するテーブルを示す図である。
【００２６】
【図６】図６は、画像の合成の状態を示す図である。
【図７】図７は、本発明の第二実施形態を適用した画像処理装置１０１とそれを使用した状態を示す外観図である。
【図８】図８は、画像処理装置１０１の機能構成を示す図である。
【図９】図９は、画像の合成の状態を示す図である。
【図１０】図１０は、画像の合成の状態を示す図である。
【図１１】図１１は、画像の合成の状態を示す図である。
【発明を実施するための形態】
【００２７】
〔本発明の第一実施形態〕
以下、本発明の画像処理装置１について、図面に基づいて、本発明の第一実施形態として詳細に説明する。図１は、本発明の第一実施形態を適用した画像処理装置１とそれを使用した状態を示す外観図である。図２は、画像処理装置１のハードウェア構成を示す図である。図３は、画像処理装置１の機能構成を示す図である。図４は、画像処理装置１の処理の流れを示すフローチャートである。図５は、各装置の位置と向きを格納するテーブルを示す図である。図６は、画像の合成の状態を示す図である。
【００２８】
なお、図１に示すように、矢印Ｕ方向を上方向とし、その逆方向である矢印Ｄ方向を下方向として説明を行う。水平面内で上下方向と直交する一の方向である矢印Ｌ方向を左方向とし、直交する他の方向である矢印Ｒ方向を右方向として説明を行う。図１に示すように、上下方向及び左右方向と直交する上側の方向である矢印Ｆ方向を前方向とし、下側の方向である矢印Ｂ方向を後方向として説明を行う。上方向側の面、下方向側の面、前方向側の面、後方向側の面、左方向側の面及び右方向側の面をそれぞれ平面、底面、正面、背面、左側面、右側面として説明を行う。
【００２９】
〔画像処理装置１〕
画像処理装置１は、仮想空間画像による仮想ゲームをプレイヤＰに提供し、複合現実画像をビジタＶに提供するいわゆるＭＲシステムである。図１に示すように、画像処理装置１は、生成装置１０、合成装置２０、ＨＭＤ３０、第一コントローラ４０、第二コントローラ５０、客観カメラ６０、クロマキーカーテン７０、ディスプレイ８０及びベースステーション９０とから構成されている。なお、仮想現実の技術に関しては、従来技術を使用するため詳細な説明は省略する。
【００３０】
〔生成装置１０〕
生成装置１０は、オペレーティングシステムを搭載する汎用的な装置である。生成装置１０は、各装置の位置と向きの情報に基づいて、合成装置２０で合成する客観背景画像６０１及び客観前景画像６０２を生成する装置である。また、生成装置１０は、複数の映像ソースとして、客観背景画像６０１及び客観前景画像６０２を別々に合成装置２０に送信する装置でもある。図３に示すように、生成装置１０には、合成装置２０、ＨＭＤ３０、第一コントローラ４０及び第二コントローラ５０が接続されている。生成装置１０は、合成装置２０、ＨＭＤ３０、第一コントローラ４０及び第二コントローラ５０と有線又は無線で、相互にデータ通信可能に接続されている。生成装置１０は、ＨＭＤ３０、第一コントローラ４０及び第二コントローラ５０の位置と向きに応じて仮想空間の画像（以下、仮想空間画像）を生成し、ＨＭＤ３０に送信する。
【００３１】
〔合成装置２０〕
合成装置２０は、ビデオミキサー、ビデオスイッチャーその他の映像切替装置であり、現実空間画像６０３を加工し、複合現実画像６０４を合成する装置である。また、合成装置２０は、複数の映像ソースとして、生成装置１０から別々に送信される客観背景画像６０１及び客観前景画像６０２を別々に受信する装置でもある。図３に示すように、合成装置２０には、生成装置１０、客観カメラ６０及びディスプレイ８０が接続されている。合成装置２０は、生成装置１０、客観カメラ６０及びディスプレイ８０と有線又は無線で、相互にデータ通信可能に接続されている。合成装置２０は、客観カメラ６０で撮像された現実空間画像６０３を受信して、この現実空間画像６０３の所定の色（青や緑等）を透過してキーイングして客観透過現実空間画像６０３’を生成する。合成装置２０は、複数の映像ソースである客観透過現実空間画像６０３’と生成装置１０で生成された客観背景画像６０１と客観前景画像６０２とを合成しディスプレイ８０に送信する。
【００３２】
〔ＨＭＤ３０〕
ＨＭＤ３０は、いわゆるヘッドマウントディスプレイである。図１に示すように、ＨＭＤ３０は、プレイヤＰの頭部に装着するディスプレイであり、右目用ビデオカメラ、左目用のビデオカメラ、右目用ディスプレイ及び左目用ディスプレイを備えている。ＨＭＤ３０は、フレームレートが９０ｆｐｓ（frames per second）である。ＨＭＤ３０は、右目用ビデオカメラ及び左目用ビデオカメラで撮像された現実空間画像を生成装置１０に送信できる。ＨＭＤ３０は、生成装置１０から送信されてきた仮想空間画像を受信し、右目用ディスプレイと左目用ディスプレイに表示する。
【００３３】
ＨＭＤ３０は、プレイヤＰの目のすぐ前の位置に、両目それぞれに画像を少しずらして右目用ディスプレイと左目用ディスプレイに表示される。このため、右目用ディスプレイと左目用ディスプレイに表示される画像が平面であるにも関わらず、立体的に見えるようになっている。なお、ＨＭＤ３０で撮像する現実空間画像及び表示する仮想空間画像は、動画でも良いし、所定の間隔で撮像された静止画であっても良い。ＨＭＤ３０には、ＨＭＤ３０の位置と向きを検出させるためのＨＭＤセンサ３１が取り付けられている。ＨＭＤセンサ３１は、ベースステーション９０よりに飛ばされた赤外線を拾うことができる。
【００３４】
〔第一コントローラ４０、第二コントローラ５０〕
第一コントローラ４０と第二コントローラ５０は、仮想空間に配置される３次元モデルとなるオブジェクトの全部又は一部を操作するための装置である。図１に示すように、第一コントローラ４０には、第一コントローラ４０の位置と向きを検出させるための第一コントローラセンサ４１が取り付けられている。第一コントローラセンサ４１は、ベースステーション９０よりに飛ばされた赤外線を拾うことができる。第二コントローラ５０には、第二コントローラ５０の位置と向きを検出させるための第二コントローラセンサ５１が取り付けられている。第二コントローラセンサ５１は、ベースステーション９０より飛ばされた赤外線を拾うことができる。
【００３５】
〔客観カメラ６０〕
客観カメラ６０は、手動又は自動で移動して現実空間を撮像する撮像装置である。図１に示すように、客観カメラ６０は、クロマキーカーテン７０の内側でゲームをするプレイヤＰを撮像するように所定の位置に配置されている。客観カメラ６０で撮像した現実空間画像は、合成装置２０に送信される。本例において、客観カメラ６０で撮像する現実空間画像は、動画であるが、所定の間隔で撮像される静止画であも良い。客観カメラ６０には、客観カメラ６０の位置と向きを検出させるための客観カメラセンサ６１が取り付けられている。
【００３６】
〔クロマキーカーテン７０〕
クロマキーカーテン７０は、仮想ゲームを体験する部屋を覆うためのカーテンである。図１に示すように、クロマキーカーテン７０は、複合現実を体験するプレイヤＰを覆うように配置する。本例においては、客観カメラ６０でプレイヤＰの全身を撮像ができるように、客観カメラ６０が配置される背面以外の平面、底面、正面、左側面、右側面を覆うように配置する。本例において、クロマキーカーテン７０は、プレイヤＰとなる人を覆うため、人の肌の色の補色となる緑色のものを使用している。クロマキーカーテン７０に使用する色は、複数色あっても良いし、色味や濃さによって透過する対象の色を変えても良い。
【００３７】
〔ディスプレイ８０〕
ディスプレイ８０は、仮想ゲームを体験しているプレイヤＰと同じ仮想空間を含めた複合現実画像７０４を見ることができる表示装置である。図１に示すように、ディスプレイ８０は、薄型で大型の液晶テレビである。ディスプレイ８０は、フレームレートが６０ｆｐｓ（frames per second）である。本例では、多くのビジタＶが仮想ゲームを体験しているプレイヤＰと同じ仮想空間を含めた複合現実画像７０４を見ることができるように、薄型で大型の液晶テレビを使用しているが、小型のテレビ、スマートフォン及びタブレット等のその他の表示装置であっても良い。
【００３８】
〔ベースステーション９０〕
ベースステーション９０は、ＨＭＤセンサ３１、第一コントローラセンサ４１、第二コントローラセンサ５１、客観カメラセンサ６１の位置と向きを検出させるための装置である。ベースステーション９０は、上下左右それぞれ約１２０度の範囲に赤外線を一定のパターンで照射し、ＨＭＤセンサ３１、第一コントローラセンサ４１、第二コントローラセンサ５１、客観カメラセンサ６１がこれを拾うことで、これらの位置と向きが検出される。
【００３９】
図１に示すように、ベースステーション９０はクロマキーカーテン７０の内側に２つ配置されている。しかし、ベースステーション９０は、どのような状況下でもＨＭＤセンサ３１、第一コントローラセンサ４１、第二コントローラセンサ５１、客観カメラセンサ６１を検出できるように２以上配置しても良い。また、ベースステーション９０は、目立たないようにクロマキーカーテン７０の外側に配置しても良い。
【００４０】
〔生成装置１０のハードウェア構成図〕
図２に基づいて、生成装置１０のハードウェア構成を説明する。ＣＰＵ１０ａは、システムバス１１に接続されるデバイスやコントローラを制御する中央演算処理装置である。ＲＯＭ１０ｂ又は外部メモリ１０ｊは、ＣＰＵ１０ａの制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている記憶装置である。ＲＡＭ１０ｃは、ＣＰＵ１０ａの主メモリ、ワークエリア等として機能する装置である。ＣＰＵ１０ａは、処理の実行に際して必要なプログラム等をＲＡＭ１０ｃから読み込んで、それを実行することで各種動作を実現する。
【００４１】
入力コントローラ１０ｆは、第一コントローラ４０、第二コントローラ５０、キーボード及びマウスその他の入力デバイス１０ｉからの入力を制御する装置である。ビデオコントローラ１０ｈは、ＨＭＤ３０が備える右目ディスプレイ及び左目ディスプレイ等その他の表示装置への表示を制御する装置である。右目ディスプレイ及び左目ディスプレイに対しては、例えば高精細度マルチメディアインターフェース（High-Definition Multimedia Interface）を用いて出力される。
【００４２】
メモリコントローラ１０ｇは、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、プレイヤＰファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ１０ｊへのアクセスを制御する装置である。通信Ｉ／Ｆコントローラ１０ｅは、ネットワークを介して、外部機器と接続・通信するものであり、通信制御処理を実行する装置である。
【００４３】
汎用バス１０ｄは、ＨＭＤ３０の右目ビデオカメラ及び左目ビデオカメラからの映像を取り込むための装置である。汎用バス１０ｄは、右目ビデオカメラ及び左目ビデオカメラと外部入力端子として、例えばユニバーサルシリアルバス（Universal Serial Bus）でつなげられている。生成装置１０が各種処理を実行するために用いられるプログラム等は、外部メモリ１０ｊに記録されており、必要に応じてＲＡＭ１０ｃにロードされることによりＣＰＵ１０ａによって実行される。生成装置１０が実行するプログラムが用いる定義ファイルや各種情報テーブルは、外部メモリ１０ｊに格納されている。
【００４４】
〔合成装置２０のハードウェア構成図〕
図２に基づいて、合成装置２０のハードウェア構成を説明する。なお、合成装置２０のハードウェア構成は、生成装置１０のハードウェア構成とほぼ同様であるので、同じハードウェア構成については詳細な説明を省略する。合成装置２０のビデオコントローラ２０ｈには、生成装置１０とは異なり、右目ディスプレイ及び左目ディスプレイが接続されない。合成装置２０のビデオコントローラ２０ｈには、ディスプレイ２０ｋが接続される。合成装置２０には、ベースステーション９０が接続されない。合成装置２０の汎用バス２０ｄには、右目ビデオカメラ及び左目ビデオカメラが接続されない。合成装置２０の汎用バス２０ｄには、客観カメラ６０が接続される。
【００４５】
〔生成装置１０の機能構成図〕
図３に示すように、生成装置１０は機能部として、通信制御手段３０１、客観カメラ位置特定手段３０２、対象位置特定手段３０３、ＨＭＤ現実空間画像取得手段３０４、配置手段３０５、主観仮想空間画像取得手段３０６、ＨＭＤ表示制御手段３０７、仮想空間画像取得手段３０８、客観背景画像送信手段３０９及び客観前景画像送信手段３１０とを備えている。
【００４６】
〔通信制御手段３０１〕
通信制御手段３０１は、生成装置１０と通信可能なＨＭＤ３０、ベースステーション９０及び合成装置２０との各種情報の送受信を行う機能を有する。通信制御手段３０１は、ビデオコントローラ１０ｈ、通信Ｉ／Ｆコントローラ１０ｅ、汎用バス１０ｄ等を通じてこれらの装置と情報の送受信を行う。
【００４７】
〔客観カメラ位置特定手段３０２〕
客観カメラ位置特定手段３０２は、客観カメラ６０の現実空間における位置と向きを示す情報を取得する機能を有する。客観カメラ位置特定手段３０２は、現実空間における客観カメラ６０の位置と向きを繰り返し取得し、仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する。客観カメラ６０の位置と向きは、客観カメラセンサ６１がベースステーション９０から飛ばされた赤外線を拾うタイミングで検出される。
【００４８】
〔対象位置特定手段３０３〕
対象位置特定手段３０３は、ＨＭＤ３０、第一コントローラ４０及び第二コントローラ５０の現実空間における位置と向きを示す情報を取得する機能を有する。対象位置特定手段３０３は、現実空間における対象の位置と向きを繰り返し取得し、仮想空間における対象の位置と向きである対象位置を繰り返し特定する。ＨＭＤ３０の位置と向きは、ＨＭＤセンサ３１がベースステーション９０から飛ばされた赤外線を拾うタイミングで検出される。第一コントローラ４０の位置と向きは、第一コントローラセンサ４１がベースステーション９０から飛ばされた赤外線を拾うタイミングで検出される。第二コントローラ５０の位置と向きは、第二コントローラセンサ５１がベースステーション９０から飛ばされた赤外線を拾うタイミングで検出される。
【００４９】
〔ＨＭＤ現実空間画像取得手段３０４〕
ＨＭＤ現実空間画像取得手段３０４は、ＨＭＤ３０の右目ビデオカメラ及び左目ビデオカメラが撮像した現実空間画像を繰り返し取得する機能を有する。
【００５０】
〔配置手段３０５〕
配置手段３０５は、仮想空間に３次元モデルであるオブジェクト画像（例えば、背景画像、武器画像、盾画像）を配置する機能を有する。配置手段３０５は、客観カメラ位置特定手段３０２や対象位置特定手段３０３等で取得した位置と向きに基づいてオブジェクト画像を配置する。オブジェクト画像は、生成装置１０の外部メモリ１０ｊ等に記憶されており、これらを適宜読み出して取得する。ＨＭＤ３０や客観カメラ６０の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像（背景画像）を生成し、これを仮想空間に配置する。
【００５１】
第一コントローラ４０の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像（武器画像）を生成し、これを仮想空間に配置する。第二コントローラ５０の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像（盾画像）を生成し、これを取得する。
【００５２】
〔主観仮想空間画像取得手段３０６〕
主観仮想空間画像取得手段３０６は、配置手段３０５で生成された仮想空間から主観仮想空間画像を生成する機能を有する。
【００５３】
〔ＨＭＤ表示制御手段３０７〕
ＨＭＤ表示制御手段３０７は、生成装置１０に接続されたＨＭＤ３０の右目ディスプレイ及び左目ディスプレイの表示制御を行う機能を有する。ＨＭＤ表示制御手段３０７は、主観仮想空間画像取得手段３０６で生成された主観仮想空間画像を、右目ディスプレイ及び左目ディスプレイに表示する。
【００５４】
〔仮想空間画像取得手段３０８〕
仮想空間画像取得手段３０８は、生成装置１０で仮想空間画像を生成する機能を有する。仮想空間画像取得手段３０８は、仮想空間に配置されたオブジェクト画像を客観カメラ位置特定手段３０２で特定された客観仮想カメラ位置を視点として、仮想空間画像である客観背景画像６０１と客観前景画像６０２を生成する。図６に示すように、客観背景画像６０１は、仮想空間に配置されたオブジェクト画像の全部（例えば、背景画像、武器画像、盾画像）が配置される。
【００５５】
図６に示すように、客観前景画像６０２は、客観カメラ位置特定手段３０２で特定された客観仮想カメラ位置及び／又は対象位置特定手段３０３で特定された対象位置に応じて、仮想空間に配置されたオブジェクト画像の一部（例えば、武器画像、盾画像）が配置される。仮想空間画像取得手段３０８は、ＨＭＤ３０、客観カメラ６０及び第一コントローラ４０の位置と向きに基づいて、客観前景画像６０２にオブジェクト画像（例えば、武器画像）を配置するか否かを決定する。仮想空間画像取得手段３０８は、ＨＭＤ３０、客観カメラ６０及び第二コントローラ５０の位置と向きに基づいて、客観前景画像６０２にオブジェクト画像（例えば、盾画像）を配置するか否かを決定する。客観前景画像６０２は、配置されたオブジェクト画像の一部以外の箇所はキーイングして透過された客観前景画像６０２’とする。
【００５６】
〔客観背景画像送信手段３０９〕
客観背景画像送信手段３０９は、仮想空間画像取得手段３０８で生成した客観背景画像６０１を合成装置２０に繰り返し送信する機能を有する。生成装置１０は、合成装置２０に客観背景画像６０１を送信する専用のインターフェースを介して送信する。
【００５７】
〔客観前景画像送信手段３１０〕
客観前景画像送信手段３１０は、仮想空間画像取得手段３０８で生成した客観前景画像６０２又は透過された客観前景画像６０２’を合成装置２０に来る返し送信する機能を有する。生成装置１０は、合成装置２０に客観前景画像６０２’を送信する専用のインターフェースを介して送信する。
【００５８】
〔合成装置２０の機能構成図〕
また、合成装置２０は機能部として、通信制御手段３５１、現実空間画像取得手段３５２、透過処理手段３５３、客観背景画像受信手段３５４、客観前景画像受信手段３５５、複合現実画像生成手段３５６及びディスプレイ表示制御手段３５７を備えている。
【００５９】
〔通信制御手段３５１〕
通信制御手段３５１は、合成装置２０と通信可能な生成装置１０と客観カメラ６０との各種情報の送受信を行う機能部である。通信制御手段３０１は、通信Ｉ／Ｆコントローラ１０ｅ、汎用バス１０ｄ等を通じてこれらの装置と情報の送受信を行う。
【００６０】
〔現実空間画像取得手段３５２〕
現実空間画像取得手段３５２は、客観カメラ６０が撮像した現実空間画像６０３を繰り返し取得する機能を有する。
【００６１】
〔透過処理手段３５３〕
透過処理手段３５３は、現実空間画像取得手段３５２で取得した現実空間画像６０３に含まれる所定の色を透過して、客観透過現実空間画像６０３’を生成する機能を有する。透過処理手段３５３は、クロマキーカーテン７０の色が緑色でなので、取得した現実空間画像６０３に含まれる画素のうち、緑色の画素の不透明度を「０」にする。なお、不透明度は必ずしも「０」である必要はないが、完全に透過させることで、本願発明の効果をより向上することができる。
【００６２】
〔客観背景画像受信手段３５４〕
客観背景画像受信手段３５４は、客観背景画像送信手段３０９から送信された客観背景画像６０１を繰り返し受信する機能を有する。合成装置２０は、生成装置１０から客観背景画像６０１を受信する専用のインターフェースを介して受信する。
【００６３】
〔客観前景画像受信手段３５５〕
客観前景画像受信手段３５５は、客観前景画像送信手段３１０から送信された客観前景画像６０２又は透過された客観前景画像６０２’を繰り返し受信する機能を有する。合成装置２０は、生成装置１０から客観前景画像６０２’を受信する専用のインターフェースを介して受信する。
【００６４】
〔複合現実画像生成手段３５６〕
複合現実画像生成手段３５６は、客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’を重ねることにより、複合現実画像６０４を合成する機能を有する。複合現実画像６０４は、図６に示すように、下から客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’の順番で重ねられている。
【００６５】
〔ディスプレイ表示制御手段３５７〕
ディスプレイ表示制御手段３５７は、合成装置２０に接続されたディスプレイ８０の表示制御を行う機能を有する。ディスプレイ表示制御手段３５７は、複合現実画像生成手段３５６で合成された複合現実画像６０４を、ディスプレイ８０に表示する。
【００６６】
〔処理の流れ〕
次に、本発明の実施形態における画像処理装置１によって行われる一連の処理について、図４に示すフローチャートを用いて説明する。
【００６７】
〔生成装置１０の処理の流れ〕
画像処理装置１の生成装置１０によって行われる一連の処理は、客観カメラ位置特定工程４０１、対象位置特定工程４０２、ＨＭＤ現実空間画像取得工程４０３、配置工程４０４、主観仮想空間画像取得工程４０５、ＨＭＤ表示制御工程４０６、仮想空間画像取得工程４０７、客観背景画像送信工程４０８、客観前景画像送信工程４０９及び終了工程４１０とからなる。
【００６８】
〔客観カメラ位置特定工程Ｓ４０１〕
ＣＰＵ１０ａは、客観カメラ６０の現実空間における位置と向きを示す情報を取得して、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、客観カメラ位置特定手段３０２を使用して、ベースステーション９０から飛ばされた赤外線を拾うタイミングで、客観カメラ６０の現実空間における位置と向きを示す情報を取得する。図５に示すように、客観カメラ６０の位置（座標）、向き（ベクトル）は、現実空間の所定の場所を原点としたＸＹＺ座標と、当該ＸＹＺ座標を用いたベクトルで表され、客観カメラテーブル５６０に格納される。
【００６９】
〔対象位置特定工程Ｓ４０２〕
ＣＰＵ１０ａは、ＨＭＤ３０の現実空間における位置と向きを示す情報を取得して、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、対象位置特定手段３０３を使用して、ベースステーション９０から飛ばされた赤外線を拾うタイミングで、ＨＭＤ３０の現実空間における位置と向きを示す情報を取得する。図５に示すように、ＨＭＤ３０の位置（座標）、向き（ベクトル）は、現実空間の所定の場所を原点としたＸＹＺ座標と、当該ＸＹＺ座標を用いたベクトルで表され、ＨＭＤテーブル５３０に格納される。同様に、ＣＰＵ１０ａは、ベースステーション９０を使用して第一コントローラ４０及び第二コントローラ５０のＨＭＤ３０の位置（座標）、向き（ベクトル）を取得して、第一コントローラテーブル５４０及び第二コントローラテーブル５５０に格納する。
【００７０】
〔ＨＭＤ現実空間画像取得工程Ｓ４０３〕
ＣＰＵ１０ａは、ＨＭＤ３０の右目ビデオカメラ及び左目ビデオカメラから送信される現実空間画像を、ＨＭＤ現実空間画像取得手段３０４を用いて繰り返し取得し、ＲＡＭ１０ｃ等に記憶する。右目ビデオカメラ及び左目ビデオカメラは、プレイヤＰの右目に対応するビデオカメラと左目に対応するビデオカメラが用意され、これらから右目用と左目用の現実空間画像を繰り返し取得する。
【００７１】
〔配置工程Ｓ４０４〕
ＣＰＵ１０ａは、配置手段３０５を用いて仮想空間に３次元モデルであるオブジェクト画像を配置し、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、客観カメラ位置特定工程Ｓ４０１で取得して、客観カメラテーブル５６０に格納された客観カメラ６０の位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応するオブジェクト画像（例えば、背景画像）を仮想空間に配置して、ＲＡＭ１０ｃ等に記憶する。
【００７２】
ＣＰＵ１０ａは、対象位置特定工程Ｓ４０２で取得して、ＨＭＤテーブル５３０に格納されたＨＭＤ３０の位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応するオブジェクト画像（例えば、背景画像）を仮想空間に配置して、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、対象位置特定工程Ｓ４０２で取得して、第一コントローラテーブル５４０に格納された第一コントローラの位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応するオブジェクト画像（例えば、武器画像）を仮想空間に配置して、ＲＡＭ１０ｃ等に記憶する。
【００７３】
ＣＰＵ１０ａは、対象位置特定工程Ｓ４０２で取得して、第二コントローラテーブル５５０に格納された第二コントローラの位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応するオブジェクト画像（例えば、盾画像）を仮想空間に配置して、ＲＡＭ１０ｃ等に記憶する。
【００７４】
〔主観仮想空間画像取得工程４０５〕
ＣＰＵ１０ａは、主観仮想空間画像取得手段３０６を用いて主観仮想空間画像を生成し、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、対象位置特定工程Ｓ４０２で取得して、ＨＭＤテーブル５３０に格納されたＨＭＤ３０の位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応する主観仮想空間画像を生成して、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、ＨＭＤ３０の右目ディスプレイ及び左目ディスプレイに表示するために、主観仮想空間を右目用の主観仮想空間画像と左目用の主観仮想空間画像を生成する。
【００７５】
〔ＨＭＤ表示制御工程Ｓ４０６〕
ＣＰＵ１０ａは、主観仮想空間画像取得工程Ｓ４０５で生成された主観仮想空間画像をＲＡＭ１０ｃ等から読み出し、ビデオコントローラ１０ｈを通じてＨＭＤ３０の右目ディスプレイ及び左目ディスプレイに表示する。ＲＡＭ１０ｃ等に記憶された主観仮想空間画像は、右目用と左目用がある。そのためＨＭＤ表示制御手段３０７を用いて、右目用の主観仮想空間画像を右目ディスプレイに表示するように制御し、左目用の主観仮想空間実画像を左目ディスプレイに表示するよう制御する。
【００７６】
〔仮想空間画像取得工程Ｓ４０７〕
ＣＰＵ１０ａは、仮想空間画像取得手段３０８を用いて仮想空間画像を生成し、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、客観カメラ位置特定工程Ｓ４０１で取得して、客観カメラテーブル５６０に格納された客観カメラ６０の位置（座標）、向き（ベクトル）をＲＡＭ１０ｃ等から読み出して、これに対応する仮想空間画像を生成して、ＲＡＭ１０ｃ等に記憶する。ＣＰＵ１０ａは、仮想空間画像として客観背景画像と客観前景画像を生成して、ＲＡＭ１０ｃ等に記憶する。
【００７７】
ＣＰＵ１０ａは、仮想空間で配置されたオブジェクト画像の全部（背景画像、武器画像、盾画像）が配置された状態で客観背景画像６０１を生成して記憶する。ＣＰＵ１０ａは、客観カメラ位置特定手段３０２で特定された客観仮想カメラ位置及び／又は対象位置特定手段３０３で特定された対象位置に応じて、仮想空間に配置されたオブジェクト画像の一部（武器画像、盾画像）である一部画像が配置された状態で客観前景画像６０２を生成して記憶する。
【００７８】
ＣＰＵ１０ａは、仮想空間画像取得手段３０８を用いて、ＨＭＤ３０、客観カメラ６０及び第一コントローラ４０の位置と向きに基づいて、客観前景画像６０２にオブジェクト画像（武器画像）を配置するか否かを決定し、客観前景画像６０２を生成する。ＣＰＵ１０ａは、仮想空間画像取得手段３０８を用いて、ＨＭＤ３０、客観カメラ６０及び第二コントローラ５０の位置と向きに基づいて、客観前景画像６０２にオブジェクト画像（盾画像）を配置するか否かを決定し、客観前景画像６０２を生成する。ＣＰＵ１０ａは、配置するオブジェクト画像の一部以外の箇所は透過してキーイングして、透過された客観前景画像６０２’として記憶する。
【００７９】
〔客観背景画像送信工程Ｓ４０８〕
ＣＰＵ１０ａは、客観背景画像送信手段３０９を用いて、生成された客観背景画像をＲＡＭ１０ｃ等から読み込み、合成装置２０に送信する。ＣＰＵ１０ａは、客観背景画像６０１を送信する専用のインターフェースを介して、生成装置１０から合成装置２０に送信する。
【００８０】
〔客観前景画像送信工程Ｓ４０９〕
ＣＰＵ１０ａは、客観前景画像送信手段３１０を用いて、生成された客観前景画像６０２又は透過された客観前景画像６０２’をＲＡＭ１０ｃ等から読み込み、合成装置２０に送信する。ＣＰＵ１０ａは、客観前景画像６０２’を送信する専用のインターフェースを介して、生成装置１０から合成装置２０に送信する。
【００８１】
〔終了工程Ｓ４１３〕
ＣＰＵ１０ａは、ＨＭＤ３０を装着しているプレイヤＰに仮想ゲームを表示する処理の終了指示があったか否かを判定する。ＣＰＵ１０ａは、終了指示があったと判定した場合には、一連の処理を終了する。ＣＰＵ１０ａは、終了指示がない場合には客観カメラ位置特定工程Ｓ４０１に処理を戻し、終了指示があるまで一連の処理を繰り返す。
【００８２】
〔合成装置２０の処理の流れ〕
画像処理装置１の合成装置２０によって行われる一連の処理は、現実空間画像取得工程４５１、透過処理工程４５２、客観背景画像受信工程４５３、客観前景画像受信工程４５４、複合現実画像生成工程４５５、ディスプレイ表示制御工程４５６、及び終了工程４５７とからなる。
【００８３】
〔現実空間画像取得工程Ｓ４５１〕
ＣＰＵ２０ａは、客観カメラ６０から送信される現実空間画像６０３を、現実空間画像取得手段３５２を用いて取得し、ＲＡＭ２０ｃ等に記憶する。
【００８４】
〔透過処理工程Ｓ４５２〕
ＣＰＵ２０ａは、ＲＡＭ２０ｃに記憶された現実空間画像６０３に含まれる所定の色を透過して、客観透過現実空間画像６０３’を生成してＲＡＭ２０ｃ等に記憶する。ＣＰＵ２０ａは、現実空間画像６０３をＲＡＭ１０ｃ等から読み出し、透過処理手段３５３を用いて当該現実空間画像６０３の所定の色を透過して客観透過現実空間画像６０３’を生成して、ＲＡＭ２０ｃ等に記憶する。現実空間画像６０３は、ＨＭＤ３０を装着するプレイヤＰ以外の部分がクロマキーカーテン７０の緑色になっているため、この色のアルファ値を変更することで現実空間画像６０３を透過する。図６に示すように、客観透過現実空間画像６０３’は、プレイヤＰだけが抽出され、プレイヤＰ以外のクロマキーカーテン７０で覆われた箇所が透過された画像となる。
【００８５】
〔客観背景画像受信工程Ｓ４５３〕
ＣＰＵ２０ａは、ＣＰＵ１０ａが客観背景画像送信手段３０９を用いて、生成装置１０から送信された客観背景画像６０１を示す情報を受信し、ＲＡＭ２０ｃ等に記憶する。
【００８６】
〔客観前景画像受信工程Ｓ４５４〕
ＣＰＵ２０ａは、ＣＰＵ１０ａが客観前景画像送信手段３１０を用いて、生成装置１０から送信された客観前景画像６０２又は透過された客観前景画像６０２’を示す情報を受信し、ＲＡＭ２０ｃ等に記憶する。
【００８７】
〔複合現実画像生成工程Ｓ４５５〕
ＣＰＵ２０ａは、ＲＡＭ２０ｃ等に記憶した客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’を読み出す。そして、複合現実画像生成手段３５６を用いて、客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’を重ねることにより、複合現実画像６０４を生成して、ＲＡＭ２０ｃ等に記憶する。複合現実画像は、下から客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’の順番で重ねられて、ＲＡＭ２０ｃ等に記憶される。
【００８８】
〔ディスプレイ表示制御工程Ｓ４５６〕
ＣＰＵ２０ａは、複合現実画像生成工程Ｓ４５５で生成された複合現実画像６０４をＲＡＭ２０ｃ等から読み出し、ディスプレイ表示制御手段３５７を用いてビデオコントローラ２０ｈを通じてディスプレイ８０に表示する。
【００８９】
〔終了工程Ｓ４５７〕
ＣＰＵ２０ａは、ＨＭＤ３０を装着しているプレイヤＰに仮想ゲームを表示する処理の終了指示があったか否かを判定する。ＣＰＵ２０ａは、終了指示があったと判定した場合には、一連の処理を終了する。ＣＰＵ２０ａは、終了指示がない場合には現実空間画像取得工程Ｓ４５１に処理を戻し、終了指示があるまで一連の処理を繰り返す。
【００９０】
〔第一仮想ゲーム〕
次に画像処理装置１を利用した第一仮想ゲームを図３及び図７に基づいて説明する。図７は、複合現実画像が生成される過程を示す図である。第一仮想ゲームは、プレイヤＰが、クロマキーカーテン７０に囲まれた空間で、ＨＭＤ３０を頭に装着し、第一コントローラ４０を右手に持ち、第二コントローラ５０を左手に持って、仮想空間の中で怪物を退治するゲームである。この第一仮想ゲームは、手動又は自動で移動する１台の客観カメラ６０でプレイヤＰを撮影しながらクロマキー合成を行うことで、ビジタＶがプレイヤＰの状態を把握することができる。本例においては、図７に示すように、プレイヤＰが客観カメラ６０側を向いた瞬間を例に説明をする。
【００９１】
この状態のとき、客観カメラ位置特定手段３０２は、客観カメラ６０の位置と向きを取得し、対象位置特定手段３０３は、ＨＭＤ３０、第一コントローラ４０及び第二コントローラ５０の位置と向きを取得する（Ｓ４０１、Ｓ４０２）。配置手段３０５は、取得した客観カメラ６０、ＨＭＤ３０、第一コントローラ４０、第二コントローラ５０の位置と向きに基づいて、仮想空間にオブジェクト画像を配置する（Ｓ４０４）。主観仮想空間画像取得手段３０６は、主観仮想空間画像を生成し（Ｓ４０５）、ＨＭＤ３０に主観仮想空間画像を表示する（Ｓ４０６）。
【００９２】
仮想空間画像取得手段３０８は、客観カメラ６０の位置と向きに基づいて、図６に示すように、仮想空間画像として客観背景画像６０１と客観前景画像６０２を生成する（Ｓ４０７）。本例において、プレイヤＰがもつ第二コントローラ５０は、ＨＭＤ３０と客観カメラ６０との間にある。このため、客観前景画像６０２には、盾画像のみが表示される。仮想空間画像取得手段３０８は、客観前景画像６０２を透過してキーイングして透過された客観前景画像に生成する（Ｓ４０７）。客観背景画像送信手段３０９は、専用のインターフェースを介して、客観背景画像６０１を生成装置１０から合成装置２０に送信する（Ｓ４０８）。客観前景画像送信手段３１０は、専用のインターフェースを介して、透過された客観前景画像６０２’を生成装置１０から合成装置２０に送信する（Ｓ４０９）。
【００９３】
現実空間画像取得手段３５２は客観カメラ６０から送信される現実空間画像６０３を取得し（Ｓ４５１）、透過処理手段３５３は現実空間画像の所定の色を透過して客観透過現実空間画像６０３’を生成する（Ｓ４５２）。客観背景画像受信手段３５４は、専用のインターフェースを介して、客観背景画像６０１を生成装置１０から合成装置２０に受信する（Ｓ４５３）。客観前景画像受信手段３５５は、専用のインターフェースを介して、透過された客観前景画像６０２’を生成装置１０から合成装置に受信する（Ｓ４５４）。図６に示すように、複合現実画像生成手段３５６は、下から客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’の順番で重ねて複合現実画像６０４を生成する（Ｓ４５６）。
【００９４】
本例においては、プレイヤＰがもつ第二コントローラ５０は、ＨＭＤ３０と客観カメラ６０との間にあるため、客観前景画像６０２に盾画像のみが表示され、客観透過現実空間画像６０３’のプレイヤＰの画像に盾画像が重なるように配置される。図６に示すように、ディスプレイ表示制御手段３５７は、複合現実画像６０４をディスプレイ８０に表示する。
【００９５】
なお、プレイヤＰがもつ第一コントローラ４０が、ＨＭＤ３０と客観カメラ６０との間にある場合は、客観前景画像６０２に武器画像が表示されるため、客観透過現実空間画像６０３’のプレイヤＰの画像に武器画像が重なるように配置される。また、プレイヤＰがもつ第一コントローラ４０や第二コントローラが、ＨＭＤ３０と客観カメラ６０の後側にある場合は、客観背景画像６０１にのみ武器画像と盾画像が表示されるため、客観透過現実空間画像６０３’のプレイヤＰの画像の前には武器画像も盾画像も重なることはなく、後に配置される。
【００９６】
このように、通常のクロマキー合成では表現できない奥行きを、客観背景画像６０１、客観透過現実空間画像６０３’及び透過された客観前景画像６０２’で表現することができる。つまり、クロマキー合成で抽出されたプレイヤＰの前に所定の画像が配置できる。また、生成装置１０は仮想空間を構築する処理を主に行い、合成装置２０は生成された画像を合成し表示することを主に行うため、処理落ちがなく滑らかな複合現実画像７０４をビジタＶは見ることができる。
【００９７】
〔本発明の第二実施形態〕
以下、本発明の画像処理装置１０１について、図面に基づいて、本発明の第二実施形態として詳細に説明する。第一実施形態の第一仮想ゲームは、手動又は自動で移動する１台の客観カメラ６０のみを使用したが、第二実施形態の第二仮想ゲームは、手動又は自動で移動する３台のカメラ（客観カメラ６０、客観カメラ１６０及び客観カメラ２６０）を使用する。なお、第二仮想ゲームについて、第一仮想ゲームと同一の部分については詳細な説明は省略し、異なる部分について説明をする。
【００９８】
図７は、本発明の第二実施形態を適用した画像処理装置１０１とそれを使用した状態を示す外観図である。図８は、画像処理装置１０１の機能構成を示す図である。図９は、画像の合成の状態を示す図である。図１０は、画像の合成の状態を示す図である。図１１は、画像の合成の状態を示す図である。図７に示すように、第二仮想ゲームは、第一仮想ゲームと異なり、客観カメラ６０に加え、客観カメラ１６０及び客観カメラ２６０が用意されている。図８に示すように、第二仮想ゲームは、第一仮想ゲームと異なり、生成装置１０に客観カメラ選択制御手段３０１’があり、合成装置２０に客観カメラ特定制御手段３５１’がある。
【００９９】
〔客観カメラ選択制御手段３０１’〕
客観カメラ選択制御手段３０１’は、客観カメラ６０、客観カメラ１６０及び客観カメラ２６０のいずれかを選択するかを制御する機能を有する。客観カメラ選択制御手段３０１’は、生成装置１０に組み込まれたプログラム及び／又は生成装置１０を使用するオペレータの入力操作等によって、客観カメラ６０、客観カメラ１６０及び客観カメラ２６０のいずれかを選択する。客観カメラ選択制御手段３０１’は、選択したカメラの情報を生成装置１０に格納した後に合成装置２０に送信する。
【０１００】
〔客観カメラ特定制御手段３５１’〕
客観カメラ特定制御手段３５１’は、生成装置１０で選択されたカメラを特定する機能を有する。客観カメラ特定制御手段３５１’で特定されたカメラに基づいて、現実空間画像取得手段３５２は、現実空間画像を取得する。例えば、客観カメラ選択制御手段３０１’で客観カメラ６０が選択された場合、図９に示すように、生成装置１０では客観背景画像７０１、透過された客観前景画像７０２’を生成し、合成装置２０では客観透過現実空間画像７０３’が生成され、複合現実画像７０４が生成される。
【０１０１】
例えば、客観カメラ選択制御手段３０１’で客観カメラ１６０が選択された場合、図１０に示すように、生成装置１０では客観背景画像７１１、透過された客観前景画像７１２’を生成し、合成装置２０では客観透過現実空間画像７１３’が生成され、複合現実画像７１４が生成される。例えば、客観カメラ選択制御手段３０１’で客観カメラ２６０が選択された場合、図１０に示すように、生成装置１０では客観背景画像７２１、透過された客観前景画像７２２’を生成し、合成装置２０では客観透過現実空間画像７２３’が生成され、複合現実画像７２４が生成される。このように、第二仮想ゲームは、複数台のカメラから複合現実画像が切り替え可能に表示されるため、より視覚的演出効果を高めることができる。
【０１０２】
以上、本発明の種々の実施形態を説明したが、本発明は、この実施形態に限定されることはない。本発明の目的、趣旨を逸脱しない範囲内での変更が可能なことはいうまでもない。合成装置２０は、映像切替装置に限らずオペレーティングシステムを搭載する汎用的な装置であっても良い。ＨＭＤ３０は、右目用ビデオカメラと左目用ビデオカメラを備えているが、これらがなくても良いし、１つのビデオカメラであっても良い。ディスプレイ８０には、複合現実画像６０４のみを表示しているが、画面の片隅等に小さくプレイヤＰが見ている画像をワイプとして挿入しても良い。この場合、図３や図８に示すように、主観仮想空間画像を合成装置２０に送信すれば良い。このとき、生成装置１０は、合成装置２０に主観仮想空間画像を送信する専用のインターフェースを介して送信すると良い。
【０１０３】
ベースステーション９０は、赤外線を照射するもので説明をしたが、ベースステーション９０が赤外線を照射しつつ、各装置の位置と向きを検出するものであっても良いし、各装置が赤外線を照射しつつそれらの位置と向きを検出するものであっても良い。また、ベースステーション９０は、赤外線を照射しＨＭＤセンサ３１、第一コントローラセンサ４１、第二コントローラセンサ５１、客観カメラセンサ６１がこれを拾うことで、これらの位置と向きを検出している。しかし、これらの位置と向きを検出するのであれば、例えば、磁気で検出しても良いし、ＨＭＤ３０や客観カメラ６０で撮像された映像を解析して位置と向きを特定してもよい。
【０１０４】
仮想空間に存在する３次元モデルのオブジェクトは、武器画像、盾画像、背景画像で説明をしたが、怪物画像や客観カメラ６０の位置を示すカメラオブジェクトであるカメラ画像でも良い。怪物画像も武器画像や盾画像と同様に、ビジタＶが見る複合現実画像７０４において、プレイヤＰの画像の前や後の適当な位置に配置される。プレイヤＰがＨＭＤ３０で見ている主観仮想空間画像と、ビジタＶがディスプレイ８０で見ている複合現実画像７０４とは、ＨＭＤ３０と客観カメラ６０の位置に応じて視点が異なる。
【０１０５】
このため、プレイヤＰの視点から見えていない怪物画像について、ビジタＶにはディスプレイ８０から見える場合がある。このとき、ビジタＶがプレイヤＰに声をかけることで、せまる怪物画像に気づく場合がある。このように、プレイヤＰとビジタＶとが協力してゲームを進行することができるため面白みが増す。本発明は、例えば、システム、装置、方法、制御方法、プログラム若しくは記憶媒体等としての実施形態も実行可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【符号の説明】
【０１０６】
１        ：画像処理装置
１０      ：生成装置
１０ａ    ：ＣＰＵ
１０ｂ    ：ＲＯＭ
１０ｃ    ：ＲＡＭ
１０ｄ    ：汎用バス
１０ｅ    ：通信Ｉ／Ｆコントローラ
１０ｆ    ：入力コントローラ
１０ｇ    ：メモリコントローラ
１０ｈ    ：ビデオコントローラ
１０ｉ    ：入力デバイス
１０ｊ    ：外部メモリ
１１      ：システムバス
２０      ：合成装置
２０ａ    ：ＣＰＵ
２０ｃ    ：ＲＡＭ
２０ｄ    ：汎用バス
２０ｈ    ：ビデオコントローラ
２０ｋ    ：ディスプレイ
３０      ：ＨＭＤ
３１      ：ＨＭＤセンサ
４０      ：第一コントローラ
４１      ：第一コントローラセンサ
５０      ：第二コントローラ
５１      ：第二コントローラセンサ
６０      ：客観カメラ
６１      ：客観カメラセンサ
７０      ：クロマキーカーテン
８０      ：ディスプレイ
９０      ：ベースステーション
【図１】
2018198025.tif 000003
【図２】
2018198025.tif 000004
【図３】
2018198025.tif 000005
【図４】
2018198025.tif 000006
【図５】
2018198025.tif 000007
【図６】
2018198025.tif 000008
【図７】
2018198025.tif 000009
【図８】
2018198025.tif 000010
【図９】
2018198025.tif 000011
【図１０】
2018198025.tif 000012
【図１１】
2018198025.tif 000013