(57)【特許請求の範囲】
【請求項１】
複数の映像を組み合わせて生成した拡張仮想空間をユーザに体験させるための拡張仮想空間提供システムであって、
前記ユーザの向きや位置を認識可能な情報を少なくとも含む計測情報を取得する、計測部と、
前記ユーザの略視線方向を含んだ生映像を取得する、撮影部と、
前記生映像を基礎とする入力映像に対し、任意の部分を除去した処理映像を生成する、映像処理部と、
撮影映像、ＣＧ映像またはこれらの組合せ、からなる素材映像と、前記処理映像と、を前記計測情報に基づいて組み合わせた合成映像を生成する、合成部と、
前記合成映像を前記ユーザに表示する、表示部と、
を少なくとも有し、
前記映像処理部が、
前記生映像を基礎とする入力映像に対し、当該入力映像の深度情報の値に基づく除去処理であるデプス系除去処理と、
前記デプス系除去処理を行った入力映像に対し、当該入力映像の色空間情報の値に基づく除去処理であるクロマ系除去処理を行って、前記処理映像とすることを特徴とする、
拡張仮想空間提供システム。
【請求項２】
前記クロマ系除去処理が、
前記入力映像のピクセル毎に有するＨＳＶ色空間情報が所定の範囲の色相かつ所定の彩度以上である場合に、当該ピクセルを除去する処理であることを特徴とする、
請求項１に記載の拡張仮想空間提供システム。
【請求項３】
前記クロマ系除去処理に用いる前記所定の範囲の色相または彩度が、複数設定されていることを特徴とする、
請求項１または２に記載の拡張仮想空間提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像を組み合わせてなる拡張仮想空間をユーザに視認可能なシステムに関し、より詳しくは、素材映像からなる仮想空間に、リアルタイムに撮影するユーザ周辺の生映像に映像処理を行った処理映像を組み合わせて、仮想空間にユーザの手足等を表示可能とすることで、あたかも仮想空間に現実のユーザが存在するように認識させることが可能な、拡張式の仮想現実提供システムに関する。
【背景技術】
【０００２】
「Ｒ（Ｒｅａｌｉｔｙ）」の付く技術として、「ＶＲ」「ＡＲ」「ＭＲ」などが知られている。
「ＶＲ」とは「Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ」の略であり「仮想現実」とも称される。これは、ユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に仮想空間を表示することで、当該仮想空間の中にユーザ自身が実際に存在するような体験を提供可能としている。
【０００３】
次に、「ＡＲ」とは「Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ」の略であり、「拡張現実」とも称される。これは、現実世界にＣＧなどで作るデジタル情報を加えるものであり、例えばスマートフォンのゲームアプリなどにおいて、スマートフォンの位置情報を用いて現実世界の風景に仮想現実のキャラクターを一緒に表示するよう構成することで、スマートフォンの画面を通して、あたかもその場にゲームのキャラクターが存在しているかのような体験を提供可能としている。
このように、「ＶＲ」が仮想空間を主とするのに対し、「ＡＲ」は現実空間を主とする点で、両者は基本的な考え方を異にしている。
【０００４】
また、「ＭＲ」とは「Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ」の略であり、「複合現実」とも称される。これは、ユーザが装着する透過型のゴーグルやスマートグラスなどを介して現実世界に仮想世界を重ね合わせた世界をユーザに体験させるものである。
この「ＭＲ」は、先の「ＡＲ」と同様、現実空間を主としている考え方である。
【０００５】
ところで、出願人は過去に、以下の特許文献１に記載の技術を考案している。
この特許文献１に係る画像表字型シミュレーションサービス提供システムは、現実の画像情報（「現実空間」に相当）と、三次元仮想画像情報（「仮想空間」に相当）と、をモーションキャプチャー装置の計測情報に基づいて合成処理してなる合成画像情報を表示可能に構成している。
本技術では、現実世界である所定の広さを有する部屋の映像に、窓、家具、家電などのＣＧ映像を合成してＨＭＤに表示することにより、ＨＭＤを装着したユーザが、当該部屋をモデルルームとして体験可能に構成している。
これは、前記した「ＶＲ」「ＡＲ」「ＭＲ」のうち、「ＡＲ」または「ＭＲ」の考え方に沿った技術といえる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−１４６７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の「ＶＲ」「ＡＲ」「ＭＲ」の何れとも異なる概念として、出願人は、新たに「ＡＶＲ」なる概念を着想・考案した。
この「ＡＶＲ」とは「Ａｄｖａｎｃｅｄ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ」の略であり、「拡張仮想現実」と称する概念である。
これは、「ＶＲ」のように仮想空間を主としつつ、この仮想空間に現実空間のユーザ等を重ね合わせた空間（以下「拡張仮想空間」という。）を体験させるものである。
したがって、「ＡＲ」や「ＭＲ」が現実空間を主とするのに対し、「ＡＶＲ」は仮想空間を主とする点において、両者は基本的な考え方を異にする。
この「ＡＶＲ」による拡張仮想空間では、ユーザの近接領域や、その他、任意に設定された領域を現実空間として設定することにより、ユーザの身体やユーザが手にする物体など、現実空間に存在するものを仮想空間上に表示させることができるため、従来のＶＲとは異なる感覚をユーザに体験させることができるとの確信に至った。
【０００８】
上記した「ＡＶＲ」の概念を実現するにあたり、以下に記載する課題のうち、少なくとも何れか１つの課題が見出された。
（１）ユーザの身体やユーザが手にする物などの映像部分を抽出して合成対象とする場合に、当該映像部分をより綺麗に抽出したい。
（２）現実の撮影映像からユーザの身体などを抽出するにあたり、カメラの撮影映像から求める深度情報や、３Ｄスキャナから取得する深度情報を用いる場合、ユーザの足元と部屋の床とを明確に区別して、ユーザの足元のみを現実空間としてより綺麗に抽出したい。
（３）合成対象の一方となる、現実の撮影映像からの抽出映像の生成処理の負荷を軽くしたい。
（４）合成作業の情報処理の負荷を軽くしたい。
【０００９】
したがって、本発明は、ユーザに対し、より高品質な拡張仮想空間を提供することが可能な手段の提供を目的の一つとするものである。
【課題を解決するための手段】
【００１０】
上記課題を解決すべくなされた本願の第１発明は、複数の映像を組み合わせて生成した拡張仮想空間をユーザに体験させるための拡張仮想空間提供システムであって、前記ユーザの向きや位置を認識可能な情報を少なくとも含む計測情報を取得する、計測部と、前記ユーザの略視線方向を含んだ生映像を取得する、撮影部と、前記生映像を基礎とする入力映像に対し、任意の部分を除去した処理映像を生成する、映像処理部と、撮影映像、ＣＧ映像またはこれらの組合せ、からなる素材映像と、前記処理映像と、を前記計測情報に基づいて組み合わせた合成映像を生成する、合成部と、前記合成映像を前記ユーザに表示する、表示部と、を少なくとも有し、前記映像処理部が、前記生映像を基礎とする入力映像に対し、当該入力映像の深度情報の値に基づく除去処理であるデプス系除去処理と、前記デプス系除去処理を行った入力映像に対し、当該入力映像の色空間情報の値に基づく除去処理であるクロマ系除去処理を行って、前記処理映像とするものである。
また、本願の第２発明は、前記第１発明について、前記クロマ系除去処理が、前記入力映像のピクセル毎に有するＨＳＶ色空間情報が所定の範囲の色相かつ所定の彩度以上である場合に、当該ピクセルを除去する処理であることを特徴とするものである。
また、本願の第３発明は、前記第１発明または第２発明について、前記クロマ系除去処理に用いる前記所定の範囲の色相または彩度が、複数設定されていることを特徴とするものである。
【発明の効果】
【００１１】
本発明によれば、以下に記載する効果のうち少なくとも何れか１つの効果を奏する。
（１）デプス系除去処理を行うことで、ユーザの身体を綺麗に抽出して合成映像に組み込むことができる。
（２）クロマ系除去処理を行うことで、ユーザの足元と部屋の床とを明確に区別して、ユーザの足元部分を綺麗に抽出することができる。
（３）デプス系除去処理が、深度情報と、設定した所定の距離とを比較する単純処理であるため、除去処理の速度が早くなる。
（４）デプス系除去処理と、クロマ系除去処理とを並行して実施することにより、合成作業の処理速度が早くなる。
（５）仮想の手足ではなくユーザの手足をそのまま視認できるため、ＶＲ酔いを低減できる。
（６）合成映像の生成速度が速いため、実際のユーザの手足の動きと、合成映像上のユーザの手足の動きとの間での遅延を抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る拡張仮想空間提供システムの機能ブロック図。
【図２】本発明に係る拡張仮想空間提供システムの装置構成図。
【図３】拡張仮想空間の生成例（１）を示すイメージ図。
【図４】拡張仮想空間の生成例（２）を示すイメージ図。
【図５】映像処理部での除去処理を並行実施する場合のイメージ図。
【発明を実施するための形態】
【００１３】
以下、各図面を参照しながら、本発明の実施例について説明する。
【実施例１】
【００１４】
＜１＞機能構成（図１）
図１に、本発明に係る拡張仮想空間提供システムの機能ブロック図を示す。
本発明に係る拡張仮想空間提供システムは、ユーザの居室空間に設置するシステムであり、当該ユーザに、複数の映像を組み合わせてなる合成映像を視認させることで、従来のＶＲとは異なる感覚をユーザに体験させることを可能としたシステムである。
本システムは、ユーザの計測情報を取得する計測部１０と、ユーザの略視線方向の生映像を取得する撮影部２０と、撮影部２０で取得した生映像を基礎として映像処理を行う映像処理部３０と、複数の映像を組み合わせてなる合成映像を生成する合成部４０、および合成映像をユーザに表示する表示部５０と、としての機能を少なくとも持たせている。
以下、各部の詳細について説明する。
【００１５】
＜２＞計測部（図１）
計測部１０は、ユーザの計測情報を取得する機能を具備する装置である。
前記「計測情報」とは、ユーザの向きや位置を認識可能な情報を少なくとも含むものであり、この計測情報に基づいて合成映像を生成したり、ユーザに視認させる合成映像を制御したりすることができる。
計測部１０は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、ＧＰＳ装置などを用いることができる。
また、計測部１０は、居室空間に設置するタイプ、ユーザが装着するヘッドマウントディスプレイに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが把持するタイプなど、あらゆるタイプが含まれる。
【００１６】
＜３＞撮影部（図１）
撮影部２０は、ユーザの略視線方向を含んだ生映像を取得する機能を具備する装置である。
前記「生映像」とは、ユーザの略視線方向を含んだ現実空間を撮影した映像であり、すなわちユーザの居室空間が映し出された映像である。
撮影部２０は、ヘッドマウントディスプレイに内蔵されているカメラ、ヘッドマウントディスプレイに外付けするカメラ、その他ユーザが装着可能な態様を呈するカメラを用いることができる。
また、本発明において、撮影部２０は少なくとも略視線方向の生映像を撮影できるカメラであれば足りるが、撮影部２０としてユーザの周囲全周を撮影可能なカメラなどを除外するものではない。
【００１７】
＜４＞映像処理部（図１）
映像処理部３０は、撮影部２０で取得した生映像を基礎とする入力映像から、合成対象である現実空間側の映像（処理映像）を生成する機能を具備する装置である。
前記「入力映像」とは、撮影部２０で取得した生映像を基礎とする映像であり、具体的には、撮影部２０で取得した生映像そのものや、当該生映像を当該映像処理部３０で映像処理を施したあとの映像なども含まれる。
映像処理部３０は、情報処理装置が備えるＣＰＵ，メモリ，ＧＰＵなどのハードウェアをソフトウェアによる制御でもって構成することができる。
【００１８】
＜４．１＞各処理の概要
本実施例では、映像処理部３０で行う映像処理が、デプス系除去処理とクロマ系除去処理の二種類に分かれている。
本発明では、これらの映像処理を順不同かつ回数を問わずに実施して、まとめて一つの処理映像Ｅを生成してもよいし、同一の入力映像に対し並行して個別にデプス系除去処理とクロマ系除去処理とを行ったものをそれぞれ用意して二つの処理映像Ｅを生成してもよい。
以下、各映像処理の詳細について説明する。
【００１９】
＜４．２＞デプス系除去処理
デプス系除去処理は、生映像を基礎とする入力映像について、当該入力映像の深度情報の値に基づいた除去を行う処理である。
入力映像の深度情報は、撮影部２０による生映像に予め埋め込まれているデータや、生映像を画像解析して別途生成するデータ、別途設けた３Ｄスキャナから得られるデータなどを用いることができる。
【００２０】
＜４．２．１＞デプス系除去処理の例
デプス系除去処理の一例としては、入力映像に対し、該入力映像の深度情報に基づいて所定の距離以上の深度情報を有する部分を除去する処理が考えられる。
その他、本発明では、除去対象とする深度情報の特定に、ユーザからの相対距離の情報だけでなく、ユーザの向き（角度情報）や、これらの絶対値を用いても良い。
例えば、ユーザから所定の角度の範囲を呈する平面視して略扇型を呈する柱空間を現実空間とし、その余の空間を仮想空間とするよう除去処理を行うことができる。
また、ユーザを略中心とする平面視して矩形状を呈する柱空間を現実空間とし、その余の空間を仮想空間とするように除去処理を行うこともできる。
これらは、ユーザに体験させる拡張仮想空間のシチュエーションによって適宜決定すればよい。
【００２１】
＜４．３＞クロマ系除去処理
クロマ系除去処理は、前記生映像を基礎とする入力映像について、当該入力映像の色空間情報の値に基づいた除去を行う処理であり、より詳細には、入力映像に対しユーザの居室空間に配置してある背景材の均質色に対応する部分を除去して、当該除去部分に他の映像を合成可能とする処理である。
クロマ系除去処理は、ＲＧＢ，ＲＧＢＡ，ＣＭＹ，ＨＳＶ，ＨＬＳなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去する。
本実施例では、ＨＳＶ色空間情報を用いてクロマ系除去処理を行っている。ＨＳＶ色空間情報は、色相（ｈｕｅ：０°〜３６０°）、彩度（ｓａｔｕｒａｔｉｏｎ：０％〜１００％）、明度（ｖａｌｕｅ：０％〜１００％）を含んだ情報である。
本発明に係るシステムの開発にあたり試行錯誤を図っていく中で、本発明者は、明度を問わず、色相および彩度について所定の範囲設定を施した場合に、背景材の均質色に対応する部分が高速かつ綺麗に除去されることを見出した。
したがって、本発明では、クロマ系除去処理を、入力映像のピクセル毎に有するＨＳＶ色空間情報が所定の範囲の色相かつ所定の彩度以上である場合に、当該ピクセルを除去する処理とすることが好ましい。
【００２２】
＜４．４＞映像処理の好適例
各除去処理について順番および回数を問わない点や、複数の処理映像を生成しても良い点については既に前述した通りである。
その中でも、現段階でのシステムを構成する各装置の性能とコストとのバランスを取った場合、生映像に対し、デプス系除去処理を行った映像に対し、クロマ系除去処理を行う手順を採用する手順が、合成対象の現実空間側にあたる処理映像の高速生成と明瞭な抽出のバランスに優れることが判明した。
これは、ユーザに対し、明らかに所定の距離以上離れた空間の箇所は、デプス系処理で予め除去しておき、当該除去箇所についてクロマ系除去処理を行わないようにすることで、映像処理を高速化できたことに起因するものと考えられる。
これは、ユーザの近接周りのみを現実空間とし、ユーザから所定の距離以上離れた空間を仮想空間で視認させる場合において有効である。
【００２３】
＜５＞合成部（図１）
合成部４０は、複数の映像を計測部１０で得た計測情報に基づいて組み合わせてなる合成映像Ｇを生成する機能を具備する装置である。
合成対象となる映像情報は、前記映像処理部３０で生成した少なくとも一つ以上の処理映像と、予め保存または前記生映像とは別に生成される、素材映像と、からなる。
素材映像は、現実の場所を撮影してなる撮影映像またはＣＧ映像、もしくはこれらの組合せ映像を用いることができる。
処理映像は、拡張仮想空間における現実空間側の映像に相当し、前記映像処理部３０で除去された部分に合成された素材映像が、拡張仮想空間における仮想空間に相当する。
合成部４０は、情報処理装置が備えるＣＰＵ，メモリ，ＧＰＵなどのハードウェアをソフトウェアによる制御でもって構成することができる。
【００２４】
＜６＞表示部（図１）
表示部５０は、合成部４０で生成した合成映像を、ユーザに表示する機能を具備する装置である。
表示部５０は、ＶＲで使用可能な、ヘッドマウントディスプレイ、ゴーグルなどを使用でき、その他にも、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
【００２５】
＜７＞装置構成例（図２）
図２に、本発明に係る拡張仮想空間提供システムの装置構成図を示す。
図２では、本発明に係る拡張仮想空間提供システムを、ユーザＸが装着するヘッドマウントディスプレイＡ、居室空間Ｙに設置する情報処理装置Ｂ、および、居室空間Ｙに適宜配置する背景材Ｃで構成している。
そして、ユーザＸの略視線方向の任意の領域が、拡張仮想空間を構成する合成映像に含まれる抽出空間Ｚとして設定されている。
この抽出空間Ｚは、前記した映像処理部におけるデプス系除去処理で用いられる所定の距離の設定値によって区画される。
【００２６】
＜７．１＞ヘッドマウントディスプレイ（図２）
ヘッドマウントディスプレイＡには、ユーザＸの計測情報を取得する計測部１０と、ユーザＸの略視線方向の生映像を取得する撮影部２０と、合成映像をユーザＸに表示する表示部５０の機能を少なくとも持たせている。
本実施例では、計測部１０に、ヘッドマウントディスプレイＡに内蔵している、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群を用い、撮影部２０に、ヘッドマウントディスプレイＡの前面に外付けしたデュアルカメラを用い、表示部５０に、ヘッドマウントディスプレイＡ内のディスプレイ部分を用いている。
撮影部２０を構成するデュアルカメラで撮影した生映像は、各カメラで撮影した映像の視差を利用して深度情報を生成することができる。
【００２７】
＜７．２＞情報処理装置（図２）
情報処理装置Ｂには、撮影部２０で取得した生映像を基礎として映像処理を行う映像処理部３０、複数の映像を組み合わせてなる合成映像を生成する、合成部４０の機能を少なくとも持たせている。
また、情報処理装置には、合成対象の一つである撮影映像、ＣＧ映像またはこれらの組合せ、からなる素材映像を保管またはリアルタイムに外部取得可能に構成している。
【００２８】
＜７．３＞背景材（図２）
背景材Ｃは、クロマ系除去処理によってピクセルを除去する領域を特定するための機能を持った物体である。
なお、本発明における背景材Ｃは、図２に示すシート状物に限定されず、テープや塗料も含まれる。
例えば、ユーザＸが持つ物体（ゲーム用とでは銃や剣など、工事現場のシミュレーションでは、ハンドカッターや重機のハンドルなど）を、均質色を呈するテープを巻き付けたり、均質色を呈する塗料を塗布したりすれば、当該部分をクロマ系除去処理によって除去しつつこれらの物体の仮想映像となる素材映像を合成するような処理も可能である。
また、ユーザＸが座るための椅子や、ユーザＸを宙づりにするための治具なども、クロマ系除去処理に用いる均質色に対応した着色加工を施せば背景材Ｃとなる。
【００２９】
＜８＞拡張仮想空間の生成例（１）（図３）
図３に、本システムを用いた拡張仮想空間の生成例（１）を示す。
先に説明した図２では、居室空間Ｙの壁に背景材Ｃを配置しており、ユーザＸは居室空間Ｙの壁側を向いて自己の両手をヘッドマウントディスプレイＡの前にかざした姿勢を呈している。
このとき、撮影部２０で撮影した生映像Ｄは、図３（ａ）に示すように均質色で覆われた背景を示しており、その手前にユーザＸの両手が映った状態である。
この生映像Ｄに対し、まず、映像処理部３０でもってデプス系除去処理を実施すると、図３（ｂ）のように、ユーザＸ（より正確にはカメラ）から所定の距離以上の深度情報を持った部分が除去された処理映像Ｅ１が生成される。
このとき、生映像Ｄに基づく深度情報の精度が低い場合、指の間の隙間部分が上手く除去できずに、奥の背景材Ｃの均質色が残ってしまう場合がある。
そこで、デプス系除去処理を施した処理映像Ｅ１に、さらにクロマ系除去処理を実施すると、図３（ｃ）のように、指の間の均質色部分が除去された処理映像Ｅ２が生成される。
合成部４０は、図３（ｃ）に示した処理映像Ｅ２と、図３（ｄ）に示した素材映像Ｆとを、計測部１０で取得した計測情報に基づいて組み合わせた合成映像Ｇを生成して、ヘッドマウントディスプレイＡの表示部５０に送信する。
【００３０】
＜８．１＞クロマ系除去処理のみとしない理由（実用上の観点）
なお、図３に示したイメージ図では、図３（ｂ）に係るデプス系除去処理を行わずに、図３（ａ）に示す生映像Ｄから直ちにクロマ系除去処理を行っても、理論上図３（ｄ）と同様の合成映像Ｇを得ることはできる。
しかし、クロマ系除去処理のみを行うことを前提としたシステムでは、居室空間Ｙの全周にわたって背景材Ｃを設置する必要が生じる点で利便性に難がある。例えば、居室空間Ｙの天井部分に背景材Ｃを配置する作業は労を要するため、回避したい作業の一つである。
そこで、居室空間の天井部分には背景材Ｃを配置せずに、少なくとも当該天井部分についてはデプス系除去処理を行った処理映像Ｅを提供するように構成すれば、比較的合成品質の高い合成映像Ｇを生成することができる。
【００３１】
＜９＞拡張仮想空間の生成例（２）（図４）
図４に、本システムを用いた拡張仮想空間の生成例（２）を示す。
先に説明した図２から、ユーザＸが居室空間Ｙの床側を向いた場合を仮定する。
なお、居室空間Ｙの床には、ユーザＸが立っている箇所に部分的に背景材Ｃが設置されている状態である。
このとき、撮影部２０で撮影した生映像Ｄは、図４（ａ）に示すように背景材Ｃの均質色で覆われた部分と、床Ｙ１が映った状態である。
この生映像Ｄに対し、まず、映像処理部３０でもってデプス系除去処理を実施すると、図４（ｂ）のように、ユーザＸ（より正確には撮影部２０）から所定の距離以上の深度情報を持った部分が除去された処理映像Ｅ１が生成される。
このとき、ユーザＸからみた足元部分までの距離と床までの距離とには大差が無いことから、デプス系除去処理を行ったとしても、足元部分のみを上手く抽出できずに、足元部分の周囲の均質色が残っている場合がある。
そこで、デプス系除去処理を施した処理映像Ｅ１に、さらにクロマ系除去処理を実施すると、図４（ｃ）のように、足元の周囲に残った均質色部分が除去された処理映像Ｅ２が生成される。
図４（ｄ）は、図４（ｃ）の処理映像Ｅ２に素材映像Ｆを組み合わせた合成映像Ｇである。この素材映像Ｆは、高層ビルの端に立ったユーザＸが、地上を見下ろしている時の映像である。このようなシチュエーションでは、ユーザＸの足元部分が綺麗に抽出されて合成されていると、没入感の観点からもメリットが大きい。
【００３２】
＜１０＞拡張仮想空間の特徴
本発明に係る拡張仮想空間の特徴について説明する。
図３や図４で示した合成映像Ｇからなる拡張仮想空間は、素材映像Ｆによる仮想空間が周囲に展開されつつ、ユーザＸの近傍の領域ではリアルタイムに撮影されているユーザＸ自身の手足や服が映っているため、ユーザＸはあたかも自分の身体ごと仮想空間に移動した印象を体験することができる。
【００３３】
［没入感の向上］
この結果、従来、モーションキャプチャー装置などでユーザＸの姿勢や動きを検出して仮想空間上に仮想の手足を表示した場合と比較して、本発明に係る拡張仮想空間は、ユーザＸの没入感の向上に寄与している。
【００３４】
［ＶＲ酔いの低減］
また、本発明に係る拡張仮想空間は、従来のＶＲのように仮想空間上に仮想の手足を表示した場合と比較して、ユーザＸのＶＲ酔いの低減効果が確認されている。
この効果に対する明確な理由は、未だ明らかにされてはいないものの、例えば以下の理由が考えられる。
理由１：仮想の手足ではなくユーザＸの手足をそのまま視認できることから、より現実空間に近い感覚で空間を認識できているため。
理由２：デプス系除去処理は、深度情報と、設定した所定の距離との間で値を比較する単純処理であり処理速度が早いことから、実際のユーザＸの手足の動きと合成映像Ｇ上のユーザＸの手足の動きとの間の遅延が少なく追従製に優れる結果、ユーザＸの違和感が生じないため。
【実施例２】
【００３５】
［各除去処理の並行実施］（図５）
本発明では、映像処理部３０におけるデプス系除去処理と、クロマ系除去処理とを並行実施し、それぞれの結果を処理映像として合成対象とするように構成してもよい。
図５に、本実施例に係る合成映像Ｇの生成イメージを示す。
図５に示すように、撮影部２０から取得した生映像Ｄに対し、別々にデプス系除去処理と、クロマ系除去処理とを行い、それぞれ生成した処理映像Ｅ１，Ｅ２と、素材映像Ｆとを合成して、合成映像Ｇを生成することができる。
このとき、デプス系除去処理が行われた処理映像Ｅ２で残されている背景材Ｃの均質色部分が合成映像Ｇに反映されないように制御すればよい。
例えば、一方の処理映像Ｅで除去された部分については他方の処理映像Ｅで残された部分があったとしても当該部分を合成映像Ｇに反映させないように制御する方法や、複数の処理映像Ｅ１，Ｅ２にそれぞれ優先度を設定する方法などが考えられる。
【実施例３】
【００３６】
［クロマ系除去処理の複数実施］（図示せず）
本発明では、前記した映像処理部３０において、クロマ系除去処理を色空間情報の異なる設定値を複数用意して、複数回実行するように構成してもよい。
例えば、居室空間Ｙに配置する背景材Ｃを、例えば青系の背景材Ｃと、緑系の背景材Ｃとに分けておくことにより、青系のクロマ系除去処理を行った箇所に合成する映像と、緑系のクロマ系除去処理を行った箇所に合成する映像とを変えることができる。
【実施例４】
【００３７】
［デプス系除去のみ］（図示せず）
本発明では、前記した映像処理部３０において、デプス系除去処理のみを行うように構成してもよい。
例えば、ユーザＸに体験させる拡張仮想空間が、ユーザＸからみて側周方向および上方向に展開されている場合などでは、デプス系除去処理のみによっても、比較的品質の高い合成映像ＧをユーザＸに視認させることができる。
【符号の説明】
【００３８】
１０  計測部
２０  撮影部
３０  映像処理部
４０  合成部
５０  表示部
Ｘ    ユーザ
Ｙ    居室空間
Ｙ１  床
Ｚ    抽出空間
Ａ    ヘッドマウントディスプレイ
Ｂ    情報処理装置
Ｃ    背景材
Ｄ    生映像
Ｅ    処理映像
Ｆ    素材映像
Ｇ    合成映像
【要約】
【課題】ユーザに対し、より高品質な拡張仮想空間を提供すること。
【解決手段】ユーザの向きや位置を認識可能な情報を少なくとも含む計測情報を取得する計測部１０と、ユーザＸの略視線方向を含んだ生映像を取得する撮影部２０と、生映像を基礎とする入力映像に対し任意の部分を除去した処理映像を生成する映像処理部３０と、撮影映像、ＣＧ映像またはこれらの組合せ、からなる素材映像と、処理映像とを計測情報に基づいて組み合わせた合成映像を生成する合成部４０と、合成映像をユーザＸに表示する表示部５０とを少なくとも有する。映像処理部３０では、生映像を基礎とする入力映像の深度情報に基づいて所定の距離以上の深度情報を有する部分を除去して抽出空間Ｚを抽出するデプス系除去処理を実施する。さらに生映像を基礎とする入力映像に対して所定の色空間情報を有する部分を除去するクロマ系除去処理を実施してもよい。
【選択図】図２【図１】
0006717486.tif 000002
【図２】
0006717486.tif 000003
【図３】
0006717486.tif 000004
【図４】
0006717486.tif 000005
【図５】
0006717486.tif 000006