(57)【要約】【課題】カメラにより撮影された被写体の画像と仮想空間画像とを簡素なシステムで高品位に合成できる画像生成システム及びプログラム等の提供。【解決手段】画像生成システムは、実空間に配置されたカメラにより背景及び被写体を撮影した第１画像と、カメラにより背景を撮影した第２画像と、を取得する取得部と、カメラの位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する画像生成部と、第１画像と第２画像の差分画像を求めることで被写体の画像を抽出して、仮想空間画像に被写体の画像が合成された合成画像を生成する画像合成部を含む。【選択図】図９
2020204856.tif 000002
【特許請求の範囲】
【請求項１】
実空間に配置されたカメラにより背景及び被写体を撮影した第１画像と、前記カメラにより前記背景を撮影した第２画像と、を取得する取得部と、
前記カメラの位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する画像生成部と、
前記第１画像と前記第２画像の差分画像を求めることで前記被写体の画像を抽出して、前記仮想空間画像に前記被写体の画像が合成された合成画像を生成する画像合成部と、
を含むことを特徴とする画像生成システム。
【請求項２】
請求項１において、
前記画像合成部は、
前記実空間において前記被写体が搭乗する筐体の画像を抽出し、前記仮想空間画像に前記被写体の画像及び前記筐体の画像が合成された前記合成画像を生成することを特徴とする画像生成システム。
【請求項３】
請求項２において、
前記画像合成部は、
前記筐体の画像の抽出範囲を指定する筐体マスク画像を用いて、前記筐体の画像を抽出することを特徴とする画像生成システム。
【請求項４】
請求項１において、
前記画像合成部は、
前記被写体が装着する少なくとも１つのトラッキング装置からのトラッキング情報に基づいて、前記被写体の画像の抽出範囲を設定して、前記被写体の画像を抽出することを特徴とする画像生成システム。
【請求項５】
請求項４において、
前記画像合成部は、
前記トラッキング装置の位置と、前記トラッキング装置の位置から所与の距離だけシフトした位置に設定された補助点の位置とに基づいて、前記被写体の画像の前記抽出範囲を設定することを特徴とする画像生成システム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記被写体であるプレーヤに表示されるプレーヤ用の仮想空間画像として、前記仮想空間において前記撮影用の仮想カメラの位置に対応する位置に、前記撮影用の仮想カメラの画像及び撮影者キャラクタの画像の少なくとも一方が表示される仮想空間画像を生成することを特徴とする画像生成システム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記被写体であるプレーヤが装着し、前記仮想空間においてプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像が表示される頭部装着型表示装置と、
前記合成画像がギャラリー用画像として表示されるギャラリー用表示装置と、
を含むことを特徴とする画像生成システム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記取得部は、
前記背景及び前記被写体を前記カメラにより撮影したデプス画像を取得し、
前記画像合成部は、
前記差分画像と前記デプス画像に基づいて、前記被写体の画像を抽出することを特徴とする画像生成システム。
【請求項９】
請求項８において、
前記画像合成部は、
前記差分画像に基づいて差分マスク画像を生成し、前記デプス画像に基づいて、デプス値が所与のデプス範囲となる画素を識別するデプスマスク画像を生成し、前記差分マスク画像と前記デプスマスク画像に基づいて、前記被写体を識別する被写体マスク画像を生成し、前記被写体マスク画像と前記第１画像に基づいて、前記被写体の画像を抽出することを特徴とする画像生成システム。
【請求項１０】
請求項９において、
前記画像合成部は、
前記デプスマスク画像の補正処理を行い、前記補正処理後の前記デプスマスク画像と前記差分マスク画像に基づいて前記被写体マスク画像を生成することを特徴とする画像生成システム。
【請求項１１】
請求項１０において、
前記画像合成部は、
前記背景及び前記被写体を前記カメラにより撮影した第１デプス画像と前記背景を前記カメラにより撮影した第２デプス画像との差分デプスマスク画像を生成し、前記差分デプスマスク画像に基づいて、前記補正処理後の前記デプスマスク画像を生成することを特徴とする画像生成システム。
【請求項１２】
請求項１０又は１１において
前記画像合成部は、
モルフォロジーフィルター処理及び時系列フィルター処理の少なくとも一方を行うことで、前記補正処理後の前記デプスマスク画像を生成することを特徴とする画像生成システム。
【請求項１３】
請求項１０乃至１２のいずれかにおいて、
前記画像合成部は、
前記デプス画像において前記デプス値が取得できなかった画素の画素値を、前記差分画像に基づき設定する処理を行うことで、前記補正処理後の前記デプスマスク画像を生成することを特徴とする画像生成システム。
【請求項１４】
請求項１０乃至１３のいずれかにおいて、
前記画像合成部は、
前記デプス値が前記デプス範囲となる画素群の領域サイズを求め、前記領域サイズによるフィルター処理を行うことで、前記補正処理後の前記デプスマスク画像を生成することを特徴とする画像生成システム。
【請求項１５】
請求項９乃至１４のいずれかにおいて、
前記画像合成部は、
前記被写体の領域と判断される被写体領域でのデプス値に基づいて第２デプス範囲を設定し、前記デプス値が前記第２デプス範囲となる画素を識別する画像を、前記デプスマスク画像として生成することを特徴とする画像生成システム。
【請求項１６】
実空間に配置されたカメラにより背景及び被写体を撮影した第１画像と、前記カメラにより前記背景を撮影した第２画像と、を取得する取得部と、
前記カメラの位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する画像生成部と、
前記第１画像と前記第２画像の差分画像を求めることで前記被写体の画像を抽出して、前記仮想空間画像に前記被写体の画像が合成された合成画像を生成する画像合成部として、
コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成システム及びプログラム等に関する。
【背景技術】
【０００２】
従来より、仮想空間において仮想カメラから見える仮想空間画像を生成する画像生成システムが知られている。仮想カメラから見える画像をＨＭＤ（頭部装着型表示装置）に表示して、バーチャルリアリティ（ＶＲ）を実現するシステムの従来技術としては、例えば特許文献１に開示される技術がある。また実写映像と仮想空間画像をブルーバックにより合成するシステムの従来技術としては、例えば特許文献２に開示される技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３０９２６９号公報
【特許文献２】特開２０１１−３５６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ブルーバックやグリーンバックを用いるクロマキー合成では、画像生成システムの設置場所にブルーバックやグリーバックのための大掛かりな撮影用機材を設けなければならないという問題がある。また仮想空間画像と実空間画像の画像合成の品質が低いと、仮想空間画像と実空間画像の整合性が取れなくなり、望ましい結果が得られなくなってしまう。
【０００５】
本発明の幾つかの態様によれば、カメラにより撮影された被写体の画像と仮想空間画像とを簡素なシステムで高品位に合成できる画像生成システム及びプログラム等を提供できる。
【課題を解決するための手段】
【０００６】
本開示の一態様は、実空間に配置されたカメラにより背景及び被写体を撮影した第１画像と、前記カメラにより前記背景を撮影した第２画像と、を取得する取得部と、前記カメラの位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する画像生成部と、前記第１画像と前記第２画像の差分画像を求めることで前記被写体の画像を抽出して、前記仮想空間画像に前記被写体の画像が合成された合成画像を生成する画像合成部と、を含むことを特徴とする画像生成システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本開示の一態様によれば、背景及び被写体を撮影した第１画像と、背景を撮影した第２画像が取得されると共に、これらの第１画像及び第２画像を撮影したカメラの位置に対応する仮想空間の位置に、撮影用の仮想カメラが配置され、撮影用の仮想カメラから見える仮想空間画像が生成される。そして第１画像と第２画像の差分画像を求めることで被写体の画像が抽出され、仮想空間画像に被写体の画像が合成された合成画像を生成される。このようにすれば、仮想空間画像に被写体の画像が合成された合成画像を、大掛かりな撮影用機材を必要とすることなく生成できるようになり、カメラにより撮影された被写体の画像と仮想空間画像とを簡素なシステムで高品位に合成できる画像生成システム等の提供が可能になる。
【０００８】
また本開示の一態様では、前記画像合成部は、前記実空間において前記被写体が搭乗する筐体の画像を抽出し、前記仮想空間画像に前記被写体の画像及び前記筐体の画像が合成された前記合成画像を生成してもよい。
【０００９】
このようにすれば、実空間において被写体が筐体に搭乗している場合に、筐体に被写体が搭乗している状態の実空間画像が、仮想空間画像に合成された画像を生成できるようになる。
【００１０】
また本開示の一態様では、前記画像合成部は、前記筐体の画像の抽出範囲を指定する筐体マスク画像を用いて、前記筐体の画像を抽出してもよい。
【００１１】
このような筐体マスク画像を用いることで、本来は背景として非抽出となる筐体の画像を、被写体の画像と同様に抽出できるようになる。
【００１２】
また本開示の一態様では、前記画像合成部は、前記被写体が装着する少なくとも１つのトラッキング装置からのトラッキング情報に基づいて、前記被写体の画像の抽出範囲を設定して、前記被写体の画像を抽出してもよい。
【００１３】
このようにすれば、被写体の姿勢が変化したり、被写体が種々の動作を行った場合にも、適正な抽出範囲での被写体の画像の抽出処理を実現でき、例えば被写体として予定していない物体が被写体として抽出されてしまう事態を防止できるようになる。
【００１４】
また本開示の一態様では、前記画像合成部は、前記トラッキング装置の位置と、前記トラッキング装置の位置から所与の距離だけシフトした位置に設定された補助点の位置とに基づいて、前記被写体の画像の前記抽出範囲を設定してもよい。
【００１５】
このようにすれば、トラッキング装置の位置だけでは適切な抽出範囲を設定できないような状況においても、補助点を用いて、被写体を内包するような抽出範囲を設定できるようになり、被写体の画像の適正な抽出処理を実現できる。
【００１６】
また本開示の一態様では、前記画像生成部は、前記被写体であるプレーヤに表示されるプレーヤ用の仮想空間画像として、前記仮想空間において前記撮影用の仮想カメラの位置に対応する位置に、前記撮影用の仮想カメラの画像及び撮影者キャラクタの画像の少なくとも一方が表示される仮想空間画像を生成してもよい。
【００１７】
このようにすれば、撮影用の仮想カメラにより自身が撮影されていることをプレーヤに意識させることが可能になり、プレーヤの動作やポーズを誘引するなどの演出効果の実現が可能になる。
【００１８】
また本開示の一態様では、前記被写体であるプレーヤが装着し、前記仮想空間においてプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像が表示される頭部装着型表示装置と、前記合成画像がギャラリー用画像として表示されるギャラリー用表示装置と、を含んでもよい。
【００１９】
このようにすれば、仮想空間において頭部装着型表示装置を装着してプレイするプレーヤの行動の様子をギャラリーに見物させることが可能になる。
【００２０】
また本開示の一態様では、前記取得部は、前記背景及び前記被写体を前記カメラにより撮影したデプス画像を取得し、前記画像合成部は、前記差分画像と前記デプス画像に基づいて、前記被写体の画像を抽出してもよい。
【００２１】
このように差分画像のみならず、デプス画像を用いて、被写体の画像を抽出することで、仮想空間画像と被写体の画像の更に高品位な画像合成を実現できるようになる。
【００２２】
また本開示の一態様では、前記画像合成部は、前記差分画像に基づいて差分マスク画像を生成し、前記デプス画像に基づいて、デプス値が所与のデプス範囲となる画素を識別するデプスマスク画像を生成し、前記差分マスク画像と前記デプスマスク画像に基づいて、前記被写体を識別する被写体マスク画像を生成し、前記被写体マスク画像と前記第１画像に基づいて、前記被写体の画像を抽出してもよい。
【００２３】
このような差分マスク画像とデプスマスク画像を用いることで、背景及び被写体が映る第１画像から、被写体の画像を高品位に抽出することが可能になる。
【００２４】
また本開示の一態様では、前記画像合成部は、前記デプスマスク画像の補正処理を行い、前記補正処理後の前記デプスマスク画像と前記差分マスク画像に基づいて前記被写体マスク画像を生成してもよい。
【００２５】
このようにデプスマスク画像に対して補正処理を行えば、エッジ部分のちらつきの防止や、細かいノイズの除去等を実現でき、高品位な合成画像の生成が可能になる。
【００２６】
また本開示の一態様では、前記画像合成部は、前記背景及び前記被写体を前記カメラにより撮影した第１デプス画像と前記背景を前記カメラにより撮影した第２デプス画像との差分デプスマスク画像を生成し、前記差分デプスマスク画像に基づいて、前記補正処理後の前記デプスマスク画像を生成してもよい。
【００２７】
このような差分デプスマスク画像を用いれば、背景の領域を被写体の領域と誤認識してしまうような事態を防止できる。
【００２８】
また本開示の一態様では、前記画像合成部は、モルフォロジーフィルター処理及び時系列フィルター処理の少なくとも一方を行うことで、前記補正処理後の前記デプスマスク画像を生成してもよい。
【００２９】
このようなモルフォロジーフィルター処理や時系列フィルター処理を行うことで、細かいサイズのノイズを除去したり、細かなノイズのちらつきの発生を抑制できるようになる。
【００３０】
また本開示の一態様では、前記画像合成部は、前記デプス画像において前記デプス値が取得できなかった画素の画素値を、前記差分画像に基づき設定する処理を行うことで、前記補正処理後の前記デプスマスク画像を生成してもよい。
【００３１】
このようにすれば、デプス値を取得できなかったことが原因で画像が欠けてしまう問題を防止でき、適切な被写体の抽出画像を生成できるようになる。
【００３２】
また本開示の一態様では、前記画像合成部は、前記デプス値が前記デプス範囲となる画素群の領域サイズを求め、前記領域サイズによるフィルター処理を行うことで、前記補正処理後の前記デプスマスク画像を生成してもよい。
【００３３】
このようにすれば、ノイズ等を原因とする小さな領域サイズの画素群を排除して、被写体に対応する画素群を抽出することが可能になり、高品位な合成画像を生成できる。
【００３４】
また本開示の一態様では、前記画像合成部は、前記被写体の領域と判断される被写体領域でのデプス値に基づいて第２デプス範囲を設定し、前記デプス値が前記第２デプス範囲となる画素を識別する画像を、前記デプスマスク画像として生成してもよい。
【００３５】
このようにすれば、被写体の移動を反映させたデプスマスク画像の生成が可能になり、高品位な合成画像を生成できるようになる。
【図面の簡単な説明】
【００３６】
【図１】本実施形態の画像生成システムの構成例を示すブロック図。
【図２】図２（Ａ）、図２（Ｂ）はトラッキング処理の一例の説明図。
【図３】筐体の構成例を示す斜視図。
【図４】図４（Ａ）、図４（Ｂ）はプレーヤに表示される仮想空間画像の例。
【図５】図５（Ａ）、図５（Ｂ）は仮想空間画像と実空間画像の合成画像の例。
【図６】図６（Ａ）、図６（Ｂ）は筐体マスク画像を用いた筐体の画像の合成の説明図。
【図７】被写体の画像の抽出範囲を設定して被写体の画像を抽出する処理の説明図。
【図８】図８（Ａ）、図８（Ｂ）は補助点を用いて抽出範囲を設定して被写体の画像を抽出する手法の説明図。
【図９】本実施形態の詳細な処理例を説明するフローチャート。
【図１０】図１０（Ａ）〜図１０（Ｃ）は本実施形態の画像合成処理の説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）は本実施形態の画像合成処理の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は仮想空間画像と被写体の画像の合成画像をギャラリー用の表示装置に表示する手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はデプス画像を用いた画像合成処理の説明図。
【図１４】図１４（Ａ）〜図１４（Ｄ）は差分デプスマスク画像による補正処理の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はデプス画像を取得できなかった画素の画素値を差分画像に基づき設定する補正処理の説明図。
【図１６】図１６（Ａ）〜図１６（Ｃ）はデプス画像を取得できなかった画素の画素値を差分画像に基づき設定する補正処理の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は領域サイズによるフィルター処理による補正処理の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）は被写体領域でのデプス値に基づいて第２デプス範囲を設定してデプスマスク画像を生成する処理の説明図。
【図１９】図１９（Ａ）〜図１９（Ｃ）は筐体マスク画像を用いる手法の説明図。
【図２０】図２０（Ａ）〜図２０（Ｄ）は筐体マスク画像を用いる手法の説明図。
【図２１】図２１（Ａ）〜図２１（Ｄ）は筐体マスク画像を用いない手法の説明図。
【図２２】抽出範囲を設定する手法の説明図。
【発明を実施するための形態】
【００３７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
【００３８】
１．画像生成システム
図１は、本実施形態の画像生成システムの構成例を示すブロック図である。本実施形態の画像生成システムにより、例えばバーチャルリアリティ（ＶＲ）をシミュレートするシミュレーションシステムが実現される。本実施形態の画像生成システムは、ゲームコンテンツを提供するゲームシステム、運転シミュレータやスポーツ競技シミュレータなどのリアルタイムシミュレーションシステム、或いは映像等のコンテンツを提供するコンテンツ提供システムなどの種々のシステムに適用可能である。なお、本実施形態の画像生成システムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００３９】
筐体３０は、例えばプレーヤが搭乗可能なライド筐体である。具体的には筐体３０は、例えばプレーヤのプレイ位置を変化させる可動筐体である。この筐体３０は、例えばアーケード筐体などと呼ばれるものであり、画像生成システムにより実現されるシミュレーションシステムの装置の外殻となるものであり、箱状である必要はない。筐体３０は、車ゲームやロボットゲームや飛行機ゲームなどにおけるコックピット筐体（体感筐体）であってもよいし、その他の形態の筐体であってもよい。筐体３０は、シミュレーションシステムの本体部分であり、シミュレーションシステムを実現するための種々の機器、構造物が設けられる。筐体３０には、少なくともプレイ位置が設定されている。筐体３０の構成例については後述の図３により詳細に説明する。
【００４０】
カメラ１５０は、カラー画像やデプス画像などの画像を撮影する装置である。例えばカメラ１５０はカラーカメラ１５２とデプスカメラ１５４を含む。カラーカメラ１５２はＲＧＢなどのカラー画像を撮影するカメラであり、ＣＭＯＳセンサーやＣＣＤなどのイメージセンサーと、レンズ等の光学系により実現できる。デプスカメラ１５４は、視野にある物体の奥行き方向の位置関係を検知できるカメラであり、デプスカメラ１５４を用いることでデプス画像を取得できる。デプス画像は、例えば各画素の画素値としてＺ値であるデプス値が設定される画像である。例えばデプスカメラ１５４は、ステレオカメラを構成する第１、第２のデプスセンサーと、赤外線を投射するＩＲ投射器により実現できる。第１、第２のデプスセンサーは例えば赤外線カメラにより実現できる。例えば第１、第２のデプスセンサーによりデプス値を計測すると共に、ＩＲ投射器がＩＲパターンを投射することで、計測されるデプス値の精度を向上できる。具体的には第１のデプスセンサーにより取得された左目画像における点と、第２のデプスセンサーにより取得された右目画像における点との対応づけを行い、これらの点の間のシフト量により、奥行き値であるデプス値を算出する。なおデプス値の計測手法は上記したものに限定されず、種々の変形実施が可能である。またカラーカメラ１５２とデプスカメラ１５４を１つのカメラ筐体により実現してもよいし、カラーカメラ１５２とデプスカメラ１５４の各々を別体のカメラ筐体により実現してもよい。
【００４１】
操作部１６０は、プレーヤ（ユーザ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えばハンドル、アクセルペダル、ブレーキペダル、レバー、操作ボタン、方向指示キー、ゲームコントローラ、ガン型コントローラ、タッチパネル、又は音声入力装置等の種々の操作デバイスにより実現できる。
【００４２】
記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。画像生成処理用やゲーム処理用のプログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ、光ディスク装置などにより実現できる。記憶部１７０は、仮想空間情報記憶部１７２、描画バッファ１７８を含む。
【００４３】
コンピュータにより読み取り可能な媒体である情報記憶媒体１８０は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４４】
ＨＭＤ２００（頭部装着型表示装置）は、プレーヤの頭部に装着されて、プレーヤの眼前に画像を表示する装置である。ＨＭＤ２００は非透過型であることが望ましいが、透過型であってもよい。またＨＭＤ２００は、いわゆるメガネタイプのＨＭＤであってもよい。ＨＭＤ２００は、例えばヘッドトラッキングなどのトラッキング処理を実現するためのトラッキング装置２０６を含むことができる。トラッキング装置２０６を用いたトラッキング処理により、ＨＭＤ２００の位置、方向を特定する。ＨＭＤ２００の位置、方向が特定されることで、プレーヤの視点位置、視線方向を特定できる。トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第１のトラッキング方式では、トラッキング装置２０６として複数の受光素子（フォトダイオード等）を設ける。そして外部に設けられた発光素子（ＬＥＤ等）からの光（レーザー等）をこれらの複数の受光素子により受光することで、現実世界の３次元空間でのＨＭＤ２００（プレーヤの頭部）の位置、方向を特定する。第２のトラッキング方式では、トラッキング装置２０６として複数の発光素子（ＬＥＤ）をＨＭＤ２００に設ける。そして、これらの複数の発光素子からの光を、外部に設けられた撮像部で撮像することで、ＨＭＤ２００の位置、方向を特定する。第３のトラッキング方式では、トラッキング装置２０６としてモーションセンサーを設け、このモーションセンサーを用いてＨＭＤ２００の位置、方向を特定する。モーションセンサーは例えば加速度センサーやジャイロセンサーなどにより実現できる。例えば３軸の加速度センサーと３軸のジャイロセンサーを用いた６軸のモーションセンサーを用いることで、現実世界の３次元空間でのＨＭＤ２００の位置、方向を特定できる。なお、第１のトラッキング方式と第２のトラッキング方式の組合わせ、或いは第１のトラッキング方式と第３のトラッキング方式の組合わせなどにより、ＨＭＤ２００の位置、方向を特定してもよい。またＨＭＤ２００の位置、方向を特定することでプレーヤの視点位置、視線方向を特定するのではなく、プレーヤの視点位置、視線方向を直接に特定するトラッキング処理を採用してもよい。例えばアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法を用いてもよい。また環境認識カメラを用いてプレーヤの周囲の実空間の認識処理を行い、認識処理の結果に基づいてプレーヤの位置や方向等を特定してもよい。例えば認識された実空間の物体との相対的位置関係からプレーヤの位置や方向等を特定してもよい。
【００４５】
ＨＭＤ２００の表示部２０８は例えば有機ＥＬディスプレイ（ＯＥＬ）や液晶ディスプレイ（ＬＣＤ）などにより実現できる。例えばＨＭＤ２００の表示部２０８には、プレーヤの左眼の前に設定される第１のディスプレイ又は第１の表示領域と、右眼の前に設定される第２のディスプレイ又は第２の表示領域が設けられており、立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左眼用画像と右眼用画像を生成し、第１のディスプレイに左眼用画像を表示し、第２のディスプレイに右眼用画像を表示する。或いは１つのディスプレイの第１の表示領域に左眼用画像を表示し、第２の表示領域に右眼用画像を表示する。またＨＭＤ２００には左眼用、右眼用の２つの接眼レンズ（魚眼レンズ）が設けられており、これによりプレーヤの視界の全周囲に亘って広がるＶＲ空間が表現される。そして接眼レンズ等の光学系で生じる歪みを補正するための補正処理が、左眼用画像、右眼用画像に対して行われる。
【００４６】
ギャラリー用表示装置２１０は、ギャラリー用画像を表示するための装置であり、例えばＬＣＤ、有機ＥＬディスプレイ、或いはＣＲＴなどにより実現できる。例えば本実施形態により生成された合成画像がギャラリー用表示装置２１０に表示され、観客であるギャラリーは、プレーヤがプレイする様子を見物することができる。ギャラリー用表示装置２１０は、例えば画像生成システムにより実現されるシミュレーションシステムの施設に設置される。
【００４７】
音出力部１９２は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。
【００４８】
Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、プレーヤが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。
【００４９】
通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５０】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本開示の範囲内に含めることができる。
【００５１】
処理部１００（プロセッサ）は、操作部１６０からの操作情報や、ＨＭＤ２００でのトラッキング情報（ＨＭＤの位置及び方向の少なくとも一方の情報。視点位置及び視線方向の少なくとも一方の情報）や、プログラムなどに基づいて、画像の取得処理、仮想空間設定処理、ゲーム処理（シミュレーション処理）、仮想カメラ制御処理、画像生成処理、画像合成処理、或いは音生成処理などを行う。
【００５２】
処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【００５３】
処理部１００は、取得部１０２、仮想空間設定部１０４、ゲーム処理部１０６、仮想カメラ制御部１１０、画像生成部１２０、画像合成部１２２、音生成部１３０を含む。ゲーム処理部１０６は、移動体処理部１０７、筐体制御部１０８を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５４】
取得部１０２は、種々の情報の取得処理を行うものであり、情報取得のためのインターフェースである。例えば取得部１０２は、カメラ１５０により撮影された画像を取得する。例えばカメラ１５０により撮影されたカラー画像やデプス画像を取得する。また取得部１０２は、プレーヤの位置情報（視点位置情報）、方向情報（視線方向情報）及び姿勢情報（動き情報）の少なくとも１つを含むプレーヤ情報を取得する。
【００５５】
仮想空間設定部１０４は、オブジェクトが配置される仮想空間（オブジェクト空間）の設定処理を行う。例えば、移動体（車、人、ロボット、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、アイテム、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０の仮想空間情報記憶部１７２には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度又は移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。即ち、オブジェクト情報が仮想空間情報として仮想空間情報記憶部１７２に記憶される。仮想空間設定部１０４は、例えば各フレーム毎に、仮想空間情報であるオブジェクト情報の更新処理を行う。
【００５６】
ゲーム処理部１０６は、プレーヤがゲームをプレイするための種々のゲーム処理を行う。別の言い方をすれば、ゲーム処理部１０６（シミュレーション処理部）は、プレーヤが仮想現実（バーチャルリアリティ）を体験するための種々のシミュレーション処理を実行する。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。このゲーム処理部１０６は、移動体処理部１０７、筐体制御部１０８を含む。
【００５７】
移動体処理部１０７は、仮想空間内で移動する移動体についての種々の処理を行う。例えば仮想空間（オブジェクト空間、ゲーム空間）において移動体を移動させる処理や、移動体を動作させる処理を行う。例えば移動体処理部１０７は、操作部１６０によりプレーヤが入力した操作情報や、取得されたトラッキング情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（モデルオブジェクト）を仮想空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。移動体は、例えば実空間のプレーヤに対応するプレーヤキャラクタ（仮想プレーヤ）や、プレーヤキャラクタが搭乗する搭乗移動体である。搭乗移動体は、例えば仮想空間に登場する車、船、ボート、飛行機、戦車、又はロボット等の乗り物を模した移動体である。そして実空間の筐体３０に対応する仮想空間の搭乗移動体にプレーヤキャラクタが搭乗する。移動体処理部１０７は、このような搭乗移動体を仮想空間内で移動させたり、プレーヤキャラクタを仮想空間内に移動させる処理を行う。
【００５８】
筐体制御部１０８は、筐体３０の制御処理を行う。例えば筐体３０の可動機構を制御して、実空間の筐体３０の姿勢や位置を変化させる制御処理を行う。例えば筐体３０の姿勢や位置が変化することで、筐体３０に搭乗するプレーヤのプレイ位置が変化する。
【００５９】
仮想カメラ制御部１１０は、仮想カメラの制御を行う。例えば、操作部１６０により入力されたプレーヤの操作情報やトラッキング情報などに基づいて、仮想カメラを制御する。具体的にはプレーヤ用の仮想カメラを制御する。例えば仮想空間において移動するプレーヤキャラクタの視点（一人称視点）に対応する位置に、プレーヤ用の仮想カメラを設定して、仮想カメラの視点位置や視線方向を設定することで、仮想カメラの位置（位置座標）や姿勢（回転軸回りでの回転角度）を制御する。或いは、プレーヤキャラクタや搭乗移動体などの移動体に追従する視点（三人称視点）の位置に、プレーヤ用の仮想カメラを設定して、仮想カメラの視点位置や視線方向を設定することで、仮想カメラの位置や姿勢を制御する。
【００６０】
例えば仮想カメラ制御部１１０は、視点トラッキングにより取得されたプレーヤの視点情報のトラッキング情報に基づいて、プレーヤの視点変化に追従するようにプレーヤ用の仮想カメラを制御する。例えば本実施形態では、プレーヤの視点位置、視線方向の少なくとも１つである視点情報のトラッキング情報（視点トラッキング情報）が取得される。このトラッキング情報は、例えばＨＭＤ２００のトラッキング処理を行うことで取得できる。そして仮想カメラ制御部１１０は、取得されたトラッキング情報（プレーヤの視点位置及び視線方向の少なくとも一方の情報）に基づいてプレーヤ用の仮想カメラの視点位置、視線方向を変化させる。例えば、仮想カメラ制御部１１０は、実空間でのプレーヤの視点位置、視線方向の変化に応じて、仮想空間での仮想カメラの視点位置、視線方向（位置、姿勢）が変化するように、仮想カメラを設定する。このようにすることで、プレーヤの視点情報のトラッキング情報に基づいて、プレーヤの視点変化に追従するように仮想カメラを制御できる。
【００６１】
また仮想カメラ制御部１１０は、実空間画像との合成対象となる仮想空間画像の撮影用の仮想カメラの制御も行う。例えば実空間のカメラ１５０の位置に対応する仮想空間の位置に撮影用の仮想カメラを配置する。そして撮影用の仮想カメラから見える仮想空間画像が、カメラ１５０により撮影された実空間画像に合成される。
【００６２】
画像生成部１２０は、仮想空間画像の生成処理を行う。仮想空間画像はゲーム画像やシミュレーション画像である。例えば画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより仮想空間画像を生成する。例えばプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像はＨＭＤ２００に表示される。撮影用の仮想カメラから見える仮想空間画像は、実空間画像と合成される。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラ（所与の視点。左眼用、右眼用の第１、第２の視点）から見える画像が生成される。なお、画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
【００６３】
画像合成部１２２は、仮想空間画像と実空間画像の合成処理を行って、合成画像を生成する。例えば画像合成部１２２は、仮想空間画像に実空間の被写体の画像が合成された合成画像を生成する。画像合成部１２２により生成された合成画像は、ギャラリー用画像としてギャラリー用表示装置２１０に表示される。
【００６４】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。
【００６５】
そして本実施形態の画像生成システムは図１に示すように、取得部１０２と画像生成部１２０と画像合成部１２２を含む。
【００６６】
取得部１０２は、カメラ１５０により背景及び被写体を撮影した第１画像を取得する。またカメラ１５０により背景を撮影した第２画像を取得する。例えば取得部１０２は、カラーカメラ１５２により撮影されたカラー画像である第１画像と第２画像を取得する。第１画像では、背景及び被写体の両方が撮影されているが、第２画像では、背景が撮影されている一方で被写体は撮影されていない。被写体は、カメラの撮影対象となる実空間の物体であり、例えばプレーヤである。但し本実施形態の被写体はこれに限定されるものではなく、プレーヤ以外の被写体であってもよい。
【００６７】
画像生成部１２０は、仮想空間において仮想カメラから見える仮想空間画像を生成する。例えば複数のオブジェクトが配置されるオブジェクト空間である仮想空間において、仮想カメラから見える画像である仮想空間画像を生成する。例えば画像生成部１２０は、仮想空間においてプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像を生成する。このようにして生成されたプレーヤ用の仮想空間画像が、ＨＭＤ２００に表示されることで、ＶＲの世界をプレーヤに体験させることができる。なお画像生成部１２０により生成されたプレーヤ用の仮想空間画像を、ＨＭＤ２００とは異なるタイプの表示装置に表示してもよい。例えばプレーヤの視界を覆うドーム形状の表示スクリーンを有するような表示装置に表示してもよい。
【００６８】
また画像生成部１２０は、カメラ１５０の位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する。撮影用の仮想カメラは、カメラ１５０により撮影された実空間画像の合成対象となる仮想空間画像を撮影するための仮想カメラである。撮影用の仮想カメラは、仮想空間において、実空間のカメラ１５０の位置に対応する位置に配置される。一例としてはカメラ１５０は、実空間の被写体の前方において被写体に正対するように配置される。即ち被写体が撮影範囲に入るようにカメラ１５０が配置される。この場合には撮影用の仮想カメラは、被写体に対応する仮想空間のオブジェクトの前方において、当該オブジェクトに正対するように配置される。この場合に撮影用の仮想カメラと当該オブジェクトとのカメラ距離は、カメラ１５０と被写体とのカメラ距離に対応する距離に設定される。被写体がプレーヤである場合を例にとれば、カメラ１５０は、実空間のプレーヤの前方においてプレーヤに正対するように配置される。そして撮影用の仮想カメラは、プレーヤに対応するプレーヤキャラクタ（プレーヤ移動体）の前方において、プレーヤキャラクタに正対するように配置される。この場合に撮影用の仮想カメラとプレーヤキャラクタとの距離は、カメラ１５０とプレーヤとの距離に対応する距離に設定される。
【００６９】
画像合成部１２２は、第１画像と第２画像の差分画像を求めることで被写体の画像を抽出する。即ち背景及び被写体が映る第１画像と、背景が映る第２画像の差分画像から、被写体の画像を抽出する処理を行う。そして画像合成部１２２は、仮想空間画像に被写体の画像が合成された合成画像を生成する。この合成画像は例えばギャラリー用表示装置２１０に表示される。
【００７０】
なお合成画像が表示される表示装置は、ギャラリー用表示装置２１０には限定されない。例えば合成画像をネットワークを介して配信して、ＰＣやゲーム装置等の端末装置に表示してもよい。配信としては、例えばインターネットやサーバ等を用いた配信が考えられる。或いはＨＭＤ２００の表示領域の一部の領域に、仮想空間画像に被写体の画像が合成された合成画像を表示してもよい。
【００７１】
また画像合成部１２２は、実空間において被写体が搭乗する筐体３０の画像を抽出する。そして仮想空間画像に被写体の画像及び筐体３０の画像が合成された合成画像を生成する。この合成画像はギャラリー用表示装置２１０等の表示装置に表示される。例えば被写体であるプレーヤは、ライド筐体である筐体３０に搭乗することで、ＶＲゲーム（シミュレーションゲーム）のプレイを楽しむ。例えば仮想空間画像には、筐体３０に対応する車、船又はロボット等の移動体が表示される。筐体３０が可動筐体である場合には、筐体３０の姿勢が変化するように筐体３０が制御される。これにより、筐体３０に搭乗するプレーヤのプレイ位置が様々に変化する。画像合成部１２２は、プレーヤなどの被写体の画像のみならず、このような筐体３０の画像が仮想空間画像に合成された合成画像を生成する。これにより、実空間においてプレーヤが筐体３０に搭乗している場合に、筐体３０にプレーヤが搭乗している様子を表す実空間画像が、仮想空間画像に合成された合成画像を生成できる。そしてこの合成画像が、ギャラリー用表示装置２１０などの表示装置に表示される。
【００７２】
また画像合成部１２２は、筐体３０の画像の抽出範囲を指定する筐体マスク画像を用いて、筐体３０の画像を抽出する。例えば第１画像等のカラー画像から筐体３０の画像が抽出される。例えばオペレータが、手動で筐体３０の概形をなぞるような操作を行って抽出範囲を指定することで、範囲指定用の筐体マスク画像が生成される。なお筐体３０の画像の抽出範囲（エッジ）を画像処理により自動的に認識して筐体マスク画像を生成する変形実施も可能である。筐体マスク画像は、筐体３０の抽出範囲を他の背景から識別するためのマスク画像である。この筐体マスク画像により抽出範囲が指定されることで、筐体３０の画像は、実際には背景に対応する画像であるのにも関わらず、被写体と同様に抽出されて、仮想空間画像に合成されるようになる。筐体マスク画像を用いた抽出処理の詳細は後述する。
【００７３】
また画像合成部１２２は、被写体が装着する少なくとも１つのトラッキング装置からのトラッキング情報に基づいて、被写体の画像の抽出範囲を設定して、被写体の画像を抽出する。例えばウェアラブル機器として被写体が装着するトラッキング装置からのトラッキング情報に基づいて、トラッキング装置の位置情報等を取得し、取得された位置情報等に基づいて、被写体の画像の抽出範囲を設定する。例えば被写体が複数のトラッキング装置を装着する場合には、これらの複数のトラッキング装置の位置を内包する範囲を、被写体の画像の抽出範囲に設定し、その抽出範囲を抽出処理の対象範囲として、被写体の画像を抽出する。なおトラッキング装置は、被写体が装着するＨＭＤ２００に内蔵されるトラッキング装置２０６であってもよい。
【００７４】
また画像合成部１２２は、トラッキング装置の位置と、トラッキング装置の位置から所与の距離だけシフトした位置に設定された補助点の位置とに基づいて、被写体の画像の抽出範囲を設定する。例えばトラッキング情報からトラッキング装置の配置方向の情報を取得する。そして、トラッキング装置の位置から、トラッキング装置の配置方向に沿って所与の距離だけシフト（オフセット）した位置を、補助点の位置に設定する。そしてトラッキング装置の位置と補助点の位置を内包するような範囲を抽出範囲に設定して、被写体の画像を抽出する。
【００７５】
また画像生成部１２０は、被写体であるプレーヤに表示されるプレーヤ用の仮想空間画像として、仮想空間において撮影用の仮想カメラの位置に対応する位置に、仮想カメラの画像及び撮影者キャラクタの画像の少なくとも一方が表示される仮想空間画像を生成する。例えば撮影用の仮想カメラの位置及び方向に対応する位置及び方向で、撮影用の仮想カメラを表す３次元モデルである仮想カメラオブジェクトを配置する。或いは、撮影用の仮想カメラを用いて撮影を行う撮影者キャラクタの画像を、仮想カメラの位置に対応する位置に配置する。そして撮影者キャラクタが、撮影動作のモーションを行ったり、撮影に関連するセリフを発声するなどの演出処理を行う。
【００７６】
また本実施形態の画像生成システム（シミュレーションシステム）は、被写体であるプレーヤが装着し、仮想空間においてプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像が表示されるＨＭＤ２００と、合成画像がギャラリー用画像をして表示されるギャラリー用表示装置２１０を含む。このようにすることで、画像生成部１２０により生成されたプレーヤ用の仮想空間画像については、ＨＭＤ２００に表示され、プレーヤは、仮想空間においてプレーヤ用の仮想カメラから見える画像を、ＶＲ画像としてＨＭＤ２００を介して見ることが可能になる。一方、仮想空間画像に被写体の画像が合成された合成画像についてはギャラリー用表示装置２１０に表示され、ギャラリーは、仮想空間においてプレーヤがどのような状況になっており、どのような行動をとっているかを、ギャラリー用画像を見ることで把握できるようになる。
【００７７】
また取得部１０２は、背景及び被写体をカメラ１５０により撮影したデプス画像を取得する。例えばカメラ１５０（デプスカメラ１５４）から見たときの背景及び被写体の奥行き情報を、デプス画像として取得する。そして画像合成部１２２は、差分画像とデプス画像に基づいて、被写体の画像を抽出する。即ち被写体及び背景が映る第１画像と背景が映る第２画像の差分画像と、デプス画像を用いて、被写体の画像を抽出する。例えば差分画像とデプス画像の両方により被写体に対応する画素であると判断される画素を、被写体の画素として、被写体の画像を抽出する。
【００７８】
また画像合成部１２２は、差分画像に基づいて差分マスク画像を生成する。例えば差分画像の二値化処理などを行って差分マスク画像を生成する。この場合に画像合成部１２２は、差分画像とデプス画像（デプスマスク画像）とに基づいて差分マスク画像を生成してもよい。例えば差分画像の二値化処理を行って得られたマスク画像と、デプス画像から得られたデプスマスク画像とのＡＮＤ（論理積）をとるなどして、差分マスク画像を生成してもよい。この場合にＡＮＤをとる対象となるデプスマスク画像は、後述する補正処理前のデプスマスク画像でもよいし、補正処理後のデプスマスク画像でもよい。また画像合成部１２２は、デプス画像に基づいて、デプス値が所与のデプス範囲（デプス有効範囲）となる画素を識別するデプスマスク画像を生成する。例えばデプス範囲は、デプス値が、ニア側の第１デプス値以上となり、ファー側の第２デプス値以下となる範囲である。画像合成部１２２は、デプス範囲の画素が第１画素値（例えば白の画素値）となり、当該デプス範囲外の画素が第２画素値（例えば黒の画素値）となるデプスマスク画像を生成する。そして画像合成部１２２は、差分マスク画像とデプスマスク画像に基づいて、被写体を識別する被写体マスク画像を生成する。例えば被写体の範囲の画素が第１画素値（例えば白の画素値）となり、被写体の範囲外の画素が第２画素値（例えば黒の画素値）となるような被写体マスク画像を生成する。そして画像合成部１２２は、被写体マスク画像と第１画像に基づいて、被写体の画像を抽出する。例えば第１画像において、被写体マスク画像により指定される範囲を被写体の画像と判断して、被写体の画像を抽出する。
【００７９】
また画像合成部１２２は、デプスマスク画像の補正処理を行い、補正処理後のデプスマスク画像と差分マスク画像に基づいて被写体マスク画像を生成する。例えば画像合成部１２２は、デプス値が所与のデプス範囲となる画素を識別するデプスマスク画像に対して、ノイズ等を除去するための補正処理を行う。そして補正処理後のデプスマスク画像と、第１画像と第２画像の差分画像から得られた差分マスク画像とに基づいて、被写体マスク画像を生成する。
【００８０】
例えば画像合成部１２２は、背景及び被写体をカメラ１５０（デプスカメラ１５４）により撮影した第１デプス画像と、背景をカメラ１５０（デプスカメラ１５４）により撮影した第２デプス画像との差分デプスマスク画像を生成する。即ち第１デプス画像と第２デプス画像の差分画像である差分デプスマスク画像を生成する。そして画像合成部１２２は、差分デプスマスク画像に基づいて、補正処理後のデプスマスク画像を生成する。即ちデプスマスク画像の補正処理として、差分デプスマスク画像を生成する処理を行う。
【００８１】
また画像合成部１２２は、モルフォロジーフィルター処理及び時系列フィルター処理の少なくとも一方を行うことで、補正処理後のデプスマスク画像を生成する。即ちデプスマスク画像の補正処理として、モルフォロジーフィルター処理及び時系列フィルター処理の少なくとも一方を行って、ノイズ等を除去する。モルフォロジーフィルター処理は、膨張伸縮化のフィルター処理である。時系列フィルター処理は、平滑化処理であり、例えば所定数のフレーム以上、連続して所定値以上の差分値があるときにマスクとして有効にする処理である。
【００８２】
また画像合成部１２２は、デプス画像においてデプス値が取得できなかった画素の画素値を、差分画像に基づき設定する処理を行うことで、補正処理後のデプスマスク画像を生成する。例えばデプスカメラ１５４のステレオカメラにより、デプス値が取得できなかった画素をブランク画素として設定する。そして、ブランク画素については、カラー画像である第１画像と第２画像の差分画像に基づいて設定する。例えば差分画像に基づく差分マスク画像を用いて、デプスマスク画像におけるブランク画素の画素値を埋める処理を行う。
【００８３】
また画像合成部１２２は、デプス値がデプス範囲となる画素群（隣り合う画素群）の領域サイズを求める。例えばデプス値が、所与のデプス範囲となる画素群の画素のカウント処理を行うことで、領域サイズを求める。そして領域サイズが最も大きい領域や、或いは領域サイズが所定サイズ以上の領域の画素群を、被写体に対応する画素群と判断して、デプスマスク画像を生成する。
【００８４】
また画像合成部１２２は、被写体の領域と判断される被写体領域でのデプス値に基づいて第２デプス範囲を設定する。例えば上記のデプス範囲よりも狭い第２デプス範囲を設定する。そしてデプス値が第２デプス範囲となる画素を識別する画像を、デプスマスク画像として生成する。即ちデプス値が第２デプス範囲となる画素群を、被写体に対応する画素群と判断して、デプスマスク画像を生成する。
【００８５】
なお本実施形態では、プレーヤがプレイするゲームのゲーム処理として、仮想現実のシミュレーション処理を行う。仮想現実のシミュレーション処理は、実空間での事象を仮想空間で模擬するためのシミュレーション処理であり、当該事象をプレーヤに仮想体験させるための処理である。例えば実空間のプレーヤに対応するプレーヤキャラクタやその搭乗移動体などの移動体を、仮想空間で移動させたり、移動に伴う環境や周囲の変化をプレーヤに体感させるための処理を行う。
【００８６】
また図１の本実施形態の画像生成システムの処理は、業務用ゲーム装置や家庭用ゲーム装置などの処理装置、施設に設置されるＰＣ等の処理装置、プレーヤが背中等に装着する処理装置（バックパックＰＣ）、或いはこれらの処理装置の分散処理などにより実現できる。この場合に例えば画像合成部１２２の処理を実現する処理装置と、画像生成部１２０やゲーム処理部１０６などの他の処理を実現する処理装置を、別のハードウェア装置により実現してもよい。或いは、本実施形態の画像生成システムの処理を、サーバシステムと端末装置により実現してもよい。例えばサーバシステムと端末装置の分散処理などにより実現してもよい。
【００８７】
２．トラッキング処理
次にトラッキング処理の例について説明する。図２（Ａ）にＨＭＤ２００の一例を示す。ＨＭＤ２００には複数の受光素子２０１、２０２、２０３（フォトダイオード）が設けられている。受光素子２０１、２０２はＨＭＤ２００の前面側に設けられ、受光素子２０３はＨＭＤ２００の右側面に設けられている。またＨＭＤの左側面、上面等にも不図示の受光素子が設けられている。またプレーヤＰＬは、所定部位である手にトラッキング装置２５０、２６０を装着している。右手に装着されるトラッキング装置２５０には、ＨＭＤ２００と同様に複数の受光素子２５１〜２５４が設けられている。左手に装着されるトラッキング装置２６０にも複数の受光素子２６１〜２６４（不図示）が設けられている。このような受光素子が設けられたトラッキング装置２５０、２６０を用いることで、ＨＭＤ２００の場合と同様に、手等の所定部位の位置、方向等の部位情報を特定できるようになる。なおトラッキング装置が装着されるプレーヤＰＬの所定部位は、手には限定されず、例えば足、頭部、胸部、腹部又は腰等の種々の部位を想定できる。
【００８８】
図２（Ｂ）に示すように、筐体３０の周辺には、ベースステーション２８０、２８４が設置されている。ベースステーション２８０には発光素子２８１、２８２が設けられ、ベースステーション２８４には発光素子２８５、２８６が設けられている。発光素子２８１、２８２、２８５、２８６は、例えば赤外線レーザー等のレーザーを出射するＬＥＤにより実現される。ベースステーション２８０、２８４は、これら発光素子２８１、２８２、２８５、２８６を用いて、例えばレーザーを放射状に出射する。そして図２（Ａ）のＨＭＤ２００に設けられた受光素子２０１〜２０３等が、ベースステーション２８０、２８４からのレーザーを受光することで、ＨＭＤ２００のトラッキング処理が実現され、プレーヤＰＬの頭の位置や向く方向（視点位置、視線方向）を検出できるようになる。例えばプレーヤＰＬの位置情報や姿勢情報（方向情報）を検出できるようになる。
【００８９】
またトラッキング装置２５０、２６０に設けられる受光素子２５１〜２５４、２６１〜２６４が、ベースステーション２８０、２８４からのレーザーを受光することで、プレーヤＰＬの手（所定部位）の位置及び方向の少なくとも一方を検出できるようになる。なおトラッキング装置２５０、２６０をリープモーションのトラッカーにより実現してもよい。
【００９０】
また筐体３０の前方には、カラーカメラ１５２とデプスカメラ１５４を有するカメラ１５０が設置されている。例えばカメラ１５０は、プレーヤＰＬや筐体３０の前方において、プレーヤＰＬや筐体３０に正対するように配置される。そして後述の図４（Ａ）、図４（Ｂ）で説明する撮影用の仮想カメラＶＣＭは、カメラ１５０の位置に対応する仮想空間の位置に配置される。例えば仮想カメラＶＣＭは、プレーヤＰＬに対応するプレーヤキャラクタや、筐体３０に対応する車等の移動体の前方において、プレーヤキャラクタや移動体に正対するように配置される。またプレーヤキャラクタや移動体と仮想カメラＶＣＭとのカメラ距離も、プレーヤＰＬや筐体３０とカメラ１５０とのカメラ距離に対応する距離に設定される。
【００９１】
３．筐体
図３に筐体３０の構成例を示す。図３の筐体３０では、底部３２の上にカバー部３３が設けられ、その上に、ベース部３４（台座部）が設けられる。ベース部３４は底部３２に対して対向するように設けられる。ベース部３４には、シート６２を有するライド部６０が設けられる。プレーヤＰＬは、このライド部６０のシート６２に着座する。またベース部３４には、移動部４０が設けられており、移動部４０には、ハンドル５０やアクセルペダル５２、ブレーキペダル５４（不図示）などの操作部１６０や、プレーヤに対して送風を行う送風機８０が設けられている。この移動部４０は、前後方向に移動自在となっている。
【００９２】
また筐体３０の前方には、カメラ１５０が配置されている。このようなカメラ１５０を設けることで、筐体３０や、筐体３０に搭乗するプレーヤを撮影することが可能になる。
【００９３】
筐体３０は、ゲーム処理の結果（ゲーム状況）に応じて、プレーヤのプレイ位置を変化させる。例えば本実施形態では、プレーヤがプレイするゲームのゲーム処理として、仮想現実のシミュレーション処理を行う。例えば実空間のプレーヤに対応するプレーヤキャラクタが搭乗する移動体（車、ロボット等）を、仮想空間で移動させたり、移動に伴う環境や周囲の変化をプレーヤに体感させるための処理を行う。そして筐体３０は、ゲーム処理であるシミュレーション処理の結果に基づいてプレイ位置を変化させる。例えばプレーヤキャラクタが搭乗する移動体（或いはプレーヤキャラクタ）の仮想空間での移動処理の結果等に基づいて、プレイ位置を変化させる。例えばレースゲームでは、車（レーシングカー）の移動の際の加速や減速や方向の変化に伴う加速度を、プレーヤに体感させるためのシミュレーション処理として、プレイ位置を変化させる処理を行う。或いは敵からの攻撃が車にヒットした場合に、その衝撃をプレーヤに体感させるためのシミュレーション処理として、プレイ位置を変化させる処理を行う。ここでプレイ位置は、仮想現実（ＶＲ）のシミュレーションゲームをプレイする際にプレーヤが位置するプレイポジションである。例えばプレイ位置は、プレーヤのライド部６０のライド位置である。
【００９４】
具体的には図３において、底部３２とベース部３４の間には、その四隅に、不図示の第１〜第４のエアバネ部（広義には伸縮部）が設けられている。これらの第１〜第４のエアバネ部は、エアコンプレッサやバブルを用いて空気の供給や排出が行われることで、図３のＹ軸方向において伸縮する。例えば全ての第１〜第４のエアバネ部が伸びたり、縮むことで、ベース部３４を、Ｙ軸方向で上側や下側に移動させることができる。これらの上下方向でのベース部３４の移動により、例えばコースの路面状態の再現などが可能になる。例えば少ないストロークで、且つ、速い速度で上下方向にベース部３４を移動させることで、路面の凹凸（ガタガタ道）などを表現できる。
【００９５】
また、四隅の第１〜第４のエアバネ部のうちの前側及び後ろ側の一方のエアバネ部が伸び、他方のエアバネ部が縮むことで、ベース部３４を、Ｘ軸の回りにピッチングさせることができる。また四隅の第１〜第４のエアバネ部のうちの左側及び右側の一方のエアバネ部が伸び、他方のエアバネ部が縮むことで、ベース部３４を、Ｚ軸の回りにローリングさせことができる。このようなピッチングやローリングを行うことで、車等の移動体の移動に伴う加速感、減速感や、コーナリング時の慣性力をプレーヤに体感させることができる。これによりプレーヤの仮想現実感を向上できると共に、いわゆる３Ｄ酔いを抑制することも可能になる。
【００９６】
４．本実施形態の手法
次に本実施形態の手法について説明する。なお、以下では、プレーヤキャラクタが車に搭乗して他の車と競争するレースゲームに、本実施形態の手法を適用した場合について主に説明する。但し本実施形態の手法が適用されるゲームはこのようなレースゲームには限定されない。例えば本実施形態の手法は、レースゲーム以外の種々のゲーム（車以外の競争ゲーム、ロボットゲーム、ＦＰＳ（First Person shooter）や格闘ゲーム等の対戦ゲーム、電車や飛行機等の乗り物のシミュレーションゲーム、ＲＰＧ、アクションゲーム、仮想体験ゲーム、スポーツゲーム、ホラー体験ゲーム、或いは音楽ゲーム等）に適用でき、ゲーム以外にも適用可能である。また以下では、カメラ１５０の被写体がプレーヤである場合を主に例にとり説明を行う。
【００９７】
４．１  ゲームの説明
図４（Ａ）、図４（Ｂ）は本実施形態により実現されるレースゲームにおいてプレーヤに表示されるプレーヤ用の仮想空間画像の例である。本実施形態では図４（Ａ）、図４（Ｂ）のプレーヤ用の仮想空間画像が、プレーヤが装着するＨＭＤ２００に表示される。このレースゲームでは、実空間のプレーヤに対応する仮想空間のプレーヤキャラクタがドライバーとなって、移動体である車（レーシングカー）に搭乗して運転し、敵車と競争する。コースにはアイテムエリアが設定され、このアイテムエリアのアイテムを獲得して使用することで、レースゲームを優位に進めることができる。
【００９８】
図４（Ａ）、図４（Ｂ）のプレーヤ用の仮想空間画像（ゲーム画像）では、仮想空間のコースで走行するプレーヤの車ＭＶ（移動体）や敵車ＭＶＥ（敵移動体）が表示されている。また車ＭＶのハンドルＳＴや、ハンドルＳＴを操作するプレーヤキャラクタの手ＨＲ、ＨＬなどの部位も表示されている。そして実空間のプレーヤが図３のハンドル５０を左に操舵すると、図４（Ａ）に示すように仮想空間においても、車ＭＶのハンドルＳＴがプレーヤキャラクタの手ＨＲ、ＨＬにより左に操舵される仮想空間画像が表示される。また実空間のプレーヤＰＬがハンドル５０を右に操舵すると、図４（Ｂ）に示すように仮想空間においても、ハンドルＳＴがプレーヤキャラクタの手ＨＲ、ＨＬにより右に操舵される仮想空間画像が表示される。即ち実空間のプレーヤの手の動きに連動して、仮想空間のプレーヤキャラクタの手ＨＲ、ＨＬも動くような仮想空間画像が表示される。このようにすることで、あたかも本物の車を運転しているかのような仮想現実感をプレーヤに与えることができる。また図４（Ａ）、図４（Ｂ）では、実空間画像の合成対象となる仮想空間画像の撮影用の仮想カメラＶＣＭの画像も表示されている。
【００９９】
図５（Ａ）、図５（Ｂ）は、本実施形態により生成された仮想空間画像と実空間画像の合成画像の例である。図５（Ａ）、図５（Ｂ）においてプレーヤＰＬと筐体３０の画像は、図２（Ｂ）、図３のカメラ１５０によりプレーヤＰＬと筐体３０を撮影した実空間画像である。具体的には、カメラ１５０の撮影画像から背景差分法でプレーヤＰＬ等を抽出した実空間画像である。一方、敵キャラクタＣＨＥ、敵車ＭＶＥ、エフェクトＥＦ１、ＥＦ２、コースＣＳ等の画像は、図４（Ａ）、図４（Ｂ）の撮影用の仮想カメラＶＣＭにより撮影された仮想空間画像である。撮影用の仮想カメラＶＣＭから見える仮想空間画像に対して、プレーヤＰＬと筐体３０の実空間画像を合成することで、図５（Ａ）、図５（Ｂ）の合成画像が生成されている。この合成画像は、後述の図１２（Ｂ）に示すように例えばギャラリー用表示装置２１０に表示される。これにより、ギャラリーは、プレーヤＰＬが仮想空間においてどのようにゲームを楽しんでプレイしているのかを把握できるようになる。
【０１００】
そして図５（Ａ）では、撮影用の仮想カメラＶＣＭから見て、プレーヤＰＬ、筐体３０の奥側に、敵キャラクタＣＨＥ、敵車ＭＶＥが位置しているため、敵キャラクタＣＨＥ、敵車ＭＶＥの方の画像が隠面消去される。一方、図５（Ｂ）では、撮影用の仮想カメラＶＣＭから見て、敵キャラクタＣＨＥ、敵車ＭＶＥの奥側にプレーヤＰＬ、筐体３０が位置しているため、プレーヤＰＬ、筐体３０の方の画像が隠面消去される。このように本実施形態では、実空間画像であるプレーヤＰＬ、筐体３０についても、仮想空間での位置関係を反映させた隠面消去が行われる。また本実施形態では例えば仮想空間での照明情報に基づいて、プレーヤＰＬ、筐体３０へのライティング処理（シェーディング処理）が行われる。例えば仮想空間の明るさが暗い状況の場合には、プレーヤＰＬ、筐体３０の画像も暗くなり、明るい状況の場合には、プレーヤＰＬ、筐体３０の画像も明るくなるようにライティング処理が行われる。
【０１０１】
本実施形態では、実空間に配置されたカメラ１５０により、背景及び被写体を撮影した第１画像と、カメラ１５０により背景を撮影した第２画像を取得する。被写体はプレーヤＰＬなどである。またカメラ１５０の位置に対応する仮想空間の位置に配置された撮影用の仮想カメラＶＣＭから見える仮想空間画像を生成する。そして第１画像と第２画像の差分画像を求めることで、プレーヤＰＬなどの被写体の画像を抽出して、図５（Ａ）、図５（Ｂ）に示すように、仮想空間画像に被写体の画像が合成された合成画像を生成する。このようにすることで、あたかも実空間の被写体が仮想空間に出現したかのように見える合成画像を生成できるようになる。
【０１０２】
更に本実施形態では、実空間において被写体であるプレーヤＰＬが搭乗する筐体３０の画像を抽出する。そして図５（Ａ）、図５（Ｂ）に示すように、仮想空間画像に被写体であるプレーヤＰＬの画像及び筐体３０の画像が合成された合成画像を生成する。このようにすれば、被写体であるプレーヤＰＬのみならず、プレーヤＰＬが実空間において搭乗する筐体３０が、仮想空間に出現したかのように見える合成画像を生成できるようになる。
【０１０３】
この場合に本実施形態では、図６（Ａ）に示すような筐体マスク画像ＭＳＣを用いて、図６（Ｂ）に示すような筐体３０の画像を抽出する。筐体マスク画像ＭＳＣは、筐体３０の画像の抽出範囲を指定するマスク画像であり、一例としてはオペレータの手作業により作成される。例えば筐体３０を撮影した画像を見ながら、オペレータが、筐体３０の概形をなぞるような操作を行って抽出範囲を指定することで、筐体マスク画像ＭＳＣが作成される。筐体マスク画像ＭＳＣは、例えば筐体３０の画像の抽出範囲での画素値が第１画素値（白の画素値）となり、抽出範囲外の画素値が第２画素値（黒の画素値）となるようなマスク画像である。このような筐体マスク画像ＭＳＣを用いることで、本来は背景として非抽出となってしまう筐体３０の画像を、被写体の画像と同様に抽出できるようになる。なお筐体マスク画像ＭＳＣを用いた抽出処理の具体例については後述の図１９（Ａ）〜図２１（Ｄ）において詳細に説明する。
【０１０４】
また本実施形態では、被写体であるプレーヤに表示されるプレーヤ用の仮想空間画像として、仮想空間において撮影用の仮想カメラの位置に対応する位置に、撮影用の仮想カメラの画像及び撮影者キャラクタの画像の少なくとも一方が表示される仮想空間画像を生成する。例えば図４（Ａ）では、プレーヤキャラクタが搭乗する車ＭＶの前方に、撮影用の仮想カメラＶＣＭの画像が表示されている。また図４（Ｂ）では、車ＭＶの前方に撮影者キャラクタＣＨＭの画像が表示されている。撮影者キャラクタＣＨＭは、仮想カメラＶＣＭを車ＭＶの方に向けて、「こっちを見て」というセリフをつぶやいている。
【０１０５】
図２（Ｂ）、図３で説明したように、実空間のカメラ１５０は、プレーヤＰＬが搭乗する筐体３０の前方に配置される。具体的には、実空間のカメラ１５０は、筐体３０の前方において、所与のカメラ距離だけ離れた位置に、カメラ方向を筐体３０の方に向けて配置される。そして本実施形態では、撮影用の仮想カメラＶＣＭは、実空間のカメラ１５０の位置に対応する仮想空間の位置に配置される。即ち撮影用の仮想カメラＶＣＭは、仮想空間の車ＭＶの前方において、上記のカメラ距離に対応する距離だけ離れた位置に、カメラ方向を車ＭＶの方に向けて配置される。
【０１０６】
そして図４（Ａ）、図４（Ｂ）では、このように実空間のカメラ１５０に対応する撮影用の仮想カメラＶＣＭの画像を仮想空間画像に表示する。通常は、このような仮想空間画像においては、仮想カメラＶＣＭの画像は表示しないが、図４（Ａ）では、仮想カメラＶＣＭの画像を敢えて表示している。また図４（Ｂ）では、仮想カメラＶＣＭを所持する撮影者キャラクタＣＨＭの画像を仮想空間画像に表示している。例えば空中を飛びながら仮想カメラＶＣＭをプレーヤキャラクタの方に向けて撮影を行う撮影者キャラクタＣＨＭの画像を表示する。
【０１０７】
このようにすればプレーヤは、仮想カメラＶＣＭにより自身が撮影されていることを意識するようになる。そしてプレーヤが、自身を撮影している仮想カメラＶＣＭに対して手を振るなどの動作を行うと、図５（Ａ）、図５（Ｂ）の合成画像においても、プレーヤＰＬが手を振るなどの動作を行った実空間画像が、仮想空間画像に合成されるようになる。そしてこのような合成画像を、図１２（Ｂ）に示すようなギャラリー用表示装置２１０に表示することで、プレーヤとギャラリーが一体となって盛り上がるような演出効果を実現できる。
【０１０８】
また本実施形態はマルチプレーヤゲームにも適用可能である。この場合には、第１〜第ｎのプレーヤが搭乗する第１〜第ｎの筐体（ｎは２以上の整数）を設ける。また第１〜第ｎの筐体の前方等の位置において、第１〜第ｎの筐体や第１〜第ｎのプレーヤを撮影する第１〜第ｎのカメラを設置する。そして第１〜第ｎのプレーヤのうちの第ｉのプレーヤ（ｉは１≦ｉ≦ｎとなる整数）についてのギャラリー用画像を生成する場合には、第ｉのプレーヤに対応する第ｉのプレーヤキャラクタの前方等の位置に撮影用の仮想カメラＶＣＭを移動して、第ｉのプレーヤキャラクタや第ｉのプレーヤキャラクタが搭乗する第ｉの移動体を撮影する。そして第ｉの筐体及び第ｉのプレーヤを撮影する第ｉのカメラで撮影された実空間画像と、撮影用の仮想カメラＶＣＭから見える仮想空間画像を合成することで、合成画像を生成する。そして生成された合成画像をギャラリー用表示装置２１０に表示する。このようにすれば、第ｉのプレーヤは、自身の前方に撮影用の仮想カメラＶＣＭが表示されることで、自身が撮影対象となっていることを認識することができ、撮影用の仮想カメラＶＣＭや撮影者キャラクタＣＨＭに対して手を振るなどの動作を行うようになる。これにより、プレーヤとギャラリーが一体となって盛り上がるような演出効果を実現できる。
【０１０９】
図７は、ビルの間に掛けられた細い橋を渡るという高所体験のＶＲゲームへの本実施形態の適用例である。本実施形態では、被写体が装着する少なくとも１つのトラッキング装置からのトラッキング情報に基づいて、被写体の画像の抽出範囲を設定して、被写体の画像を抽出する。例えば図７では、プレーヤＰＬは、左手、右手、左足、右足に、図２（Ａ）で説明したようなトラッキング装置ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４を装着している。このようなトラッキング装置ＴＲ１〜ＴＲ４を用いることで、プレーヤＰＬの手足の動きをトラッキングできるようになり、プレーヤＰＬの姿勢や動作の検出が可能になる。そして本実施形態では、これらのトラッキング装置ＴＲ１〜ＴＲ４からのトラッキング情報に基づいて、被写体であるプレーヤＰＬの画像の抽出範囲ＡＲを設定し、プレーヤＰＬの画像を抽出する。更に具体的には図７ではＨＭＤ２００もトラッキング装置ＴＲ５を内蔵しているため、手足に装着されたトラッキング装置ＴＲ１〜ＴＲ４とＨＭＤ２００に設けられるトラッキング装置ＴＲ５からのトラッキング情報に基づいて、抽出範囲ＡＲを設定する。例えばトラッキング装置ＴＲ１〜ＴＲ５からのトラッキング情報として、トラッキング装置ＴＲ１〜ＴＲ５の位置などの情報を取得し、このトラッキング装置ＴＲ１〜ＴＲ５の位置を内包する範囲を抽出範囲ＡＲに設定する。そしてこの抽出範囲ＡＲにおいて、プレーヤＰＬの画像の抽出処理を行う。このようにすれば、ＶＲゲームにおいてプレーヤの姿勢が変化したり、種々の動作を行った場合にも、適正な抽出範囲ＡＲでのプレーヤＰＬの画像の抽出処理を実現できるようになる。また被写体と予定していない者を被写体として誤って抽出してしまう事態も防止できる。
【０１１０】
また本実施形態では、トラッキング装置の位置と、トラッキング装置の位置から所与の距離だけシフト（オフセット）した位置に設定された補助点の位置とに基づいて、被写体の画像の抽出範囲を設定する。例えば図８（Ａ）、図８（Ｂ）ではプレーヤＰＬがビルのエレベーターに乗っている。この場合に図８（Ａ）に示すようにトラッキング装置ＴＲ１〜ＴＲ５の位置だけに基づいて、抽出範囲ＡＲを設定すると、例えばプレーヤＰＬの背中の部分等が抽出範囲ＡＲに入らなくなり、適正な抽出処理を実現できない。
【０１１１】
そこで本実施形態では図８（Ｂ）に示すように、例えばプレーヤＰＬが装着するＨＭＤ２００のトラッキング装置ＴＲ５の位置からシフトした位置に、抽出範囲ＡＲの設定のための補助点ＰＡＸを設定する。例えばＨＭＤ２００のトラッキング装置ＴＲ５からのトラッキング情報に基づいて、ＨＭＤ２００の方向情報についても取得されている。この方向情報を用いて、ＨＭＤ２００の位置から後ろ方向に所与の距離だけシフトした位置に補助点ＰＡＸを設定する。そしてトラッキング装置ＴＲ１〜ＴＲ５の位置と補助点ＰＡＸの位置とに基づいて、被写体であるプレーヤＰＬの抽出範囲ＡＲを設定する。このようにすれば図８（Ｂ）に示すように、プレーヤＰＬの全てを内包するような抽出範囲ＡＲを設定できるようになり、被写体であるプレーヤＰＬの画像の適正な抽出処理を実現できるようになる。
【０１１２】
４．２  画像合成処理
次に仮想空間画像と実空間画像を合成する本実施形態の画像合成処理の詳細例について説明する。図９は本実施形態の詳細な処理例を説明するフローチャートである。
【０１１３】
まずカメラ１５０により背景を撮影した第２画像を取得する（ステップＳ１）。例えば図２（Ｂ）、図３においてプレーヤが筐体３０に搭乗していない状態で、カメラ１５０により筐体３０などを含む背景を撮影した第２画像を取得する。そしてゲームが開始したか否かを判断し（ステップＳ２）、ゲームが開始した場合にはフレーム更新か否かを判断する（ステップＳ３）。例えば本実施形態では、フレーム更新毎に仮想空間画像や合成画像の生成処理が行われる。
【０１１４】
フレーム更新である場合には、仮想カメラにおいて仮想カメラから見える仮想空間画像を生成する（ステップＳ４）。例えば撮影用の仮想カメラから見える仮想空間画像や、プレーヤのＨＭＤ２００に表示されるプレーヤ用の仮想空間画像を生成する。またカメラ１５０により背景及び被写体を撮影した第１画像を取得する（ステップＳ５）。即ち、背景と、被写体であるプレーヤが映る第１画像をカメラ１５０により撮影して取得する。
【０１１５】
次に第１画像と第２画像の差分画像を求めることで被写体の画像を抽出する（ステップＳ６）。即ち後述するように背景差分法を用いて被写体であるプレーヤの画像を抽出する。そして仮想空間画像に被写体の画像が合成された合成画像を生成する（ステップＳ７）。即ち図５（Ａ）、図５（Ｂ）に示すように、敵キャラクタＣＨＥ、敵車ＭＶＥ、コースＣＳなどが映る仮想空間画像に対して、被写体であるプレーヤＰＬ等の実空間画像（実写画像）が合成された合成画像を生成する。そして合成画像をギャラリー用表示装置２１０に表示する（ステップＳ８）。なおプレーヤ用の仮想カメラから見えるプレーヤ用の仮想空間画像についてはＨＭＤ２００に表示する。そしてゲームが終了したか否かを判断し（ステップＳ９）、ゲームが終了していない場合にはステップＳ３に戻り、ゲームが終了した場合には処理を終了する。
【０１１６】
以上のように本実施形態では、実空間に配置されたカメラ１５０により背景及び被写体を撮影した第１画像と、カメラ１５０により背景を撮影した第２画像を取得する。図９ではステップＳ１で第２画像が取得され、ステップＳ５で第１画像が取得される。またカメラ１５０の位置に対応する仮想空間の位置に配置された撮影用の仮想カメラから見える仮想空間画像を生成する。即ち図４（Ａ）、図４（Ｂ）に示すような撮影用の仮想カメラＶＣＭから見える仮想空間画像を生成する。そしてステップＳ６、Ｓ７に示すように、第１画像と第２画像の差分画像を求めることで被写体の画像を抽出して、仮想空間画像に被写体の画像が合成された合成画像を生成する。例えば図１０（Ａ）は第１画像ＩＭ１の例である。第１画像ＩＭ１では、被写体であるプレーヤＰＬの画像や、天井、壁、柱等の背景ＢＧの画像が映っている。図１０（Ｂ）は第２画像ＩＭ２の例である。第２画像ＩＭ２では背景ＢＧの画像は映っているが、被写体であるプレーヤＰＬの画像は映っていない。このような第１画像ＩＭ１と第２画像ＩＭ２の差分画像を求めることで、背景差分法により被写体の画像を抽出できる。これにより図５（Ａ）、図５（Ｂ）に示すように、ゲーム画像である仮想空間画像に対して、実空間画像である被写体の画像が合成された合成画像を生成できるようになる。
【０１１７】
例えばＨＭＤ２００などを用いたＶＲゲームでは、実際にプレーヤが体験してみないと、プレーヤに対して面白さが伝わらないという問題がある。またギャラリーは、ＶＲゲームにおいてプレーヤが何をしているのかが分からない。このためプレーヤとギャラリーがＶＲゲームの体験を共有できないという問題がある。
【０１１８】
この場合にＶＲゲームの仮想空間画像と被写体であるプレーヤの実空間画像を合成して、プレーヤがあたかも仮想空間に入り込んでプレイしているように見える映像をギャラリーに表示すれば、ギャラリーは、ＶＲゲームにおいてプレーヤがどのようなプレイをしているかを把握できるため、ＶＲゲームの体験を共有することが可能になる。ところが、このような仮想空間画像と実空間画像の画像合成を、ブルーバックやグリーンバックを用いたクロマキー合成により行うと、ブルーバックやグリーンバックを実現するための大掛かりな撮影用機材を設けなければならないという問題がある。例えばゲームの筐体３０が設置されるゲーム施設において、このような大掛かりな撮影用機材を設けることは現実的ではないほか、店内装飾も制限されてしまう。またクロマキー合成では、被写体においてブルーやグリーンの部分は背景と見なされてしまい、色が欠けてしまう問題も生じる。また、プレーヤがあたかも仮想空間に入り込んでプレイしているように見えるためには、仮想空間画像と実空間画像の整合性が必要である。このとき、実空間画像にプレーヤ以外の人や物など、余計な物体が入ってしまっているなど、仮想空間画像と実空間画像の画像合成の品質が低いと、仮想空間画像と実空間画像の整合性が取れなくなってしまい、望んだ結果が得られなくなってしまう。
【０１１９】
そこで本実施形態では、実空間のカメラ１５０により背景及び被写体を撮影した第１画像と、背景を撮影した第２画像を取得する。また実空間のカメラ１５０の位置に対応する仮想空間の位置に、撮影用の仮想カメラを配置し、この撮影用の仮想カメラから見える仮想空間画像を生成する。そして第１画像と第２画像の差分画像を求めることで背景差分法により被写体の画像を抽出して、仮想空間画像に被写体の画像が合成された合成画像を生成する。このようにすれば、大掛かりな撮影用機材を設けることなく、仮想空間画像と被写体の実空間画像を画像合成できるようになる。従ってカメラ１５０により撮影された被写体の画像と仮想空間画像とを簡素なシステムで高品位に合成できる画像生成システムの提供が可能になる。
【０１２０】
また本実施形態では、背景及び被写体をカメラ１５０により撮影したデプス画像を取得し、第１画像と第２画像の差分画像と、デプス画像とに基づいて、被写体の画像を抽出する。このように背景差分法による差分画像のみならず、デプス画像を用いて、被写体の画像を抽出することで、仮想空間画像と被写体の画像の更に高品位な画像合成を実現できるようになる。例えば背景差分法のみによって被写体の画像を抽出すると、被写体の画像において背景と同じ色の画素については色被りにより欠けてしまうという問題がある。またブースの内側にカメラ１５０が設置されており、カメラ１５０から見てプレーヤの奥側にある通路を、一般通過者が往来するというような状況では、カラーの差分画像を用いた背景差分法だけでは、適正な抽出処理を実現できないという問題もある。この点、背景差分法による差分画像に加えて、デプス画像を用いて画像合成を行えば、上記のような問題を解消できる。
【０１２１】
更に具体的には本実施形態では、差分画像に基づいて差分マスク画像を生成し、デプス画像に基づいて、デプス値が所与のデプス範囲となる画素を識別するデプスマスク画像を生成する。そして差分マスク画像とデプスマスク画像に基づいて、被写体を識別する被写体マスク画像を生成し、被写体マスク画像と第１画像に基づいて、被写体の画像を抽出する。このような差分マスク画像を用いることで、背景の領域と被写体の領域を、差分マスク画像を用いて容易に識別できるようになる。またデプス値が所与のデプス範囲となる画素を識別するデプスマスク画像を用いることで、デプス範囲に位置する被写体を容易に識別できるようになる。従って、このような差分マスク画像とデプスマスク画像を用いることで、背景及び被写体が映る第１画像から、被写体の画像を高品位に抽出することが可能になる。
【０１２２】
図１０（Ｃ）は差分マスク画像ＭＳＤＦの例である。この差分マスク画像ＭＳＤＦは、図１０（Ａ）の第１画像ＩＭ１と図１０（Ｂ）の第２画像ＩＭ２の差分画像の二値化処理を行うことで生成できる。例えば差分マスク画像ＭＳＤＦは、差分画像とデプス画像に基づいて生成してもよい。例えば差分画像の二値化処理を行うことで生成されたマスク画像と、デプス画像から生成されたデプスマスク画像ＭＳＤＰ（補正処理後又は補正処理前のデプスマスク画像）とに基づいて、差分マスク画像ＭＳＤＦを生成する。この差分マスク画像ＭＳＤＦでは、プレーヤＰＬ（被写体）の領域では白の画素値の画素になり、背景ＢＧの領域では黒の画素値の画素になっている。但し図１０（Ｃ）に示すように背景と色が被る部分については色が欠けてしまっている。なお画素値の範囲が０〜２５５である場合に、白の画素値は最大画素値である「２５５」であり、黒の画素値は最小画素値である「０」である。
【０１２３】
図１１（Ａ）はデプスマスク画像ＭＳＤＰの例である。このデプスマスク画像ＭＳＤＰは、例えば図１３（Ａ）に示すようにデプス値が所与のデプス範囲ＲＡとなる画素を識別するマスク画像である。デプス範囲ＲＡは、デプス値が、ニア側のデプス値ＺＮ以上であり、ファー側のデプス値ＺＦ以下となる範囲であり、このデプス範囲ＲＡに位置する被写体ＳＢについては、図１１（Ａ）のデプスマスク画像ＭＳＤＰにおいて白の画素になる。このようにデプス値がデプス範囲ＲＡとなる画素を識別するデプスマスク画像ＭＳＤＰを用いれば、デプス範囲ＲＡ内にある物体を抽出対象として設定できるようになる。そしてデプス範囲ＲＡの手前側や奥側に、被写体となるべきではない物体が存在したり、通過した場合に、当該物体を、デプスマスク画像ＭＳＤＰによる抽出対象から排除することも可能になる。
【０１２４】
そして本実施形態では図１０（Ｃ）の差分マスク画像ＭＳＤＦと図１１（Ａ）のデプスマスク画像ＭＳＤＰに基づいて、図１１（Ｂ）に示す被写体マスク画像ＭＳＳＢを生成する。被写体マスク画像ＭＳＳＢは被写体を識別するためのマスク画像である。例えば被写体マスク画像ＭＳＳＢは、被写体の領域では白の画素になり、被写体以外の領域では黒の画素になるマスク画像である。一例としては、図１０（Ｃ）の差分マスク画像ＭＳＤＦと図１１（Ａ）のデプスマスク画像ＭＳＤＰのＯＲ（論理和）をとることなどで、図１１（Ｂ）の被写体マスク画像ＭＳＳＢを生成できる。具体的には、差分マスク画像ＭＳＤＦと、後述するモルフォロジーフィルター処理等の補正処理後のデプスマスク画像ＭＳＤＰとのＯＲをとることで、被写体マスク画像ＭＳＳＢを生成する。更に具体的には、差分画像の二値化処理を行うことで生成されたマスク画像と、補正処理後又は補正処理前のデプスマスク画像ＭＳＤＰとのＡＮＤ（論理積）をとることで、差分マスク画像ＭＳＤＦを生成する。そして生成された差分マスク画像ＭＳＤＦと、補正処理後のデプスマスク画像ＭＳＤＰとのＯＲをとることで、被写体マスク画像ＭＳＳＢを生成する。例えば被写体マスク画像ＭＳＳＢでは、差分マスク画像ＭＳＤＦにおいて白となる画素、又は、デプスマスク画像ＭＳＤＰにおいて白となる画素が、白の画素に設定される。また被写体マスク画像ＭＳＳＢでは、差分マスク画像ＭＳＤＦとデプスマスク画像ＭＳＤＰの両方において黒となる画素は、黒の画素に設定される。そして図１１（Ｂ）の被写体マスク画像ＭＳＳＢと図１０（Ａ）の第１画像ＩＭ１に基づいて、図１１（Ｃ）に示すように被写体の画像を抽出する。例えば第１画像ＩＭ１から、被写体マスク画像ＭＳＳＢが白の画素となる画素群の領域を切り取ることで、被写体の画像を抽出できる。例えば図１０（Ｃ）に示すように、差分マスク画像ＭＳＤＦでは、被写体の画像において背景と同じ色の画素については色被りにより欠けてしまうという問題がある。この点、図１１（Ａ）のデプスマスク画像ＭＳＤＰでは、差分マスク画像ＭＳＤＦにおいて色被りにより欠けて黒となった画素が、白の画素になる。従って、差分マスク画像ＭＳＤＦとデプスマスク画像ＭＳＤＰとに基づいて被写体マスク画像ＭＳＳＢを生成することで、背景と同じ色の画素が色被りにより欠けてしまう問題を解消でき、被写体の適切な抽出処理を実現できるようになる。
【０１２５】
なお、被写体の手前側に、抽出対象として予定していないオペレータや通過者等の非抽出対象物体が存在して、被写体と重なる場合には、デプスマスク画像ＭＳＤＰにおいては、当該非抽出対象物体の領域の画素は黒になってしまい、非抽出対象物体の奥側の被写体を適正に抽出できなくなるおそれがある。差分マスク画像ＭＳＤＦにおいてもデプスの閾値を設定していると、非抽出対象物体の領域の画素は黒になってしまう。このように非抽出対象物体の存在により被写体を正しく抽出できないことをシステムが検出して、被写体であるプレーヤを抽出せずに、当該プレーヤの代わりにキャラクタの画像を表示したり、当該プレーヤの抽出から、一緒にプレイしている他のプレーヤの抽出に切り替えるようにしてもよい。例えばゲームプレイの開始前に、ＨＭＤの位置を検出しておく。そしてゲームプレイ中に、ＨＭＤの手前側の非抽出対象物体の存在によりＨＭＤが隠れてしまい、ＨＭＤの領域の画素が黒になった場合には、エラーが発生したと判定し、ゲーム空間のキャラクタの画像の表示に切り替えたり、他のプレーヤの画像に切り替えたり、或いは、複数台のカメラを用いている場合には、プレーヤを撮影するカメラを、高所や後方などの異なる位置に設置された他のカメラに切り替える。更に、例えば、プレイ中に常時、ＨＭＤなどの位置情報からプレーヤがいるべき抽出対象領域を推測する。その領域内のピクセル数が一定割合以下となった場合、ＨＭＤの手前側に非抽出対象物体が存在していると判定し、上述のような切り替えを行う。逆に、抽出対象領域があまりにも大きすぎる場合も、床や壁面などの誤検出が発生していると判定し、抽出・合成を中断し、ゲーム空間のキャラクタ表示に切り替えるか、他のカメラに切り替えるようにする。また図８（Ｂ）で説明した補助点を設定する手法と同様に、ＨＭＤの位置以外に、筐体の下部等にいくつかの補助点を設定し、ＨＭＤの位置の画素と補助点の位置の画素を用いて判断して、上記のような切替処理を行ってもよい。例えば図６（Ａ）、図６（Ｂ）で説明した筐体マスク画像以外にも、ＨＭＤ等のトラッキング装置からのトラッキング情報や補助点の情報を合わせて使用することで、より高精度な抽出処理を実現できるようになる。
【０１２６】
そして本実施形態では、以上のように抽出した被写体の画像を仮想空間画像に合成する。例えば図１２（Ａ）は、ゲーム画像である仮想空間画像に対して、被写体であるプレーヤＰＬの画像が合成された合成画像の例である。これにより、あたかも仮想空間に、実空間のプレーヤＰＬが出現したかのように見える合成画像を生成できる。そして図１２（Ｂ）に示すように、図１２（Ａ）の合成画像をギャラリー用表示装置２１０に表示することで、ギャラリーは、仮想空間でプレイするプレーヤＰＬの行動の様子を見物できるようになる。例えばＶＲゲームの施設において、ＶＲゲームのプレイを待っているギャラリーに対して、ＶＲゲームの待ち時間において図１２（Ａ）に示すような合成画像を表示する。これにより、プレーヤＰＬとギャラリーがＶＲゲームの体験を共有できるようになり、ＶＲゲームの面白味を向上できる。
【０１２７】
また本実施形態では、デプスマスク画像の補正処理を行い、補正処理後のデプスマスク画像と差分マスク画像に基づいて被写体マスク画像を生成する。即ち図１１（Ａ）のデプスマスク画像ＭＳＤＰについての補正処理を行い、補正処理後のデプスマスク画像ＭＳＤＰと、図１０（Ｃ）の差分マスク画像ＭＳＤＦに基づいて、図１１（Ｂ）の被写体マスク画像ＭＳＳＢを生成する。例えば差分マスク画像ＭＳＤＦには色抜けの問題があり、この色抜けの問題を解消するためにデプスマスク画像ＭＳＤＰを用いる。一方、差分マスク画像ＭＳＤＦには、エッジ部分についてまで綺麗に差分をとれるという利点があるが、デプスマスク画像ＭＳＤＰでは、エッジ部分がノイズによってちらついてしまったり、細かいノイズが重畳されるなどの問題がある。この点、デプスマスク画像ＭＳＤＰに対して補正処理を行えば、エッジ部分のちらつきの防止や、細かいノイズの除去等を実現でき、高品位な合成画像の生成が可能になる。
【０１２８】
例えば本実施形態では、背景及び被写体をカメラ１５０により撮影した第１デプス画像と、背景をカメラ１５０により撮影した第２デプス画像との差分デプスマスク画像を生成し、差分デプスマスク画像に基づいて、補正処理後のデプスマスク画像を生成する。例えば図１３（Ｂ）の第１デプス画像ＩＭＤＰ１は、カメラ１５０（デプスカメラ１５４）により背景ＢＧ及び被写体ＳＢを撮影したデプス画像であり、第２デプス画像ＩＭＤＰ２は、カメラ１５０により背景ＢＧを撮影したデプス画像である。この第１デプス画像ＩＭＤＰ１と第２デプス画像ＩＭＤＰ２の差分画像から差分デプスマスク画像ＭＳＤＰＤＦ（背景差分デプスマスク画像）を生成する。例えば差分画像の二値化処理等を行うことで差分デプスマスク画像ＭＳＤＰＤＦを生成できる。例えばデプス値の差分値が所定値以上となる画素を白の画素に設定するなどの処理を行う。図１４（Ａ）は差分デプスマスク画像ＭＳＤＰＤＦの例である。差分をとらない通常のデプスマスク画像では図１４（Ｃ）のように天井や床の部分についても白の画素になってしまう問題があるが、差分デプスマスク画像ＭＳＤＰＤＦを用いることで、このような問題を解消できるようになり、高品位な合成画像の生成が可能になる。
【０１２９】
また本実施形態では、モルフォロジーフィルター処理及び時系列フィルター処理の少なくとも一方を行うことで、補正処理後のデプスマスク画像を生成する。例えば図１４（Ｂ）は、図１４（Ａ）の差分デプスマスク画像ＭＳＤＰＤＦに対して、モルフォロジーフィルター処理や時系列フィルター処理の補正処理を行った後の差分デプスマスク画像ＭＳＤＰＤＦである。モルフォロジーフィルター処理は膨張伸縮化を行うフィルター処理であり、このようなモルフォロジーフィルター処理を行うことで、細かいサイズのノイズを除去できる。時系列フィルター処理では、例えば所定フレーム数以上、連続して、白の画素である判断された画素（デプス値の差分値が所定値以上の画素）を、マスクとして有効な白の画素として判断する。このような時系列フィルター処理を行うことで、細かなノイズのちらつきの発生を抑制できる。そして本実施形態では、このようなモルフォロジーフィルター処理や時系列フィルター処理が行われた差分デプスマスク画像ＭＳＤＰＤＦを用いて、図１４（Ｄ）に示すような補正処理後のデプスマスク画像ＭＳＤＰを生成する。例えば図１４（Ｂ）の差分デプスマスク画像ＭＳＤＰＤＦと、図１４（Ｃ）の通常のデプスマスク画像のＡＮＤ（論理積）をとることで、図１４（Ｄ）に示すデプスマスク画像ＭＳＤＰを生成する。そしてこのデプスマスク画像ＭＳＤＰを用いて、図１１（Ｂ）で説明した被写体マスク画像ＭＳＳＢを生成して、図１１（Ｃ）に示すように被写体の画像を抽出する。
【０１３０】
また本実施形態では、デプス画像においてデプス値が取得できなかった画素の画素値を、差分画像に基づき設定する処理を行うことで、補正処理後のデプスマスク画像を生成する。即ちデプス値が取得できなかった画素であるブランク画素の画素値を、差分画像の画素値で埋める補正処理を行う。図１５（Ａ）は、このようなブランク画素を埋める補正処理を行った場合における被写体の抽出画像の例であり、図１５（Ｂ）は、ブランク画素を埋める補正処理を行わなかった場合における被写体の抽出画像の例である。図１５（Ｂ）に示すように、ブランク画素を埋める補正処理を行わなかった場合には、例えば手のエッジ付近などにおいて被写体の画像が欠けてしまう問題が発生する。
【０１３１】
このような問題の発生を防止するために本実施形態では、図１６（Ａ）に示すように、デプス値が取得できなかったブランク画素を識別するブランクマスク画像を生成する。即ち、ステレオカメラによるデプス値の取得では、ステレオカメラの一方のカメラでは見えるが、他方のカメラでは見えない画素が存在し、このような画素においては適正なデプス値を取得できないため、デプス値が取得できなかったという結果が返って来る。このようにデプス値が取得できないという結果が返って来た画素を、例えば白の画素に設定することで、図１６（Ａ）に示すようなブランクマスク画像を生成できる。そして図１６（Ｂ）は第１画像と第２画像の差分を求めることで生成された差分マスク画像である。図１６（Ｃ）は、図１６（Ａ）のブランクマスク画像と図１６（Ｂ）の差分マスク画像のＡＮＤ（論理積）をとったマスク画像である。図１６（Ｃ）のマスク画像では、図１６（Ａ）のブランクマスク画像においてデプス値を取得できないブランク画素であると判断された画素であり、且つ、図１６（Ｂ）の差分マスク画像において被写体と判断される画素が、白の画素に設定される。このようにデプス値が取得できなかった画素の画素値を、差分画像である差分マスク画像に基づき設定する処理（埋める処理）が行われている。そして図１６（Ｃ）における白の画素が、被写体の画素に設定されるように、被写体マスク画像を生成して、被写体の画像を抽出する。このようにすれば、図１５（Ｂ）のようにデプス値を取得できなかったことが原因で画像が欠けてしまう問題を防止でき、図１５（Ａ）に示すような適切な被写体の抽出画像を生成できるようになる。
【０１３２】
また本実施形態では、デプス値がデプス範囲となる画素群の領域サイズを求め、領域サイズによるフィルター処理を行うことで、補正処理後のデプスマスク画像を生成する。例えばデプス値が図１３（Ａ）のデプス範囲ＲＡとなる画素群の領域サイズを求める。例えばデプス値がデプス範囲ＲＡとなる画素群（隣合う画素群）の画素数をカウントすることで、当該画素群の領域サイズを求めることができる。そして領域サイズが最も大きい画素群や、或いは領域サイズが所定サイズ以上の画素群を、被写体を構成する画素群とするフィルター処理を行う。例えば図１７（Ａ）は、領域サイズによるフィルター処理が行われる前のデプスマスク画像の例であり、図１７（Ｂ）は、領域サイズによるフィルター処理が行われた後のデプスマスク画像の例である。図１７（Ａ）では、小さな領域サイズの画素群が白の画素として残存しているが、図１７（Ｂ）では、小さな領域サイズの画素群を除去するフィルター処理が行われている。そして図１７（Ｂ）では、デプス値がデプス範囲ＲＡとなる画素群のうち、領域サイズが最も大きい画素群を、被写体の画素群として判断して、白の画素に設定している。このようにすれば、ノイズ等を原因として発生する領域サイズの小さな画素群を除去して、被写体に対応する画素群だけを抽出することが可能になり、高品位な合成画像を生成できるようになる。
【０１３３】
また本実施形態では、被写体の領域と判断される被写体領域でのデプス値に基づいて第２デプス範囲を設定し、デプス値が第２デプス範囲となる画素を識別する画像を、デプスマスク画像として生成する。例えば図１８（Ａ）のデプスマスク画像では、白の画素の領域が被写体領域であると判断されるため、この被写体領域のデプス値の平均値ＺＡＶを求める。そしてこの平均値ＺＡＶに基づいて、図１８（Ｂ）に示すような第２デプス範囲ＲＡ２を設定する。第２デプス範囲ＲＡ２は、デプス値が、ニア側のデプス値ＺＮ２以上であり、ファー側のデプス値ＺＦ２以下となる範囲である。この第２デプス範囲ＲＡ２は、図１３のデプス範囲ＲＡに比べて狭い範囲となっており、被写体ＳＢのデプス値の範囲を、より厳密に特定している。
【０１３４】
例えばプレーヤが、仮想空間の世界を自由に歩き回って移動するようなフリーローム（オープンワールド）のコンテンツでは、図１３（Ａ）のデプス範囲ＲＡを設定することが難しい。例えばプレーヤが移動する可能性がある範囲を全てカバーする距離範囲（ＲＡ）を指定しておくと、余計な物体まで誤抽出してしまうおそれがある。
【０１３５】
この点、図１８（Ａ）では、被写体の領域と判断される被写体領域でのデプス値（ＺＡＶ）に基づいて、第２デプス範囲ＲＡ２が設定される。従って、プレーヤが移動した場合にも、このプレーヤの移動に追従するように第２デプス範囲ＲＡ２を設定できるようになる。例えば、上述したような余計な物体の誤抽出が行われないように、デプス範囲から第２デプス範囲ＲＡ２というように段階的にデプス範囲を狭めている。従って、被写体であるプレーヤの移動を反映させた厳密なデプスマスク画像の生成が可能になり、高品位な合成画像を生成できるようになる。
【０１３６】
またトラッキング情報を使ってプレーヤ領域を限定するように、ＨＭＤなどのトラッキング情報に基づいてカメラからの距離範囲を求め、その距離に基づいてデプスの範囲を設定してもよい。
【０１３７】
４．３  種々の処理例
次に本実施形態の種々の処理例について説明する。例えば本実施形態では図５（Ａ）、図５（Ｂ）に示すように、実空間においてプレーヤＰＬが搭乗する筐体３０の画像を抽出し、仮想空間画像にプレーヤＰＬの画像及び筐体３０の画像が合成された画像を生成している。これにより、筐体３０にプレーヤＰＬが搭乗した状態の実空間画像を、仮想空間画像に合成できるようになる。この場合に本実施形態では、図１０（Ａ）、図１０（Ｂ）で説明したように第１画像ＩＭ１と第２画像ＩＭ２の差分画像を求める背景差分法により被写体の画像を抽出している。そして筐体３０は、第１画像ＩＭ１と第２画像ＩＭ２の両方に映るため、通常の背景差分法では、筐体３０は背景と判断されて、抽出されずに消えてしまう。また筐体３０が可動筐体である場合には、ゲームプレイ中に筐体３０が動くため、筐体３０が消えたり、消えなかったりする事態が発生する。
【０１３８】
そこで本実施形態では、図６（Ａ）、図６（Ｂ）で説明したように、筐体３０の画像の抽出範囲を指定する筐体マスク画像を用いて、筐体３０の画像を抽出している。この筐体マスク画像を用いる手法について詳細に説明する。
【０１３９】
図１９（Ａ）は、オペレータが手動で筐体３０の範囲を指定することで設定された筐体マスク画像の例である。この筐体３０の範囲の指定は、筐体３０の概形をなぞる程度の粗さでよい。図１９（Ｂ）は、筐体３０についてのデプスマスク画像の例である。図１９（Ａ）の範囲指定用の筐体マスク画像と、図１９（Ｂ）のデプスマスク画像のＡＮＤ（論理積）をとることで、図１９（Ｃ）に示すような筐体領域を示す筐体マスク画像が生成される。実際には、図１９（Ｂ）のデプスマスク画像に対して、前述したような穴埋めやエッジ平滑化などの補正処理を行い、補正処理後のデプスマスク画像と、図１９（Ａ）の範囲指定用の筐体マスク画像のＡＮＤをとることになる。図１９（Ａ）では筐体３０の概形だけが指定されていたが、図１９（Ｂ）のデプスマスク画像とのＡＮＤをとることで、図１９（Ｃ）に示すように筐体３０の形が正確に反映された筐体マスク画像を生成できる。そして図１９（Ｃ）の筐体マスク画像と、差分マスク画像（カラー背景差分）とのＯＲをとることで、図２０（Ａ）のような画像を生成し、図１９（Ｃ）の筐体マスク画像と、差分デプスマスク画像（デプス背景差分）とのＯＲをとることで、図２０（Ｂ）のような画像を生成する。そして図２０（Ａ）の画像と図２０（Ｂ）の画像のＯＲをとることで、図２０（Ｃ）に示す被写体マスク画像を生成する。これにより図２０（Ｄ）に示すように、筐体３０及びプレーヤＰＬを適正に抽出できるようになる。例えば図２１（Ａ）〜図２１（Ｄ）は筐体マスク画像を用いない手法の説明図である。図２１（Ａ）は差分マスク画像（カラー背景差分）であり図２１（Ｂ）は差分デプスマスク画像（デプス背景差分）である。図２１（Ｂ）において筐体３０にプレーヤＰＬが乗った程度の差分は差分の閾値以下となる。図２１（Ｃ）は図２１（Ａ）の画像と図２１（Ｂ）の画像のＯＲをとることで生成された被写体マスク画像であり、この被写体マスク画像によっては、図２１（Ｄ）に示すようにプレーヤＰＬだけしか抽出できず、筐体３０を抽出することができない。
【０１４０】
以上に説明した筐体マスク画像を用いる手法によれば、オペレータは図１９（Ａ）に示すように筐体３０の概形をラフに指定すれば済むため、オペレータの範囲指定の作業が楽になる。また筐体３０が動くことで、静止時には筐体３０が映っていた一部の画素の領域が背景になった場合に、背景になった画素の領域も適切に背景として判定できるようになり、可動筐体である筐体３０の適切な抽出処理を実現できる。
【０１４１】
図２２は、図７〜図８（Ｂ）で説明した抽出範囲を設定する手法の説明図である。図２２では、ＨＭＤ２００を装着したプレーヤＰＬが、ゲーム施設に設置された細い板状の橋の上を移動している。そしてこのゲームでは、カメラ１５０の画角内であるプレイエリアの中において、オペレータＯＰがプレーヤＰＬの直ぐ近くで、ＨＭＤ２００を装着することで外の様子が見えないプレーヤＰＬを補助している。画像処理だけでは、カメラ１５０に写っているのが、プレーヤＰＬなのかオペレータＯＰなのかを判定できないため、プレーヤＰＬではない誤った対象が抽出されてしまう問題が生じる。
【０１４２】
このような問題の発生を抑制するために、図７〜図８（Ｂ）で説明したように、プレーヤＰＬが存在すると考えられる領域にだけ、抽出範囲を設定して抽出処理を行う。即ち、ＨＭＤ２００などのトラッキング装置からのトラッキング情報を用いることで、プレーヤＰＬが存在する範囲を求めることができる。ＨＭＤ２００のトラッキング情報だけでは、プレーヤＰＬの頭の位置しか検出できないが、手、足などに装着した複数のトラッキング装置からのトラッキング情報を用いることで、被写体であるプレーヤＰＬの種々の姿勢、動作にも応じた適切な範囲に抽出範囲を設定できるようになる。
【０１４３】
また本実施形態では、１台のカメラ１５０を用いる場合について説明したが、複数台のカメラを設け、これらの複数台のカメラを用いて被写体の抽出処理を行ってよい。例えば複数台のカメラからの複数のカラー画像と複数のデプス画像を用いて被写体の抽出処理を行う。
【０１４４】
またマルチプレーヤゲームの場合には、ゲームをプレイする複数のプレーヤについて生成された複数の合成画像（実空間画像と仮想空間画像の合成画像）を順次に切り替えて表示したり、複数の合成画像を表示装置に対して同時表示するようにしてもよい。
【０１４５】
またデプス値の測定方式は、本実施形態で説明したステレオカメラを用いる方式には限定されず、光の往復の時間を測定するＴｏＦ（Time of Flight）の方式や、予め決まった赤外線等のパターンを投影し、そのパターンの変形から計算する構造化光法などの種々の方式を採用できる。例えばトラッキング用の赤外線の受光素子が設けられないようなタイプのＨＭＤであれば、赤外線を投射してから帰ってくるまでの時間から距離を計算してデプス値を測定するＴｏＦの方式を用いることができる。また反射の光の強度で距離を測る場合には、赤外線の受光部を有していないＨＭＤを用いてもよい。
【０１４６】
また本実施形態では、実空間のカメラ１５０の位置に対応する仮想空間の位置に撮影用の仮想カメラを配置する。このため、カメラ１５０と被写体（プレーヤ、筐体）との間のカメラ距離を正確に測定することが望まれる。そこでＡＲマーカのような例えば箱状のマーカ物体を用意して、被写体の近くに配置する。そして、このマーカ物体をカメラ１５０により撮影することで、ＡＲマーカの場合と同様の手法でカメラ距離を測定する。こうすることで、実空間でのカメラ１５０と被写体との距離関係を正確に反映させた撮影用の仮想カメラの配置を実現できる。
【０１４７】
また本実施形態は種々のゲームやイベントに適用できる。例えばリズムゲームやダンスゲームなどにおいて、仮想空間の広場において演奏したり踊っているプレーヤの様子を、仮想空間画像と実空間画像の合成画像として生成し、例えばリプレイ画像として配信するようにしてもよい。例えば仮想空間において、ギャラリーとなる多数のキャラクタを配置し、プレーヤの演奏やダンスを盛り上げるようにする。このようにすればプレーヤは、異空間である仮想空間において演奏したり踊っている自分の姿を、後で楽しめるようになる。
【０１４８】
またキッズ向けのライドアトラクションにおいて、ライド筐体に乗車している子供の様子を合成画像（合成映像）として生成し、写真にプリントして持ち帰るようにしたり、配信するようにしてもよい。本実施形態によれば、ブルーバックやグリーンバックなどの撮影用機材をアトラクションに配置することなく、望む世界やシチュエーションの画像、映像を作れるようになる。
【０１４９】
また握手会、記念撮影会において、仮想空間のキャラクタと共に撮影した合成画像を提供するようにしてもよい。例えば漫画のキャラクタやゲームのキャラクタとプレーヤが出会えるようにする。このようにすれば、実空間には存在しないキャラクタと実際に触れ合った様子が映った合成画像を提供できる。また仮想的なカフェにおいてキャラクタと一緒に食事をしているような合成画像を生成してもよい。
【０１５０】
また図５（Ａ）、図５（Ｂ）では、ＨＭＤ２００を装着した状態のプレーヤＰＬの画像が表示されているが、ＨＭＤ２００の代わりとなるかぶり物の画像を合成してもよい。例えばプレーヤＰＬの自身の画像を、かぶり物の画像として合成したり、コスプレのようなかぶり物の画像を合成する。或いは、プレーヤＰＬが武器、アイテムを装着したり、衣装を着たりするように見える合成画像を生成してもよい。或いは、筐体３０の画像を、よりリアルな画像に見えるような画像合成処理を行ってもよい。
【０１５１】
また協力プレイのゲームにおいて、仮想空間画像と実空間画像の合成画像（合成映像）を見ている第１のプレーヤと、ゲーム操作を行ったり体を動かす第２のプレーヤとに分け、第２のプレーヤの操作や動作についてのヒントを、第１のプレーヤが、合成画像を見ながら第２のプレーヤに伝えるようにしてもよい。
【０１５２】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（被写体等）と共に記載された用語（プレーヤ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像生成システムの構成、筐体の構成、カメラの構成、画像の取得処理、仮想空間画像の生成処理、被写体や筐体の画像の抽出処理、仮想空間画像と実空間画像の画像合成処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。また本実施形態は種々のゲームに適用できる。また本実施形態は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のプレーヤが参加する大型アトラクションシステム等の種々の画像生成システムに適用できる。
【符号の説明】
【０１５３】
ＰＬ…プレーヤ、ＶＣＭ…撮影用の仮想カメラ、ＣＨＭ…撮影者キャラクタ、
ＭＶ…車、ＭＶＥ…敵車、ＣＨＥ…敵キャラクタ、ＳＴ  ハンドル、ＨＬ、ＨＲ  手、
ＥＦ１、ＥＦ２…エフェクト、ＣＳ…コース、ＭＳＣ…筐体マスク画像、
ＴＲ１〜ＴＲ５…トラッキング装置、ＡＲ…抽出範囲、ＰＡＸ…補助点、
ＩＭ１…第１画像、ＩＭ２…第２画像、ＭＳＤＦ…差分マスク画像、
ＭＳＤＰ…デプスマスク画像、ＭＳＳＢ…被写体マスク画像、
ＩＭＤＰ１…第１デプス画像、ＩＭＤＰ２…第２デプス画像、
ＭＳＤＰＤＦ…差分デプスマスク画像、ＭＳＣ…筐体マスク画像、
ＢＧ…背景、ＳＢ…被写体、ＲＡ…デプス範囲、ＲＡ２…第２デプス範囲、
ＺＮ、ＺＮ２、ＺＦ、ＺＦ２…デプス値、ＺＡＶ…デプス値の平均値、
３０…筐体、３２…底部、３３…カバー部、４０…移動部、
５０…ハンドル、５２…アクセルペダル、５４…ブレーキペダル、
６０…ライド部、６２…シート、８０…送風機、
１００…処理部、１０２…取得部、１０４…仮想空間設定部、１０６…ゲーム処理部、
１０７…移動体処理部、１０８…筐体制御部、１１０…仮想カメラ制御部、
１２０…画像生成部、１２２…画像合成部、１３０…音生成部、
１５０…カメラ、１５２…カラーカメラ、１５４…デプスカメラ、１６０…操作部、
１７０…記憶部、１７２…仮想空間情報記憶部、１７８…描画バッファ、
１８０…情報記憶媒体、１９２…音出力部、１９４…Ｉ／Ｆ部、
１９５…携帯型情報記憶媒体、１９６…通信部、２００…ＨＭＤ（頭部装着型表示装置）、２０１〜２０３…受光素子、２０６…トラッキング装置、２０８…表示部、
２１０…ギャラリー用表示装置、２５０、２６０…トラッキング装置、
２５１〜２５４…受光素子、２６１〜２６４…受光素子、
２８０、２８４…ベースステーション、２８１、２８２、２８５、２８６…発光素子
【図１】
2020204856.tif 000003
【図２】
2020204856.tif 000004
【図３】
2020204856.tif 000005
【図４】
2020204856.tif 000006
【図５】
2020204856.tif 000007
【図６】
2020204856.tif 000008
【図７】
2020204856.tif 000009
【図８】
2020204856.tif 000010
【図９】
2020204856.tif 000011
【図１０】
2020204856.tif 000012
【図１１】
2020204856.tif 000013
【図１２】
2020204856.tif 000014
【図１３】
2020204856.tif 000015
【図１４】
2020204856.tif 000016
【図１５】
2020204856.tif 000017
【図１６】
2020204856.tif 000018
【図１７】
2020204856.tif 000019
【図１８】
2020204856.tif 000020
【図１９】
2020204856.tif 000021
【図２０】
2020204856.tif 000022
【図２１】
2020204856.tif 000023
【図２２】
2020204856.tif 000024