(57)【要約】【課題】仮想３次元模型を用いて、現実の模型の迫力やインパクトに肉薄することが期待できる、仮想３次元模型を対象とした立体複合現実感提供プログラムを提供する。【解決手段】仮想３次元模型７１を含む仮想３次元ジオラマ７０を現実空間（Ｌ）内に仮想的に配置する仮想３次元ジオラマ配置手段、コントローラから仮想３次元模型を動作させる仮想３次元模型動作手段、現実空間内のＨＭＤの位置と姿勢を判定するＨＭＤ位置姿勢判定手段、右目用現実画像と左目用現実画像を取り込む現実画像取り込み手段、右目用仮想ジオラマ画像と左目用仮想ジオラマ画像を作成する仮想ジオラマ画像作成手段、右目用複合画像と左目用複合画像を作成する複合画像作成手段、立体映像情報を作成する立体映像情報作成手段、３次元ディスプレイ装置に立体映像を再生させる立体映像再生手段、として機能させる、仮想３次元模型を対象とした立体複合現実感提供プログラムである。【選択図】図３
2018067060.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの両目を覆うように装着される非透過型のヘッドマウントディスプレイであるＨＭＤと、
ユーザからの指示を入力可能なコントローラと、
コンピュータと、を用いた仮想３次元模型を対象とした立体複合現実感提供プログラムであって、
前記ＨＭＤは、ユーザに立体映像を視認させることが可能な３次元ディスプレイ装置と、ユーザの右目の正面視線方向を撮像する少なくとも１つの右撮像装置と、ユーザの左目の正面視線方向を撮像する少なくとも１つの左撮像装置と、現実空間内における前記ＨＭＤの位置と姿勢を前記コンピュータにて検出可能とする位置姿勢検出手段と、を有しており、
前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、
前記コンピュータにて記憶装置から読み込んだ、あるいは前記コンピュータにて通信回線を介して受信した、仮想３次元模型を含む仮想３次元ジオラマを、現実空間内における指定された位置に仮想的に配置する仮想３次元ジオラマ配置手段、
前記仮想３次元模型を、前記コントローラに入力された指示に基づいて動作させる仮想３次元模型動作手段、
前記位置姿勢検出手段からの検出信号に基づいて現実空間内における前記ＨＭＤの位置と前記ＨＭＤの姿勢を判定するＨＭＤ位置姿勢判定手段、
前記右撮像装置で撮像した現実空間の右目用現実画像と、前記左撮像装置で撮像した現実空間の左目用現実画像と、を取り込む現実画像取り込み手段、
判定した前記ＨＭＤの位置と姿勢に基づいて、前記ＨＭＤの右撮像装置の位置から見えるであろう前記仮想３次元ジオラマの画像である右目用仮想ジオラマ画像と、前記ＨＭＤの左撮像装置の位置から見えるであろう前記仮想３次元ジオラマの画像である左目用仮想ジオラマ画像と、を作成する仮想ジオラマ画像作成手段、
判定した前記ＨＭＤの位置と姿勢に応じた、前記右目用現実画像に前記右目用仮想ジオラマ画像を重畳した右目用複合画像と、前記左目用現実画像に前記左目用仮想ジオラマ画像を重畳した左目用複合画像と、を作成する複合画像作成手段、
前記右目用複合画像と前記左目用複合画像に基づいて、前記３次元ディスプレイ装置にて再生するための立体映像情報を作成する立体映像情報作成手段、
作成した前記立体映像情報を用いて、前記３次元ディスプレイ装置に前記立体映像を再生させる立体映像再生手段、として機能させるための、
仮想３次元模型を対象とした立体複合現実感提供プログラム。
【請求項２】
請求項１に記載の仮想３次元模型を対象とした立体複合現実感提供プログラムであって、
前記仮想３次元模型は、汽車または列車または地下鉄列車、建設機械、車両または軍用車両、船舶または軍艦、ヘリコプターまたは航空機または軍用航空機、潜水艦、ロボット、ロケット、宇宙船、の少なくとも１つであり、
前記コントローラには、前記仮想３次元模型の速度の指示、前記仮想３次元模型の前進または後退の指示、前記仮想３次元模型の右旋回または左旋回の指示、前記仮想３次元模型の上昇または下降の指示、前記仮想３次元模型における煙吐出位置からの仮想３次元煙の吐出の指示、前記仮想３次元模型における蒸気吐出位置からの仮想３次元蒸気の吐出の指示、前記仮想３次元模型における排気吐出位置からの仮想３次元排気の吐出の指示、前記仮想３次元模型における砲弾発射位置からの仮想３次元砲弾の発射の指示、前記仮想３次元模型における所定部位の指定方向への動作の指示、の少なくとも１つの指示を入力可能であり、
前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想３次元模型動作手段として機能させる際、前記コントローラに入力された指示に応じて前記仮想３次元模型を動作させる、
仮想３次元模型を対象とした立体複合現実感提供プログラム。
【請求項３】
請求項１または２に記載の仮想３次元模型を対象とした立体複合現実感提供プログラムであって、
前記記憶装置には、前記仮想３次元模型の動作に応じた音情報である動作対応音情報、または前記コントローラに入力された指示に応じた音情報である指示対応音情報、の少なくとも一方が記憶されており、あるいは前記動作対応音情報と前記指示対応音情報の少なくとも一方を生成可能な音生成プログラムが記憶されており、
前記動作対応音情報と前記指示対応音情報とに基づいた音信号に応じた音を出力する音出力装置を用い、
前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想３次元模型動作手段として機能させる際、
前記記憶装置に、前記動作対応音情報を有している、あるいは前記動作対応音情報を生成可能な前記音生成プログラムを有している場合、前記仮想３次元模型の動作に応じた前記動作対応音情報に基づいた音信号を前記音出力装置に出力させ、
前記記憶装置に、前記指示対応音情報を有している、あるいは前記指示対応音情報を生成可能な前記音生成プログラムを有している場合、前記コントローラに入力された指示に応じた前記指示対応音情報に基づいた音信号を前記音出力装置に出力させる、
仮想３次元模型を対象とした立体複合現実感提供プログラム。
【請求項４】
請求項１〜３のいずれか一項に記載の仮想３次元模型を対象とした立体複合現実感提供プログラムであって、
前記仮想３次元ジオラマへの光源として、前記仮想３次元ジオラマ内において仮想的に設定した太陽である仮想太陽の水平方向の角度である方位角と、前記仮想太陽の垂直方向の角度である仰角または前記仰角を決める仮想時刻情報と、
前記仮想ジオラマの天候として、晴天または曇天または雨または風または雪の少なくとも１つの天候である仮想天候と、を指定可能であり、
前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想ジオラマ画像作成手段として機能させる際、
指定された方位角、及び指定された仰角または前記仮想時刻情報に基づいた仰角、に応じた位置に前記仮想太陽を配置した場合の仮想的な光である仮想太陽光が仮想的に照射されている前記仮想３次元ジオラマであって、指定された前記仮想天候が周囲に仮想的に再現された前記仮想３次元ジオラマ、に基づいて、前記右目用仮想ジオラマ画像と前記左目用仮想ジオラマ画像とを作成させる、
仮想３次元模型を対象とした立体複合現実感提供プログラム。
【請求項５】
請求項１〜４のいずれか一項に記載の仮想３次元模型を対象とした立体複合現実感提供プログラムであって、
１台以上の前記コンピュータに対して、複数の前記ＨＭＤと、それぞれの前記ＨＭＤに対応させたそれぞれの前記コントローラと、を用い、
複数の前記ＨＭＤに対して共通の前記仮想３次元ジオラマであって前記ＨＭＤ毎の前記仮想３次元模型を含む共通仮想３次元ジオラマを設定可能であり、
前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、
前記仮想３次元ジオラマ配置手段として機能させる際、前記共通仮想３次元ジオラマを仮想的に配置し、
前記仮想３次元模型動作手段として機能させる際、前記共通仮想３次元ジオラマに含まれているそれぞれの前記仮想３次元模型を、それぞれの前記コントローラに対応させて動作させ、
前記ＨＭＤ位置姿勢判定手段として機能させる際、前記ＨＭＤ毎の位置と姿勢を判定し、
前記現実画像取り込み手段として機能させる際、前記ＨＭＤ毎に前記右目用現実画像と前記左目用現実画像とを取り込み、
前記仮想ジオラマ画像作成手段として機能させる際、仮想的に配置されている複数の前記仮想３次元模型を含む前記共通仮想３次元ジオラマを用いて、前記ＨＭＤ毎に前記右目用仮想ジオラマ画像と前記左目用仮想ジオラマ画像とを作成させ、
前記複合画像作成手段として機能させる際、前記ＨＭＤ毎に前記右目用複合画像と前記左目用複合画像を作成させ、
前記立体映像情報作成手段として機能させる際、前記ＨＭＤ毎に前記立体映像情報を作成させ、
前記立体映像再生手段として機能させる際、各ＨＭＤに対応する前記３次元ディスプレイ装置に、各ＨＭＤに対応する前記立体映像を再生させる、
仮想３次元模型を対象とした立体複合現実感提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実映像に、仮想３次元模型を対象とした仮想映像を重畳した複合映像を、さらに立体映像（３次元映像）で楽しむことができる、仮想３次元模型を対象とした立体複合現実感提供プログラムに関する。
【背景技術】
【０００２】
従来より、鉄道模型等の種々の模型を趣味としている多くのユーザが居る。例えば鉄道模型を趣味としているユーザは、例えばＮゲージやＨＯゲージと呼ばれるシリーズのレール（軌道）と列車（模型）を入手し、部屋内にレールを敷きつめ、モータで動作する列車をレール上で走行させ、その走行する姿を種々の位置で種々の角度から眺めて楽しんでいる。
【０００３】
例えばＮゲージの列車の模型を楽しむユーザには、よりリアル感を出すために、山岳地帯や市街地等の背景を含めた大掛かりな、いわゆるジオラマを部屋内に作成するユーザもいる。この場合、部屋がジオラマに占有されてしまう。また背景まで作成せずにレールのみのジオラマとした場合であっても、模型専用の部屋を持っていない一般的なユーザは、模型を楽しむためにはレールを部屋内に敷きつめる必要があり、模型を楽しんだ後はレールを片付ける必要がある。これは非常に面倒で手間のかかる作業であり、楽しみが半減してしまう。
【０００４】
また無線で操作可能な航空機や船舶等の模型を楽しむユーザは、部屋内で模型を動作させることが困難であるので、屋外に模型を持ち出して模型を動作させて楽しんでいる。しかし、周囲の人々等に迷惑をかけることなく安全に模型を動作させて楽しむことができる場所が近所にあるとは限らず、模型を動作可能な範囲も十分に広い場合でないことが多い。また、このような模型を楽しむ場合、墜落や水没等が発生して模型が破損する可能性がある。
【０００５】
近年では、仮想現実（ＶＲ：Virtual Reality）の技術が進歩し、映画等の比較的大規模なシステムから、パソコンやスマートフォン等の比較的小規模なシステムでも仮想現実を楽しむことができる。従って、仮想模型を仮想現実で楽しむことも可能である。
【０００６】
例えば特許文献１には、複数の観測者のそれぞれがヘッドマウントディスプレイ（以下、ＨＭＤと記載する）を装着し、それぞれが視認している仮想物体を操作する操作入力装置を持っている場合において、ＨＭＤと操作入力装置との対応付けをより簡便に行う、画像処理装置が開示されている。
【０００７】
また特許文献２には、透過型のディスプレイ装置を利用して、ディスプレイを透過した現実空間にディスプレイに表示した仮想映像を重畳して表示する仮想現実画像表示装置が開示されている。なお、透過した現実空間に仮想映像を重畳している際、ユーザが視点方向を移動させると、現実空間の物体の位置と、仮想映像の物体の位置との位置関係が、処理遅れ等によって維持できない場合がある。この位置関係が維持できなかった場合、現実空間の物体の位置と、仮想映像の物体の位置との間に不規則な位置のズレが生じ、ユーザに違和感や酔いが生じる。特許文献２では、この位置のズレを大幅に減少させる仮想現実画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４７５７１１５号公報
【特許文献２】特開２００７−２１３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の発明は、仮想模型を用いることで、部屋内でも屋外でも手間なく仮想模型を楽しむことができると期待できる。しかし、現実映像に、仮想物体を含む仮想映像を重畳し、仮想物体を操作する操作入力装置を用いて仮想物体を操作しているが、立体映像（３次元映像）を提供できるものではないので、現実の模型と比較して、迫力やインパクトに欠け、期待したほど楽しむことができない可能性がある。
【００１０】
特許文献２に記載の発明も、仮想模型を用いることで、部屋内でも屋外でも手間なく仮想模型を楽しむことができると期待できる。しかし、透過型ディスプレイを透過した現実映像に、仮想映像を重畳しているが、特許文献１と同様、立体映像（３次元映像）を提供できるものではないので、現実の模型と比較して、迫力やインパクトに欠け、期待したほど楽しむことができない可能性がある。
【００１１】
本発明は、このような点に鑑みて創案されたものであり、仮想３次元模型を用いて、現実の模型の迫力やインパクトに肉薄することが期待できる、仮想３次元模型を対象とした立体複合現実感提供プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の第１の発明は、ユーザの両目を覆うように装着される非透過型のヘッドマウントディスプレイであるＨＭＤと、ユーザからの指示を入力可能なコントローラと、コンピュータと、を用いた仮想３次元模型を対象とした立体複合現実感提供プログラムであって、前記ＨＭＤは、ユーザに立体映像を視認させることが可能な３次元ディスプレイ装置と、ユーザの右目の正面視線方向を撮像する少なくとも１つの右撮像装置と、ユーザの左目の正面視線方向を撮像する少なくとも１つの左撮像装置と、現実空間内における前記ＨＭＤの位置と姿勢を前記コンピュータにて検出可能とする位置姿勢検出手段と、を有している。そして、前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記コンピュータにて記憶装置から読み込んだ、あるいは前記コンピュータにて通信回線を介して受信した、仮想３次元模型を含む仮想３次元ジオラマを、現実空間内における指定された位置に仮想的に配置する仮想３次元ジオラマ配置手段、前記仮想３次元模型を、前記コントローラに入力された指示に基づいて動作させる仮想３次元模型動作手段、前記位置姿勢検出手段からの検出信号に基づいて現実空間内における前記ＨＭＤの位置と前記ＨＭＤの姿勢を判定するＨＭＤ位置姿勢判定手段、前記右撮像装置で撮像した現実空間の右目用現実画像と、前記左撮像装置で撮像した現実空間の左目用現実画像と、を取り込む現実画像取り込み手段、判定した前記ＨＭＤの位置と姿勢に基づいて、前記ＨＭＤの右撮像装置の位置から見えるであろう前記仮想３次元ジオラマの画像である右目用仮想ジオラマ画像と、前記ＨＭＤの左撮像装置の位置から見えるであろう前記仮想３次元ジオラマの画像である左目用仮想ジオラマ画像と、を作成する仮想ジオラマ画像作成手段、判定した前記ＨＭＤの位置と姿勢に応じた、前記右目用現実画像に前記右目用仮想ジオラマ画像を重畳した右目用複合画像と、前記左目用現実画像に前記左目用仮想ジオラマ画像を重畳した左目用複合画像と、を作成する複合画像作成手段、前記右目用複合画像と前記左目用複合画像に基づいて、前記３次元ディスプレイ装置にて再生するための立体映像情報を作成する立体映像情報作成手段、作成した前記立体映像情報を用いて、前記３次元ディスプレイ装置に前記立体映像を再生させる立体映像再生手段、として機能させるための、仮想３次元模型を対象とした立体複合現実感提供プログラムである。
【００１３】
次に、本発明の第２の発明は、上記第１の発明に係る仮想３次元模型を対象とした立体複合現実感提供プログラムであって、前記仮想３次元模型は、汽車または列車または地下鉄列車、建設機械、車両または軍用車両、船舶または軍艦、ヘリコプターまたは航空機または軍用航空機、潜水艦、ロボット、ロケット、宇宙船、の少なくとも１つであり、前記コントローラには、前記仮想３次元模型の速度の指示、前記仮想３次元模型の前進または後退の指示、前記仮想３次元模型の右旋回または左旋回の指示、前記仮想３次元模型の上昇または下降の指示、前記仮想３次元模型における煙吐出位置からの仮想３次元煙の吐出の指示、前記仮想３次元模型における蒸気吐出位置からの仮想３次元蒸気の吐出の指示、前記仮想３次元模型における排気吐出位置からの仮想３次元排気の吐出の指示、前記仮想３次元模型における砲弾発射位置からの仮想３次元砲弾の発射の指示、前記仮想３次元模型における所定部位の指定方向への動作の指示、の少なくとも１つの指示を入力可能であり、前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想３次元模型動作手段として機能させる際、前記コントローラに入力された指示に応じて前記仮想３次元模型を動作させる、仮想３次元模型を対象とした立体複合現実感提供プログラムである。
【００１４】
次に、本発明の第３の発明は、上記第１の発明または第２の発明に係る仮想３次元模型を対象とした立体複合現実感提供プログラムであって、前記記憶装置には、前記仮想３次元模型の動作に応じた音情報である動作対応音情報、または前記コントローラに入力された指示に応じた音情報である指示対応音情報、の少なくとも一方が記憶されており、あるいは前記動作対応音情報と前記指示対応音情報の少なくとも一方を生成可能な音生成プログラムが記憶されており、前記動作対応音情報と前記指示対応音情報とに基づいた音信号に応じた音を出力する音出力装置を用い、前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想３次元模型動作手段として機能させる際、前記記憶装置に、前記動作対応音情報を有している、あるいは前記動作対応音情報を生成可能な前記音生成プログラムを有している場合、前記仮想３次元模型の動作に応じた前記動作対応音情報に基づいた音信号を前記音出力装置に出力させ、前記記憶装置に、前記指示対応音情報を有している、あるいは前記指示対応音情報を生成可能な前記音生成プログラムを有している場合、前記コントローラに入力された指示に応じた前記指示対応音情報に基づいた音信号を前記音出力装置に出力させる、仮想３次元模型を対象とした立体複合現実感提供プログラムである。
【００１５】
次に、本発明の第４の発明は、上記第１の発明〜第３の発明のいずれか１つに係る仮想３次元模型を対象とした立体複合現実感提供プログラムであって、前記仮想３次元ジオラマへの光源として、前記仮想３次元ジオラマ内において仮想的に設定した太陽である仮想太陽の水平方向の角度である方位角と、前記仮想太陽の垂直方向の角度である仰角または前記仰角を決める仮想時刻情報と、前記仮想ジオラマの天候として、晴天または曇天または雨または風または雪の少なくとも１つの天候である仮想天候と、を指定可能であり、前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想ジオラマ画像作成手段として機能させる際、指定された方位角、及び指定された仰角または前記仮想時刻情報に基づいた仰角、に応じた位置に前記仮想太陽を配置した場合の仮想的な光である仮想太陽光が仮想的に照射されている前記仮想３次元ジオラマであって、指定された前記仮想天候が周囲に仮想的に再現された前記仮想３次元ジオラマ、に基づいて、前記右目用仮想ジオラマ画像と前記左目用仮想ジオラマ画像とを作成させる、仮想３次元模型を対象とした立体複合現実感提供プログラムである。
【００１６】
次に、本発明の第５の発明は、上記第１の発明〜第４の発明のいずれか１つに係る仮想３次元模型を対象とした立体複合現実感提供プログラムであって、１台以上の前記コンピュータに対して、複数の前記ＨＭＤと、それぞれの前記ＨＭＤに対応させたそれぞれの前記コントローラと、を用い、複数の前記ＨＭＤに対して共通の前記仮想３次元ジオラマであって前記ＨＭＤ毎の前記仮想３次元模型を含む共通仮想３次元ジオラマを設定可能であり、前記コンピュータを、または前記コンピュータと前記ＨＭＤとを協働させて、前記仮想３次元ジオラマ配置手段として機能させる際、前記共通仮想３次元ジオラマを仮想的に配置し、前記仮想３次元模型動作手段として機能させる際、前記共通仮想３次元ジオラマに含まれているそれぞれの前記仮想３次元模型を、それぞれの前記コントローラに対応させて動作させ、前記ＨＭＤ位置姿勢判定手段として機能させる際、前記ＨＭＤ毎の位置と姿勢を判定し、前記現実画像取り込み手段として機能させる際、前記ＨＭＤ毎に前記右目用現実画像と前記左目用現実画像とを取り込み、前記仮想ジオラマ画像作成手段として機能させる際、仮想的に配置されている複数の前記仮想３次元模型を含む前記共通仮想３次元ジオラマを用いて、前記ＨＭＤ毎に前記右目用仮想ジオラマ画像と前記左目用仮想ジオラマ画像とを作成させ、前記複合画像作成手段として機能させる際、前記ＨＭＤ毎に前記右目用複合画像と前記左目用複合画像を作成させ、前記立体映像情報作成手段として機能させる際、前記ＨＭＤ毎に前記立体映像情報を作成させ、前記立体映像再生手段として機能させる際、各ＨＭＤに対応する前記３次元ディスプレイ装置に、各ＨＭＤに対応する前記立体映像を再生させる、仮想３次元模型を対象とした立体複合現実感提供プログラムである。
【発明の効果】
【００１７】
第１の発明によれば、右撮像装置と左撮像装置を備えたＨＭＤを用いて、右目用現実画像と右目用仮想ジオラマ画像とを重畳した右目用複合画像と、左目用現実画像と左目用仮想ジオラマ画像とを重畳した左目用複合画像と、を別々に作成して３次元ディスプレイ装置に立体映像を再生する。ユーザは、コントローラから仮想３次元模型の動作を指示しながら、当該仮想３次元模型を立体映像（３次元映像）にて、種々の位置にて種々の角度から楽しむことが可能である。また仮想３次元模型とユーザが実際に衝突する危険も無いので、ユーザは仮想３次元模型に思い切り接近して楽しむことができるので、現実の模型の迫力やインパクトに肉薄する（あるいは現実の模型の迫力やインパクトを超える）立体映像を楽しむことができる、と期待できる。
【００１８】
第２の発明によれば、ユーザは、コントローラを操作することで、現実の模型では困難であった煙の吐出や砲弾の発射等を、仮想３次元煙の吐出や仮想３次元砲弾の発射等にて行うことができる。従って、よりリアル感を出すことが可能であり、現実の模型を超える迫力やインパクトを期待できる。
【００１９】
第３の発明によれば、現実の模型による音ではなく、現実の汽車や現実の航空機等の音を出力させることで、よりリアル感を出すことが可能であり、現実の模型を超える迫力やインパクトを期待できる。
【００２０】
第４の発明によれば、夕焼けの空を飛行する航空機や、吹雪の中を疾走する汽車等、現実の模型では実現が困難な場面（ジオラマの周囲の環境）であっても、ユーザが所望する場面を自由に設定することができる。従って、ユーザが所望するリアル感を出すことが容易であり、現実の模型を超える迫力やインパクトを期待できる。
【００２１】
第５発明によれば、複数のユーザで共通仮想３次元ジオラマ内で個々の仮想３次元模型を用いて対戦等を楽しむことができるので、複数のユーザで楽しみを共感することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の仮想３次元模型を対象とした立体複合現実感提供プログラムを実行させる立体複合現実感提供システムの全体構成を説明する図である。
【図２】ＨＭＤ（Head Mounted Display）の構造の例と、コントローラの構造の例を説明する斜視図である。
【図３】仮想３次元模型を対象とした立体複合現実感提供プログラムを実行させる立体複合現実感提供システムを部屋内で利用した場合の例を説明する図である。
【図４】立体複合現実感提供システムにおけるＰＣ（コンピュータに相当）の処理手順の例を説明するフローチャートである。
【図５】図４に示すフローチャートにおける処理ＳＢ０００の処理手順の詳細を説明するフローチャートである。
【図６】図４に示すフローチャートにおける処理ＳＢ１００の処理手順の詳細を説明するフローチャートである。
【図７】図４に示すフローチャートにおける処理ＳＢ２００の処理手順の詳細を説明するフローチャートである。
【図８】図４に示すフローチャートにおける処理ＳＢ３００の処理手順の詳細を説明するフローチャートである。
【図９】右目用現実画像に右目用仮想ジオラマ画像を重畳して右目用複合画像を作成する例を説明する図である。
【図１０】３次元ディスプレイ装置に再生された立体映像の例を説明する図である。
【図１１】レール（軌道）が部屋の壁と交差する位置にトンネルを自動的に作成する例を説明する図である。
【図１２】現実の模型では動作状態を種々の位置から種々の角度で楽しむことができないようなものであっても、仮想３次元ジオラマであれば種々の位置から種々の角度で楽しむことができる例を説明する図である。
【図１３】本発明の仮想３次元模型を対象とした立体複合現実感提供プログラムを実行させる立体複合現実感提供システムを屋外に持ち出して、屋外で仮想３次元ジオラマを楽しむ例を説明する図である。
【発明を実施するための形態】
【００２３】
●［仮想３次元模型を対象とした立体複合現実感提供プログラムを実行させる立体複合現実感提供システム１の全体構成（図１）と、ＨＭＤ１０の構造とコントローラ２０の構造（図２）］
以下に本発明を実施するための形態を図面を用いて説明する。図１に示すように、本発明の仮想３次元模型を対象とした立体複合現実感提供プログラム（以降、「仮想３次元模型を対象とした立体複合現実感提供プログラム」を「立体複合現実感提供プログラム」と記載する）を実行させる立体複合現実感提供システム１は、ＨＭＤ１０（Head Mounted Display）、コントローラ２０、位置姿勢検出ユニット３０、音出力装置４０、ＰＣ５０（コンピュータに相当し、例えばパーソナルコンピュータ）等にて構成されている。またＰＣ５０は、インターネット６０を介してジオラマ提供サーバ８０と情報（種々のデータを含む）の送受信が可能である。なお、点線にて示すように、ＨＭＤ１０及びコントローラ２０は、１セットだけでなく複数のセットを利用することができる。
【００２４】
ＨＭＤ１０は、非透過型のヘッドマウントディスプレイであり、図２に示すように、本体部１１、３次元ディスプレイ装置１２、右撮像装置１３Ｒ、左撮像装置１３Ｌ、ユーザ識別手段１４、視点距離調整手段１５、位置姿勢検出手段１６、ベルト１７、ケーブル１８Ａ、１８Ｂ等を有している。本体部１１は、ユーザの両目を覆うように装着される。
【００２５】
３次元ディスプレイ装置１２は、本体部１１の内側、かつ本体部１１を装着したユーザの目の前となる位置に設けられ、ユーザに立体映像を視認させることが可能である。３次元ディスプレイ装置は、例えば液晶シャッタ式である場合、右目用画像と左目用画像とを交互に表示する液晶表示装置と、右目用液晶シャッタと、左目用液晶シャッタと、を有している。また３次元ディスプレイ装置は、例えばパララックスバリア方式やレンチキュラーレンズ方式である場合、（右目用画像と左目用画像を左右方向に交互に並べて表示する）液晶表示装置とパララックスバリア、（右目用画像と左目用画像を左右方向に交互に並べて表示する）液晶表示装置とレンチキュラーレンズを有している。また３次元ディスプレイ装置は、例えば左右独立である場合、図２中に一点鎖線で示すように、右目用画像を表示する右目用液晶表示装置１２Ｒと、左目用画像を表示する左目用液晶表示装置１２Ｌと、を有している。３次元ディスプレイ装置１２は、ユーザに立体映像を視認させることが可能であれば、どのような構造のものであってもよく、ＰＣ５０は、３次元ディスプレイ装置１２の構造に合わせた立体映像情報（液晶シャッタ式の場合は、映像とシャッタ制御信号を含む）を作成する。
【００２６】
右撮像装置１３Ｒは、本体部１１の外側、かつＨＭＤ１０の本体部１１を装着したユーザの右目に相当する位置に、少なくとも１つが設けられており（単数または複数の右撮像装置が設けられており）、ユーザの右目の正面視線方向１３ＲＶの方向を撮像する。また、左撮像装置１３Ｌは、本体部１１の外側、かつ本体部１１を装着したユーザの左目に相当する位置に、少なくとも１つが設けられており（単数または複数の左撮像装置が設けられており）、ユーザの左目の正面視線方向１３ＬＶの方向を撮像する。なお、右撮像装置１３Ｒと左撮像装置１３Ｌとの間隔は、ユーザの右目と左目の間隔に応じて調整可能な構成であると、より好ましい。
【００２７】
ユーザ識別手段１４は、複数のユーザにて複数のＨＭＤ１０を利用する場合においてユーザを識別するための識別情報を設定するための装置である。図２は、ユーザ識別手段１４が回転ダイヤル式であり、１〜４の番号のいずれかを設定できる例を示しているが、回転ダイヤル式に限定されず、スイッチ等で設定できる構成でもよい。また、設定内容も１〜４に限定されず、Ａ〜Ｄ等であってもよい。例えば２人のユーザが、それぞれＨＭＤ１０を利用する場合、第１ユーザは、装着するＨＭＤ１０のユーザ識別手段１４を「１」に設定し、第２ユーザは、装着するＨＭＤ１０のユーザ識別手段１４を「２」に設定する。
【００２８】
視点距離調整手段１５は、ＨＭＤ１０の本体部１１を装着したユーザの右目及び左目から、３次元ディスプレイ装置１２までの距離を調整するための装置である。図２は、視点距離調整手段１５が回転ダイヤル式の例を示しているが、回転ダイヤル式に限定されず、スライドレバー等で調整できる構成であってもよい。３次元ディスプレイ装置１２がパララックスバリア方式やレンチキュラーレンズ方式である場合、ユーザが立体映像を適切に視認できるようにするために、ユーザの右目及び左目から３次元ディスプレイ装置１２までの距離を微調整できると、より好ましい。また３次元ディスプレイ装置が右目用液晶表示装置１２Ｒと左目用液晶表示装置１２Ｌで左右独立の場合、ユーザの右目及び左目から３次元ディスプレイ装置までの距離と、右目用液晶表示装置１２Ｒと左目用液晶表示装置１２Ｌとの左右の間隔と、を微調整できると、より好ましく、右目から左目用液晶表示装置が見えないように（あるいは左目から右目用液晶表示装置が見えないように）遮蔽板を有していると、より好ましい。
【００２９】
位置姿勢検出手段１６は、現実空間内におけるＨＭＤ１０の位置と姿勢を検出するためのセンサであり、複数の位置姿勢検出手段１６がＨＭＤ１０に設けられている。例えば位置姿勢検出手段１６は、磁気センサや加速度センサや傾斜センサである。例えば磁気センサは、（基準）磁気発生装置である位置姿勢検出ユニット３０からの磁気を検出して検出信号を位置姿勢検出ユニット３０に出力する。また例えば傾斜センサは、ＨＭＤ１０における直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向に対するそれぞれの傾斜角度に応じた検出信号を位置姿勢検出ユニット３０に出力する。また例えば加速度センサは、ＨＭＤ１０における直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）のそれぞれの方向への加速度に応じた検出信号を位置姿勢検出ユニット３０に出力する。
【００３０】
位置姿勢検出ユニット３０は、位置姿勢検出手段１６からの検出信号に基づいて、ＨＭＤ１０の位置（直交３軸のＸ軸、Ｙ軸、Ｚ軸方向の位置）や姿勢（Ｘ軸回りの回転角度、Ｙ軸回りの回転角度、Ｚ軸回りの回転角度）を検出する装置である。なお本実施の形態では、位置姿勢検出ユニット３０をＰＣ５０とは別体で設けた例を説明するが、ＰＣ５０あるいはＨＭＤ１０に位置姿勢検出ユニット３０の機能を持たせるようにすることも可能である。位置姿勢検出ユニット３０は、例えば磁気センサ（位置姿勢検出手段）からの検出信号と、自身が出力している（基準）磁気に基づいて、位置姿勢検出ユニット３０に対するＨＭＤ１０の位置（直交３軸のＸ軸、Ｙ軸、Ｚ軸方向の位置）や姿勢（Ｘ軸回りの回転角度、Ｙ軸回りの回転角度、Ｚ軸回りの回転角度）を検出できる。また、位置姿勢検出ユニット３０は、例えば傾斜センサ（位置姿勢検出手段）やジャイロセンサ（位置姿勢検出手段）からの検出信号に基づいて、ＨＭＤ１０の姿勢（Ｘ軸回りの回転角度、Ｙ軸回りの回転角度、Ｚ軸回りの回転角度）を検出できる。また、位置姿勢検出ユニット３０は、例えば加速度センサ（位置姿勢検出手段）やジャイロセンサ（位置姿勢検出手段）からの検出信号に基づいて、ＨＭＤ１０における３軸（Ｘ軸、Ｙ軸、Ｚ軸）のそれぞれに応じた運動量、すなわち移動方向と移動距離を検出できる。この移動距離を積算することで、初期位置に対するＨＭＤ１０の位置（Ｘ軸方向の位置、Ｙ軸方向の位置、Ｚ軸方向の位置）を検出できる。そして位置姿勢検出ユニット３０は、検出したＨＭＤ１０の位置と姿勢を含む位置姿勢情報をＰＣ５０に出力する。なお、位置姿勢検出手段１６及び位置姿勢検出ユニット３０は、現実空間内におけるＨＭＤ１０の位置と姿勢を検出できるものであればよく、上記の例に限定されるものではない。
【００３１】
ベルト１７は、本体部１１に取り付けられ、長さを調整可能に構成され、本体部１１をユーザの両目を覆う位置に保持する。
【００３２】
ケーブル１８Ａは、ＰＣ５０に接続されている。ＰＣ５０は、ケーブル１８Ａを介して右撮像装置１３Ｒと左撮像装置１３Ｌのそれぞれからの画像情報を取り込む。またＰＣ５０は、ケーブル１８Ａを介して３次元ディスプレイ装置１２に立体映像情報を出力する。また、ケーブル１８Ｂは、位置姿勢検出ユニット３０に接続されている。位置姿勢検出ユニット３０は、ケーブル１８Ｂを介して位置姿勢検出手段１６からの検出信号を取り込む。なお図１は、ケーブル１８Ａを介してＨＭＤ１０とＰＣ５０を接続し、ケーブル１８Ｂを介してＨＭＤ１０と位置姿勢検出ユニット３０を接続した例を示しているが、ケーブル１８Ａ、１８Ｂを廃止して、無線にてＰＣ５０（及び位置姿勢検出ユニット３０）と情報を送受信するようにしてもよい。
【００３３】
コントローラ２０は、ユーザが仮想３次元模型の動作の指示を入力するための装置であり、図２に示すように、本体部２１、進行方向指示手段２２、速度指示手段２３、補助動作指示手段２５Ａ〜２５Ｄ、ユーザ識別手段２４等を有している。本体部２１は、ユーザに把持され、ユーザからの各指示の入力を受け付ける。コントローラ２０はケーブル２８を介してＰＣ５０に接続されており、入力された各指示に対応する入力情報をＰＣ５０に出力する。なお入力情報には、ユーザ識別手段２４にて設定されたユーザ番号が含まれている。コントローラ２０は、コントロール対象とする仮想３次元模型に応じて種々の動作の指示を入力可能に構成されている。
【００３４】
なお、仮想３次元模型の例としては、汽車（例えば蒸気機関車）、列車（例えば電車）、地下鉄列車、建設機械（例えばパワーショベル）、車両（例えばフォーミュラマシン）、軍用車両（例えば戦車）、船舶、軍艦（例えば戦艦）、ヘリコプター、航空機、軍用航空機（例えば戦闘機）、潜水艦、ロボット、ロケット、宇宙船（例えば宇宙戦艦）等、模型等を趣味としたユーザにとって遠隔操作が有意義な種々の模型がある。また仮想３次元ジオラマは、仮想３次元模型を含み、仮想３次元模型の他に、仮想３次元の軌道（列車用のレールや車両用のサーキットコース等）や、仮想３次元の背景（仮想３次元模型を動作させる空間や周囲環境であり、山岳地帯、森林、草原、荒野、市街地、空中、海中、海上、宇宙空間等）や、仮想３次元の背景補助パーツ（ビル、住宅、樹木、橋等）などを含んでもよい。
【００３５】
進行方向指示手段２２は、ユーザが仮想３次元模型の進行方向の指示を入力するためのものである。図２に示す進行方向指示手段２２は、仮想３次元模型が列車の場合の例を示しており、前進、停止、後退の指示を入力可能な例を示しているが、前進、後退、停止、右旋回、左旋回、上昇、下降等、仮想３次元模型に応じて種々の進行方向の指示が入力可能とすることもできる。なお、進行方向指示手段２２の外観や指示可能な進行方向の種類等は、図２の例に限定されるものではない。
【００３６】
例えば仮想３次元模型が汽車または列車または地下鉄列車等の場合、進行方向指示手段２２は前進、後退、停止を指示可能である。また例えば仮想３次元模型が建設機械または車両または軍用車両または船舶または軍艦等の場合、進行方向指示手段２２は前進、後退、停止、右旋回、左旋回を指示可能である。また例えば仮想３次元模型がヘリコプターまたは航空機または軍用航空機または潜水艦またはロボットまたはロケットまたは宇宙船等の場合、進行方向指示手段２２は前進、後退、停止、右旋回、左旋回、上昇、下降を指示可能である。
【００３７】
速度指示手段２３は、ユーザが仮想３次元模型の移動速度の指示を入力するためのものである。速度指示手段２３の外観等は、図２の例に限定されるものではない。また、進行方向指示手段２２と速度指示手段２３とを一体化させてもよい。
【００３８】
補助動作指示手段２５Ａ〜２５Ｄは、仮想３次元模型の補助的な動作の指示を入力するためのものである。例えば仮想３次元模型が汽車の場合、ユーザが補助動作指示手段２５Ａを操作すると仮想３次元模型の汽車の煙突（煙吐出位置に相当）から仮想３次元の黒煙が吐出され、ユーザが補助動作指示手段２５Ｂを操作すると仮想３次元模型の汽車の下方の蒸気吐出口（蒸気吐出位置に相当）から仮想３次元の蒸気が吐出され、ユーザが補助動作指示手段２５Ｃを操作すると仮想３次元模型の汽車の汽笛の音が音出力装置４０から出力される。また例えば仮想３次元模型が建設機械または車両または軍用車両の場合、ユーザが補助動作指示手段２５Ａを操作すると仮想３次元模型の排気口（排気吐出位置に相当）から仮想３次元の排気が吐出される。また例えば仮想３次元模型が軍用車両または軍艦または軍用航空機または潜水艦またはロボットまたは宇宙船の場合、ユーザが補助動作指示手段２５Ｄを操作すると仮想３次元模型の砲弾発射口（砲弾発射位置に相当）から仮想３次元の砲弾が発射される。また例えば仮想３次元模型がパワーショベル（建設機械）の場合、ユーザが補助動作指示手段２５Ｄを操作すると、仮想３次元模型のショベルのアーム（所定部位に相当）が地面を掘削するように動作（指定方向への動作に相当）する。
【００３９】
ユーザ識別手段２４は、複数のユーザにて複数のコントローラ２０を利用する場合においてユーザを識別（すなわち、操作対象の仮想３次元模型を識別）するための識別情報を設定するための装置である。図２は、ユーザ識別手段２４が回転ダイヤル式であり、１〜４の番号のいずれかを設定できる例を示しているが、回転ダイヤル式に限定されず、スイッチ等で設定できる構成でもよい。また、設定内容も１〜４に限定されず、Ａ〜Ｄ等であってもよい。例えば２人のユーザが、それぞれコントローラ２０を利用する場合、第１ユーザは、使用するコントローラ２０のユーザ識別手段２４を「１」に設定し、第２ユーザは、使用するコントローラ２０のユーザ識別手段２４を「２」に設定する。なお図１は、ケーブル２８を介してコントローラ２０とＰＣ５０を接続した例を示しているが、ケーブル２８を廃止して、無線にてＰＣ５０と情報を送受信するようにしてもよい。
【００４０】
音出力装置４０は、例えば有線式または無線式のスピーカやイヤホンやヘッドホン等であり、上記のようにコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄのいずれかに音が対応付けられている場合、音が対応付けられた補助動作指示手段がユーザから操作されると、対応付けられた音を出力する。ＰＣ５０の記憶装置は、仮想３次元模型の動作に応じた音情報である動作対応音情報（例えば仮想３次元模型が汽車の場合、速度に応じた走行音や蒸気音データ）、またはコントローラ２０に入力された指示に応じた音情報である指示対応音情報（例えば仮想３次元模型が汽車の場合、補助動作指示手段２５Ｃに対応付けられた汽笛音データ）の少なくとも一方を有している。あるいは、ＰＣ５０の記憶装置は、動作対応音情報と指示対応音情報の少なくとも一方を自動的に生成可能な音生成プログラム（例えばサウンドジェネレータ）を記憶している。そしてＰＣ５０は、記憶装置に、動作対応音情報を有している、あるいは動作対応音情報を生成可能な音生成プログラムを有している場合、３次元模型の動作に応じた動作対応音情報に基づいた音（音信号）を音出力装置４０から出力する。またＰＣ５０は、記憶装置に、指示対応音情報を有している、あるいは指示対応音情報を生成可能な音生成プログラムを有している場合、コントローラに入力された指示に応じた指示対応音情報に基づいた音（音信号）を音出力装置４０から出力する。
【００４１】
ＰＣ５０（コンピュータに相当）は、パーソナルコンピュータであり、位置姿勢検出ユニット３０から各ＨＭＤ１０に対応する位置姿勢情報が入力され、各ＨＭＤ１０から右目用現実画像と左目用現実画像が入力され、各コントローラ２０から入力情報が入力される。そしてＰＣ５０は、各ＨＭＤ１０に対応する立体映像情報を作成し、作成した各立体映像情報を、対応するＨＭＤ１０に出力する。またＰＣ５０は、インターネット６０を介してジオラマ提供サーバ８０と情報の送受信が可能である。ユーザは、後述するように、ジオラマ提供サーバ８０が提供している仮想３次元ジオラマの中から、所望する仮想３次元ジオラマを選択してジオラマ情報を受信し、ジオラマ情報をＰＣ５０の記憶装置に記憶させることができる。
【００４２】
ジオラマ提供サーバ８０は、例えば仮想３次元ジオラマの情報（データ）を販売するメーカのサーバであり、仮想３次元模型を含む複数の仮想３次元ジオラマに対応する複数のジオラマ情報をユーザに提供している。仮想３次元ジオラマは、例えば仮想３次元模型である汽車と仮想３次元レールと仮想３次元の背景や、仮想３次元模型である車両と仮想３次元サーキットコースや、仮想３次元模型である軍用車両等である。以降では、仮想３次元模型として汽車（いわゆるＳＬ）と仮想３次元軌道としてレールを含む仮想３次元ジオラマを例として説明する。
【００４３】
図３に、立体複合現実感提供システム１を、リビングＬ内で使用した場合の例を示す。なお図３において、符号７１は仮想３次元模型の汽車であり、符号７２は仮想３次元軌道のレールであり、どちらも現実のものではないが、ユーザＵから仮想的に視認できるイメージとして記載している。現実空間であるリビングＬ内には、テレビやソファー等の現実物体が配置されている。ユーザＵは、リビングＬ内の適当な場所にＰＣ５０と位置姿勢検出ユニット３０を配置し、ＨＭＤ１０を装着し、コントローラ２０を持ち、仮想３次元模型７１と仮想３次元軌道７２を有する仮想３次元ジオラマ７０をリビング内に仮想的に配置して楽しむことができる。以下、ユーザＵが仮想３次元ジオラマを楽しむ際の、ＰＣ５０の処理手順の例について説明する。
【００４４】
●［ＰＣ５０の処理手順（図４〜図８）］
次に図４〜図８に示すフローチャートを用いて、本発明の立体複合現実感提供プログラムを実行するＰＣ５０の処理手順について説明する。なお、以下の説明では、図３の例に基づいて説明し、利用するユーザＵが１人であり、リビングＬ内（屋内）にて、仮想３次元ジオラマの例として、仮想３次元模型７１である汽車と仮想３次元軌道７２であるレールを有する仮想３次元ジオラマ７０を用いた例を説明する。図３に示すように、ユーザＵは、リビングＬ内の適当な位置にＰＣ５０と位置姿勢検出ユニット３０と音出力装置４０を配置する。そしてユーザＵは、ＨＭＤ１０のユーザ識別手段１４を「１」に設定してケーブル１８Ａ、１８ＢをＰＣ５０、位置姿勢検出ユニット３０に接続し、コントローラ２０のユーザ識別手段２４を「１」に設定してケーブル２８をＰＣ５０に接続する。そしてＰＣ５０は、ユーザＵによって起動されると、ステップＳ１０へと処理を進める。
【００４５】
ステップＳ１０にてＰＣ５０は、利用人数の入力待ち画面を表示し、ステップＳ１５に進む。
【００４６】
ステップＳ１５にてＰＣ５０は、利用人数（ｎ）の入力がされたか否かを判定し、利用人数が入力された場合（Ｙｅｓ）はステップＳ２０に進み、利用人数がまだ入力されていない場合（Ｎｏ）はステップＳ１５に戻る。この場合、ユーザＵは利用人数として「１」を入力する。
【００４７】
ステップＳ２０に進んだ場合、ＰＣ５０は、入力された利用人数（この場合、「１」）を記憶装置に記憶し、ステップＳＢ０００に進む。なお、ステップＳ１０〜Ｓ２０の処理は、ＰＣ５０が予めプラグアンドプレイ機能を有して自動的に接続機器を認識して利用人数を自動的に認識できる場合では、省略してもよい。
【００４８】
ステップＳＢ０００にてＰＣ５０は、ユーザＵ（ｍ）による（共通）仮想３次元ジオラマの選定と、選定した仮想３次元ジオラマの配置を行い、ステップＳ２５に進む。なお、ステップＳＢ０００にて扱う「（共通）仮想３次元ジオラマ」は、仮想３次元模型を含まないジオラマであり、後述するステップＳＢ１００にて、（共通）仮想３次元ジオラマ内に仮想３次元模型が配置される。また、ステップＳＢ０００の処理の詳細については後述する。
【００４９】
ステップＳ２５にてＰＣ５０は、ｍ（ユーザ番号）に「１」（初期値）を代入してステップＳＢ１００に進む。以降では、ユーザ番号「１」のユーザをユーザＵ（１）と記載し、ユーザ番号ｍのユーザをユーザＵ（ｍ）と記載する。またユーザＵ（１）が装着するＨＭＤ１０をＨＭＤ１０（１）と記載し、ユーザＵ（１）が操作するコントローラ２０をコントローラ２０（１）と記載する。同様にユーザＵ（ｍ）のＨＭＤ１０をＨＭＤ１０（ｍ）、ユーザＵ（ｍ）のコントローラ２０をコントローラ２０（ｍ）と記載する。
【００５０】
ステップＳＢ１００にてＰＣ５０は、ユーザＵ（ｍ）による、ユーザＵ（ｍ）がコントローラ２０（ｍ）にて操作する仮想３次元模型（ｍ）の選定と、選定した仮想３次元模型（ｍ）の配置（ステップＳＢ０００にて配置した仮想３次元ジオラマ内への配置）を行い、ステップＳ３０に進む。なお、ステップＳＢ１００の処理の詳細については後述する。
【００５１】
ステップＳ３０にてＰＣ５０は、ｍ（ユーザ番号）に「１」を加算して、ｍ（ユーザ番号）の値を更新して（次のユーザの準備をして）ステップＳ３５に進む。
【００５２】
ステップＳ３５にてＰＣ５０は、更新されたｍ（ユーザ番号）の値が、記憶されている利用人数ｎ以下であるか否かを判定し、ｍがｎ以下である場合（Ｙｅｓ）は、次のユーザＵ（ｍ）の仮想３次元模型（ｍ）の選定と配置をするためにステップＳＢ１００に戻り、ｍがｎ以下でない場合（Ｎｏ）は、すべてのユーザの仮想３次元模型の選定と配置が完了したと判定してステップＳ４０に進む。
【００５３】
ステップＳ４０に進んだ場合、ＰＣ５０は、仮想３次元ジオラマへの光源となる仮想太陽の水平方向の角度である方位角と、仮想太陽の垂直方向の角度である仰角または仰角を決める時刻（仮想時刻情報に相当。例えば時刻１２時の場合、仰角＝９０度）の入力待ち画面を表示する。そしてＰＣ５０は、方位角及び仰角（または仮想時刻）が入力されると、仮想３次元ジオラマの環境となる天候（晴天、曇天、雨、風、雪の少なくとも１つの天候）の入力待ち画面を表示する。そしてＰＣ５０は、天候が入力されると、ステップＳ４５に進む。なお、光源位置や天候の設定を特に所望しないユーザのために、ステップＳ４０をスキップできるように構成してもよい。
【００５４】
ステップＳ４５にてＰＣ５０は、仮想３次元ジオラマに含まれている仮想３次元模型の動作開始（すなわち、立体複合現実感の提供の開始）の入力待ち画面を表示する。そしてＰＣ５０は、動作開始が入力された場合（Ｙｅｓ）はステップＳＢ２００に進み、動作開始の入力がまだの場合（Ｎｏ）はステップＳ４５に戻る。
【００５５】
ステップＳＢ２００に進んだ場合、ＰＣ５０は、各ユーザＵ（ｍ）のコントローラ２０（ｍ）から入力された指示に応じて、各ユーザＵ（ｍ）の仮想３次元模型（ｍ）をそれぞれ動作させ、ステップＳＢ３００に進む。なおステップＳＢ２００の処理の詳細については後述する。
【００５６】
ステップＳＢ３００にてＰＣ５０は、各ユーザＵ（ｍ）のＨＭＤ１０（ｍ）の３次元ディスプレイ装置１２にて立体映像（ｍ）を再生するための立体映像情報（ｍ）を、各ユーザＵ（ｍ）に対応させて作成し、作成した各立体映像情報（ｍ）を、対応するユーザＵ（ｍ）のＨＭＤ１０（ｍ）に出力してステップＳ５０に進む。なおステップＳＢ３００の処理の詳細については後述する。
【００５７】
ステップＳ５０にてＰＣ５０は、終了の指示の有無を判定し、終了の指示が入力された場合（Ｙｅｓ）は処理を終了し、終了の指示が入力されていない場合（Ｎｏ）はステップＳＢ２００に戻り、立体複合現実感の提供を継続する。
【００５８】
●［ステップＳＢ０００（（共通）仮想３次元ジオラマ（背景、場面）の選定と配置）の処理（図５）］
次に図５を用いて、図４におけるステップＳＢ０００の処理の詳細について説明する。以下に説明するステップＳＢ０００（特に、ステップＳＢ０５５〜ＳＢ０６５）とステップＳＢ１００（特に、ステップＳＢ１５５〜ＳＢ１６５）にて、立体複合現実感提供プログラムは、ＰＣ５０を、ＰＣ５０にて記憶装置から読み込んだ（あるいはＰＣ５０にて通信回線を介して受信した）、仮想３次元模型を含む３次元仮想３次元ジオラマを、現実空間内における指定された位置に仮想的に配置する仮想３次元ジオラマ配置手段、として機能させる。ＰＣ５０はステップＳＢ０００に進んだ場合、まずステップＳＢ０１０にて（共通）仮想３次元ジオラマ（背景、場面）の選択メニューを表示してステップＳＢ０１５に進む。表示内容の例としては、記憶装置に記憶されている仮想３次元ジオラマ（背景、場面）の中から選択するか、インターネット６０経由でジオラマ提供サーバ８０にアクセスしてジオラマ提供サーバ８０にて提供されている仮想３次元ジオラマ（背景、場面）の中から選択するか、のいずれにするか入力待ちの画面を表示する。なおステップＳＢ０００にて扱う仮想３次元ジオラマは、仮想３次元模型を含まない背景や場面（例えばレールや山岳地帯や市街地）である。また（共通）仮想３次元ジオラマの「（共通）」の意味は、ユーザＵ（ｍ）が単数の場合、１人のユーザに対して１つの仮想３次元ジオラマを選定及び配置するので、この場合では対象となる仮想３次元ジオラマには「（共通）」が付与されない。しかしユーザが複数の場合、複数のユーザに対して１つの仮想３次元ジオラマを選定及び配置するので、この場合では対象となる仮想３次元ジオラマには「（共通）」が付与される。
【００５９】
ステップＳＢ０１５にてＰＣ５０は、「記憶装置に記憶されている仮想３次元ジオラマ（背景、場面）の中からの選択」が選択されたか否かを判定し、「記憶装置に記憶されている仮想３次元ジオラマ（背景、場面）の中からの選択」が選択された場合（Ｙｅｓ）はステップＳＢ０２０Ａに進み、「ジオラマ提供サーバ８０にて提供されている仮想３次元ジオラマ（背景、場面）の中から選択」が選択された場合（Ｎｏ）はステップＳＢ０２０Ｂに進む。
【００６０】
なお、仮想３次元ジオラマ（背景、場面）を、ユーザがゼロから作成できるようにすることもできる。例えばジオラマ提供サーバ８０には、仮想３次元ジオラマ（背景、場面）を作成するためのツールプログラム、各種の素材データ（背景、背景補助パーツ）、ジオラマ作成マニュアル等が用意されている。ユーザは時間をかけてコツコツと仮想３次元ジオラマ（背景、場面）を作成してＰＣ５０の記憶装置に記憶しておくことで、作成した仮想３次元ジオラマ（背景、場面）を使用することができる。
【００６１】
ステップＳＢ０２０Ａに進んだ場合、ＰＣ５０は、記憶装置に記憶している仮想３次元ジオラマ（背景、場面）のジオラマ名称の一覧等を画面に表示してステップＳＢ０２５Ａに進む。
【００６２】
ステップＳＢ０２５ＡにてＰＣ５０は、画面に表示しているジオラマ名称の一覧等の中から選択指示（入力指示）がされたか否かを判定し、選択指示があった場合（Ｙｅｓ）はステップＳＢ０３０Ａに進み、選択指示がまだの場合（Ｎｏ）はステップＳＢ０２５Ａに戻る。
【００６３】
ステップＳＢ０３０Ａに進んだ場合、ＰＣ５０は、選択された仮想３次元ジオラマ（背景、場面）の読み込みを実施して読み込みが終了すると、ステップＳＢ０５５に進む。
【００６４】
また、ステップＳＢ０２０Ｂに進んだ場合、ＰＣ５０は、インターネット６０を介して、指定のサーバであるジオラマ提供サーバ８０にアクセスしてジオラマ提供サーバ８０から、提供されている仮想３次元ジオラマ（背景、場面）の一覧情報を受信し、受信した一覧情報を画面に表示してステップＳＢ０２５Ｂに進む。
【００６５】
ステップＳＢ０２５ＢにてＰＣ５０は、画面に表示している一覧情報の中から、いずれかの仮想３次元ジオラマ（背景、場面）の選択指示（入力指示）がされたか否かを判定し、選択指示があった場合（Ｙｅｓ）はステップＳＢ０３０Ｂに進み、選択指示がまだの場合（Ｎｏ）はステップＳＢ０２５Ｂに戻る。
【００６６】
ステップＳＢ０３０Ｂに進んだ場合、ＰＣ５０は、選択された仮想３次元ジオラマ（背景、場面）の情報（データ）の送信を要求する送信要求情報をジオラマ提供サーバ８０に送信し、ジオラマ提供サーバ８０から、選択された仮想３次元ジオラマ（背景、場面）の情報（データ）の受信（読み込み）を実施して受信が終了すると、ステップＳＢ０３５Ｂに進む。
【００６７】
ステップＳＢ０３５ＢにてＰＣ５０は、受信した仮想３次元ジオラマ（背景、場面）の名称の入力待ちの画面を表示し、ジオラマ名称の入力がされた場合（Ｙｅｓ）はステップＳＢ０４０Ｂに進み、ジオラマ名称の入力がまだの場合（Ｎｏ）はステップＳＢ０３５Ｂに戻る。
【００６８】
ステップＳＢ０４０Ｂに進んだ場合、ＰＣ５０は、入力されたジオラマ名称を、受信した仮想３次元ジオラマ（背景、場面）の情報（データ）に対応付けて、ジオラマ名称と仮想３次元ジオラマ（背景、場面）の情報とを記憶装置に記憶してステップＳＢ０５５に進む。記憶したジオラマ名称は、次回からステップＳＢ０２０Ａの一覧（記憶している仮想３次元ジオラマ（背景、場面）の一覧）に表示される。
【００６９】
ステップＳＢ０５５にてＰＣ５０は、読み込んだ（または受信した）仮想３次元ジオラマ（背景、場面）を、現実空間内においてユーザＵ（ｍ）から指示された位置に仮配置してステップＳＢ０６０に進む。例えばＰＣ５０は、ユーザＵ（ｍ）のＨＭＤ１０（ｍ）から、右撮像装置１３Ｒが撮像した右目用現実画像と、左撮像装置１３Ｌが撮像した左目用現実画像と、を取り込み、右目用現実画像または左目用現実画像である現実画像をＰＣ５０の画面（液晶ディスプレイ）に表示する。ユーザＵ（ｍ）は、画面に表示されている現実画像中の任意の位置をマウス等の入力装置から指示することで、仮想３次元ジオラマ（背景、場面）を現実空間内に仮配置する。仮想３次元ジオラマ（背景、場面）の仮配置がされた場合、ＰＣ５０は、現実画像を表示している画面に、仮想３次元ジオラマ（背景、場面）を重畳して表示する。
【００７０】
ステップＳＢ０６０にてＰＣ５０は、仮想３次元ジオラマ（背景、場面）の配置位置の調整が、ユーザＵ（ｍ）から入力されたか否かを判定し、調整入力がされた場合（Ｙｅｓ）はステップＳＢ０６５に進み、調整入力がされていない場合（Ｎｏ）はステップＳＢ０８０に進む。例えばＰＣ５０は、位置姿勢検出ユニット３０を基準とした直交座標系のＸ軸、Ｙ軸、Ｚ軸（図３参照）のそれぞれの方向へのスライド量が入力されると、入力された軸に沿って、入力されたスライド量に応じた距離だけ、現実画像に重畳されている仮想３次元ジオラマ（背景、場面）をスライド移動させて画面に表示する。また例えばＰＣ５０は、Ｘ軸回りの旋回角度、Ｙ軸回りの旋回角度、Ｚ軸回りの旋回角度、が入力されると、入力された軸回りに、入力された旋回角度に応じた角度だけ、現実画像に重畳されている仮想３次元ジオラマ（背景、場面）を旋回させて画面に表示する。
【００７１】
ステップＳＢ０８０に進んだ場合、ＰＣ５０は、現実空間内における仮想３次元ジオラマ（背景、場面）の配置位置の調整の完了がユーザＵ（ｍ）から入力されたか否かを判定し、調整の完了が入力された場合（Ｙｅｓ）はステップＳＢ０００の処理を終了して図４におけるステップＳ３０に進む。またＰＣ５０は、調整の完了が入力されていない場合（Ｎｏ）はステップＳＢ０６０に戻る。例えばＰＣ５０は、自身の画面の一部に表示している「配置完了」ボタンが操作された場合、調整の完了が入力されたと判定する。
【００７２】
●［ステップＳＢ１００（ユーザＵ（ｍ）の仮想３次元模型（ｍ）の選定と配置）の処理（図６）］
次に図６を用いて、図４におけるステップＳＢ１００の処理の詳細について説明する。ＰＣ５０はステップＳＢ１００に進んだ場合、まずステップＳＢ１１０にて仮想３次元模型の選択メニューを表示してステップＳＢ１１５に進む。表示内容の例としては、記憶装置に記憶されている仮想３次元模型の中から選択するか、インターネット６０経由でジオラマ提供サーバ８０にアクセスしてジオラマ提供サーバ８０にて提供されている仮想３次元模型の中から選択するか、のいずれにするか入力待ちの画面を表示する。なおステップＳＢ１００にて扱う仮想３次元ジオラマは、ステップＳＢ１５５にて仮想３次元模型（１）を配置するまでは、仮想３次元模型を含まない背景や場面である。
【００７３】
ステップＳＢ１１５にてＰＣ５０は、「記憶装置に記憶されている仮想３次元模型の中からの選択」が選択されたか否かを判定し、「記憶装置に記憶されている仮想３次元模型の中からの選択」が選択された場合（Ｙｅｓ）はステップＳＢ１２０Ａに進み、「ジオラマ提供サーバ８０にて提供されている仮想３次元模型の中から選択」が選択された場合（Ｎｏ）はステップＳＢ１２０Ｂに進む。
【００７４】
なお、仮想３次元模型を、ユーザがゼロから作成できるようにすることもできる。例えばジオラマ提供サーバ８０には、仮想３次元模型を作成するためのツールプログラム、各種の素材データ（仮想３次元模型のベース、補助パーツ等）、模型作成マニュアル等が用意されている。ユーザは時間をかけてコツコツと仮想３次元模型を作成してＰＣ５０の記憶装置に記憶しておくことで、作成した仮想３次元模型を使用することができる。
【００７５】
ステップＳＢ１２０Ａに進んだ場合、ＰＣ５０は、記憶装置に記憶している仮想３次元模型の模型名称の一覧等を画面に表示してステップＳＢ１２５Ａに進む。
【００７６】
ステップＳＢ１２５ＡにてＰＣ５０は、画面に表示している模型名称の一覧等の中から選択指示（入力指示）がされたか否かを判定し、選択指示があった場合（Ｙｅｓ）はステップＳＢ１３０Ａに進み、選択指示がまだの場合（Ｎｏ）はステップＳＢ１２５Ａに戻る。
【００７７】
ステップＳＢ１３０Ａに進んだ場合、ＰＣ５０は、選択された仮想３次元模型の読み込みを実施して読み込みが終了すると、ステップＳＢ１５０に進む。
【００７８】
また、ステップＳＢ１２０Ｂに進んだ場合、ＰＣ５０は、インターネット６０を介して、指定のサーバであるジオラマ提供サーバ８０にアクセスしてジオラマ提供サーバ８０から、提供されている仮想３次元模型の一覧情報を受信し、受信した一覧情報を画面に表示してステップＳＢ１２５Ｂに進む。
【００７９】
ステップＳＢ１２５ＢにてＰＣ５０は、画面に表示している一覧情報の中から、いずれかの仮想３次元模型の選択指示（入力指示）がされたか否かを判定し、選択指示があった場合（Ｙｅｓ）はステップＳＢ１３０Ｂに進み、選択指示がまだの場合（Ｎｏ）はステップＳＢ１２５Ｂに戻る。
【００８０】
ステップＳＢ１３０Ｂに進んだ場合、ＰＣ５０は、選択された仮想３次元模型の情報（データ）の送信を要求する送信要求情報をジオラマ提供サーバ８０に送信し、ジオラマ提供サーバ８０から、選択された仮想３次元模型の情報（データ）の受信（読み込み）を実施して受信が終了すると、ステップＳＢ１３５Ｂに進む。
【００８１】
ステップＳＢ１３５ＢにてＰＣ５０は、受信した仮想３次元模型の名称の入力待ちの画面を表示し、模型名称の入力がされた場合（Ｙｅｓ）はステップＳＢ１４０Ｂに進み、模型名称の入力がまだの場合（Ｎｏ）はステップＳＢ１３５Ｂに戻る。
【００８２】
ステップＳＢ１４０Ｂに進んだ場合、ＰＣ５０は、入力された模型名称を、受信した仮想３次元模型の情報（データ）に対応付けて、模型名称と仮想３次元模型の情報とを記憶装置に記憶してステップＳＢ１５０に進む。記憶した模型名称は、次回からステップＳＢ１２０Ａの一覧（記憶している仮想３次元模型の一覧）に表示される。
【００８３】
ステップＳＢ１５０に進んだ場合、ＰＣ５０は、ユーザ番号「ｍ（この場合、「１」）」に模型名称を対応付けて記憶して（ユーザ番号「１」のコントローラ２０からの入力指示を、対応する模型名称の仮想３次元模型の動作に反映するため）ステップＳＢ１５５に進む。以降、ユーザ（１）が選択＆配置した仮想３次元模型を仮想３次元模型（１）と記載する。同様に、ユーザ（ｍ）が選択＆配置した仮想３次元模型を仮想３次元模型（ｍ）と記載する。
【００８４】
ステップＳＢ１５５にてＰＣ５０は、読み込んだ（または受信した）仮想３次元模型（ｍ）を、現実空間内（またはステップＳＢ０００にて配置した（共通）仮想３次元ジオラマ（背景、場面）内）においてユーザＵ（ｍ）から指示された位置に仮配置してステップＳＢ１６０に進む。例えばＰＣ５０は、ユーザＵ（ｍ）のＨＭＤ１０（ｍ）から、右撮像装置１３Ｒが撮像した右目用現実画像と、左撮像装置１３Ｌが撮像した左目用現実画像と、を取り込む。またＰＣ５０は、ＨＭＤ１０（ｍ）の右撮像装置１３Ｒから見えるであろう仮想３次元ジオラマの画像である右目用仮想ジオラマ画像と、ＨＭＤ１０（ｍ）の左撮像装置１３Ｌから見えるであろう仮想３次元ジオラマの画像である左目用仮想ジオラマ画像と、を作成する。そしてＰＣ５０は、右目用現実画像に右目用仮想ジオラマ画像を重畳した右目用複合画像と、左目用現実画像に左目用仮想ジオラマ画像を重畳した左目用複合画像と、を作成し、作成した右目用複合画像または左目用複合画像である複合画像をＰＣ５０の画面（液晶ディスプレイ）に表示する。ユーザＵ（ｍ）は、画面に表示されている複合画像中の任意の位置をマウス等の入力装置から指示することで、仮想３次元模型（ｍ）を現実空間内（または（共通）仮想３次元ジオラマ内）に仮配置する。仮想３次元模型（ｍ）の仮配置がされた場合、ＰＣ５０は、右目用仮想ジオラマ画像及び左目用仮想ジオラマ画像を作成する際、仮配置された仮想３次元模型（ｍ）を含む仮想３次元ジオラマを用いて作成する。
【００８５】
ステップＳＢ１６０にてＰＣ５０は、仮想３次元模型（ｍ）の配置位置の調整が、ユーザＵ（ｍ）から入力されたか否かを判定し、調整入力がされた場合（Ｙｅｓ）はステップＳＢ１６５に進み、調整入力がされていない場合（Ｎｏ）はステップＳＢ１８０に進む。例えばＰＣ５０は、位置姿勢検出ユニット３０を基準とした直交座標系のＸ軸、Ｙ軸、Ｚ軸（図３参照）のそれぞれの方向へのスライド量が入力されると、入力された軸に沿って、入力されたスライド量に応じた距離だけ、複合画像内の仮想３次元模型（ｍ）をスライド移動させて画面に表示する。また例えばＰＣ５０は、Ｘ軸回りの旋回角度、Ｙ軸回りの旋回角度、Ｚ軸回りの旋回角度、が入力されると、入力された軸回りに、入力された旋回角度に応じた角度だけ、複合画像内の仮想３次元模型（ｍ）を旋回させて画面に表示する。
【００８６】
ステップＳＢ１８０に進んだ場合、ＰＣ５０は、現実空間内（または（共通）仮想３次元ジオラマ内）における仮想３次元模型（ｍ）の配置位置の調整の完了がユーザＵ（ｍ）から入力されたか否かを判定し、調整の完了が入力された場合（Ｙｅｓ）はステップＳＢ１００の処理を終了して図４におけるステップＳ３０に進む。またＰＣ５０は、調整の完了が入力されていない場合（Ｎｏ）はステップＳＢ１６０に戻る。例えばＰＣ５０は、自身の画面の一部に表示している「配置完了」ボタンが操作された場合、調整の完了が入力されたと判定する。
【００８７】
●［ステップＳＢ２００（仮想３次元模型の動作）の処理（図７）］
次に図７を用いて、図４におけるステップＳＢ２００の処理の詳細について説明する。以下に説明するステップＳＢ２００（特に、ステップＳＢ２１５、ＳＢ２２０）にて、立体複合現実感提供プログラムは、ＰＣ５０を、仮想３次元模型を、コントローラ２０に入力された指示に基づいて動作させる仮想３次元模型動作手段、として機能させる。ＰＣ５０はステップＳＢ２００に進んだ場合、まずステップＳＢ２１０にて利用人数である「ｎ」の値を読み出し、ユーザ番号の「ｍ」に初期値の「１」を代入し、ステップＳＢ２１５に進む。
【００８８】
ステップＳＢ２１５にてＰＣ５０は、ユーザＵ（ｍ）のコントローラ２０（ｍ）からの入力情報（ｍ）を取り込み、ステップＳＢ２２０に進む。ＰＣ５０は、コントローラ２０（ｍ）からの入力情報（ｍ）に基づいて、コントローラ（ｍ）にどのような指示が入力されたか、を認識することができる。
【００８９】
ステップＳＢ２２０にてＰＣ５０は、（共通）仮想３次元ジオラマ内において、ユーザＵ（ｍ）に対応する仮想３次元模型（ｍ）を、コントローラ２０（ｍ）に入力された指示に応じて動作させ、ステップＳＢ２２５に進む。例えば（共通）仮想３次元ジオラマが、仮想３次元模型の汽車（仮想３次元模型（ｍ））と仮想３次元のレールを含んでおり、コントローラ２０（ｍ）から速度ｖにて前進の指示が入力された場合、ＰＣ５０は、仮想３次元レールに沿って、仮想３次元模型の汽車を、速度ｖにて前進させる。
【００９０】
ステップＳＢ２２５にてＰＣ５０は、ｍ（ユーザ番号）に「１」を加算して、ｍ（ユーザ番号）の値を更新して（次のユーザの準備をして）ステップＳＢ２３０に進む。
【００９１】
ステップＳＢ２３０にてＰＣ５０は、更新されたｍ（ユーザ番号）の値が、記憶されている利用人数ｎ以下であるか否かを判定し、ｍがｎ以下である場合（Ｙｅｓ）は、（共通）仮想３次元ジオラマ内において、次のユーザＵ（ｍ）に対応する仮想３次元模型（ｍ）の動作をさせるためにステップＳＢ２１５に戻り、ｍがｎ以下でない場合（Ｎｏ）は、すべてのユーザＵ（ｍ）の仮想３次元模型（ｍ）の動作が完了したと判定して、ステップＳＢ２００の処理を終了して図４におけるステップＳＢ３００に進む。
【００９２】
●［ステップＳＢ３００（３次元ディスプレイ装置での立体映像の再生）（図８）］
次に図８を用いて、図４におけるステップＳＢ３００の処理の詳細について説明する。ＰＣ５０はステップＳＢ３００に進んだ場合、まずステップＳＢ３１０にて利用人数である「ｎ」の値を読み出し、ユーザ番号の「ｍ」に初期値の「１」を代入し、ステップＳＢ３１５に進む。
【００９３】
ステップＳＢ３１５にてＰＣ５０は、位置姿勢検出ユニット３０からユーザＵ（ｍ）のＨＭＤ１０（ｍ）の位置姿勢情報（ｍ）を取り込み、現実空間内におけるＨＭＤ１０（ｍ）の位置と姿勢を検出してステップＳＢ３２０に進む。ＰＣ５０は、位置姿勢情報（ｍ）に基づいて、例えば位置姿勢検出ユニット３０の現実空間内の位置を基準として、位置姿勢検出ユニット３０からのＸ軸、Ｙ軸、Ｚ軸（図３参照）のそれぞれの方向における現実空間内のＨＭＤ１０（ｍ）の位置と、現実空間内におけるＸ軸回りの旋回、Ｙ軸回りの旋回、Ｚ軸回りの旋回、のそれぞれの旋回に応じたＨＭＤ１０（ｍ）の姿勢、を検出することができる。なお、位置姿勢検出ユニット３０の機能をＰＣ５０またはＨＭＤ１０に内蔵するようにしてもよい。ステップＳＢ３１５にて、立体複合現実感提供プログラムは、ＰＣ５０を、位置姿勢検出手段からの検出信号に基づいて現実空間内におけるＨＭＤ１０の位置とＨＭＤ１０の姿勢を判定するＨＭＤ位置姿勢判定手段、として機能させる。
【００９４】
ステップＳＢ３２０にてＰＣ５０は、ユーザＵ（ｍ）のＨＭＤ１０（ｍ）の右撮像装置１３Ｒが撮像した右目用現実画像（ｍ）と、ＨＭＤ１０（ｍ）の左撮像装置１３Ｌが撮像した左目用現実画像（ｍ）を取り込み、ステップＳＢ３２５に進む。ステップＳＢ３２０にて、立体複合現実感提供プログラムは、ＰＣ５０を、右撮像装置１３Ｒで撮像した右目用現実画像と、左撮像装置１３Ｌで撮像した左目用現実画像と、を取り込む現実画像取り込み手段、として機能させる。
【００９５】
ステップＳＢ３２５にてＰＣ５０は、ステップＳＢ３１５にて検出したＨＭＤ１０（ｍ）の位置と姿勢に基づいて、ＨＭＤ１０（ｍ）の右撮像装置１３Ｒから見えるであろう（仮想３次元模型（ｍ）を含む）仮想３次元仮想ジオラマの画像である右目用仮想ジオラマ画像（ｍ）と、ＨＭＤ１０（ｍ）の左撮像装置１３Ｌから見えるであろう（仮想３次元模型（ｍ）を含む）仮想３次元仮想ジオラマの画像である左目用仮想ジオラマ画像（ｍ）と、を作成してステップＳＢ３３０に進む。例えばユーザＵ（ｍ）が複数で仮想３次元模型（ｍ）が複数の場合、（共通）仮想３次元ジオラマと複数の仮想３次元模型（１〜ｎ）を含む右目用仮想ジオラマ画像（ｍ）と左目用仮想ジオラマ画像（ｍ）とを作成する。ステップＳＢ３２５にて、立体複合現実感提供プログラムは、ＰＣ５０を、判定したＨＭＤ１０の位置と姿勢に基づいて、ＨＭＤ１０の右撮像装置１３Ｒから見えるであろう仮想３次元ジオラマの画像である右目用仮想ジオラマ画像と、ＨＭＤ１０の左撮像装置１３Ｌから見えるであろう仮想３次元ジオラマの画像である左目用仮想ジオラマ画像と、を作成する仮想ジオラマ画像作成手段、として機能させる。なお、立体複合現実感提供プログラムは、指定された方位角及び仰角（または仮想時刻）に仮想太陽を配置（ステップＳ４０の説明参照）した場合の仮想的な光である仮想太陽光が、仮想的に照射されている仮想３次元ジオラマであって、指定された仮想天候が（仮想３次元ジオラマの）周囲に仮想的に再現された仮想３次元ジオラマに基づいて、右目用仮想ジオラマ画像と左目用仮想ジオラマ画像とを、ＰＣ５０に作成させる。またＰＣ５０は、右目用仮想ジオラマ画像と左目用仮想ジオラマ画像とを作成する際、ステップＳ４０にて設定した仮想太陽の位置や天候も反映して作成する。例えば仮想太陽の位置に応じて仮想３次元模型に明暗や、影や反射光等を付与し、設定した気候の背景を付与した右目用仮想ジオラマ画像と左目用仮想ジオラマ画像とを作成する。
【００９６】
ステップＳＢ３３０にてＰＣ５０は、ステップＳＢ３１５にて検出したＨＭＤ１０（ｍ）の位置と姿勢に基づいた、右目用現実画像（ｍ）に右目用仮想ジオラマ画像（ｍ）を重畳した右目用複合画像（ｍ）と、左目用現実画像（ｍ）に左目用仮想ジオラマ画像（ｍ）を重畳した左目用複合画像（ｍ）と、を作成してステップＳＢ３３５に進む。例えば図９に示すように、ＰＣ５０は、ＨＭＤ１０（ｍ）の右撮像装置にて撮像した右目用現実画像（ｍ）である現実画像Ｒ１０Ｒに、ＨＭＤ１０（ｍ）の位置と姿勢に基づいて右撮像装置から見えるであろう右目用仮想ジオラマ画像（ｍ）である仮想ジオラマ画像Ｖ１０Ｒを重畳して、右目用複合画像（ｍ）である複合画像Ｇ１０Ｒを作成する。ステップＳＢ３３０にて、立体複合現実感提供プログラムは、ＰＣ５０を、判定したＨＭＤ１０の位置と姿勢に応じた、右目用現実画像に右目用仮想ジオラマ画像を重畳した右目用複合画像と、左目用現実画像に左目用仮想ジオラマ画像を重畳した左目用複合画像と、を作成する複合画像作成手段、として機能させる。
【００９７】
ステップＳＢ３３５にてＰＣ５０は、右目用複合画像（ｍ）と左目用複合画像（ｍ）に基づいて、ＨＭＤ１０（ｍ）の３次元ディスプレイ装置１２にて立体映像（ｍ）を再生するための立体映像情報（ｍ）を作成してステップＳＢ３４０に進む。立体映像情報（ｍ）は、ＨＭＤ１０（ｍ）の３次元ディスプレイ装置１２の再生方式に合うように作成される。例えばパララックスバリア方式やレンチキュラーレンズ方式の場合、立体映像情報（ｍ）は、細長状の右目用複合画像（ｍ）の一部と、細長状の左目用複合画像（ｍ）の一部とが左右方向に交互に並べられている。また、例えば液晶シャッタ式の場合、立体映像情報（ｍ）には、画像情報の他にもシャッタ制御情報等が含まれている。また、例えば右目用液晶表示装置と左目用液晶表示装置が左右独立の場合、右目用液晶表示装置に右目用複合画像（ｍ）を表示させ、左目用液晶表示装置に左目用複合画像（ｍ）を表示させる。ステップＳＢ３３５にて、立体複合現実感提供プログラムは、ＰＣ５０を、右目用複合画像と左目用複合画像に基づいて、３次元ディスプレイ装置にて再生するための立体映像情報を作成する立体映像情報作成手段、として機能させる。
【００９８】
ステップＳＢ３４０にてＰＣ５０は、作成した立体映像情報（ｍ）を、ユーザ（ｍ）のＨＭＤ１０（ｍ）に出力し、ユーザ（ｍ）のＨＭＤ１０（ｍ）の３次元ディスプレイ装置１２に、立体映像情報（ｍ）に基づいた立体映像（ｍ）を再生させ、ステップＳＢ３４５に進む。ステップＳＢ３４０にて、立体複合現実感提供プログラムは、ＰＣ５０を、作成した立体映像情報を用いて、３次元ディスプレイ装置に立体映像を再生させる立体映像再生手段、として機能させる。
【００９９】
ステップＳＢ３４５にてＰＣ５０は、ｍ（ユーザ番号）に「１」を加算して、ｍ（ユーザ番号）の値を更新して（次のユーザの準備をして）ステップＳＢ３５０に進む。
【０１００】
ステップＳＢ３５０にてＰＣ５０は、更新されたｍ（ユーザ番号）の値が、記憶されている利用人数ｎ以下であるか否かを判定し、ｍがｎ以下である場合（Ｙｅｓ）は、次のユーザＵ（ｍ）のＨＭＤ１０（ｍ）の３次元ディスプレイ装置で立体映像（ｍ）を再生させるためにステップＳＢ３１５に戻る。またＰＣ５０は、ｍがｎ以下でない場合（Ｎｏ）は、すべてのユーザＵ（ｍ）のＨＭＤ１０（ｍ）の３次元ディスプレイ装置での立体映像（ｍ）の再生が完了したので、ステップＳＢ３００の処理を終了して図４におけるステップＳ５０に進む。
【０１０１】
●［本願の効果、その他の例等（図１０〜図１３）］
本実施の形態にて説明した立体複合現実感提供プログラムを搭載した立体複合現実感提供システム１を利用することで、図３に示すように、ユーザＵは、コントローラ２０から指示を入力することで、仮想３次元模型７１に所望する動作をさせることができる。またユーザＵは、仮想３次元模型７１を、種々の位置で、種々の角度から眺めて楽しむことができる。仮想３次元模型７１は、現実の模型と比較して、細部まで実物に忠実に構成することができるので、現実の模型を超える迫力やインパクトが期待できる。
【０１０２】
また、仮想３次元模型７１がユーザＵに実際に衝突することはないので、ユーザＵは思い切って仮想３次元模型７１に接近することもできる。しかも、「立体」映像で楽しむことができるので、近接することで、図１０の例に示すように、迫力かつインパクトのある立体映像を楽しむことができる。また図１０の例に示すように、実際の模型では困難である、仮想３次元煙７１Ｙの吐出や、仮想３次元蒸気７１Ｚの吐出や、警笛音の出力等を、ユーザはコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄから指示を入力するだけで行うことが可能であり、現実の模型を超える迫力やインパクトを楽しむことができる。
【０１０３】
また、仮想太陽の位置を自由に設定することができるので、セピア色の夕焼けの光を所望する方向から当てたり、気候の設定が可能であるので、背景の情景を吹雪としたり、現実の模型では困難あるいは不可能な周囲環境であっても、本実施の形態にて説明した立体複合現実感提供システムであれば、仮想環境で実現することが可能であり、仮想３次元ジオラマの雰囲気を盛り上げることができる。
【０１０４】
図１１は、現実空間のリビングＬの壁Ｌ１に、仮想３次元ジオラマの仮想３次元軌道７２（レール）が交差するように、仮想３次元ジオラマを配置した例を示している。この場合、ＰＣ５０は、リビングＬの壁Ｌ１と仮想３次元軌道７２との交差する交差個所を判定し、判定した交差個所に、自動的に仮想３次元トンネル出入口７３、７４を作成する。そしてＰＣ５０は、仮想３次元トンネル出入口７３、７４よりも遠い位置の仮想３次元軌道の表示を消し、仮想３次元模型が仮想３次元トンネル出入口よりも遠い位置に移動した場合は仮想３次元模型の表示を消す。このように現実の模型では不可能な配置であっても、可能にすることができる。また、仮想３次元軌道７２がリビングＬの床面から所定高さとなるように仮装３次元ジオラマを配置することも可能であるので、現実の模型では困難であった下方から見上げる角度で仮想３次元模型を楽しむことができる。
【０１０５】
図１２は、仮想３次元模型として潜水艦７１Ｂ、背景環境として深海７５を有する仮想３次元ジオラマを、現実空間のリビングＬ内に配置した例を示している。このように現実の模型では動作を楽しむことが非常に困難なものであっても、容易に楽しむことができる。また、現実の模型を実際の水中で動作させた場合、ユーザが模型に接近して種々の位置で、種々の角度から楽しむことは非常に困難である。しかし、本実施の形態にて説明した立体複合現実感提供システムを利用することで、ユーザは、現実空間のリビングＬに居ながら、仮想の深海７５中を潜航する仮想３次元模型の潜水艦７１Ｂを楽しむことができる。
【０１０６】
図１３は、本実施の形態にて説明した立体複合現実感提供システム１を、公園等の屋外に持ち出して、種々の仮想３次元模型を、種々の現実空間で楽しむ様子の例を示している。図１３の例は、ユーザＵ１が、仮想３次元模型の軍用航空機７１Ｃ（戦闘機）を屋外の空中で動作させて楽しむ例を示し、ユーザＵ２が、仮想３次元模型の車両７１Ｄ（フォーミュラマシン）を公園の広場等で動作させて楽しむ例を示し、ユーザＵ３が、仮想３次元模型の軍艦７１Ｅ（戦艦）を公園の池等で動作させて楽しむ例を示している。仮想３次元模型の軍用航空機７１Ｃ（及び車両７１Ｄや軍艦７１Ｅ）は、現実ではないので、周囲の人々に衝突等することなく迷惑をかけることがない。またイヤホンやヘッドホンを使用することで、周囲の人々に音の迷惑をかけることも無い。またユーザＵ１（及びＵ２やＵ３）は、周囲の現実空間の状況も見えているので、ユーザＵ１（及びＵ２やＵ３）が動き回っても、周囲の人に衝突することや、池に落ちる等することもなく、安全に楽しむことができる。
【０１０７】
また、仮想３次元模型の動作に、視覚的効果や、音響的効果を追加すると、よりリアルになり、現実の模型の迫力やインパクトに肉薄する、あるいは現実の模型の迫力やインパクトを超えることも期待できる。なお、視覚的効果や音響的効果は、仮想３次元模型の種類（列車、車両、航空機、船舶等）に応じて、例えば以下のように追加すると、より好ましい。
【０１０８】
例えば、仮想３次元模型が軍用航空機７１Ｃの場合、コントローラ２０から指示した速度の大きさに応じたエンジン音を音出力装置（例えばイヤホン）から出力する。また例えばコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄのいずれかに、仮想３次元の排気（または飛行機雲）の発生指示を対応付け、仮想３次元模型の軍用航空機７１Ｃの排気口（排気吐出位置に相当）から仮想３次元の排気（または飛行機雲）を吐出できるようにする。また例えばコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄのいずれかに、仮想３次元の砲弾の発射指示を対応付け、仮想３次元模型の軍用航空機７１Ｃの砲弾発射口（砲弾発射位置に相当）から仮想３次元の砲弾を発射音とともに発射できるようにする。
【０１０９】
また例えば、仮想３次元模型が車両７１Ｄの場合、コントローラ２０から指示した速度の大きさに応じたエンジン音を音出力装置（例えばイヤホン）から出力する。また例えばコントローラ２０からの右旋回や左旋回の指示入力と速度の大きさに応じた、タイヤのスリップ音を音出力装置（例えばイヤホン）から出力する。また例えばコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄのいずれかに、仮想３次元の排気ガスの発生指示を対応付け、仮想３次元模型の車両７１Ｄの排気口（排気吐出位置に相当）から仮想３次元の排気を吐出できるようにする。
【０１１０】
また例えば、仮想３次元模型が軍艦７１Ｅの場合、コントローラ２０から指示した速度の大きさに応じたエンジン音を音出力装置（例えばイヤホン）から出力する。また例えばコントローラ２０からの右旋回や左旋回の指示入力と速度の大きさに応じて、船体の先端に発生する波の状態を変化させたり、航行経路に軌跡を残すようにする。また例えばコントローラ２０の補助動作指示手段２５Ａ〜２５Ｄのいずれかに、仮想３次元の砲弾の発射指示を対応付け、仮想３次元模型の軍艦７１Ｅの砲弾発射口（砲弾発射位置に相当）から仮想３次元の砲弾を発射音とともに発射できるようにする。そして仮想３次元模型同士の砲弾の着弾であれば、爆発音とともに着弾部位が破損する処理も可能であり、対戦型ゲーム等への発展も可能である。
【０１１１】
なお本実施の形態の説明では、図４〜図８に示す処理をＰＣ５０にて実行する例を説明したが、ＰＣ５０とＨＭＤ１０とを協働させて実行（一部の処理をＨＭＤ１０にて実行）するようにしてもよい。
【０１１２】
また本実施の形態の説明では、ユーザＵ（ｍ）が複数の場合、各ユーザＵ（ｍ）は複数の仮想３次元模型（１〜ｎ）を含む（共通）仮想３次元ジオラマの立体映像を視認できる例を説明した。しかし、例えばユーザＵ（１）とユーザＵ（２）がそれぞれ仮想３次元ジオラマ（１）と仮想３次元ジオラマ（２）を配置し、ユーザＵ（１）は仮想３次元ジオラマ（１）のみを視認できるように設定し、ユーザＵ（２）は仮想３次元ジオラマ（２）のみを視認できるように設定することも可能である。この場合、リビング等の狭い現実空間内に、複数のユーザが、複数の仮想３次元ジオラマを重ねて配置しても、それぞれの仮想３次元ジオラマを楽しむことができる。
【０１１３】
また本実施の形態の説明では、仮想３次元ジオラマは仮想３次元模型を含んでいる例を説明したが、現実の模型を用いて仮想３次元ジオラマは仮想３次元の背景を含むようにしてもよい。例えば、現実のＮゲージのレール及び列車と、仮想３次元の背景（山岳地帯や市街地等の背景）や気候（雨、吹雪等の気候等）などを含む仮想３次元ジオラマを用いてもよい。
【０１１４】
また図１の例、及び本実施の形態の説明では、１台のＰＣ５０に、単数のＨＭＤ及びコントローラ、または複数のＨＭＤ及びコントローラ、を接続した例を説明したが、複数のＰＣ５０をインターネット６０等を介して接続し、複数のユーザで１つの（共通）仮想３次元ジオラマを用いて対戦等を楽しむように構成することもできる。つまり、１台以上のＰＣ５０に対して、複数のＨＭＤ（ｍ）と、それぞれのＨＭＤ（ｍ）に対応させたそれぞれのコントローラ（ｍ）を用いて、ＨＭＤ（ｍ）に対応させた仮想３次元模型（ｍ）を含む（共通）仮想３次元ジオラマで対戦等を楽しむことができる。
【０１１５】
本発明の、仮想３次元模型を対象とした立体複合現実感提供プログラムは、本実施の形態で説明した処理手順等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
【０１１６】
また、本実施の形態の説明に用いた数値は一例であり、この数値に限定されるものではない。
【符号の説明】
【０１１７】
１        立体複合現実感提供システム
１０      ＨＭＤ（ヘッドマウントディスプレイ）
１２      ３次元ディスプレイ装置
１３Ｒ    右撮像装置
１３ＲＶ  （右目の）正面視線方向
１３Ｌ    左撮像装置
１３ＬＶ  （左目の）正面視線方向
１４      ユーザ識別手段
１６      位置姿勢検出手段
２０      コントローラ
２２      進行方向指示手段
２３      速度指示手段
２４      ユーザ識別手段
２５Ａ〜２５Ｄ    補助動作指示手段
３０      位置姿勢検出ユニット
４０      音出力装置
５０      ＰＣ（パーソナルコンピュータ）
６０      インターネット
７０      仮想３次元ジオラマ
７１      仮想３次元模型
７２      仮想３次元軌道
８０      ジオラマ提供サーバ
【図１】
2018067060.tif 000003
【図２】
2018067060.tif 000004
【図３】
2018067060.tif 000005
【図４】
2018067060.tif 000006
【図５】
2018067060.tif 000007
【図６】
2018067060.tif 000008
【図７】
2018067060.tif 000009
【図８】
2018067060.tif 000010
【図９】
2018067060.tif 000011
【図１０】
2018067060.tif 000012
【図１１】
2018067060.tif 000013
【図１２】
2018067060.tif 000014
【図１３】
2018067060.tif 000015