(57)【要約】【課題】  複合現実空間を体験するシステムにおいて、より高品質の複合現実空間画像の紙媒体出力を提供し、システムの運用を遮ることなく紙媒体出力を提供する。【解決手段】  現実空間画像と仮想空間画像とを重畳し複合現実空間画像を生成する合成手段と、複合現実空間画像を表示する表示手段と、印刷手段に対して複合現実空間画像の出力指示を与える指示手段とを備え、指示手段から指示が与えられた場合、生成手段は仮想空間画像を生成した第一の計算方法および手順と異なる第二の計算方法および手順で仮想空間画像を再度生成し、合成手段は再度生成された仮想空間画像と現実空間画像から複合現実空間画像を再度合成し、そして印刷手段は再度合成された複合現実空間画像を媒体に印刷する。【選択図】  図１
2005100134.tif 000002
【特許請求の範囲】
【請求項１】
画像を印刷する印刷手段に接続されており、前記印刷手段に対して印刷する画像を出力可能な画像処理装置であって、
現実空間画像を撮像する撮像手段と、
前記撮像手段を仮想空間における視点とし、現実空間と仮想空間とで共有される座標系における視点位置および姿勢に応じた仮想空間画像を生成する生成手段と、
前記撮像手段により撮像された現実空間画像と、前記生成手段により生成された仮想空間画像とを重畳する合成手段と、
前記合成手段によって得られた複合現実画像を表示する表示手段と、
前記印刷手段に対して前記合成手段によって合成された複合現実空間画像の出力指示を与える指示手段とを備え、
前記生成手段は仮想空間画像を生成するための複数の計算方法および手順を有しており、そして
前記指示手段から前記指示が与えられた場合、前記生成手段は前記仮想空間画像を生成した第一の計算方法および手順と異なる第二の計算方法および手順で仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することを特徴とする画像処理装置。
【請求項２】
画像を印刷する印刷手段に接続されており、前記印刷手段に対して印刷する画像を出力可能な画像処理装置であって、
現実空間画像を撮像する撮像手段と、
前記撮像手段を仮想空間における視点とし、現実空間と仮想空間とで共有される座標系における視点位置および姿勢に応じた仮想空間画像を生成する生成手段と、
前記撮像手段により撮像された現実空間画像と、前記生成手段により生成された仮想空間画像とを重畳する合成手段と、
前記合成手段によって得られた複合現実画像を表示する表示手段と、
前記印刷手段に対して前記合成手段によって合成された複合現実空間画像の出力指示を与える指示手段とを備え、
前記生成手段は、仮想空間画像を生成するための複数のデータセットを有しており、そして
前記指示手段から前記指示が与えられた場合、前記生成手段は前記仮想空間画像の生成に利用した第一のデータセットと異なる第二のデータセットで仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することを特徴とする画像処理装置。
【請求項３】
請求項１および請求項２に記載の特徴を有する画像処理装置。
【請求項４】
前記生成手段が生成する仮想空間画像の一辺のピクセルサイズは、前記印刷手段が出力可能な画像の一辺の長さと解像度の積を上限とする任意の値であることを特徴とする請求項１〜３に記載の画像処理装置。
【請求項５】
前記現実空間および前記仮想空間の状態情報を管理する管理手段を備え、前記管理手段は、入力された情報もしくは所定のタイミング毎に当該仮想空間の状態情報を更新し、前記生成手段は更新された現実空間および仮想空間の状態情報に応じた仮想空間画像を連続的に生成することを特徴とする請求項１〜４に記載の画像処理装置。
【請求項６】
前記管理手段は、前記画像処理装置とネットワークを介して接続された別個の装置であって、前記管理手段が更新した仮想空間の状態情報は当該ネットワークに接続された夫々の前記画像処理装置が受信可能であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
少なくとも１人以上の体験者が同時に利用可能な装置であって、体験者ごとに用意された前記撮像手段、前記生成手段、前記合成手段、前記表示手段、および体験者の視点位置および視線方向を検出する検出手段とを有することを特徴とする請求項１〜６に記載の画像処理装置。
【請求項８】
前記表示手段または、前記表示手段と前記撮像手段は、体験者の頭部に取り付けられる頭部装着型表示装置であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
コンピュータを請求項１〜８に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体。
【請求項１１】
画像を印刷する印刷手段に接続されており、前記印刷手段に対して印刷する画像を出力可能な画像処理装置であって、
現実空間画像を撮像する撮像手段と、
前記撮像手段を仮想空間における視点とし、現実空間と仮想空間とで共有される座標系における視点位置および姿勢に応じた仮想空間画像を生成する生成手段と、
前記撮像像手段により撮像された現実空間画像と、前記生成手段により生成された仮想空間画像とを重畳する合成手段と、
前記合成手段によって得られた複合現実画像を表示する表示手段と、
前記印刷手段に対して前記合成手段によって合成された複合現実空間画像の出力指示を与える指示手段と、
前記座標系における前記撮像手段、現実空間物体、仮想空間物体の位置関係を調べ、前記複合現実空間画像中において前記現実空間物体が前記仮想空間物体に覆い隠されているかどうかを判定する判定手段とを備え、
判定手段の結果に応じて、前記生成手段は前記仮想空間画像を生成した第一の計算方法および手順と異なる第二の計算方法および手順で仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することを特徴とする画像処理装置。
【請求項１２】
前記現実空間および前記仮想空間の状態情報を管理する管理手段を備え、前記管理手段は、入力された情報もしくは所定のタイミング毎に当該仮想空間の状態情報を更新し、前記生成手段は更新された現実空間および仮想空間の状態情報に応じた仮想空間画像を連続的に生成することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記管理手段は、前記画像処理装置とネットワークを介して接続された別個の装置であって、前記管理手段が更新した仮想空間の状態情報は、当該ネットワークに接続された夫々の前記画像処理装置が受信可能であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
少なくとも１人以上の観察者が同時に利用可能な装置であって、観察者ごとに用意された前記撮像手段、前記生成手段、前記合成手段、前記表示手段、および観察者の視点位置および視線方向を検出する検出手段とを有することを特徴とする請求項１１〜１３に記載の画像処理装置。
【請求項１５】
前記表示手段または、前記表示手段と前記撮像手段は、観察者の頭部に取り付けられる頭部装着型表示装置であることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
コンピュータを請求項１１〜１５に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遊園地、テーマパークなどの娯楽施設、博物館、水族館、植物園、動物園などの各種展示施設、博覧会、展示会などの各種展示会場において利用される展示装置および展示方法に関するものである。
【０００２】
技術的には、現実空間画像と仮想空間画像とを重畳した複合現実空間画像を生成する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００３】
いわゆる「プリクラ」などの、静止画や動画が撮像可能なカメラなどの撮像装置を用いて撮像した現実空間の画像にコンピュータ内で生成された仮想物体の画像を合成して印刷するシステムが一般的なものとして広く存在している。このような「プリクラ」においては、現実画像に重畳される仮想物体は単純な二次元画像であり、また撮像時にシステムの体験者は仮想物体の存在を合成画面上でしか確認できない。つまり撮像時に、システムの体験者は仮想画像と自分自身の位置関係を合成画面上で確認しながら自分が仮想物体と相互交流しているように見えるような画像のための絵作りや演技を行っていた。
【０００４】
従来から現実空間と仮想空間の座標系が共有されている空間（複合現実空間）を提供するシステムが存在する（公知文献１）。
【０００５】
現実空間と仮想空間の座標系が共有されている空間（複合現実空間）において、撮影者の望む視点位置、視線方向における現実画像と仮想画像を合成して印刷するシステムが本出願人から提案されている。ここでは、仮想物体は二次元画像ではなく三次元コンピュータグラフィックス（３ＤＣＧ）技術により現実空間中に実在する立体物であるかのごとく認識することが可能である。さらに現実空間と仮想空間の三次元座標軸が一致しており、体験者はこの現実空間と仮想空間の融合空間（複合現実空間）で、仮想物体が目前に実在しているかのように深い没入感を持って知覚することが可能である。このような環境において、仮想物体と相互交流している様子を画像として取得することで、システムの体験者が演技や絵作りを意識せずとも仮想物体と自然に相互交流することを促し、「絵」としてよりよい印刷を提供することを可能としている。
【０００６】
一方、テーマパークのアトラクションにおいては、利用客が体験して楽しんでいる様子を現実空間におけるイベントによって自動的に撮像し、体験を終了した利用客に撮像したものを印刷して提供する機器が使用されている。例えば、ジェットコースター型のアトラクションにおいて、搭乗した車両が急降下して体験者が驚きの表情をする地点に撮像装置を設置し、車両が急降下するタイミングで体験者と車両を撮影し、搭乗を終了した体験者が自分の驚いた表情の写った画像を印刷してもらい対価を支払うシステムなどが挙げられる。
【０００７】
このような複合現実感システムでは実時間性が要求されるため、従来技術においては仮想空間物体のモデルはデータ量や計算量の制限を受けざるを得ず、静止画としてより融合感の優れた複合現実空間画像を作成することが難しかった。また、複合現実空間内で仮想空間物体が移動しているときは、体験者はこれらの制限による融合感低下に注意が向かうことは少なかったが、静止画や紙媒体出力において融合感の低さや低画質といった問題点を感じさせることが多かった。
【特許文献１】特開２００２−２７１６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、体験者と仮想物体が自然に相互交流している画像をより高品質にし、被写体である体験者にとってその複合現実空間画像が一層面白みのあるものにすることを目的とする。
【０００９】
本発明はさらに、複合現実空間を体験するシステムの運用を遮ることなく、紙媒体出力を提供することを目的とする。
【００１０】
また、複合現実空間画像の取得時に、不意に仮想空間物体が被写体である観察者の前を横切って観察者を覆い隠してしまうことを回避することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１２】
すなわち、画像を印刷する印刷手段に接続されており、前記印刷手段に対して印刷する画像を出力可能な画像処理装置であって、現実空間画像を撮像する撮像手段と、前記撮像手段を仮想空間における視点とし、現実空間と仮想空間とで共有される座標系における視点位置および姿勢に応じた仮想空間画像を生成する生成手段と、前記撮像手段により撮像された現実空間画像と、前記生成手段により生成された仮想空間画像とを重畳する合成手段と、前記合成手段によって得られた複合現実画像を表示する表示手段と、前記印刷手段に対して前記合成手段によって合成された複合現実空間画像の出力指示を与える指示手段とを備え、前記生成手段は仮想空間画像を生成するための複数の計算方法および手順を有しており、そして前記指示手段から前記指示が与えられた場合、前記生成手段は前記仮想空間画像を生成した第一の計算方法および手順と異なる第二の計算方法および手順で仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することで課題を解決する。
【００１３】
または、上記構成において、前記生成手段は、仮想空間画像を生成するための複数のデータセットを有しており、そして前記指示手段から前記指示が与えられた場合、前記生成手段は前記仮想空間画像の生成に利用した第一のデータセットと異なる第二のデータセットで仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することで課題を解決する。
【００１４】
さらに本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１５】
すなわち、画像を印刷する印刷手段に接続されており、前記印刷手段に対して印刷する画像を出力可能な画像処理装置であって、現実空間画像を撮像する撮像手段と、前記撮像手段を仮想空間における視点とし、現実空間と仮想空間とで共有される座標系における視点位置および姿勢に応じた仮想空間画像を生成する生成手段と、前記撮像像手段により撮像された現実空間画像と、前記生成手段により生成された仮想空間画像とを重畳する合成手段と、前記合成手段によって得られた複合現実画像を表示する表示手段と、前記印刷手段に対して前記合成手段によって合成された複合現実空間画像の出力指示を与える指示手段と、前記座標系における前記撮像手段、現実空間物体、仮想空間物体の位置関係を調べ、前記複合現実空間画像中において前記現実空間物体が前記仮想空間物体に覆い隠されているかどうかを判定する判定手段とを備え、判定手段の結果に応じて、前記生成手段は前記仮想空間画像を生成した第一の計算方法および手順と異なる第二の計算方法および手順で仮想空間画像を再度生成し、前記合成手段は再度生成された仮想空間画像と前記現実空間画像から複合現実空間画像を再度合成し、そして前記印刷手段は再度合成された複合現実空間画像を媒体に印刷することで課題を解決する。
【発明の効果】
【００１６】
本発明においては、高品質な複合現実画像の紙媒体出力を提供することが可能になる。
【００１７】
また本発明においては、紙媒体出力用の情報量の豊かな複合現実空間画像を出力時に別手段または別のデータを利用して作成することにより、従来の技術における問題を解決することが可能になる。
【００１８】
さらに本発明においては、複数の観察者が同時に複合現実感システムを体験している最中に一人の観察者が高品質の複合現実画像を印刷出力した場合であっても、複合現実感システムの動作品質を損なうことなく、同時に高画質な複合現実空間画像の印刷出力を得ることが可能になる。
【００１９】
さらに本発明においては、観察者が複合現実空間を体験している様子を撮像した複合現実空間画像の紙媒体出力において、観察者が仮想物体で覆い隠されてしまうのを防ぐことが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、発明を実施するための最良の形態について詳細に説明する。
【実施例１】
【００２１】
図１は複数の観察者と、これら観察者それぞれの異なる視点に基づいた複合現実空間画像を取得可能にする本実施形態に係るシステムの構成を示す図である。
【００２２】
（観察者用画像処理装置およびプログラム）
まず、本実施例における観察者用画像処理装置およびそれに適用されるプログラムについて説明する。
【００２３】
図１において、１００および１０１は複合現実空間画像を観察する観察者である。
【００２４】
ＰＣ１１０、モニタ１４０、位置センサ系３００、３１０、３２０および撮像装置付の頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）４００によって観察者一人分の複合現実空間画像を生成する観察者用画像処理装置を構成し、これは観察者１００に対して設けられている。
【００２５】
また、観察者１０１に対しても同様に、ＰＣ１１１、モニタ１４１、位置センサ系３０１、３１１、３２１、および撮像装置付の頭部装着型表示装置（ＨＭＤ）４０１が観察者用画像処理装置として設けられている。
【００２６】
本実施例では観察者の数を１００および１０１の２人としているが、これに限定されるものではなく任意の数の観察者用画像処理装置を接続することが可能であり、また２人以上の任意数の観察者が同時に複合現実空間を観察し共有することも可能である。
【００２７】
１９０はイーサネット（Ｒ）に代表されるようなネットワークであり、夫々の観察者に対して設けられた観察者用画像処理装置と後述する客観視点用画像処理装置と複合現実空間管理装置とはネットワーク１９０を介して接続されている。
【００２８】
次に、ＰＣ１１０で動作しているプログラムについて説明する。ＰＣ１１０では、複合現実空間画像生成プログラムと位置姿勢取得プログラムが動作している。
【００２９】
位置姿勢取得プログラムは、位置姿勢センサ系を構成する位置姿勢センサ本体３００、位置姿勢センサ送信機３１０および位置姿勢センサ受信機３２０（図５参照）によって計測される観察者の視点位置姿勢を常時更新し、後述する座標軸２００における位置姿勢値に変換後、複合現実空間管理装置で動作している複合現実空間管理プログラムに送信し続ける。
【００３０】
複合現実空間画像生成プログラムは、複合現実空間管理プログラムから送信されてくる複合現実空間管理情報（すなわち、全ての仮想空間物体の位置姿勢および状態、現実空間物体の位置姿勢および状態）に基づいて、その時点における仮想空間画像をメモリ上に描画すると共に、観察者１００の頭部に装着されたＨＭＤ４００に設けられた後述の撮像部で取得される現実空間画像をメモリ上に描画して、これらを合成する。その結果、メモリ上には複合現実空間画像が描画されることになる。
【００３１】
メモリ上で生成された複合現実空間画像は、モニタ１４０およびＨＭＤ４００に設けられた後述の表示部に出力されて表示される。したがって、観察者１００はＨＭＤ４００の表示部に表示された複合現実空間画像を見ることで、複合現実空間画像を観察することができる。
【００３２】
なお、複合現実空間画像の更新頻度はＰＣの処理能力に依存するが、ＰＣの処理能力が十分であって更新頻度１０〜３０Ｈｚを実現できれば、連続して更新される複合現実空間画像は観察者にとって動画として認識できる。
【００３３】
モニタ１４０とＨＭＤ４００には同じ映像を出力する。これは、ＨＭＤ４００を装着している観察者がどのような画像を見ているのかを観察者以外の人（ＨＭＤを装着してない人、システムのオペレータなど）が知るためと、システムメッセージやシステムの設定画面などを表示して操作をする場合にＨＭＤ４００では使い勝手が悪く不自由なのでモニタ１４０を見て操作を行う必要があるためである。
【００３４】
以上の構成およびプログラムにより観察者１００は自由に視点位置、姿勢を変えて、すなわち複合現実空間内を自由に動いて、その時々の視点位置姿勢に応じた複合現実空間画像を観察することが可能となる。
【００３５】
（複合現実空間管理装置およびプログラム）
次に、本実施例における複合現実空間管理装置およびそれに適用されるプログラムについて説明する。
【００３６】
ＰＣ１１５およびモニタ１４５は複合現実空間管理装置を構成し、観察者の数に依存せず本複合現実感システムに１つだけ設置される。なお、ＰＣ１１５では、複合現実空間管理プログラムが実行されている。
【００３７】
複合現実空間管理プログラムは、現実空間物体の状態および位置姿勢の取得し、また仮想空間物体の状態および位置姿勢の更新を行い、得られた情報を複合現実空間管理情報としてすべての複合現実空間画像生成プログラムに通知する。
【００３８】
現実空間物体の状態および位置姿勢の取得は、全ての観察者用画像処理装置で動作している位置姿勢取得プログラムと通信を行うことで実現される。これによりすべての観察者および固定設置カメラの視点位置、姿勢は複合現実空間管理プログラムで一元的に管理され同期がとられる。
【００３９】
仮想空間物体の状態および位置姿勢の更新は、本プログラムに予め設定されているシナリオに従って仮想空間時間を単位時間進め、全ての仮想空間物体の状態および位置姿勢を更新することで実現される。このとき、仮想空間物体同士の位置姿勢関係や、仮想空間物体と現実空間物体（観察者および固定設置カメラ）の位置姿勢関係が、シナリオに設定されている特別の状態であった場合には、何らかのイベント（例えば仮想空間物体の爆発など）が発生する場合がある。
【００４０】
以上のように更新された複合現実空間管理情報は、すべての現実空間画像生成プログラムに通知される。
【００４１】
（客観視点用画像処理装置）
また、ＰＣ１１７、モニタ１４７およびビデオカメラ１６０は客観画像処理装置を構成している。なお、客観画像処理装置は、ＨＭＤ４００、位置姿勢センサ系３００、３１０、３２０が接続されていないこと、撮像装置として固定設置されているビデオカメラ１６０を利用すること以外は、観察者用画像処理装置と同様の構成である。
【００４２】
ここでビデオカメラ１６０の設置位置および姿勢は、後述する複合現実空間画像生成可能領域ができる限り撮像範囲内に入るよう設定することが望ましい。なおＰＣ１１７では、ＰＣ１１０と同様に、複合現実空間画像生成プログラムと位置姿勢取得プログラムが動作している。
【００４３】
複合現実空間画像生成プログラムは、ＰＣ１１７に接続されているビデオカメラ１６０から現実画像を取得し、複合現実空間管理プログラムから通知される情報に従って複合現実空間映像を生成している。位置姿勢取得プログラムは、ビデオカメラ１６０の位置および姿勢の設定値を複合現実空間管理プログラムに送信し続けている。なお、ビデオカメラ１６０の位置および姿勢は予め複合現実空間画像生成プログラムに初期設定されており、動的に位置姿勢を変更することはできない。
【００４４】
（印刷装置）
印刷装置としてのプリンタ１７０は、複合現実空間画像を出力するための装置であり、シャッタスイッチ１８０は観察者１０７が複合現実空間画像の任意の出力タイミングを決定するために用いる例えば押しボタン式の装置である。本実施例において、プリンタ１７０およびシャッタスイッチ１８０は客観視点用画像処理装置のＰＣ１１７に接続されているが、この構成に限定されるものではない。すなわち、プリンタ１７０などは観察者用画像処理装置として機能するＰＣ１１０またはＰＣ１１１に接続されていてもよく、また複数のＰＣに同時に接続されていてもよい。なお、複合現実空間画像生成プログラムが動作しているＰＣであれば、プリンタ１７０が接続して複合現実空間画像を出力することができる。
【００４５】
客観視点用画像処理装置のＰＣ１１７に接続されているモニタ１４７には、ビデオカメラ１６０から見た複合現実画像が表示されており、観察者１０７はこの複合現実画像を見ながらシャッタスイッチ１８０を使って任意のタイミングでプリンタ１７０から出力する複合現実画像を決定することが可能である。具体的には、シャッタスイッチ１８０が観察者１０７によって押されると、ＰＣ１１７で動作している複合現実空間管理プログラムがそれを検知し、メモリ上に描画された複合現実画像をプリンタ１７０に送信し、プリンタ１７０はそれを紙媒体に出力する。
【００４６】
ここで、プリンタ１７０の記録方式は特に限定されるものではなく、複合現実空間画像を紙媒体やＯＨＰなどの記録媒体上に画像として印刷することができるものであればよい。
【００４７】
また、シャッタスイッチ１８０も本実施例のような機械式の手動シャッタスイッチでなくともよい。具体的には、出力処理を行う複合現実空間画像生成プログラムが、出力用の複合現実画像を生成するタイミングを指示できるものであれば十分であり、これをプログラムで実現していても構わない。例えば、複合現実空間管理プログラムがシャッタ信号を生成し、これを複合現実空間管理情報に含めて複合現実空間画像生成プログラムに送信する方法などが考えられる。
【００４８】
またこの場合、シャッタ信号を生成するタイミングも、複合現実空間画像生成プログラムが予め設定されている時間間隔で自動的に発生させてもよいし、自らが管理している複合現実空間で特定のイベントが起こったときに自動的に発生させるようにしてもよい。
【００４９】
（複合現実空間）
次に、複合現実空間について説明する。図１において、２００は予め定義されており仮想物体を現実空間のどの位置に定位するのかを決めるために使用される座標軸であり、現実空間と仮想空間で共有される。なお、座標軸の設定方法に関しては本発明の趣旨から外れるのでここでは説明しない。
【００５０】
２１０は複合現実空間画像生成可能領域である。すなわち、この領域に存在する現実物体についてはその位置および形状が全ての動作している複合現実空間画像生成プログラムおよび複合現実空間管理プログラムによって管理されており、この領域では現実物体と仮想物体との位置の重なりが発生したことが検出可能となる。観察者は、この領域に入って複合現実空間を体験することになる。なお、この領域の位置およびサイズは複合現実空間画像生成プログラムおよび複合現実空間管理プログラムの動作するＰＣのメモリ上に記録されている。
【００５１】
２２０、２２２は現実物体で、本実施例では石柱２２０と岩２２２を例として示している。また、２５０、２５２は仮想物体であり、コンピュータグラフィックス（ＣＧ）のオブジェクトとしてポリゴンおよびテクスチャなどのデータから構成される。本実施例では、亀２５０と魚２５２を例として示している。
【００５２】
本実施例では、海底をモチーフとした複合現実空間を生成するシステムを例示しているため、現実物体や仮想物体もその趣旨に沿ったものが提示されているが、当然ながら実際にはこれに限定されるものではない。なお、仮想物体２５０、２５２は、複合現実空間の概要を示すために図１においては明示しているが、実際には複合現実空間画像生成プログラムの動作するＰＣに接続されたモニタおよびＨＭＤでしか見ることができない。
【００５３】
以上、本実施例のシステム構成および動作についての概略を、ハードウェアおよびソフトウェアの両方から説明した。
【００５４】
（ＨＭＤ）
次に、ＨＭＤ４００の構成について図２〜図４を用いて説明する。なお各図において構成要素の番号の後に「Ｒ」とつくものは観察者の右目用、「Ｌ」とつくものは左目用をそれぞれ表す。なお、特に左右を特定する必要のない場合、番号の後の「Ｒ」、「Ｌ」を省略して表記する。
【００５５】
図２はＨＭＤの基本構成を示す図であり、図３および図４はＨＭＤ４００の外観図である。図において、３２０は位置方向センサ受信機で、観察者の視点位置近傍に設けられており、後述する位置姿勢センサ発信機３１０および本体３００と共に動作し、位置センサ発信機３１０で定義されている座標軸における観察者の視点位置および姿勢を常時計測している。
【００５６】
４１０、４１４および４１５はそれぞれ表示系を構成する要素であり、カラー液晶ディスプレイ４１４が表示する画像が光学プリズム４１５によって導かれ、表示部４１０に表示される。また、４１２、４１６および４１７は撮像系を構成する要素であり、入力部４１２を介してＨＭＤの外部から入力された光が光学プリズム４１７によってＨＭＤ内部に導かれ、ＣＣＤ４１６で受光される。
【００５７】
光学プリズム４１５の出力光と光学プリズム４１７の入力光は観察者の瞳の光軸と一致しており、ＣＣＤ４１６は、観察者の視点位置および姿勢の現実空間画像を撮像し、カラー液晶ディスプレイ４１４は、ＣＣＤ４１６によって取得された現実空間画像と、位置姿勢センサ本体３００で算出される観察者の視点位置および姿勢に応じて生成された仮想空間画像とを合成した複合現実空間画像を表示する。
【００５８】
４２１〜４２５はＨＭＤ４００を頭部に装着するための構成部材である。ＨＭＤ４００を頭部に装着するには、まず、アジャスタ４２２で長さ調整部４２３を緩めた状態で頭にかぶる。そして、額装着部４２５を額に密着させてから側頭装着部４２１と後頭装着部４２４をそれぞれ側頭部と後頭部に密着させるようにアジャスタ４２２で長さ調整部４２３を絞める。また、４２６はカラー液晶ディスプレイ４１４、ＣＣＤ４１６および位置姿勢センサ受信機３２０のための電源および信号線をまとめたものである。
【００５９】
（位置姿勢センサ）
次に、位置姿勢センサにおける観察者の視点位置、姿勢の計測原理について説明する。図５に示されているように、センサ系（位置姿勢取得装置）は位置姿勢センサ本体３００、位置姿勢センサ発信機３１０および位置姿勢センサ受信機３２０により構成されている。
【００６０】
位置姿勢センサ受信機３２０および位置姿勢センサ発信機３１０は位置姿勢センサ本体３００に接続されている。位置姿勢センサ発信機３１０からは磁気信号が発信されており、位置姿勢センサ受信機３２０がこの磁気信号を受信する。位置姿勢センサ本体３００は、位置姿勢センサ受信機３２０が受信した磁気信号の強度から位置姿勢センサ受信機３２０の位置および姿勢を公知の技術を用いて算出する。
【００６１】
ここで算出された位置姿勢は位置姿勢センサ発信機３１０の座標軸に対する値であるため、算出した結果は観察者用画像処理装置に送られ、ここで座標軸２００における観察者１００の視点位置および視線方向に変換される。変換についての詳細な手順は本発明の趣旨とは外れるためここでは説明しないが、変換のためのパラメータは予め測定され、位置姿勢取得プログラムが利用できるような形で観察者用画像処理装置に記録されているものとする。
【００６２】
なお、本実施形態では位置姿勢取得装置として米国Ｐｏｌｈｅｍｕｓ社製の「ＦＡＳＴＲＡＫ」や米国Ａｓｃｅｎｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ社製の「Ｆｌｏｃｋ  ｏｆ  Ｂｉｒｄｓ」などを利用することを想定しているが、これに限定されるものではなく、他の市販されている超音波式位置姿勢センサや光学式位置姿勢センサも利用することができる。
【００６３】
位置センサ系３００、３１０および３２０を利用することで、観察者１００は視点位置および視線方向を自由に変更し、それに応じた複合現実空間画像をＨＭＤ４００を介して観察することができる。
【００６４】
次に、観察者画像処理装置、客観画像処理装置および複合現実空間管理装置の構成について詳細に説明する。
【００６５】
（観察者画像処理装置）
図５は、本実施例における観察者一人分の複合現実空間画像を生成する観察者画像処理装置システムおよびＨＭＤ４００の基本構成を示すブロック図であり、同図の構成はＰＣ１１０、ＨＭＤ４００、モニタ１４０、および位置センサ系３００、３１０、３２０に大別できる。
【００６６】
ＰＣ１１０は、キャプチャカード１３２、グラフィックカード１３０、シリアルインターフェース１２６、ＨＤＤ１２３、ＣＰＵ１２１、メモリ１２２、キーボード１２４、マウス１２５、およびネットワークインターフェース１２７により構成されている。
【００６７】
また、キャプチャカード１３２は、ＰＣ１１０とＨＭＤ４００のＣＣＤ４１６とを接続するためのインターフェースとして機能し、ＣＣＤ４１６により撮像された各フレームの現実空間の画像はキャプチャカード１３２を介してメモリ１２２に転送される。
【００６８】
さらに、グラフィックカード１３０は、ＰＣ１１０および動作するプログラムと連携して上記仮想物体の画像である３次元コンピュータグラフィックス（３ＤＣＧ）を生成し、表示する機能を有している。
【００６９】
また、ＨＤＤ１２３は、ＰＣ１１０全体の制御を行うためのプログラム（複合現実空間画像生成プログラム、位置姿勢取得プログラムなど）やデータ（複合現実空間管理情報、複合現実空間の時間経過に従った状態を記述したシナリオ、仮想空間物体の形状データ、位置姿勢の変換パラメータなど）を保存しており、これらのプログラムやデータは必要に応じてＣＰＵ１２１によりメモリ１２２にロードされる。
【００７０】
さらに、ＣＰＵ１２１は、メモリ１２２にロードされたプログラムを実行したりメモリ１２２にロードされたデータを参照することで、ＰＣ１１０の各部の制御を行う。また、ＣＰＵ１２１は、複合現実空間画像を生成したり、ＰＣ１１０全体の制御を行うことができる。なお、メモリ１２２は読み書き可能なメモリであって、ＣＰＵ１２１の実行対象であるＨＤＤ１２３からロードされたプログラムやその際に使用するデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１２１が各処理を行う際に用いるワークエリアも備えている。
【００７１】
メモリ１２２は、仮想空間画像と現実空間画像とが重畳された画像である複合現実空間画像を描画するためのエリアも勿論備えている。また、キーボード１２４およびマウス１２５はＣＰＵ１２１に対して各指示を入力するためのポインティングデバイスとして用いられる。例えば、これらポインティングデバイスは仮想物体の配置位置、仮想空間の状態設定などを入力するために用いられる。
【００７２】
上述したように、キャプチャカード１３２にはＣＣＤ４１６が接続されており、このＣＣＤ４１６は現実空間の動画像を撮像し、撮像した各フレームの画像をキャプチャカード１３２を介してメモリ１２２に出力する。
【００７３】
また、上述したようにグラフィックカード１３０にはカラーＬＣＤ４１４およびモニタ１４０が接続されており、グラフィックカード１３０により生成された３ＤＣＧを表示すると共に、それに重畳されたＣＣＤ４１６により撮像された現実空間の動画像も表示する。すなわち、これら表示手段は複合現実空間画像を表示するものである。さらに、カラーＬＣＤ４１４とモニタ１４０は、複合現実空間画像だけでなく、ＰＣ１１０を操作する際に必要な情報（システムメッセージ、システムの設定画面など）をも表示する。
【００７４】
シリアルインターフェース１２６には位置姿勢センサ本体３００が接続されている。位置姿勢センサ本体３００は、位置姿勢センサ送信機３１０と観察者が頭部に装着しているＨＭＤ４００に内蔵されている位置姿勢センサ受信機３２０とにより得られる磁気信号の強度に基づいて求めた位置姿勢センサ受信機３２０の位置および姿勢を、シリアルインターフェース１２６を介してＰＣ１１０に送る。
【００７５】
ＰＣ１１０は送られた位置姿勢センサ受信機３２０の位置姿勢を、座標軸２００における位置姿勢に変換して、その他後述するデータと共に所定のフォーマットで複合現実空間管理装置のＰＣ１１５に送信する。
【００７６】
（客観画像処理装置）
次に、客観画像処理装置について説明する。図６は本実施例における客観画像処理装置システムの基本構成を示すとともに、客観画像処理装置システムから複合現実画像を紙媒体出力するための機器との関係を示すブロック図である。なお図６において、図５に示す構成要素と同じ要素については同じ番号を付けており、その説明を省略する。
【００７７】
図６のＰＣ１１７の基本構成は図５に示すＰＣ１１０とほぼ同じであるが、シリアルインターフェース１２６にはプリンタ１７０とシャッタスイッチ１８０が接続されている点が相違する。
【００７８】
プリンタ１７０は、シャッタスイッチ１８０が押されたタイミングで、ＰＣ１１７がメモリ１２２上に展開した複合現実空間画像データを紙媒体に印刷する。
【００７９】
（複合現実空間管理装置）
次に、複合現実空間装置について説明する。図１に示すように、複合現実空間管理装置はネットワークインターフェースを有するＰＣ１４５のみで構成されている。なお、ＰＣ１４５の内部構成はＰＣ１１７とほぼ同じであるため、ここではその説明を省略する。
【００８０】
さらに、上記構成を備える客観画像処理装置、観察者画像処理装置、および複合現実空間管理装置で実行される位置姿勢取得プログラム、複合現実空間管理プログラム、および複合現実空間画像生成プログラムに基づいて行われる処理について図７〜図９のフローチャートを用いてそれぞれ詳細に説明する。なお、全てのプログラムは並列プログラミング技術の一つであるスレッドを応用して作成されており、メインプログラムとそれによって作成されるスレッドは同時に動作する。
【００８１】
また、すべての処理装置にはシステム全体における装置の通し番号（装置番号）が予め設定されている。さらに客観画像処理装置、観察者画像処理装置には、関連する現実物体（カメラ、観察者）を識別する通し番号（ＩＤ番号）、現実画像撮像用カメラ（ＨＭＤ４００、ビデオカメラ１６０など）の種別（種別番号）や光学的特性などの情報（カメラパラメータ）そして観察者の物理的形状情報（バウンダリーボックスなど）が予め設定されており、プログラムはこれらの値を参照することが可能になっている。
【００８２】
（位置姿勢取得プログラム）
まず、位置姿勢取得プログラムを実行することによって行われる処理について図７のフローチャートを用いて説明する。
【００８３】
観察者用画像処理装置におけるＰＣ１１０で位置姿勢取得プログラムが開始されると、まず位置センサ計測値受信スレッドが作成される。位置センサ計測値受信スレッドは、シリアルインターフェースを経由して位置センサ系からの計測値の受信とメインプログラムへの送信を繰り返し行う（Ｓ７５０）。
【００８４】
メインプログラムはこの計測値を受信し（Ｓ７００）、座標軸２００（世界座標系）における視点位置および姿勢に変換し（Ｓ７０２）、ネットワーク１９０を介して複合現実空間管理プログラムに送信し（Ｓ７０４）、その後操作を終了させる処理を行う（Ｓ７０６）。
【００８５】
さらに、客観画像処理装置におけるＰＣ１１７で位置姿勢取得プログラムが開始されると、観察者用画像処理装置で開始したのと同様に位置センサ計測値受信スレッドが作成される。
【００８６】
位置センサ計測値受信スレッドは、シリアルインターフェースを経由して位置センサ系からの計測値の受信を行おうとするが、客観画像処理装置には位置センサ系が接続されていないので、予めプログラムに設定されているビデオカメラ１６０の位置姿勢（固定値）を定期的にメインプログラムへ送信することを繰り返し行う（Ｓ７５０）。
【００８７】
メインプログラムはこの計測値を受信し（Ｓ７００）、座標軸２００（世界座標系）における視点位置および姿勢に変換し（Ｓ７０２）、ネットワーク１９０を介して複合現実空間管理プログラムに送信し（Ｓ７０４）、その後操作を終了させる処理を行う（Ｓ７０６）。
【００８８】
以上のようにして、全ての位置姿勢取得プログラムは観察者の視点位置姿勢もしくは固定設置カメラの視点位置姿勢を複合現実空間管理プログラムに送信する。
【００８９】
（複合現実空間管理プログラム）
次に、複合現実空間管理プログラムを実行することで行われる処理について、図８のフローチャートを用いて説明する。
【００９０】
複合現実空間管理装置におけるＰＣ１１５で複合現実空間管理プログラムが開始されると、まず位置姿勢取得スレッドが作成される。位置姿勢取得スレッドは全ての位置姿勢取得プログラムから送信される観察者の視点位置姿勢もしくはビデオカメラの視点位置姿勢（現実空間状態情報）を受信して、メインプログラムへの送信を繰り返し行う（Ｓ８５０）。
【００９１】
メインプログラムは視点位置姿勢値を受信し（Ｓ８００）、予め定められた時間ｄｔが経過するのを待った後（Ｓ８０２）、管理している仮想空間の時間をｄｔだけ進め（Ｓ８０４）、それとともに予めＨＤＤ１２３に記憶されたシナリオと経過された時間に従って、仮想空間物体の位置および姿勢と状態（仮想空間状態情報）を更新する（Ｓ８０５）。
【００９２】
続いて、仮想空間物体と現実空間物体（観察者の視点位置および姿勢）がシナリオにおいて特別な関係となっているか判断し（Ｓ８０６）、もしそうなっていればシナリオに従って仮想空間物体の位置および姿勢と状態（仮想空間状態情報）をＳ８０５と同様に再度更新する（Ｓ８０８）。以上のように更新された複合現実空間状態情報（現実空間状態情報と仮想空間状態情報）を、ネットワーク１９０を介して全ての動作している複合現実空間画像生成プログラムに送信し（Ｓ８１０）、その後操作を終了させる処理を行う（Ｓ８１２）。
【００９３】
以上のようにして、複合現実空間管理プログラムは複合現実空間情報を予め用意されたシナリオに従って統一的に管理更新して、全ての複合現実空間画像生成プログラムに送信する。
【００９４】
（複合現実空間画像生成プログラム）
次に、複合現実空間画像生成プログラムを実行することで行われる処理について、図９のフローチャートを用いて説明する。
【００９５】
観察者画像処理装置におけるＰＣ１１０で複合現実空間画像生成プログラムが開始されると、まず映像キャプチャスレッドと画像出力スレッドが作成される。
【００９６】
映像キャプチャスレッドは、ＨＭＤ４００のＣＣＤ１１６によって撮像された現実空間画像を、ビデオキャプチャカード１３２を経由して、継続的に取得してメインプログラムに送信し続ける。
【００９７】
画像出力スレッドは、シャッタスイッチ１８０の操作に応じて複合現実感画像をプリンタ１７０から出力するプログラムである。本実施例の観察者画像処理装置においてはプリンタ１７０およびシャッタスイッチ１８０が接続されていないため、画像出力スレッドは何も処理を行わない。
【００９８】
仮想空間管理プログラムから通知された複合現実空間状態を受信すると（Ｓ９０２）、受信された仮想空間物体の位置姿勢そして状態と、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータを用いて仮想空間画像を生成してメモリ１２２上に描画する（Ｓ９０４）。これを第一の方法という。
【００９９】
没入感のある複合現実空間映像を観察者に提示するため、生成される仮想空間画像が画像単体の静止画としては、実写と異なっていかにも３ＤＣＧであることが観察者にわかる程度の品質であったとしても、連続的に生成される一連の複合現実感画像が動画として観察者に認識され、仮想空間物体が現実空間物体であるかのごとく複合現実空間中を自律的に生き生きと動いているように感じさせることが重要である。したがって、ここでの仮想空間画像の生成処理では、静止画としては現実感が乏しくとも１５〜４０ｍｓｅｃ程度の短時間で処理が完了することが求められる。これが達成されるのであれば方法には特に制限はない。
【０１００】
続いて、前述した映像キャプチャスレッドから送信されてくる現実空間画像をメモリ１２２上に描画した後（Ｓ９０６）、先に生成した仮想空間画像をこれに重畳して得られた複合現実空間画像を同じくメモリ１２２上に描画する。この複合現実空間画像は、グラフィックボード１３０を経由してＨＭＤ４００とモニタ１４０に出力される（Ｓ９０８）。
【０１０１】
以上の処理を繰り返し行うことによって、連続した複合現実空間画像、すなわち複合現実空間映像を観察者に提示することが可能となる。
【０１０２】
なお、Ｓ９１０以降の処理および画像出力スレッドの処理は、プリンタ１７０およびシャッタスイッチ１８０が接続されていない観察者画像処理装置においては実行されない。よって、これらについての詳細な説明は客観視点用画像処理装置における複合現実空間画像生成プログラムの説明で行うことにする。
【０１０３】
次に、客観画像処理装置システムにおけるＰＣ１１２が複合現実空間画像生成プログラムを実行することによって行う処理について、同処理のフローチャートを示す図９を用いて説明する。
【０１０４】
客観視点用画像処理装置におけるＰＣ１１７で複合現実空間画像生成プログラムが開始されると、まず映像キャプチャスレッドと画像出力スレッドが作成される。
【０１０５】
映像キャプチャスレッドは、ビデオカメラ１６０によって撮像された現実空間画像を、ビデオキャプチャカード１３２を経由して継続的に取得してメインプログラムに送信し続ける（Ｓ９７０）。
【０１０６】
画像出力スレッドは、シャッタスイッチ１８０の操作に応じて複合現実感画像をプリンタ１７０から出力するプログラムである。画像出力スレッドはメインプログラムからシャッタイベントが発生されるまで待ち続け、それが発生されると複合現実感画像をプリンタ１７０から出力する（Ｓ９５０）。
【０１０７】
ステップＳ９０２〜Ｓ９０８およびＳ９７０の処理は、前述した観察者画像処理装置におけるＰＣ１１０の複合現実空間画像生成プログラムと同様であり、これらの処理を繰り返し行うことによって、観察者に連続した複合現実空間画像、すなわち複合現実空間映像を提示することが可能となる。ただし、客観視点用画像処理装置におけるＰＣ１１７にはプリンタ１７０およびシャッタスイッチ１８０が接続されており、以下の処理が実行される。
【０１０８】
複合現実空間画像を生成し、表示した後（Ｓ９０８）、シャッタスイッチ１８０の操作の有無を判定し（Ｓ９１０）、操作があった場合はシャッタイベントを発生し（Ｓ９１２）、その後操作を終了させる処理を行う（Ｓ９１４）。ここで、イベントとは本プログラム内で管理されるスレッドへの通信手段をいう。
【０１０９】
シャッタイベントが発生すると、画像出力スレッド（Ｓ９５０）は動作を再開し（Ｓ９５２）、受信された仮想空間物体の位置姿勢と状態と、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータを用いてプリンタ１７０に出力するための仮想空間画像を生成してメモリ１２２上に描画する（Ｓ９５４）。これを第二の方法という。
【０１１０】
ステップＳ９０４においては、静止画としては現実感が乏しくとも短時間で処理が完了するような方法で仮想空間画像の生成を行ったが、ここでは逆に、比較的時間がかかっても静止画として３ＤＣＧが実写と融合しており、現実感が豊かに感じられるような仮想空間画像を生成する（Ｓ９０４とは別の）方法で仮想物体画像の生成を行うことが必要となる。
【０１１１】
例えば、レイトレーシングやラジオシティに代表されるような光の反射による影響の計算を詳細に行う方法、数値精度のビット数を増やして計算を行う方法、仮想空間画像の縦横ピクセルサイズをプリンタ１７０の解像度とプリントサイズとの積の範囲内における任意の値で計算を行う方法などの様々な方法が考えられる。
【０１１２】
このようにして生成された仮想空間画像をＳ９０６で取得した現実空間画像と重畳する（Ｓ９５６）。ここで、前述した生成方法によって、仮想現実空間画像と現実空間画像との縦横ピクセルサイズが異なった場合には、既知の補間技術を用いてピクセルサイズの小さい画像を大きな画像のピクセルサイズになるように拡大してやればよい。そして最後に、生成された複合現実空間画像をプリンタ１７０に送信する（Ｓ９５８）。
【０１１３】
画像出力スレッドとメインプログラムは並列して動作するため、印刷出力用の複合現実空間画像の生成に時間がかかっても、ステップＳ９０２〜Ｓ９１４の処理は中断されること無く繰り返し実行され続け、モニタ１４７には複合現実空間画像の表示が行われ続ける。よって複合現実空間の体験を損ねることなく、高画質な複合現実空間画像の印刷出力を得ることが可能となる。
【０１１４】
（複合現実空間画像例）
次に、複合現実空間画像の例について説明する。図１０および図１１はそれぞれ、Ｓ９０８で合成されモニタやＨＭＤに表示される複合現実空間画像の例、およびＳ９５６で合成されプリンタ１７０から出力される複合現実空間画像のイメージ例を示す。いずれも同時刻、同視点および視線方向における複合現実画像であるが、プリンタ１７０から出力される複合現実空間画像はより現実物体と融合感のある高品質な画像であることが分かる。
【０１１５】
以上の説明により、本実施形態におけるシステムによって、観察者が複合現実空間を体験している様子を撮像した複合現実空間画像を、システムの性能に影響なく高品質で紙媒体やＯＨＰなどの記録媒体に出力できることが理解される。
【０１１６】
なお、本実施例では、表示用の仮想空間画像の生成、印刷出力用の仮想空間画像を生成のための生成方法を夫々別のものを使うことで印刷出力の高品質を実現したが、表示用と印刷出力用に夫々別のデータを使うことで印刷出力の高品質化を実現しても勿論よい。
【０１１７】
具体的には、同じ仮想物体に対してポリゴン数の多いモデルデータやテクスチャデータがより詳細なデータをＨＤＤ１２３に予め格納しておき、それをＳ９０６とＳ９５４での処理において切り替えて利用することで同様の効果を得られるようにしてもよい。さらには、生成方法とデータの両方を併用して高品質化を行ってもよい。
【実施例２】
【０１１８】
本実施例では、撮像装置から見て仮想空間物体が観察者の上に重畳した場合に、その仮想空間物体を複合現実空間から除去して複合現実空間画像を生成する場合について説明する。
【０１１９】
（位置姿勢取得プログラム）
まず、位置姿勢取得プログラムを観察者用画像処理装置、客観画像処理装置で実行することで行われる処理について、図１２のフローチャートを用いて説明する。
【０１２０】
観察者用画像処理装置におけるＰＣ１１０で位置姿勢取得プログラムが開始されると、まず位置センサ計測値受信スレッドが作成される。
【０１２１】
位置センサ計測値受信スレッドはシリアルインターフェースを経由して位置センサ系からの計測値の受信とメインプログラムへの送信を繰り返し行う（Ｓ１７５０）。メインプログラムはこの計測値を受信し（Ｓ１７００）、それを座標軸２００（世界座標系）における視点位置および姿勢に変換する（Ｓ１７０２）。変換値は、物体種別番号、装置番号、ＩＤ番号、種別番号、付加情報とともに、メモリ１２２に作成される複合現実物体テーブル（撮像装置情報）のひとつのエントリとして記憶される（Ｓ１７０６）。
【０１２２】
図２０は複合現実物体テーブルを示す図である。複合現実物体テーブルは複数のエントリからなり、一つ一つのエントリは物体種別番号、装置番号、ＩＤ番号、種別番号、位置および姿勢、付加情報の６つのフィールドで構成される。
【０１２３】
ステップＳ１７０６で追加されるエントリの具体的な内容を図２１に示す。物体種別番号は現実物体を現す「０」となる。装置番号、ＩＤ番号はＰＣ１１０に予め設定されている値が読み出されて記憶される。種別番号は観察者用カメラを現す「０」となる。続いて、Ｓ１７０２で変換された観察者の右目における視点位置および視線方向が記憶される。そして最後に付加情報が続く。付加情報とは物体種別番号、種別番号に応じた特別の情報で、観察者用カメラの場合は現実画像撮像用カメラの撮像可能範囲を定義する視錐台を構成する値（カメラパラメータ）が記憶される。具体的には、図１７におけるθ、ｆａｒ、ｎｅａｒ、ｗ、ｈなどの値である。
【０１２４】
次に、種別番号が観察者用カメラであるか調べ（Ｓ１７１０）、観察者用カメラである場合は、先に計算された観察者の視点位置および視線方向から観察者の中心位置および姿勢を計算する（Ｓ１７１２）。ここで、観察者の中心位置とは任意に設定される位置である。例えば頭部の中心付近でもよいし、鳩尾付近でもよい。観察者の中心位置が求まったら、その他のデータと共に複合現実物体テーブルのひとつのエントリとして記憶される（Ｓ１７１４）。
【０１２５】
ここで作成されるエントリの具体的な内容を図２２に示す。物体種別番号は現実物体を現す「０」となる。装置番号、ＩＤ番号はＰＣ１１０に予め設定されている値が読み出されて記憶される。種別番号は観察者自身を現す「２」となる。続いて、Ｓ１７１２で計算された観察者の中心位置および姿勢が記憶される。そして最後に付加情報が続く。観察者の場合は観察者形状情報となる。具体的には、図１８にあるように観察者１００自身がすっぽりと入る円柱の半径ｒ、高さｈが記憶される。この円柱の中心Ｐは前述した観察者の中心位置であり、これらの情報によって複合現実空間中で観察者が仮想物体に接触しているかどうかが判定される。
【０１２６】
以上のようにして複合現実感テーブルが作成される。そしてこのようにして作成された複合現実物体テーブルを、ネットワーク１９０を介して複合現実空間管理プログラムに送信する（Ｓ１７１６）。以上の処理を繰り返し行い、その後操作を終了させる処理を行う（Ｓ１７１８）。
【０１２７】
また、客観画像処理装置におけるＰＣ１１７で位置姿勢取得プログラムが開始されると、観察者用画像処理装置で開始したのと同様に位置センサ計測値受信スレッドが作成される。
【０１２８】
位置センサ計測値受信スレッドは、シリアルインターフェースを経由して位置センサ系からの計測値の受信を行おうとするが、客観画像処理装置には位置センサ系が接続されていないので、ビデオカメラ１６０の位置姿勢を定期的にメインプログラムへ送信することを繰り返し行う（Ｓ１７５０）。この値は予め処理装置で設定されている固定値である。
【０１２９】
以後、観察者用画像処理装置における位置姿勢取得プログラムの動作と同様の手順で図２０に示される複合現実物体テーブルが作成される。
【０１３０】
ここで作成されるエントリの具体的な内容を図２３に示す。物体種別番号は現実物体を現す「０」となる。装置番号、ＩＤ番号はＰＣ１１０に予め設定されている値が読み出されて記憶される。種別番号は客観用カメラを現す「１」となる。続いてＳ１７０２で変換されたビデオカメラ１６０における視点位置および視線方向が記憶される。そして最後に付加情報が続く。観察者用カメラの場合と同様に視錐台を構成する値が記憶される。
【０１３１】
このようにして作成された複合現実物体テーブルを、ネットワーク１９０を介して複合現実空間管理プログラムに送信する（Ｓ１７１６）。以上の処理を繰り返し行う。なお、ステップＳ１７１２およびＳ１７１４の処理は種別番号が客観用カメラであるため、実行されない。
【０１３２】
以上のようにして、全ての位置姿勢取得プログラムは、複合現実物体テーブルの形で、撮像装置情報を複合現実空間管理プログラムに送信する。
【０１３３】
（複合現実空間管理プログラム）
次に、複合現実空間管理プログラムを実行することで行われる処理について、図１３のフローチャートを用いて説明する。
【０１３４】
複合現実空間管理装置におけるＰＣ１１５で複合現実空間管理プログラムが開始されると、まず撮像装置情報取得スレッドが作成される。
【０１３５】
撮像装置情報取得スレッドは全ての位置姿勢取得プログラムから送信される複合現実物体テーブル（撮像装置情報）を受信して、メインプログラムへの送信を繰り返し行う（Ｓ１８５０）。
【０１３６】
メインプログラムは複合現実物体テーブルを受信し（Ｓ１８００）、予め定められた時間ｄｔが経過するのを待った後（Ｓ１８０６）、本プログラムが保持している複合現実物体テーブルの現実物体エントリ（物体種別番号が０のエントリ）について、先に受信した複合現実物体テーブルで更新を行う（Ｓ１８０８）。
【０１３７】
次に、管理している仮想空間の時間をｄｔだけ進め（Ｓ１８１０）、それとともに予めＨＤＤ１２３に記憶されたシナリオを経過時間にしたがって進行させるとともに、全ての仮想空間物体の位置および姿勢と状態を更新する。続いて、これらの更新された仮想空間物体情報で、本プログラムが保持している複合現実物体テーブル内の仮想物体エントリ（物体種別番号が１のエントリ）について更新を行う（Ｓ１８１２）。
【０１３８】
更新されるエントリの具体的な内容を図２４に示す。物体種別番号は仮想物体を現す「１」となる。装置番号はＰＣ１１５に予め設定されている値が読み出されて記憶される。ＩＤ番号は本プログラムが管理している仮想空間物体の通し番号である。種別番号は本プログラムが管理している仮想空間物体の種類を現す番号である。ここでは例としてサメを「０」、亀を「１」としている。位置および姿勢は、この仮想空間物体の中心位置および方向を現している。付加情報はこの仮想空間物体を表現するための情報が格納される。例えば仮想空間物体を表現するためのテクスチャデータ番号、仮想物体のステータスを表すデータであり、シナリオに応じて設定されているものとする。また、仮想物体が複合現実空間中で接触したかどうかを調べるための仮想物体自身がすっぽりと入る円柱の半径ｒ’、高さｈ’もここに記憶される。前述した観察者と同様、円柱の中心は仮想物体の中心位置である。
【０１３９】
続いて、仮想空間物体と現実空間物体（観察者の視点位置および姿勢）がシナリオにおいて特別な関係となっているか判断し（Ｓ１８１４）、もしそうなっていればシナリオに従って仮想空間物体の位置および姿勢と状態（仮想空間状態情報）をＳ１８１２と同様に再度更新する（Ｓ１８１６）。この特別な状態とは例えば複合現実空間における仮想空間物体と現実物体（観察者）との衝突などをいう。
【０１４０】
以上のようにして複合現実空間の更新処理が実現される。
【０１４１】
続いて、撮像装置と観察者の間に仮想空間物体が存在する（重畳発生している）か否かを調べる処理が実行される。
【０１４２】
重畳発生を示す情報として、本実施例では図２５に示される物体関係テーブルを用いる。このテーブルにエントリが存在する場合、それは重畳が発生していることを表している。物体関係テーブルのエントリは図２５に示されるように、客観カメラあるいは観察者カメラが接続されている装置の装置番号、客観カメラあるいは観察者カメラのＩＤ番号、観察者のＩＤ番号、仮想物体ＩＤ番号の４つのフィールドで構成されている。
【０１４３】
図２６は具体的な物体関係テーブルのエントリの例を示している。図２６における物体関係テーブルのエントリは、複合現実空間において、装置番号１でＩＤ番号１のカメラと、ＩＤ番号２の観察者との間にＩＤ番号６の仮想物体が存在していることを示している。
【０１４４】
まず、本プログラムが保持している物体関係テーブルを消去して、重畳発生を調べる準備を行う（Ｓ１８２８）。
【０１４５】
次に、撮像装置が撮影する画像中に観察者が写っているかどうかを検出する。具体的には、前処理によって作成された複合現実物体テーブルのエントリから撮像装置エントリ（物体種別番号「１」、種別番号「０」または「１」であるエントリ）と、観察者エントリ（物体種別番号「１」、種別番号「２」であるエントリ）の全ての組み合わせを抽出し（Ｓ１８３０、Ｓ１８３２）、複合現実空間における撮像装置の視錐台と観察者が交差していないかを調べる（Ｓ１８３４）。なお、観察者は前述したように観察者中心位置と観察者エントリの付加情報から決定される円柱であるものとみなして計算が行われる。
【０１４６】
もし、撮像装置の視錐台と観察者が交差している場合、続いて複合現実空間中においてこの撮像装置とこの観察者の間に仮想物体が存在しないかを調べる（Ｓ１８３６）。具体的には、前処理によって作成された複合現実物体テーブルのエントリから仮想物体エントリ（物体種別番号「０」であるエントリ）を抽出し、抽出された全ての仮想物体について、図１９で示されるようなＡＢＣＤを底面とする錐体Ｅ−ＡＢＣＤとが交差していないか調べる（Ｓ１８３８）。ここで、ＡＢＣＤは撮像装置の位置Ｅと観察者中心Ｐを通る直線を垂線とし、円柱と（接点Ｑで）接する平面ｍに対して、観察者エントリの情報から作られる半径ｒ、高さｈの円柱を、撮像装置の位置から写像した図形である。
【０１４７】
交差している仮想物体が存在した場合は、仮想物体中心と平面ｍとの距離と線分ＰＮとを比較する。そして両者を比較し、ＰＮのほうが小さい場合、撮像装置から見た観察者がこの仮想物体により覆い隠されている（重畳発生）と判断する。重畳発生と判断された場合、撮像装置エントリの装置番号、ＩＤ番号、観察者エントリのＩＤ番号、仮想物体エントリのＩＤ番号から物体関係エントリを作成し、物体関係テーブルに追加する（Ｓ１８４０）。なお、ステップＳ１８３６、Ｓ１８３２およびＳ１８３０における処理を繰り返し、全ての撮像装置について上述の処理を行う（Ｓ１８４２、Ｓ１８４４、Ｓ１８４６）。
【０１４８】
作成された物体関係テーブルは複合現実物体テーブルとともに複合現実空間情報として、ネットワーク１９０を介して複合現実空間管理プログラムに送信される（Ｓ１８４８）。以上の一連の処理を繰り返し行い、その後操作を終了させる処理を行う（Ｓ１８４９）。
【０１４９】
このようにして、複合現実空間管理プログラムは複合現実空間情報を予め用意されたシナリオに従って統一的に管理更新して、全ての複合現実空間画像生成プログラムに送信する。
【０１５０】
（複合現実空間画像生成プログラム）
次に、複合現実空間画像生成プログラムを実行することで行われる処理について、図１４のフローチャートを用いて説明する。
【０１５１】
観察者画像処理装置におけるＰＣ１１０で複合現実空間画像生成プログラムが開始されると、まず映像キャプチャスレッドと画像出力スレッドが作成される。
【０１５２】
映像キャプチャスレッドは、ＨＭＤ４００のＣＣＤ１１６によって撮像された現実空間画像を、ビデオキャプチャカード１３２を経由して、継続的に取得してメインプログラムに送信し続ける。
【０１５３】
画像出力スレッドは、シャッタスイッチ１８０の操作に応じて複合現実感画像をプリンタ１７０から出力するプログラムである。本実施例における観察者画像処理装置においては、プリンタ１７０およびシャッタスイッチ１８０が接続されていないため、画像出力スレッドは何も処理を行わない。
【０１５４】
仮想空間管理プログラムから通知された複合現実空間状態を受信すると（Ｓ１９０２）、受信された複合現実物体テーブルから仮想空間物体の位置姿勢そして状態を抽出し、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータを用いて仮想空間画像を生成してメモリ１２２上に描画する（Ｓ１９０４）。
【０１５５】
没入感のある複合現実空間映像を観察者に提示するため、生成される仮想空間画像が画像単体の静止画としては、実写と異なっていかにも３ＤＣＧであることが観察者にわかる程度の品質であったとしても、連続的に生成される一連の複合現実感画像が動画として観察者に認識され、仮想空間物体が現実空間物体であるかのごとく複合現実空間中を自律的に生き生きと動いているように感じさせることが重要である。したがって、ここでの仮想空間画像の生成処理では静止画としては現実感が乏しくとも１５〜４０ｍｓｅｃ程度の短時間で処理が完了することが求められる。これが達成されるのであれば、方法には特に制限はない。
【０１５６】
続いて、前述した映像キャプチャスレッドから送信されてくる現実空間画像（Ｓ１９７０）をメモリ１２２上に描画した後（Ｓ１９０６）、これに先に生成した仮想空間画像を重畳した複合現実空間画像を同じくメモリ１２２上に描画する。この複合現実空間画像はグラフィックボード１３０を経由してＨＭＤ４００とモニタ１４０に出力される（Ｓ１９０８）。
【０１５７】
以上の処理を繰り返し行うことによって、連続した複合現実空間画像、すなわち複合現実空間映像を観察者に提示することが可能となる。なおＳ１９１０以降の処理および画像出力スレッドの処理は、プリンタ１７０およびシャッタスイッチ１８０が接続されていない観察者画像処理装置においては実行されない。よって、それらの詳細な説明は客観視点用画像処理装置における複合現実空間画像生成プログラムの説明で行うことにする。
【０１５８】
次に、客観画像処理装置システムにおけるＰＣ１１２が複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図１４を用いて説明する。
【０１５９】
客観視点用画像処理装置におけるＰＣ１１７で複合現実空間画像生成プログラムが開始されると、まず映像キャプチャスレッドと画像出力スレッドが作成される。
【０１６０】
映像キャプチャスレッドは、ビデオカメラ１６０によって撮像された現実空間画像を、ビデオキャプチャカード１３２を経由して、継続的に取得してメインプログラムに送信し続ける。
【０１６１】
画像出力スレッドはシャッタスイッチ１８０の操作に応じて複合現実感画像をプリンタ１７０から出力するプログラムである。画像出力スレッドはメインプログラムからシャッタイベントが発生されるまで待ち続け、発生されると複合現実感画像をプリンタ１７０から出力する。
【０１６２】
なお、ステップＳ１９０２、Ｓ１９０４、Ｓ１９０６、Ｓ１９０８およびＳ１９７０の処理は、前述した図９の観察者画像処理装置におけるＰＣ１１０の複合現実空間画像生成プログラムにおけるステップＳ９０２、Ｓ９０４、Ｓ９０６、Ｓ９０８およびＳ９７０とそれぞれ同様であり、これらの処理を繰り返し行うことによって、観察者に連続した複合現実空間画像、すなわち複合現実空間映像を提示することが可能となる。ただし、客観視点用画像処理装置におけるＰＣ１１７にはプリンタ１７０、シャッタスイッチ１８０が接続されており以下の処理が実行される。
【０１６３】
複合現実空間画像を生成し表示した後（Ｓ１９０８）、シャッタスイッチ１８０の操作の有無を判定し（Ｓ１９１０）、操作があった場合にはシャッタイベントを発生する（Ｓ１９１２）。ここで、イベントとは本プログラム内で管理されるスレッドへの通信手段をいう。
【０１６４】
シャッタイベントが発生すると、画像出力スレッド（Ｓ１９５０）は動作を再開し（Ｓ１９５２）、受信された物体関係テーブルの全てのエントリについて以下の処理を行う。
【０１６５】
本プログラムが動作している処理装置の装置番号と、エントリの第１フィールドとを比較し、もし同じであった場合（すなわち本プログラムが動作している処理装置に接続されている撮像装置が撮影した画像中の観察者について、重畳が発生している場合）はこのエントリに記載されている仮想空間物体を仮想空間から除外する（Ｓ１９５４、Ｓ１９５６、Ｓ１９５８）。具体的には、受信した複合現実物体テーブルから同じＩＤ番号を持つ仮想空間物体エントリを削除する。
【０１６６】
以上のように処理した後、複合現実物体テーブルから仮想空間物体の位置姿勢そして状態を抽出し（Ｓ１９５９）、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータを用いてプリンタ１７０に出力するための仮想空間画像を生成してメモリ１２２上に描画する（Ｓ１９６０）。このようにして生成された仮想空間画像をＳ１９０６で取得した現実空間画像と重畳する（Ｓ１９６２）。ここで、前述した生成方法によって仮想現実空間画像と現実空間画像との縦横ピクセルサイズが異なることとなった場合は、既知の補間技術を用いてピクセルサイズの小さい画像を大きな画像のピクセルサイズになるように拡大してやればよい。そして、最終的に生成された複合現実空間画像をプリンタ１７０に送信する（Ｓ１９６４）。
【０１６７】
なお、複合現実空間画像を生成し表示した後（Ｓ１９０８）、シャッタスイッチ１８０の操作の有無を判定し（Ｓ１９１０）、操作があった場合にはシャッタイベントを発生し（Ｓ１９１２）、その後操作を終了させる処理を行う（Ｓ１９１４）。
【０１６８】
（複合現実空間画像例）
次に、本実施例における複合現実空間の例について説明する。図１５および図１６は、Ｓ１９０８で合成されモニタやＨＭＤに表示される複合現実空間画像の例と、Ｓ１９６４で合成されプリンタ１７０から出力される複合現実空間画像のイメージ例をそれぞれ示す図である。なお理解を容易にするため円柱を図示したが、これは実際の出力画像には表示されない。
【０１６９】
いずれも同時刻、同視点および視線方向における複合現実画像であるが、プリンタ１７０から出力される複合現実空間画像では観察者の前を覆ってしまう仮想物体が存在せず、観察者の顔がはっきりと確認できる画像となっている。
【０１７０】
以上の説明により、本実施形態におけるシステムによって、観察者が複合現実空間を体験している様子を写した複合現実空間画像において、不意に撮像装置前を横切った仮想物体で観察者が覆い隠されてしまうのを防げることが理解される。また、システムの性能に影響なく、高品質で紙媒体やＯＨＰなどの記録媒体に出力できることが理解される。
【０１７１】
なお本実施例では、観察者と仮想物体の接触判定に円柱という単純な立体を用いて計算を行ったが、処理装置の能力が高ければより複雑な形状を定義して接触判定してもよい。また観察者の中心位置や円柱の半径ｒ、高さｈを自由に設定することで、観察者の頭部（顔）だけ仮想物体で覆われないように運用してもよい。
【０１７２】
なお、画像出力スレッドとメインプログラムは並列して動作するため、印刷出力用の複合現実空間画像の生成に時間がかかっても、ステップＳ１９０２〜Ｓ１９１４の処理は中断されること無く繰り返し実行され続け、モニタ１４７には複合現実空間画像の表示が行われ続ける。これによって、複合現実空間の体験を損ねることなく、高画質な複合現実空間画像の印刷出力を得ることが可能となる。
【実施例３】
【０１７３】
実施例３は、実施例２では撮像装置から見て仮想空間物体が観察者の上に重畳した場合に、その仮想空間物体を複合現実空間から除去して複合現実空間画像を生成するのに対し、重畳しない位置に仮想空間物体を移動して複合現実空間画像を生成する場合を示している。なお、基本構成は実施例２に準じ、処理の流れは複合現実空間管理プログラム、複合現実空間管理プログラムにおける一部の処理以外はほぼ実施例２と同一である。
【０１７４】
実施例３における複合現実空間管理プログラムの処理の流れを図２７のフローチャートに示す。ここで、図２７で示される「’」がついたステップ番号は、実施例２における同様のプログラム処理の流れを示す図１３における同じステップ番号のステップの処理と同じ処理を行うステップである。なお、図２７が図１３と異なる点は、Ｓ１８３９の処理のみである。
【０１７５】
ステップＳ１８３９は、撮像装置から見た観察者がこの仮想物体により覆い隠されている（重畳発生）と判断された場合に実行される処理を行う。重畳発生と判定する基準は実施例２同様に、撮像装置の視錐台と観察者が交差していて、図１９で示されるようなＡＢＣＤを底面とする錐体Ｅ−ＡＢＣＤと仮想物体が交差しており、線分ＰＮが仮想物体中心と平面ｍとの距離よりも小さかった場合となる。
【０１７６】
重畳発生と判断された場合、重畳が発生しない仮想物体の位置を計算し（Ｓ１８３９）、撮像装置エントリの装置番号、ＩＤ番号、観察者エントリのＩＤ番号、仮想物体エントリのＩＤ番号、計算された仮想物体位置から物体関係エントリを作成し、物体関係テーブルに追加する（Ｓ１８４０’）。なお物体関係テーブルは、図２９で示されるように実施例２から、重畳が発生しない仮想物体位置を記録するフィールドが追加されている。
【０１７７】
ステップＳ１８３９での計算について具体的に説明する。まず、重畳発生している仮想物体の中心Ｐ’を通り、錐体Ｅ−ＡＢＣＤの４つの側面（△ＥＡＢ、△ＥＢＣ、△ＥＣＤ、△ＥＤＡ）が乗っている平面への垂線ｎ１、ｎ２、ｎ３、ｎ４と、これら垂線と各面との交点Ｑ１、Ｑ２、Ｑ３、Ｑ４を求める。そして４つの交点のうち仮想物体中心Ｐ’との距離が最小となるものを求め、この交点が存在する側面を面ｍ’、垂線をｎ’とする。そして垂線ｎ’上の点で、錐体の外側にあって面ｍ’からの距離が
【０１７８】
【数１】
2005100134.tif 000003
【０１７９】
となる点Ｐ’’をこの仮想物体の中心とする。
【０１８０】
ここで実施例２と同様にｈ’は仮想物体を囲う円柱の高さ、ｒ’は仮想物体を囲う円柱の底面半径で、複合現実物体テーブルにおけるこの仮想物体を示すエントリの付加情報に記録されている。θは垂線ｎ’と、仮想物体を囲う円柱の高さ方向の線分が作る角である。なお角θの範囲は０〜１８０°である。この点Ｐ’’を新たに仮想物体の中心とすると、仮想物体は錐体の外側で面ｍ’に接するように位置するようになる。
【０１８１】
以上のようにして、重畳が発生した場合、重畳が発生しないような仮想空間物体の位置を計算し、物体関係テーブルとして複合現実空間画像生成プログラムに送信する。
【０１８２】
次に、実施例３において客観画像処理装置システムにおけるＰＣ１１２が複合現実空間画像生成プログラムを実行することで行う処理の流れを図２８のフローチャートに示す。ここで、図２８で示される「’」がついたステップ番号は、実施例２における同様のプログラム処理の流れを示す図１４における同じステップ番号のステップの処理と同じ処理を行うステップである。なお、図２８が図１４と異なる点は、Ｓ１９５７の処理のみである。
【０１８３】
複合現実空間画像の生成、表示後、シャッタイベントが発生すると、画像出力スレッドは、受信された物体関係テーブルの全てのエントリについて以下の処理を行う。
【０１８４】
本プログラムが動作している処理装置の装置番号と、物体関係テーブルエントリの第１フィールドとを比較し、もし同じであった場合（すなわち本プログラムが動作している処理装置に接続されている撮像装置が撮影した画像中の観察者について、重畳が発生している場合）はこの物体関係テーブルエントリに記載されている仮想空間物体を、複合現実物体テーブルから見つけ、その複合現実物体テーブルエントリに記憶されている仮想物体の位置を物体関係テーブルエントリの第５フィールドに記憶されている値で更新する（Ｓ１９５７）。
【０１８５】
以上のように処理した後、複合現実物体テーブルから仮想空間物体の位置姿勢そして状態を抽出し、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータを用いてプリンタ１７０に出力するための仮想空間画像を生成してメモリ１２２上に描画する（Ｓ１９６０’）。
【０１８６】
（複合現実空間画像例）
次に、複合現実空間画像の例について説明する。図３０および図３１は、Ｓ１９０８’で合成されモニタやＨＭＤに表示される複合現実空間画像の例と、Ｓ１９６０’で合成されプリンタ１７０から出力される複合現実空間画像のイメージ例をそれぞれ示す図である。なお理解を容易にするため円柱を図示したが、これは実際の出力画像には表示されない。
【０１８７】
いずれも同時刻、同視点および視線方向における複合現実画像であるが、プリンタ１７０から出力される複合現実空間画像では観察者の前を覆ってしまう仮想物体が別の位置に移動しており、観察者の顔がはっきりと確認できる画像となっていることが分かる。
【０１８８】
以上の説明により、本実施例におけるシステムによって、観察者が複合現実空間を体験している様子を写した複合現実空間画像において、不意に撮像装置前を横切った仮想物体で観察者が覆い隠されてしまうことを防ぐことが可能となる。またシステムの性能に影響なく、高品質で紙媒体やＯＨＰなどの記録媒体に出力することが可能となる。
【図面の簡単な説明】
【０１８９】
【図１】複合現実感装置の構成図である。
【図２】表示装置（ＨＭＤ）の構成図である。
【図３】表示装置（ＨＭＤ）の構成図である。
【図４】表示装置（ＨＭＤ）の構成図である。
【図５】観察者複合現実空間画像処理装置の構成図である。
【図６】客観複合現実空間画像処理装置の構成図である。
【図７】位置姿勢取得プログラムのフローチャートである。
【図８】複合現実空間管理プログラムのフローチャートである。
【図９】複合現実空間画像生成プログラムのフローチャートである。
【図１０】複合現実画像の表示画面におけるイメージの例を示す図である。
【図１１】複合現実画像の紙媒体出力におけるイメージの例を示す図である。
【図１２】実施例２における位置姿勢取得プログラムのフローチャートである。
【図１３】実施例２における複合現実空間管理プログラムのフローチャートである。
【図１４】実施例２における複合現実空間画像生成プログラムのフローチャートである。
【図１５】実施例２における複合現実画像の表示画面のイメージの例を示す図である。
【図１６】実施例２における複合現実画像の紙媒体出力のイメージの例を示す図である。
【図１７】視錐台の例を示す図である。
【図１８】複合現実空間における観察者形状の例を示す図である。
【図１９】判定領域を示す図である。
【図２０】複合現実物体テーブルのフォーマット例を示す図である。
【図２１】複合現実物体テーブルのエントリ例１を示す図である。
【図２２】複合現実物体テーブルのエントリ例２を示す図である。
【図２３】複合現実物体テーブルのエントリ例３を示す図である。
【図２４】複合現実物体テーブルのエントリ例４を示す図である。
【図２５】実施例２における物体関係テーブルのフォーマット図である。
【図２６】実施例２における物体関係テーブルのエントリ例を示す図である。
【図２７】実施例３における複合現実空間管理プログラムのフローチャートである。
【図２８】実施例３における複合現実空間画像生成プログラムのフローチャートである。
【図２９】実施例３における物体関係テーブルのフォーマット図である。
【図３０】実施例３における複合現実画像の表示画面のイメージ例を示す図である。
【図３１】実施例３における複合現実画像の紙媒体出力のイメージ例を示す図である。
【図１】
2005100134.tif 000004
【図２】
2005100134.tif 000005
【図３】
2005100134.tif 000006
【図４】
2005100134.tif 000007
【図５】
2005100134.tif 000008
【図６】
2005100134.tif 000009
【図７】
2005100134.tif 000010
【図８】
2005100134.tif 000011
【図９】
2005100134.tif 000012
【図１０】
2005100134.tif 000013
【図１１】
2005100134.tif 000014
【図１２】
2005100134.tif 000015
【図１３】
2005100134.tif 000016
【図１４】
2005100134.tif 000017
【図１５】
2005100134.tif 000018
【図１６】
2005100134.tif 000019
【図１７】
2005100134.tif 000020
【図１８】
2005100134.tif 000021
【図１９】
2005100134.tif 000022
【図２０】
2005100134.tif 000023
【図２１】
2005100134.tif 000024
【図２２】
2005100134.tif 000025
【図２３】
2005100134.tif 000026
【図２４】
2005100134.tif 000027
【図２５】
2005100134.tif 000028
【図２６】
2005100134.tif 000029
【図２７】
2005100134.tif 000030
【図２８】
2005100134.tif 000031
【図２９】
2005100134.tif 000032
【図３０】
2005100134.tif 000033
【図３１】
2005100134.tif 000034