(57)【要約】【課題】  現実空間画像と仮想空間画像との合成画像を提供するシステムにおける障害を簡便な方法で検出し、検出した障害を報知する為の技術を提供すること。【解決手段】  障害監視装置３００は、撮像画像の部分領域、若しくは全体領域のデータを複合現実感提示装置から取得する。そして取得したデータと、このデータの直前に取得したデータと、を用いて、複合現実感提示装置における障害の有無を判断する。係る判断結果が、障害有りである場合には、障害有りの旨を報知する。【選択図】  図３
2009115851.tif 000002
【特許請求の範囲】
【請求項１】
観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置であって、
前記撮像画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得手段と、
前記データと、前記データの直前に前記取得手段が取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断手段と、
前記判断手段による判断結果が、障害有りである場合には、障害有りの旨を報知する報知手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記判断手段は、
前記仮想空間に対する操作入力が前記仮想空間画像の生成処理に与える処理負荷として前記提示装置が推定した処理負荷が予め定めた閾値以上である旨を前記提示装置から通知された回数をカウントする手段を備え、
前記回数が予め定めた閾値を越えている場合には、前記提示装置には障害有りと判断することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判断手段は、
前記仮想空間に対する操作入力が前記仮想空間画像の生成処理に与える処理負荷として前記提示装置が推定した処理負荷が予め定めた閾値未満である旨を前記提示装置から通知された場合、前記取得手段が取得した第１のデータと、当該第１のデータの直前に前記取得手段が取得した第２のデータとが、同じ画素値を示すデータであるか否かを判断する手段と、
前記第１のデータが、白画素、黒画素の何れかの画素の画素値を示すデータであるか否かを判断する手段と、
前記第１のデータと前記第２のデータとが同じ画素値を示すデータであり、且つ前記第１のデータが白画素、黒画素の何れの画素の画素値をも示していない、と判断された回数が予め定められた回数以上となった場合には、前記提示装置には障害有りと判断する手段と
を備えることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記判断手段は、
前記第１のデータと前記第２のデータとが同じ画素値を示すデータであり、且つ前記第１のデータが白画素、黒画素の何れの画素の画素値を示している、と判断された回数が予め定められた回数以上となった場合には、前記提示装置には障害有りと判断することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置であって、
前記合成画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得手段と、
前記データと、前記データの直前に前記取得手段が取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断手段と、
前記判断手段による判断結果が、障害有りである場合には、障害有りの旨を報知する報知手段と
を備えることを特徴とする情報処理装置。
【請求項６】
観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置が行う情報処理方法であって、
前記撮像画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得工程と、
前記データと、前記データの直前に前記取得工程で取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断工程と、
前記判断工程での判断結果が、障害有りである場合には、障害有りの旨を報知する報知工程と
を備えることを特徴とする情報処理方法。
【請求項７】
観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置が行う情報処理方法であって、
前記合成画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得工程と、
前記データと、前記データの直前に前記取得工程で取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断工程と、
前記判断工程での判断結果が、障害有りである場合には、障害有りの旨を報知する報知工程と
を備えることを特徴とする情報処理方法。
【請求項８】
コンピュータに請求項６また７に記載の情報処理方法を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実空間を体感させる為のシステムの管理技術に関するものである。
【背景技術】
【０００２】
従来より、現実世界の映像と三次元モデリングされたCGによる映像とを重畳して表示し、あたかも現実世界にCGで描かれた物体（仮想物体）が存在しているかのように見せる複合現実感(MR : Mixed Reality)提示システムが存在する。
【０００３】
係るシステムは、現実世界の映像を撮影するための現実映像撮影部と、現実映像撮影部の位置姿勢から見たCG映像を作り出すCG映像生成部と、それぞれの映像を合成して表示する映像表示部とからなる。更に係るシステムは、現実映像撮影部の視点の位置姿勢が変わった場合でもCG映像と現実世界の映像との位置関係を正しく表示する為に、現実映像撮影部の視点の位置姿勢を検出する為の視点位置姿勢検出部（例えば位置姿勢センサ）を備える。
【０００４】
現実空間の映像を撮影する現実映像撮影部は、たとえばビデオカメラであり、自身の視線方向における現実世界の映像を撮影し、撮影した現実世界の映像をメモリ中にキャプチャする。
【０００５】
CG映像生成部は、三次元モデリングされたCGを、現実世界と同じスケールの仮想空間に配置し、視点位置姿勢検出部によって検出された視点の位置姿勢から観察されたものとして仮想シーンをレンダリングする。
【０００６】
このようにして生成されたCG映像と現実映像撮影部によって撮影された現実世界の映像とを合成すると、結果として、どのような位置姿勢の視点から観察した場合でも、現実世界の中にＣＧが配置されているような映像を表示することができる。ＣＧのデータの読み込み、ＣＧの配置の変更、アニメーション等は、一般的なＣＧ表示システムと同様の手法を用いて行うことができる。
【０００７】
現実世界の映像とCG映像とを合成して表示する映像表示装置には、例えばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用い、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、且つその方向を向いたときのCG映像の描画も行えるため、観察者の没入感を高めることができる。
【０００８】
複合現実感提示システムにおける映像表示装置とは、上記のような映像表示装置に、現実世界の映像とＣＧ映像とを合成した画像（ＭＲ画像）を表示するものである。
【０００９】
視点位置姿勢検出部としては、例えば磁気方式の位置姿勢センサ等が用いられる。そのような位置姿勢センサを上記現実映像撮影部であるところのビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付けることで、視点の位置姿勢を検出することができる。
【００１０】
また、ＣＧの位置を指定するためにさらなる位置姿勢センサを設け、位置姿勢センサによる計測値によって示される位置にＣＧを描画することも可能である。
【００１１】
上記の構成により、観察者はＨＭＤ等の映像表示装置を通じて、現実世界の映像とCG映像とが合成されたＭＲ画像を観察することができる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影部（ビデオカメラ）が現実世界の映像を撮影し、ＨＭＤに備え付けられた視点位置姿勢検出部（位置姿勢センサ）がビデオカメラの位置や視線方向を検出する。そして、CG映像生成部がビデオカメラから見たCG映像をレンダリングし、これを現実世界の映像に合成して表示することが可能である。
【００１２】
観察者の数は一人に限定されず、仮想シーンの情報を共有することにより複数の観察者が同じシーンを観察することも可能である。このように、複数人が同じ仮想空間を共有し、協調して作業を行う複合現実感提示システムの例として、特許文献１にはゲームが開示されている。
【特許文献１】特開平１１−８８９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
従来の方法によると、システムに障害が発生しているか否かを確認する方法としては、観察者に提示している映像のすべてを監視人がチェックし続けるという方法があった。しかし係る方法によれば、システムが動作している間中ずっと監視人が多数の映像を監視し続ける必要があり、監視作業が煩雑であったり、障害の発見が遅くなるといった問題があった。
【００１４】
本発明は以上の問題に鑑みてなされたものであり、現実空間画像と仮想空間画像との合成画像を提供するシステムにおける障害を簡便な方法で検出し、検出した障害を報知する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００１６】
即ち、観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置であって、
前記撮像画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得手段と、
前記データと、前記データの直前に前記取得手段が取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断手段と、
前記判断手段による判断結果が、障害有りである場合には、障害有りの旨を報知する報知手段と
を備えることを特徴とする。
【００１７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００１８】
即ち、観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置であって、
前記合成画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得手段と、
前記データと、前記データの直前に前記取得手段が取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断手段と、
前記判断手段による判断結果が、障害有りである場合には、障害有りの旨を報知する報知手段と
を備えることを特徴とする。
【００１９】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２０】
即ち、観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置が行う情報処理方法であって、
前記撮像画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得工程と、
前記データと、前記データの直前に前記取得工程で取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断工程と、
前記判断工程での判断結果が、障害有りである場合には、障害有りの旨を報知する報知工程と
を備えることを特徴とする。
【００２１】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２２】
即ち、観察者の視点からの撮像画像と当該視点の位置姿勢に基づいて生成した仮想空間画像との合成画像を当該観察者に提示する提示装置、とネットワークを介して通信可能な情報処理装置が行う情報処理方法であって、
前記合成画像の部分領域、若しくは全体領域のデータを、前記提示装置から取得する取得工程と、
前記データと、前記データの直前に前記取得工程で取得したデータと、を用いて、前記提示装置における障害の有無を判断する判断工程と、
前記判断工程での判断結果が、障害有りである場合には、障害有りの旨を報知する報知工程と
を備えることを特徴とする。
【発明の効果】
【００２３】
本発明の構成によれば、現実空間画像と仮想空間画像との合成画像を提供するシステムにおける障害を簡便な方法で検出し、検出した障害を報知することができる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００２５】
［第１の実施形態］
本実施形態に係るシステムは、観察者に仮想空間と現実空間とを合成した複合現実空間を体感させる１台以上の複合現実感提示装置（提示装置）と、システムにおける障害を監視する１台の障害監視装置（情報処理装置）と、により構成されている。そして、それぞれの装置はＬＡＮやインターネット等のネットワークに接続されており、互いにデータ通信が可能（通信可能）な構成となっている。
【００２６】
なお、本実施形態では、障害監視装置は、複合現実感提示装置とは別個の装置として説明するが、これに限定するものではなく、障害監視装置が行うものとして後述する各処理を実行する機能部を、何れか１台の複合現実感提示装置に組み込むようにしても良い。
【００２７】
先ず、本実施形態に係るシステムを構成する複合現実感提示装置について説明する。
【００２８】
図１は、１台の複合現実感提示装置とその周辺機器のハードウェア構成例を示すブロック図である。以下では説明を簡単にするために、図１に示した全体を複合現実感提示装置を呼称する場合もある。
【００２９】
図１に示した構成は、一人の観察者に対して複合現実空間を体感させるもので、本実施形態に係るシステムには、図１に示した構成が、観察者の数だけ存在する。このように、複数人の観察者に応じて複数台の複合現実感提示装置を設けることで、複数人の観察者が複合現実空間において協調作業を行うこともできる。係る技術についての詳細は特許文献１に開示されている。
【００３０】
図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１０４、センサコントローラ１０３、複合現実感提示装置１９０、により構成されている。
【００３１】
先ず、ＨＭＤ１０４について説明する。
【００３２】
ＨＭＤ１０４には、ビデオカメラ１０５、位置姿勢センサ１０８が取り付けてある。
【００３３】
ビデオカメラ１０５は、現実空間の動画像を撮像するもので、撮像した各フレームの画像（現実空間画像）は、後段の複合現実感提示装置１９０に対して送出される。
【００３４】
位置姿勢センサ１０８は、自身の位置姿勢を計測するもので、計測した結果は、センサコントローラ１０３に送出される。センサコントローラ１０３は、位置姿勢センサ１０８による計測結果に基づいて位置姿勢センサ１０８の位置姿勢情報を生成し、後段の複合現実感提示装置１９０に送出する。ここで、位置姿勢センサ１０８、センサコントローラ１０３には様々なセンサシステムを用いることができるが、例えば、磁気センサシステムを用いる場合、位置姿勢センサ１０８、センサコントローラ１０３は次のように動作する。
【００３５】
現実空間の所定の位置には、センサコントローラ１０３により駆動制御されるトランスミッタが配置される。トランスミッタは、センサコントローラ１０３による駆動制御により、周囲に磁界を発生させる。位置姿勢センサ１０８は、自身の位置姿勢に応じて磁界の変化を検知し、検知した結果をセンサコントローラ１０３に送出する。センサコントローラ１０３は、位置姿勢センサ１０８から送出された検知結果に基づいて、センサ座標系における位置姿勢センサ１０８の位置姿勢情報を求める。ここで、センサ座標系とは、トランスミッタの位置を原点とし、係る原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系のことである。そしてセンサコントローラ１０３は、求めた位置姿勢情報を複合現実感提示装置１９０に対して送出する。
【００３６】
このように、位置姿勢センサ１０８の位置姿勢情報を求めることができるのであれば、如何なる方法を用いても良い。また最終的にはビデオカメラ１０５の位置姿勢情報を求めるので、ビデオカメラ１０５の位置姿勢情報を直接求めることができるでのあれば、センサを用いなくても良い。例えばビデオカメラ１０５による撮像画像を用いてビデオカメラ１０５の位置姿勢情報を求める公知の方法等を用いても良い。
【００３７】
次に、複合現実感提示装置１９０について説明する。複合現実感提示装置１９０は、例えば、一般のＰＣ（パーソナルコンピュータ）である。複合現実感提示装置１９０は、ＣＰＵ１０１、メモリ１０６，１０７、Ｉ／Ｆ（インターフェース）１９１，１９２、１８０、操作部１２８、を有し、それぞれはバス１０２に接続されている。
【００３８】
ＣＰＵ１０１は、メモリ１０７に格納されている視点位置姿勢データ１２１や仮想シーンデータ１２３、メモリ１０６に格納されている様々なプログラム１１１〜１１５等を用いて、複合現実感提示装置１９０が行うものとして後述する各処理を実行する。また、ＣＰＵ１０１は、処理を行う過程で、適宜メモリ１０７に対してデータを出力する。更に、ＣＰＵ１０１は、Ｉ／Ｆ１８０を介して行う「ネットワークに接続されている他の機器とのデータ通信」を制御する。本実施形態の場合、障害監視装置３００とのデータ通信を制御することになる。
【００３９】
メモリ１０６には、後述する各プログラム１１１〜１１５が格納されている。なお、各プログラム１１１〜１１５以外にも、複合現実感提示装置１９０が行うものとして後述する処理で複合現実感提示装置１９０が用いる様々なプログラムに関してもメモリ１０６に格納されているものとする。
【００４０】
メモリ１０７には、ＨＭＤ１０４を頭部に装着するユーザの視点の位置姿勢情報である視点位置姿勢データ１２１、仮想空間を構成するためのデータである仮想シーンデータ１２３が格納されている。更に、メモリ１０７には、現実画像メモリ１２０、ＣＧ画像メモリ１２２、という２つの記憶領域が設けられている。なお、各データ１２１，１２３以外に、複合現実感提示装置１９０が行うものとして後述する処理で複合現実感提示装置１９０が用いる様々なデータに関してもメモリ１０７に格納されているものとする。
【００４１】
なお、メモリ１０６，１０７が保持しているものとして説明した上記の各情報は、図１に示したようにそれぞれのメモリ１０６，１０７内に保持されていなくても良い。即ち、それぞれの情報がどのようにしてメモリ１０６，１０７の何れに保持されるのかについては特に限定するものではない。また、それぞれのメモリ１０６、１０７内には、適宜新たな記憶領域が設定されることもある。また、メモリ１０６，１０７を１つのメモリに統合しても良い。
【００４２】
Ｉ／Ｆ１９１は、ＨＭＤ１０４が有する表示部、ビデオカメラ１０５を複合現実感提示装置１９０に接続する為のものである。複合現実感提示装置１９０が後述の処理で生成する合成画像は、このＩ／Ｆ１９１を介してＨＭＤ１０４の表示部に送出される。また、ビデオカメラ１０５が撮像した各フレームの現実空間画像は、このＩ／Ｆ１９１を介して複合現実感提示装置１９０内に入力される。
【００４３】
Ｉ／Ｆ１９２は、センサコントローラ１０３を複合現実感提示装置１９０に接続する為のもので、センサコントローラ１０３が求めた位置姿勢情報は、このＩ／Ｆ１９２を介して複合現実感提示装置１９０内に入力される。
【００４４】
Ｉ／Ｆ１８０は、複合現実感提示装置１９０を上記ネットワークに接続する為のもので、複合現実感提示装置１９０は、このＩ／Ｆ１８０を介して上記ネットワークに接続されている他の機器とのデータ通信を行う。本実施形態の場合、複合現実感提示装置１９０は、このＩ／Ｆ１８０を介して障害監視装置３００とのデータ通信を行う。
【００４５】
操作部１２８は、キーボードやマウスなどにより構成されており、複合現実感提示装置１９０の操作者が操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。
【００４６】
次に、本実施形態に係るシステムを構成する障害監視装置について説明する。
【００４７】
図３は、障害監視装置３００のハードウェア構成例を示すブロック図である。
【００４８】
ＣＰＵ３０１は、メモリ３０４に格納されている後述の各プログラム３１１〜３１３、共有メモリ３０５に格納されている障害チェック用データ３２１、等を用いて、障害監視装置３００が行うものとして後述する各処理を実行する。また、ＣＰＵ３０１は、Ｉ／Ｆ３５０を介して行う「ネットワークに接続されている他の機器とのデータ通信」を制御する。本実施形態の場合、複合現実感提示装置１９０とのデータ通信を制御することになる。
【００４９】
メモリ３０４には、後述する各プログラム３１１〜３１３が格納されている。なお、各プログラム３１１〜３１３以外に、障害監視装置３００が行うものとして後述する処理で障害監視装置３００が用いる様々なプログラムに関してもメモリ３０４に格納されているものとする。
【００５０】
共有メモリ３０５は、ネットワークを介して他の機器（例えば、複合現実感提示装置１９０）からアクセス可能なメモリで、アクセスすることで、この共有メモリ３０５に対して書き込み／読み出しを行うことができる。共有メモリ３０５には、後述の障害チェック用データ３２１が格納されている。なお、障害チェック用データ３２１以外に、障害監視装置３００が行うものとして後述する処理で障害監視装置３００が用いる様々なデータに関しても共有メモリ３０５に格納されているものとする。
【００５１】
表示装置３０３は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ３０１による処理結果を画像や文字として表示することができる。
【００５２】
次に、複合現実感提示装置１９０、障害監視装置３００のそれぞれの動作について、より詳細に説明する。
【００５３】
図２は、複合現実感提示装置１９０が行う処理のフローチャートである。なお、係る処理は、ＣＰＵ１０１が、図２のフローチャートをＣＰＵ１０１に実行させるためのプログラムやデータを用いて処理を実行することで成されるものである。なお、本実施形態に係るシステムが複数の複合現実感提示装置を有している場合には、それぞれの複合現実感提示装置が図２のフローチャートに従った処理を実行することになる。
【００５４】
ステップＳ２０１ではＣＰＵ１０１は、メモリ１０６に格納されている現実映像撮像プログラム１１１を実行する。係る現実映像撮像プログラム１１１を実行することで、ＣＰＵ１０１は、ビデオカメラ１０５が撮像した現実空間画像（撮像画像）をＩ／Ｆ１９１を介して取得し、メモリ１０７内の現実画像メモリ１２０に書き込む処理を行う。
【００５５】
次にステップＳ２０２では、ＣＰＵ１０１は、位置姿勢検出プログラム１１２を実行する。係る位置姿勢検出プログラム１１２を実行することで、ＣＰＵ１０１は、Ｉ／Ｆ１９２を介して位置姿勢情報を取得する。そして、係る位置姿勢情報に、位置姿勢センサ１０８とビデオカメラ１０５との位置姿勢関係を示す位置姿勢関係情報を加えることで、ビデオカメラ１０５（視点）の位置姿勢情報を求める。なお、位置姿勢関係情報は、予め求めておき、例えば、メモリ１０７内に格納しておく。
【００５６】
このようにして求めた視点の位置姿勢情報は、視点位置姿勢データ１２１としてメモリ１０７に格納される。視点位置姿勢データ１２１は、例えば、(X, Y, Z, Roll, Pitch, Yaw)の６パラメータで表されるデータである。
【００５７】
次にステップＳ２０３では、ＣＰＵ１０１は、評価画素抽出プログラム１１３を実行する。評価画素抽出プログラム１１３を実行することで、ＣＰＵ１０１は、ステップＳ２０１で現実画像メモリ１２０に格納した現実空間画像を構成する各画素のうち、予め定められた座標位置に位置する画素（検査用画素）を抽出する。そして、抽出した検査用画素の画素値を、障害監視装置３００が有する共有メモリ３０５内に保持されている障害チェック用データ３２１内に上書きし、障害チェック用データ３２１を更新する処理を行う。
【００５８】
なお、抽出する検査用画素の数や、抽出する検査用画素の座標位置については特に限定するものではない。即ち、現実空間画像の部分領域を構成する画素群を検査用画素としても良いし、現実空間画像全体（全体領域）を構成する画素群を検査用画素としても良いし、１画素のみを検査用画素としても良い。
【００５９】
本実施形態では一例としてラスター方向に隣接する４画素を検査用画素として抽出する場合を説明するが、抽出する検査用画素の数やその座標位置が異なっていても、以下の説明は同様に適用可能である。
【００６０】
ここで、障害チェック用データ３２１について説明する。図４は、障害チェック用データ３２１の構成例を示す図である。図４に示す如く、障害チェック用データ３２１は、テーブルデータ４９０と、検査用画素のデータ群４８０とで構成されている。更に検査用画素のデータ群４８０は、それぞれのＨＭＤの表示部（画面）毎の検査用画素の画素値のデータで構成されている（図４では部分的に検査用画素の画素値のデータ４０８〜４１０を示しているが、これが全部ではない）。
【００６１】
先ず、テーブルデータ４９０について説明する。テーブルデータ４９０は、列４０１〜４０７に分けられている。
【００６２】
列４０１には、それぞれのＨＭＤの画面毎に固有のＩＤが登録されている。列４０２には、それぞれのＨＭＤの画面毎のｂｕｓｙフラグの値が登録されている。列４０３には、それぞれのＨＭＤの画面毎の異常カウント値が登録されている。列４０４には、それぞれのＨＭＤの画面毎の保留カウント値が登録されている。列４０５には、異常フラグの値が登録されている。列４０６には、それぞれのＨＭＤの画面毎の、障害監視装置３００に送信された最新の検査用画素に対するポインタが登録されている。列４０７には、それぞれのＨＭＤの画面毎の、障害監視装置３００に送信された前回の検査用画素に対するポインタが登録されている。
【００６３】
本実施形態では、１つのＨＭＤには１つの表示部が設けられているとするので、図４に示したテーブルにおいて、ＩＤ＝０〜５は、６台のＨＭＤのそれぞれの画面に対するＩＤとなる。即ち、テーブルデータ４９０には、ＨＭＤ毎にＩＤが登録されていることになる。そして、テーブルデータ４９０には、それぞれのＩＤに対応する画面について、ｂｕｓｙフラグの値、異常カウント値、保留カウント値、異常フラグ、ポインタ、が関連付けられて列４０２〜４０７に登録されている。
【００６４】
ここで、列４０２〜４０７に登録されている情報について説明する。
【００６５】
列４０２に登録されているｂｕｓｙフラグは、各ＩＤに対応する画面に表示する画像を複合現実感提示装置が生成する為の処理負荷が予め定めた閾値以上であるか否かに応じてＯＮかＯＦＦの何れかを示す。図４では、ＩＤ＝０に対応する画面に表示する画像を複合現実感提示装置が生成する為の処理負荷は予め定めた閾値未満であるため、ＩＤ＝０に対応するｂｕｓｙフラグの値はＯＦＦとなっている。もし、ＩＤ＝０に対応する画面に表示する画像を複合現実感提示装置が生成する為の処理負荷が予め定めた閾値以上である場合、ＩＤ＝０に対応するｂｕｓｙフラグの値はＯＮとなる。係るｂｕｓｙフラグの値の操作は、複合現実感提示装置が行う。
【００６６】
列４０３に登録されている異常カウント値は、各ＩＤに対応する画面に表示する画像について、障害監視装置３００が異常（障害有り）と判断した回数を示す。異常カウント値は、障害監視装置３００が操作する。
【００６７】
列４０４に登録されている保留カウント値は、各ＩＤに対応する画面に表示する画像について、障害監視装置３００が保留と判断した回数を示す。保留カウント値は、障害監視装置３００が操作する。
【００６８】
列４０５に登録されている異常フラグは、各ＩＤに対応する画面に表示する画像について障害監視装置３００が異常（障害有り）と判断した回数が、予め定めた閾値以上であるか否かに応じて、ＯＮかＯＦＦの何れかを示す。図４では、ＩＤ＝０に対応する画面に表示する画像について障害監視装置３００が異常（障害有り）と判断した回数が、予め定めた閾値未満であるため、ＩＤ＝０に対応する異常フラグの値はＯＦＦとなっている。もし、ＩＤ＝０に対応する画面に表示する画像について障害監視装置３００が異常（障害有り）と判断した回数が、予め定めた閾値以上である場合、ＩＤ＝０に対応する異常フラグの値はＯＮとなる。係る異常フラグの値の操作は、障害監視装置３００が行う。
【００６９】
列４０６に登録されているポインタは、各ＩＤに対応する画面に表示した画像から抽出された最新の検査用画素の画素値のデータに対するポインタが登録されている。図４では、ＩＤ＝０に対応する列４０６に登録されているポインタは、検査用画素の画素値のデータ４０８を指し示している。即ち、ＩＤ＝０に対応する画面への表示対象としての現実空間画像から複合現実感提示装置が抽出した最新の検査用画素の画素値のデータが、データ４０８である。また、ＩＤ＝１に対応する列４０６に登録されているポインタは、検査用画素の画素値のデータ４１０を指し示している。即ち、ＩＤ＝１に対応する画面への表示対象としての現実空間画像から複合現実感提示装置が抽出した最新の検査用画素のデータが、データ４１０である。
【００７０】
ここで、障害監視装置３００がＩＤ＝Ｐに対応する画面についての検査用画素の画素値のデータを受信した場合、障害監視装置３００は先ず、ＩＤ＝Ｐに対応する列４０６に登録されてるポインタを、ＩＤ＝Ｐに対応する列４０７に上書きする。そして、障害監視装置３００は、受信した検査用画素の画素値のデータに対する新たなポインタを、ＩＤ＝Ｐに対応する列４０６に登録する。
【００７１】
従って、列４０６には、最新の検査用画素の画素値のデータに対するポインタが登録され、列４０７には、１つ前（直前）に受信した検査用画素の画素値のデータに対するポインタが登録されることになる。図４では、ＩＤ＝０に対応する列４０７に登録されているポインタは、検査用画素の画素値のデータ４０９を指し示している。即ち、検査用画素の画素値のデータ４０８は、障害監視装置３００がＩＤ＝０に対応する画面について受信した最新の検査用画素の画素値のデータである。そして、検査用画素の画素値のデータ４０９は、ＩＤ＝０に対応する画面について検査用画素の画素値のデータ４０８の１つ前に（直前に）受信した検査用画素の画素値のデータである。
【００７２】
なお、ポインタとは周知の通り、データが登録されているアドレスを指し示すものである。しかし、データを指し示すことができるのであれば、ポインタが指し示すものは特に限定しない。
【００７３】
また、本実施形態では、図４に示す如く、検査用画素の画素値のデータは、Ｒ、Ｇ、Ｂの３成分で構成されているが、画素値を構成する成分（色成分）についてはこれに限定するものではない。
【００７４】
従って、上記ステップＳ２０３では、ＣＰＵ１０１は、ビデオカメラ１０５が撮像した現実空間画像から検査用画素の画素値のデータを抽出し、上述のようにして共有メモリ３０５内に登録する。
【００７５】
ここで、ＨＭＤ１０４の画面のＩＤが０であるとすると、検査用画素のデータ４０８が、今回登録した検査用画素のデータとなる。そしてＣＰＵ１０１は、テーブルデータ４９０においてＩＤ＝０に対応する列４０６に登録されているポインタを、ＩＤ＝０に対応する列４０７にコピーする。そしてその後、ＩＤ＝０に対応する列４０６に登録されているポインタが、検査用画素のデータ４０８を指し示すように、このポインタを更新する。
【００７６】
なお、複合現実感提示装置１９０が有するメモリ１０７内には、ＨＭＤ１０４の画面のＩＤが登録されているものとする。これにより、複合現実感提示装置１９０は、自身に接続されているＨＭＤ１０４の画面のＩＤに対応する、テーブルデータ４９０内のデータに対してアクセスすることができる。従って、複合現実感提示装置１９０は上記テーブルデータ４９０に対してデータ操作を行う場合、メモリ１０７内に登録されているＩＤに対応する各データを操作することになる。
【００７７】
次にステップＳ２０４では、複合現実感提示装置１９０の操作者が操作部１２８を用いて入力した操作があれば、これを検知する。ここで検知する操作とは、仮想空間中に配置する仮想物体に対する操作（移動回転、変形、追加／削除等）や、仮想空間中に設定する光源に対する操作（移動回転、追加／削除、光源色の変更等）等に代表される、仮想空間に対する変更操作全般を指し示す。即ち、後述する処理で行う仮想空間画像生成処理に影響を及ぼす操作全般を含む。
【００７８】
なお、複数の観察者が同じ仮想シーンを共有しているような場合、これらの操作内容はシーン管理を行うシーン管理部に通知されることになる。このような手法は従来より行われているものであるので、詳細な説明は省略する。
【００７９】
次にステップＳ２０５では、ステップＳ２０４で検知した操作内容が後述の仮想空間画像生成処理に与える処理負荷を推定し、推定した処理負荷が予め定めた閾値以上であるか否かを判断する。係る判断処理は、例えば、ステップＳ２０４において検知した操作内容が、仮想物体の追加操作である場合、追加される仮想物体のデータ量が予め定めた閾値以上であるか否かを判断する処理である。
【００８０】
ステップＳ２０５における判断の結果、推定した処理負荷が予め定めた閾値以上であれば処理をステップＳ２０６に進め、閾値未満である場合には処理をステップＳ２０７に進める。
【００８１】
ステップＳ２０６では、共有メモリ３０５にアクセスする。そして、共有メモリ３０５内に格納されている障害チェック用データ３２１中のテーブルデータ４９０において、ＨＭＤ１０４の画面のＩＤに対応するｂｕｓｙフラグの値をＯＮに更新する。
【００８２】
一方、ステップＳ２０７では、共有メモリ３０５にアクセスする。そして、共有メモリ３０５内に格納されている障害チェック用データ３２１中のテーブルデータ４９０において、ＨＭＤ１０４の画面のＩＤに対応するｂｕｓｙフラグの値をＯＦＦに更新する。
【００８３】
次にステップＳ２０８では、操作部１２８からの操作指示や、予め定められたアルゴリズムなどに応じて、仮想空間（仮想シーン）を更新する。係る更新は、例えば、仮想物体の移動や回転、変形やその数の追加、削除であったり、光源の移動や回転、光源の種類の変更であったりする。なお、仮想空間の状態を更新する処理については周知技術である。更に、複数人で仮想シーンを共有して協調作業をするシステムの場合は、それぞれの観察者の操作を統合して仮想シーンを管理するシーン管理部があり、本ステップではシーン管理部から得た情報に基づいて仮想シーンを更新する。これは従来から行われている手法であるので、これについての詳細な説明は省略する。
【００８４】
次に、ステップＳ２０９では、仮想空間中に配置する視点の位置姿勢情報として、ステップＳ２０２でメモリ１０７内に格納した視点位置姿勢データ１２１を設定する。即ち、位置姿勢情報が示す位置姿勢で仮想空間中に視点を設定する。
【００８５】
ステップＳ２１０では、ＣＰＵ１０１は、ＣＧ映像生成プログラム１１４を実行することで、ステップＳ２０９で設定した視点から見える仮想空間の画像を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知であるので、これについての詳細な説明は省略する。そして生成した仮想空間画像のデータをＣＧ画像メモリ１２２に格納する。
【００８６】
次に、ステップＳ２１１では、ＣＰＵ１０１は、ＣＧ画像メモリ１２２から仮想空間画像のデータを読み出す。そして、読み出した仮想空間画像のデータと、ステップＳ２０１で現実画像メモリ１２０に格納した現実空間画像のデータと、を用いて、現実空間画像上に仮想空間画像を重畳させた合成画像を生成する。係る合成画像は所謂、複合現実空間の画像である。なお、現実空間画像上に仮想空間画像を重畳させるための技術については様々なものがあり、本実施形態では、何れの手法を用いても良い。
【００８７】
そしてステップＳ２１１では更に、ＣＰＵ１０１は、映像表示プログラム１１５を実行することで、このようにして生成した合成画像のデータに基づいた映像信号を、Ｉ／Ｆ１９１を介してＨＭＤ１０４が有する表示部に送出する。これにより、ＨＭＤ１０４が有する表示部には、係る合成画像が表示されることになり、係るＨＭＤ１０４を頭部に装着したユーザの眼前には、係る合成画像が提示されることになる。
【００８８】
次に、操作部１２８を介して本処理の終了指示が入力されたことを検知した、若しくは、本処理の終了条件が満たされたことを検知した場合には、本処理はステップＳ２１２を介して終了する。一方、何れも検知されなかった場合には、本処理はステップＳ２１２を介してステップＳ２０１に戻り、以降の処理が繰り返される。
【００８９】
次に、障害監視装置３００が行う障害監視処理について、同処理のフローチャートを示す図５を用いて説明する。なお、係る処理は、ＣＰＵ３０１が、図５のフローチャートをＣＰＵ３０１に実行させるためのプログラムやデータを用いて処理を実行することで成されるものである。なお、共有メモリ３０５内に保持しているテーブルデータ４９０は初期状態では、列４０２、４０５内は全てＯＦＦ、列４０３、４０４内は全て０、列４０６，４０７内は全てＮＵＬＬに初期化されているものとする。
【００９０】
ステップＳ５０１では、以下の処理で用いる変数Ｐの値を０に初期化する。更に、変数Ｐ＿ＭＡＸに、（変数Ｐが取りうる値の最大値）を設定する。
【００９１】
変数Ｐは、以降の処理でテーブルデータ４９０を参照する場合に、現在参照している行を指し示す（即ち現在参照しているＩＤを指し示す）変数である。また、図４の場合、変数Ｐの取りうる値の範囲は０〜５となるので、変数Ｐ＿ＭＡＸには「５」を設定することになる。
【００９２】
ステップＳ５０２では、共有メモリ３０５内のテーブルデータ４９０において、ＩＤ＝Ｐに対応するｂｕｓｙフラグの値を参照し、参照した値がＯＮであるのかＯＦＦであるのかを判断する。係る判断の結果、ＯＮである場合には処理をステップＳ５１１に進める。一方、ＯＦＦの場合には、処理をステップＳ５０３に進める。
【００９３】
ステップＳ５１１では、ＩＤ＝Ｐに対応する保留カウント値に１を加算する（カウントする）。次にステップＳ５１２では、ステップＳ５１１で更新された保留カウント値が、予め定めた閾値（保留ＭＡＸ）以上か否かを判断する。係る判断の結果、ステップＳ５１１で更新された保留カウント値が、予め定めた閾値（保留ＭＡＸ）以上である場合には処理をステップＳ５１０に進める。一方、ステップＳ５１１で更新された保留カウント値が、予め定めた閾値（保留ＭＡＸ）未満である場合には処理をステップＳ５１４に進める。
【００９４】
一方、ステップＳ５０３では、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値のデータと、ＩＤ＝Ｐに対応する列４０７に登録してあるポインタが指し示す検査用画素（旧検査用画素）の画素値のデータとを比較する。そして、それぞれの検査用画素同士が同じ画素値を示すか否かを判断する。即ち、最新の検査用画素と、１つ前の検査用画素とが同じであるか否かを判断する。係る比較処理の結果、同じであると判断した場合には、処理をステップＳ５０５に進め、同じではないと判断した場合には、処理をステップＳ５０４に進める。
【００９５】
ステップＳ５０４では、ＩＤ＝Ｐに対応する異常カウント値を０に初期化する。そして処理をステップＳ５０８に進める。
【００９６】
一方、ステップＳ５０５では、ＣＰＵ１０１は評価画素更新判定プログラム３１１を実行し、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が黒画素を示す画素値（Ｒ＝Ｇ＝Ｂ＝０）であるか否かを判断する。係る判断を行う理由としては、観察者がビデオカメラ１０５を手で覆ったりして一時的に真っ黒な画像が連続してキャプチャされている可能性があるからである。その場合、システムは正常に動作しているのにもかかわらず変化のない画像がキャプチャされるので、障害監視処理は障害であるという判定を下すのをしばらく保留する。
【００９７】
ステップＳ５０５における判断の結果、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が黒画素を示す画素値であると判断した場合には、処理をステップＳ５１１に進める。一方、ステップＳ５０５における判断の結果、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が黒画素を示す画素値ではないと判断した場合には、処理をステップＳ５０６に進める。
【００９８】
ステップＳ５０６では、ＣＰＵ１０１は評価画素更新判定プログラム３１１を実行する。これにより、ＣＰＵ１０１は、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が白画素を示す画素値（画素値が８ビットで表現される場合、Ｒ＝Ｇ＝Ｂ＝２５５）であるか否かを判断する。係る判断を行う理由としては、ビデオカメラ１０５に強い光があたり、画面全体がいわゆる「白飛び」を起こした状態になっている可能性があるからである。この場合も、システムは正常に動作しているのにもかかわらず変化のない画像が連続してキャプチャされるので、障害監視処理は障害であるという判定下すのをしばらく保留する。
【００９９】
ステップＳ５０６における判断の結果、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が白画素を示す画素値であると判断した場合には、処理をステップＳ５１１に進める。一方、ステップＳ５０６における判断の結果、ＩＤ＝Ｐに対応する列４０６に登録してあるポインタが指し示す検査用画素の画素値が白画素を示す画素値ではないと判断した場合には、処理をステップＳ５０７に進める。
【０１００】
ステップＳ５０７では、複合現実感提示装置１９０（この場合、ＩＤ＝Ｐに対応する画面を有するＨＭＤに接続されている複合現実感提示装置が複合現実感提示装置１９０である）には異常有りと判断し、ＩＤ＝Ｐに対応する異常カウント値に１を加算する。
【０１０１】
次に、ステップＳ５０８では、保留カウント値を０に初期化する。
【０１０２】
次に、ステップＳ５０９では、ＣＰＵ３０１は、ＩＤ＝Ｐに対応する異常カウント値が、予め定めた閾値（異常カウントＭＡＸ）異常であるか否かを判断する。複合現実感システムにおいては、コンピュータの負荷によって一時的にキャプチャ処理が滞り、現実空間画像の更新が滞ることがある。そのため、現実空間画像の更新がなされていなくてもすぐには異常だという判断を下さないためにこのような仕組みを設けている。係る判断の結果、閾値以上であると判断した場合には処理をステップＳ５１０に進め、閾値未満であると判断した場合には処理をステップＳ５１３に進める。
【０１０３】
ステップＳ５１０では、ＩＤ＝Ｐに対応する異常フラグをＯＮに設定し、ステップＳ５１３では、異常フラグをＯＦＦに設定する。そしてステップＳ５１０，Ｓ５１３の何れの処理の後もステップＳ５１４に処理を進める。
【０１０４】
以上の各判断処理の要点は次のような処理である。即ち、撮像画像の部分領域、若しくは全体領域の第１のデータと、第１のデータの直前に取得した第２のデータとが、同じ画素値を示すデータであるか否かを判断する。そして、第１のデータが、白画素、黒画素の何れかの画素の画素値を示すデータであるか否かを判断する。そして、第１のデータと第２のデータとが同じ画素値を示すデータであり、且つ第１のデータが白画素、黒画素の何れの画素の画素値をも示していないと判断された回数が、予め定められた回数以上となった場合には、提示装置には異常有りと判断する。
【０１０５】
ステップＳ５１４では、ＩＤ＝Ｐに対応する列４０６に登録されているポインタを、ＩＤ＝Ｐに対応する列４０７にコピーする。そして、ＩＤ＝Ｐに対応する列４０６には、次に、ＩＤ＝Ｐに対応する画面について複合現実感提示装置から送信される検査用画素の画素値のデータに対するポインタを登録することになる。
【０１０６】
次にステップＳ５１５では、変数Ｐの値がＰ＿ＭＡＸ未満であるか否かを判断する。係る判断の結果、変数Ｐの値がＰ＿ＭＡＸ未満であると判断された場合には処理をステップＳ５１６に進める。一方、係る判断の結果、変数Ｐの値がＰ＿ＭＡＸ以上であると判断された場合には処理をステップＳ５１７に進める。
【０１０７】
ステップＳ５１６では、変数Ｐの値に１を加えて変数Ｐの値を更新し、更新した変数Ｐを用いてステップＳ５０２以降の処理を行う。
【０１０８】
一方、ステップＳ５１７では、ＣＰＵ１０１は、障害判定プログラム３１３を実行することで、テーブルデータ４９０中の全ての異常フラグを参照し、ＯＮとなっている異常フラグがあるか否かを判断する。係る判断の結果（判断結果）、ＯＮとなっている異常フラグが１つもなければ、処理をステップＳ５１９に進める。一方、ＯＮとなっている異常フラグがあれば、処理をステップＳ５１８に進める。
【０１０９】
ステップＳ５１８では、ＣＰＵ１０１は、障害報告プログラム３１２を実行し、障害があったことを報知する。障害があったことを報知する方法については様々な方法が考えられる。例えば、単に障害の有無を表示装置３０３に表示させても良いし、更に詳細には、ＯＮとなっている異常フラグに対応するＩＤを有するＨＭＤに接続されている複合現実感提示装置に係る情報を表示するようにしても良い。更に、音を発生させることで、障害があったことを報知するようにしても良い。また、予め定められた電話番号に電話を掛け、障害内容を再生させるようにしても良い。また、ＯＮとなっている異常フラグに対応するＩＤに対応する画面を有するＨＭＤに備わっているランプを点滅させても良い。また、障害監視装置３００側で、各ＩＤに対応する画面を有するＨＭＤが接続されている複合現実感提示装置のメールアドレスやＩＰアドレスなどを保持しているとする。この場合、ＯＮとなっている異常フラグに対応するＩＤに対応する画面を有するＨＭＤが接続されている複合現実感提示装置のメールアドレスやＩＰアドレス等を用いて、この複合現実感提示装置に異常があった旨のメッセージをメール等で通知しても良い。なお、メールなどの送信先はある決まった装置に対して行うようにしても良い。もちろん、ここで列挙した方法を適宜組み合わせても良い。
【０１１０】
また、ＯＮとなっている異常フラグに対応するＩＤを履歴としてメモリ３０４や共有メモリ３０５に記録するようにしても良い。これにより、何度も同じ報知を行うことを抑制したり、ＯＮとなっている異常フラグがＯＦＦになれば、係る異常フラグに対応するＩＤを用いて上述のような報知方法で、復旧した旨を報知することができる。
【０１１１】
次に、障害監視装置３００に接続されている不図示の操作入力装置などを用いて本処理の終了指示が入力されたことを検知した、若しくは、本処理の終了条件が満たされたことを検知した場合には、本処理はステップＳ５１９を介して終了する。一方、何れも検知されなかった場合には、本処理はステップＳ５１９を介してステップＳ５２０に進める。
【０１１２】
ステップＳ５２０では、予め定めた適当な時間だけ処理を待機（ＷＡＩＴ）し、その後、処理をステップＳ５０１に戻し、以降の処理を行う。
【０１１３】
以上の説明により、本実施形態によれば、システムの障害の検出を自動的に行うことができる。また、観察者がビデオカメラを手で覆ったり、ビデオカメラに強い光が入ったりした場合のように画像更新が一時的に行われないように見えた場合や、一時的にビデオキャプチャが滞った状態で即座に障害を報告することを抑制することも可能としている。
【０１１４】
なお、本実施形態では、現実空間画像から検査用画素の画素値のデータを抽出したが、現実空間画像と仮想空間画像との合成画像から検査用画素の画素値のデータを抽出するようにしても良い。ただし、その場合には、画面全体に単純な形状の仮想物体が表示されるような場合において、システムが正常に動作しているのにもかかわらず検査用画素が更新されていないように観察される可能性がありえる。例えば、壁のような仮想物体が目の前においてあるような場合であり、このような場合、合成画像が一色の仮想物体のみで構成されているというようなことが考えられる。しかしその一方で、合成画像から検査用画素を抽出すれば、仮想空間が更新されていることを画面更新状態で確認することが出来る。
【０１１５】
［第２の実施形態］
第１の実施形態では、１台のＨＭＤには１台のビデオカメラ１０５が搭載されており、このビデオカメラ１０５による撮像画像を、観察者の右眼、左眼で共有していた。しかし、１台のＨＭＤに、右眼に提示するための撮像画像を撮像するビデオカメラと、左眼に提示するための撮像画像を撮像するビデオカメラと、を設けても良い。その場合、複合現実感提示装置は、それぞれのビデオカメラ毎に、図２のフローチャートに従った処理を実行することになるし、障害監視装置３００も同様に、ビデオカメラ毎に図５のフローチャートに従った処理を行うことになる。
【０１１６】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１１７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１２０】
【図１】１台の複合現実感提示装置とその周辺機器のハードウェア構成例を示すブロック図である。
【図２】複合現実感提示装置１９０が行う処理のフローチャートである。
【図３】障害監視装置３００のハードウェア構成例を示すブロック図である。
【図４】障害チェック用データ３２１の構成例を示す図である。
【図５】障害監視装置３００が行う障害監視処理のフローチャートである。
【図１】
2009115851.tif 000003
【図２】
2009115851.tif 000004
【図３】
2009115851.tif 000005
【図４】
2009115851.tif 000006
【図５】
2009115851.tif 000007