(57)【要約】【課題】  作業者の複合現実空間を複数人の参加者が遠隔から共有し、視点を変更しながら実物体と仮想物体をシームレスに知覚して共同でインタラクション可能にする。【解決手段】  第１のユーザが装着している第１ステレオ撮像部のステレオ映像と、前記第１ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第１ステレオ画像を取得する第１画像取得工程と、前記第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と、前記第２ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第２ステレオ画像を第２画像取得工程と、前記第１ステレオ画像および前記第２ステレオ画像から、前記第２のユーザの指示に応じた画像を選択する選択工程と、前記選択された画像を前記第２のユーザに提示する提示工程とを有する。【選択図】  図１
2006293604.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有するための情報処理方法であって、
前記第１のユーザが装着している第１ステレオ撮像部のステレオ映像と、前記第１ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第１ステレオ画像を取得する第１画像取得工程と、
前記第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と、前記第２ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第２ステレオ画像を第２画像取得工程と、
前記第１ステレオ画像および前記第２ステレオ画像から、前記第２のユーザの指示に応じた画像を選択する選択工程と、
前記選択された画像を前記第２のユーザに提示する提示工程とを有することを特徴とする情報処理方法。
【請求項２】
前記第２のユーザが操作する操作部の位置を取得する操作部位置取得工程と、
前記第２のユーザの位置と姿勢を取得する第２ユーザ位置姿勢取得工程と、
前記第２のユーザの位置と姿勢と前記操作部の位置の相対位置情報を求める相対位置情報取得工程とを有することを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記操作部の相対位置情報および前記選択された画像に応じたステレオ映像部の位置姿勢とに基づき、前記第１ステレオ撮像部の位置姿勢に基づく操作部仮想画像を生成する生成工程と、
前記操作部仮想画像を前記第１ステレオ画像に合成する合成工程と、
前記合成画像を前記第１のユーザに提示する提示工程とを有することを特徴とする請求項２記載の情報処理方法。
【請求項４】
前記前記選択された画像に応じた識別画像を生成する識別画像生成工程と、
前記識別画像を前記第１ステレオ画像に合成する識別画像合成工程とを有し、
前記識別画像合成工程によって生成された合成画像を前記第１のユーザに提示することを特徴とする請求項２または３に記載の情報処理方法。
【請求項５】
前記識別画像は識別画像は前記操作部の仮想画像であり、
前記操作部の仮想画像は、前記選択された画像に応じて色が変更することを特徴とする請求項４記載の画像処理方法。
【請求項６】
請求項１乃至５のいずれかに記載の情報処理方法をコンピュータにて実現するためのプログラム。
【請求項７】
第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有するための情報処理装置であって、
前記第１のユーザが装着している第１ステレオ撮像部のステレオ映像と、前記第１ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第１ステレオ画像を取得する第１画像取得手段と、
前記第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と、前記第２ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第２ステレオ画像を第２画像取得手段と、
前記第１ステレオ画像および前記第２ステレオ画像から、前記第２のユーザの指示に応じた画像を選択する選択手段と、
前記選択された画像を前記第２のユーザに提示する提示手段とを有することを特徴とする情報処理装置。
【請求項８】
作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する遠隔複合現実感共有装置であって、
作業者が装着しているステレオカメラ映像および前記作業者が存在する空間に設置されているステレオカメラの映像を複数の遠隔参加者に伝送する手段、
前記映像を立体視する作業者用立体視表示手段と遠隔参加者用立体視表示手段、
前記複数の遠隔参加者が前記ステレオカメラ映像を選択的に切替えて異なる視点から前記作業者複合現実空間を前記作業者と他の遠隔作業者の間で共有する視点切替手段とを有することを特徴とする遠隔複合現実感共有装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有するための方法および装置に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界の継ぎ目のない融合を目指した複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：ＭＲ）に関する技術開発が盛んになっている。ＭＲは従来現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（ＶＲ）の世界と現実の世界との共存を目的とし、ＶＲを増強する技術として注目されている。
【０００３】
複合現実感を実現する装置として代表的な物は頭部装着型表示装置（ＨＭＤ＝Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）である。すなわち、現実空間と仮想空間とをＨＭＤに合成して表示することにより複合現実感を実現するものである。
【０００４】
ＶＲを用いて遠隔の参加者間で会議や様々な協調作業を支援するシステムでは、上述したようにコンピュータ内に現実世界と切り離された世界を構築して共有するのに対し、ＭＲでの遠隔作業支援システムは現実世界をもとに仮想世界を重ね合わせた作業空間での作業を支援することが可能である。
【０００５】
遠隔地に存在する参加者がＶＲ空間を共有して、視点を変更してこの空間を観察できる技術は多く知られており、例えば、ゲーム機において個々のプレイヤに表示されている仮想空間を合成した空間を他の複数のプレイヤが所望の角度、位置から多角的に表示する技術が知られている。ゲーム機において生成される空間は現実の空間とは何の係わりもない仮想空間であり、ここでは仮想物体を現実世界の物に重畳させる複合現実感は用いられておらず、現実物体と仮想物体同時に視点を変えて観察することは不可能であった。
【０００６】
頭部装着型表示装置（ＨＭＤ）を用いて遠隔作業支援する技術の例として特許文献１がある。この例では作業者がカメラ付のＨＭＤを装着しこのカメラからの映像を作業者および遠隔にいる指示者にて共有し、指示者の指示をこのカメラ映像に重畳して作業指示を行なう技術が開示されている。作業者のカメラをステレオにして、作業者／指示者ともに同じ立体映像を観察可能であり、この映像中の作業対象物を指し示す指示者の手をクロマキー合成で切り出してカメラからの映像に合成する技術が述べられている。またこの発明では、作業者のＨＭＤの替わりに台に固定されたカメラの映像を遠隔の指示者に送信して作業を支援する技術も開示されている。しかしながら、このシステムでは作業者の空間に座標系が設定されていないので、作業対象物以外の仮想物体を作業者空間の任意の位置に配置してポインティングしたりインタラクションしたりすることができない。また作業者の空間に複数のカメラを設置して遠隔の指示者に複数の視点を提供する機能は有していない。
【０００７】
また、特許文献２では、複合現実空間に固定した客観視点カメラを複数設置して、このカメラからの映像に仮想物体を重畳した映像を、複数のディスプレイに選択的に表示する技術が開示されている。しかしながら、このディスプレイを観察しながら複合現実空間にポインティングしたり、仮想物体を操作したりといったインタラクションを行なうことは不可能であった。
【特許文献１】特開２００２−１３２４８７号公報
【特許文献２】特開２００１−１９５６０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は上述の課題に鑑みてなされたもので、実写映像に仮想物体が重畳されて表示される作業者複合現実空間において、作業者が観察しているＨＭＤカメラ映像を含む複数のカメラ映像を遠隔地にいる指示者が選択的に表示して、指示者がこの映像を観察しながら作業者の空間をシームレスに知覚し、三次元的な作業指示を行なえるようにすることである。
【０００９】
本発明の他の目的は、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を第２のユーザが共有できるようにすることを目的とする。さらには、第２のユーザが任意の視点からの複合現画像を取得できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上述した目的を達成するために本発明は以下の構成を有する。
【００１１】
本願請求項１記載の発明は、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有するための情報処理方法であって、前記第１のユーザが装着している第１ステレオ撮像部のステレオ映像と、前記第１ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第１ステレオ画像を取得する第１画像取得工程と、前記第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と、前記第２ステレオ撮像部の位置姿勢に基づく仮想物体画像とに基づく第２ステレオ画像を第２画像取得工程と、前記第１ステレオ画像および前記第２ステレオ画像から、前記第２のユーザの指示に応じた画像を選択する選択工程と、前記選択された画像を前記第２のユーザに提示する提示工程とを有することを特徴とする。
【００１２】
本願請求項８記載の発明は、作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する遠隔複合現実感共有装置であって、
作業者が装着しているステレオカメラ映像および前記作業者が存在する空間に設置されているステレオカメラの映像を複数の遠隔参加者に伝送する手段と、
前記映像を立体視する作業者用立体視表示手段と遠隔参加者用立体視表示手段と、
前記複数の遠隔参加者が前記ステレオカメラ映像を選択的に切替えて異なる視点から前記作業者複合現実空間を前記作業者と他の遠隔作業者の間で共有する視点切替手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を第２のユーザが共有できるようにすることができる。さらには、第２のユーザが任意の視点からの複合現画像を取得することができる。
【発明を実施するための最良の形態】
【００１４】
（第一の実施形態）
図１に本実施形態における遠隔複合現実感共有システムの機能構成を示す。構成は図１上部に示す作業者用複合現実感装置１０ａと図１下部に示す指示者用複合現実感装置１０ｂとからなり、それぞれは管理サーバ６０を介してネットワークで接続されているものとする。それぞれの装置は頭部装着型装置（ＨＭＤ＝Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）２０ａ，２０ｂを持ち作業者、指示者ともにＨＭＤを通して作業者のいる空間の複合現実感映像を見ることができる。また両者間で会話を行なうためのマイクロフォン２８ａ，２８ｂ、スピーカ２７ａ，２７ｂを具備する。
【００１５】
作業者用ＨＭＤ２０ａは、磁気を利用してＨＭＤの位置姿勢を計測する３次元位置姿勢センサ２１ａ、現実空間を撮像し画像を得ることのできるステレオカメラ２２（左眼用をＬ、右眼用をＲで示してある。）、画像を表示することのできるステレオ表示器２３ａ（左眼用をＬ、右眼用をＲで示してある。）からなり、３次元位置姿勢センサ２１ａとカメラ２２の位置関係はあらかじめ計測され固定しているとする。３次元位置姿勢センサ２１ａからは計測結果である位置姿勢信号が後述の位置姿勢計測部１１ａへ出力され、カメラ２２からは撮像結果が後述する画像入力部１２へ出力される。表示器２３ａは、画像合成部１５から入力として左眼用と右眼用の画像信号を受け画像をそれぞれ左眼用２３ａＬと右眼用の表示装置２３ａＲに表示する。
【００１６】
作業者用複合現実感装置１０ａ内にある位置姿勢計測部１１ａはＨＭＤ２０ａの３次元位置姿勢センサ２１ａから出力される３次元位置姿勢信号、および複合現実空間の３次元ポインティングデバイスであるスタイラスの３次元位置姿勢信号の信号を受けて、仮想物体送受信部３１ａへスタイラスの位置姿勢データを、画像生成部１３へＨＭＤの位置姿勢データを出力する。仮想物体送受信部３１ａでは位置姿勢計測部１１ａから受け取ったスタイラス位置姿勢データを管理サーバ６０へ送信する。また管理サーバから作業者および指示者スタイラスの位置姿勢情報と仮想物体の変更情報を受け取り画像生成部１３へ出力する。画像生成部１３は仮想物体のシーングラフを記憶しており、仮想物体送受信部３１ａからのスタイラスの位置姿勢および仮想物体への操作結果情報を受け取り、さらに作業者視点情報（ＨＭＤ位置姿勢情報）を位置姿勢計測部１１ａから受け取り左眼用と右眼用の仮想空間ＣＧを描画し画像を生成する。１５は画像合成部であり、左眼用カメラ２２Ｌと右眼用カメラ２２Ｒからの画像を画像入力部１２を通して入力し、入力された撮像画像上に画像生成部１３により生成された左眼用と右眼用の仮想空間ＣＧ画像と合成する。その結果、表示器２３ａの左眼用と右眼用の表示装置各々には、カメラから撮像された画像の上に作業者視点からの仮想空間のデータが重畳表示される。またこの重畳画像は映像符号化部３２ａで圧縮符号化されて映像送信部３３ａを通して管理サーバ６０へ伝送される。
【００１７】
指示者用複合現実感装置１０ｂの構成は、作業者用複合現実感装置１０ａを簡略化した構成になっている。異なる部分はまずＨＭＤ２０ｂにはカメラが装着されておらずカメラからの画像入力がないことで、作業者空間の複合現実感映像は作業者ＨＭＤのカメラまたは、設置してあるカメラ７０ａ、７０ｂからのステレオ映像が、管理サーバ６０を介して映像受信部３３ｂで受信され映像復号化部３２ｂで復号化され表示器２３ｂの左眼用２３ｂＬと右眼用２３ｂＲの表示装置に表示される。指示者のＨＭＤの位置姿勢は３次元位置姿勢センサ２１ｂから取得され、スタイラス４１ｂの３次元位置姿勢とともに位置姿勢計測部１１ｂに入力され、仮想物体送信部３１ｂより管理サーバ６０へ送信される。この位置姿勢情報は指示者の共有仮想物体ポインティング／操作のための情報として利用される。また作業者用複合現実感装置と指示者用複合現実感装置のコネクションが、管理サーバを介して確立した後には音声通信モジュールが起動され、音声通信管理部６６を介して双方向の音声データがやり取りされる。この結果作業者は２７ａのスピーカと２７ｂマイクロフォンを用いて、指示者は２８ａのスピーカと２８ｂマイクロフォンを用いて会話を行なうことができる。
【００１８】
７０ａ、７０ｂはカメラサーバであり、作業者空間に配置されたカメラからの映像をネットワークを介して管理サーバ６０へ送信する。カメラはステレオカメラで７２ａ、７２ｂに示すように右眼用と左眼用それぞれの画像がカメラ映像送信部から管理サーバの画像合成部６４へ送信される。ネットワークの帯域が狭い場合には、カメラ映像送信部に画像符号化装置（図示せず）を管理サーバの画像合成部６４に画像複号化装置（図示せず）を置いてネットワークトラフィックを減らすことができる。
【００１９】
６０は管理サーバであり、システム全体の情報の管理を行なう。仮想物体通信管理部６１では、作業者用複合現実感装置と指示者用複合現実感装置との間でスタイラスと仮想物体の情報の通信を行なう。仮想物体管理部６２では、スタイラスを含む共有仮想物体のシーングラフの情報と、共有仮想物体の操作権の管理を行なう。この共有仮想物体のシーングラフの情報は画像生成部６３に送られる。画像生成部６３では指示者が選択しているカメラの視点から見た仮想物体のデータをレンダリングして画像合成部６４に送る。ここでカメラ７２ａ、７２ｂは作業者空間の世界座標系で位置姿勢が既に計測されているものとする。画像合成部６４では指示者が選択しているカメラからの映像に上述のレンダリングされたＣＧデータが重畳され映像通信管理部６５へ転送される。指示者が選択したカメラからの複合現実映像はこの映像通信管理部６５を介して指示者用複合現実感装置へ送信される。指示者が作業者のカメラを選択している場合には、作業者用複合現実感装置からの映像がそのまま指示者用複合現実感装置へ送信される。
【００２０】
図２を用いてこれらの動作例を説明する。図２（１）はＨＭＤを装着した作業者４０が複合現実空間で作業を行なう様子が示されている。４２は実物の作業対象物であり、４３は作業対象物の３ＤモデルであるＣＧが立体視表示されている。４３の仮想物体は指示者と共有されており指示者からの作業指示や作業の例示がこの仮想物体４３を通して行なわれる。作業者のいる現実空間に対して図示するような世界座標系（ｘ，  ｙ，  ｚ）が設定されており、この座標系に置かれた例示モデルとしての仮想物体４３はＨＭＤを通して観察すると実物の作業対象物４２の隣に置かれたような位置関係で表示される。磁気センサが装着されたスタイラスを用いることによってこれらの仮想物を選択して移動させたりするインタラクションが可能である。４１ａは作業者用のスタイラスにＣＧを重畳したポインタを示し４１ｂは指示者のスタイラスをＣＧで表現したものである。また７０ａと７０ｂはステレオカメラを搭載したカメラサーバでネットワークを介して図示しない管理サーバを接続されている。このカメラからの映像が遠隔指示者視点映像として指示者に提供される。
【００２１】
図２（２）は、遠隔にいる指示者の空間を示している。指示者５０はＨＭＤ２０ｂを装着しており、ＨＭＤ２０ｂの表示器には２３ｂのようにカメラ７０ａの視点から見た作業対象物４２とその３ＤモデルＣＧ４３の映像が立体視で映し出されている。４１ａは作業者のスタイラスの位置を示すポインタ、４１ｂは指示者のスタイラスの位置を示すポインタである。指示者のＨＭＤ２０ｂとスタイラス４１ｂには磁気センサが装着されているので、視点位置と手に持っているスタイラスの相対的な位置関係が測定できる。この位置関係をカメラ視点からの位置関係に変換して、カメラ視点からの指示者のスタイラスの位置を決めることができる。指示者５０は映像２３ｂを見ながら仮想物体４３をポインタ４１ｂで指したり，または仮想物体の部品を移動させたりすることにより作業者への作業指示を行なう。
【００２２】
仮想物体の移動はスタイラス４１ａ，または４１ｂを仮想物体に触れる位置まで移動し、スタイラスについている第一のボタンを押下する。これにより仮想物体の把持モードとなり、把持された仮想物体はスタイラスと共に移動する。上記把持モードの時にスタイラスの第一のボタンを押下すると把持モードが終了し仮想物体がリリースされる。作業者と指示者の操作が同時に発生しないようにどちらか一方のみが把持モードに入り仮想物体を移動することができる。
【００２３】
図２（３）の２３ｂに示されている映像は、カメラ７０ｂからの視点の複合現実感映像である。指示者５０はスタイラスについている第２のボタンを押下することによりカメラ視点を切り替えることができる。この画面での動作も上述した図２（２）の場合と同じであるが、指示者のポインタ４１ｂは指示者の頭部位置とスタイラス位置の相対関係を新たなカメラ位置を基準にした位置に表示されている。この状態から指示者５０がスタイラスの第二のボタンを押下すると２３ｂからの映像は作業者視点の映像になる。この場合作業者がＨＭＤを通して見ている映像と指示者がＨＭＤを通して見ている映像が完全に一致する。この状態で指示者５０がさらにスタイラスの第二のボタンを押下すると指示者ＨＭＤには図２（２）２３ｂに示す映像が表示される。このようにして指示者はスタイラスの第二のボタンを用いて作業者空間に存在するカメラ映像を順に切り替えることにより、作業者に対して状況に応じて指示しやすい視点から作業支援を行なうことができる。
【００２４】
これらの動作を図面を用いてさらに詳細に説明する。
【００２５】
図３は、複合現実感作業空間で作業を行なうための作業者用複合現実感装置１０ａの動作を説明するフローチャートである。図２では図示されていないが本装置１０ａは、作業者のＨＭＤ２０ａやスタイラス４１ａと接続できる位置にあり、管理サーバ６０を介して指示者用複合現実感装置１０ｂとネットワーク接続されているとする。
【００２６】
ステップＳ１００では、作業者用複合現実感装置１０ａの初期化を行なう。このステップでは、複合現実感作業空間の世界座標系（図２（１）に図示されているような現実世界に固定され設定された座標系）が設定される。後述するセンサからの出力はこの座標系における６パラメータの組としてのデータ（ｘ，ｙ，ｚ，α，β，γ）として表現される。ここでαはｘ軸中心の回転角、βはｙ軸中心の回転角、γはｚ軸中心の回転角を表す。また実物体４２のリファレンスとなる仮想物体４３の初期データがこの世界座標系に配置され、シーングラフデータとして画像生成部１３に蓄積される。
【００２７】
次のステップＳ１１０では、管理サーバ６０との間でネットワーク接続を確立し両装置でデータの送受信が可能な状態にして、ステップＳ１００で設定された仮想物体と世界座標の情報を仮想物体送受信部を介して管理サーバへアップロードする。
【００２８】
ステップＳ１２０では、作業者用複合現実感装置１０ａと管理サーバ６０との間で音声通信のコネクションを開始する。この状態で指示者用複合現実感装置１０ｂからも管理サーバに音声通信コネクションが設定されれば、音声出力はそれぞれスピーカ２７ａ，２７ｂから、音声入力はそれぞれマイクロフォン２８ａ，２８ｂから行なわれる。これにより作業者と指示者の間で音声による会話が可能となる。
【００２９】
ステップＳ１３０では、作業者ＨＭＤに装着されているカメラ２２からの映像を画像入力部１２を経て画像合成部１５へ取り込む処理を行なう。カメラ２２は作業者の両目に対応する左眼用（Ｌ）と右眼用（Ｒ）２台のカメラから構成されており、それぞれの映像が画像合成部１５の別のバッファへ格納される。
【００３０】
次のステップＳ１４０では作業者の頭部の位置姿勢がＨＭＤ３次元位置センサ２１ａからの値として位置姿勢計測部１１ａに入力され、世界座標系における６パラメータの組としてのデータが生成される。
【００３１】
次のステップＳ１５０では作業者のスタイラス４１ａの３次元位置姿勢情報が上記のＨＭＤ３次元位置センサからのデータと同じ形式で位置姿勢計測部１１ａに入力される。
【００３２】
ステップＳ１６０ではステップＳ１５０で求められた作業者スタイラスの位置姿勢情報をイベントとして仮想物体送受信部３１ｂを通して管理サーバ６０へ送信する。
【００３３】
ステップＳ１７０では作業者スタイラスの第一または第二のボタンが押下されたかをチェックしボタンが押下されたならばステップＳ１８０へそうでなければステップＳ１９０へ進む。
【００３４】
ステップＳ１８０では、押下されたボタンイベントを仮想物体送受信部３１ｂを通して管理サーバ６０へ送信する。
【００３５】
ステップＳ１９０では、作業者ポインタ、指示者ポインタ、仮想物体の変更情報がイベントとして仮想物体送受信部３１ｂを通して受信される。
【００３６】
ステップＳ２１０では、ステップＳ１９０で得られた変更情報を基に画像生成部１３に格納されているシーングラフを変更する。
【００３７】
ステップＳ２２０では、操作結果を反映した仮想物体、作業者ポインタ４１ａ、および指示者ポインタ４１ｂのシーングラフをカメラ位置姿勢のビューから左眼用画像と右眼用画像をそれぞれ作成し、画像合成部１５のカメラからの左眼用撮像画像と右眼用撮像画像にそれぞれ上書きすることにより仮想物と現実の合成画像が得られる。３次元位置姿勢センサ２１ａと左眼用カメラ２２Ｌと右眼用カメラ２２Ｒの位置関係は固定されておりあらかじめキャリブレーションを行なって変換式を求めておくことができるので、この式を用いてカメラ視点の位置姿勢が決まる。
【００３８】
次のステップＳ２４０ではこの画像合成部１５にある左眼用合成画像と右眼用合成画像が作業者ＨＭＤの左眼用表示器２３ａＬと右眼用表示器２３ａＲにそれぞれ表示される。
【００３９】
ステップＳ２５０では作業者ＨＭＤ表示器２３ａに表示されたのと同じ両眼画像が、画像符号化部３２ａで符号化され、映像送信部３３ａを通して管理サーバの映像通信管理部６５へ送信される。
【００４０】
次のステップＳ２６０では、作業者用複合現実感装置の終了コマンドが入力されていればステップＳ２４０の音声通信終了処理に進みそうでなければステップＳ１３０へ戻る。
【００４１】
ステップＳ２７０では音声通信処理を終了し、ステップＳ２８０では管理サーバ６０との通信を切断して処理を終了する。
【００４２】
図４は、複合現実感作業空間での作業を指示／支援する指示者用複合現実感装置１０ｂの動作を説明するフローチャートである。
【００４３】
ステップＳ３００では、指示者用複合現実感装置１０ｂの初期化を行なう。このステップでは、指示者が存在する空間の世界座標系が位置姿勢計測部１１ｂにおいて設定され、後述する３次元センサからの出力は前述した作業者用複合現実感装置１０ａと同じように６パラメータの組のデータとして表現される。
【００４４】
次のステップＳ３１０では、管理サーバ６０とのネットワーク接続を確立し両装置でデータの送受信が可能な状態にする。
【００４５】
ステップＳ３２０では、管理サーバの音声通信管理部６６を介して指示者用複合現実感装置１０ｂと作業者用複合現実感装置１０ａとの間で音声通信を開始する。指示者の音声出力はスピーカ２７ｂから音声入力はマイクロフォン２８ｂから行なわれる。これにより作業中音声による会話が可能となる。
【００４６】
ステップＳ３３０では、ＨＭＤ３次元位置センサ２１ｂから指示者の視点の位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）が、また指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力される。これらは指示者の存在する空間の世界座標系での値であるので、スタイラスの位置姿勢を視点位置姿勢からの相対位置に変換して指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）＝（ｘｓ−ｘｈ，ｙｓ−ｙｈ，ｚｓ−ｚｈ，αｓ−αｈ，βｓ−βｈ，γｓ−γｈ）を計算する。
【００４７】
ステップＳ３４０では前ステップで計算された指示者スタイラス相対位置を仮想物体送信部３１ｂを介して管理サーバの仮想物体通信管理部６１へ送信する。
【００４８】
ステップＳ３５０では、管理サーバの映像通信管理部６５から左右両眼の映像を映像受信部３３ｂで受信して左眼用と右眼用画像をそれぞれ映像復号化部３２ｂで復号する。
【００４９】
ステップＳ３６０では、復号された左眼用と右眼用画像を指示者ＨＭＤ２０ｂの左眼用２３ｂＬと右眼用表示器２３ｂＲにそれぞれ表示する。
【００５０】
次のステップＳ３７０では、指示者用複合現実感装置の終了コマンドが入力されていればステップＳ４００の音声通信終了処理に進みそうでなければステップＳ３８０へ進む。
【００５１】
ステップＳ３８０では、指示者からスタイラスボタンのクリックにより発生するボタンイベントがあったかをチェックし、イベントが発生した場合はステップＳ３９０へ進みイベントがない場合にはステップＳ３３０に戻り処理を繰り返す。
【００５２】
ステップＳ３９０では、上記イベントを管理サーバの仮想物体通信管理部６１へ送信してステップＳ３３０へ戻る。
【００５３】
ステップＳ４００では音声処理を終了し、ステップＳ４１０では管理サーバ６０との通信を切断して処理を終了する。
【００５４】
次に管理サーバ６０での種々のイベント処理について図５を用いて説明する。図５（１）にスタイラス位置情報処理のフローを示す。
【００５５】
作業者および指示者からのスタイラス位置情報は、仮想物体通信管理部６１にて受信され、作業者のスタイラス位置情報の場合はステップＳ５１０から開始される。ステップＳ５１４では６パラメータで表される作業者のスタイラス情報を仮想物体管理部６２に格納されているシーングラフのポインタ情報に反映させる。ステップＳ５１６では、作業者がスタイラスで仮想物体を操作しているか否かを図９の仮想物体操作テーブルを参照して判定する。仮想物体操作テーブルは作業者と指示者がどの仮想物体を操作中であるかを示すテーブルで、作業者操作物ＩＤと指示者操作物ＩＤ２つの欄からなる。作業者操作物ＩＤ欄に格納されているＩＤを持つ仮想物体を作業者が操作中であることを示し、指示者操作物ＩＤ欄に格納されているＩＤを持つ仮想物体を指示者が操作中であることを示す。該当する仮想物体がない場合にはｎｕｌｌが格納されている。テーブルの作業者操作物ＩＤに仮想物体のＩＤが格納されていれば仮想物体操作中と判定しステップＳ５１７へ、ｎｕｌｌが格納されていれば仮想物体を操作中でないと判定しステップＳ５１８へ進む。ステップＳ５１７ではスタイラス位置へ仮想物体を移動して仮想物体管理部６２に格納されているシーングラフを変更する。ステップＳ５１８では、スタイラス位置と仮想物体の操作イベントを作業者複合現実感装置１０ａへ送信して処理を終了する。
【００５６】
指示者スタイラス位置情報の場合にはステップＳ５２０からの処理が順次行なわれる。ステップＳ５２２では、指示者視点からみた指示者スタイラスの相対位置情報を選択されたカメラ視点からの相対位置情報に変換する。すなわちステップＳ３３０で求めた指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）を選択されたカメラ視点位置からの相対位置として、作業者空間世界座標での座標に変換する。すなわちカメラ視点の位置を（ｘｗ，ｙｗ，ｚｗ，αｗ，βｗ，γｗ）とすると指示者のスタイラスの位置座標は、（ｘｗ＋ｘｄ，ｙｗ＋ｙｄ，ｚｗ＋ｚｄ，αｗ＋αｄ，βｗ＋βｄ，γｗ＋γｄ）で求められる。選択されたカメラ視点位置は後述する図１０の第２列より求められる。
【００５７】
ステップＳ５２４では、ステップＳ５２２で求められた指示者スタイラス情報を仮想物体管理部６２に格納されているシーングラフのポインタ情報に反映させる。ステップＳ５２６では指示者がスタイラスで仮想物体を操作しているか否かを図９の仮想物体操作テーブルを参照して判定する。テーブルの指示者操作物ＩＤに仮想物体のＩＤが格納されていれば仮想物体操作中と判定しステップＳ５２７へ、ｎｕｌｌが格納されていれば仮想物体を操作中でないと判定しステップＳ５２８へ進む。ステップＳ５２８ではスタイラスのポインタ変更イベントと仮想物体の操作イベントを作業者仮想現実感装置１０ａへ送信して、作業者スタイラス処理を終了する。
【００５８】
図５（２）は視点変更ボタンイベント処理で、これは指示者がスタイラスの第二のボタンを押下した時にこのイベントが仮想物体通信管理部６１で受信され、仮想物体管理部６２に送られる。指示者がどのカメラ視点からの複合現実感映像を観察しているかは、図１０に示すカメラ管理テーブルで管理されている。テーブルの第１列はカメラのＩＤが記されており、表の例ではｎ台のカメラの次の最後の列に作業者カメラが記されている。第２列はカメラの視点位置が作業者空間の世界座標系での６パラメータの組として表されている。第３列は指示者視点となるカメラを示すＦｌａｇとなっている。この例ではカメラＩのＦｌａｇがＯｎ他のカメラのＦｌａｇがＯｆｆになっており、カメラＩが指示者視点映像となっていることを示す。この状態で指示者のスタイラスの第二ボタンが押されると、カメラＩＩのＦｌａｇがＯｎに他の行のＦｌａｇはＯｆｆとなる。このようにボタン押下されるごとに行の若い順にカメラが選択され、最後の作業者カメラの次にはカメラＩが選択される。ステップＳ５３０では上述したように現在選択されているカメラの行のＦｌａｇがＯｆｆとなり次のカメラの行のＦｌａｇがＯｎとなる。次のステップＳ５３２では、仮想物体管理部６２より映像通信管理部６５に現在の映像のコネクションを終了する命令が送られて映像通信が一旦切断される。ステップＳ５３４では、図１０のカメラ管理テーブルを参照して新たな映像通信のコネクションを開始する。Ｆｌａｇ  Ｏｎになっているカメラがカメラサーバのカメラの場合には選択されたカメラからの入力が画像合成部への入力となる。Ｆｌａｇ  Ｏｎになっているカメラが作業者カメラの場合には画像合成部６４から映像通信管理部６５への画像信号は遮断され、作業者用複合現実感装置１０ａからの入力が映像通信管理部６６から指示者用複合現実感装置１０ｂへ送られて処理を終了する。このようにして指示者は視点が切替わった複合現実感映像を見ることができる。
【００５９】
図５（３）は操作ボタン処理であり、作業者のスタイラスボタンが押下された場合にはステップＳ５５０の作業者ボタン処理が、指示者スタイラスの第一のボタンが押下された時にはステップＳ５７０の指示者ボタン処理が起動される。
【００６０】
作業者ボタン処理のステップＳ５５２では、現在作業者が仮想物体を操作中か否かを図９の作業者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５５６に進み、作業者操作物ＩＤが格納されていれば操作中と判定してステップＳ５５４に進む。
【００６１】
ステップＳ５５４では、図９の作業者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【００６２】
ステップＳ５５６では仮想物体管理部６２に格納されている作業者の現在のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【００６３】
ステップＳ５５８では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５６０に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【００６４】
ステップＳ５６０では、前ステップで求められた操作対象物ＩＤと図９の指示者操作物ＩＤを調べ、同じであれば操作対象物は指示者が操作中と判定し作業者ボタンイベント処理を終了し、同じでなければステップＳ５６２に進む。
【００６５】
ステップＳ５６２では、ステップＳ６３０で求められた操作対象物ＩＤを図９の作業者操作物ＩＤへ書き込み作業者ボタンイベント処理を終了する。
【００６６】
指示者ボタン処理のステップＳ５７１では、図５（１）のステップＳ５２２と同じ処理を行なって指示者スタイラスの位置を作業者世界座標に変換して仮想物体管理部６２に格納する。
【００６７】
ステップＳ５７２では現在指示者が仮想物体を操作中か否かを図９の指示者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５７６に進み、指示者操作物ＩＤが格納されていれば操作中と判定してステップＳ５７４に進む。
【００６８】
ステップＳ５７４では図９の指示者操作物ＩＤの内容をｎｕｌｌに置き換え受信イベントの処理を終了する。
【００６９】
ステップＳ５７６では、仮想物体情報管理部に格納されている現在の指示者スタイラス位置と作業者複合現実空間全ての仮想物体の位置とを比較して距離を求める。
【００７０】
ステップＳ５７８では、前ステップで求めた距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５８０に進み、存在しなければ受信イベントの処理を終了する。
【００７１】
ステップＳ５８０では、前ステップで求められた操作対象物ＩＤと図９の作業者操作物ＩＤを調べ、同じであれば作業者が操作中と判定し受信イベント処理を終了し、同じでなければステップＳ５８２に進む。ステップＳ５８２では、ステップＳ５７８で求められた操作対象物ＩＤを図９の指示者操作物ＩＤへ書き込み受信イベント処理を終了する。
【００７２】
図９の作業者操作物ＩＤと指示者操作物ＩＤは、複数のプロセス（あるいはスレッド）から参照されるので、テーブルの書き換え時にはロックされ他のプロセス（あるいはスレッド）からアクセスされないようにする。このようにして仮想物体それぞれに対する操作権の管理を行なうことができる。
【００７３】
本実施形態では、作業者の空間に設置されているカメラは２台としたが、３台以上でも上述した処理を容易に拡張できる。また３次元位置姿勢センサ２１ａ，２１ｂ、スタイラス４１ａ，４１ｂは磁気センサとして説明したが、光学式や他の方式であっても構わない。また仮想物体４３は実物体４２のＣＧモデルとしたが、これに限らず任意の仮想物体に対しても同様の動作が可能なのは言うまでもない。
【００７４】
また、指示者はＨＭＤ２０ｂを装着するようにしたが、ＨＭＤのかわりに立体視ディスプレイを用いて表示することも可能である。この場合図２（２）２３ｂが指示者空間に置かれる立体視ディスプレイとなる。偏光式や液晶シャッター式の場合には指示者はＨＭＤの替わりに偏光メガネや液晶シャッターメガネを装着するが、レンチキュラー方式など裸眼で立体視が観察可能な場合にはこれらのメガネは必要ない。またいずれの場合にも頭部の位置姿勢を計測する必要があるので３次元位置姿勢センサは装着する必要がある。
【００７５】
本実施形態によれば、作業者が観察しているＨＭＤカメラ視点を含む複数のカメラ視点からの複合現実感映像を遠隔地にいる指示者が選択的に表示、観察しながら作業者の空間をシームレスに知覚し、三次元的な作業指示を行なえるようになると共に、上記複数視点の複合現実感映像を遠隔地にいる複数の参加者が各々選択的に表示、観察しながら、作業者の空間をシームレスに知覚して三次元的な協調作業を行えるようになり、遠隔地間での協調作業の利便性を向上させることができる。
【００７６】
（第二の実施形態）
第一の実施形態において、指示者は作業者空間に設置しているカメラと作業者が装着しているカメラを切り替えて視点変更できることを示したが、作業者が指示者がどの視点からの映像を見ているのか瞬時に判断できない。第二の実施形態ではこの課題を解決するために指示者の視点位置を示す識別子を作業者が確認できるようにする。具体的には、指示者のポインタ４１ｂの色をカメラ視点によって変えるようにする。例えば図２（１）で、指示者が７０ａのカメラ位置を視点としている場合には、指示者ポインタ４１ｂの色を緑にし、７０ｂのカメラ位置を視点としている場合には指示者ポインタ４１ｂの色を青色にする。また作業者カメラ視点の場合には指示者ポインタ４１ｂの色を赤にすることで、作業者は指示者の視点を容易に知覚することができる。
【００７７】
この動作の具体的処理を以下に記述する。第一の実施形態で用いていた図１０のカメラ管理テーブルを図１１に示すように拡張する。すなわちカメラに対応する色の情報を格納する列を追加して、カメラが選択された時に表の対応する色の欄を参照してポインタ４１ｂの色を変更する。この処理は図５（２）に示すステップＳ５３０において、新たなカメラが選択された時にポインタ４１ｂの色を変更するイベントを発生させて仮想物体管理部６１に格納されているシーングラフを変更し、さらにこの色変更イベントを作業者複合現実感装置１０ａへ送信することにより実現される。
【００７８】
また指示者の視点位置を識別させる他の方法として作業者空間に設置されているカメラの周囲またはカメラに重畳して指示者のアバタの顔などの識別子を表示することもできる。このようにすることにより作業者は設置されているカメラの方に視線を向けることで指示者の視点位置が確認できる。この動作を実現するためにステップＳ５３０において、新たなカメラが選択された時にそのカメラ位置に識別子となるＣＧを描画するイベントを仮想物体管理部６１と作業者複合現実感装置１０ａへ送る。カメラ位置は作業者空間の世界座標系の中で既知であるのでこのことは容易に実現できる。またこの識別子のＣＧに対する操作禁止の属性も付与することにより他の仮想物体と区別することができる。またこれらの処理に加えて切替え前のカメラに表示されていたＣＧを消去するためのイベントも仮想物体管理部６１と作業者複合現実感装置１０ａへ送る。以上のようにして作業者空間に指示者視点を示す識別子を表示することで作業者は容易に指示者の視点を知覚することができ遠隔間での作業能率が向上する。
【００７９】
（第三の実施形態）
第一の実施形態では作業者を遠隔にいる一人の指示者が支援する形態であったが、遠隔から複数人数が作業者の複合現実空間を共有することができれば、利用範囲が著しく広くなる。図６は上述の点を目的とした第三の実施形態を示す図である。図６では図２の構成に加えて遠隔の参加者５０ｃが、もう一人の遠隔参加者５０ｂと共に図６（１）の作業者複合現実空間を共有している様子が示されている。作業者複合現実空間に遠隔参加者５０ｃのポインタが４１ｃとして表示され全参加者間で共有されている。図６（２）には遠隔参加者５０ｂ、５０ｃが見ている映像がそれぞれ２３ｂ、２３ｃとして示されている。この例では遠隔参加者５０ｂはカメラ７０ａの視点で、遠隔参加者５０ｃはカメラ７０ｂの視点で作業者複合現実空間に参加している。遠隔参加者の持つスタイラスには第一の実施例と同じようにボタンが２つ設けられ（図示せず）、第一のボタン押下で仮想物体を把持したり離したりといった操作が行われ、第二のボタン押下でカメラ視点位置を変更できる。例えば遠隔参加者５０ｂは、図６（２）の状態でスタイラスの第二のボタンを押下すると視点位置が７０ａから７０ｂに変更され、この状態から再び第二のボタンを押下すると視点位置が７０ｂから作業者カメラ視点に変更され、さらに第二のボタンを押下すると視点位置が作業者カメラから７０ａへと変更される。遠隔参加者５０ｃも同様にスタイラスの第二のボタン押下によって順に視点が変更されていく。ここで遠隔参加者間が同じ視点になっても構わない。但し仮想物体の操作に関しては、同時には一人の参加者しか操作できないものとする。
【００８０】
上述した動作を実現するための装置構成例を図７に示す。この構成例は図１の構成例に、作業者用複合現実感装置１０ｂと同じ構成からなる遠隔参加者用複合現実感装置１０ｃが加わり、音声送受信部３５ｃが管理サーバ６０の音声通信管理部６６と、映像受信部３３ｃが管理サーバ６０の映像通信管理部６５と、仮想物体送信部３１ｃが管理サーバ６０の仮想物体通信管理部６１とそれぞれ接続されている。この例では遠隔参加者が２人の場合を示しているが、遠隔参加者用複合現実感装置１０ｂまたは１０ｃと同じ構成の装置を上述したように管理サーバへ接続することで参加人数を増やすことができる。
【００８１】
以下具体的な処理を第一の実施形態と異なる部分について図面を用いて説明する。作業者用複合現実感装置１０ａについては図３に示される第一の実施例のフローと異なるところはない。遠隔参加者用複合現実感装置１０ｂ、１０ｃの動作については図４に示される第一の実施例のフローと異なるところはない。管理サーバへ接続される遠隔参加者の装置が増えるので第一の実施形態と処理が異なるので図８を用いて説明する。
【００８２】
作業者および指示者からのスタイラス位置情報は、仮想物体通信管理部６１にて受信され、作業者のスタイラス位置情報の処理は第一の実施形態と変わらないので省略する。図８（１）ステップＳ６００からは遠隔参加者によるスタイラス位置イベント処理である。ステップＳ６０２では、ステップＳ５２２と同様の処理で遠隔参加者視点からみたスタイラスの相対位置情報を選択されたカメラ視点からの相対位置情報に変換する。この時選択されたカメラ視点位置は図１３の第２列より求められる。
【００８３】
ステップＳ６０４では、ステップＳ６０２で求められた遠隔参加者スタイラス情報を仮想物体管理部に格納されているシーングラフのポインタ情報に反映させる。ステップＳ６０８では遠隔参加者がスタイラスで仮想物体を操作しているか否かを図１２の仮想物体管理テーブルを参照して判定する。仮想物体管理テーブルは作業者と遠隔参加者がどの仮想物体を操作中であるかを示すテーブルで、行方向に仮想物体の種類が、列方向に作業者と遠隔参加者が示されたマトリックスであり、参加者がどの仮想物体を操作中であるかを管理している。図１２の例では遠隔参加者Ａが仮想物体Ｉを、遠隔参加者Ｂが仮想物体ＩＩＩを操作中であることを示している。参加者ごとに操作中の仮想物体の欄にＯｎのＦｌａｇがセットされ、それ以外の場合にはｎｕｌｌが格納されている。一つの仮想物体は一人の参加者しか操作できないように管理されている。この処理ではスタイラスの位置イベントを送信した遠隔の参加者の列をチェックして、ＦｌａｇがＯｎになっている仮想物体があれば操作中と判定しステップＳ６１０へ、そうでなければ仮想物体を操作中でないと判定しステップＳ６１２へ進む。ステップＳ６１０ではスタイラス位置へ仮想物体を移動してシーングラフを変更する。ステップＳ６１２では、スタイラス位置と仮想物体の操作イベントを作業者複合現実感装置１０ａへ送信して処理を終了する。
【００８４】
図８（２）は視点変更ボタンイベント処理で、これは遠隔参加者がスタイラスの第二のボタンを押下した時に仮想物体通信管理部６１で受信され、仮想物体管理部に送られる。遠隔参加者がどのカメラ視点からの複合現実感映像を観察しているかは、図１３に示すカメラ管理テーブルで管理されている。テーブルの第１列はカメラのＩＤが記されており、表の例ではｎ台のカメラの次の最後の列に作業者カメラが記されている。第２列はカメラの視点位置が作業者空間の世界座標系での６パラメータの組として表されている。第３列からは遠隔参加者ごとにその視点となるカメラを示すＦｌａｇとなっている。この例では遠隔参加者ＢがカメラＩからの視点で参加しており、遠隔参加者Ｃはカメラｎから参加していることを示している。この状態で遠隔参加者Ｂのスタイラスの第二ボタンが押されると、カメラＩＩのＦｌａｇがＯｎに他の行はｎｕｌｌとなる。このようにボタン押下されるごとに行の若い順にカメラが選択され、最後の作業者カメラの次にはカメラＩが選択される。ステップＳ６３０では上述したように該当する遠隔参加者の欄で現在選択されているカメラの行がｎｕｌｌとなり次のカメラの行のＦｌａｇがＯｎとなる。次のステップＳ６３２では、仮想物体管理部６２より映像通信管理部６５に現在の映像のコネクションを終了する命令が送られて映像通信が一旦切断される。ステップＳ５３４では、図１３のカメラ管理テーブルを参照して新たな映像通信のコネクションを開始する。Ｆｌａｇ  Ｏｎになっているカメラがカメラサーバのカメラの場合には選択されたカメラからの入力が画像合成部への入力となる。Ｆｌａｇ  Ｏｎになっているカメラが作業者カメラの場合には画像合成部６４から映像通信管理部６５への画像信号は遮断され、作業者用複合現実感装置１０ａからの入力が映像通信管理部６６から該当する遠隔参加者用複合現実感装置へ送られる。このようにして遠隔参加者は視点が切替わった複合現実感映像を見ることができる。
【００８５】
図８（３）指示者ボタン処理のステップＳ６７１では、図８（１）のステップＳ６０２と同じ処理を行なって遠隔参加者スタイラスの位置を作業者世界座標に変換して仮想物体管理部６２に格納する。ステップＳ６７２ではボタンイベントを発した遠隔参加者が仮想物体を操作中か否かを図１２の該当する遠隔参加者の欄をチェックしＯｎになっているＦｌａｇがなければ操作中でないと判定しステップＳ６７６に進み、ＯｎになっているＦｌａｇがあれば仮想物体を操作中と判定してステップＳ６７４に進む。ステップＳ６７４では図１２の該当する遠隔参加者の列でＦｌａｇがＯｎになっている欄をｎｕｌｌにして処理を終了する。ステップＳ６７６では、仮想物体情報管理部に格納されている現在の遠隔参加者スタイラス位置と作業者複合現実空間全ての仮想物体の位置とを比較して距離を求める。
【００８６】
ステップＳ６７８では、前ステップで求めた距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ６８０に進み、存在しなければ受信イベントの処理を終了する。
【００８７】
ステップＳ６８０では、前ステップで求められた操作対象物ＩＤと図１２の作業者操作物管理テーブルを調べ、操作対象仮想物体の行のいずれかの欄のＦｌａｇがＯｎになっていれば他の参加者が操作中と判定し受信イベント処理を終了し、操作対象仮想物体の行のどの欄もＦｌａｇがＯｎでなければステップＳ６８２に進む。ステップＳ６８２では、ステップＳ６７８で求められた操作対象物ＩＤに対し、図１２の該当する欄のＦｌａｇをＯｎにして遠隔参加者ボタン処理を終了する。以上のような処理によって複数の遠隔参加者が作業者複合現実空間に複数の視点から参加しポインティングしたり共有仮想物体の操作を行うことができる。
【００８８】
（第四の実施形態）
第三の実施形態において、遠隔参加者は作業者空間に設置しているカメラと作業者が装着しているカメラを切り替えて視点変更できることを示したが、遠隔参加者がどの視点からの映像を見ているのかが参加者瞬時に判断できない。第四の実施形態ではこの課題を解決するために遠隔参加者の視点位置を示す識別子を作業者が確認できるようにする。
【００８９】
このために作業者空間に設置されているカメラの周囲またはカメラに重畳して遠隔参加者のアバタの顔などの識別子を表示する。このようにすることにより作業者は設置されているカメラの方に視線を向けることでどの遠隔参加者がどの視点位置から参加しているのかを確認できる。この動作を実現するためにステップＳ６３０において、新たなカメラが選択された時にそのカメラ位置に識別子となるＣＧを描画するイベントを仮想物体管理部６１と作業者複合現実感装置１０ａへ送る。カメラ位置は作業者空間の世界座標系の中で既知であるのでこのことは容易に実現できる。またこのＣＧに対する操作禁止の属性も付与することにより他の仮想物体と区別することができる。またこれらの処理に加えて切替え前のカメラに表示されていたＣＧを消去するためのイベントも仮想物体管理部６１と作業者複合現実感装置１０ａへ送る。以上のようにして作業者空間に遠隔参加者視点を示す識別子を表示することで作業者だけでなく遠隔参加者の間でも容易に他の参加者視点を知覚することができ遠隔間での作業能率が向上する。識別子としては顔のＣＧの他に参加者の名前を示すテキストデータを用いたり色で識別したりすることも可能である。同じカメラ視点を複数の遠隔参加者が共有する場合には、識別子のＣＧが重ならないように表示することで上記目的を達成できる。
【００９０】
（第五の実施形態）
第三の実施形態において、作業者空間に配置されるステレオカメラは固定として扱っているが、パンチルトなどの動作やカメラを車台の上に載せて移動できるように構成してもよい。この場合カメラの視点位置姿勢を常にリアルタイムで求める必要があるが、前述した実施形態でカメラには三次元位置姿勢センサが搭載されているのでこれを用いれば位置姿勢計測は可能である。カメラ操作時にカメラ位置姿勢計測をし、その結果のカメラ視点位置座標を図１２に格納すれば第三の実施形態と同じ動作で実現できる。
【００９１】
遠隔作業者からこのようなカメラの移動制御するための入力デバイスが必要であるが、制御できる方向に応じてスタイラスにジョイスティックなどを取り付けることで実現できる。また遠隔の作業者が複数の場合カメラの操作要求が衝突する可能性があるので管理サーバ６０またはカメラサーバ７０ａ、７０ｂなどに操作権管理機能を良く知られた技術で実現することができる。このように複数の遠隔参加者が複数のカメラからの視点で観察して作業者複合現実空間に参加できるだけでなく視点位置も遠隔からコントロールすることができより自由度の大きい遠隔協調作業支援システムが実現できる。
【図面の簡単な説明】
【００９２】
【図１】第一の実施形態における遠隔複合現実感共有システムの機能構成を示すブロック図である。
【図２】作業者複合現実感空間の様子と遠隔の指示者用複合現実感装置の画面表示例を示す図である。
【図３】作業者用複合現実感装置での作業者処理のフローチャートである。
【図４】指示者用複合現実感装置での指示者処理のフローチャートである。
【図５】管理サーバでの受信イベント処理のフローチャートである。
【図６】第三の実施形態における作業者複合現実感空間と複数の遠隔参加者用複合現実感装置の画面表示例を説明する図である。
【図７】第三の実施形態における遠隔複合現実感共有システムの機能構成を示すブロック図である。
【図８】第三の実施形態における管理サーバでの受信イベント処理の一部のフローチャートである。
【図９】仮想物体操作テーブルの一例を示す図である。
【図１０】カメラ管理テーブルの一例を示す図である。
【図１１】第二の実施形態におけるカメラ管理テーブルの一例を示す図である。
【図１２】第三の実施形態における仮想物体管理テーブルの一例を示す図である。
【図１３】第三の実施形態におけるカメラ管理テーブルの一例を示す図である。
【図１】
2006293604.tif 000003
【図２】
2006293604.tif 000004
【図３】
2006293604.tif 000005
【図４】
2006293604.tif 000006
【図５】
2006293604.tif 000007
【図６】
2006293604.tif 000008
【図７】
2006293604.tif 000009
【図８】
2006293604.tif 000010
【図９】
2006293604.tif 000011
【図１０】
2006293604.tif 000012
【図１１】
2006293604.tif 000013
【図１２】
2006293604.tif 000014
【図１３】
2006293604.tif 000015