(57)【特許請求の範囲】
【請求項１】
ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得手段と、
現実世界モデルデータと、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータとを蓄積するデータ蓄積手段と、
前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得手段と、
前記ユーザの視点の位置姿勢情報、前記他ユーザの情報、前記現実世界モデルデータ、前記仮想世界モデルデータおよび前記アノテーションデータを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成手段と、
前記ユーザの視点からの現実世界画像、前記生成された仮想世界画像および前記生成されたアノテーション画像を合成することにより得られる複合現実空間画像を表示する表示手段とを有し、
前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーション画像を生成することを特徴とする情報提示装置。
【請求項２】
さらに、前記データ蓄積手段に蓄積されているアノテーションデータから、前記ユーザが注目している対象物のアノテーションデータを選択する選択手段と、
前記選択手段によって選択されたアノテーションデータに関する情報、前記ユーザの識別情報および前記ユーザの位置姿勢情報を、前記他のユーザの情報提示装置に送信する送信手段とを有することを特徴とする請求項１記載の情報提示装置。
【請求項３】
さらに、ユーザの操作を入力する操作入力部を有し、
前記選択手段は、前記操作入力部からのユーザの操作の情報に応じて、前記ユーザが注目している対象物のアノテーションデータを選択することを特徴とする請求項２記載の情報提示装置。
【請求項４】
前記選択手段は、前記ユーザの視点の位置姿勢情報に応じて、前記ユーザが注目している対象物のアノテーションデータを選択することを特徴とする請求項２記載の情報提示装置。
【請求項５】
前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーションを生成することを特徴とする情報提示装置。
【請求項６】
データ蓄積部に蓄積された現実世界モデルデータ、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータを用いて、ユーザの視点に応じた仮想世界画像およびアノテーション画像を生成するとともに、表示装置にユーザの視点からの現実世界画像と前記生成された仮想世界画像およびアノテーション画像とが合成された複合現実空間画像を表示装置に表示させるための情報処理方法であて、
ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得工程と、
前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得工程と、
前記ユーザの視点の位置姿勢情報、前記他ユーザの情報および、前記データ蓄積部に蓄積された前記現実世界モデルデータと前記仮想世界モデルデータと前記アノテーションデータとを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成工程とを有し、
前記生成工程は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーションを生成することを特徴とする情報処理方法。
【請求項７】
現実世界モデルデータ、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータを蓄積するデータ蓄積部および、ユーザの視点からの現実世界画像と生成された仮想世界画像およびアノテーション画像とが合成された複合現実空間画像を表示する表示装置と接続されたコンピュータを用いて、請求項６記載の情報処理方法を実現するためのプログラムであり、該コンピュータが読み取り可能に記録媒体に記録されたプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、現実世界および仮想世界を合成した映像を提示するものに関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した装置が盛んに提案されている。中でもヘッドマウントディスプレイ（HMD: Head Mounted Display）を装着したユーザが観測している現実世界や仮想世界に対して、仮想の情報を重畳してユーザに提示するような装置では、工事やメンテナンスなどの作業性を向上させることが期待できる。例えば、ユーザが装着したHMD上に、現実世界の映像に重畳して仮想の旗を表示することで、測量作業を支援する方法が提案されている。しかし、そのような装置の多くは、単一のユーザのみが使用することを前提としており、複数人が一つの複合現実空間（MR空間）を共有するような、会議や講演、協調を必要とする作業などには、必ずしも適したものであるとは言えなかった。
【０００３】
【発明が解決しようとする課題】
複数人が一つのMR空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行う際には、複数人で同一の対象を観測し、その対象物に関する情報を共有することが必要である。
【０００４】
本発明は、現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供できるようにすることを目的とする。
【０００５】
本発明は、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
本願請求項１記載の発明は、ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得手段と、現実世界モデルデータと、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータとを蓄積するデータ蓄積手段と、前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得手段と、前記ユーザの視点の位置姿勢情報、前記他ユーザの情報、前記現実世界モデルデータ、前記仮想世界モデルデータおよび前記アノテーションデータを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成手段と、前記ユーザの視点からの現実世界画像、前記生成された仮想世界画像および前記生成されたアノテーション画像を合成することにより得られる複合現実空間画像を表示する表示手段とを有し、前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーション画像を生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１０】
図１には、本実施形態の情報提示装置、および情報提示方法が適用される一実施の形態の全体構成を示す。
【００１１】
ユーザ操作入力部１０１は、例えば押しボタンスイッチ、マウス、ジョイスティックなどの入力装置からなり、情報提示装置１００の使用者であるユーザが操作することによって、操作内容に応じた制御情報を仮想映像生成部１０５へ送る。
【００１２】
ユーザ視点位置姿勢計測部１０２は、例えば磁気センサや光学式センサなどの位置姿勢計測装置からなり、ユーザの視点の位置姿勢を６自由度で計測し、仮想映像生成部１０５へ送る。位置姿勢計測装置をユーザの視点に設置することは一般的に困難であるため、ユーザ視点位置姿勢計測部１０２は、位置姿勢計測装置の出力結果をもとに、ユーザの視点の位置姿勢を算出する機能を持つ。例えば、位置姿勢計測装置をユーザの頭部に固定することによって、位置姿勢計測装置の出力とユーザの視点での位置姿勢との関係は、常に一定に保たれ、定式で表現される。この定式をあらかじめ求めておくことにより、位置姿勢計測装置の出力からユーザ視点での位置姿勢を算出する。また，ユーザ視点映像入力部１０６によって現実世界の映像を取り込み、位置姿勢計測装置の出力結果の誤差を補正するための画像処理を行ってもよい。この画像処理は、例えば、現実空間上で三次元座標が既知である複数の特徴点について、画像上での位置を検出し、位置姿勢計測装置の出力結果から計算される特徴点の画像上の位置との比較を行うことで、位置姿勢計測装置の誤差を算出し、その誤差を打ち消すように位置姿勢計測装置の出力結果を補正する処理である。また，この画像処理のみからユーザの視点の位置姿勢を算出してもよい。
【００１３】
モデルデータ蓄積部１０３は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、仮想世界をコンピュータグラフィックス（CG:Computer Graphics）で描画するために必要な仮想世界モデルデータと、現実世界と仮想世界とを正しく合成するために必要な現実世界モデルデータと、仮想世界映像を生成するために必要なデータを保持し、蓄積する。仮想世界モデルデータには、仮想世界上に配置される仮想のCG物体のポリゴンを構成する頂点の三次元座標、面の構成情報、CG物体の識別情報、色情報、テクスチャ情報、CG物体の大きさ、CG物体が仮想世界中に配置される位置姿勢情報等が含まれる。現実世界モデルデータには、仮想世界と融合する現実世界に存在する物体のポリゴンを構成する頂点の三次元座標、面の構成情報、識別情報、物体の大きさや配置される位置姿勢情報等が含まれる。仮想世界映像を生成するために必要なデータには、ユーザ視点映像取得部１０６が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータ等が含まれる。撮像装置モデルデータ蓄積部１０３に蓄積されている情報は仮想映像生成部１０５に送られる。モデルデータ蓄積部１０３は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１４】
アノテーションデータ蓄積部１０４は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、現実世界や仮想世界に表示する付加情報であるアノテーションデータを保持し、蓄積する。アノテーションデータには現実世界および仮想世界の物体が配置されている位置や姿勢の情報、物体の識別情報、物体の情報をユーザに示すためのテキストや記号、画像等のデータが含まれる。アノテーションデータ蓄積部１０４は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１５】
仮想映像生成部１０５は、コンピュータのCPUやMPU等で実現され、ユーザ視点位置姿勢獲得部１０２から得られるユーザの視点の位置姿勢情報に基づき、仮想世界でのユーザの視点を設定し、その視点からモデルデータ蓄積部１０３が保持するモデルデータをCGで描画して、ユーザ視点から見た仮想世界の映像を生成する。さらに、仮想映像生成部１０５は伝送路２００にデータを送信する機能および伝送路２００からデータを受信する機能を持ち、伝送路２００を通じて、他の情報提示装置１００の仮想映像生成部１０５と相互に接続し、必要な情報の交換を行う。複数のユーザがそれぞれ情報提示装置１００を利用することにより、複数人が同一のMR空間を共有することが可能である。図２は複数のユーザが情報提示装置１００を利用する場合の構成を示した図である。仮想映像生成部１０５は、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢や、伝送路２００から得た他のユーザの視点の位置姿勢をもとに、アノテーションデータ蓄積部１０４で保持されているアノテーションデータに基づいて、ユーザに提示するべきアノテーションを生成し、仮想世界の画像上に重畳して表示する。生成されるアノテーションは二次元のものに限られない。三次元形状を有するアノテーションを生成し、モデルデータ蓄積部１０３が保持している仮想世界モデルと共にCGとして描画してもよい。また、仮想映像生成部１０５はユーザ操作入力部１０１から送られるユーザの操作情報に従って仮想世界を操作したり、生成されるアノテーションを制御する機能を持つ。
【００１６】
ユーザ視点映像入力部１０６は、CCDカメラなどの１つまたは２つの撮像装置を持ち、画像取り込み装置を介してユーザの目に映る現実世界の映像を獲得し、映像表示部１０７へ送られる。映像表示部１０７に光学シースルー型のHMDを備える場合においては、ユーザは現実世界を直接観測することが可能であり、ユーザ視点映像入力部１０６は不要となる。
【００１７】
映像表示部１０７は、HMDやディスプレイなどの映像表示装置を備え、ユーザ視点映像獲得部１０６によって獲得されたユーザが見る現実世界の映像と、仮想映像生成部１０５によって生成された仮想世界の映像とを合成して、その合成映像をユーザの目の前に表示する。画像表示装置に光学シースルー型のHMDを用いる場合においては、仮想映像生成部１０５によって生成された仮想世界の映像をユーザの目の前に表示する。
【００１８】
伝送路２００は、有線または無線のコンピュータネットワークを実現する媒体からなり、複数の情報提示装置１００を接続し、情報提示装置１００が相互に交換するデータが流される。
【００１９】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本実施形態の情報提示装置における処理の手順を説明するフローチャートである。
【００２０】
ステップＳ０００において情報提示装置が起動され、初期化のために必要な処理が行われる。
【００２１】
ステップＳ１００では、ユーザがユーザ操作入力部１０１に対して行った操作が認識され、操作内容に応じた制御信号に変換された上で仮想画像描画部１０５へと送られる。
【００２２】
ステップＳ２００では、ユーザの視点での位置姿勢情報がユーザ視点位置姿勢計測部１０２において計測され、仮想画像描画部１０５へと送られる。
【００２３】
ステップＳ３００では、ユーザ視点映像入力部１０６において、ユーザの視点から見える現実世界の映像が取り込まれ、画像描画部１０７に送られる。画像描画部１０７の画像表示装置に光学シースルー型のHMDを備える場合には、ステップＳ２００の処理は不要となる。
【００２４】
ステップＳ４００では、仮想映像生成部１０５において、伝送路２００から通信データを受信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００２５】
ステップＳ５００では、仮想映像生成部１０５において、ステップＳ１００において得られたユーザの操作情報、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報、ステップＳ４００において得られた他のユーザに関する情報をもとに、ユーザに提示するアノテーションを決定する。
【００２６】
ステップＳ５００において、ユーザが注目している現実世界あるいは仮想世界の対象物を他のユーザに伝え、その対象物を注目させるようにすると、複数のユーザがMR空間内で情報を共有し、会議や講演、協調を必要とする作業などを行う上で非常に有用である。以下にその手段を示す。
【００２７】
まず、アノテーションデータ蓄積部１０４に蓄積されている現実世界および仮想世界の物体の情報から、現在ユーザが注目している対象物に関するデータを検索し、選択する。ユーザが注目している対象物を、情報提示装置１００が自動的に認識して選択してもよいし、またはユーザが入力装置１０１を操作して選択してもよい。
【００２８】
ユーザが注目している対象を自動で認識する方法として、ステップＳ２００で取得されたユーザ視点の位置姿勢情報と、モデルデータ蓄積部１０３が保持している撮像装置の内部パラメータを用いることが考えられる。
【００２９】
ステップＳ５００において、撮像装置の内部パラメータと、ユーザの視点の位置姿勢情報をもとに、アノテーションデータ蓄積部１０４からユーザの視界の内側に存在する対象物の候補すべてを取り出す。これらの候補について、ユーザの視線と対象物を代表する点とのユークリッド距離を算出し、ユークリッド距離を最小とするような候補を注目対象と見なすことができる。
【００３０】
ある対象がユーザの視界の内側にあるかどうかの判定には、例えば、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢情報と、ユーザ視点映像取得部１０６が備える撮像装置の内部パラメータから算出する方法が考えられる。ユーザの視点の位置姿勢から、撮像装置の内部パラメータを用いて、対象を画像面上に射影する。画像面上に射影した対象の座標が、画像の大きさで規定されるある範囲内に存在すれば、ユーザの視界の内側にあることがわかる。
【００３１】
撮像装置の内部パラメータから作られる行列を
【外１】
0004065507.tif 000002
とする。ここでαｕ，αＶは撮像装置の画素の大きさ、θは撮像素子の縦軸と横軸のなす角、ｕ０，ｖ０は画像中心の座標を表している。ユーザの視点の位置姿勢から作られる行列を
Ｐ＝（Ｒｔ）
とする。Ｒはユーザの視点の姿勢を表す３行３列の回転行列、ｔはユーザの視点の位置を表す３次元のベクトルを表している。対象の３次元座標を同次座標による表現を用いてｘ＝（Ｘ，Ｙ，Z，１）Ｔ、対象の画像面上に射影された点の座標を同次座標による表現を用いてｕ＝（ｕ，ｖ，ｗ）Ｔとする。
【００３２】
ｕ＝ＫＰ−１ｘ
を計算することによってｕを得ることができる。画像のｕ軸方向の範囲を［ｕｍｉｎ，ｕｍａｘ］、ｖ軸方向の範囲を［ｖｍｉｎ，ｖｍａｘ］とすると、ｕに関して、
【００３３】
【外２】
0004065507.tif 000003
【００３４】
【外３】
0004065507.tif 000004
【００３５】
を満たせば、対象がユーザの視界の内側にあることがわかる。
【００３６】
ユーザの視点の位置姿勢から作られる直線と対象物を代表する点との距離を算出するためには、対象物を代表する点を通りユーザの視線と交わるベクトルを求め、そのベクトルの長さの最小値を計算する方法が考えられる。
【００３７】
ユーザの視線を
ｖ＝ｔ＋ｋｐ
と表現する。ｔはユーザの視点の位置を表す３次元ベクトル、ｐはユーザの視点での姿勢を表す３次元ベクトル、ｋは0でない実数である。
【００３８】
また、対象物を代表する点を３次元ベクトルで表現し、これをｂとする。ｂを通り、視線と直交するベクトルが視線と交わる点をｔ＋ｍｐとすると、ｔ＋ｍｐとｂとの距離を最小にするようなｍを求めればよく、このときの
【外４】
0004065507.tif 000005
【００３９】
が視線と対象物を代表する点との距離となる。
【００４０】
これを計算すると
【外５】
0004065507.tif 000006
となる。
【００４１】
ユーザが注目している対象物を、ユーザ操作入力部１０１が備える入力装置を操作することによって選択する方法として、マウスやジョイスティックなどの入力装置を用い、注目ユーザが映像表示部１０７で表示される合成映像を見ながら入力装置を操作する方法が考えられる。例えばマウスを操作して、カーソルを注目対象物が表示されている箇所に動かし、ボタンを押すことによって、所望の対象物を選択する。ユーザが操作したカーソルが、アノテーションデータ蓄積部１０４に保持されている物体が表示されている箇所に達したときには、その物体に関するアノテーションを生成することによって、ユーザはその物体のデータがアノテーションデータ蓄積部１０４に保持されているかどうかを確認することが可能である。
【００４２】
ユーザが注目している対象物について、対象物の識別番号は、ステップＳ６００において伝送路２００に伝送される。このとき同時に、ユーザの識別番号、位置姿勢情報についても送信される。また、ステップＳ４００において、伝送路２００から他のユーザが注目している対象物の識別番号と他のユーザの識別番号および位置姿勢情報が受信される。
【００４３】
あるユーザ（被注目ユーザと呼ぶ）が利用している情報提示装置１００の仮想映像生成部１０５において、他のユーザ（注目ユーザと呼ぶ）が注目している対象物が、被注目ユーザの視界の外側にある場合には、その対象物の方向を示すアノテーションを生成する。このアノテーションには、記号、文字列、画像などが含まれる。どの注目ユーザが注目している対象物なのかを容易に理解できるように、色、形状、字体などの属性を注目ユーザごとに変えたアノテーションや、注目ユーザを識別できる名前を示すアノテーションを生成するようにしてもよい。被注目ユーザはアノテーションで示される方向を向くことにより、注目ユーザが観測している対象物を見ることができるようになる。
【００４４】
注目ユーザが注目している対象物が被注目ユーザの視界の内側にある場合には、その対象物の情報を示すアノテーションを生成する。この際、他のアノテーションと色、形状、字体などの属性を変えることにより、目立ちやすくなる。
【００４５】
また、被注目ユーザがユーザ操作入力部１０１が備える入力装置を利用することで、生成するアノテーションの対象を制御することも可能である。例えば、ある特定の注目ユーザを選択し、その注目ユーザが注目している対象物に関するアノテーションだけを生成するようにしてもよいし、すべての注目ユーザが注目している対象物に関するアノテーションを生成するようにしてもよい。この選択は、被注目ユーザが入力装置を用いて行うのみに限られず、ステップＳ０００の前に、あらかじめ入力しておくようにしてもよい。
【００４６】
図４では、注目ユーザであるユーザ１がある建物を観測しており、その建物が被注目ユーザであるユーザ２の視界の外側にある場合において、ユーザ２に提示する画面には、その建物の方向を示す矢印と、ユーザ１の名前を示すアノテーションを生成して表示する様子を示している。
【００４７】
図５では、注目ユーザであるユーザ１がある建物を注目しており、その建物が被注目ユーザであるユーザ２の視界の内側にある場合において、ユーザ２に提示する画面には、建物の名前を示す黒字に白のテキストのアノテーションを生成し、他のアノテーション（黒地に白のテキスト）と異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。
【００４８】
注目ユーザが利用している情報提示装置１００において、注目対象物に関する情報のアノテーションを生成する際に、他のアノテーションとは色、形状、字体などの属性を変えることにより、目立ちやすくする。また、注目している対象物を被注目ユーザが観測しているか否かを示す情報のアノテーションを生成して、注目ユーザに提示する。
【００４９】
図６では、注目ユーザであるユーザ１がある建物を注目しており、ユーザ１に提示する画面には、建物の名前を示す黒地に白のテキストのアノテーションを生成し、他のアノテーションと異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。また、被注目ユーザが建物を観測しているか否かを示す情報のアノテーションを生成して表示している様子を示している。
【００５０】
また、各ユーザの情報提示装置１００において、現実世界においてユーザの視界の内側に他のユーザが存在する場合には、そのユーザを識別できる名前を示すアノテーションを生成する。存在しない場合には各ユーザが存在する方向を示す矢印と、そのユーザを識別できる名前を示すアノテーションを生成する。
【００５１】
図７はユーザ１の視界の内側に存在するユーザ４についてはその位置を示すアノテーションを生成し、視界の外側に存在するユーザ２とユーザ３については、存在する方向を示す矢印およびユーザを識別できる名前を示すアノテーションを生成して、ユーザ１の画面に表示している様子を示している。
【００５２】
ステップＳ６００では、仮想映像生成部１０５において、伝送路２００へ通信データを送信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００５３】
ステップＳ７００では、モデルデータ蓄積部１０３に蓄積されているモデルデータを、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報に基づいてユーザの視点を設定し、その視点から見える仮想世界を描画する。さらにステップＳ６００において決定されたアノテーションを、仮想世界の映像上に重畳して描画する。
【００５４】
ステップＳ７００において、まず、ステップＳ２００において得られたユーザの視点位置からの現実世界の映像を背景として描画し、その上から仮想世界およびアノテーションを描画しても構わない。このとき、ステップＳ８００では、描画結果の映像を映像表示装置に出力するだけの処理を行う。
【００５５】
ステップＳ８００では、ステップＳ２００によって得られたユーザの視点位置からの現実世界の映像と、ステップＳ７００において生成された仮想世界の映像とを合成した映像を描画し、画像表示装置に出力する。映像表示部１０７が備える映像表示装置に光学シースルー型のHMDを備えている場合には、仮想世界の映像を描画し、映像表示装置に出力する。
【００５６】
ステップS９００では、情報提示装置１００はステップS１００に戻る、もしくは終了する。
【００５７】
本実施形態によれば、あるユーザが他のユーザに注目させたい対象を伝えること、ユーザが注目すべき対象の場所やその方向を知ること、あるユーザが現在注目している対象が、他のユーザから観測されているか否かを知ることが可能となり、複数人が一つの複合現実空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行うことが容易になる。
【００５８】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
【発明の効果】
本発明によれば、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示することができる。
【図面の簡単な説明】
【図１】実施形態による情報提示装置の概略構成を示すブロック図である。
【図２】実施形態において、複数の情報提示装置が伝送路を介して相互接続される場合の構成を示すブロック図である。
【図３】情報提示装置における処理の手順を説明するフローチャートである。
【図４】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の外にある場合において、被注目ユーザに対象の位置を知らしめる手段を説明する図である。
【図５】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の内にある場合において、被注目ユーザに対象とそれに関する情報を知らしめる手段を説明する図である。
【図６】実施形態における、注目ユーザの注目している対象が各被注目ユーザの視界の内にあるかどうかを注目ユーザに示す手段を説明する図である。
【図７】実施形態における、他のユーザが存在する場所をユーザに示す手段を説明する図である。
【図１】
0004065507.tif 000007
【図２】
0004065507.tif 000008
【図３】
0004065507.tif 000009
【図４】
0004065507.tif 000010
【図５】
0004065507.tif 000011
【図６】
0004065507.tif 000012
【図７】
0004065507.tif 000013