(57)【要約】【課題】  手の状態に応じて、手を模した仮想物体を仮想空間中に配置する為の技術を提供すること。【解決手段】  属性設定部３０６は、手の位置姿勢と把持具の位置姿勢との位置姿勢関係を求める。記憶部３０８にハンドモデルとして予め保持している複数種の手の状態のそれぞれを表すハンドモデルのうち、求めた位置姿勢関係に対応するハンドモデルを、仮想空間中に配置する対象としてモデルデータ属性設定部３０６、画像生成部３０７が選択する。【選択図】  図３
2009087161.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視点の位置姿勢を取得する手段と、
前記ユーザの手の位置姿勢を取得する手段と、
前記手が把持する対象としての把持具の位置姿勢を取得する手段と、
前記手を模した仮想物体を、前記手の位置姿勢で仮想空間中に配置する第１の配置手段と、
前記把持具を模した仮想物体を、前記把持具の位置姿勢で前記仮想空間中に配置する第２の配置手段と、
前記第１の配置手段、前記第２の配置手段により仮想物体が配置された前記仮想空間の画像を、前記視点の位置姿勢に基づいて生成する手段と、
前記仮想空間の画像を出力する出力手段とを備え、
前記第１の配置手段は、
前記手の位置姿勢と前記把持具の位置姿勢との位置姿勢関係を求める計算手段と、
前記手を模した仮想物体として予め保持している、複数種の手の状態のそれぞれを表す仮想物体のうち、前記位置姿勢関係に対応する仮想物体を、前記仮想空間中に配置する対象として選択する選択手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の配置手段は、前記手の位置と、前記把持具の位置との間の距離を求め、求めた当該距離が予め定めた距離以下である場合に、前記計算手段、前記選択手段による処理を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記視点から見える現実空間の画像を取得する手段を備え、
前記出力手段は、前記仮想空間の画像を、前記現実空間の画像に合成した状態で出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の配置手段は、前記位置姿勢関係に対応する前記把持具を模した仮想物体を、前記仮想空間中に配置することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記位置姿勢関係に対応する仮想物体は、把持具の種類毎に異なり、
前記選択手段は、前記手が把持する対象としての把持具の種類に基づいて、前記位置姿勢関係に対応する仮想物体を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
ユーザの視点の位置姿勢を取得する工程と、
前記ユーザの手の位置姿勢を取得する工程と、
前記手が把持する対象としての把持具の位置姿勢を取得する工程と、
前記手を模した仮想物体を、前記手の位置姿勢で仮想空間中に配置する第１の配置工程と、
前記把持具を模した仮想物体を、前記把持具の位置姿勢で前記仮想空間中に配置する第２の配置工程と、
前記第１の配置工程、前記第２の配置工程で仮想物体が配置された前記仮想空間の画像を、前記視点の位置姿勢に基づいて生成する工程と、
前記仮想空間の画像を出力する出力工程とを備え、
前記第１の配置工程は、
前記手の位置姿勢と前記把持具の位置姿勢との位置姿勢関係を求める計算工程と、
前記手を模した仮想物体として予め保持している、複数種の手の状態のそれぞれを表す仮想物体のうち、前記位置姿勢関係に対応する仮想物体を、前記仮想空間中に配置する対象として選択する選択工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータに請求項６に記載の画像処理方法を構成する各工程を実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感を提供するための技術に関するものである。
【背景技術】
【０００２】
従来から、仮想空間と現実空間とを融合させた複合現実空間（Mixed Reality；MR）を利用したシステム（ＭＲシステム）がある。ＭＲとは、計算機によって生成した仮想空間を、現実空間に３次元的に位置合わせした状態で重畳して観察者に提示することにより、両空間の情報を相互に補完・増強する技術である。なお、複合現実感技術については、例えば、非特許文献１に開示されている。
【０００３】
複合現実空間をユーザに提示する方法には様々なものがあるが、その一つがユーザの頭部にHMD（Head Mount Display）を装着させて提示する方法である。
【０００４】
現在、HMDを利用したMRシステムが、デザイン評価や組み立て性検証、ユーザビリティ検証などに使用されている。
【０００５】
ユーザによる評価および検証作業を行う際、ユーザの手がどのような状態かを把握できれば、作業をスムーズに行うことができる。例えば、ユーザビリティ検証を行う場合において、検証者は、ＣＧで表示された仮想の製品のボタンに対して手が届くか、アクセスしやすいか等を確認したい。また、手で把持しているドライバが、ＣＧで表示された仮想の製品の隙間に入るか、ドライバによるメンテナンスが可能か等も確認したい。そこで、現実の手や道具に対応したＣＧを仮想空間および複合現実空間内に表示することがなされている。
【非特許文献１】Ｈ．  Ｔａｍｕｒａ，  Ｈ．  Ｙａｍａｍｏｔｏ  ａｎｄ  Ａ．  Ｋａｔａｙａｍａ：  “Ｍｉｘｅｄ  ｒｅａｌｉｔｙ：  Ｆｕｔｕｒｅ  ｄｒｅａｍｓ  ｓｅｅｎ  ａｔ  ｔｈｅ  ｂｏｒｄｅｒ  ｂｅｔｗｅｅｎ  ｒｅａｌ  ａｎｄ  ｖｉｒｔｕａｌ  ｗｏｒｌｄｓ，”  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，  ｖｏｌ．２１，  ｎｏ．６，  ｐｐ．６４−７０，  ２００１．
【非特許文献２】Ａ．  Ｔａｋａｇｉ，  Ｓ．  Ｙａｍａｚａｋｉ，  Ｙ．  Ｓａｉｔｏ，  ａｎｄ  Ｎ．  Ｔａｎｉｇｕｃｈｉ：  “Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  ａ  ｓｔｅｒｅｏ  ｖｉｄｅｏ  ｓｅｅ−ｔｈｒｏｕｇｈ  ＨＭＤ  ｆｏｒ  ＡＲ  ｓｙｓｔｅｍｓ”，  ＩＳＡＲ２０００，  ｐｐ．６８−７７，  ２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の仮想空間および複合現実空間の画像を表示する方法では、現実の手の動作状態が変化した場合に、その手の動作に対応して手のＣＧの形状を変化させることが簡単ではなかった。例えば、はじめはパーの状態の手がなんらかの道具を持つと、グーなどの状態に変化する。従って、この現実の手の動作に対応して、仮想空間および複合現実空間内の手のＣＧの形状もパーからグーなどに変化させたいが、手のCGの形状はパーのままになってしまう。
【０００７】
係る課題を解決するために、オペレータが手のCGの切り替え入力操作を行う、という方法があるが、この方法の場合、HMDを装着しているユーザ以外にオペレータを必要とするし、現実の手の動作に応じて自動的に手のCGを切替えることができない。
【０００８】
また、手の動きを入力することが可能なグローブ型の入力デバイスを手に装着し、その入力に対応して手のCGを切替える方法がある。しかし、係る入力デバイスは高価であるし、係る入力デバイスの重量は重いので、係る入力デバイスを装着するユーザに負担を与えることになる。
【０００９】
このように、オペレータによる入力や、手の動作の入力デバイスを用いることなく、現実の手の動作に対応した手のCGを表示する方法は現在存在していない。
【００１０】
また、従来の仮想空間および複合現実空間の画像を表示する方法では、ユーザが把持している道具のCGを切替えて表示するためにはキーボードやマウスなどによる入力操作が必要であった。例えば、手でドライバーを把持している状態のCGから、手でペンチを把持している状態のCGに切替えたい場合に、HMDを装着しているユーザは、現実の手で道具を操作しながら道具のCGを切替えることができない。
【００１１】
本発明は以上の問題に鑑みてなされたものであり、手の状態に応じて、手を模した仮想物体を仮想空間中に配置する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１３】
即ち、ユーザの視点の位置姿勢を取得する手段と、
前記ユーザの手の位置姿勢を取得する手段と、
前記手が把持する対象としての把持具の位置姿勢を取得する手段と、
前記手を模した仮想物体を、前記手の位置姿勢で仮想空間中に配置する第１の配置手段と、
前記把持具を模した仮想物体を、前記把持具の位置姿勢で前記仮想空間中に配置する第２の配置手段と、
前記第１の配置手段、前記第２の配置手段により仮想物体が配置された前記仮想空間の画像を、前記視点の位置姿勢に基づいて生成する手段と、
前記仮想空間の画像を出力する出力手段とを備え、
前記第１の配置手段は、
前記手の位置姿勢と前記把持具の位置姿勢との位置姿勢関係を求める計算手段と、
前記手を模した仮想物体として予め保持している、複数種の手の状態のそれぞれを表す仮想物体のうち、前記位置姿勢関係に対応する仮想物体を、前記仮想空間中に配置する対象として選択する選択手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１５】
即ち、ユーザの視点の位置姿勢を取得する工程と、
前記ユーザの手の位置姿勢を取得する工程と、
前記手が把持する対象としての把持具の位置姿勢を取得する工程と、
前記手を模した仮想物体を、前記手の位置姿勢で仮想空間中に配置する第１の配置工程と、
前記把持具を模した仮想物体を、前記把持具の位置姿勢で前記仮想空間中に配置する第２の配置工程と、
前記第１の配置工程、前記第２の配置工程で仮想物体が配置された前記仮想空間の画像を、前記視点の位置姿勢に基づいて生成する工程と、
前記仮想空間の画像を出力する出力工程とを備え、
前記第１の配置工程は、
前記手の位置姿勢と前記把持具の位置姿勢との位置姿勢関係を求める計算工程と、
前記手を模した仮想物体として予め保持している、複数種の手の状態のそれぞれを表す仮想物体のうち、前記位置姿勢関係に対応する仮想物体を、前記仮想空間中に配置する対象として選択する選択工程と
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明の構成により、手の状態に応じて、手を模した仮想物体を仮想空間中に配置することができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【００１８】
［第１の実施形態］
先ず、本実施形態の概要について説明する。
【００１９】
図１Ａは、現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。図１Ｂは、上記ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【００２０】
図１Ａにおいて、１０１は、ユーザの手（現実物体）で、１０４は、把持具としてのワンドである。手１０１には治具１０３が取り付けられており、更にその治具１０３には、再帰反射マーカ１０２ａ〜１０２ｃが取り付けられている。即ち、治具１０３は、複数個の再帰反射マーカ（図１Ａの場合、再帰反射マーカ１０２ａ〜１０２ｃ）を１つの群として固定するための治具として機能する。これにより、複数個の再帰反射マーカ同士の位置姿勢関係が不変となる。治具１０３は手１０１に装着されているので、手１０１に連動して動くことになる。
【００２１】
一方、ワンド１０４にも、同様の再帰反射マーカ１０２ｄ〜１０２ｇが取り付けられている。１０５は、ワンド１０４を把持している手を示している。
【００２２】
図１Ｂにおいて、１０６は、ユーザの手を模した仮想物体であり、より詳しくは、開いた手、即ち、図１Ａに示した手１０１を模した仮想物体である。係る仮想物体１０６は、ユーザの手の位置姿勢で仮想空間中に配されるものである。
【００２３】
１０７は、ワンド１０４の位置姿勢で仮想空間中に配される仮想物体で、図１Ｂではドライバを模した仮想物体である。
【００２４】
１０８は、仮想物体１０７を把持している手を模した仮想物体である。本実施形態では、ユーザの手が、手１０１から手１０５に変化した場合には、それに追従して、手を模した仮想物体も仮想物体１０６から仮想物体１０８に変化させることを目的としている。即ち、ユーザの手の状態の変化に応じて、手を模した仮想物体も変化させる。もちろん、実際の手の状態と、手を模した仮想物体が表す手の状態とは略同じである。
【００２５】
ここで、従来では、ユーザの手の位置姿勢で配置する仮想物体は、手の状態の変化とは何等関係していない。従って、ユーザの手が手１０１となっている場合には、仮想物体１０６を手１０１の位置姿勢で配置しても構わないが、ユーザの手が手１０５となった場合でも、同じ仮想物体１０６が手１０５の位置姿勢で配置される事になる。従って、図２に示す如く、開いた手を示す仮想物体１０６でドライバを模した仮想物体１０７を把持するという、不自然な構図となり、係る構図の仮想空間の画像がユーザに提示されてしまう。図２は、ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【００２６】
本実施形態では、ユーザの手の位置姿勢で配置する仮想物体を、手の状態の変化に応じて選択的に切り替えることで、実際の手の状態と略一致する手の仮想物体をユーザに提示する。
【００２７】
図３は、本実施形態に係るシステムの機能構成を示すブロック図である。
【００２８】
図３に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのＨＭＤ３５０と、位置姿勢センサ３０４と、画像処理装置３００と、で構成されている。
【００２９】
先ず、ＨＭＤ３５０について説明する。ＨＭＤ３５０は、撮像部３０１と、表示部３０９とを備える。
【００３０】
撮像部３０１は、自身の位置姿勢に応じて見える現実空間の動画像を撮像するものであり、撮像した各フレームの画像（現実空間の画像）は順次、画像処理装置３００に入力される。
【００３１】
表示部３０９は、液晶画面などにより構成されており、ＨＭＤ３５０を頭部に装着したユーザの眼前に位置するようにＨＭＤ３５０に取り付けられたものである。係る表示部３０９には、画像処理装置３００から送出された画像が表示される。なお、撮像部３０１、表示部３０９のそれぞれが有する光学系の焦点は一致している。
【００３２】
また、ＨＭＤ３５０には、図１Ａ、１Ｂに示したような、再帰反射マーカが複数配されているものとする。これは、位置姿勢センサ３０４により、ＨＭＤ３５０の位置姿勢を計測するために取り付けたものであって、他の方法でＨＭＤ３５０の位置姿勢を求めるのであれば、再帰反射マーカをＨＭＤ３５０に取り付ける必要はない。
【００３３】
次に、位置姿勢センサ３０４について説明する。
【００３４】
位置姿勢センサ３０４は、例えば光学反射式のリアルタイム３次元動作解析システムである。光学反射式のリアルタイム３次元動作解析システムは、現実空間内にある再帰性反射マーカの群を複数のカメラから撮影することで再帰性反射マーカの群からなるオブジェクトの位置姿勢を計算し、オブジェクトの３次元位置姿勢データとして出力する。本実施形態では、再帰反射マーカは、ユーザの手、ユーザが手で把持する把持具、ＨＭＤ３５０に取り付けるので、位置姿勢センサ３０４は、それぞれの位置姿勢を計測することになる。そして計測した結果を、画像処理装置３００に対して送出する。なお、再帰反射マーカと、光学反射式のリアルタイム３次元動作解析システムとを用いて、再帰反射マーカを取り付けた対象の位置姿勢を求めるための技術については周知であるので、ここでは係る技術についての説明は省略する。
【００３５】
次に、画像処理装置３００について説明する。画像処理装置３００は、撮影画像取込部３０２、画像合成部３０３、画像生成部３０７、状態判定部３０５、モデルデータ属性設定部３０６、記憶部３０８、を備える。
【００３６】
撮影画像取込部３０２は、撮像部３０１から送出された各フレームの画像を順次、画像合成部３０３に対して送出する。なお、撮影画像取込部３０２は、撮像部３０１から画像を受けると、係る画像の形式を、画像合成部３０３が取り扱えるような形式に変換してから、画像合成部３０３に対して送出する。
【００３７】
画像合成部３０３は、撮影画像取込部３０２から受けた現実空間の画像上に、画像生成部３０７が生成した仮想空間の画像を重畳させることで、合成画像を生成する。そして生成した合成画像を、上記表示部３０９に対して送出する。現実空間の画像上に仮想空間の画像を重畳させる技術については様々なものがあり、本実施形態では如何なる技術を用いても良い。
【００３８】
状態判定部３０５は、位置姿勢センサ３０４が計測した、ユーザの手の位置姿勢を示す位置姿勢情報、把持具の位置姿勢を示す位置姿勢情報を取得し、取得したこれらの位置姿勢情報を用いて、手の状態を判定する。判定した結果を示す情報は、後段のモデルデータ属性設定部３０６に対して送出する。
【００３９】
モデルデータ属性設定部３０６は、状態判定部３０５から受けた情報に基づいて、手の状態に対応する手の属性を特定し、特定した属性を、後段の画像生成部３０７に対して通知する。
【００４０】
記憶部３０８には、仮想空間を構成する各仮想物体についてのデータが登録されている。係るデータには、ユーザの手を模した仮想物体、把持具を模した仮想物体が登録れている。ユーザの手を模した仮想物体には、様々な手の状態のそれぞれに対応する手の仮想物体が含まれてる。例えば、開いた手を模した仮想物体、グーの状態の手を模した仮想物体、人差し指で方向を指し示す手を模した仮想物体、等、複数種の手の状態のそれぞれを表す仮想物体（複数種の属性のそれぞれに対応する仮想物体）が、記憶部３０８に登録されている。
【００４１】
以降の説明では、ユーザの手を模した仮想物体を「ハンドモデル」、把持具を模した仮想物体を「把持具モデル」と呼称する。
【００４２】
画像生成部３０７は、モデルデータ属性設定部３０６から通知された属性に対応するハンドモデルのデータを、記憶部３０８から読み出す。そして、係るハンドモデルのデータに基づいたハンドモデルを、位置姿勢センサ３０４が計測した「ユーザの手の位置姿勢」で、仮想空間中に配置する（第１の配置）。
【００４３】
一方、画像生成部３０７は、記憶部３０８に登録されている把持具モデルのデータを読み出し、読み出したデータに基づいた把持具モデルを、位置姿勢センサ３０４が計測した「把持具の位置姿勢」で、仮想空間中に配置する（第２の配置）。このようにして、仮想空間を構築する。もちろん、更に仮想物体を仮想空間中に配置するようにしても良い。
【００４４】
そして、画像生成部３０７は、位置姿勢センサ３０４が計測した「ＨＭＤ３５０の位置姿勢」（視点の位置姿勢）から見える仮想空間の画像を生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知の技術であるので、これについての説明は省略する。
【００４５】
そして、画像生成部３０７は、生成した仮想空間の画像を、画像合成部３０３に対して送出する。画像合成部３０３は上述の通り、係る仮想空間の画像を、撮像部３０１から受けた現実空間の画像上に合成する。
【００４６】
次に、ユーザの手の状態に応じたハンドモデルをユーザの手の位置姿勢で配置した仮想空間の画像を、現実空間の画像に対して重畳させた合成画像を生成するための処理について、同処理のフローチャートを示す図４を用いて、以下説明する。
【００４７】
先ず、ステップＳ４０１では、画像生成部３０７は、以降の処理で用いるデータを、記憶部３０８から読み出す。
【００４８】
次にステップＳ４０２では、画像生成部３０７は、位置姿勢センサ３０４が計測した、「ＨＭＤ３５０の位置姿勢情報」、「ユーザの手の位置姿勢情報」、「把持具の位置姿勢情報」を、センサ情報として取得する。
【００４９】
次に、ステップＳ４０３では、状態判定部３０５は、位置姿勢センサ３０４が計測した、「ユーザの手の位置姿勢情報」、「把持具の位置姿勢情報」を取得し、これらの位置姿勢情報を用いて、ユーザの手の状態を判定する。ステップＳ４０３における処理の詳細については後述する。
【００５０】
次にステップＳ４０４では、モデルデータ属性設定部３０６は、ステップＳ４０３で判定した手の状態に応じて、ユーザの手の位置姿勢で仮想空間中に配置するハンドモデルの属性を決定する。ステップＳ４０４における処理の詳細については後述する。
【００５１】
次にステップＳ４０５では、画像生成部３０７は、モデルデータ属性設定部３０６が決定した属性に対応するハンドモデルのデータを、記憶部３０８から読み出す。そして、係るハンドモデルのデータに基づいたハンドモデルを、位置姿勢センサ３０４が計測した「ユーザの手の位置姿勢」で、仮想空間中に配置する。
【００５２】
更に画像生成部３０７は、記憶部３０８に登録されている把持具モデルのデータを読み出し、読み出したデータに基づいた把持具モデルを、位置姿勢センサ３０４が計測した「把持具の位置姿勢」で、仮想空間中に配置する。
【００５３】
そして画像生成部３０７は、このようにして構築した仮想空間を、位置姿勢センサ３０４が計測した「ＨＭＤ３５０の位置姿勢」から見た画像を生成する。
【００５４】
ステップＳ４０６では、画像合成部３０３は、撮影画像取込部３０２から受けた現実空間の画像上に、ステップＳ４０５で画像生成部３０７が生成した仮想空間の画像を重畳させることで、合成画像を生成する。そして生成した合成画像を、上記表示部３０９に対して送出する。もちろん、他の表示装置が画像処理装置３００に接続されている場合には、係る表示装置に対しても、この合成画像を出力するようにしても良い。
【００５５】
なお、ＨＭＤ３５０が光学シースルー型のＨＭＤである等、仮想空間の画像のみを必要とするデバイスが画像処理装置３００に接続されている場合、係るデバイスに対して画像合成部３０３は、画像生成部３０７から受けた仮想空間の画像のみを送出する。
【００５６】
次に、本処理を終了させるための指示が、画像処理装置３００に対して入力されたことを検知した、若しくは本処理を終了する条件が満たされたことを検知した場合には、ステップＳ４０７を介して、本処理を終了させる。一方、何れも検知していない場合には、ステップＳ４０７を介してステップＳ４０２に処理を戻し、次のフレームの合成画像を生成すべく、ステップＳ４０２以降の処理を行う。
【００５７】
次に、上記ステップＳ４０３における処理について、図５のフローチャートを用いて詳細に説明する。図５は、ステップＳ４０３における処理の詳細を示すフローチャートである。なお、図５のフローチャートに従った処理は、状態判定部３０５によって行われる。
【００５８】
先ずステップＳ５０１では、状態判定部３０５は、位置姿勢センサ３０４が計測した、「ユーザの手の位置姿勢情報」のうちの位置情報と、「把持具の位置姿勢情報」のうちの位置情報と、を用いて、それぞれの位置情報が示す位置間の距離情報を求める。
【００５９】
係る計算は、例えば以下の式に基づいて行われる。
【００６０】
距離情報＝Pos(H−W)  ＝  |PosH −PosW|
PosHは「ユーザの手の位置情報」、PosWは「把持具の位置情報」である。ここで、「位置情報」とは、３次元仮想空間内におけるｘ座標値、ｙ座標値、ｚ座標値から構成される。なお、距離情報を求める為の式については、係る式に限定するものではなく、他の方法で求めても良い。
【００６１】
次にステップＳ５０２では、状態判定部３０５は、ステップＳ５０１で求めた距離情報が示す距離が、予め定めた閾値以下（距離以下）であるか否かを判断する。例えば、距離情報が示す距離が、３０ｃｍ以下であるか否かを判断する。
【００６２】
係る判断の結果、ステップＳ５０１で求めた距離情報が示す距離が閾値以下である場合には処理をステップＳ５０３に進める。一方、閾値よりも大きい場合には、処理をステップＳ５０４に進める。
【００６３】
ステップＳ５０４では、現在の手の状態がデフォルトの状態であることを示す情報、例えば、開いた手であることを示す情報を、モデルデータ属性設定部３０６に対して通知する。そして、図５のフローチャートに従った処理を終了し、図４のステップＳ４０４にリターンする。
【００６４】
一方、ステップＳ５０３では、状態判定部３０５は、位置姿勢センサ３０４が計測した「ユーザの手の位置姿勢情報」、「把持具の位置姿勢情報」を用いて、把持具に対するユーザの手の相対的な位置姿勢を求める。即ち、ユーザの手と把持具との位置姿勢関係を示し位置姿勢関係情報を求める。係る計算は、例えば以下の式に基づいて行われる。
【００６５】
相対的な位置姿勢＝Mat(H−W) ＝ MatH-1 ・ MatW
MatHは「ユーザの手の位置姿勢情報」を含む行列データ、MatWは「把持具の位置姿勢情報」を含む行列データである。ここで、位置姿勢情報は周知の通り、位置情報と姿勢情報とで構成されており、位置情報については上述の通り、ｘ、ｙ、ｚのそれぞれの座標値で構成されており、姿勢情報は、ｘ軸、ｙ軸、ｚ軸のそれぞれの軸周りの回転角度で構成されている。
【００６６】
次に、ステップＳ５０５では、状態判定部３０５は、ステップＳ５０３で求めた位置姿勢関係情報が、予め定められた範囲内の位置姿勢関係を示しているか否かを判断する。例えば、ステップＳ５０３で求めた位置姿勢関係情報中の姿勢成分のうちのロール角が「４０度から５０度の範囲内」という規定範囲に収まっているか否かを判断する。係る規定範囲を示すデータは、記憶部３０８に予め登録されている。
【００６７】
なお、ロール角の他にも、ｘ、ｙ、ｚの各座標値、ピッチ角、ヨー角のそれぞれの要素に対しても同様の規定範囲を定めても良い。その場合、ステップＳ５０５では、ステップＳ５０３で求めた位置姿勢関係情報を構成する全ての要素（ｘ、ｙ、ｚ座標値と各軸周りの回転角度）が、各要素に対する規定範囲内に収まっていない場合には、「ＮＯ」と判断する。一方、ステップＳ５０３で求めた位置姿勢関係情報を構成する全ての要素（ｘ、ｙ、ｚ座標値と各軸周りの回転角度）が、各要素に対して規定された範囲内に収まっている場合には、「ＹＥＳ」と判断する。
【００６８】
「ＹＥＳ」と判断した場合には処理をステップＳ５０６に進め、「ＮＯ」と判断した場合には、ステップＳ５０４に処理を進める。
【００６９】
ここで、ステップＳ５０５における処理では次のような関数を用いても良い。
【００７０】
Determination(Mat(H−W))
ここで、Determination(ｘ)は状態判定関数であり、引数ｘを構成する各要素が、各要素について規定された範囲内であるかを判定し、その判定結果を返す機能を有する。
【００７１】
なお、以上の説明では、ステップＳ５０３で求めた位置姿勢関係情報を構成する全ての要素が、各要素に対して規定された範囲内に収まっているか否かの判断処理をステップＳ５０４で行うものとして説明した。しかし、ただ単に１回の判断処理の結果を用いるのではなく、連続してｎ回の判断処理で「収まっている」と判断した場合に初めて、「収まっている」という判定結果を最終的な判定結果としても良い。なお、連続してｍ（ｍ＜ｎ−１）回の判断処理で収まっていると判断されても、（ｍ＋１）回目の判断処理で収まっていないと判断されれば、その時点で「収まっていない」との最終判定結果を出力する。
【００７２】
その場合における判断処理に用いる関数は次のように定めても良い。
【００７３】
Determination(Mat(n)(H−W))
ここで、Mat(n)(H−W)は、ステップＳ５０３で連続して求められる位置姿勢情報である。
【００７４】
例えば、ユーザの手がグーの状態で把持具を把持している状態における、ユーザの手と把持具との位置姿勢関係に±αを加えた範囲が規定範囲として、記憶部３０８に登録されているとする。更に、上記回数を示す変数ｎがｎ＝３と定められているとする（変数ｎの値についても記憶部３０８に登録されている）。この場合、把持具に対するユーザの手の相対的な位置姿勢が、規定範囲が定める範囲内に収まっていると、連続して３回判断された場合に、初めて、ステップＳ５０５で「ＹＥＳ」と判断する。
【００７５】
ステップＳ５０６では、例えば、上記ステップＳ５０５で用いた規定範囲のデータが「グーの状態であるか否か」を判定する為のものである場合、手の状態を示す情報として「グーの状態であることを示す情報」を、モデルデータ属性設定部３０６に通知する。また、上記ステップＳ５０５で用いた規定範囲のデータが「人差し指で指している状態であるか否か」を判定する為のものである場合、手の状態を示す情報として「人差し指で指している状態であることを示す情報」を、モデルデータ属性設定部３０６に通知する。このように、ステップＳ５０６では、規定範囲のデータを用いて判定する手の状態を示す情報を、モデルデータ属性設定部３０６に対して通知する。
【００７６】
次に、上記ステップＳ４０４における処理について、同処理のフローチャートを示す図６を用いて説明する。図６は、ステップＳ４０４における処理の詳細を示すフローチャートである。なお、図６のフローチャートに従った処理は、モデルデータ属性設定部３０６によって行われる。
【００７７】
先ず、ステップＳ６０１においてモデルデータ属性設定部３０６は、状態判定部３０５から受けた「手の状態を示す情報」に対応する、ハンドモデルの属性を特定する。記憶部３０８には、様々な手の状態を示す情報のそれぞれが、属性が関連付けられた状態で登録されている。即ち、手の状態を示す情報と、係る手を模したハンドモデルの属性とは１対１の関係で、手の状態毎に記憶部３０８に登録されている。例えば、グーの状態を示す情報と、グーの状態の手を模したハンドモデルの属性と、がセットになって記憶部３０８に登録されている。
【００７８】
従って、例えば、モデルデータ属性設定部３０６が状態判定部３０５から「グーの状態を示す情報」を受けると、グーの状態の手を模したハンドモデルの属性を特定する。
【００７９】
そして、ステップＳ６０２では、ステップＳ６０１で特定した属性を、画像生成部３０７に対して通知する。
【００８０】
以上の説明により、本実施形態によれば、オペレータが介在した操作や、グローブ型入力デバイスによる入力等の煩わしい入力操作なしに、現実の手の状態に応じた手の仮想物体を手の位置姿勢に配置させた仮想空間の画像を生成することができる。
【００８１】
［第２の実施形態］
本実施形態では、上記ステップＳ５０５で用いた、規定範囲のデータを、様々な手の状態毎に記憶部３０８に登録しておき、ステップＳ５０３で求めた位置姿勢関係情報が示す手の状態の判定を、より細かく行う。即ち、判定される状態は複数種類あってもよい。なお、本実施形態では、第１の実施形態と同様のシステムを用いる。
【００８２】
図７Ａは、現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。図７Ｂは、上記ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。図７Ａ、７Ｂにおいて、図１Ａ、１Ｂと同じ部分については同じ参照番号を付けており、その説明は省略する。
【００８３】
図７Ａに示す如く、手７０１は、ワンド１０４を把持しているが、図１Ａに示した手１０５とは異なる握り型となっている。この場合、手１０５とワンド１０４との位置姿勢関係と、手７０１とワンド１０４との位置姿勢関係とは異なったものとなっている。本実施形態では、手７０１とワンド１０４との位置姿勢関係が、図７Ａに示したような位置姿勢関係になった場合には、図７Ｂに示す如く、手７０１を模したハンドモデル７０２を、手７０１の位置姿勢で配置する。
【００８４】
即ち、本実施形態では、第１の実施形態よりも、より細かく手の状態を判定し、その判定結果に応じたハンドモデルを配置する。なお、ハンドモデルを選択的に切り替える際には、把持具モデルについても適宜切り替えるようにしても良い。
【００８５】
図８Ａは、現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。図８Ｂは、上記ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。図８Ａ、８Ｂにおいて、図１Ａ、１Ｂと同じ部分については同じ参照番号を付けており、その説明は省略する。
【００８６】
図８Ａに示す如く、手と把持具との位置姿勢関係が、手８０１とワンド１０４との位置姿勢関係となった場合には、図８Ｂに示す如く、ハンドモデル８０２に切り替えるだけでなく、把持具モデルを従前の仮想物体１０７から仮想物体８５０に切り替える。
【００８７】
次に、ユーザの手の状態に応じたハンドモデルをユーザの手の位置姿勢で配置した仮想空間の画像を、現実空間の画像に対して重畳させた合成画像を生成するための、本実施形態に係る処理について説明する。本実施形態に係る処理は、上記ステップＳ５０５における処理を除き、第１の実施形態と同じである。即ち、ステップＳ５０５を除く図４から〜図６に示した上記処理を、第１の実施形態と同様にして行う。
【００８８】
従って、ここでは本実施形態に係るステップＳ５０５における処理について説明する。
【００８９】
「規定範囲のデータ」は、手の状態に応じて異なる。例えば、現在の手の状態が開いた状態であると判定するために位置姿勢関係情報が満たす規定範囲と、現在の手の状態がグーの状態であると判定するために位置姿勢関係情報が満たす規定範囲と、は異なる。本実施形態では、規定範囲のデータには、それがどのような状態を判定するためのものであるのかを示す情報（状態情報）が関連付けられているものとして説明する。例えば、現在の手の状態が開いた状態であると判定するために位置姿勢関係情報が満たす規定範囲を示すデータには、「開いた手」を示す状態情報が関連付けられている。このような規定範囲のデータと状態情報のセットは、状態毎に記憶部３０８に登録されている。
【００９０】
従って、本実施形態では、ステップＳ５０５では、各状態情報に対応する規定範囲のデータ毎に、第１の実施形態で説明したステップＳ５０５における処理を行う。例えば、先ず、ステップＳ５０３で求めた位置姿勢関係情報と、現在の手の状態が開いた状態であると判定するために位置姿勢関係情報が満たす規定範囲を示すデータとを用いて判定処理を行う。係る判定処理の結果、ステップＳ５０３で求めた位置姿勢関係情報が、係る規定範囲内の位置姿勢関係を示している場合には、「手の状態が開いている」と判断する。一方、ステップＳ５０３で求めた位置姿勢関係情報が、係る規定範囲内の位置姿勢関係を示していない場合には、次の規定範囲のデータを用いた判定処理を行う。例えば、ステップＳ５０３で求めた位置姿勢関係情報と、現在の手の状態がグーの状態であると判定するために位置姿勢関係情報が満たす規定範囲を示すデータとを用いて判定処理を行う。
【００９１】
このようにして、各規定範囲のデータを用いて、ステップＳ５０３で求めた位置姿勢関係が、如何なる手の状態を示しているのかを判断する。
【００９２】
［第３の実施形態］
第１，２の実施形態では、把持具は１種類のみを用いていたが、複数種類の把持具を用意しておき、任意の把持具を把持しても良い。そして、把持具毎に、対応する把持具モデルを用意しておく。従って、ユーザは、把持具を持ち替える毎に、異なる把持具モデルを観察することができる。
【００９３】
この場合、それぞれの把持具には、第１の実施形態と同様に、複数個の再帰反射マーカを取り付けるのであるが、把持具毎に、再帰反射マーカの配置関係を異ならせておく。これは、位置姿勢センサ３０４が把持具に取り付けられた再帰反射マーカ群を検知した場合に、再帰反射マーカ間の位置姿勢関係に基づいて、その把持具が何であるのかを識別するためである。そして把持している把持具を識別すると、この把持具に関連付けられている把持具モデルを、この把持具の位置姿勢に配置する。
【００９４】
なお、本実施形態では、第１の実施形態と同様のシステムを用いる。
【００９５】
図９Ａは、現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。図９Ｂは、上記ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。図９Ａ、９Ｂにおいて、図１Ａ、１Ｂと同じ部分については同じ参照番号を付けており、その説明は省略する。
【００９６】
図９Ａに示す如く、手９０２には第１の実施形態と同様に、治具１０３が取り付けられており、係る治具１０３には、再帰反射マーカ１０２ａ〜１０２ｃが取り付けられている。係る手９０２は、把持具９０１を把持している。また、把持具９０１には、第１の実施形態と同様に、再帰反射マーカ９０１ａ〜９０１ｅが取り付けられている。把持具９０１は、図１Ａに示したワンド１０４とは異なるもので、更に、配されている再帰反射マーカの配置関係も異なる。これについては上述の通りである。
【００９７】
ここで、手９０２と把持具９０１との位置姿勢関係と、手１０１とワンド１０４との位置姿勢関係は略同じであるとする。
【００９８】
図９Ｂにおいて、９０３は、手９０２の位置姿勢で配置されるハンドモデルで、９５０は、把持具９０１の位置姿勢で配置される把持具モデルである。ここで、手９０２と把持具９０１との位置姿勢関係が、手１０１とワンド１０４との位置姿勢関係と略同じであるにもかかわらず、把持具９０１の位置姿勢には仮想物体１０７ではなく、把持具モデル９５０が配置されている。
【００９９】
本実施形態において、ユーザの手の状態に応じたハンドモデルをユーザの手の位置姿勢で配置した仮想空間の画像を、現実空間の画像に重畳させた合成画像を生成する処理は、図４〜図６のフローチャートに従った処理を、以下のように変形させた処理となる。
【０１００】
先ず図４のフローチャートにおいて、ステップＳ４０２では、把持具の位置姿勢情報を取得すると共に、把持具に取り付けられているそれぞれの再帰反射マーカの位置関係に基づいて、この把持具を識別する。
【０１０１】
そして、ステップＳ４０３，Ｓ４０４では、識別した把持具に固有の「規定範囲のデータ」、識別した把持具に固有の「手の状態と属性との対応関係」に基づいて処理を行う。即ち、記憶部３０８には、把持具の種類の毎に規定範囲のデータが登録されており、図５のステップＳ５０５では、ステップＳ４０２で識別した把持具に対応する規定範囲のデータを用いて判定処理を行う。従って、手と把持具との位置姿勢関係が同じでも、把持具の種類によっては、手の状態の判定結果は異なる場合がある。
【０１０２】
そして図６のフローチャートにおいて、ステップＳ６０１では、判定した手の状態に対応する属性を決定するのであるが、判定した手の状態に対応する属性もまた、把持具の種類毎に異なる場合がある。即ち、記憶部３０８には、様々な手の状態を示す情報のそれぞれについて、属性が関連付けられて登録されているのであるが、係る関連付けは、把持具の種類の毎に異なる。
【０１０３】
図１０は、把持具としてのワンドの種類毎の、判別可能な手の状態の種類、手の状態に応じた属性、モデルデータの機能、を示す図である。
【０１０４】
例えば、上記ステップＳ４０２で識別された把持具の種類が「ワンド１」である場合、上記ステップＳ５０５では、手の状態が状態１〜３の何れであるのか、何れでもないのか、を判別することになる。例えば、「手の状態が状態１である」とは、状態１に対応する規定範囲のデータが示す規定範囲に、ステップＳ５０３で求めた位置姿勢関係が収まっているということである。また、「手の状態が状態２である」とは、状態２に対応する規定範囲のデータが示す規定範囲に、ステップＳ５０３で求めた位置姿勢関係が収まっているということである。
【０１０５】
上記ステップＳ４０２で識別された把持具の種類が「ワンド３」である場合、上記ステップＳ５０５では、手の状態が状態１、２の何れであるのか、何れでもないのか、を判別することになる。このように、識別された把持具の種類に応じて、判別する手の状態の種類やその数が異なりうる。
【０１０６】
そして、上記ステップＳ４０２で識別された把持具の種類が「ワンド１」であり、上記ステップＳ５０５で手の状態が「状態１」であると判別された場合、手の位置姿勢に配置するハンドモデルとして「ハンドモデルＢ」が選択される。また、把持具の位置姿勢に配置する把持具モデルとしては「ツールモデルＡ」が選択される。また、モデルデータの機能として、「ねじをピックする」が選択される。
【０１０７】
「モデルデータの機能」とは、把持具を持って所定の動作を行った場合に画像処理装置３００に行わせる処理の種別を示す。例えば、ステップＳ４０２で識別された把持具の種類が「ワンド１」であり、ステップＳ５０５で手の状態が「状態２」であると判別された場合、把持具を持って所定の動作を行うと、画像処理装置３００に「干渉をチェックさせる」という処理を行わせる。
【０１０８】
なお、ハンドモデル、把持具モデルの両方を常に配置しなくても良く、状況によっては、一方のみを配置するようにしても良い。例えば、手の状態がグーの状態である場合には、把持具モデルの配置はキャンセルするようにしても良い。
【０１０９】
なお、上記各実施形態では、ＨＭＤ３５０や手、把持具などの位置姿勢計測に、光学反射式のリアルタイム３次元動作解析システムを用いた。しかし、位置姿勢計測の方法はこれに限定するものではなく、上記各実施形態は、何れの方法を用いて位置姿勢の取得を行っても良い。
【０１１０】
また、上記各実施形態では、１つのセンサシステムにより、ＨＭＤ３５０、手、把持具の位置姿勢を計測しているが、様々な方法を組み合わせてそれぞれの位置姿勢を計測しても良い。例えば、光学反射式のリアルタイム３次元動作解析システムに加えてジャイロセンサを用いる、というように、複数のセンサシステムを用いてもよい。
【０１１１】
また、上記各実施形態では、手の状態を判断するために、ＨＭＤ３５０と手との位置姿勢関係を利用したが、他の要素を用いて手の状態を求めても良い。例えば、手の動作状態と、手と把持具との位置姿勢関係とを、把持具に取り付けた圧力センサにより求めるようにしても良い。
【０１１２】
また、ＨＭＤ３５０と手との位置姿勢関係以外にも、例えば、手とモックとの位置姿勢関係、およびモックとモックとの位置姿勢関係、を用いても良い。
【０１１３】
また、第１乃至３の実施形態は適宜組み合わせて用いても良い。
【０１１４】
［第４の実施形態］
図３に示した、画像処理装置３００を構成する各部については、第１乃至３の実施形態ではハードウェアで構成されているものとして説明した。しかし、その一部をソフトウェアによって実現させても良い。この場合、画像処理装置３００として、一般のＰＣ（パーソナルコンピュータ）を用い、係るコンピュータが係るソフトウェアを実行するようにしても良い。
【０１１５】
図１１は、画像処理装置３００に適用可能なコンピュータのハードウェア構成を示す図である。なお、コンピュータのハードウェア構成についてはこれに限定するものではなく、様々な変形例が考え得る。
【０１１６】
ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像処理装置３００が行う上述の各処理を実行する。
【０１１７】
ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介してＨＭＤ３５０や位置姿勢センサ３０４から受信したデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１１０２は、各種のエリアを適宜提供することができる。
【０１１８】
ＲＯＭ１１０３には、コンピュータの設定データやブートプログラムなどが格納されている。
【０１１９】
操作部１１０４は、キーボードやマウスなどにより構成されており、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。
【０１２０】
表示部１１０５は、ＣＲＴや液晶画面等により構成されており、ＣＰＵ１１０１による処理結果を画像や文字などを用いて表示することができる。
【０１２１】
外部記憶装置１１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、画像処理装置３００が行う上述の各処理をＣＰＵ１１０１に実行させるためのプログラムやデータなどが保存されている。
【０１２２】
係るプログラムには、画像合成部３０３、画像生成部３０７、モデルデータ属性設定部３０６、状態判定部３０５が行うものとして説明した上述の各処理をＣＰＵ１１０１に実行させるためのプログラムが含まれている。また、係るデータには、記憶部３０８が保持しているものとして説明したデータ群が含まれている。即ち、外部記憶装置１１０６は、記憶部３０８としても機能している。なお、記憶部３０８は、ＲＡＭ１１０２の機能としても良い。
【０１２３】
Ｉ／Ｆ１１０７は、ＨＭＤ３５０や位置姿勢センサ３０４を本コンピュータに接続するためのものである。係るＩ／Ｆ１１０７を介して画像処理装置３００は、撮像部３０１が撮像した現実空間の画像を受信したり、表示部３０９に対して合成画像を送信したりする。即ち、Ｉ／Ｆ１１０７は、撮影画像取込部３０２としても機能している。また、画像処理装置３００は、Ｉ／Ｆ１１０７を介して、位置姿勢センサ３０４から出力された位置姿勢情報を受信している。Ｉ／Ｆ１１０７を介して受信した情報は、ＲＡＭ１１０２や外部記憶装置１１０６に送出される。
【０１２４】
１１０８は、上述の各部を繋ぐバスである。
【０１２５】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１２６】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１２９】
【図１Ａ】現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。
【図１Ｂ】ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【図２】ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【図３】本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。
【図４】ユーザの手の状態に応じたハンドモデルをユーザの手の位置姿勢で配置した仮想空間の画像を、現実空間の画像に対して重畳させた合成画像を生成するための処理のフローチャートである。
【図５】ステップＳ４０３における処理の詳細を示すフローチャートである。
【図６】ステップＳ４０４における処理の詳細を示すフローチャートである。
【図７Ａ】現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。
【図７Ｂ】ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【図８Ａ】現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。
【図８Ｂ】ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【図９Ａ】現実空間に仮想空間を重畳させた複合現実空間を観察するユーザの手と、この手が把持する対象となる把持具と、を示す図である。
【図９Ｂ】ユーザの手に重畳表示させる仮想物体と、把持具に重畳表示させる仮想物体とを示す図である。
【図１０】把持具としてのワンドの種類毎の、判別可能な手の状態の種類、手の状態に応じた属性、モデルデータの機能、を示す図である。
【図１１】画像処理装置３００に適用可能なコンピュータのハードウェア構成を示す図である。
【図１Ａ】
2009087161.tif 000003
【図１Ｂ】
2009087161.tif 000004
【図２】
2009087161.tif 000005
【図３】
2009087161.tif 000006
【図４】
2009087161.tif 000007
【図５】
2009087161.tif 000008
【図６】
2009087161.tif 000009
【図７Ａ】
2009087161.tif 000010
【図７Ｂ】
2009087161.tif 000011
【図８Ａ】
2009087161.tif 000012
【図８Ｂ】
2009087161.tif 000013
【図９Ａ】
2009087161.tif 000014
【図９Ｂ】
2009087161.tif 000015
【図１０】
2009087161.tif 000016
【図１１】
2009087161.tif 000017