"ユーザが実物体を非接触で選択するユーザインタラクション装置であって、前記ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備えるユーザインタラクション装置。前記ユーザ視界取得部は、前記ユーザにより装着されるヘッドマウントディスプレイが備えるカメラである請求項1記載のユーザインタラクション装置。前記ユーザ視界取得部は、複数の定点カメラと、前記定点カメラにより撮影された映像データから前記ユーザの視線を認識し、認識した視線を基に、前記ユーザの視界の映像データを取得する映像データ取得部とを備える請求項1記載のユーザインタラクション装置。前記ユーザ動作監視部は、前記ユーザ視界取得部より取得された映像データに含まれる前記ユーザの手の画像から前記ユーザの手の状態を監視する請求項1~3のいずれかに記載のユーザインタラクション装置。前記ユーザ動作監視部は、前記ユーザの手に装着されたセンサから取得した情報を用いて前記ユーザの手の状態を監視することを特徴とする請求項1~3のいずれかに記載のユーザインタラクション装置。前記実物体識別部は、操作可能な実物体の種別を更に識別し、前記表示効果設定部は、操作可能な実物体の種別毎に予め定められた表示効果を各実物体に設定する請求項1~5のいずれかに記載のユーザインタラクション装置。前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い順に所定個数の実物体を抽出し、抽出した実物体に対して表示効果の度合いを設定する請求項1~6のいずれかに記載のユーザインタラクション装置。前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い実物体ほど輪郭の輝度を高く発光させる表示効果の度合いを設定する請求項1~7のいずれかに記載のユーザインタラクション装置。前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を決定した操作種別を示す場合、当該実物体のみに表示効果の度合いを設定する請求項1~8のいずれかに記載のユーザインタラクション装置。ユーザが実物体を非接触で選択するユーザインタラクション方法であって、ユーザインタラクション装置が、前記ユーザの視界の映像データを取得するユーザ視界取得ステップと、ユーザインタラクション装置が、前記ユーザ視界取得ステップにより取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を参照して特定するユーザ動作監視ステップと、ユーザインタラクション装置が、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別ステップと、ユーザインタラクション装置が、前記実物体識別ステップにより識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視ステップより監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別ステップにより識別された各実物体の優先度を算出する優先度算出ステップと、ユーザインタラクション装置が、前記ユーザ動作監視ステップにより特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定ステップと、ユーザインタラクション装置が、前記表示効果設定ステップにより設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与ステップと、ユーザインタラクション装置が、前記実物体効果付与ステップにより各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力ステップとを備えるユーザインタラクション方法。ユーザが実物体を非接触で選択するユーザインタラクション装置としてコンピュータを機能させるユーザインタラクションプログラムであって、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザの視界を示す映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与し、各実物体に付与した表示効果を前記映像データに重畳表示させる表示効果付与部としてコンピュータを機能させるユーザインタラクションプログラム。ユーザが実物体を非接触で選択するユーザインタラクション装置の集積回路であって、前記ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える集積回路。しかしながら、ARに関する従来の技術では、ユーザがある実物体を操作対象として選択しようとする場合、ユーザは現在行っている操作が選択しようとしている実物体に近づいているか否かを認識することができないという課題があった。以下、図13を用いてこの課題が生じる一例を説明する。図13aはユーザがある実物体を操作対象として選択するための選択操作を開始したときの状態を示し、図13bは選択操作が完了したときの状態を示している。図13aにおいて、ユーザは自身の手301を用いて、実物体304を選択しようとしている。実物体303は現在選択中の実物体である。そのため、実物体303の輪郭が高輝度で発光されている。現在選択中の実物体は例えばユーザの手301に最も近い実物体が選ばれる。矢印302は、実物体304を選択するために、ユーザが手301を動かすべき方向を表す。従来の技術では矢印302のようにユーザの操作をユーザに確認させる情報を画面上に表示することは行われていなかった。そのため、ユーザは手301を動かす際に輪郭が発光された実物体を認識し、この認識結果を頼りに矢印302の方向を推測して手301を移動させる必要があった。そして、矢印302の方向をうまく推測してその方向に手301を動かすことができた場合、図13bに示すように、ユーザは実物体304を選択することができる。この場合、実物体304の輪郭が高輝度で発光され、ユーザは意図する実物体を選択できたと認識する。このように、従来の技術では、ユーザは選択操作中に、手301の方向が矢印302と一致しているかの認識ができず、選択操作が困難であるという課題があった。特に、選択対象となる実物体に他の実物体が密集している場合、手301のわずかな方向の違いにより、選択される実物体が変わるため選択操作は更に困難となる。一方、画面上に矢印302を表示させ、ユーザに手301の移動方向を報知すると、画面上に表示される実物体の表示の邪魔になる。また、矢印の記号は、視界上で実物体に手を重ねて掴む動作により実物体を選択するという操作にもそぐわない。また、特許文献1の手法では、複数の実物体の中から1つの実物体を選択する操作を行う際の操作性の向上を図る措置が何らとられていない。本発明の目的は、ユーザが操作対象となる実物体を選択する操作を行う際の操作性の向上を図ることである。1本発明によるユーザインタラクション装置は、ユーザが実物体を非接触で選択するユーザインタラクション装置であって、前記ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える。本発明によるユーザインタラクション方法は、ユーザが実物体を非接触で選択するユーザインタラクション方法であって、ユーザインタラクション装置が、前記ユーザの視界の映像データを取得するユーザ視界取得ステップと、ユーザインタラクション装置が、前記ユーザ視界取得ステップにより取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を参照して特定するユーザ動作監視ステップと、ユーザインタラクション装置が、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別ステップと、ユーザインタラクション装置が、前記実物体識別ステップにより識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視ステップより監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別ステップにより識別された各実物体の優先度を算出する優先度算出ステップと、ユーザインタラクション装置が、前記ユーザ動作監視ステップにより特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定ステップと、ユーザインタラクション装置が、前記表示効果設定ステップにより設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与ステップと、ユーザインタラクション装置が、前記実物体効果付与ステップにより各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力ステップとを備える。本発明によるユーザインタラクションプログラムは、ユーザが実物体を非接触で選択するユーザインタラクション装置としてコンピュータを機能させるユーザインタラクションプログラムであって、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザの視界を示す映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与し、各実物体に付与した表示効果を前記映像データに重畳表示させる表示効果付与部としてコンピュータを機能させる。本発明による集積回路は、ユーザが実物体を非接触で選択するユーザインタラクション装置の集積回路であって、ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える。これらの構成によれば、ユーザの手の位置座標とユーザの視界にある実物体の位置座標との距離に基づいて、各実物体に優先度が算出される。そして、ユーザがある実物体を操作対象として選択する操作を行っている場合、優先度に応じた表示効果の度合いが各実物体に設定されて各実物体が表示される。そのため、ユーザは自身の手の位置座標と実物体の位置座標との関係を表示効果の度合いから把握することができる。その結果、ユーザは、選択しようとする実物体に付与された表示効果の度合いから、現在の操作を修正しながら目標とする実物体を選択する操作を行うことができ、操作性の向上を図ることができる。2前記ユーザ視界取得部は、前記ユーザにより装着されるヘッドマウントディスプレイが備えるカメラであることが好ましい。この構成によれば、ユーザの視界の映像データを容易に取得することができる。3前記ユーザ視界取得部は、複数の定点カメラと、前記定点カメラにより撮影された映像データからユーザの視線を認識し、認識した視線を基に、前記ユーザの視界の映像データを取得する映像データ取得部とを備えることが好ましい。この構成によれば、ユーザにカメラを装着させなくても、ユーザの視界の映像データを取得することができる。4前記ユーザ動作監視部は、前記ユーザ視界取得部より取得された映像データに含まれる前記ユーザの手の画像から前記ユーザの手の状態を監視することが好ましい。この構成によれば、ユーザ視界取得部により取得された映像データに含まれる手の画像から状態が監視されているため、手の状態を監視するためのセンサを設ける必要がなくなり、装置構成を簡略化することができる。5前記ユーザ動作監視部は、前記ユーザの手に装着されたセンサから取得した情報を用いて前記ユーザの手の状態を監視することが好ましい。この構成によれば、センサを用いてユーザの手の状態を監視しているため、ユーザの手の状態を正確に監視することができる。6前記実物体識別部は、操作可能な実物体の種別を更に識別し、前記表示効果設定部は、操作可能な実物体の種別毎に予め定められた表示効果を各実物体に設定することが好ましい。この構成によれば、ユーザは映像データから実物体の種別を認識することができる。7前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い順に所定個数の実物体を抽出し、抽出した実物体に対して表示効果の度合いを設定することが好ましい。この構成によれば、優先度が高い実物体のみ表示効果の度合いが設定されるため、ユーザが選択する可能性が高い実物体に対してのみユーザの手との位置関係を報知することができる。その結果、ユーザに重要な情報のみを報知することができ、不要な情報を排除して操作性を更に高めることができる。8前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い実物体ほど輪郭の輝度を高く発光させる表示効果の度合いを設定することが好ましい。この構成によれば、選択を希望する実物体の輪郭が高い輝度で発光されている場合、ユーザは現在の操作が正しいと認識することができる。また、選択を希望する実物体の輪郭が低い輝度で発光されている場合は、当該実物体に向けて手を動かせば当該実物体を選択することができることを認識することができる。その結果、手と選択を希望する実物体との位置関係を直感的にユーザに報知することができる。9前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を決定した操作種別を示す場合、当該実物体のみに表示効果の度合いを設定することが好ましい。この構成によれば、ユーザが実物体を決定した場合、当該実物体のみに表示効果の度合いが設定されるため、ユーザはユーザインタラクション装置がどの実物体を操作対象として認識したかを速やかに認識することができる。本発明によれば、ユーザは、実物体に付与された表示効果の度合いから、現在の操作を修正しながら目標とする実物体を選択する操作を行うことができ、操作性の向上を図ることができる。以下、本発明の実施の形態によるユーザインタラクション装置について、図面を参照しながら説明する。本ユーザインタラクション装置は、ユーザの視界内にあり、かつ、ユーザの手が届かない場所にある複数の実物体の中から、1つの実物体を掴む動作を行うことによりユーザに非接触で選択させる装置である。図1は、本発明の実施の形態によるユーザインタラクション装置の構成を示すブロック図である。図1に示すユーザインタラクション装置は、制御部101と入出力部110とを備えている。制御部101は、ユーザ動作監視部102、優先度算出部103、実物体効果付与部104、表示効果設定部105、ユーザ操作定義保持部106、実物体識別部107、実物体情報保持部108、及び表示効果情報保持部109を備えている。ここで、制御部101は、例えばCPU、ROM、及びRAM等を備えるマイクロコンピュータにより構成され、CPUがユーザインタラクションプログラムを実行することで、各ブロックの機能を実現する。入出力部110は、例えばHMDにより構成され、ユーザ視界取得部111、及び重畳表示出力部112を備える。なお、入出力部110及び制御部101を1チップ化して集積回路により構成してもよいし、制御部101及び入出力部110をそれぞれ1チップ化し、個別の集積回路により構成してもよい。HMDは、カメラ機能を搭載しておりユーザの視界に映る現実環境の映像を取得することができる。こおで、HMDとしては、現実空間におけるユーザの視界の映像にバーチャルな映像を重畳表示するシースルー型HMDを採用する。また、図1に示す構成のうち、制御部101を、HMDとネットワークを介して接続されたコンピュータ、又はHMDに内蔵されたコンピュータとして実現してもよい。このとき、これらの機能ブロックは、ユーザ視界取得部111から取得した映像データを入力とし、重畳表示出力部112に対して現実空間の映像データにバーチャルな画像データを重畳して出力する。ユーザ視界取得部111は、例えば、HMDに取り付けられた深度センサ又はステレオカメラ等の画像センサと、画像センサにより取得された映像データを処理する処理回路とを備え、ユーザの視界の映像データを所定のフレームレートで取得する。なお、ユーザ視界取得部111として、HMDに取り付けられた画像センサに代えて、複数の定点カメラにより構成してもよい。ここで、定点カメラは、現実空間の所定の場所に固定されたカメラである。この場合、ユーザ視界取得部111は、定点カメラにより取得された映像データからユーザの視線を認識し、認識した視線からユーザの視界を示す映像データを生成してもよい。具体的には、ユーザ視界取得部111は、定点カメラにより取得された各映像データからユーザのシルエットを抽出する。そして、抽出したユーザのシルエットから現実空間におけるユーザの視線の方向を認識する。そして、認識した視線の方向を基準としたときの各定点カメラの光軸の向きを特定する。そして、視線を中心としてユーザの視界と同一サイズを持つ仮想スクリーンを設定し、各定点カメラにより取得された映像データを、視線に対する光軸の向きを基準として仮想スクリーンに配置することでユーザの視界の映像データを生成すればよい。ユーザ動作監視部102は、ユーザ視界取得部111により取得された映像データからユーザの現実空間における手の位置座標を監視する。ここで、ユーザ動作監視部102は、ユーザ視界取得部111から所定のフレームレートで映像データが供給され、各映像データに含まれる手の特徴点を抽出する処理を行う。具体的には、まず、ユーザ動作監視部102は、映像データに含まれる実物体の特徴点を抽出する処理を行う。特徴点としては、例えば、実物体の輪郭上の点であって、頂点や曲率の大きな点等の実物体の形状を特徴付ける点が該当する。そして、ユーザ動作監視部102は、映像データから抽出した特徴点をクラスタリングして複数の特徴点群に分け、各特定点群における特徴点の配置パターンから手の特徴点を抽出する。この場合、ユーザ動作監視部102は、手について基準となる特徴点の配置パターンである手の基準配置パターンを予め保持しておき、この手の基準配置パターンと映像データから抽出した特徴点の配置パターンとを比較することで、手の特徴点を抽出すればよい。そして、ユーザ動作監視部102は、抽出した手の特徴点から手の代表点を特定する。ここで、代表点としては、例えば手の重心を採用することができる。そして、ユーザ動作監視部102は、手の代表点の現実空間での位置座標を手の位置座標として求める。ここで、ユーザ視界取得部111として深度センサが採用されている場合、ユーザ動作監視部102は、深度センサが取得した距離画像データにおいて、手の代表点の水平座標及び垂直座標と、手の代表点の奥行座標とから代表点の3次元位置を求めればよい。また、ユーザ視界取得部111としてステレオカメラが採用されている場合、ユーザ動作監視部102は、一方のカメラから取得された映像データから手の特徴点を抽出し、抽出した特徴点から代表点を抽出し、抽出した代表点と同じ箇所を示す対応点を他方のカメラの映像データから抽出する。そして、ユーザ動作監視部102は、手の代表点と対応点との視差を用いて手の代表点の奥行座標を求める。そして、ユーザ動作監視部102は、求めた代表点の奥行座標と、映像データにおける代表点の垂直座標及び水平座標とから代表点の現実空間における位置座標を算出すればよい。また、ユーザ動作監視部102は、ユーザ視界取得部111により取得された映像データからユーザの現実空間における手の状態を監視する。本実施の形態では、手の状態として、解放、掌握、なしが存在する。したがって、ユーザ動作監視部102は、映像データから抽出した手の特徴点の配置パターンがいずれの上記3状態のいずれを示すかを判定することで手の状態を監視する。ここで、解放は例えば、ユーザの手が自然に開いた状態を示す。この場合、ユーザの手の親指の先端と人差し指の先端との距離が一定距離以上離れるため、ユーザ動作監視部102は、人差し指の先端を示す特徴点と親指の先端を示す特徴点との映像データ上での距離又は現実空間での距離を求め、人差し指の先端と親指の先端とが一定距離以上離れていた場合、手の状態が解放であると判定すればよい。なお、ユーザ動作監視部102は、ユーザの手の指にマーカセンサの一例を装着させて、マーカの位置を検出することで、ユーザの手の状態を検出してもよい。この場合、例えば、ユーザの親指と人差し指とにそれぞれマーカを装着させる。そして、ユーザ動作監視部102は、映像データからマーカの位置を検出し、そのマーカの映像データにおける距離からユーザの手の状態を検出してもよい。ここで、マーカとしては、例えばLED等の発光体や、白色板等を採用すればよい。また、掌握はユーザの手が何かを掴んだ状態を示す。この場合、ユーザの手の親指の先端と人差し指の先端とが一定距離以内に近づくため、ユーザ動作監視部102は、人差し指の先端と親指の先端との距離が、一定距離以内の場合、手の状態が掌握であると判定すればよい。また、なしは手の状態が解放及び掌握のいずれにも該当しない状態を示す。具体的には、ユーザの手の映像データに含まれておらず、ユーザ動作監視部102が手の特徴点が抽出することができなかった場合が該当する。そして、ユーザ動作監視部102は、手の状態の監視結果から、ユーザの現在の手の状態に対応する操作種別を、ユーザ操作定義保持部106に保持されているユーザ操作定義情報を参照して特定する。図4は、ユーザ操作定義情報の一例を示した図である。図4に示すように、ユーザ操作定義情報は、操作種別、手の状態変化、及び手の位置座標差分の絶対値の欄を備えている。操作種別の欄には本ユーザインタラクション装置が識別可能な操作種別が格納されている。ここで、操作種別とは、ユーザが実物体に対して行う操作の種類である。図4の例では、操作種別として、選択中、決定、範囲指定、解除の4つが存在する。選択中は、ユーザが自身の視界に存在する実物体のうち、いずれかの実物体を操作対象として選択する前の操作、つまり、操作対象となる実物体を選択しようとしている操作である。決定は、ユーザが操作対象となる実物体を選択した操作、つまり、操作対象となる実物体が確定した操作である。範囲指定は、ユーザが選択中の操作を開始することを示す操作である。具体的には、範囲指定としては、ユーザが自身の手をユーザ視界取得部111の画角外から画角内に侵入させる操作が該当する。解除は、ユーザが決定の操作を行って操作対象として決定した実物体を操作対象から解除する操作である。手の状態変化の欄には手の状態が直前から現在にかけてどのように変化したかを示す情報が格納されている。ここで、ユーザ動作監視部102は、一定の周期例えば、映像データの取得するフレーム周期でユーザの手の状態を判定する。そのため、現在とはユーザ動作監視部102が判定した手の状態の最新の判定結果を示す。また、直前はユーザ動作監視部102が現在の判定結果の一つ前に手の状態を判定したときの判定結果を示す。よって、解放→解放は、直前の手の状態が解放で、現在の手の状態が解放であることを示す。また、解放→掌握は、直前の手の状態が解放で、現在の手の状態が掌握であることを示す。また、なし→解放は、直前の手の状態がなしで、現在の手の状態が解放であることを示す。また、掌握→解放は、直前の手の状態が掌握で現在の手の状態が解放であることを示す。手の位置座標差分の絶対値の欄には、直前から現在までの手の位置座標の差分についての条件が格納されている。選択中に対してはX,Y,Z軸方向のいずれかにおいて5cmより大きいの条件が格納されている。ここで、X,Y,Z軸は現実空間の各位置を規定するための座標軸であり、それぞれ、直交している。具体的には、X軸は矩形状の映像データの水平方向横方向と平行な座標軸である。Y軸は映像データの垂直方向縦方向と平行な座標軸である。Z軸はユーザ視界取得部111が備える画像センサのセンサ面と直交する方向、つまり、ユーザの視界の奥行座標を規定する座標軸である。ここで、X、Y、Z軸の原点としては例えば映像データの中央の位置が採用されている。ユーザが選択中の操作を行う場合、ユーザは手を自然に開いた状態にして、目標とする実物体に手を移動させる動作を行う。したがって、ユーザ動作監視部102は、手の状態変化が解放→解放であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値のうち少なくとも1つの座標軸の位置座標の差分の絶対値が5cmより大きい場合、操作種別が選択中であると判定する。また、ユーザが決定の操作を行う場合、視界中の実物体に手を重ね、その位置で指を曲げてその実物体を掴むような動作を行う。そのため、ユーザ動作監視部102は、手の状態変化が解放→掌握であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値の位置座標の差分の絶対値が全て0cm以上、5cm以下の場合、操作種別が決定であると判定する。ここで、5cmを条件として規定したのは、ユーザの手のぶれを想定したものである。すなわち、ユーザは本ユーザインタラクション装置を装着して、街中を歩きながら、実物体を選択する操作を行う。この場合、ユーザは手を停止させていても、歩く動作の振動により手が5cm程度ぶれる。そこで、本実施の形態では、5cmを条件として採用したのである。但し、歩いた際の手のぶれはユーザの身体的特徴に応じて異なることも想定される。また、本ユーザインタラクション装置を操作するときは歩くのをやめ、止まった状態でのみ操作するユーザも想定される。また、本ユーザインタラクション装置を室内でのみ操作するユーザも想定される。したがって、5cmは一例であって、ユーザインタラクション装置に対するユーザの身体的特徴や使用態様に応じて、適宜好ましい値をユーザが設定できるようにしてもよい。また、ユーザが範囲指定の操作を行う場合、ユーザ視界取得部111の画角外から画角内に手を侵入させる操作を行う。したがって、ユーザ動作監視部102は、手の状態変化がなし→解放であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値が算出されていない場合、操作種別が範囲指定であると判定する。ここで、範囲指定の場合、手の位置座標差分の絶対値をなしとしているのは、直前の手の位置座標が算出されていないため、手の位置座標の差分の絶対値を求めることができないからである。また、ユーザが解除の操作を行う場合、ユーザは実物体を掴もうとして指を閉じた状態から指を開く操作を行う。したがって、ユーザ動作監視部102は、手の状態変化が掌握→解放であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値が全て0cm以上5cm以下の場合、操作種別が解除であると判定する。このように、ユーザ動作監視部102はユーザの手の状態を終始監視しながらユーザ操作種別の判定とユーザの手の位置座標の更新とを行う。図1に戻り、実物体識別部107は、実物体情報保持部108に保持されている実物体情報に基づいて、映像データに含まれる実物体の中からユーザが操作可能な現実空間の実物体を識別する。具体的には、実物体識別部107は、ユーザ視界取得部111から所定のフレームレートで映像データが供給され、各映像データに含まれる実物体の特徴点を抽出し、抽出した特徴点をクラスタリングして複数の特徴点群に分け、各特徴点群における特徴点の配置パターンを求める。そして、実物体識別部107は、操作可能な実物体の基準となる特徴点の配置パターンである基準配置パターンを実物体情報保持部108から読み出し、この基準配置パターンと映像データから抽出した配置パターンとを比較することで、操作可能な実物体を識別する。実物体情報保持部108は、操作可能な実物体に関する情報を示す実物体情報を予め保持する。本実施の形態では、例えば実物体情報としては、予め定められた操作可能な実物体の基準配置パターン及び種別が含まれる。種別としては、例えば、ビル、車、看板等の実物体の種別を示す情報が採用される。優先度算出部103は、実物体識別部107により識別された実物体の現実空間での位置座標と、ユーザ動作監視部102より監視されたユーザの現在の手の位置座標とに基づいて、実物体識別部107により識別された実物体の優先度を算出する。ここで、優先度算出部103は、実物体識別部107により抽出された各実物体の特徴点の配置パターンから各実物体の重心を求め、この重心の現実空間での3次元の位置座標を各実物体の位置座標として算出する。この場合、優先度算出部103は、ユーザ動作監視部102がユーザの手の代表点の位置座標を算出した手法と同一の手法を用いて各実物体の重心の位置座標を求めればよい。そして、優先度算出部103は、X軸とY軸とで規定されるX-Y座標系と、Z軸で規定されるZ座標系とのそれぞれにおいて、ユーザの手の位置座標と、実物体識別部107により識別された各実物体との距離を求め、距離が短い順に優先度を算出する。そして、優先度算出部103は、X-Y座標系の優先度とZ座標系の優先度との合計値を求め、各実物体の総合的な優先度を求める。また、優先度算出部103は、実物体識別部107により識別された実物体のうち、ユーザの手の位置から所定距離内にある実物体に対してのみ優先度を算出してもよい。こうすることで、優先度の算出対象となる実物体の個数が制限され、処理の高速化を図ることができる。表示効果設定部105は、ユーザ動作監視部102により特定された操作種別が、選択中の操作種別を示す場合、優先度に応じて予め定められた表示効果の度合いを実物体識別部107により識別された各実物体に設定する。具体的には、表示効果設定部105は、ユーザ動作監視部102により特定された操作種別に対応する表示効果の種別を、表示効果情報保持部109に保持された表示効果情報から特定する。図11は、表示効果情報の一例を示した図である。表示効果情報は、操作種別、表示効果の種別、及び表示効果の度合いの欄を備えている。操作種別の欄には、ユーザ動作監視部102により特定される、4つの操作種別が格納されている。これら4つの操作種別は上述したため説明を省く。表示効果の種別の欄には、各操作種別に対応する表示効果の種別が格納されている。図11の例では、選択中、決定、範囲指定のそれぞれに対して実物体の輪郭の発光が表示効果の種別として規定されている。したがって、これら3つの操作種別に示す操作がユーザにより行われた場合、表示効果設定部105は、該当する実物体の輪郭を発光する表示効果を設定する。また、解除に対して実物体を揺らすが表示効果の種別として規定されている。したがって、ユーザにより解除の操作が行われると、表示効果設定部105は、該当する実物体を一定時間振動する表示効果を設定する。また、図11の例では、選択中に対応する表示効果の度合いとして、優先度が高い方から3つの実物体に対して、度合いを強、中、弱で発光が格納されている。よって、選択中の操作が行われた場合、表示効果設定部105は、優先度算出部103により算出された優先度が高い順に3つの実物体を抽出し、これら3つの実物体に対して、輪郭を強、中、弱の輝度で発光させる表示効果の度合いを設定する。これにより、重畳表示出力部112に表示される映像において、ユーザの手の位置座標から近い順に3つの実物体の輪郭が強、中、弱の輝度で発光され、ユーザは自身の手の位置と実物体の位置との関係を映像データから把握することができる。そのため、選択しようとする実物体の輪郭が強の輝度で発光されている場合は、手を止めて掴む操作を行えば、この実物体を選択することができる。また、選択しようとする実物体の輪郭が中、又は弱の輝度で発光されている場合は、当該実物体に向けて手を動かせば、当該実物体を選択することができる。更に、選択しようとする実物体の輪郭が発光されていない場合、ユーザは、輪郭が発光されている実物体のうち、選択しようとする実物体に最も近い実物体を見つけ、その実物体に向けて手を動かすことで、選択しようとする実物体に手を近づけることができる。このように、優先度に応じた輝度で実物体の輪郭を発光させることで、ユーザは自身の操作を確認しながら、実物体を選択することができ、操作性を向上させることができる。ここで、実物体の輪郭を発光させる表示態様としては、例えば、実物体の輪郭を所定の色でなぞったグラフィックスを実物体に重畳表示させる表示態様を採用すればよい。そして、輪郭を強、中、弱の輝度で発光させる場合は、この輪郭をなぞったグラフィックスの輝度を、強、中、弱のそれぞれに対して予め定められた輝度で発光させればよい。なお、図11の例では、3個の実物体の輪郭を強、中、弱の輝度で表示するようにしたが、これは一例であり、3個の実物体を異なる色例えば、赤、青、黄色で表示して、ユーザに手の位置と実物体の位置との関係を報知するようにしてもよい。例えば、実物体を赤で表示する場合は、実物体の映像に対して、各画素を赤の成分を強調表示する画像処理を施せばよい。また、実物体の映像の全体に赤マークのグラフィックスを、αブレンディングを用いて所定の透明度で重畳表示させればよい。また、3個の実物体を揺らす表示効果を採用してもよい。この場合、優先度が高い順に、振動数及び振幅の少なくとも一方を大、中、小に設定して3個の実物体を振動させればよい。また、図11の例では、操作種別が選択中の場合、3つの実物体の輪郭を発光させたが、これに限定されず、2個、4個、5個というように3個以外の複数の実物体の輪郭を発光させてもよい。また、図11の例では、決定の操作種別に対応する表示効果の度合いとして、決定した実物体に対して度合いを強で発光が格納されている。したがって、表示効果設定部105は、ユーザ動作監視部102により特定された操作種別が、決定である場合、ユーザが選択した実物体のみに対して輪郭を強の輝度で発光させる表示効果の度合いを設定する。ここで、強の輝度としては、操作種別が選択中の場合の強の輝度と同じ輝度であってもよいし、それよりも強い輝度であってもよい。いずれにせよ、操作種別が決定の場合、ユーザが選択した1つの実物体の輪郭のみが発光されるため、ユーザは決定の操作を行ったことを認識することができる。また、図11の例では、範囲指定の操作種別に対応する表示効果の度合いとして、実物体すべてに対して度合いを弱で発光が格納されている。したがって、表示効果設定部105は、実物体識別部107が識別した全ての実物体に対し、輪郭を弱の輝度で発光させる表示効果の度合いを設定する。この場合、ユーザは、映像データに含まれている実物体のうちどの実物体が操作可能な実物体であるかを認識することができる。なお、表示効果設定部105は、操作種別が範囲指定の場合、ユーザの手の位置に最も近い操作可能な実物体に対して所定距離内に位置する実物体に対して、輪郭を弱の強度で発光させる表示効果の度合いを設定してもよい。こうすることで、ユーザの視界において複数の実物体が込み入って存在している場合に、ユーザが選択を希望する可能性の高い実物体のみの輪郭が弱の輝度で発光され、操作性を向上させることができる。また、図11の例では、解除の操作種別に対応する表示効果の度合いとして選択解除した実物体に対して、度合い弱で揺らすが格納されている。したがって、表示効果設定部105は、選択が解除された実物体に対して、弱の輝度で発光させて、かつ、揺らす表示効果の度合いを設定する。ここで、弱の輝度で発光させるとは、重畳表示出力部112で表示させる映像データにおいて、選択が解除された実物体の輝度を全体的に下げて表示する、又は、選択が解除された実物体に重畳される輪郭のグラフィックスを弱の輝度で表示することが該当する。図1に戻り、表示効果情報保持部109は、図11に示す表示効果情報を保持する。実物体効果付与部104は、表示効果設定部105により設定された表示効果の度合い応じた表示効果を、優先度算出部103により優先度が算出された各実物体に付与する。具体的には、実物体効果付与部104は、ある実物体の輪郭を発光させる場合、当該実物体の輪郭を所定の輝度で発光させるためのグラフィックスを生成し、生成したグラフィックスを映像データにおける当該実物体の輪郭に重畳させる描画指令を重畳表示出力部112に出力することで、当該実物体に表示効果を付与する。また、実物体効果付与部104は、ある実物体を揺らす場合、映像データから当該実物体の画像データを抽出し、抽出した画像データを揺らして表示させるための描画指令を重畳表示出力部112に出力することで、当該実物体に表示効果を付与する。重畳表示出力部112は、例えば、表示パネル、描画RAM、及び描画RAMに映像データを書き込み表示パネルに表示させる処理回路等から構成され、実物体効果付与部104により各実物体に付与された表示効果を映像データに重畳表示する。具体的には、重畳表示出力部112は、所定のフレームレートで映像データを描画RAMに書き込み、実物体効果付与部104から出力される描画指令に従って、実物体効果付与部104で生成されたグラフィックスを描画RAMの該当する位置に書き込むことで、映像データにグラフィックスを重畳させる。図2は、ユーザが選択中の操作を行った際の本発明の実施の形態におけるユーザインタラクション装置の処理を示すフローチャートである。図2において、ステップS以下、Sと略す201~S206は、ユーザ動作監視部102にて実施される処理である。まず、ユーザ動作監視部102は、ユーザ視界取得部111により取得されたユーザの視界の映像データから、ユーザの手を認識し、現実空間における手の位置座標を取得するS201。次に、ユーザ動作監視部102は、映像データから抽出した手の特徴点の配置パターンからユーザの手の状態を取得するS202。手の状態としては、上述したように解放、掌握、なしが存在する。次に、ユーザ動作監視部102は、手の状態変化を特定するS203。ここで、ユーザ動作監視部102は、直前と現在との手の状態を手の状態変化として特定する。この例では、ユーザは選択中の操作を行っているため、手の状態変化として解放→解放が特定される。次に、ユーザ動作監視部102は、直前と現在とにおける手の位置座標の差分の絶対値を算出するS204。次に、ユーザ動作監視部102は、S203で特定した手の状態変化と、S204で算出した手の位置座標の差分の絶対値とから、図4に示すユーザ操作定義情報を参照し、ユーザの現在の操作種別を判定するS205。図3は、直前、及び現在のそれぞれにおいて、ユーザの手の状態と位置座標との一例を示した図である。図3において、手401は直前におけるユーザの手を示し、手403は現在のユーザの手を示している。ここで、手401の位置座標402がX、Y、Z=5cm、10cm、30cmであり、手403の位置座標404がX、Y、Z=8cm、20cm、32cmであったとする。また、手401の状態が解放、手403の状態が解放であったとする。この場合、ユーザ動作監視部102は、手の状態変化が解放→解放であり、手の位置座標402,404の差分の絶対値405=|位置座標402-位置座標404|が、X、Y、Z=3cm、10cm、2cmである。そのため、ユーザ動作監視部102は、図4に示すユーザ操作定義情報を参照して、現在のユーザの操作種別が選択中であると判定する。なお、ユーザ動作監視部102は、特定した手の状態変化と算出した手の位置座標差分の絶対値とのいずれか一方が図4に定義されていないパターンに該当する場合、ユーザは操作をしていない、つまり、無操作であると判定すればよい。S206において、ユーザ動作監視部102は、ユーザが操作を行っているか否かの判定を行う。ここでは、ユーザ動作監視部102は、S205においてユーザが無操作であると判定した場合を除いて、ユーザの操作があると判定しS206でYES、S207の処理を実施する。一方、ユーザ動作監視部102は、S205において、ユーザが無操作であると判定した場合、ユーザの操作がないと判定しS206でNO、処理をS201に戻す。S207~S210は、実物体識別部107にて実施される処理である。S207において、実物体識別部107は、ユーザの視線や体の移動により、ユーザの視界が変更されたか否かを判定する。この判定は、ユーザ視界取得部111により取得された現在の映像データと直前の映像データと比較することで行われる。具体的には、ユーザ視界取得部111は、現在の映像データと直前の映像データとの差分画像データを求め、その差分画像データにおいて、輝度が一定値以上の画素の個数が所定個数以上存在した場合、ユーザの視界が変更されたとみなしてS207でYES、S208の処理を実施する。一方、ユーザの視界に変更がない場合はS207でNO、S208、S209が飛ばされて、S210の処理が実施される。S208において、実物体識別部107は、ユーザ視界取得部111により取得された映像データに含まれる実物体を識別する。ここで、実物体識別部107は、映像データから特徴点を抽出し、抽出した特徴点をクラスタリングすることで、実物体を識別する。なお、実物体識別部107は、S208の処理を例えば、識別できた実物体が所定個数になるまで、或いは、所定のタイムアウト時間が経過するまで可能な限り反復する。S209において、実物体識別部107は、実物体情報保持部108に保持されている各実物体の基準配置パターンと、映像データから抽出した特徴点の配置パターンとを照合することで操作可能な実物体を識別する。S210は、優先度算出部103にて実施される処理である。S210において、優先度算出部103は、S209で識別された実物体のそれぞれの現実空間での位置座標を求め、この位置座標とS201で算出された手の位置座標とを用いて、各実物体の優先度を算出する。図5、図6を用いてS210で実施される処理を示す。図5は、X-Y座標系における優先度の算出方法を示した模式図であり、図6は、Z座標系における優先度の算出手法を示した模式図である。優先度算出部103は、図5と図6での判定方法を組合せて各実物体の優先度を算出する。図5に示す領域501は、ユーザ視界取得部111により取得された1枚の映像データを示す。領域501において、水平方向の座標軸がX軸とされ、垂直方向の座標軸がY軸とされ、奥行座標の座標軸がZ軸とされている。位置座標P502~P505は、実物体識別部107により識別された実物体502~505の位置座標を示している。本実施の形態では、位置座標P502~P505として例えば、実物体502~505の重心が採用されている。位置座標P506は、ユーザ動作監視部102にて取得されたユーザの手506の位置座標を示している。X-Y座標系における優先度は、手506の位置座標P506と、実物体502~505の位置座標P502~P505とのX-Y座標系における距離が短い順に付与される。図7は、図5、図6に示す実物体502~505の位置座標P502~P505をまとめた表である。図8は、図5、図6に示す手506の位置座標P506をまとめた表である。図7において、実物体の列に記載されたID502~ID505は、図5、図6に示す実物体502~505に付与された識別情報である。図8において手506の列に記載されたID506は、図5、図6で示す手506に付与された識別情報である。以降、図9、図10、図12においても、ID502~ID505は図5、図6で示す実物体502~505の識別情報を表し、ID506は図5、図6で示す手506の識別情報を表す。図5、図6の例では、実物体502~505の位置座標P502~P505は、それぞれ、図7に示すX、Y、Z座標の値を持つものとする。また、図5、図6の例では、手506の位置座標P506は、図8に示すX、Y、Z座標の値を持つものとする。図9aは、図5、図6に示す実物体502~505に対して算出された、X-Y座標系の優先度を示す。図9aに示すように、実物体502~505は、実物体503,505,504,502の順でユーザの手506からの距離短くなっている。そこで、優先度算出部103は、距離が短いほど、ユーザが操作対象として選択しようとしている可能性の高い実物体であると判定し、距離が短い順に高い優先度を設定する。図9aの例では、実物体502は、ユーザの手506との距離が18cmであるため、最も高い優先度である4が設定されている。また、実物体503はユーザの手506との距離が35cmであるため、最も低い優先度である1が設定されている。なお、図9aの例では、実物体識別部107が識別した操作可能な実物体の個数が4個であるため、4個の実物体に対して優先度が設定されているが、実物体識別部107により識別された操作可能な実物体の個数に応じて優先度の値も変動する。例えば、操作可能な実物体の個数がnnは正の整数個の場合、各実物体に対し距離が短い順でnから1の優先度が設定される。ここで、優先度算出部103は、実物体識別部107が識別した操作可能な実物体のうち、ユーザに対して距離が一定範囲内に存在する物体に対してのみ優先度を算出してもよい。また、優先度算出部103、処理の簡略化の観点から、例えば、ユーザに対してZ座標系又はX-Y座標系の位置座標が一定範囲内に存在する実物体に対してのみ優先度を算出するようにしてもよい。優先度算出部103は、Z座標系については図6aに示す判定方法を用いて実物体502~505の優先度を算出する。具体的には、優先度算出部103は、まず、実物体識別部107により識別された実物体の中からユーザに対して一番遠くにある実物体503と、一番近くにある実物体505とのZ座標における距離601を算出する。次に、優先度算出部103は、距離601をユーザの手506の可動範囲602と対応させる。ここで、可動範囲602は、ユーザ毎に予め定められた距離が採用され、手506の位置座標P506からZ軸方向奥行側に距離Z1離れた位置P701と、-Z軸方向手前側に距離Z2離れた位置P702とで規定される距離が可動範囲602として予め定められている。この距離Z1はユーザが手506を奥行方向に延ばすと想定される距離に基づいてユーザ毎に予め定められた値が採用され、距離Z2はユーザが手506を手前方向に延ばすと想定される距離に基づいてユーザ毎に予め定められた値が採用されている。そして、優先度算出部103は、距離601を距離Z1と距離Z2との比で内分した位置603をユーザの手506の位置として距離601内に設定する。そして、優先度算出部103は、実物体502~505のそれぞれについて位置603からのZ軸における距離を求める。そして、優先度算出部103は、求めた距離が短い実物体ほど高い優先度を設定する。本実施の形態では、ユーザは手506の可動範囲外に位置する実物体も非接触で選択することができる。この場合、ユーザの手506の可動範囲602を全く無視して、Z座標系の優先度を算出すると、ユーザに操作に対する違和感を与えてしまう。そこで、本実施の形態では、可動範囲602に距離601に対応付けてZ座標系の優先度を算出することで、ユーザの操作に対する違和感を抑制している。図9bは、図5、図6に示す実物体502~505に対して算出されたZ座標系における優先度をまとめた表である。図9bにおいて、ユーザの手からの距離は図6に示す位置603を基準としたときの実物体502~505の距離を示している。図9bの例では、実物体503、505、504、502の順でユーザの手506からの距離が短くなっている。そのため、実物体503、505、504、502に対して、1、2、3、4の優先度が設定されている。次に、優先度算出部103は、X-Y座標系で求めた実物体502~505の優先度とZ座標系で求めた実物体502~505の優先度とを合計し、実物体502~505の総合的な優先度を算出する。図10は、図5、図6に示す実物体502~505に対して算出された総合的な優先度をまとめた表である。図10に示すように、実物体502はX-Y座標系の優先度が4であり、Z座標系の優先度が4であるため、トータルの優先度が8と算出されている。他の実物体503~505も同様にして優先度が算出され、それぞれ、優先度が2、6、4と算出されている。よって、実物体502、504、503、505の総合的な優先度は、4、3、2、1と算出されている。図2に戻ってS211からS213の処理について説明する。S211は、表示効果設定部105、及び表示効果情報保持部109にて実施される処理である。S208において、表示効果設定部105は、ユーザ動作監視部102にて特定されたユーザの現在の操作種別に対応する表示効果の種別と表示効果の度合いとを、図11に示す表示効果情報を参照して決定する。ここでは、操作種別が選択中であるため、表示効果設定部105は、表示効果の種別として実物体の輪郭の発光を設定し、表示効果度合いとして優先度が高い順に3つの実物体に対して、発光度合い強、中、弱を設定する。図12は、表示効果設定部105が実物体502~505に対して設定した表示効果及び表示効果の度合いをまとめた表である。この例では、実物体502~505に対する優先度は4、2、3、1である。そのため、実物体502、504、503は表示効果及び表示効果の度合いとして、それぞれ、輪郭発光強、輪郭発光中、輪郭発光弱が設定され、実物体505は表示効果及び表示効果の度合いとしてなしが設定されている。このように、操作種別が選択中である場合、実物体502~505のうち、優先度が高い順に3つの実物体502、504、503が抽出され、それぞれの実物体502、504、503に対して輪郭を強、中、弱で発光させる表示効果及び表示効果の度合いが設定される。図2に戻り、S212において、実物体効果付与部104は、S210で実物体502、504、503に対して設定された表示効果及び表示効果の度合いを、実物体502、504、503に付与する。ここでは、実物体502、504、503に対して、それぞれ輪郭を強、中、弱の強度で発光させる表示効果及び表示効果の度合いが設定されている。そのため、実物体効果付与部104は、実物体502、504、503の輪郭を示すグラフィックスを生成する。そして、実物体効果付与部104は、実物体502の輪郭を示すグラフィックスには強の輝度を設定し、実物体504の輪郭を示すグラフィックスには中の輝度を設定し、実物体503の輪郭を示すグラフィックスには弱の輝度を設定する。そして、実物体効果付与部104は、実物体502、504、503の輪郭を示すグラフィックスを、映像データ内の実物体502、504、503に重畳表示させる描画指令を重畳表示出力部112に出力する。S213において、重畳表示出力部112は、描画指令にしたがって、映像データ内の実物体502、504、503の輪郭に対応するグラフィックスを重畳表示させる。以上により、本ユーザインタラクション装置の動作が終了する。なお、上記実施の形態では、実物体に対して表示効果及び表示効果の度合いを設定したが、本発明は実物体に限らず、ディスプレイ等に表示された仮想物体に対しても適用できる。この場合、仮想物体を上記の実物体として取り扱い、上記の処理を適用すれば、仮想物体に対しても、表示効果及び表示効果の度合いを設定することができる。また、上記実施の形態では、ユーザは1つの実物体を操作対象として選択する操作を例に挙げて説明したが、本発明はこれに限らず、複数の実物体を選択する操作に対して適用してもよい。また、選択可能な1又は複数の実物体をユーザに報知する場合において、本発明を適用してもよい。この場合、選択可能な1又は複数の実物体に対して、上記の選択中における表示効果及び表示効果の度合い、すなわち、優先度の高い順に所定個数の実物体の輪郭を強い輝度で発光させる表示効果及び表示効果の度合いを付与すればよい。また、本発明は、複数の動作を組み合わせることで1つの操作が完了する場合において、各動作が終了する毎に表示効果と表示効果の効果度合いを設定する場合にも適用できる。なお、上記実施の形態では、選択中の操作がユーザにより行われている場合、優先度が高い実物体の輪郭を発光させる表示態様を採用したが、これに併せて、物体の種別をユーザに報知する表示態様を採用してもよい。この場合、実物体識別部107は、実物体の識別時に、実物体情報に含まれている実物体の種別から、識別した実物体の種別を特定し、表示効果設定部105に通知する。そして、表示効果設定部105は、物体の種別毎に予め定められた色を物体の輪郭を表示する表示効果を設定すればよい。また、上記実施の形態は一例であって、本発明は上記実施の形態に限定されるのではない。上記実施の形態に対して当業者が思いつく変形を施して得られる形態、及び実施の形態における構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。なお、図1に示されたユーザインタラクション装置の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGAFieldProgrammableGateArrayや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用しても良い。また、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術を用いて図1に示す各ブロックを実現してもよい。また、上記ユーザインタラクション装置の各ブロックのうち、データを格納する手段だけ1チップ化せずに別構成としてもよい。また、本発明は、ユーザインタラクション装置として実現できるだけでなく、ユーザインタラクション装置を構成する処理部をステップとする方法として実現できる。そして、本発明は、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したCD-ROM等のコンピュータ読み取り可能な記憶媒体として実現できる。"