ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する指示入力装置であって、ユーザの位置を検出するユーザ位置検出部と、前記ユーザの手の位置を示す座標を入力座標として検出する入力座標検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出する第1方向検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である第2の方向を検出する第2方向検出部と、前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出する注視位置算出部と、前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出する基準線算出部と、前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出するオフセット量算出部と、前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出するポインタ表示位置算出部とを備える指示入力装置。前記ユーザの位置は、ユーザの顔の位置または頭の位置である、請求項1に記載の指示入力装置。前記指示入力装置は、更に、ユーザに把持された状態で装置自身の位置を出力する三次元座標入力装置を備え、前記入力座標検出部は、前記三次元座標入力装置によって出力された位置の座標を前記入力座標として検出する、請求項1に記載の指示入力装置。前記指示入力装置は、更に、ユーザを撮像する撮像部を備え、前記入力座標検出部は、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの手の位置を示す前記入力座標を検出する、請求項1に記載の指示入力装置。前記入力座標検出部は、更に、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの右手および左手を識別し、識別された左右の手ごとに入力座標を検出する、請求項4に記載の指示入力装置。前記第1方向検出部は、顔向きおよび視線の少なくとも一方を含む前記ユーザの身体の姿勢に基づいて、前記第1の方向を検出する、請求項1に記載の指示入力装置。前記第2方向検出部は、少なくとも身体の向きを含む前記ユーザの身体の姿勢に基づいて、前記第2の方向を検出する、請求項1に記載の指示入力装置。前記第2方向検出部は、ユーザの身体の姿勢に加え、更に前記ユーザの位置に対する前記画面の方向に基づいて、前記第2の方向を検出する、請求項7に記載の指示入力装置。前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、更に前記第2の方向とに基づいて、前記基準線を算出する、請求項1に記載の指示入力装置。前記指示入力装置は、更に、少なくともユーザの頭の位置と胸の位置との対応関係を示す情報を格納するユーザ情報データベースを備え、前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記基準線を算出する、請求項1に記載の指示入力装置。前記指示入力装置は、更に、少なくともユーザごとの胸の位置を示す情報を格納するユーザ情報データベースと、ユーザを識別するユーザ識別部とを備え、前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの胸の位置を示す情報とに基づいて、前記基準線を算出する、請求項1に記載の指示入力装置。前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報と、更に前記第2の方向とに基づいて、前記基準線を算出する、請求項10に記載の指示入力装置。前記指示入力装置は、更に、少なくともユーザの頭の位置と腕の長さとの対応関係を示す情報を格納するユーザ情報データベースを備え、前記オフセット量算出部は、前記第2の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記オフセット量を算出する、請求項1に記載の指示入力装置。前記指示入力装置は、更に、少なくともユーザごとの腕の長さを示す情報を格納するユーザ情報データベースと、ユーザを識別するユーザ識別部とを備え、前記オフセット量算出部は、前記第2の方向と、前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの腕の長さを示す情報とに基づいて、前記オフセット量を算出する、請求項1に記載の指示入力装置。前記指示入力装置は、更に、前記ポインタ表示位置算出部によって算出された表示位置にポインタを表示する表示部を備える請求項1に記載の指示入力装置。前記オフセット量算出部は、前記基準線と前記入力座標との間の第3の方向の距離を、前記画面に沿った第2の画面規定方向の前記注視位置に対する他のオフセット量として算出し、前記ポインタ表示位置算出部は、前記画面上において、前記注視位置との間の前記第2の画面規定方向の距離が前記他のオフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出し、前記第3の方向は、第1および第2の方向と異なる方向であり、前記第2の画面規定方向は前記第1の画面規定方向と異なる方向である、請求項1に記載の指示入力装置。ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する指示入力方法であって、ユーザの位置を検出し、前記ユーザの手の位置を示す座標を入力座標として検出し、前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出し、前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である第2の方向を検出し、前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出し、前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出し、前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出し、前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出する指示入力方法。ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出するためのプログラムであって、ユーザの位置を検出し、前記ユーザの手の位置を示す座標を入力座標として検出し、前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出し、前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である第2の方向を検出し、前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出し、前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出し、前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出し、前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出することをコンピュータに実行させるプログラム。請求項18に記載のプログラムを格納する記録媒体。ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する集積回路であって、ユーザの位置を検出するユーザ位置検出部と、前記ユーザの手の位置を示す座標を入力座標として検出する入力座標検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出する第1方向検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である第2の方向を検出する第2方向検出部と、前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出する注視位置算出部と、前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出する基準線算出部と、前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出するオフセット量算出部と、前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出するポインタ表示位置算出部とを備える集積回路。しかしながら、上述した従来技術はいずれも、ユーザが見ている方向と同じ方向に差し出した手と、それに対応する画面上のポインタとの位置関係が変化しないように配慮されていない。つまり、従来技術では、ユーザが見ている方向視線方向に沿った線上にユーザの手がある状態で、ユーザがその線上の異なる位置に手を動かせば、異なる位置にポインタが表示されてしまうことがある。例えば、上記線上の第1位置から、その線上から外れた第2位置にユーザが手を動かした後に、その線上の第3位置に手を動かす。この場合、第1位置に手があるときにユーザが見ている方向と、第3位置に手があるときにユーザが見ている方向とが同じであるにもかかわらず、上記線上で第1位置と第3位置とが異なれば、ポインタの表示位置が異なってしまうことがある。例えば、第1位置から第2位置までの距離が、第2位置から第3位置までの距離と異なれば、ポインタの表示位置がことなってしまう。ユーザは、視線方向に沿った線上に手があれば、その線上で互いに異なる位置に手があっても、画面上の同じ位置にポインタが表示されることを想定する。このため、上述の従来技術では、ユーザの想定と異なる場所にポインタが表示され、ポインタの位置を思い通りに操作しづらいという課題を有する。さらに、画面上の離れた場所を操作する場合には、ユーザは画面に対して身体あるいは顔を斜めにしてポインティング操作を行うため、身体の向き、視線の向きおよび画面の向きがずれることとなる。上述した従来技術はいずれも、上記のような向きのずれについては配慮されていないため、ユーザが手を動かした量が画面上のポインタの移動量と大きくずれ、どの程度手を動かせばポインタを目的の場所に移動できるか分からず、思い通りに操作がしづらくなるという課題を有する。本発明は、前記従来の課題を解決するものであって、ユーザが見ている方向に差し出した手とそれに対応する画面上のポインタとの位置関係が変化しないように、かつ、ユーザの手の移動量と画面上のポインタの移動量との対応関係が変化しないようにポインタの表示位置を算出することで、ユーザが直感的に理解および操作しやすい指示入力装置および指示入力方法などを提供することを目的とする。上記目的を達成するために、本発明の一態様に係る指示入力装置は、ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する指示入力装置であって、ユーザの位置を検出するユーザ位置検出部と、前記ユーザの手の位置を示す座標を入力座標として検出する入力座標検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出する第1方向検出部と、前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である第2の方向を検出する第2方向検出部と、前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出する注視位置算出部と、前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出する基準線算出部と、前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出するオフセット量算出部と、前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出するポインタ表示位置算出部とを備える。この構成により、ユーザが見ている方向とユーザがポインティング操作を行なう方向とに基づいてポインタの表示位置を算出することができる。つまり、基準線基準座標群と入力座標との間の第2の方向の距離が、注視位置に対するオフセット量として算出され、その画面上において、注視位置との間の第1の画面規定方向の距離がそのオフセット量となる位置が、ポインタの表示位置として算出される。したがって、ユーザが見ている方向に差し出した手とそれに対応する画面上のポインタとの位置関係が変化しないようにすること可能となる。さらに、ユーザの手の移動量と画面上のポインタの移動量との対応関係が変化しないようにポインタの表示位置を算出することも可能となる。その結果、ユーザが直感的に理解および操作しやすい指示入力装置を実現することができる。また、前記ユーザの位置は、ユーザの顔の位置または頭の位置であることが好ましい。この構成により、ユーザの位置が顔または頭の位置となるので、ユーザの注視位置の算出精度を向上させることができる。また、前記指示入力装置は、更に、ユーザに把持された状態で装置自身の位置を出力する三次元座標入力装置を備え、前記入力座標検出部は、前記三次元座標入力装置によって出力された位置の座標を前記入力座標として検出することが好ましい。この構成により、ユーザの手の位置を示す入力座標の検出精度を向上させることができる。また、前記指示入力装置は、更に、ユーザを撮像する撮像部を備え、前記入力座標検出部は、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの手の位置を示す前記入力座標を検出することが好ましい。この構成により、ユーザが手に三次元座標入力装置を把持していない場合であっても、入力座標を検出できるので、ユーザの利便性を向上させることができる。また、前記入力座標検出部は、更に、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの右手および左手を識別し、識別された左右の手ごとに入力座標を検出することが好ましい。この構成により、左右の手ごとに入力座標を検出することができ、ユーザの操作性を向上させることが可能となる。また、前記第1方向検出部は、顔向きおよび視線の少なくとも一方を含む前記ユーザの身体の姿勢に基づいて、前記第1の方向を検出することが好ましい。この構成により、顔向きおよび視線の少なくとも一方から第1の方向を検出することができる。また、前記第2方向検出部は、少なくとも身体の向きを含む前記ユーザの身体の姿勢に基づいて、前記第2の方向を検出することが好ましい。この構成により、ユーザの身体の向きから第2の方向を検出することができる。また、前記第2方向検出部は、ユーザの身体の姿勢に加え、更に前記ユーザの位置に対する前記画面の方向に基づいて、前記第2の方向を検出することが好ましい。この構成により、ユーザの位置と画面の位置との位置関係に適応した方向を、第2の方向として検出することができる。また、前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、更に前記第2の方向とに基づいて、前記基準線を算出することが好ましい。この構成により、第1の方向と第2の方向との間の角度が予め定められた角度よりも小さい場合には、ユーザが頭の位置を基準とする視線方向のベクトル上に一方の手を差し出すことが困難である。このような場合などに、その一方の手に対して、第2の方向に基づいて基準線を適切に算出することができる。また、前記指示入力装置は、更に、少なくともユーザの頭の位置と胸の位置との対応関係を示す情報を格納するユーザ情報データベースを備え、前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記基準線を算出することが好ましい。この構成により、ユーザの胸の位置を基準に基準線を算出することができるので、ユーザの自然な姿勢によるポインティング操作に応じた基準線を算出することが可能となる。また、前記指示入力装置は、更に、少なくともユーザごとの胸の位置を示す情報を格納するユーザ情報データベースと、ユーザを識別するユーザ識別部とを備え、前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの胸の位置を示す情報とに基づいて、前記基準線を算出することが好ましい。この構成により、ユーザごとの身体特徴に適応した基準線を算出することができる。また、前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報と、更に前記第2の方向とに基づいて、前記基準線を算出することが好ましい。この構成により、第1の方向と第2の方向との間の角度が予め定められた角度よりも小さい場合には、ユーザが胸の位置を基準とする視線方向のベクトル上に一方の手を差し出すことが困難である。このような場合などに、その一方の手に対して、第2の方向に基づいて基準線を適切に算出することができる。また、前記指示入力装置は、更に、少なくともユーザの頭の位置と腕の長さとの対応関係を示す情報を格納するユーザ情報データベースを備え、前記オフセット量算出部は、前記第2の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記オフセット量を算出することが好ましい。この構成により、ユーザの腕の長さを考慮してオフセット量を算出できるので、ユーザの手の移動量に対する画面上のポインタの移動量が、ユーザの腕の長さが異なることによって変化しないようにすることが可能となる。また、前記指示入力装置は、更に、少なくともユーザごとの腕の長さを示す情報を格納するユーザ情報データベースと、ユーザを識別するユーザ識別部とを備え、前記オフセット量算出部は、前記第2の方向と、前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの腕の長さを示す情報とに基づいて、前記オフセット量を算出することが好ましい。この構成により、ユーザごとの身体特徴に適応したオフセット量を算出することが可能となる。また、前記指示入力装置は、更に、前記ポインタ表示位置算出部によって算出された表示位置にポインタを表示する表示部を備えることが好ましい。この構成により、指示入力装置がポインタを表示することも可能となる。また、前記オフセット量算出部は、前記基準線と前記入力座標との間の第3の方向の距離を、前記画面に沿った第2の画面規定方向の前記注視位置に対する他のオフセット量として算出し、前記ポインタ表示位置算出部は、前記画面上において、前記注視位置との間の前記第2の画面規定方向の距離が前記他のオフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出し、前記第3の方向は、第1および第2の方向と異なる方向であり、前記第2の画面規定方向は前記第1の画面規定方向と異なる方向であることが好ましい。これにより、基準線と入力座標との間における第2の方向の距離と第3の方向の距離とがそれぞれオフセット量として算出され、注視位置から第1の画面規定方向および第2の画面規定方向にそれらのオフセット量だけ離れた位置が、ポインタの表示位置として算出される。したがって、ユーザが2次元状で直感的に理解および操作しやすい指示入力装置を実現することができる。なお、本発明は、このような指示入力装置として実現することができるだけでなく、このような指示入力装置が備える特徴的な構成部の動作をステップとする指示入力方法としても実現することができる。また、本発明は、指示入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD-ROMCompactDiscReadOnlyMemory等の記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。本発明によれば、ユーザが見ている方向とユーザがポインティング操作を行なう方向とに基づいてポインタの表示位置を算出することができる。したがって、ユーザが見ている方向に差し出した手とそれに対応する画面上のポインタとの位置関係が変化しないようにすること可能となる。さらに、ユーザの手の移動量と画面上のポインタの移動量との対応関係が変化しないようにポインタの表示位置を算出することも可能となる。その結果、ユーザが直感的に理解および操作しやすい指示入力装置および指示入力方法を実現することができる。以下、本発明の実施の形態について、図面を参照しながら説明する。実施の形態1<概要>本発明に係る指示入力装置は、1以上のユーザにより操作される大画面ディスプレイに適用されるのに好適であり、ユーザのポインティング操作によって画面上に表示されるポインタ位置の制御を行う。ここで、ポインティング操作とは、ユーザの手によるジェスチャ操作であって、ポインタを動かすための操作である。また、ポインタとは、ユーザが指し示す画面上の位置に表示される画像である。なお、ポインタの形態形状、模様および色彩は、特定の形態に限定される必要はなく、ユーザが認識できる形態であればどのような形態であってもよい。例えば、ポインタは、典型的には、白あるいは黒の矢印の画像である。<構成>図1は、本発明の実施の形態における指示入力装置の外観と関連機器とのインタフェースの一例を説明する図である。映像表示装置112は、放送番組等を受信するためのアンテナによって受信された放送信号などに基づいて、画像又は映像を画面111に表示する。ユーザ検出カメラ100は、映像表示装置112が備える画面111の近傍に設置され、画面前方に位置するユーザを撮像する。指示入力装置10は、ユーザ検出カメラ100を用いて撮像された画像情報の解析により検出されるユーザの位置、動き、又は身体の姿勢に基づいて、映像表示装置112を制御する。なお、指示入力装置10は、座標入力リモコン105を保持したユーザの手の位置や動き、同リモコン上に配置されたボタンの押下といったユーザのリモコンの操作に基づき、映像表示装置112を制御してもよい。また、指示入力装置10は、その他の機器、例えば携帯電話を保持したユーザの手の位置や動き、同携帯電話上に配置されたボタンの押下といった操作に基づき、映像表示装置112を制御してもよい。また、映像表示装置112はルータ/ハブなどを介してインターネットに接続されており、インターネット上から取得したデジタル情報を表示することができる。また、図1には示していないが、映像表示装置112が有する複数のスピーカーは、映像表示装置112の上端と下端、あるいは左端と右端というように離れて配置されてもよい。図2は、本発明の実施の形態1における指示入力装置の構成例を示す図である。ユーザ検出カメラ100は、画面111の前方に存在するユーザを撮像し、撮像によって得られた画像を指示入力装置10に送信する。指示入力装置10は、ユーザによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する。指示入力装置10は、ユーザ位置検出部101、第1方向検出部102、第2方向検出部103、および座標入力検出部104を備える。さらに、指示入力装置10は、注視位置算出部106、基準座標群算出部107、オフセット量算出部108、およびポインタ表示位置算出部109を備える。座標入力リモコン105は、三次元座標入力装置の一例である。座標入力リモコン105は、ユーザに把持された状態で当該座標入力リモコン105の位置を出力する。座標入力リモコン105は、ボタン入力部1051と位置検出部1052とを備える。映像表示装置112は、表示部110と画面111とを備える。表示部110は、ポインタ表示位置算出部109によって算出された画面111上の表示位置にポインタを表示する。<動作>以下、図2における各ブロックの機能を説明する。<ユーザ検出カメラ>ユーザ検出カメラ100は、映像表示装置112に設置され、CCDChargeCoupledDeviceなどのイメージセンサを備える。ユーザ検出カメラ100は、画面111の前方に存在するユーザを撮像する。<ユーザ位置検出部>ユーザ位置検出部101は、ユーザ検出カメラ100により撮像される複数の画像からユーザ領域の抽出を行った後、複数の画像におけるユーザ領域の対応関係から、ステレオ視の原理により、画面111に対するユーザの顔または頭の相対位置を算出する。図3Aおよび図3Bは、本発明の実施の形態1におけるユーザ位置検出部101がステレオ視の原理に基づいてユーザの位置を算出する方法を示す図である。図3Aに示すように、2台一組のユーザ検出カメラ100が互いに間隔Bだけ離れ、画面111に対して平行に設置される。ユーザ位置検出部101は、それぞれのユーザ検出カメラ100でほぼ同時に撮像された2つの画像内の対応するユーザ領域の位置ずれを基に、ユーザと画面111との距離Dを算出する。各ユーザ検出カメラ100で撮像された画像内におけるユーザが写っている領域ユーザ領域の抽出は、例えば、あらかじめユーザのいない状態でそれぞれのユーザ検出カメラ100で撮像された画像を保存しておき、ユーザが現れたときの画像との差分を求めることにより実現できる。また、ユーザ位置検出部101は、顔画像検出によりユーザの顔領域を求め、前記顔領域をユーザ領域として抽出することもできる。図3Bは、二つの画像上の対応するユーザ領域を基に、ユーザとカメラ設置面画面111との距離Dを求めるステレオ視の原理を示す図である。2台のユーザ検出カメラ100で撮像された画像それぞれで対応するユーザ領域を位置測定対象とすると、そのユーザ領域の像は二つの撮影面画像上に、図3Bに示すように投影される。対応する像の画像上のずれをZとすると、ユーザ検出カメラ100の焦点距離fとユーザ検出カメラ100の光軸間の距離Bとから、ユーザと画面111との距離Dは、D=f×B/Zによって求められる。また、画面111に平行な方向のユーザ位置については、画像中のユーザ領域の位置と上記の距離Dを基に求めることができる。このようにして求めた画面111に対するユーザの相対的な位置がユーザ位置検出部101から出力される。なお、ユーザ検出カメラ100として、光波測距TimeofFlightの原理により距離情報を出力する距離画像センサなど用いると、ユーザ位置検出部101は、その距離情報を用いることにより容易に画面111に対するユーザの相対位置を算出することができる。この場合、ユーザ検出カメラ100は、1台であってもよい。<第1方向検出部>第1方向検出部102は、ユーザ検出カメラ100により撮像された画像から、視線の方向以下、視線方向ともいうを、ユーザが見ている方向を示す第1の方向として検出する。図4A~図5Cは、本発明の実施の形態1における第1方向検出部102における視線検出方法を示す図である。視線方向は、顔の向き以下、顔向きともいうと、目の中の黒目部分の方向以下、黒目の向き又は黒目方向ともいうとの組み合わせを基に計算される。そこで、第1方向検出部102は、まず人物の三次元の顔向きを推定し、次に黒目の向きの推定を行い、2つを結合して視線方向を計算する。図4Aに示すように、第1方向検出部102は、ユーザ検出カメラ100で撮像された画像から、まずは顔向きの推定を行う。顔向きは、例えば図4Bおよび図5Aを用いて以下に説明する方法を用いることで推定できる。図4Bは、視線方向の推定方法の全体の流れを示すフローチャートである。本実施の形態では、あらかじめ、検出された顔領域における目、鼻および口などの顔部品特徴点の領域をいくつかの顔向きごとに用意する。図5Aの例では、顔向き正面および左右±20度における顔部品特徴点の領域を用意している。また、各顔部品特徴点周辺領域を切り出したテンプレート画像を用意しておく。まず、ユーザ検出カメラ100が画面111の前方に存在するユーザを撮像するS201。そして、第1方向検出部102は、撮像された画像から顔領域の検出を行うS202。次に、第1方向検出部102は、検出された顔領域に対し、各顔向きに対応した顔部品特徴点の領域顔部品領域を当てはめS203、各顔部品特徴点の領域画像顔部品領域画像を切り出す。第1方向検出部102は、切り出された領域画像と、あらかじめ用意したテンプレート画像の相関を計算しS204、各顔向きの角度に対して相関の比で重み付けを行い、重み付けされた各顔向きの角度の和重み付け和を求め、その和を検出顔の顔向きとするS205。図5Aの例では、顔向き20度に対する相関が0.85、0度正面向きに対する相関が0.14、-20度に対する相関が0.01であるので、顔向きは20×0.850×0.14-20×0.01=16.8度と算出される。ここでは各顔部品領域を相関計算の対象としたが、これに限らず例えば顔領域全体を相関計算の対象としてもよい。またその他の方法としては、顔画像から目、鼻および口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔の向きを計算する方法が知られている。顔部品特徴点の位置関係から顔向きを計算する方法としては、1つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の三次元モデルを回転、拡大または縮小してマッチングし、得られた三次元モデルの回転量から顔向きを計算する方法がある。また、2台のカメラを用いたステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点の位置の画像上のずれから各顔部品特徴点の三次元位置を計算し、得られた顔部品特徴点の位置関係から顔の向きを計算する方法がある。例えば、両目および口の三次元座標点で張られる平面の法線方向を顔の向きとする、などの方法が知られている。第1方向検出部102は、顔向きが決定した後、黒目の向きの推定を行う。黒目方向は、例えば以下の方法を用いることで推定できる。黒目方向の推定方法の概要を図4B、図5Bおよび図5Cを用いて説明する。まず、視線方向基準面の算出に関して説明する。本手法における視線方向基準面とは、視線方向を算出する際に基準となる面のことで、顔の左右対称面と同一である。本手法では、目頭が、目尻や口角、眉などの他の顔部品に比べて表情による変動が少なく、また誤検出が少ないことを利用し、第1方向検出部102は、顔の左右対称面を目頭の三次元位置から算出する。第1方向検出部102は、ステレオカメラで撮像した2枚の画像に対して、顔検出モジュールと顔部品検出モジュールとを用いて目頭を検出し、これらをステレオ計測することで、目頭の三次元位置を計測するS206。図5Bに示すように、視線方向基準面は検出した左右の目頭を端点とする線分の垂直二等分面として取得される。次に、黒目中心の検出に関して説明する。人が見ているものは、瞳孔から入った光が網膜に届き、電気信号となって脳に伝達されたものである。したがって、視線方向を検出する場合には、瞳孔の動きを見ればよい。しかし、日本人の場合、虹彩が黒または茶色のため、画像上では瞳孔と虹彩の判別が付きにくい。そこでここでは、瞳孔の中心と黒目虹彩の中心とがほぼ一致することから、第1方向検出部102は、瞳孔の中心の代わりに黒目中心の検出を行う。第1方向検出部102は、まず目尻と目頭とを検出し、図5Cのc-1に示すように、目尻と目頭とを含む目領域から輝度が最小となる領域を、黒目領域として検出する。次に、第1方向検出部102は、図5Cのc-2に示すように、第1領域および第2領域からなる黒目中心検出フィルタを黒目領域に設定し、第1領域内の画素の輝度と第2領域内の画素の輝度との領域間分散が最大となるような円中心を探索し、これを黒目中心とする。最後に先ほどと同様に、第1方向検出部102は、黒目中心の三次元位置をステレオ計測によって取得するS207。さらに、視線方向の検出に関して説明する。第1方向検出部102は、算出した視線方向基準面と、黒目中心の三次元位置とを用いて、顔正面に対する視線方向黒目の向きを検出する。人の眼球直径は成人の場合はほとんど個人差がないことが知られており、日本人の場合約24mmである。したがって、基準となる方向たとえば正面を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心位置までの変位を求めることで、顔正面に対する視線方向黒目の向きを算出することができる。従来手法では基準となる方向を向いた時の黒目中心の位置が既知ではないため、キャリブレーションを必要としていた。これに対し、本手法では、正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用し、左右の黒目中心の中点と視線方向基準面との距離を計測することで、顔正面に対する視線方向黒目の向きを計算するS208。この手法では、顔正面に対する視線方向黒目の向きは、顔正面に対する左右方向の回転角θとして取得される。回転角θは、以下の式1で求められる。R:眼球半径12mmd:視線方向基準面と、左右の黒目中心の中点との間の距離第1方向検出部102は、以上の手順に基づいて算出した顔の三次元向きと顔における黒目の向きとを合わせることで、実空間における視線方向の検出を行いS209、前記視線方向を第1の方向として出力する。なお、第1方向検出部102が出力する第1の方向は、視線の方向に限定されるものではない。例えば、第1方向検出部102は、顔向きをユーザが見ている方向を示す第1の方向として出力してもよい。つまり、第1方向検出部102は、ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である第1の方向を検出すればよい。すなわち、第1の方向は、厳密にユーザが見ている方向である必要はなく、ユーザが見ていると推定される方向であってもよい。<第2方向検出部>第2方向検出部103は、ユーザ検出カメラ100により撮像された画像から、ユーザの身体の向き以下、身体向きともいうを、ユーザがポインティング操作を行なう方向を示す第2の方向として検出する。図6Aは、本発明の実施の形態1における第2方向検出部103における身体向き検出方法を示すフローチャートである。なお、本手法における身体向きとは、図6Bのb-1における黒い点線矢印で示されるような、肩と肩を結ぶ直線の方向のことである。身体向きは、人物領域全体から顔領域、手領域および下半身領域を除いた上半身の領域身体領域の向きを基に計算される。まず、図6Aに示すように、ユーザ検出カメラ100は、画面111の前方に存在するユーザを撮像するS301。第2方向検出部103は、撮像された画像から人物領域の検出を行うS302。人物領域の検出は、例えば、前述したようなユーザのいない状態の画像とユーザが現れた状態の画像との差分を用いる方法により実現できる。次に、第2方向検出部103は、検出された人物領域に対して顔領域の検出S303と手領域の検出S304とを行う。そして、第2方向検出部103は、顔領域の検出結果から、ステレオ計測により顔領域の三次元位置の計算を行い、あらかじめ用意した身長と上半身長の対応関係が格納されたデータベースに基づき人物領域から下半身の領域を除去する。さらに、第2方向検出部103は、顔領域と手領域の周辺領域を除去して上半身の領域の検出を行うS305。手領域の検出の具体的な方法については、後述の座標入力検出部104で説明する。第2方向検出部103は、2台のカメラで撮像された画像それぞれに対して上半身の領域を検出した後、ステレオ計測により上半身の領域に含まれる各画素の三次元位置の計算を行いS306、各画素の三次元位置から身体向きの推定を行うS307。身体向きは、例えば以下の方法を用いることで推定できる。推定方法の概要を、図6Bを用いて説明する。まず、図6Bのb-1のように検出された上半身の領域に含まれる各画素の三次元位置を、ユーザの立っている床と同じ平面にそれぞれ図6Bのb-2のように投影する。次に、投影された平面に対して図6Bのb-3のように最小自乗法を用いて直線の向きを計算し、その方向を身体向きとして検出する。そして、第2方向検出部103は身体向きを第2の方向として出力する。このように、第2方向検出部103は、ユーザの身体の姿勢に基づいて、ユーザがポインティング操作を行なう方向である第2の方向を検出する。ここで、ユーザがポインティング操作を行なう方向とは、ポインティング操作として、ユーザが身体正面付近にて自然に手を動かす方向である。なお、ここでは最小自乗法を用いたが、これに限らず、第2方向検出部103は、ハフHough変換などの直線検出方法を用いて直線の向きを計算してもよい。また、第2方向検出部103は、床平面への投影を行わず、各画素の三次元位置情報に対して三次元ハフ変換などの手法を用いることにより、身体向きを検出してもよい。なお、本手法では、第2方向検出部103は、上半身領域の向きに基づいて身体向き検出を行ったが、顔領域検出や手領域検出結果と身体関節モデルとに基づく逆運動学解法によって身体の向きを検出してもよい。また、上述した第2方向検出部103は、身体向きを第2の方向として検出したが、ユーザが映像表示装置112に対して指示入力を行う際の手の動きは、画面111の方向にも影響され、身体向きと画面の向き画面に平行な方向の中間的な方向の動きとなる。そのため、第2方向検出部103は、ユーザの身体の姿勢に加え、更にそのユーザの位置に対する画面111の方向に基づいて、第2の方向を検出してもよい。例えば、第2方向検出部103は、身体向きと画面111の向きとの平均値を第2の方向として出力検出する。これにより、第2方向検出部103は、ユーザの位置と画面の位置との位置関係に適応した方向を、第2の方向として検出することができる。また、第2方向検出部103は、例えば身体向きと画面の向きとによるユーザの手を動かす方向をあらかじめ学習した結果を保持しておき、保持している学習結果を利用して、第2の方向を検出してもよい。これにより、第2方向検出部103は、さらにユーザの動きに適応した方向を、第2の方向として検出することができる。<座標入力検出部>座標入力検出部104は、ユーザ検出カメラ100による撮像によって取得された画像に基づいて、ユーザの手の三次元位置を示す座標を入力座標として検出する。なお、本実施の形態では、座標入力検出部104が入力座標検出部として構成されている。図7Aおよび図7Bは、本発明の実施の形態1における座標入力検出部104における手検出方法を示す図である。図7Aに示すように、座標入力検出部104は、ユーザ検出カメラ100で撮像された画像から、まずは顔領域を検出し、顔領域の周辺で手の領域の検出を行う。手領域検出の方法としては、例えば以下の方法がある。以下、図7Bを用いて手領域検出の方法を説明する。まずオフライン処理として、座標入力検出部104は、検出したい手の学習画像を大量に用意するS401。学習画像における照明環境および向きなどの条件は、実際に検出する環境になるべく沿った条件のものに揃える。次に、座標入力検出部104は、用意した学習画像から、主成分分析を用いて手の主成分を構成する固有空間を作成するS402。また、座標入力検出部104は、検出したい手のサンプルとして手のテンプレート画像を用意する。テンプレート画像は、用意した手の平均画像でもよいし、グーおよびパーなどのいくつかの状態の手の画像でもよいし、左手と右手の画像でもよい。座標入力検出部104は、作成した固有空間への射影行列および、手のテンプレート画像を手テンプレートデータベースに格納するS403。次に、実際の検出を行うオンライン処理について説明する。まず、ユーザ検出カメラ100は、画面111の前方に存在するユーザを撮像するS404。座標入力検出部104は、撮像した画像から顔領域の検出を行うS405。顔領域が検出されると、座標入力検出部104は、その顔領域の周辺の探索領域で手の検出を行う。座標入力検出部104は、顔の周辺領域において、用意した手のテンプレート画像に類似した領域を、手テンプレートデータベースに格納した手のテンプレート画像を用いて走査するS406。顔の周辺領域は、顔位置を基準としたあらかじめ設定したサイズの範囲の領域でよい。また、カメラを2つ用いたステレオ計測により顔の周辺領域のうち顔と奥行き距離が近い領域のみを走査して、探索範囲を削減してもよい。また、ここでは、座標入力検出部104は、顔の周辺領域から手の検出を行うが、これに限らず、人物領域の周辺から手の検出を行ってもよい。マッチングを行うための類似度の計算としては、ここではまず切り出した手の候補領域画像と、手のテンプレート画像とを、あらかじめ用意した固有空間への射影行列を使って固有空間に射影し、固有空間上で両者の距離を比較する。手の主成分を表す空間上で距離を比較することで背景などノイズの影響を低減した検出が可能である。座標入力検出部104は、探索領域内で、距離があらかじめ定められた閾値を満たし、かつ最も手のテンプレート画像に近い距離が得られた領域を手領域として検出するS407。探索領域内で距離が閾値を満たす領域が無い場合には、座標入力検出部104は、手を出していないものとして検出を終了する。座標入力検出部104は、2つのユーザ検出カメラ100で撮像された画像のそれぞれに対して上記の手領域の検出を行い、ステレオ計測により手の三次元位置を計算して手の入力座標として出力する。また、前記オフライン処理において左右の手の画像を用意する場合には、座標入力検出部104は、左右どちらの手のテンプレート画像にマッチングしたかに基づいて、手の左右識別情報を合わせて出力してもよい。また、座標入力検出部104は、更に、ユーザ検出カメラ100による撮像によって取得された画像に基づいて、ユーザの右手および左手を識別し、識別された左右の手ごとに入力座標を検出してもよい。この場合には、右手の入力座標および左手の入力座標のそれぞれに対してポインタが画面111に表示される。なお、この例では手領域検出にテンプレートマッチングの手法を用いたが、その他の手検出手法、例えばブースティングBoostingなどの手法を用いてもよい。また、ユーザが指示入力する際には画面111の方向に手を差し出す動作を行うため、2つのカメラを用いたステレオ計測による距離情報に基づいて、例えば、顔領域や身体領域よりも画面111側にある領域を手として検出する手法を用いてもよい。また、座標入力検出部104は、ユーザ検出カメラ100から取得された画像に基づく手領域検出方法に限らず、座標入力検出部104は、図2の構成例に示すような座標入力リモコン105の位置座標に基づいて手の位置を検出してもよい。以下、図8Aおよび図8Bを用いて本発明の実施の形態1における座標入力リモコン105による手の位置の検出方法を説明する。図8Aに示すように、ユーザは座標入力リモコン105を手に把持した状態で、座標入力操作を行うことができる。図8Bは、座標入力リモコン105の構成を示す図である。この座標入力リモコン105は、把持するユーザの手の動きなどを検出するモーションセンサと、モーションセンサの出力から座標入力リモコン105の位置を検出する位置検出部1052とを備える。また、図8Bに示すように、座標入力リモコン105はその表面にボタンを備えてもよい。座標入力リモコン105に備えられるモーションセンサは、加速度センサ、角加速度センサレートジャイロ、および地磁気センサ電子コンパスのいずれか、もしくは2つ以上の組み合わせにより構成される。例えば、加速度センサは、所定の軸に対する加速度を検知するものであり、図8Bに示すようなX軸、Y軸およびZ軸の直交する3軸の各軸に対して加速度を検知するものである。そして、ユーザが座標入力リモコン105を把持した状態で手首や腕を動かし座標入力リモコン105の位置が変更されると、位置検出部1052はモーションセンサの出力値に基づいて座標入力リモコン105の位置座標を計算し、座標入力検出部104に出力する。座標入力検出部104は、座標入力リモコン105によって出力された位置座標を上述の入力座標として検出する。また、座標入力リモコン105は、ボタン入力部1051によりボタンが押下されたことを検知した場合のみ、座標入力リモコン105の位置座標を出力するようにしてもよい。<注視位置算出部>注視位置算出部106は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向とに基づいて、画面上のユーザの注視位置の算出を行う。図9は、本発明の実施の形態1における注視位置算出部106によるユーザの画面上の注視位置の算出方法を示す図である。なお、この図9では、ユーザと画面111との位置関係が正面および上から示されている。注視位置算出部106は、ユーザの顔の位置を基準とする視線方向もしくは顔向きのベクトルが、画面111と交わる位置を求めることにより、ユーザが画面111上で注視している注視位置を算出することができる。<基準座標群算出部>基準座標群算出部107は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向とに基づいて、注視位置に対応する線であってユーザと画面111とを結ぶ空間上の基準線を基準座標群として算出する。つまり、本実施の形態では、基準座標群算出部107が基準線算出部として構成されている。また、基準線は、複数の基準座標基準座標群の配列によって示される線である。図10は、本発明の実施の形態1における基準座標群算出部107による空間上の基準座標群の算出方法を示す図である。なお、図10では、図9と同様に、ユーザと画面111との位置関係が正面および上から示されている。本手法における基準座標群とは、注視位置算出部106で算出される画面111上のユーザの注視位置に対応する、空間上の座標群である。基準座標群算出部107は、ユーザの顔の位置を基準とする視線方向もしくは顔向きのベクトルを、図10の黒い実線矢印のように基準座標群として算出する。つまり、基準座標群算出部107は、ユーザの位置から第1の方向に伸びる直線上の位置を示す座標の集合を基準座標群として算出する。なお、上記手法では、基準座標群算出部107は1種類のみの基準座標群を算出しているが、画面上のユーザの注視位置に対応する空間上の座標群は左右の手で多少違いがある。そのため、2種類以上の基準座標群を算出してもよい。例えば、ユーザの顔の位置より10cm程度右の位置を基準とする視線方向のベクトルを右手用の基準座標群として算出し、10cm程度左の位置を基準とする視線方向のベクトルを左手用の基準座標群として算出するなどしてもよい。つまり、基準座標群算出部107は、ユーザの位置と予め定められた距離だけ第2の方向に離れた位置から第1の方向に伸びる直線上の位置を示す座標の集合を基準座標群として算出してもよい。<オフセット量算出部>オフセット量算出部108は、基準座標群算出部107により算出される基準座標群と、第2方向検出部103により検出される第2の方向と、座標入力検出部104により検出される手の位置座標入力座標に基づいて、画面111上のユーザの注視位置からのオフセット量を算出する。つまり、オフセット量算出部108は、基準線基準座標群と入力座標との間の第2の方向の距離を、画面111に沿った第1の画面規定方向の注視位置に対するオフセット量として算出する。ここで、第1の画面規定方向は、例えば水平方向である。さらに、オフセット量算出部108は、基準線基準座標群と入力座標との間の第3の方向の距離を、画面111に沿った第2の画面規定方向の注視位置に対する他のオフセット量として算出する。ここで、第3の方向は、第1および第2の方向と異なる方向であり、例えば鉛直方向である。また、第2の画面規定方向は、第1の画面規定方向とは異なる方向であり、例えば第1の画面規定方向に垂直な方向鉛直方向である。図11Aは、本発明の実施の形態1におけるオフセット量算出部108による画面111上のオフセット量の算出方法を示す図である。なお、図11Aでは、図9と同様に、ユーザと画面111との位置関係が正面および上から示されている。オフセット量算出部108は、基準座標群と手の位置座標との三次元空間的な位置関係を、二次元平面上の位置関係に変換することにより、画面111上のユーザの注視位置からのオフセット量を算出する。以下、オフセット量算出方法の概要について、図11Bを用いて説明する。図11Bのb-1は、オフセット量算出方法を示すフローチャートである。ユーザが手を動かしながら指示入力により画面111上のポインタを操作しようとする場合、ユーザは主に身体向きと平行な方向に手を移動させる。そこでまず、図11Bのb-2に示すように、オフセット量算出部108は、ユーザ位置検出部101により検出されるユーザの頭の位置を原点、第1方向検出部102により検出される視線方向第1の方向を第1軸とし、第2方向検出部103により検出される身体向き第2の方向を第2軸とし、鉛直方向を第3軸とする、三次元座標空間を作成するS501。次に、オフセット量算出部108は、座標入力検出部104により検出される手の位置座標である入力座標を、作成された三次元座標空間における座標に変換して、変換後座標を生成する。そして、オフセット量算出部108は、基準座標群算出部107により算出された基準座標群の中から、変換後座標と第1軸に関する座標値が一致する座標を基準座標として選択するS502。そして、オフセット量算出部108は、変換後座標と基準座標との第2軸方向および第3軸方向における距離をそれぞれ、画面111上のユーザの注視位置からの水平方向第1の画面規定方向のオフセット量および鉛直方向第2の画面規定方向のオフセット量として算出するS503。このように、オフセット量算出部108は、基準座標群の中から、第1の方向において入力座標に対応する座標を基準座標として選択する。そして、オフセット量算出部108は、選択した基準座標と入力座標との第2の方向および鉛直方向における距離に基づいて、画面111上の注視位置に対するオフセット量を算出する。すなわち、オフセット量算出部108は、入力座標が示す位置とユーザの位置との第2の方向および鉛直方向の距離に基づいて、画面111上の注視位置に対するオフセット量を算出する。なお、上記手法では、オフセット量算出部108は、鉛直方向を第3軸として三次元座標空間を作成しているが、これに限らず、ユーザの頭から腹部に向かう方向を検出し、この方向を第3軸として三次元座標空間を作成してもよい。<ポインタ表示位置算出部>ポインタ表示位置算出部109は、注視位置算出部106により算出されるユーザの画面111上の注視位置と、オフセット量算出部108により算出される画面111上のオフセット量とに基づいて、座標入力検出部104により検出されるユーザの手の位置に対応する画面111上のポインタの表示位置を算出する。つまり、ポインタ表示位置算出部109は、注視位置からオフセット量だけ画面上を移動した位置を表示位置として算出する。具体的には、ポインタ表示位置算出部109は、画面111上において、注視位置との間の水平方向第1の画面規定方向の距離が上述の水平方向のオフセット量となる位置であって、且つ、注視位置との間の鉛直方向第2の画面規定方向の距離が上述の鉛直方向のオフセット量他のオフセット量となる位置を、画面111上に表示するポインタの表示位置として算出する。以上のように、本実施の形態における指示入力装置10によれば、ユーザが見ている方向とユーザがポインティング操作を行なう方向とに基づいてポインタの表示位置を算出することができる。したがって、指示入力装置10は、ユーザが見ている方向に差し出した手とそれに対応する画面上のポインタとの位置関係が変化しないようにすることが可能となる。さらに、指示入力装置10は、ユーザの手の移動量に対する画面上のポインタの移動量が変化しないようにポインタの表示位置を算出することも可能となる。その結果、ユーザが直感的に理解および操作しやすい指示入力装置を実現することができる。図11Cおよび図11Dは、本実施の形態における指示入力装置10の効果を説明するための図である。例えば、ユーザは、見ている方向第1の方向に沿った第1軸上に手を差し出す。この場合、従来の指示入力装置では、その第1軸上の手の位置に応じてポインタの表示位置が変わってしまう。そこで、本実施の形態における指示入力装置10は、図11Cに示すように、基準線と手の位置である入力座標との間の第2の方向の距離を、水平方向の注視位置に対するオフセット量として算出し、画面上において、その注視位置との間の水平方向の距離がそのオフセット量となる位置を、画面上に表示するポインタの表示位置として算出する。そのため、ユーザが基準線である第1軸上に手を差し出せば、その基準線上の手の位置に関わらず、オフセット量は0となり、画面上の同じ位置注視位置にポインタを表示することができる。また、例えば図11Cに示すように、ユーザは、第1軸上の第1位置に差し出した手を、第1軸から外れた第2位置に動かし、さらに、第1軸上の第3位置に手を動かす。この場合、ユーザは、見ている方向第1の方向に沿った第1軸上に手を戻すため、手が第1位置にあるときのポインタの表示位置1に、そのポインタが戻ることを想定する。しかし、従来の指示入力装置では、ポインタが表示位置1に戻らないことがある。つまり、従来の指示入力装置は、手の動いた距離だけポインタを動かそうとするため、第1位置と第2位置の間の距離が、第2位置と第3位置の間の距離よりも短ければ、画面上のポインタは、表示位置1から表示位置2に移動した後、元の表示位置1を通り過ぎて表示位置3まで移動してしまう。そこで、本実施の形態における指示入力装置10は、上述のように、基準線と手の位置である入力座標との間の第2の方向の距離を、水平方向の注視位置に対するオフセット量として算出し、画面上において、その注視位置との間の水平方向の距離がそのオフセット量となる位置を、画面上に表示するポインタの表示位置として算出する。その結果、上述のようにユーザが手を動かしても、画面上のポインタを、表示位置1注視位置から表示位置2aに移動させ、元の表示位置1注視位置に戻すことができる。このように、本実施の形態では、ユーザが見ている方向に差し出した手とそれに対応する画面上のポインタとの位置関係が変化しないようにポインタの表示位置を算出することができる。また、図11Cに示す例では、視線方向である第1の方向と、身体向きである第2の方向との間の角度は垂直になっている。しかし、本実施の形態における指示入力装置10では、図11Dに示すように、第1の方向と第2の方向との間の角度が垂直になっていない場合でも、上述と同様の効果を奏することができる。つまり、本実施の形態における指示入力装置10では、身体向きに対して視線向きがずれるような場合、または、視線向きに対して身体向きがずれるような場合であっても、これらの向きのずれに配慮してポインタの表示位置が算出される。その結果、身体向きに大きく影響されるユーザの手の移動量と、画面上のポインタの移動量との対応関係が変化しないように、言い換えれば、手の移動量とポインタの移動量とが一致または略一致するように、ポインタの表示位置を算出することができる。これにより、ユーザが直感的に理解および操作しやすい指示入力装置を実現することができる。なお、本実施の形態における指示入力装置10では、画面上の水平方向のオフセット量だけでなく、鉛直方向のオフセット量も水平方向と同様に算出するため、鉛直方向のポインタの表示に対しても、上述のような水平方向のポインタの表示の効果と同様の効果を奏する。実施の形態2次に、本発明の実施の形態2について説明する。<構成>図12は、本発明の実施の形態2における指示入力装置60の構成例を示す図である。本実施の形態に係る構成は図2に示した実施の形態1に係る構成と概ね同じであるが、ユーザ情報DBデータベース612を備える点が異なる。以下では、ユーザ情報DB612に基づいて動作する構成要素についてのみ説明し、実施の形態1と同じ構成要素図2と同一符号の構成要素については詳しい説明を省略する。図13は、ユーザ情報DBデータベース612のデータ構造の概略を示す図である。指示入力装置60はユーザ情報DB612を備え、ユーザ情報DB612は、身体特徴情報やユーザ属性情報などを格納するデータベースである。ユーザ情報DB612に格納される身体特徴情報は、人の平均的な身体寸法を示し、具体的には、頭の高さに対する胸の高さ、肩幅や腕の長さの情報などを含む。また、座位時の頭の高さに対する胸の高さの情報を含むこととしてもよい。ユーザ情報DB612に格納されるユーザ属性情報は、あらかじめ登録されたユーザごとの身体寸法を示し、具体的には、登録されたユーザそれぞれの頭の高さ、胸の高さ、肩幅、腕の長さの情報などを含む。また、座位時の頭の高さや胸の高さの情報を含むこととしてもよい。さらに、身体寸法の情報に加え、ユーザの利き目や視力などの情報を含むこととしてもよい。このように、ユーザ情報DB612は、ユーザの頭の位置と胸の位置との対応関係を示す情報、ユーザの頭の位置と腕の長さとの対応関係を示す情報、ユーザごとの胸の位置を示す情報、または、ユーザごとの腕の長さを示す情報を格納する。<動作>以下、図12における基準座標群算出部607とオフセット量算出部608との機能を説明する。<基準座標群算出部>基準座標群算出部607は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向と、ユーザ情報DB612から取得される胸の高さの情報ユーザの頭の位置と胸の位置との対応関係を示す情報とに基づいて、空間上の基準座標群を算出する。図14Aは、本発明の実施の形態2における基準座標群算出部607による複数の基準座標の算出方法を示す図である。なお、この図14Aでは、ユーザと画面111との位置関係が正面および上から示されている。ユーザの視線の方向にポインタが表示されている場合、視線の先に手を差し出してしまうと画面上のポインタを隠してしまうため、その少し下の位置に手を差し出す方がユーザにとって自然な姿勢である。したがって、基準座標群算出部607は、ユーザ位置検出部101により検出されるユーザの頭の位置に基づいて、ユーザ情報DB612に格納される身体特徴情報からユーザの胸の位置高さを取得し、ユーザの胸の位置を基準とする視線方向もしくは顔向きのベクトル上の位置を示す座標の集合を、図14Aの黒い実線矢印のように基準座標群基準線として算出する。なお、上記手法では、基準座標群算出部607は、ユーザの胸の位置を基準とする視線方向のベクトル上の位置を示す複数の座標の集合を基準座標群として算出したが、ユーザの胸の位置と画面111上の注視位置を結ぶ直線を基準座標群として算出するなどしてもよい。また、直線に限らずに曲線を基準座標群として算出してもよい。また、上記手法では、基準座標群算出部607は、ユーザの頭の位置に基づいて、ユーザ情報DB612に格納される人の平均的な身体寸法の情報である身体特徴情報から胸の位置を取得しているが、これに限らずに胸の位置を取得してもよい。例えば、図16に示すように、指示入力装置60は、ユーザ検出カメラ100により撮像される画像とあらかじめ登録された顔画像との照合を行うことでユーザを識別するユーザ識別部613を備える。基準座標群算出部607は、ユーザ識別部613による識別結果を示すユーザ識別情報に基づいて、ユーザ情報DB612に格納されるあらかじめ登録されているユーザごとのユーザ属性情報からユーザの胸の位置を取得する。その結果、基準座標群算出部607は、ユーザごとの身体特徴に適応した基準座標群を算出することが可能となる。つまり、基準座標群算出部607は、ユーザの位置および第1の方向と、更にユーザ識別部613により識別されたユーザを示すユーザ識別情報に基づいてユーザ情報DB612より取得される少なくともユーザの胸の位置を示す情報とに基づいて、基準座標群を算出する。また、基準座標群算出部607は、更にユーザ検出カメラ100により撮像される画像から、ユーザが立位であるか座位であるかの判断を行い、座位であると判断された場合には、ユーザ情報DB612より座位時のユーザの胸の位置を取得してもよい。また、上記手法では、基準座標群算出部607は、1種類のみ基準座標群を算出しているが、これに限らず、2種類以上の基準座標群を算出してもよい。以下、図14Bを用いて2種類の基準座標群を算出する方法を説明する。図14Bのb-1は、左手用および右手用の基準座標群算出方法を示すフローチャートであり、図14Bのb-2は、その2種類の基準座標群の算出結果の一例を示す図である。ユーザが身体の向きを変えず遠くの方向を見ながら指示入力操作をする場合、どちらか一方の手を、胸の位置を基準とする視線方向のベクトル上に差し出すことが困難である。そこでここでは、基準座標群算出部607は、第1の方向と第2の方向との間の角度が予め定められた角度よりも小さい場合に、ユーザの位置および第1の方向と、ユーザ情報DB612から取得される少なくともユーザの頭の位置と胸の位置との対応関係を示す情報と、第2方向検出部103により検出される第2の方向とに基づいて、左手と右手それぞれに対応する2種類の基準座標群を算出する。なお、上述の対応関係を示す情報は、胸の高さおよび肩幅を示す。まず、上記と同じ方法により、基準座標群算出部607は、ユーザの胸の位置を基準とした第1の基準座標群を算出するS701。次に、基準座標群算出部607は、第2の基準座標群を算出する必要性を判断する。視線方向と身体向きとが略同じ方向である場合には視線方向に一方の手を差し出すことが困難である。したがって、例えば、第1の方向と第2の方向との角度差が0~30度もしくは150~180度である場合は、基準座標群算出部107は、第2の基準座標群を算出する必要があると判断するS702。第2の基準座標群を算出する必要があると判断された場合S702のYes、基準座標群算出部607は、視線方向が身体に対して右を向いているならば第1の基準座標群は右手に対応すると判断するS703のYes。そして、基準座標群算出部607は、ユーザ情報DB612から取得されるユーザの肩幅に基づいて左肩の位置を算出し、その位置を基準とする視線方向のベクトルを左手用の第2の基準座標群として算出するS704。また、視線方向が身体に対して左を向いていると判断された場合はS703のNo、基準座標群算出部607は、右肩の位置を基準とする視線方向のベクトルを右手用の第2の基準座標群として算出するS705。視線方向が身体に対して正面に近い方向を向いており、第2の基準座標群を算出する必要がないと判断された場合はS702のNo、基準座標群算出部607は基準座標群の算出を終了する。以上のように、基準座標群算出部607は、ユーザが胸の位置を基準とする視線方向のベクトル上に手を差し出すことが困難である場合などに、第2の方向に基づいて基準座標群を適切に算出することができる。また、上記2種類の基準座標群の算出方法では、基準座標群算出部607は、視線の向き視線方向と身体向きとに基づいて、左手用および右手用の基準座標群を算出している。しかし、基準座標群算出部607は、ユーザ情報DB612のユーザ属性情報に格納される利き目情報に基づいて、基準座標群を算出してもよい。具体的には、基準座標群算出部607は、例えば、識別したユーザの利き目が右目であった場合は、ユーザの胸の位置を基準とした視線方向のベクトルを右手用基準座標群として算出し、左肩の位置を基準とした視線方向のベクトルを左手用基準座標群として算出してもよい。<オフセット量算出部>オフセット量算出部608は、基準座標群算出部607により算出される基準座標群と、第2方向検出部103により検出される第2の方向と、ユーザ情報DB612から取得される胸の位置および腕の長さの情報ユーザの頭の位置と腕の長さとの対応関係を示す情報と、座標入力検出部104により検出される手の位置座標とに基づいて、画面111上のユーザの注視位置からのオフセット量を算出する。図15Aは、本発明の実施の形態2におけるオフセット量算出部608による画面上のオフセット量の算出方法を示す図である。なお、この図15Aでは、ユーザと画面111との位置関係が正面および上から示されている。オフセット量算出部608は、基準座標群と手の位置座標との三次元空間的な位置関係を、画面111上の位置関係に変換することにより、画面111上のユーザの注視位置からのオフセット量を算出する。以下、オフセット量算出方法の概要について、図15Bを用いて説明する。図15Bのb-1は、オフセット量算出方法を示すフローチャートである。また、図15Bのb-2およびb-3はそれぞれ、オフセット量算出の過程で作成される三次元曲面座標空間を上から見た図、および横から見た図を示している。ユーザが手を動かしながら指示入力をする際には、肘がぴんと伸びた状態では、ユーザは手を円弧状に動かすしかなく、肘の角度に余裕がある状態では、ユーザは主に身体向きと平行な方向に手を移動させる。つまり例えば、肘の角度に余裕がある身体の前あたりではユーザは身体向きと平行な方向に手を動かし、そのまま徐々に肘を伸ばしながら手を動かしていくと、最終的に肘がぴんと伸びるため、ユーザは手を円弧状に動かす。そこでまず、オフセット量算出部608は、ユーザ情報DB612に格納される身体特徴情報から取得されるユーザの胸の位置を原点とし、第1方向検出部102により検出される視線方向に沿った第1軸と、図15Bのb-2の黒い実線で示されるような第2軸と、図15Bのb-3の黒い実線で示されるような第3軸とによって構成される三次元曲面座標空間を作成するS801。ここで、第2軸は、第2方向検出部103により検出される身体向きと、ユーザ情報DB612に格納される身体特徴情報から取得されるユーザの腕の長さの情報とに基づいて設定される軸である。また、第3軸は、鉛直方向と、ユーザ情報DB612に格納される身体特徴情報から取得されるユーザの腕の長さの情報とに基づいて設定される軸である。次に、オフセット量算出部608は、座標入力検出部104により検出される手の位置座標を三次元曲面座標空間における座標に変換し、基準座標群算出部607により算出された基準座標群の中から、手の位置座標と第1軸に関する座標値が同じとなる基準座標を1点選択するS802。そして、オフセット量算出部608は、第2軸および第3軸における手の位置座標と選択された基準座標との差をそれぞれ、画面111上のユーザの注視位置からの水平方向および鉛直方向のオフセット量として算出するS803。以上の処理により、オフセット量算出部608は、ユーザの腕の長さを考慮してオフセット量を算出できるので、ユーザの手の移動量に対する画面上のポインタの移動量が、腕の長さが異なることによって変化しないようにすることが可能となる。なお、上記手法では、オフセット量算出部608は、鉛直方向とユーザの腕の長さとから三次元座標空間の第3軸を設定しているが、これに限らず、ユーザの上半身の頭から腹部に向かう方向を検出し、この方向とユーザの腕の長さから第3軸を設定してもよい。また、上記手法では、オフセット量算出部608は、ユーザの胸の位置を三次元曲面座標空間の原点としているが、これに限らず、ユーザの顔の位置を原点としてもよい。また、上記手法では、オフセット量算出部608は、ユーザの位置に基づいて、ユーザ情報DB612に格納される人の平均的な身体寸法の情報である身体特徴情報に基づいてユーザの胸の位置および腕の長さの情報を取得している。しかし、オフセット量算出部608は、これに限らず、ユーザの胸の位置および腕の長さの情報を取得してもよい。例えば、図16に示すように、指示入力装置60は、ユーザ検出カメラ100により撮像される画像とあらかじめ登録された顔画像との照合を行うことでユーザを識別するユーザ識別部613を備える。オフセット量算出部608は、ユーザ識別部613による識別結果を示すユーザ識別情報に基づいて、ユーザ情報DB612に格納されるあらかじめ登録されているユーザごとのユーザ属性情報からユーザの胸の位置および腕の長さの情報を取得する。その結果、オフセット量算出部608は、ユーザごとの身体特徴に適応したオフセット量を算出することが可能となる。つまり、オフセット量算出部608は、第2の方向と、ユーザ識別部613により識別されたユーザを示すユーザ識別情報に基づいてユーザ情報DB612より取得される少なくともユーザの腕の長さを示す情報とに基づいて、オフセット量を算出する。また、オフセット量算出部608は、更にユーザ検出カメラ100により撮像される画像から、ユーザが立位であるか座位であるかの判断を行い、座位であると判断された場合には、ユーザ情報DB612より座位時のユーザの胸の位置および腕の長さの情報を取得してもよい。また、上記手法では、オフセット量算出部608は、1種類のみの基準座標群に基づいてオフセット量を算出しているが、基準座標群算出部607により右手用と左手用の2種類の基準座標群が算出されている場合は、座標入力検出部104から得られる手の左右識別情報にも基づいてオフセット量を算出してもよい。さらに、上記手法では、オフセット量算出部608は、1種類のみの三次元曲面座標空間を算出している。しかし、ユーザの左右の手の動きには肩幅の分だけずれがある。したがって、オフセット量算出部608は、ユーザ情報DB612から取得される肩幅の情報により左手用と右手用の2種類の座標空間を作成し、座標入力検出部104から得られる手の左右識別情報に基づいてオフセット量を算出してもよい。以上のように、本実施の形態における指示入力装置60によれば、ユーザの胸の位置を基準に基準座標群を算出することができるので、ユーザの自然な姿勢によるポインティング操作に応じた基準座標群を算出することが可能となる。また、ユーザの腕の長さを考慮してオフセット量を算出できるので、ユーザの手の移動量に対する画面上のポインタの移動量がさらに変化しないようにすることが可能となる。以上、本発明に係る指示入力装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。例えば、上記実施の形態1および2において、指示入力装置は、ユーザ検出カメラ100、座標入力リモコン105および映像表示装置112を備えていないが、それらを備えてもよい。例えば、指示入力装置は、ユーザ検出カメラ100を撮像部として備えてもよい。また例えば、指示入力装置は、座標入力リモコン105を三次元座標入力装置として備えてもよい。また例えば、指示入力装置は、映像表示装置112が備える表示部110を備えてもよい。また、上記実施の形態において、ポインティング操作をしているユーザが1人である場合を中心に説明したが、複数のユーザがポインティング操作をしてもよい。この場合、指示入力装置は、ポインティング操作をしているユーザごとに、ポインタの表示位置を算出すればよい。また、上記実施の形態1または2における指示入力装置は、CPUCentralProcessingUnit、ROMReadOnlyMemory、およびRAMRandomAccessMemoryなどを備えるコンピュータによって実現されてもよい。また、上記実施の形態1または2における指示入力装置が備える構成要素の一部または全部は、1個のシステムLSILargeScaleIntegration:大規模集積回路から構成されているとしてもよい。例えば、指示入力装置は、ユーザ位置検出部101と、第1方向検出部102と、第2方向検出部103と、座標入力検出部104と、注視位置算出部106と、基準座標群算出部107と、オフセット量算出部108とを備えるシステムLSIから構成されてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGAFieldProgrammableGateArray、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。また、本発明は、このような特徴的な処理部を備える指示入力装置として実現することができるだけでなく、指示入力装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。