(57)【要約】【課題】インタフェース装置において、非装着であること、奥行き情報を精度良く得られ、実空間への３次元的なポインティングを実現する。【解決手段】距離情報生成部１２は実空間を撮影した基準画像Ｉ１、画像Ｉ２からステレオ法による画像処理を用いて基準カメラ１１１から撮影物体までの距離情報を生成する。ボクセル空間生成部１３は距離情報に合わせて、ボクセル空間を階層分割しながら作成する。始終点２次元座標算出部１４は基準画像Ｉ１を用いて、ユーザーの体の部位２箇所（始点と終点）の２次元座標を算出し、始終点３次元座標算出部１５は距離情報と２次元座標から始点・終点の３次元座標を算出する。３次元指示位置検出部１６はユーザーが指示した撮影実空間中の３次元位置を検出する。表示情報反転部１８は基準画像、ボクセル空間、３次元位置情報を左右反転する。情報表示部１９はこれらをディスプレイ１０に重畳表示する。【選択図】    図１
2004272515.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラによりユーザーを撮影し、そのユーザーが体の部位を用いて指し示した先の、撮影空間内の位置もしくは実物体を認識するインタフェース方法であって、
基準カメラを含む複数のビデオカメラを用いて、実空間を撮影した画像を入力する段階と、
前記基準カメラから撮影物体までの距離情報を、前記撮影画像を用いたステレオ法により生成する段階と、
前記基準カメラで撮影した画像である基準画像からの前記距離情報を用いてボクセル空間を生成する段階と、
前記基準カメラからの撮影画像上で、ユーザーの体の予め定めた部位２箇所を始点と終点として検出し、該画像上でのそれらの２次元座標を算出する段階と、
前記距離情報と、前記始点・終点の画像上での２次元座標とから、実空間上における前記始点・終点の３次元座標を算出し、ユーザーが指し示す実空間上での方向情報を算出する段階と、
前記生成されたボクセル空間上の任意の３次元位置に、実空間上に存在する実物体の情報である、一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する段階と、
前記ユーザーの指し示す実空間上での方向情報と、登録されている物体の３次元位置情報とを照合し、操作者が指し示す３次元指示位置情報である、ユーザーが指し示す方向の延長線と、登録された物体との交点に関する情報を検出する段階と、
前記生成されたボクセル空間、前記登録過程および結果、前記３次元指示方向情報、および指示された物体の情報と撮影画像とを重畳表示する段階と
を有するインタフェース方法。
【請求項２】
前記基準画像を左右反転した画像を生成する段階を有し、
前記ボクセル空間を生成する段階は前記ボクセル空間も前記反転画像に合わせて、左右反転させた状態で生成し、前記重畳表示する段階は各種表示情報も、該反転画像上に重畳表示する、請求項１記載のインタフェース方法。
【請求項３】
前記の距離情報を生成する段階の代りに、ビデオカメラと投光装置を用いた能動的なステレオ法により距離情報を生成する段階を有する、請求項１または２に記載のインタフェース方法。
【請求項４】
ビデオカメラによりユーザーを撮影し、そのユーザーが体の部位を用いて指し示した先の、撮影空間内の位置もしくは実物体を認識するインタフェース装置であって、
基準カメラを含む複数のビデオカメラを用いて、実空間を撮影した画像を入力する手段と、
前記基準カメラから撮影物体までの距離情報を、前記撮影画像を用いたステレオ法により生成する手段と、
前記基準カメラで撮影した画像である基準画像からの前記距離情報を用いてボクセル空間を生成する手段と、
前記基準カメラからの撮影画像上で、ユーザーの体の予め定めた部位２箇所を始点と終点として検出し、該画像上でのそれらの２次元座標を算出する手段と、
前記距離情報と、前記始点・終点の画像上での２次元座標とから、実空間上における前記始点・終点の３次元座標を算出し、ユーザーが指し示す実空間上での方向情報を算出する手段と、
前記生成されたボクセル空間上の任意の３次元位置に、実空間上に存在する実物体の情報である、一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する手段と、
ユーザーの指し示す実空間上での方向情報と、登録されている物体の３次元位置情報とを照合し、操作者が指し示す３次元指示位置情報である、ユーザーが指し示す方向の延長線と、登録された物体との交点に関する情報を検出する手段と、
前記生成されたボクセル空間、前記登録過程および結果、前記３次元指示方向情報、および指示された物体の情報と撮影画像とを重畳表示する手段
を有するインタフェース装置。
【請求項５】
前記基準画像を左右反転した画像を生成する手段を有し、
前記ボクセル空間を生成手段は前記ボクセル空間も前記反転画像に合わせて、左右反転させた状態で生成し、前記重畳表示手段は各種表示情報も、該反転画像上に重畳表示する、請求項４記載のインタフェース装置。
【請求項６】
前記距離情報を生成する手段の代りに、ビデオカメラと投光装置を用いた能動的なステレオ法により距離情報を生成する手段を有する、請求項４または５に記載のインタフェース装置。
【請求項７】
請求項１から３のいずれかに記載のインタフェース方法をコンピュータに実行させるためのインタフェースプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザーが体の部位（指や腕等）を用いて指し示した撮影空間内の物体を検出するインタフェース装置に関する。
【０００２】
【従来の技術】
これまで、コンピュータと人間とのインタフェースに関し、人間の動作に基づくインタフェース方法や装置としては、以下に挙げるような手法がある。
【０００３】
第１の従来手法として、体に手や指の動作計測可能なセンサを装着し、センサ情報からユーザーの動きを検出する装置がある。例えば、磁気センサを用いた装置（ＡＳＣＥＮＳＩＯＮ社の「ＭｏｔｉｏｎＳｔａｒ」等）や、機械式センサを用いた装置（スパイス社の「Ｇｙｐｓｙ」、Ｉｍｍｅｒｓｉｏｎ社の「ＣｙｂｅｒＧｌｏｖｅ」等）等の市販製品がある。また、非特許文献１に記載された方法がある。これは加速度センサ等を取り付けたグローブを手に装着して、ユーザーの動作を認識するものである。
【０００４】
第２の従来手法として、非特許文献２に記載された手法がある。本手法は、腕の制約条件とユーザーの実際の腕の長さを利用して、１台のカメラの入力画像から、腕領域を抽出し、その長さの時間的変化から腕の動きの３次元的変化を推定するものである。
【０００５】
第３の従来手法として、非特許文献３に記載された手法がある。本手法は、体の中に求めた座標位置（「仮想投射中心」）と、検出した指先の座標位置を結び、延長した指示軸線がスクリーン（入力画像を表示している表示装置の画面）と交差する点をカーソル位置（指示位置）とする方法である。仮想投射中心位置は、スクリーンの４つの角位置から指先へ延長した直線の交点から求めているので、指示できる位置はスクリーン上のみである。指先の位置の抽出は、２台のカメラを用い、１台を上部から撮影する位置に設置することにより、スクリーンに最も近い物体を検出することで実現している。
【０００６】
第４の従来手法として、非特許文献４に記載された手法がある。本手法は、多眼ステレオカメラを用いて生成した距離情報を用いて、スクリーンに最も近い物体を指先として検出し、また色情報と距離情報を用いて眉間（目）の位置を検出し、これらを結んだ延長線がスクリーンと交差する点をカーソル位置（指示位置）とする方法である。
【０００７】
【非特許文献１】
塚田ら，“Ｕｂｉ−Ｆｉｎｇｅｒ：モバイル指向ジェスチャ入力デバイスの試作”，インタラクティブとソフトウェアに関するワークショップ（ＷＩＳＳ２００１），ｐｐ．１１９−１２４，２００１
【非特許文献２】
安部ら，“オプティカルフローと色情報を用いた腕の動作の３次元追跡”，画像の認識・理解シンポジウム（ＭＩＲＵ２００２），ｐｐ．Ｉ２６７−Ｉ２７２，２００２
【非特許文献３】
福本ら，“動画像処理による非接触ハンドリーダ”，第７回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．４２７−４３２，１９９１
【非特許文献４】
金次ら，“指さしポインターにおけるカーソル位置の特定法”，電子情報通信学会画像工学研究会，２００２．１
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の手法では、以下に示す問題があった。
【０００９】
第１の従来手法では、手または指の動作を認識できるが、認識したい部位に常に何らかのセンサを装着する必要があるため、実用的なインタフェース装置としての利便性に欠ける。
【００１０】
第２の従来手法では、体に何も装着せずに腕の動作を認識できるが、カメラ１台のみの情報を使っているので奥行き方向の情報が直接得られないため、３次元的なユーザーの腕の動きを精度良く抽出できない。
【００１１】
第３、第４の従来手法では、ユーザーが非装着かつ非接触に、３次元的な動作を認識して、スクリーン画面上の位置を指示することができるポインティング手法であるが、指し示せるのはスクリーン画面内に限定されており、それ以外の方向にある実物体や位置を指し示すことはできない。
【００１２】
本発明の目的は、これら従来手法の、装着型のため利便性に欠ける問題、カメラ１台利用の方法では奥行き精度が悪い問題、を解決し、かつ実空間との位置の対応付けが簡単であり、ユーザーが視覚的に実物体の位置、情報を登録することもできるし、基準カメラから直接見えない位置にある実物体情報を登録することもできる、インタフェース方法、装置、およびプログラムを提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明のインタフェース装置は、
基準カメラを含む複数のビデオカメラを用いて、実空間を撮影した画像を入力する手段と、
基準カメラから撮影物体までの距離情報を前記撮影画像を用いたステレオ法により生成する手段と、
基準カメラで撮影した画像である基準画像からの距離情報を用いてボクセル空間を生成する手段と、
基準カメラからの撮影画像上で、ユーザーの体の予め定めた部位２箇所を始点と終点として検出し、該画像上でのそれらの２次元座標を算出する手段と、
距離情報と、始点・終点の画像上での２次元座標とから、実空間上における始点・終点の３次元座標を算出し、ユーザーが指し示す実空間上での方向情報を算出する手段と、
生成されたボクセル空間上の当該３次元位置に、実空間上に存在する実物体の情報、すなわち一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する手段と、
ユーザーの指し示す実空間上での方向情報と、登録されている物体の３次元位置情報とを照合し、操作者が指し示す３次元指示位置情報である、ユーザーが指し示す方向の延長線と、登録された物体との交点に関する情報を検出する手段と、
生成されたボクセル空間、登録過程および結果、３次元指示方向情報、および指示された物体の情報と撮影画像とを重畳表示する手段を有している。
【００１４】
ここで、主な用語について説明する。
１．ボクセル空間
立方体形状を持つ単位３次元空間である“ボクセル”の集合である。図１５に、ボクセルとボクセル空間との関係、それの階層分割のイメージを示す。
２．ステレオ法
ステレオ視（三角測量）の原理を用いて、基準カメラからの画像を含む２枚以上の入力画像から、基準カメラから見た撮影物体までの距離を測定する手法である。
３．基準カメラ
ステレオ法実行時に、距離情報生成のための基準となるカメラである。基準カメラで撮影した画像を基準画像と呼ぶ。
【００１５】
本発明によれば、非装着であり、奥行き情報を精度良く得られ、実空間への３次元的なポインティングを実現できる。また、基準カメラから見たボクセル空間を生成し、それを実画像と重畳して視覚的に表示することにより、実物体情報の登録も簡単にできるし、基準画像から見えない位置にある実物体の情報も登録できる。
【００１６】
本発明の実施態様では、インタフェース装置は、基準画像を左右反転した画像を生成する手段を有し、ボクセル空間も前記反転画像に合わせて、左右反転させた状態で生成し、重畳表示手段における各種表示情報も、該反転画像上に重畳表示する。
【００１７】
そのため、前記の利点に加え、自己画像が写っている鏡を見ながらポインティング操作を行っているような、より直接性、直感性が高まったインタフェースとすることができる。
【００１８】
本発明の他の実施態様では、インタフェース装置は、前記距離情報を生成する手段の代りに、ビデオカメラと投光装置を用いた能動的なステレオ法により距離情報を生成する手段を有している。
【００１９】
そのため、同様に、前記問題を解決でき、かつ物体情報登録に関する利便性、簡便性も高いインタフェースとすることができる。
【００２０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２１】
［第１の実施形態］
図１は本発明の第１の実施形態のインタフェース装置の構成図、図２はその処理の流れを示すフローチャートである。
【００２２】
本実施形態のインタフェース装置は、複数のカメラで撮影された画像を入力画像とし、ユーザーが体の部位（指や腕等）を用いて指し示した実空間内の位置（もしくは物体）を検出するインタフェース装置において、ユーザーの直接的で直感的な３次元的指示動作に基づき、３次元空間上での指示位置を認識することができる装置で、かつその操作時にユーザーが自己画像を見ながらインタフェース動作を行える装置である。
【００２３】
本インタフェース装置は画像入力部１１１，１１２と距離情報生成部１２とボクセル空間生成部１３と始終点２次元座標算出部１４と始終点３次元座標算出部１５と３次元指示位置検出部１６と空間情報登録部１７と反転情報生成部１８と情報表示部１９と空間情報データ２０から構成される。
【００２４】
画像入力部１１１，１１２としては、図１のように２台（もしくは３台以上）のビデオカメラを用いる。カメラは一般に用いられるビデオカメラやＣＣＤカメラでよく、白黒でもカラーでもよい。ただし、後述する色情報を使用した方法を用いる場合はカラーカメラが必要である。
【００２５】
距離情報生成部１２は、基準画像（基準画像のイメージを図３に示す）を含む２枚以上の入力画像から、ステレオ法による画像処理を用いて基準カメラから撮影物体までの距離情報を生成する（ステップ２１）。距離情報を生成する具体的な画像処理方法の例としては、市販の製品、Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ社のＤｉｇｉｃｌｏｐｓ（３眼カメラ式）やＢｕｍｂｌｅｂｅｅ（２眼カメラ式）等を用いる方法がある。これらは各々、３台もしくは２台のカメラが内蔵された画像入力機器であり、出力として距離情報を生成できるものである。また、ステレオ法を用いる手法は、画像処理分野において一般的である（発表文献多数）ので、任意の２台以上のカメラを用いて自作することも可能である。図４に、図３の基準画像上の一本の画素のライン上ｘ軸方向に沿って得られる距離情報のイメージを表す。図で、距離軸方向が基準カメラからの距離を表しており、離れていればより大きな値をとり、すなわち基準カメラからより遠い位置にあることを意味している。
【００２６】
ボクセル空間生成部１３は、距離情報生成部１２において求められた距離情報に合わせて、ボクセル空間を、階層分割しながら作成する（ステップ２２）。例えば、図５では、得られた距離情報に対し、４×３×３個のボクセルからなる初期ボクセル空間を生成している。ここでは、初期ボクセル空間を指定階層まで階層的に分割し、各階層のボクセルに、距離情報をもとに、実物体が存在し得るかどうかのフラグを立てていく。以下、説明を簡単にするため、図４の距離情報を表すグラフ（矩形グラフ）を用いて、ボクセルへのフラグの立て方、および２次元的な階層分割法を説明する。図６に分割例を示す。各ボクセルには、白、灰色、黒、の三種類のうち、いずれかひとつのフラグが与えられる。すなわち、図６に示したように、距離情報を表すグラフが着目ボクセルと交差する場合は灰色、完全に上側を通る場合は黒、完全に下側を通る場合は白、とそのボクセルのフラグとする。すなわち、距離グラフと各ボクセルとが交差するか否かを判定し、その結果に従い、フラグを決定する。このうち、灰色と判定されたボクセルだけを、図６に示すようにさらに４等分に再分割し（３次元のボクセルの場合は、図１５に示すように、８等分に再分割することとなる）、再びフラグを与えていく。以上をあらかじめ与えたボクセルの大きさになるか、あらかじめ決められた分割数に到達するまで繰り返し行う。このようにして再帰分割を行うと、距離グラフと交差するボクセルが再帰的に分割されていき、それ以外の距離的に意味をなさない領域が白または黒のフラグをとる分割されないボクセルで表されることとなる。このようにして生成されたボクセル空間は、図７に示したようなオクトリー構造をとることにより、効率的、高速に、親ボクセルや子ボクセルとの関係を引き出すことができる。なお、ボクセルのフラグについては第４のものとして、登録フラグも存在する。これについては後述する。
【００２７】
始終点２次元座標算出部１４は、距離情報生成部１２で用いた入力画像のうち、基準画像を用いて、ユーザーの体の予め定める部位２箇所（始点と終点）の画面上での２次元座標を算出する（ステップ２３）。始点と終点は、例えば、ユーザーの肩の位置を始点とし、手の位置を終点とすることが考えられる。これにより、この場合は腕を伸ばした手の先の方向が後述する３次元指示方向となる。右肩と右手の位置を始点・終点とした場合の画面上での具体的な検出方法について、以下に示す。
【００２８】
右手の位置を画像処理により検出する方法としては、例えば、入力画像をカラー画像とした場合、カラー画像中の色情報を用いて、肌色領域（肌色の取り得る範囲を任意に幅を持たせた色の値の範囲で指定する。）を抽出する方法がある。得られた複数の肌色領域の中から、大きさや位置等の制約情報（例えば、手の大きさから推測される可能性のある肌色領域の面積範囲を指定したり、画面上の天井付近や床付近等手が存在する可能性の低いところを除外したりする等の制約。または距離情報を用いることも考えられる。）を利用して、手の肌色領域の候補を選択する。さらに、１）通常ユーザーは衣服を着ていると考えることができ、肌色領域の候補となる可能性が高い肌色領域は両手と顔と考えられる、２）最も面積の大きい領域は顔と考えられる、といった性質を用いて、２番目と３番目に面積が大きい肌色領域を手の候補とする。右手は、顔の右側にある領域であり、その重心位置を右手位置とする。左手位置を求めたい場合は、左右逆に考えればよく、両手の場合は、ふたつの場合を組合わせて考えればよい。
【００２９】
また、右肩の位置を画像処理により検出する方法としては、例えば、上記の手段で顔の位置を抽出してから肩の位置を算出する方法がある。具体的には、まず、前記の肌色抽出処理を行った結果から、最も面積が大きい肌色領域は顔の可能性が高いので、その肌色領域を顔と判断し、その重心を求める。次に、右肩の位置は顔の重心位置から、下へある程度の距離、右へある程度の距離ずらしたものと仮定することができるので、予めそのずらす距離を決めておいて（個人差があるのでユーザーによって値を変えてもよい）、顔の重心位置から右肩の位置を算出することができる。これらにより、始点・終点の画面上での２次元座標を求めることができる。また、ここでは肩の位置を始点としているが、前記により求められる顔の重心位置をそのまま始点としてもよい。その場合、顔の位置と手の位置を結ぶ延長線がユーザーの指示方向となる。
【００３０】
始終点３次元座標算出部１５は、生成された距離情報と、始点・終点の２次元座標から、始点・終点の３次元座標値を求める（ステップ２４）。具体的な方法としては、例えば、基準画像上で、始点の画像上での２次元座標に相当する距離値を始点の距離値とする。終点も同様である。３次元の実空間上において、画像の２次元座標系と３次元座標系の変換式は、一般に予め容易に算出しておけるので、それに基づいて得られた画面上での始点および終点の２次元座標値とその各距離値から、始点と終点の３次元空間上での３次元座標値を求めることができる。さらに、得られた始点・終点の２つの３次元座標値から、２点を結ぶ３次元直線を求めることにより、ユーザーの指示方向を求めることができる。
【００３１】
３次元指示位置検出部１６は、ユーザーが指し示した撮影実空間中の３次元位置を検出する（ステップ２５）。具体的な方法としては、まず始終点３次元座標算出部１５で求められた、始点と終点を結ぶ３次元直線を手（終点）方向に延長していく。このとき、ボクセル空間を用いて、該延長線が、予め登録されている空間中の物体等の３次元位置情報が登録されているボクセルと交差するか否かを検出する。そのようなボクセルには、後述するように登録フラグが立っており、容易に判別できる。ここでも、図４の距離情報の例をもとに、２次元的に交差ボクセルを求める方法を述べる。今、図８中の黒いボクセルが、物体情報が登録されたボクセル（登録ボクセル）で、ユーザーがその方向を指しているものとする。この時、該ボクセルが指示方向の延長線と交わるか否かを判定するには、該延長線が登録ボクセルを通過するか否かを上位層のボクセルから計算していく。通過する登録ボクセルが見つかった場合、それの下位層のボクセルについても、登録ボクセルを通過するか否かを計算する。この通過判定を、情報が実際に登録されたボクセルが見つかるまで繰り返し行う。該延長線がボクセルを通過するか否かの判定は、ボクセルが規則的な立方体形状をとるため極めて簡単に計算でき、さらに上位層のボクセルから下位層に向かって判定していくため、計算の早い段階で情報が登録されていない大きな領域を除外することができ、極めて高速に、登録情報が存在する３次元指示位置情報を探し出すことができる。ここで、空間中の物体等の情報については、空間情報登録部１７の説明において説明する。得られた３次元指示位置情報は空間情報データ２０として蓄積され、情報表示部１９において、ディスプレイ１０上に表示される。
【００３２】
空間情報登録部１７は、ユーザーが指示する可能性のある撮影実空間中の物体等の情報を空間情報データ２０に登録する（ステップ２６）。実空間中の物体等としては、例えば、ユーザーが部屋の中にいる場合には、部屋の中にある家電機器等（テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等）の物体や、また部屋自体の壁、床、天井、窓等、任意のものが対象として考えられる。ここでは、情報表示部１９を使って、ボクセル空間を基準画像に重畳表示させながら、会話処理により、実物体情報を３次元的に登録していく。図９に、基準画像上に初期ボクセル空間を重畳表示したイメージ図を示す。この結果に対し、情報を登録したい位置を表わすボクセルを選択し、それに情報を登録していくことを行う。この際には、図１０に示したように、ある着目ボクセルのみを表示させたり、マウスの移動操作により、それの隣接ボクセルを表示させたり、マウスのクリック操作により下位層のボクセルを表示させたりしながら、目的ボクセルを絞り込んでいくことが考えられる。なお、この表示法やボクセルの選択、移動法は本方法に限ったものではなく、例えば、実空間ではなく、ボクセル空間を指示対象とした本発明におけるポインティング操作を行うことも考えられる。また、同じ情報を複数のボクセルに登録することも考えられる。また、本会話処理時に、白フラグや黒フラグのボクセルも強制的に分割できる操作を加えれば、実物体がない空間や、基準画像から隠れた場所にも、情報を登録することができる。最後に、情報を登録したボクセルとそれが属する最上位レベルから最下位レベルまでの全ボクセルについては、第４のフラグとして、登録フラグを立てていく。
【００３３】
これらの情報（３次元位置の座標情報やその他物体に関する情報等）は、実座標を利用して、予め空間情報データ２０に登録・保存しておき、それをボクセルに自動で割り当てることも考えられる。また、情報の登録に関しては、予め固定の３次元位置座標としておくのではなく、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサ、超音波センサ、赤外線タグ、無線タグ等）を取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた３次元位置情報から該物体情報を生成し、常時その物体の３次元位置座標等の情報を更新していくことも可能である。この場合、物体を移動させても３次元位置情報等をリアルタイムに更新させることができる。
【００３４】
表示情報反転部１８は、基準画像を左右反転するとともに、ボクセル空間や３次元位置情報も合わせて左右反転する（ステップ２７）。基準画像とそれを左右反転させた画像のイメージを図１１に示す。この場合は、ユーザーが、鏡を見ながらポインティング動作を行うのに近い像が得られる。基準画像の左右反転は、コンピュータ内へ取り込んだ入力画像に対し市販の汎用画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに実行することができる。または、入力画像を入力し反転画像をリアルタイムに生成する市販の機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）でも実現できる。また、本情報反転部１８が無い実施形態も考えられる。その場合には、そのままの座標で表示される。
【００３５】
情報表示部１９は、例えば、ポインティング動作中においては、１）左右反転した基準画像、２）同ボクセル空間、３）該３次元指示方向、および位置を表すＣＧをディスプレイ１０に重畳表示する（ステップ２８）。その場合の各画像の例を図１２に、重畳表示した結果を図１に示す。ディスプレイ１０は、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。なお、表示方法は本例に限るものではなく、例えばボクセル空間の表示を、一部着目しているボクセルのみに限ったり、全く行わなかったりする、ということも考えられる。
【００３６】
［第２の実施形態］
図１３は本発明の第２の実施形態のインタフェース装置の構成図、図１４はその処理の流れを示すフローチャートである。
【００３７】
本実施形態のインタフェース装置は、第２の実施形態において、２個以上のカメラからの入力画像から生成する受動的なステレオ法を用いる代わりに、カメラ１１と投光装置３１を用いた能動的なステレオ法により距離情報を生成するものである。両者を混在させることも可能である。
【００３８】
２個以上の画像から生成する受動的なステレオ法とは、例えば視線方向の近い２個のカメラの入力画像同士間で、対応する点を探し（対応点探索を行い）、その座標値のずれの大きさ（視差）からその点の距離を求める手法である。距離の計算には、三角測量の原理を用いている。この手法は、対応点探索が難しく精度良い距離情報が得られにくい問題があるが、光を照射するなどの能動的な動作や装置は必要なく、撮影環境等に影響されない利点を持っている。例えば、市販の製品で、Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ社のＤｉｇｉｃｌｏｐｓ（３眼カメラ式）やＢｕｍｂｌｅｂｅｅ（２眼カメラ式）等がある。
【００３９】
これに対し、投光装置を用いた能動的なステレオ法とは、２個のカメラのうち１台を、光を投射する光源に置き換え、対応点探索のための手がかりとなる情報を対象物に直接投射する手法である。光は、スリット光、スポット光、多種に変化するパターン光など、各種の光を用いる方法もしくは製品が提案もしくは市販されている。この手法は、光を投射する複雑な装置が必要であり、また撮影環境にも影響される問題があるが、対応点探索は安定して行えるので、精度良く距離画像を求めることができる利点を持っている。例えば、市販の製品で、ＮＥＣエンジニアリング社のＤａｎａｅ−Ｒ（非接触型３次元形状計測用レンジファインダ）等がある。
【００４０】
これら２つのステレオ法はいずれも距離情報を求めることができるので、互いに置き換えることが可能である。よって、２台以上のカメラだけを使うのではなく、１台以上のカメラと投光装置を用いた能動的なステレオ法も利用可能とすることにより、利用できる手法も市販機器も広くなり汎用性を高めることができるとともに、応用先を広げることができる。
【００４１】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４２】
【発明の効果】
以上説明したように、本発明は、下記の効果がある。
【００４３】
請求項１、４、７の発明は、非装着なインタフェースであるため、ユーザーの利便性が向上する。また、ステレオ法で得られる距離情報を利用したボクセル空間を利用するため、実物体情報の登録や、ユーザーの３次元的なポインティングの指示位置検出も効率的に行うことができる。さらに、３次元的なポインティングの指示先として、画面上だけでなく実空間上の位置もポインティング可能であり、応用先を広げることができる。
【００４４】
請求項２、５、７の発明は、請求項１の効果に加え、鏡のメタファを用いたインタフェース動作を行えるため、ユーザーの利便性をより向上させることができる。
【００４５】
請求項３、６、７の発明は、請求項１、２の効果に加え、２台以上のカメラのみでなく、１台以上のカメラと投光装置を用いた能動的なステレオ法を利用した手法もしくは市販機器も使うことができるため、汎用性を高めるとともに、応用先を広げることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のインタフェース装置の構成図である。
【図２】第１の実施形態のインタフェース装置の処理の流れを示すフローチャートである。
【図３】基準画像のイメージを表す図である。
【図４】図３の基準画像上のひとつのライン上に沿って得られる距離情報のイメージを表す図である。
【図５】距離情報をもとに生成したボクセル空間のイメージを表す図である。
【図６】ボクセル空間の階層分割とフラグの立て方のイメージを表す図である。
【図７】生成したボクセル空間をオクトリー構造として保持した場合のイメージを表す図である。
【図８】指示方向から情報を登録したボクセルを探すアルゴリズムのイメージを表す図である。
【図９】基準画像上に初期ボクセル空間を重畳表示したイメージを表す図である。
【図１０】空間情報登録部において、ひとつのボクセルを強調表示した状態から、隣接ボクセルを強調表示させたり、下の階層のボクセルを強調表示させたりする場合のイメージを表す図である。
【図１１】図３の基準画像を左右反転させた画像のイメージを表す図である。
【図１２】第１の実施形態における表示結果に対する構成画像のイメージを示す図である。
【図１３】本発明の第２の実施形態のインタフェース装置の構成図である。
【図１４】第２の実施形態のインタフェース装置の処理の流れを示すフローチャートである。
【図１５】ボクセルとボクセル空間との関係、それの階層分割の概念を表す図である。
【符号の説明】
１０    ディスプレイ
１１，１１１，１１２    画像入力部
１２    距離情報生成部
１３    ボクセル空間生成部
１４    始終点２次元座標算出部
１５    始終点３次元座標算出部
１６    ３次元指示位置検出部
１７    空間情報登録部
１８    表示情報反転部
１９    情報表示部
２０    空間情報データ
２１〜２８    ステップ
３１    投光部
Ｉ，Ｉ１，Ｉ２    入力画像
【図１】
2004272515.tif 000003
【図２】
2004272515.tif 000004
【図３】
2004272515.tif 000005
【図４】
2004272515.tif 000006
【図５】
2004272515.tif 000007
【図６】
2004272515.tif 000008
【図７】
2004272515.tif 000009
【図８】
2004272515.tif 000010
【図９】
2004272515.tif 000011
【図１０】
2004272515.tif 000012
【図１１】
2004272515.tif 000013
【図１２】
2004272515.tif 000014
【図１３】
2004272515.tif 000015
【図１４】
2004272515.tif 000016
【図１５】
2004272515.tif 000017