(57)【要約】【課題】  本発明は、実空間内での指示対象物を精度良くかつ簡便に検知できる装置および方法を提供することを目的としている。【解決手段】  使用者は、指示具７の先端７１で指示対象物６を指示する。このとき、利き目５から見える指示対象物６の映像においては、指示具７の先端７１は、指示対象物６に重なるか、またはその近傍に位置する。  ついで、撮像部１により、指示対象物６の映像を取得する。これにより、使用者の利き目５と光学的に実質上共役な位置から、使用者の利き目５が見ている実空間の映像データを取得することができる。  ついで、処理部２は、指示具先端７１の映像に重なるか、あるいはそれに最も近い領域を、指示対象物６の領域として抽出することができる。また、この領域の映像を、指示対象物６の映像として抽出することもできる。【選択図】図１
2005032254.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と処理部とを備えており、
前記撮像部は、使用者の利き目が見ている実空間の映像データを取得する構成となっており、
前記処理部は、前記映像データに基づいて、指示対象物を検知する構成となっている
ことを特徴とする実空間内での指示対象物検知装置。
【請求項２】
前記映像データは、指示具の映像を含んでおり、
前記処理部は、前記指示具の映像と重なるか、又はそれに近い領域を指示対象物の領域として抽出することにより、前記指示対象物を検知する構成となっている
ことを特徴とする、請求項１に記載の実空間内での指示対象物検知装置。
【請求項３】
さらに半透鏡を備えており、
前記撮像部は、前記半透鏡を介して、前記使用者の利き目と光学的に実質上共役な位置に配置されている
ことを特徴とする、請求項１又は２に記載の実空間内での指示対象物検知装置。
【請求項４】
前記撮像部は、前記使用者の利き目の近傍に配置されていることを特徴とする、請求項１又は２に記載の実空間内での指示対象物検知装置。
【請求項５】
前記撮像部は、第１撮像器と第２撮像器とを備えており、
前記第１撮像器と第２撮像器とは、前記使用者の利き目が見ている実空間の映像データをそれぞれ取得するものである
ことを特徴とする、請求項１又は２に記載の実空間内での指示対象物検知装置。
【請求項６】
以下のステップを備えることを特徴とする、実空間内での指示対象物検知方法：
（１）使用者により、実空間内で、使用者自身の視野内の対象物が指示具で指し示された後、前記使用者の利き目が見ている実空間の映像データを取得するステップ；
（２）前記映像データに含まれる前記指示具の映像と重なるか、又はそれに近い領域を、指示対象物の領域として抽出するステップ。
【請求項７】
以下のステップをコンピュータに実行させることを特徴とする、実空間内での指示対象物検知用のコンピュータプログラム：
（１）使用者の利き目が見ている実空間の映像データを撮像部から取得して記憶するステップ；
（２）前記映像データに含まれる領域のうち、指示具の映像と重なるか、又はそれに近い領域を、指示対象物の領域として抽出するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実空間内での指示対象物検知装置、検知方法、及び、検知用のコンピュータプログラムに関するものである。
【背景技術】
【０００２】
実空間において人間が指し示している対象物を機械によって検知・認識させるための方法としては、実空間と人間の動作とを撮像し、その映像内で人間の指の位置や姿勢を検知し、指の延長線上にある対象物を探索するものが提案され、試みられている。
【０００３】
この方法では、対象物と使用者の両者を含む座標系において、対象物と使用者の指の座標を計測し、指のベクトルの向きから、使用者が指し示している対象物を推定する。しかし、この方法では、実空間内での使用者の指の位置・姿勢と複数の対象物の位置とを正確に計測しなければならず、大規模かつ精密な座標計測手段が必要とされる。
【０００４】
従来からよく利用されている別の方式では、実空間内での指示者の状態を撮像し、撮像された映像内で、指示具（指示者の指である場合を含む）の位置および姿勢を検知し、その情報を用いて、指示者が指している実空間内の対象物を推定している。指示者の指あるいは指示具が、対象物に触れているか、又は極めて近い位置を指し示している場合には、指示している対象物をかなり正確に同定することができる。
【０００５】
しかし、通常の状態では、指示者の指あるいは指示具と対象物とが接触あるいは極近傍となることはむしろ少ない。多くの場合は、指示者の指あるいは指示具と対象物との距離は、指示者の目と指示具との距離よりも離れている。このため、撮像される映像内において、指示具と対象物とは離れた状態となる。このような場合には、この方式では、指示者が指し示している対象物を正しく同定することが困難となる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、前記の状況に鑑みてなされたもので、実空間内での指示対象物を精度良くかつ簡便に検知できる装置および方法を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明に係る実空間内での指示対象物検知装置は、撮像部と処理部とを備えている。前記撮像部は、使用者の利き目が見ている実空間の映像データを取得する構成となっている。前記処理部は、前記映像データに基づいて、指示対象物を検知する構成となっている。
【０００８】
前記映像データは、指示具の映像を含んで居ることが望ましい。この場合、処理部は、指示具の映像と重なるか、又はそれに近い領域を指示対象物の領域として抽出することにより、指示対象物を検知する構成とされる。
【０００９】
本発明に係る実空間内での指示対象物検知装置は、さらに半透鏡を備えていてもよい。この場合、前記撮像部は、前記半透鏡を介して、前記使用者の利き目と光学的に実質上共役な位置に配置されることが望ましい。
【００１０】
本発明に係る実空間内での指示対象物検知装置における撮像部は、使用者の利き目の近傍に配置されていてもよい。
【００１１】
本発明に係る実空間内での指示対象物検知装置における撮像部は、第１撮像器と第２撮像器とを備えていてもよい。前記第１撮像器と第２撮像器とは、前記使用者の利き目が見ている実空間の映像データをそれぞれ取得するものである。
【００１２】
本発明に係る実空間内での指示対象物検知方法は、以下のステップを備えている：
（１）使用者により、実空間内で、使用者自身の視野内の対象物が指示具で指し示された後、前記使用者の利き目が見ている実空間の映像データを取得するステップ；
（２）前記映像データに含まれる前記指示具の映像と重なるか、又はそれに近い領域を、指示対象物の領域として抽出するステップ。
【００１３】
本発明に係る、実空間内での指示対象物検知用のコンピュータプログラムは、以下のステップをコンピュータに実行させることを特徴としている：
（１）使用者の利き目が見ている実空間の映像データを撮像部から取得して記憶するステップ；
（２）前記映像データに含まれる領域のうち、指示具の映像と重なるか、又はそれに近い領域を、指示対象物の領域として抽出するステップ。
【発明の効果】
【００１４】
本発明によれば、実空間内での指示対象物を精度良くかつ簡便に検知できる装置および方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
（第１実施形態の構成）
本発明の第１実施形態に係る検知装置を以下に説明する。この検知装置は、撮像部１と、処理部２と、出力部３と、半透鏡４とを主要な構成として備えている（図１参照）。
【００１６】
半透鏡４は、使用者の利き目５の前方に（すなわち、利き目５の視野に全部又は一部が含まれるように）配置されている。より詳しくは、半透鏡４は、利き目５における視線方向５１に交差する位置に配置されている。利き目５の視線方向５１は、指示対象物６に向けられている。また、この例では、指示具７の先端７１が視線方向５１の近傍に配置されている。ここで、使用者は意図的に指示具７１先端を視線方向５１の近傍になるようにするのではなく、自然な状態で指示対象物６を指示することによってこのような配置が実現される。ここで、指示具７とは、対象物を指示する有体物であれば良く、例えば、使用者の指や差し棒である。ただし、指示具７やその先端７１は、利き目５により見えれば良く、視線方向５１の近傍に位置されることは必須ではない（後述）。
【００１７】
撮像部１は、半透鏡４を介して、使用者の利き目５に対して光学的にほぼ共役な位置に配置されている。撮像部１は、これにより、使用者の利き目５が見ている実空間の映像データを取得することができるようになっている。映像データの取得方法については後述する。撮像部１としては、使用者の利き目５が見ている実空間の映像データを取得することができるものであれば、各種のものを使用することができる。例えば、静止画や動画を撮影する可視光カメラ、赤外線カメラなどを撮像部１として使用することができる。
【００１８】
処理部２は、撮像部１で取得した映像データから指示対象物６の映像を抽出する構成となっている。抽出方法の詳細も後述する。処理部２は、例えば、コンピュータおよびコンピュータソフトウエアにより構成することができる。
【００１９】
出力部３は、処理部２で抽出された映像情報を出力するものである。このような出力部３としては、例えばディスプレイやプリンタである。ただし、処理部３は、データを記録するための記録装置であってもよいし、他のコンピュータに情報を伝達するためのインタフェースであってもよい。
【００２０】
（第１実施形態の動作）
次に、前記検知装置を用いた、指示対象物の検知方法について、図２に示すフローチャートを参照しながら説明する。
【００２１】
（ステップ２−１）
まず、使用者は、図３に示されるように、指示具７の先端７１により、実空間内にある指示対象物６を指示する。このとき、図４に示されるように、指示具７の先端７１は、利き目５の視野内に配置される。すると、利き目５から見える指示対象物６の映像は、図５のようになる。この状態では、指示具７の先端７１は、指示対象物６に重なるか、またはその近傍に位置する。
【００２２】
ついで、撮像部１により、指示対象物６の映像を取得する。ここで、撮像部１は、使用者の利き目と光学的に実質上共役な位置に配置されている。このため、撮像部１によって、使用者の利き目５と光学的に実質上共役な位置から、使用者の利き目５が見ている実空間の映像データを取得することができる。
【００２３】
（ステップ２−２）
次に、得られた映像データは、処理部２に送られる。処理部２では、画像処理に適するように、映像データをＡ／Ｄ変換してディジタルデータとする。
【００２４】
さらに、処理部２は、映像データに対する前処理を行う。この前処理は、映像中に含まれる物の領域を特定しやすくするためのものである。このような前処理は、平滑化やエッジ抽出などのよく知られた手法により可能なので、この点についての詳細な説明は省略する。
【００２５】
（ステップ２−３）
次に、処理部２は、映像データにおける領域分割を行う。領域分割とは、映像中に含まれる物の領域を特定する処理である。このような処理は、よく知られた方法により可能なので、この点についての詳細な説明は省略する。
【００２６】
（ステップ２−４）
次に、処理部２は、指示具先端７１の映像を抽出する。この抽出方法の一例は以下の通りである。まず、指示具先端７１の映像を予め記憶しておく。ついで、ステップ２−３で得られた各領域の映像と、予め記憶された映像とを比較する。もっとも一致度の高い画像を指示具先端７１の映像とする。一致度の算出方法も、従来からよく知られた方法により可能なので、この点についての詳細な説明は省略する。
【００２７】
（ステップ２−５）
さらに、処理部２では、指示対象物６を抽出する。この抽出は、例えば次のような方法により可能である。まず、前提として、指示具先端７１は、使用者の利き目５から見た状態では、図５に示されるように、指示対象物６に重なるかその近傍に位置すると推定できる。したがって、処理部２では、指示具先端７１の映像に重なるか、あるいはそれに最も近い領域を抽出し、この領域の映像を、指示対象物６の映像として特定することができる。
【００２８】
指示対象物６の大きさとして、ある範囲のものが想定されるのであれば、想定される大きさの領域から、指示対象物６の領域を抽出することもできる。このようにすれば、指示対象物６として誤った領域を抽出するおそれを低減することができる。
【００２９】
（ステップ２−６）
ついで、処理部２は、得られたデータ（指示対象物を示す映像データ）を出力部３に送る。出力部３は、そのデータを目的に応じて出力する。
【００３０】
以上説明したように、本実施形態の検知装置および検知方法によれば、実空間内での指示対象物を精度良くかつ簡便に検知することが可能となるという利点がある。
【００３１】
なお、第１実施形態では、指示対象物の領域抽出または映像抽出により指示対象物の検知を実現しているが、指示対象物の検知の具体例は、これらに限らない。例えば、指示対象物の中心や重心位置を特定することにより、指示対象物を検知しても良い。要するに、本実施形態における「指示対象物の検知」とは、指示対象物の位置や形状や色などの属性のいずれかを認識できることであればよい。
【００３２】
また、前記したように、第１実施形態では、指示具７の先端７１が視線方向５１の上またはその近傍に配置されるとしたが、このようにされることは必須ではない。例えば、図４中に符号Ｘで示す位置が注視点（視線上の点）であったとする。この場合、指示具７の先端７１は、視線上には位置しないが、使用者が意識しなくとも、利き目の視野内において、指示対象物６に重なる位置か、その近傍となる。したがって、利き目の視野の映像を取得すれば、指示具先端はその映像において指示対象物６に重なる位置か、その近傍に映されることになる。
【００３３】
（第２実施形態）
次に、本発明の第２実施形態に係る検知装置を、図６に基づいて説明する。前記した第１実施形態では、撮像部１を、半透鏡４を介して、使用者の利き目５に対して光学的にほぼ共役な位置に配置した。これに対して、この第２実施形態では、撮像部１を、使用者の利き目５の近傍に配置した。これにより、撮像部１の光軸方向１１と、利き目の視線方向５１とは、やや角度を有しているものの、ほぼ平行とされている。撮像部１の光軸方向１１と、利き目の視線方向５１とは、完全に平行であってもよい。要するに、撮像部１の位置としては、使用者の利き目が見ている実空間の映像データと実質的にほぼ同様の映像を取得できれば、どのような位置にあっても良い。もちろん、取得される映像データには、指示対象物の映像が含まれている必要がある。
【００３４】
第２実施形態の装置においても、得られた映像データを用いて、第１実施形態と同様の方法により、指示対象物６の領域又は映像を抽出することができる。また、第２実施形態の装置では、半透鏡を省略することができるという利点もある。第２実施形態における他の構成及び利点は、第１実施形態と同様なので、説明を省略する。
【００３５】
（第３実施形態）
次に、本発明の第３実施形態に係る検知装置を、図７に基づいて説明する。前記した第２実施形態では、一つの撮像部１を用いた。これに対して、この第２実施形態では、撮像部１が、第１撮像器１１０と第２撮像器１２０とを備えている。第１撮像器１１０と第２撮像器１２０は、それぞれが、第１実施形態における撮像部１と同様の機能を備えている。
【００３６】
第１撮像器１１０と第２撮像器１２０とは、この実施形態では、使用者の利き目５の視線方向５１を中心線としてほぼ線対称な位置に配置されている。ただし、第１実施形態の場合と同様に、第１撮像器１１０と第２撮像器１２０は、使用者の利き目５の視野内における映像データを取得できればよい。さらに、第１撮像器１１０と第２撮像器１２０の光軸方向１１１および１２１は、利き目５の視線方向５１とほぼ平行とされている。ただし、光軸１１１および１２１は、視線方向５１に対してある程度の角度を有している。光軸１１１および１２１は、視線方向５１に対して完全に平行であってもよい。
【００３７】
この構成により、第１撮像器１１０と第２撮像器１２０は、それぞれ、使用者の利き目が見ている実空間の映像データと実質的にほぼ同様の映像を取得できるようになっている。ただし、もちろん、取得されるそれぞれの映像データには、指示対象物６の映像が含まれている必要がある。
【００３８】
第３実施形態に係る検知装置を用いた検知方法を、図８に基づいて説明する。前提として、利き目５から指示対象物６を見た映像においては、図５に示されるように、指示対象物６の映像に指示具先端７１の映像が重なっているものとする。ただし、第１撮像器１１０及び第２撮像器１２０においては、それらの位置が利き目５からずれているために、図５のような映像は得られない。
【００３９】
本実施形態では、第１撮像器１１０において取得した映像においては、図８中符号７１ａで示されるように、本来の位置からずれた位置に、指示具先端の映像が存在する。同様に、第２撮像器１２０において取得した映像においては、図８中符号７１ｂで示されるように、指示具先端７１ａとは反対側にずれた位置に、指示具先端の映像が存在する。
【００４０】
本実施形態では、二つの指示具先端の映像における中間の位置に、利き目から見た指示具先端の位置が存在すると推定して、その位置を特定する。この処理は処理部２により行うことができる。このように推定した位置に基づいて、第２実施形態と同様に、指示対象物６の映像を抽出することができる。
【００４１】
これにより、本実施形態では、利き目５の視線方向５１からずれた位置に撮像部１を配置した場合であっても、指示対象物６の領域を比較的に正確に抽出することが可能となるという利点がある。
【００４２】
第３実施形態における他の構成及び利点は、第２実施形態と同様なので、説明を省略する。
【００４３】
（第４実施形態）
次に、本発明の第４実施形態に係る検知装置を、図９に基づいて説明する。前記した第３実施形態では、撮像部１における、第１撮像器１１０と第２撮像器１２０とを、水平方向に離間させた。これに対して、第４実施形態では、第１撮像器１１０と第２撮像器１２０とを、垂直方向に離間させた。これにより、第１撮像器１１０において取得した映像と第２撮像器１２０において取得した映像とにおいては、指示具先端の位置が、垂直方向に離間する。ただし、第４実施形態の装置でも、第３実施形態と同様の処理により、指示具先端の位置を推定して、指示対象物６の領域を抽出することができる。
【００４４】
第４実施形態における他の構成及び利点は、第３実施形態と同様なので、説明を省略する。
【００４５】
なお、本発明は、上記した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【００４６】
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【００４７】
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。
【産業上の利用可能性】
【００４８】
本発明によれば、実空間内において使用者が指し示している対象物を検出・同定して、これを機械に認識させることができる。本発明は、例えば、複数の対象物が存在している生活空間において、運んできてほしい対象物をロボットに示す場合に、その対象物を指で差して示すような状況において特に有用である。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係る指示対象物検知装置の概略的な構成を説明するための説明図である。
【図２】本発明の第１実施形態に係る指示対象物検知方法を説明するためのフローチャートである。
【図３】本発明の第１実施形態に係る指示対象物検知方法を説明するための説明図である。
【図４】本発明の第１実施形態に係る指示対象物検知方法を説明するための説明図である。
【図５】本発明の第１実施形態に係る指示対象物検知方法を説明するための説明図である。
【図６】本発明の第２実施形態に係る指示対象物検知装置の概略的な構成を説明するための説明図である。
【図７】本発明の第３実施形態に係る指示対象物検知装置の概略的な構成を説明するための説明図である。
【図８】本発明の第３実施形態に係る指示対象物検知装置を用いた検知方法を説明するための説明図である。
【図９】本発明の第４実施形態に係る指示対象物検知装置を用いた検知方法を説明するための説明図である。
【符号の説明】
【００５０】
１  撮像部
１１  光軸方向
１１０  第１撮像器
１１１  第１撮像器の光軸方向
１２０  第２撮像器
１２１  第２撮像器の光軸方向
２  処理部
３  出力部
４  半透鏡
５  利き目
５１  利き目の視線方向
６  指示対象物
７  指示具
７１  指示具先端
【図１】
2005032254.tif 000003
【図２】
2005032254.tif 000004
【図３】
2005032254.tif 000005
【図４】
2005032254.tif 000006
【図５】
2005032254.tif 000007
【図６】
2005032254.tif 000008
【図７】
2005032254.tif 000009
【図８】
2005032254.tif 000010
【図９】
2005032254.tif 000011