(57)【要約】【課題】自然に、かつ簡単に実施することができる指さし行為による物体の空間位置の教示方法を提供する。【解決手段】計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定する教示方法において、人体の手の指を抽出し、この指の少なくとも２箇所に指標を設定し、この指の空間座標を２点計算し、空間座標の計算をステレオ法により行い、ステレオ視における対応点を前記指に設定した指標に基づいて探索し、前記２点の空間座標に３次元的な直線をあてはめ、該直線と３次元座標が既知の物体平面との交点を物体の位置として教示する。【選択図】図１
2005069734.tif 000002
【特許請求の範囲】
【請求項１】
計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定する教示方法において、
（ａ）人体の手の指を抽出し、
（ｂ）該指の少なくとも２箇所に指標を設定し、
（ｃ）該指の空間座標を２点計算し、
（ｄ）空間座標の計算をステレオ法により行い、
（ｅ）ステレオ視における対応点を前記指に設定した指標に基づいて探索し、
（ｆ）前記２点の空間座標に３次元的な直線をあてはめ、該直線と３次元座標が既知の物体平面との交点を物体の位置として教示することを特徴とする指さし行為による物体の空間位置の教示方法。
【請求項２】
請求項１記載の指さし行為による物体の空間位置の教示方法において、前記人体の手の指の抽出を、背景に動きがない状態で手だけを動かし、その画像のフレーム間差分をとり、移動領域が大きい部分を手の存在候補領域となし、該手の存在候補領域の肌色部分を手の領域として抽出し、画像の二値化を行った後、指を手の平から伸びる細い棒状のものとみなして、収縮・膨張処理を加えて、指だけをカットした手の平領域を抽出し、前記手の領域から前記手の平を抽出して差分をとることにより行うことを特徴とする指さし行為による物体の空間位置の教示方法。
【請求項３】
請求項１記載の指さし行為による物体の空間位置の教示方法において、前記指標がマーカーであることを特徴とする指さし行為による物体の空間位置の教示方法。
【請求項４】
請求項１記載の指さし行為による物体の空間位置の教示方法において、前記指標が指に固有の特徴点であることを特徴とする指さし行為による物体の空間位置の教示方法。
【請求項５】
請求項４記載の指さし行為による物体の空間位置の教示方法において、前記指に固有の特徴点が指の先端と関節部であることを特徴とする指さし行為による物体の空間位置の教示方法。
【請求項６】
請求項１記載の指さし行為による物体の空間位置の教示方法において、前記物体の位置をロボットに教示することを特徴とする指さし行為による物体の空間位置の教示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指さし行為による物体の空間位置の教示方法に関するものである。
【背景技術】
【０００２】
近年、マン・マシンインターフェイスの実利用化を目指し、様々な人間の動きを認識する研究が行われてきた。例えば、センサや、カメラ等を人体に装着したシステムで成果を得ている（下記非特許文献１，２）が、被験者が実験環境に慣れる必要があったり、負担を与えたりする。そこで、ジェスチャによってなるべく自由な状態で自分の意思を計算機に伝える研究が行われている（下記非特許文献３〜５）。
【０００３】
ただし、そのジェスチャはユーザにとってわかりやすいものでなければならない。これに関連して、作業空間にある様々な家電製品をジェスチャで操作する研究が行われている（下記非特許文献３，４）。前者は介護を要する障害者のために静止状態だけを想定し、後者は動きのあるジェスチャによって意思を伝えている。後者の場合、複数の家電製品から一つを選択する際に伸びている指の本数によって対象が選ばれるシステムであるが、対象物体の数が増えた場合には、何らかの方法で対象物体をポインティングすることによって指示できた方が、ユーザが覚えるべきジェスチャの数を減らすことができる。
【０００４】
また、音声による対話（下記非特許文献６）も可能であるが、例えば、複数の本の中から特定の一冊を選んでもらう際に、音声だけで意思を伝えるためにはまわりくどい説明をしなければならない。
【０００５】
日常生活における人とロボットの対話は複雑なものではなく、自然なものが望ましい。
【０００６】
例えば、物体を指さしながらの“机の上のあの本を取って”という発話は“机の上の左端から何ｃｍにある本を取って”というよりも自然である（下記非特許文献７，８）。このように、物体を指示する手段として一番自然な方法は指さしである。
【非特許文献１】吉村ミツ，酒井由美子，甲斐民子，吉村功：日本舞踊の「振り」部分抽出とその特性の定量化の試み，電子情報通信学会論文誌  Ｄ−II  Ｖｏｌ．ｊ８４−Ｄ−II，１２，ｐｐ．２６４４−２６５３（２００１）
【非特許文献２】Ｅ．Ｈｏｒｉ，Ｈ．Ｓａｉｔｏ：３Ｄ  Ｉｎｐｕｔ  Ｉｎｔｅｒｆａｃｅ  ｖｉａ  Ｈａｎｄ  Ｍｏｔｉｏｎ  Ｕｓｉｎｇ  Ｓｔｅｒｅｏ  Ｃａｍｅｒａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｗｅａｒａｂｌｅ  ＰＣ  Ｅｎｖｉｒｏｎｍｅｎｔ，ＭＶＡ２００２  ＩＡＰＲ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ，ｐｐ．２８５−２８９（２００２）
【非特許文献３】川野卓也，山本和彦，加藤邦人，本郷仁志，丹羽義典：ポーズ認識を利用した介護支援のための家電制御支援システムの改良，電子情報通信学会技術研究報告，ＰＲＭＵ２００１−１１４  ＨＩＰ２００１−１７  ＭＶＥ２００１−７６，ｐｐ．９−１４（２００１）
【非特許文献４】入江耕太，梅田和昇：ジェスチャ認識に基づくインテリジェントルームの構築，第４回動画像処理実利用化ワークショップ講演論文集，ｐｐ．６２−６７（２００３）
【非特許文献５】村島照久，久野義徳，島田伸敬，白井良明：人間と機械のインタラクションを通じたジェスチャの理解と学習，日本ロボット学会誌，１８，４，ｐｐ．５９０−５９９（２０００）
【非特許文献６】村井俊浩，麻生英樹，Ｊｏｈｎ  Ｆｌｙ，浅野太，本村陽一，原功，栗田多喜夫，速見悟，山崎信行：オフィス移動型ロボットＪｉｒｏ−２の音声対話システム，日本ロボット学会誌，１８，２，ｐｐ．３００−３０７（２０００）
【非特許文献７】森川治，福井幸男，山下樹里，佐藤滋：人に優しい超鏡対話における指差し行為，情報処理学会論文誌，４１，５，ｐｐ．１２９０−１２９７（２０００）
【非特許文献８】吉田有里，斉藤秀雄：手指示対象物の自動撮影システム，２００１年電子情報通信学会総合講演論文集  情報・システム，ｐｐ．２７７（２００１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明では、上記したように、音声による対話よりも、指さし行為がポインティングの手段として有効であることに着目し、自然に、かつ簡単に実施することができる指さし行為による物体の空間位置の教示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、
〔１〕計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定する教示方法において、人体の手の指を抽出し、この指の少なくとも２箇所に指標を設定し、この指の空間座標を２点計算し、空間座標の計算をステレオ法により行い、ステレオ視における対応点を前記指に設定した指標に基づいて探索し、前記２点の空間座標に３次元的な直線をあてはめ、該直線と３次元座標が既知の物体平面との交点を物体の位置として教示することを特徴とする。
【０００９】
〔２〕上記〔１〕記載の指さし行為による物体の空間位置の教示方法において、前記人体の手の指の抽出を、背景に動きがない状態で手だけを動かし、その画像のフレーム間差分をとり、移動領域が大きい部分を手の存在候補領域となし、該手の存在候補領域の肌色部分を手の領域として抽出し、画像の二値化を行った後、指を手の平から伸びる細い棒状のものとみなして、収縮・膨張処理を加えて、指だけをカットした手の平領域を抽出し、前記手の領域から前記手の平を抽出して差分をとることにより行うことを特徴とする。
【００１０】
〔３〕上記〔１〕記載の指さし行為による物体の空間位置の教示方法において、前記指標がマーカーであることを特徴とする。
【００１１】
〔４〕上記〔１〕記載の指さし行為による物体の空間位置の教示方法において、前記指標が指に固有の特徴点であることを特徴とする。
【００１２】
〔５〕上記〔４〕記載の指さし行為による物体の空間位置の教示方法において、前記指に固有の特徴点が指の先端と関節部であることを特徴とする。
【００１３】
〔６〕上記〔１〕記載の指さし行為による物体の空間位置の教示方法において、前記物体の位置をロボットに教示することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、次のような効果を奏することができる。
【００１５】
指さし行為により、自然で分かりやすい対話を実現でき、計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定することができる。
【００１６】
また、各種の物体の面の教示に指さしを適用するなど、様々な応用が可能である。
【発明を実施するための最良の形態】
【００１７】
計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定する教示方法において、自然で分かりやすい対話を実現できるように、指で目標物をポインティングすることによって、ユーザーが目的とする物体を計算機に教示する。
【実施例】
【００１８】
以下、本発明の実施の形態について詳細に説明する。
【００１９】
ここでは、空間直線における指さし行為による物体の空間位置の教示方法について説明する。
【００２０】
（１）指さしベクトル
計算機に離れたところにある物体を指で指示し、これをロボットアームで持ってくるための処理について述べる。指から離れたところにある物体を認識するためには、互いの空間的な位置関係を知らなければならない。よって、実験に用いる画像はステレオ用デジタルビデオカメラによって撮影した。  指が間違いなく意図する物体の方向を向いていれば、指から延長した直線と、物体を構成するある平面が交差するはずである。この考えに基づいて物体の位置を推定する。
【００２１】
まず、指に３次元的な直線をあてはめるために、空間的な指の位置を探索する。３次元座標の推定には、三角測量の原理より奥行きを計算する。指の左右画像における対応点を探索しやすいように、指にマーカーを２箇所（直線の方向を１つに定めるための最低数）つけている。なお、マーカーの代わりに指の特徴点（指の先端、関節部、しわなど）を利用するようにしてもよい。
【００２２】
マーカーのテンプレートと画像中のマーカーとの対応点を見つけるために、下記の相関係数によるマッチング処理を行う。
【００２３】
【数１】
2005069734.tif 000003
物体の対応点については、現時点では手動で求めている。なお、対象とする物体には立方体を用いている。
【００２４】
ステレオ計測処理で求めた指の２箇所の３次元座標（Ｘ1 ，Ｙ1 ，Ｚ1 ），（Ｘ2 ，Ｙ2 ，Ｚ2 ）に直線をあてはめ、この直線と物体平面との交点を求める。対象とする平面を法線ベクトルρ0 、空間座標原点と平面の距離をρで表すと、平面方程式は、以下のように表される。
【００２５】
【数２】
2005069734.tif 000004
また、指の直線ベクトルは、
【００２６】
【数３】
2005069734.tif 000005
と表される（図１参照）。これを指さしベクトルと呼ぶ。上記式（２），（３）より、
【００２７】
【数４】
2005069734.tif 000006
2005069734.tif 000007
【００２８】
【数５】
2005069734.tif 000008
これらの処理による結果を以下に示す。
【００２９】
図３に探索によりマーカー１，２を抽出した状況を示す。これらの点についてステレオ計測により３次元座標を求め、２点を通る直線の方程式を求める。図４に示すように、線分は物体３と交差した位置で止まっているので、離れた場所にある物体３の方向と位置が推定された。これより、立体の形状復元されるべき物体３の方向が推定されたと考えられる。
【００３０】
（２）空間座標の精度
指の方向を決める３次元座標が正しく再現できているかどうか確かめる実験を行った。実験は指に見立てたマーカーをつけた棒状の物体を三脚に固定し、垂直方向は５°ずつ、水平方向に１０°ずつ回転させ、実測による角度の値と計算された角度の値が一致するかどうかを確かめた。画像はステレオカメラで撮影されたものを使用する。両眼立体視の対応点はマーカーを頼りに探索し、指の角度は再現された２点の３次元座標（Ｘ1 ，Ｙ1 ，Ｚ1 ），（Ｘ2 ，Ｙ2 ，Ｚ2 ）から求める。垂直方向の角度は、
【００３１】
【数６】
2005069734.tif 000009
水平方向の角度は、
【００３２】
【数７】
2005069734.tif 000010
によって計算する。実測値と計算値を比較したグラフを図５，６と表１，２に示す。これらの図において、ａは実測値、ｂは計算値（理想値）を示している。
【００３３】
【表１】
2005069734.tif 000011
【００３４】
【表２】
2005069734.tif 000012
この実験から、垂直方向の角度及び水平方向の角度ともに実測値と計算値は極めて近似していることがわかる。
【００３５】
（３）指の対応点の自動検出
図７は本発明の実施例を示す指の対応点の自動検出方法の説明図である。この図において、図７（ａ）は原画像（手振り前）、図７（ｂ）は原画像（手振り後）、図７（ｃ）はフレーム間差分（数フレーム前の画像との差分を出力する処理であり、この例では１フレーム前の画像との差分を出力とする。図７（ｄ）は手存在候補領域、図７（ｅ）は手領域の抽出、図７（ｆ）は手領域の二値化〔デジタル画像（モノクロ画像）において、濃度値がある閾値以上であれば白、それ以外は黒い数値を与える〕、図７（ｇ）は手の平領域の抽出、図７（ｈ）は指領域の抽出をそれぞれ示している。
【００３６】
まず、画像中で手の領域が空間のどこにあるかを探索するために、肌色部分の抽出を行う。この時、顔などその他の肌の部分が写っていたり、背景に段ボールなど似た色があると一緒に抽出されてしまう。そこで、予め手があると考えられる部分を抽出する。背景に動きがないことを前提として手だけを動かし、〔図７（ｂ）〕、フレーム間差分〔図７（ｃ）〕、移動領域が大きい部分を手の存在候補領域とする〔図７（ｄ）〕。さらに、手の存在候補領域の肌色部分を手の領域として抽出する〔図７（ｅ）〕。
【００３７】
次に、手の領域から指だけを抜き出す。
【００３８】
まず、画像の二値化〔図７（ｆ）〕を行った後、指を手の平から伸びる細い棒状のものと考え、収縮・膨張処理を加えると指だけをカットした手の平を抽出した図になる〔図７（ｇ）〕。手の領域を示す図７（ｅ）から手の平を抽出した図７（ｇ）との差分をとると指の領域だけが残り〔図７（ｈ）〕、手の領域から指の領域だけを抜き出すことができる。
【００３９】
以下に、予備実験的な図を示す。
【００４０】
実際の指さし行為に必要な指は一本だけを想定している。このような方法で自動的に対応点を求める。
【００４１】
（４）実験
上記（１）の節で求めた指さしベクトルの妥当性を物体平面との交点を求めることによって示す。まず、対象とする平面上の３点を画像上に指示し、これらの３次元座標をステレオ法によって求める。さらに、下記（８）式によって単位法線ベクトルρ0 を計算する。
【００４２】
【数８】
2005069734.tif 000013
また、平面方程式を下記式（９）のように表す。
【００４３】
【数９】
2005069734.tif 000014
2005069734.tif 000015
【００４４】
このような平面の上記式（９）を上記式（３）に代入すると、交点について、ｔが計算できる。
【００４５】
【数１０】
2005069734.tif 000016
2005069734.tif 000017
【００４６】
以上のようにして、ステレオカメラの前に置かれている物体を指でさし、その物体平面との交点を求め、その物体が何かを応答させる実験を行ったところ、実験では６個の物体を区別して指示できた。
【００４７】
本発明によれば、指で指示した物体を認識し、計算機がそれが何かについて応答することができるようになった。しかし、自分では求める物体を正しく指差したつもりでも、実際にはかなりずれていることがあり、ピンポイントで指示することは困難である。指と視線位置のずれの影響や指が反ってしまっているなど様々な要因が影響すると考えられるが、これを避けるためには、まず、真っ直ぐピンポイントで教示するだけでなく、目的の物体がある範囲を指定するように指を動かす。また、人間から一方的に物体の指示を行うのではなく、機械の方からも“これですか”などと確認を行い、相互に対話をとりながら実際の対話に近づけることで解消できると考えられる。
【００４８】
物体がどの位置にどのような姿勢で置かれているかを知ることは、ロボットの作業において重要である。作業環境にある物体そのものの教示は、ＣＡＤモデルなどで予め計算機内に記憶されているモデルと照合させることで可能であるが、姿勢を決定するためには、モデルのどの面が作業空間のどこにあるかを教示しなければならない。ここで面を教示する手段として指さしを適用することが考えられる。このように特別な装置を必要とせず、なるべく自由にポインティングできるようなシステムへの様々な応用が考えられる。
【００４９】
なお、上記実施例では、指に付けるマーカーの３次元位置検出にステレオ法を用いたが、光投影方式の位置検出やレーザ距離計測（例、ＥＲＩＭセンサ）を用いることも可能である。
【００５０】
また、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【産業上の利用可能性】
【００５１】
本発明の指さし行為による物体の空間位置の教示方法は、計算機の作業空間に置かれた物体の位置・姿勢を面ベースによって決定し、面の教示に指差しを適用する。特に、様々な物体の空間位置のロボットへの教示方法に適している。
【図面の簡単な説明】
【００５２】
【図１】本発明にかかる指さしによる直線と物体の平面の交点を示す図である。
【図２】本発明にかかる法線ベクトルの説明図である。
【図３】本発明にかかる対応点の検出例を示す図である。
【図４】本発明にかかる直線と物体平面の交点探索例を示す図である。
【図５】本発明にかかる垂直方向の角度の実測値と計算値を示す図である。
【図６】本発明にかかる水平方向の角度の実測値と計算値を示す図である。
【図７】本発明の実施例を示す指の対応点の自動検出方法の説明図である。
【符号の説明】
【００５３】
１，２    マーカー
３    物体
【図１】
2005069734.tif 000018
【図２】
2005069734.tif 000019
【図３】
2005069734.tif 000020
【図４】
2005069734.tif 000021
【図５】
2005069734.tif 000022
【図６】
2005069734.tif 000023
【図７】
2005069734.tif 000024