(57)【要約】【課題】指示する人物が自然な状態で指示動作をすることができるとともに、精度の高い検出を行うことが可能な指示位置検出装置を提供する。【解決手段】複数のカメラで撮影した画像から人物を検出し、該人物が指示する位置を検出する指示位置検出装置において、画像に基づいて少なくとも距離情報を含む人物の頭部位置を検出する手段と、画像に基づいて少なくとも距離情報を含む人物の手の位置を検出する手段と、検出された手の位置に基づいて手先の位置および手の主軸を算出する手段と、検出された頭部位置と検出された手先の位置及び手の主軸に基づいて、人物が指示する方向を検出する手段を備え、検出された人物が指示する方向に基づいて指示する位置を検出するようにしたことを特徴とする。【選択図】　　図１
2004094288.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した画像から人物を検出し、該人物が指示する位置を検出する指示位置検出装置において、
前記画像に基づいて少なくとも距離情報を含む前記人物の頭部位置を検出する手段と、
前記画像に基づいて少なくとも距離情報を含む前記人物の手の位置を検出する手段と、
前記検出された手の位置に基づいて手先の位置および手の主軸を算出する手段と、
前記検出された頭部位置と前記検出された手先の位置及び手の主軸に基づいて、人物が指示する方向を検出する手段を備え、
前記検出された人物が指示する方向に基づいて指示する位置を検出するようにしたことを特徴とする指示位置検出装置。
【請求項２】
前記検出された頭部位置に基づいて目の位置を算出する手段をさらに備え、前記人物が指示する方向を検出する手段は、前記目の位置と手先の位置及び手の主軸に基づいて人物が指示する方向を検出することを特徴とする請求項１に記載の指示位置検出装置。
【請求項３】
前記手の位置を検出する手段は、前記手の位置に基づいて画像中に所定の探索領域を設定する手段をさらに備えたことを特徴とする請求項１に記載の指示位置検出装置。
【請求項４】
前記探索領域内に存在する手を構成する画素データの分布に基づいて手の主軸を検出するようにしたことを特徴とする請求項３に記載の指示位置検出装置。
【請求項５】
前記検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出することを特徴とする請求項１または３に記載の指示位置検出装置。
【請求項６】
請求項１ないし５のいずれかに記載の指示位置検出装置を備えた自律ロボット。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を使用して人間の姿勢を認識することにより人間が出す指示位置を検出する指示位置検出装置及び自律ロボットに関する。
【０００２】
【従来の技術】
従来から人間が発する音声指示を音声認識することにより、自己に対する指示を認識して行動を起こす自律ロボットが知られている。これは、自律ロボットに対して指示する場合において、指示する者は特別な装置を用いることなく指示を与えることができるという特徴を有している。
ところで、音声による指示系統は、騒音が多い場所では音声認識率が低下するため、指示を正確に伝達することができないという問題を有している。さらに、音声認識は、認識率を向上させるためには音声を発する人物の音声を予め登録する必要があり、誰でも指示を与えることができるわけではない。
【０００３】
このような問題を解決するために、画像情報を用いて人物の身体姿勢を認識し、その姿勢が意味する指示を認識する手法が試みられている。例えば、電気学会論文誌Ｃ　電子・情報・システム部門誌Ｖｏｌ．１２１−Ｃ（２００１．９）ｐ１３８８−ｐ１３９４「マルチカメラを用いた全方位ポインティングジェスチャの方向推定」（以下、先行技術１と称する）に記載されたポインティングジェスチャの方向推定方法が知られている。この方法は、まず、複数のカメラで人物を撮影し得られた画像から顔領域抽出を行い、顔向き推定結果に基づき正面顔を検出し、さらに眼部位置を特定する。次に、得られた画像から手領域抽出を行い、この手領域の端部を指先位置として特定する。そして、ここで得られた眼部と指先の空間位置を求め、この２点を結んだ延長線上をポインティング方向として推定するものである。また、電気学会論文誌Ｃ　電子・情報・システム部門誌Ｖｏｌ．１２１−Ｃ（２００１．９）ｐ１４６４−ｐ１４７０「実空間にマークを投影するインタラクティブハンドポインタの構成」（以下、先行技術２と称する）に記載されたインタラクティブハンドポインタの方法が知られている。この方法は、単純な背景下において指示を出す人物の手をカメラで撮影し得られた画像と予め用意された指先のテンプレート画像とのブロックマッチングによって得られた指先位置と、この位置から一定領域内にある指の付け根の中心位置とを結ぶ直線を指差し方向とするものである。
これらの方法によれば、指示を出す人物の指先が指している方向の物体を認識して、ロボットが次の動作を起こすなどのヒューマン・ロボットインタフェースとして利用可能である。
【０００４】
【発明が解決しようとする課題】
しかしながら、先行技術１のように、頭と手先を結ぶ仮想の直線の延長線に基づいて指示位置とする方法は、指示対象までの距離が長くなるにしたがって検出位置の偏差が大きくなり、この偏差を小さくするためには特別な指示方法をしなければならないという問題がある。また、この方法は、画像から抽出した手領域の重心位置から最も離れた点を指先位置としているため、腕を曲げて指示をすると全く異なった位置を示したものと認識されてしまうという問題がある。
また、先行技術２にように、単純背景下において指先とその向きを検出する方法は、既知の背景である必要があるとともに、カメラの設置場所についても制限があるという問題がある。また、この方法は検出範囲が狭く近距離の位置を指差す以外は偏差が大きくなるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、自然な状態で指示動作をすることができ、かつ精度の高い指示位置検出を行うことが可能な指示位置検出装置及び指示位置検出結果に基づいて行動を起こす自律ロボットを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、複数のカメラで撮影した画像から人物を検出し、該人物が指示する位置を検出する指示位置検出装置において、前記画像に基づいて少なくとも距離情報を含む前記人物の頭部位置を検出する手段と、前記画像に基づいて少なくとも距離情報を含む前記人物の手の位置を検出する手段と、前記検出された手の位置に基づいて手先の位置および手の主軸を算出する手段と、前記検出された頭部位置と前記検出された手先の位置及び手の主軸に基づいて、人物が指示する方向を検出する手段を備え、前記検出された人物が指示する方向に基づいて指示する位置を検出するようにしたことを特徴とする。
この構成によれば、距離情報を含む手の位置から手の主軸と手先位置を検出するともに、距離情報を含む人物の頭の位置を検出し、検出された頭部位置と手先の位置と手の主軸に基づいて、人物が指示する方向を検出するようにし、この方向から指示する位置を検出するようにしたため、精度良く指示位置を検出することができる。また、手の主軸に基づいて指示位置を検出するようにしたため、腕を曲げても精度良く指示位置の検出が可能となる。さらに、距離情報を含む位置に基づいて指示位置を検出するようにしたため、検出時のカメラの設置位置や背景の制限を無くすことができる。
【０００７】
請求項２に記載の発明は、前記検出された頭部位置に基づいて目の位置を算出する手段をさらに備え、前記人物が指示する方向を検出する手段は、前記目の位置と手先の位置及び手の主軸に基づいて人物が指示する方向を検出することを特徴とする。
この構成によれば、目の位置と手先の位置と手の主軸に基づいて人物が指示する方向を検出するようにしたため、人物が指示する位置をさらに高精度に検出することができる。
【０００８】
請求項３に記載の発明は、前記手の位置を検出する手段は、前記手の位置に基づいて画像中に所定の探索領域を設定する手段をさらに備えたことを特徴とする。
この構成によれば、手の位置に基づいて画像中に所定の探索領域を設定するようにしたため、手先の位置及び手の主軸を検出する速度を向上することができる。
【０００９】
請求項４に記載の発明は、前記探索領域内に存在する手を構成する画素データの分布に基づいて手の主軸を検出するようにしたことを特徴とする。
この構成によれば、探索領域内に存在する手を構成する画素データの分布に基づいて手の主軸を検出するようにしたため、複雑な処理を用いることなく演算のみによって手の主軸を検出することができる。
【００１０】
請求項５に記載の発明は、前記検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出することを特徴とする。この構成によれば、検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出するようにしたため、床や壁などを指差した場合においても簡単な演算で位置の検出をすることができる。
【００１１】
請求項６に記載の発明は、自律ロボットに請求項１ないし５のいずれかに記載の指示位置検出装置を備えたことを特徴とする。
この構成によれば、指示位置を高精度に検出することができる指示位置検出装置を自律ロボットに備えたため、高度なヒューマン・ロボットインタフェースを実現することができる。
【００１２】
【発明の実施の形態】
以下、本発明の一実施形態による指示位置検出装置及び自律ロボットを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。符号１は、２台のカラーＣＣＤを用いたステレオカメラ（以下、単にカメラと称する）である。符号２は、カメラ１で得られた画像に基づいて人物の指示を認識する指示位置検出部である。符号３は、人物が発する音声を集音するマイクである。符号４は、マイク３で集音した音声を認識する音声認識部である。符号５は、指示位置検出部２における指示位置検出結果に基づいて、自己（自律ロボット）の行動を起こすための処理を行う応答処理部である。符号６は、応答処理部５の出力に基づいて自律ロボットの動作（脚、頭部、腕等を動かす）を制御する行動制御部である。
【００１３】
符号２１は、カメラ１で得られた画像に対して、後の処理を簡単にするための前処理を施す前処理部であり、カメラ１から得られる２枚の画像に基づいて距離画像を求める処理と、カメラ１から得られるいずれかの画像からエッジ抽出と肌色領域の抽出を行う処理とを行う。符号２２は、前処理が施された画像から動きのある移動体を抽出する動的輪郭抽出部である。符号２３は、動的輪郭抽出部２２における輪郭抽出結果に基づいて人物の頭位置（頭部の上端）を抽出する頭位置抽出部である。符号２４は、頭位置抽出部２３における頭位置抽出結果に基づいて人物の顔位置を抽出する顔位置抽出部である。符号２５は、動的輪郭抽出部２２における輪郭抽出結果に基づいて人物の手（掌及び腕を含む）を抽出する手位置抽出部である。符号２６は、手位置抽出部２５における手位置抽出結果に基づいて手先の位置を抽出する手先位置抽出部である。符号２７は、頭位置抽出部２３、顔位置抽出部２４、手位置抽出部２５、手先位置抽出部２６のそれぞれの出力結果に基づいて、人物の指示を認識する指示方向算出部である。指示方向算出部２７は、得られた処理結果に基づいて、人物が指差している方向を検出して、この方向を応答処理部５へ出力する。
【００１４】
ここで、自律ロボットＲの構成を簡単に説明する。図１４は、二足歩行の人間型自律ロボットＲの外観を示す説明図である。この図において、符号Ｒ１は、指示位置検出部２、応答処理部５、行動制御部６が搭載される制御装置搭載部である。符号Ｒ２は、頭部であり、カメラ１、マイク４、スピーカ５が備えられる。符号Ｒ３は腕部であり、符号Ｒ４は脚部である。頭部Ｒ２、腕部Ｒ３、脚部Ｒ４の動作は、行動制御部７によって制御される。
【００１５】
＜第１の指示位置検出動作＞
次に、図１に示す指示位置検出部２の動作を説明する。初めに、図２を参照して、第１の指示位置検出動作を説明する。まず、前処理部２１は、カメラ１で得られる２枚の画像から距離画像を生成して、内部に保持する。続いて、前処理部２１は、２台のカメラ１のうち基準カメラとして予め決められている一方のカメラの基準画像からエッジ抽出と肌色領域抽出を行い、抽出結果を内部に保持する。
【００１６】
次に、動的輪郭抽出部２２は、スネーク手法を用いて動的な輪郭抽出を行い、人物である可能性が高い部分の輪郭を抽出して（ステップＳ１）出力する。スネーク手法は、スネーク（ｓｎａｋｅｓ）と呼ばれる動的な閉曲線による輪郭線モデルを用いることが特徴で、画像中で物体の形状が時間的に変化していても対象物体の形状の抽出が可能であるという特徴を有している。このスネークは、対象物体の形状とスネークの形状が一致したときにエネルギーが最小になるように、その位置と形状によりエネルギー関数を設定する。具体的には曲線の滑らかさによる内部的なエネルギー、曲線と対象物体の輪郭との誤差のエネルギー、外的な拘束力によるエネルギーなどの和によって定義される。画像中の対象物体の輪郭に対して、エネルギーが局所最小解に到達するまで、位置と形状を動的に調整していくことによって、輪郭形状の抽出問題がエネルギー最小化という最適化問題として扱うことが可能となる。これによって、画像中における人物である可能性が高い領域を得ることができる。
【００１７】
次に、頭位置抽出部２３は、動的輪郭抽出部２２の出力に基づいて、頭位置を抽出する（ステップＳ２）。ここで、頭位置を抽出する動作を図３、図９（ａ）を参照して説明する。図９（ａ）において、符号Ａは、動的輪郭抽出部２２の出力である動的輪郭である。まず、この動的輪郭で囲まれる領域の重心位置（１）を求め（ステップＳ６）、続いて、輪郭内の平均距離を距離画像を参照して求める（ステップＳ７）。次に、頭位置探索領域を設定する（ステップＳ８）。これは、輪郭重心のｘ座標に予め決められた人間の平均肩幅Ｗの１／２を加算と減算して得られるｘ座標値を求め、この２つのｘ座標値を通る垂直線（符号イ、ロ）を求める（２）。そして、２つの垂直線に挟まれた領域を探索領域とする。次に、この探索領域内の最上端を頭位置（３）とする（ステップＳ９）。この頭位置座標は指示方向算出部２７と顔位置抽出部２４へ通知される。
【００１８】
次に、手位置抽出部２５は、動的輪郭抽出で抽出された輪郭内における手の位置を抽出する（ステップＳ３）。ここで、図４を参照して、手位置抽出動作を説明する。手位置抽出部２５は、頭位置座標と左右の手の届く範囲に基づいて手の探索領域を設定する（ステップＳ１０）。続いて、手位置抽出部２５は、先に設定した手の探索領域内に存在する動的輪郭抽出で抽出された輪郭内の平均距離を求める（ステップＳ１１）。そして、手位置抽出部２５は、ここで求めた平均距離が動的輪郭全体の平均距離±α内に収まっていれば、この輪郭を手と見なす判定をする（ステップＳ１２）。ここで、αは腕の長さである。ここで、抽出された手位置の座標は、手先位置抽出部２６へ通知される。
【００１９】
次に、指示方向算出部２７は、頭位置抽出部２３、顔位置抽出部２４及び手先位置抽出部２６のそれぞれから通知された頭位置及び顔位置、手先位置に基づいて指示方向の判定を行う（ステップＳ４）。
【００２０】
ここで、図１０〜１３を参照して、ステップＳ４において頭位置抽出部２３、顔位置抽出部２４及び手先位置抽出部２６のそれぞれから通知された頭位置及び顔位置、手先位置に基づいて指示方向の判定を行うことにより、人物が指差している位置を検出する動作を説明する。図１０は、指示方向算出部２７の動作を示すフローチャートである。図１１〜１３は、指示方向算出動作を示す説明図である。
まず、顔位置抽出部２４は、頭位置抽出部２３より指示を出す人物の頭位置情報を取得する。また、手先位置抽出部２６は、指示を出す人物の手位置情報を取得する（ステップＳ５１）。ここで得られる情報は、頭位置の座標値、顔の中心部座標値と顔部分の肌色領域面積と髪部分の黒色領域面積、手位置の座標値である。
【００２１】
次に、手先位置抽出部２６は、取得した手位置の座標値Ｐａｒｍ（図１１（ａ））を中心点とする探索円を設定する。この探索円の直径は、腕より小さく、手（掌）より大きくなるように設定する。例えば、半径１２ｃｍと予め決めておき、手位置の座標値Ｐａｒｍに基づき、カメラ１との距離を考慮して、画像上における探索円の大きさを決定して２次元画像上に設定する（図１１（ｂ））。続いて、手先位置抽出部２６は、探索円内に存在する手の画素を抽出する。この抽出処理によって、各画素の３次元空間上の座標値が得られることとなる。そして、指示方向算出部２７は、得られた複数の３次元座標値を用いて主成分分析の固有値解析法により手の主軸に相当する直線（図１１（ｃ）に示す符号Ｌ）を求める（ステップＳ５２）。この直線は、３次元空間上の直線となる。
【００２２】
次に、手先位置抽出部２６は、求めた主軸と探索円内に存在する手を構成する画素の座標値より、探索円内存在する手の両端（図１１（ｄ）に示す符号Ｅ１、Ｅ２）を求める（ステップＳ５３）。
【００２３】
次に、先に求めた探索円内存在する手の両端のうち、どちらが手の先端であるかを判定し、手先位置Ｐｈａｎｄと手の方向ベクトルＶａｒｍ（図１１（ｅ））を求める（ステップＳ５４）。手の先端であるか否かの判定は、求めた両端に半径２０ｃｍ探索円を設定し、２つの探索円内に手の部分に相当する画素が存在するか否かで判定する。図１１（ｅ）の例では、探索円Ｃ１内には、図１１（ｂ）の探索円で抽出した手の部分のみが存在するのに対して、探索円Ｃ２内には、図１１（ｂ）の探索円で抽出した手の部分以外の腕の部分が含まれているため、探索円Ｃ１側の端点Ｅ１が手先であることを判定することができる。
【００２４】
これまでの動作によって、指示を出す人物の手先位置と手の方向ベクトルが求められたこととなり、ここで得られた結果は、指示方向算出部２７へ出力する。
【００２５】
次に、顔位置抽出部２４は、顔部分の肌色領域面積と髪部分の黒色領域面積との比によって顔の向きを求め、さらに、目の位置を求める（ステップＳ５５）。目の位置は、以下のようにして求める。まず、顔の中心部座標値Ｐｈｅａｄのｘ成分の座標値（カメラ１からの距離方向）のみに８ｃｍを加算し、得られた座標値Ｐ’ｈｅａｄを中心として球面を定義し、仮想の頭とする。そして、球面の中心座標Ｐ’ｈｅａｄと先に求めた手先位置座標Ｐｈａｎｄとを結ぶ線分と仮想の頭である球面との交点Ｃのｘ座標値の垂直面を定義し、交点Ｃのｚ座標を垂直に球面の中心から＋１５°回転した位置を目の位置Ｐｅｙｅとする（図１２）。この目の位置Ｐｅｙｅは、指示方向算出部２７へ出力する。
【００２６】
次に、指示方向算出部２７は、目の位置Ｐｅｙｅと手先位置Ｐｈａｎｄとを結ぶベクトルＶｅｙ＿ｈａを求める（ステップＳ５６）。続いて、指示方向算出部２７は、（１）式によって、目の位置Ｐｅｙｅと手先位置Ｐｈａｎｄとを結ぶベクトルＶｅｙ＿ｈａと、手の方向ベクトルＶａｒｍとを正規化して、合成ベクトルＶｐｏを求める（ステップＳ５７）。
【数１】
2004094288.tif 000003
【００２７】
次に、指示方向算出部２７は、直前の６フレーム以上の画像から取得したＶａｒｍとＰａｒｍとから、平均ベクトルを求め、この平均ベクトルとの角度差が最小と最大であるものを取り除いたもののみから再び平均ベクトルを求め、この平均ベクトルとの角度差が所定値以内であるものが４フレーム以上得られたか否かを判定し（ステップＳ５８）、この条件を満たすまで処理を繰り返す。
【００２８】
次に、指示方向算出部２７は、合成ベクトルＶｐｏを延長して、物体との交点を求める（ステップＳ５９）。この交点が、指示を出す人物が指差している位置に相当する。このとき、物体を床面とすると、指示を出した人物の足元に基づいて床面高さを求めるか、カメラ１の位置、パン角及びチルト角に基づいて床面の高さを求めるようにすれば、合成ベクトルＶｐｏと床面の交点Ｆは算術演算で求めることが可能である（図１３）。
【００２９】
＜第２の指示位置検出動作＞
次に、図５を参照して、第２の指示位置検出動作を説明する。図５は、図２に示す手位置抽出（ステップＳ３）の動作を示す図であり、図４に示す第１の指示位置検出動作における手位置抽出動作に相当するものである。
まず、手位置抽出部２５は、頭位置座標と左右の手の届く範囲に基づいて手の探索領域を設定する（ステップＳ２１）。続いて、手位置抽出部２５は、前処理で得られた肌色領域と動的領域に基づいて、動的領域内の肌色領域を抽出する（ステップＳ２２）。次に、手位置抽出部２５は、距離画像を参照して、ここで得られた肌色領域の平均距離を求める（ステップＳ２３）。そして、手位置抽出部２５は、ここで求めた平均距離が動的輪郭全体の平均距離±α内に収まっていれば、この輪郭を手と見なす判定をする（ステップＳ２４）。ここで、αは腕の長さである。ここで、抽出された手位置の座標は指示方向算出部２７へ通知される。
第２の指示位置検出動作において、図５に示す手位置抽出動作以外は、第１の指示位置検出動作と同一である。
【００３０】
＜第３の指示位置検出動作＞
次に、図６、７、８を参照して第３の指示位置検出動作を説明する。まず、前処理部２１は、カメラ１で得られる２枚の画像から距離画像を生成して、内部に保持する。続いて、前処理部２１は、２台のカメラ１のうち基準カメラとして予め決められている一方のカメラの基準画像からエッジ抽出と肌色領域抽出を行い、抽出結果を内部に保持する。次に、動的輪郭抽出部２２は、スネーク手法を用いて動的な輪郭抽出を行い、人物である可能性が高い部分の輪郭を抽出して（ステップＳ３１）出力する。
【００３１】
次に、頭位置抽出部２３は、動的輪郭抽出部２２の出力に基づいて、頭位置を抽出する（ステップＳ３２）。ここでの動作は、第１の動作と同一であるので、詳細な説明を省略する。ここで抽出された頭位置座標は顔位置抽出部２４、指示方向算出部２７、手位置抽出部２５へそれぞれ通知される。
【００３２】
次に、顔位置抽出部２４は、人物の顔の中心点を抽出する（ステップＳ３３）。ここで、図７、９を参照して、顔の中心点を抽出する動作を説明する。まず、顔位置抽出部２４は、顔探索領域を設定する（ステップＳ３８）。この顔探索領域は、先に求めた頭位置の座標を参照して、頭位置を上端として予め決められている標準顔の大きさに基づく空間領域を論理的に定義することにより設定する。続いて、顔位置抽出部２４は、先に設定した顔探索領域内の肌色領域を抽出し、この肌色領域の中心を顔位置として抽出する（ステップＳ３９）。これによって図９（ｂ）に示す顔位置（４）が抽出されたこととなる。
【００３３】
次に、手位置抽出部２５、手先位置抽出部２６は、手位置と手先（手首より先の部分）を抽出する（ステップＳ３５）。ここで、図８を参照して、手位置抽出動作および手先抽出動作を説明する。手位置抽出部２５は、頭位置座標と左右の手の届く範囲に基づいて手の探索領域を設定する（ステップＳ４１）。続いて、手位置抽出部２５は、前処理で得られた肌色領域と動的領域に基づいて、動的領域内の肌色領域を抽出する（ステップＳ４２）。次に、手位置抽出部２５は、距離画像を参照して、ここで得られた肌色領域の平均距離を求める。そして、手位置抽出部２５は、ここで求めた平均距離が動的輪郭全体の平均距離±α内に収まっていれば、この輪郭を手と見なす判定をする（ステップＳ４３）。ここで、αは腕の長さである。
【００３４】
次に、手先位置抽出部２６は、ステップＳ４３において手と見なす輪郭の中心を基準として手先位置抽出用探索範囲を設定する（ステップＳ４４）。この探索範囲は、距離画像を参照して、人物の腕の長さを推定して設定する。続いて手先位置抽出部２６は、手先位置抽出用探索範囲内における肌色領域の輪郭の上下左右の端点を抽出する（ステップＳ４５）。そして、手位置抽出部２５は、得られた端点のうち顔の中心から最も遠い端点を手先位置として抽出する（ステップＳ４６）。この手先位置座標は、指示方向算出部２７へ通知される。
【００３５】
次に、指示方向算出部２７は、通知された頭位置、顔位置及び手先位置座標に基づいて指示方向を判定する（ステップＳ３５）。この指示方向判定処理動作は前述した動作と同一であるので、ここでは詳細な説明を省略する。
【００３６】
このように、指示位置検出を行う対象となる人物の抽出に動的輪郭抽出を適用するとともに、同時に距離画像を参照するようにしたため、複数の人物が視野内に存在する場合であっても指示位置検出を確実に行うことが可能となるとともに、抽出された輪郭情報から顔や手などの人物の特徴点を検出し、これらの特徴点の位置関係から人物が指差している位置を検出するようにしたため、信頼性が高くかつ高速処理が可能である指示位置検出を実現することができる。また、床面等の位置を正確に指示することができるため、自律ロボットに対して移動先を指示したり、床に落ちたものを拾うように指示したりすることが容易になる。
【００３７】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより指示位置検出処理及び応答処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、距離情報を含む手の位置から手の主軸と手先位置を検出するともに、距離情報を含む人物の頭の位置を検出し、検出された頭部位置と手先の位置と手の主軸に基づいて、人物が指示する方向を検出するようにし、この方向から指示する位置を検出するようにしたため、精度良く指示位置を検出することができるという効果が得られる。また、手の主軸に基づいて指示位置を検出するようにしたため、腕を曲げても精度良く指示位置の検出が可能になるという効果が得られる。さらに、距離情報を含む位置に基づいて指示位置を検出するようにしたため、検出時のカメラの設置位置や背景の制限を無くすことができるという効果が得られる。
また、請求項２に記載の発明によれば、目の位置と手先の位置と手の主軸に基づいて人物が指示する方向を検出するようにしたため、人物が指示する位置をさらに高精度に検出することができるという効果が得られる。
また、請求項３に記載の発明によれば、手の位置に基づいて画像中に所定の探索領域を設定するようにしたため、手先の位置及び手の主軸を検出する速度を向上することができるという効果が得られる。
また、請求項４に記載の発明によれば、探索領域内に存在する手を構成する画素データの分布に基づいて手の主軸を検出するようにしたため、複雑な処理を用いることなく演算のみによって手の主軸を検出することができるという効果が得られる。
また、請求項５に記載の発明によれば、検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出するようにしたため、床や壁などを指差した場合においても簡単な演算で位置の検出をすることができるという効果が得られる。
また、請求項６に記載の発明によれば、指示位置を高精度に検出することができる指示位置検出装置を自律ロボットに備えたため、高度なヒューマン・ロボットインタフェースを実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図３】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図４】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図５】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図６】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図７】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図８】図１に示す指示位置検出部２の動作を示すフローチャートである。
【図９】図１に示す指示位置検出部２の動作を示す説明図である。
【図１０】指示方向を算出する動作を示すフローチャートである。
【図１１】手先位置を算出する動作を示す説明図である。
【図１２】指差している方向を算出する動作を示す説明図である。
【図１３】指差している方向を算出する動作を示す説明図である。
【図１４】自律ロボットの外観を示す説明図である。
【符号の説明】
１・・・カメラ　　　　　　２・・・指示位置検出部
２１・・・前処理部　　　　２２・・・動的輪郭抽出部
２３・・・頭位置抽出部　　２４・・・顔位置抽出部
２５・・・手位置抽出部　　２６・・・手先位置抽出部
２７・・・指示方向算出部　５・・・応答処理部
６・・・行動制御部
【図１】
2004094288.tif 000004
【図２】
2004094288.tif 000005
【図３】
2004094288.tif 000006
【図４】
2004094288.tif 000007
【図５】
2004094288.tif 000008
【図６】
2004094288.tif 000009
【図７】
2004094288.tif 000010
【図８】
2004094288.tif 000011
【図９】
2004094288.tif 000012
【図１０】
2004094288.tif 000013
【図１１】
2004094288.tif 000014
【図１２】
2004094288.tif 000015
【図１３】
2004094288.tif 000016
【図１４】
2004094288.tif 000017