【手続補正書】
【提出日】平成16年10月13日(2004.10.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した画像から人物を検出し、該人物が指示する位置を検出する指示位置検出装置において、
前記画像に基づいて少なくとも距離情報を含む前記人物の頭部位置を検出する手段と、
前記画像に基づいて少なくとも距離情報を含む前記人物の手の位置を検出する手段と、
前記検出された手の位置に基づいて手先の位置および手の向きを算出する手段と、
前記検出された頭部位置と前記検出された手先の位置及び手の向きに基づいて、人物が指示する方向を検出する手段を備え、
前記検出された人物が指示する方向に基づいて指示する位置を検出するようにしたことを特徴とする指示位置検出装置。
【請求項２】
前記検出された頭部位置に基づいて目の位置を算出する手段をさらに備え、前記人物が指示する方向を検出する手段は、前記目の位置と手先の位置及び手の向きに基づいて人物が指示する方向を検出することを特徴とする請求項１に記載の指示位置検出装置。
【請求項３】
前記手の位置を検出する手段は、前記手の位置に基づいて画像中に所定の探索領域を設定する手段をさらに備えたことを特徴とする請求項１に記載の指示位置検出装置。
【請求項４】
前記探索領域内に存在する手を構成する画素データの分布に基づいて手の向きを検出するようにしたことを特徴とする請求項３に記載の指示位置検出装置。
【請求項５】
前記検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出することを特徴とする請求項１または３に記載の指示位置検出装置。
【請求項６】
請求項１ないし５のいずれかに記載の指示位置検出装置を備えた自律ロボット。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、複数のカメラで撮影した画像から人物を検出し、該人物が指示する位置を検出する指示位置検出装置において、前記画像に基づいて少なくとも距離情報を含む前記人物の頭部位置を検出する手段と、前記画像に基づいて少なくとも距離情報を含む前記人物の手の位置を検出する手段と、前記検出された手の位置に基づいて手先の位置および手の向きを算出する手段と、前記検出された頭部位置と前記検出された手先の位置及び手の向きに基づいて、人物が指示する方向を検出する手段を備え、前記検出された人物が指示する方向に基づいて指示する位置を検出するようにしたことを特徴とする。
この構成によれば、距離情報を含む手の位置から手の向きと手先位置を検出するともに、距離情報を含む人物の頭の位置を検出し、検出された頭部位置と手先の位置と手の向きに基づいて、人物が指示する方向を検出するようにし、この方向から指示する位置を検出するようにしたため、精度良く指示位置を検出することができる。また、手の向きに基づいて指示位置を検出するようにしたため、腕を曲げても精度良く指示位置の検出が可能となる。さらに、距離情報を含む位置に基づいて指示位置を検出するようにしたため、検出時のカメラの設置位置や背景の制限を無くすことができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
請求項２に記載の発明は、前記検出された頭部位置に基づいて目の位置を算出する手段をさらに備え、前記人物が指示する方向を検出する手段は、前記目の位置と手先の位置及び手の向きに基づいて人物が指示する方向を検出することを特徴とする。
この構成によれば、目の位置と手先の位置と手の向きに基づいて人物が指示する方向を検出するようにしたため、人物が指示する位置をさらに高精度に検出することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項３に記載の発明は、前記手の位置を検出する手段は、前記手の位置に基づいて画像中に所定の探索領域を設定する手段をさらに備えたことを特徴とする。
この構成によれば、手の位置に基づいて画像中に所定の探索領域を設定するようにしたため、手先の位置及び手の向きを検出する速度を向上することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項４に記載の発明は、前記探索領域内に存在する手を構成する画素データの分布に基づいて手の向きを検出するようにしたことを特徴とする。
この構成によれば、探索領域内に存在する手を構成する画素データの分布に基づいて手の向きを検出するようにしたため、複雑な処理を用いることなく演算のみによって手の向きを検出することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
次に、手位置抽出部２５は、動的輪郭抽出で抽出された輪郭内における手の位置を抽出する（ステップＳ３）。ここで、図４を参照して、手位置抽出動作を説明する。手位置抽出部２５は、頭位置座標と左右の手の届く範囲に基づいて手の探索領域を設定する（ステップＳ１０）。続いて、手位置抽出部２５は、先に設定した手の探索領域内に存在する動的輪郭抽出で抽出された輪郭内の平均距離を求める（ステップＳ１１）。そして、手位置抽出部２５は、ここで求めた平均距離が動的輪郭全体の平均距離±α内に収まっていれば、この輪郭を手と見なす判定をする（ステップＳ１２）。ここで、αは腕の長さに相当する値に設定する。ここで、抽出された手位置の座標は、手先位置抽出部２６へ通知される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
次に、手先位置抽出部２６は、取得した手位置の座標値Ｐarm（図１１（ａ））を中心点とする探索円を設定する。この探索円の直径は、腕より小さく、拳（掌）より大きくなるように設定する。例えば、半径１２ｃｍと予め決めておき、手位置の座標値Ｐarmに基づき、カメラ１との距離を考慮して、画像上における探索円の大きさを決定して２次元画像上に設定する（図１１（ｂ））。続いて、手先位置抽出部２６は、探索円内に存在する手の画素を抽出する。この抽出処理によって、各画素の３次元空間上の座標値が得られることとなる。そして、指示方向算出部２７は、得られた複数の３次元座標値を用いて主成分分析の固有値解析法により手の主軸に相当する直線（図１１（ｃ）に示す符号Ｌ）を求める（ステップＳ５２）。この直線は、３次元空間上の直線となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、距離情報を含む手の位置から手の向きと手先位置を検出するともに、距離情報を含む人物の頭の位置を検出し、検出された頭部位置と手先の位置と手の向きに基づいて、人物が指示する方向を検出するようにし、この方向から指示する位置を検出するようにしたため、人物の意図する指示位置を高精度に検出することができるという効果が得られる。また、手の向きに基づいて指示位置を検出するようにしたため、腕を曲げても精度良く指示位置の検出が可能になるという効果が得られる。さらに、距離情報を含む位置に基づいて指示位置を検出するようにしたため、検出時のカメラの設置位置や背景の制限を無くすことができるという効果が得られる。
また、請求項２に記載の発明によれば、目の位置と手先の位置と手の向きに基づいて人物が指示する方向を検出するようにしたため、人物が指示する位置をさらに高精度に検出することができるという効果が得られる。
また、請求項３に記載の発明によれば、手の位置に基づいて画像中に所定の探索領域を設定するようにしたため、手先の位置及び手の向きを検出する速度を向上することができるという効果が得られる。
また、請求項４に記載の発明によれば、探索領域内に存在する手を構成する画素データの分布に基づいて手の向きを検出するようにしたため、複雑な処理を用いることなく演算のみによって手の向きを検出することができるという効果が得られる。
また、請求項５に記載の発明によれば、検出された人物が指示する方向と画像中に存在する所定の物体との交点を算出し、指示する位置を検出するようにしたため、床や壁などを指差した場合においても簡単な演算で位置の検出をすることができるという効果が得られる。
また、請求項６に記載の発明によれば、指示位置を高精度に検出することができる指示位置検出装置を自律ロボットに備えたため、高度なヒューマン・ロボットインタフェースを実現することができるという効果が得られる。