(57)【要約】【課題】複数の手形状の時系列の情報に基づいた手ジェスチャを高速で、かつ、正確に認識できるようにする。【解決手段】顔画像検出部２２は、入力画像より顔画像を検出する。姿勢推定部２３は、顔画像の位置より、人物の姿勢を推定する。手位置検出部２５は、推定された姿勢に基づいて、人物の手の位置を検出する。手画像抽出部２６は、検出された人物の手の位置の情報に基づいて、入力画像より人物の手画像を抽出する。手形状特定部２７は、手画像に基づいて、人物の手形状を特定する。手形状時系列記憶部２８は、特定された手形状を、手位置の情報に対応付けて時系列に記憶する。手ジェスチャ認識部２９は、記憶されている、手位置の情報に対応付けて、時系列に記憶されている手形状の情報に基づいて、手ジェスチャを認識する。本発明は、画像処理装置に適用することができる。【選択図】図１
2012098988.tif 000002
【特許請求の範囲】
【請求項１】
入力画像より顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、
前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、
前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、
前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、
前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、
前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識手段と
を含む画像処理装置。
【請求項２】
前記手ジェスチャの種別毎に、前記手の位置の情報に対応付けて、時系列に前記手の形状の情報を、記憶する手ジェスチャ記憶手段をさらに含み、
前記手ジェスチャ認識手段は、前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報と、前記手ジェスチャ記憶手段に、前記手ジェスチャ毎に、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報とを比較し、比較結果に基づいて、前記手ジェスチャを認識する
請求項１に記載の画像処理装置。
【請求項３】
前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報と、前記手ジェスチャ記憶手段に、前記手ジェスチャ毎に、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報との類似度を計算する類似度計算手段をさらに含み、
前記手ジェスチャ認識手段は、前記最も高い類似度となる手ジェスチャを認識結果とする
請求項２に記載の画像処理装置。
【請求項４】
前記手ジェスチャ認識手段は、前記最も高い類似度が所定の閾値よりも低い場合、認識結果となる手ジェスチャが存在しないものとみなす
請求項３に記載の画像処理装置。
【請求項５】
前記最も高い類似度が所定の閾値よりも低い場合、前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報を、所定の手ジェスチャに対応付けて、前記手ジェスチャ記憶手段に登録させる登録手段を含む
請求項３に記載の画像処理装置。
【請求項６】
入力画像より顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、
前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、
前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、
前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、
前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、
前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識手段と
を含む画像処理装置の画像処理方法であって、
前記顔画像検出手段における、入力画像より顔画像を検出する顔画像検出ステップと、
前記姿勢推定手段における、前記顔画像検出ステップの処理により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定ステップと、
前記手位置検出手段における、前記姿勢推定ステップの処理により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出ステップと、
前記手画像抽出手段における、前記手位置検出ステップの処理により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出ステップと、
前記手形状特定手段における、前記手画像抽出ステップの処理により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定ステップと、
前記手形状時系列記憶手段における、前記手形状特定ステップの処理により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶ステップと、
前記手ジェスチャ認識手段における、前記手形状時系列記憶ステップの処理により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識ステップと
を含む画像処理方法。
【請求項７】
入力画像より顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、
前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、
前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、
前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、
前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、
前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識手段と
を含む画像処理装置を制御するコンピュータに、
前記顔画像検出手段における、入力画像より顔画像を検出する顔画像検出ステップと、
前記姿勢推定手段における、前記顔画像検出ステップの処理により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定ステップと、
前記手位置検出手段における、前記姿勢推定ステップの処理により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出ステップと、
前記手画像抽出手段における、前記手位置検出ステップの処理により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出ステップと、
前記手形状特定手段における、前記手画像抽出ステップの処理により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定ステップと、
前記手形状時系列記憶手段における、前記手形状特定ステップの処理により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶ステップと、
前記手ジェスチャ認識手段における、前記手形状時系列記憶ステップの処理により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識ステップと
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、手ジェスチャを高速で、かつ、正確に認識できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像により人物の手のジェスチャを手ジェスチャとして認識する技術が一般に普及しつつある。
【０００３】
手ジェスチャを認識する技術としては、まず、手のみが撮像されている画像を用いるか、または、画像内における手の位置が指定されることにより、手のみが含まれている画像が抽出される。
【０００４】
そして、抽出された手のみが含まれている画像について、肌色情報、動き検出、およびパターンマッチングと言った手法により手ジェスチャが認識されていた（特許文献１乃至３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３３３６９０号公報
【特許文献２】特開２００７−５３８３１８号公報
【特許文献３】特開平０９−２０６４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１乃至３の技術では、予め手のみが含まれている画像を用いることが前提となるため、人体の全身が含まれている画像を、そのまま用いて手ジェスチャを認識することができなかった。
【０００７】
また、人体の全身が含まれている画像において、手のみが含まれた領域を検出するには、時間が掛かる上、大まかな手の位置の情報に基づいて手のみが含まれる領域を抽出するようにしても、抽出された手のみが含まれる領域の画像は、やはり大まかなものでしかないため、必ずしも手のみが含まれた領域の画像による認識ができない状態で、手ジェスチャを認識する必要があるため、ロバスト性が必ずしも高い認識結果とならなかった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、特に、人体の全身が含まれているような画像を用いて、高速で、かつ、正確に手ジェスチャを認識できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、入力画像より顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識手段とを含む。
【００１０】
前記手ジェスチャの種別毎に、前記手の位置の情報に対応付けて、時系列に前記手の形状の情報を、記憶する手ジェスチャ記憶手段をさらに含ませるようにすることができ、前記手ジェスチャ認識手段には、前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報と、前記手ジェスチャ記憶手段に、前記手ジェスチャ毎に、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報とを比較させ、比較結果に基づいて、前記手ジェスチャを認識させるようにすることができる。
【００１１】
前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報と、前記手ジェスチャ記憶手段に、手ジェスチャ毎に、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報との類似度を計算する類似度計算手段をさらに含ませるようにすることができ、前記手ジェスチャ認識手段には、前記最も高い類似度となる手ジェスチャを認識結果とさせるようにすることができる。
【００１２】
前記手ジェスチャ認識手段には、前記最も高い類似度が所定の閾値よりも低い場合、認識結果となる手ジェスチャが存在しないものとみなすようにさせることができる。
【００１３】
前記最も高い類似度が所定の閾値よりも低い場合、前記手形状時系列記憶手段に、前記手の位置の情報に対応付けられて、時系列に記憶されている前記手の形状の情報を、所定の手ジェスチャに対応付けて、前記手ジェスチャ記憶手段に登録させる登録手段を含ませるようにすることができる。
【００１４】
本発明の一側面の画像処理方法は、入力画像より顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識手段とを含む画像処理装置の画像処理方法であって、前記顔画像検出手段における、入力画像より顔画像を検出する顔画像検出ステップと、前記姿勢推定手段における、前記顔画像検出ステップの処理により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定ステップと、前記手位置検出手段における、前記姿勢推定ステップの処理により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出ステップと、前記手画像抽出手段における、前記手位置検出ステップの処理により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出ステップと、前記手形状特定手段における、前記手画像抽出ステップの処理により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定ステップと、前記手形状時系列記憶手段における、前記手形状特定ステップの処理により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶ステップと、前記手ジェスチャ認識手段における、前記手形状時系列記憶ステップの処理により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識ステップとを含む。
【００１５】
本発明の一側面のプログラムは、入力画像より顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定手段と、前記姿勢推定手段により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出手段と、前記手位置検出手段により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出手段と、前記手画像抽出手段により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定手段と、前記手形状特定手段により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶手段と、前記手形状時系列記憶手段により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャを手ジェスチャとして認識する手ジェスチャ認識手段とを含む画像処理装置を制御するコンピュータに、前記顔画像検出手段における、入力画像より顔画像を検出する顔画像検出ステップと、前記姿勢推定手段における、前記顔画像検出ステップの処理により検出された顔画像の位置より、前記入力画像における人物の姿勢を推定する姿勢推定ステップと、前記手位置検出手段における、前記姿勢推定ステップの処理により推定された姿勢に基づいて、前記人物の手の位置を検出する手位置検出ステップと、前記手画像抽出手段における、前記手位置検出ステップの処理により検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像を抽出する手画像抽出ステップと、前記手形状特定手段における、前記手画像抽出ステップの処理により抽出された手画像に基づいて、前記人物の手の形状を特定する手形状特定ステップと、前記手形状時系列記憶手段における、前記手形状特定ステップの処理により特定された手の形状を、前記手の位置の情報に対応付けて、時系列に記憶する手形状時系列記憶ステップと、前記手ジェスチャ認識手段における、前記手形状時系列記憶ステップの処理により記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャを認識する手ジェスチャ認識ステップとを含む処理を実行させる。
【００１６】
本発明の一側面においては、入力画像より顔画像が検出され、検出された顔画像の位置より、前記入力画像における人物の姿勢が推定され、推定された姿勢に基づいて、前記人物の手の位置が検出され、検出された前記人物の手の位置の情報に基づいて、前記入力画像より前記人物の手の画像が抽出され、抽出された手画像に基づいて、前記人物の手の形状が特定され、特定された手の形状が、前記手の位置の情報に対応付けて、時系列に記憶され、記憶されている、前記手の位置の情報に対応付けて、時系列に記憶されている前記手の形状の情報に基づいて、前記人物の手によるジェスチャである手ジェスチャが認識される。
【００１７】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００１８】
本発明の一側面によれば、手ジェスチャを高速で、かつ、正確に認識することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した手ジェスチャを認識する画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の手形状特定部の構成を説明する図である。
【図３】手ジェスチャ認識処理を説明するフローチャートである。
【図４】手ジェスチャ認識処理を説明する図である。
【図５】手ジェスチャ認識処理を説明する図である。
【図６】手ジェスチャ認識処理を説明する図である。
【図７】手形状特定処理を説明するフローチャートである。
【図８】手形状特定処理を説明する図である。
【図９】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２０】
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１１は、入力される動画像より、動画像内の被写体である人物の手ジェスチャを認識し、認識結果を出力する。
【００２１】
画像処理装置１１は、入力画像取得部２１、顔画像検出部２２、姿勢推定部２３、背景差分抽出部２４、手位置検出部２５、手画像抽出部２６、手形状特定部２７、および手形状時系列記憶部２８を備えている。さらに、画像処理装置１１は、手ジェスチャ認識部２９、手ジェスチャ記憶部３０、手ジェスチャ認識結果出力部３１、および表示部３２を備えている。
【００２２】
入力画像取得部２１は、動画像として順次入力されてくる画像をフレーム単位の画像として順次取得し、顔画像検出部２２、背景差分抽出部２４、および手画像抽出部２６に供給する。
【００２３】
顔画像検出部２２は、フレーム単位で供給されてくる画像毎に、顔画像を検出し、検出した顔画像、およびその位置情報を姿勢推定部２３に供給する。
【００２４】
姿勢推定部２３は、顔画像検出部２２より供給されてくる顔画像、および、その位置情報に基づいて、顔画像における顔の向きや大きさ、並びに位置から、検出された顔画像の人物の身体の姿勢を推定する。より具体的には、姿勢推定部２３は、顔画像における顔の向きや大きさに基づいて、身体の位置や大きさを特定すると共に、身体と顔との位置関係から推定される手の付け根、および、足の付け根となる位置を特定する。さらに、姿勢推定部２３は、手の付け根、および、足の付け根となる位置からの画像の連続性に基づいて、腕、および足の存在する範囲を特定し、顔、身体、腕、および足の存在範囲の情報に基づいて、顔画像の人物の姿勢を推定する。
【００２５】
背景差分抽出部２４は、姿勢推定部２３により推定された人体の姿勢の情報に基づいて、人体の顔画像、および身体からなる前景画像以外の背景画像を、入力画像から差分情報として削除することにより、前景画像である人体の身体部分の画像のみを抽出して手位置検出部２５に供給する。
【００２６】
手位置検出部２５は、背景差分抽出部２４より供給されてくる人体の身体部分のみの画像内における手の範囲と、その位置を手位置として検出し、手画像抽出部２６、手形状時系列記憶部２８に供給する。
【００２７】
手画像抽出部２６は、手位置検出部２５より供給されてきた手位置の情報に基づいて、入力画像から手の範囲の画像を手画像として抽出し、手形状特定部２７に供給する。
【００２８】
手形状特定部２７は、手画像に基づいて、手の形状を特定し、特定した手形状の情報を手形状時系列記憶部２８に記憶させる。この際、手形状時系列記憶部２８は、特定された手形状を手位置検出部２５より供給されてくる手位置に対応付けて記憶させる。尚、手形状特定部２７の構成に付いては、図２を参照して、詳細を後述する。
【００２９】
手ジェスチャ認識部２９は、手形状時系列記憶部２８に所定フレーム数分、時系列に記憶されている手形状の情報を読み出す。そして、手ジェスチャ認識部２９は、類似度計算部２９ａを制御して、手ジェスチャ記憶部３０に予め登録されている手ジェスチャ毎に時系列に記憶されている手形状との類似度を計算させる。さらに、手ジェスチャ認識部２９は、類似度が最高となる手ジェスチャの類似度が、所定の値よりも大きい場合、手形状時系列記憶部２８に記憶されている手形状の時系列の情報は、その類似度が最高となる手ジェスチャに対応する時系列に記憶された手形状の情報と一致するものとし、対応する手ジェスチャを認識結果とする。そして、手ジェスチャ認識部２９は、認識結果を手ジェスチャ認識結果出力部３１に供給し出力させると共に、LCD（Liquid Crystal Display）などからなる表示部３２に表示させる。
【００３０】
また、手ジェスチャ認識部２９は、類似度の最大値が所定の値よりも小さい場合、手形状時系列記憶部２８に記憶されている手形状の時系列の情報が、手ジェスチャ記憶部３０に未登録の手形状の時系列の情報であるものとみなす。そして、手ジェスチャ認識部２９は、未登録の手形状の時系列の情報を、新規の手ジェスチャに対応付けて手ジェスチャ記憶部３０に登録するか否かを表示部３２に表示して問い合わせる。このとき、新規の登録が指示されると、手ジェスチャ認識部２９は、登録部２９ｂを制御して、未登録の手形状の時系列の情報を新規の手ジェスチャとして手ジェスチャ記憶部３０に登録する。
【００３１】
［手形状特定部の構成例］
次に、図２を参照して、手形状特定部２７の構成例について説明する。
【００３２】
手形状特定部２７は、手形状認識部４１−１乃至４１−ｎ、および最大値出力部４２を備えている。手形状認識部４１−１乃至４１−ｎは、それぞれ異なる種別の手形状を認識することができ、その認識結果をスコアとして最大値出力部４２に供給する。すなわち、例えば、手形状認識部４１−１乃至４１−ｎは、それぞれ、いわゆるジャンケンにおける「グー」、「パー」、「チョキ」、または「ピースサイン」などの形状を認識することができ、認識のレベルをスコアとして最大値出力部４２に供給する。このスコアは、例えば、手形状認識部４１が、「グー」の形状を認識するものである場合、手形状が「グー」の形状に似ているものほど高い値となり、逆に、手形状が「グー」の形状と似ていないものほど低い値となる。尚、以降において、手形状認識部４１−１乃至４１−ｎを特に区別する必要がない場合、単に、手形状認識部４１と称するものとし、その他の構成についても同様に称するものとする。
【００３３】
最大値出力部４２は、手形状認識部４１−１乃至４１−ｎからの認識結果をスコアとして取得し、そのスコアのうち、最大値となる手形状を認識結果として出力する。
【００３４】
［手ジェスチャ認識処理］
次に、図３のフローチャートを参照して、手形状認識処理について説明する。
【００３５】
ステップＳ１１において、入力画像取得部２１は、動画として入力されてくる画像を１フレーム分取得し、顔画像検出部２２、背景差分抽出部２４、および手画像抽出部２６に供給する。
【００３６】
ステップＳ１２において、顔画像検出部２２は、供給されてきた画像より顔画像を検出する。より具体的には、顔画像検出部２２は、例えば、図４で示されるような画像Ｐが供給されてきた場合、顔画像を構成する目、口、および鼻などのパーツらしい画像の配置から顔画像の位置を、矩形の顔画像Ｆおよびその位置を示す座標の情報として姿勢推定部２３に供給する。尚、ここでいう顔画像の位置の情報には、図４で示されるような顔画像Ｆの位置の情報と共に、顔画像Ｆの上下方向の情報も含まれる。
【００３７】
ステップＳ１３において、姿勢推定部２３は、顔画像、および位置の情報に基づいて、入力画像内における検出された顔画像の人物の姿勢を推定する。より詳細には、姿勢推定部２３は、例えば、図４の顔画像Ｆ、および位置が分かっているような場合、身体の位置および大きさは、略特定されるので、特定される身体における肩の付け根付近から伸びる腕の範囲を、例えば、腕の部分の画像の連続性に基づいて検出し、さらに、腕の範囲を徐々に追跡することにより腕全体の範囲を特定する。同様の手法により、姿勢推定部２３は、必要に応じて足の範囲も検出する。姿勢推定部２３は、これらの範囲の検出結果を総合することにより、図４の顔画像Ｆ、および位置の情報に基づいて、例えば、図５の右部で示される姿勢モデルＢ１で示されるような姿勢を推定し、背景差分抽出部２４に供給する。
【００３８】
ステップＳ１４において、背景差分抽出部２４は、姿勢推定部２３より推定される人体の姿勢の情報から、画像のうち人体の存在しうる範囲以外の範囲を背景画像として削除して、前景画像となる推定された姿勢をとった人体の全範囲の情報を背景差分画像として抽出し、手位置検出部２５に供給する。
【００３９】
ステップＳ１５において、手位置検出部２５は、背景差分抽出部２４より供給されてくる抽出された範囲の画像より、手が検出される範囲を特定し、その特定された範囲内において手の位置を検出し、手画像抽出部２６に供給する。すなわち、例えば、図５の右部で示されるような姿勢が推定された場合、図６の左部の範囲Ｈで示されるような範囲が手の存在する位置として検出される。
【００４０】
ステップＳ１６において、手画像抽出部２６は、手位置検出部２５より供給されてくる手の位置の情報に基づいて、入力画像取得部２１より供給されてくる画像より、手画像を抽出して手形状特定部２７に供給する。すなわち、手画像抽出部２６は、手位置検出部２５より、例えば、図６の左部の範囲Ｈの情報が検出された手の位置として連絡されてきた場合、図６の右部で示されるように、その範囲内における手画像Ｈ１を抽出して手形状特定部２７に供給する。
【００４１】
ステップＳ１７において、手形状特定部２７は、手画像抽出部２６より供給されてきた手画像に基づいて、手形状特定処理を実行し、手形状を特定する。
【００４２】
［手形状特定処理］
ここで、図７のフローチャートを参照して、手形状特定所について説明する。
【００４３】
ステップＳ４１において、最大値出力部４２は、手形状認識部４１−ｎを識別するカウンタｎを１に初期化する。
【００４４】
ステップＳ４２において、最大値出力部４２は、手形状認識部４１−ｎにより識別されるべき手形状に対するスコアを取得する。すなわち、手形状認識部４１−ｎが、いわゆる、ジャンケンにおける「グー」の手形状を認識する場合、手形状認識部４１−ｎは、認識した手形状が「グー」に対してどの程度類似しているのかを示すスコアを計算し、そのスコアを最大値出力部４２に供給する。これにより、最大値出力部４２は、いずれの手形状認識部４１−ｎからのスコアであるか、すなわち、どの手形状に対するスコアであるかを識別する情報と共に、スコアを取得して記憶する。
【００４５】
ステップＳ４３において、最大値出力部４２は、カウンタｎは、最大値となったか、すなわち、全ての手形状認識部４１−ｎからのスコアを取得したか否かを判定する。ステップＳ４３において、カウンタｎが最大値ではない、すなわち、スコアを取得していない手形状認識部４１−ｎが存在する場合、処理は、ステップＳ４４に進む。
【００４６】
ステップＳ４４において、最大値出力部４２は、カウンタｎを１インクリメントして、処理は、ステップＳ４２に戻る。すなわち、全ての手形状認識部４１−ｎからのスコアを取得するまで、ステップＳ４２乃至Ｓ４４の処理を繰り返す。ステップＳ４４において、カウンタｎが最大値である、すなわち、手形状認識部４１−１乃至４１−ｎから全てのスコアが取得されたと判定された場合、処理は、ステップＳ４５に進む。
【００４７】
ステップＳ４５において、最大値出力部４２は、手形状認識部４１−１乃至４１−ｎより取得したスコアのうち、最大値となるスコアを供給してきた手形状認識部４１−ｎにより認識される手形状を、手画像より特定された手形状として手形状時系列記憶部２８に出力する。
【００４８】
ここで、図３のフローチャートの説明に戻る。
【００４９】
ステップＳ１８において、手形状時系列記憶部２８は、手形状特定部２７より供給されてきた特定された手形状を、手位置検出部２５より供給されてくる手位置の情報に対応付けて記憶する。尚、この際、手形状時系列記憶部２８は、記憶容量が一杯になった場合、最も古い手形状の情報を削除して、最新の手形状の情報を記憶する。すなわち、手形状時系列記憶部２８は、直近の所定フレーム数分の手形状の情報を手位置の情報に対応付けて記憶する。
【００５０】
ステップＳ１９において、手ジェスチャ認識部２９は、時系列に手の位置の情報に対応付けて、特定されて手形状の情報を、手ジェスチャを認識するために必要とされるフレーム数分記憶しているか否かを判定する。ステップＳ１９において、特定されて手形状の情報が、手ジェスチャを認識するために必要とされるフレーム数分記憶されていないと判定された場合、処理は、ステップＳ１１に戻る。すなわち、特定された手形状の情報が、手ジェスチャを認識するために必要とされるフレーム数分記憶されるまで、ステップＳ１１乃至Ｓ１９の処理が繰り返される。そして、ステップＳ１９において、特定されて手形状の情報が、手ジェスチャを認識するために必要とされるフレーム数分記憶されていると判定された場合、処理は、ステップＳ２０に進む。
【００５１】
ステップＳ２０において、手ジェスチャ認識部２９は、類似度計算部２９ａを制御して、手ジェスチャ記憶部３０に予め記憶されている手ジェスチャの手形状の時系列の情報のうち、未処理の手ジェスチャの手形状の時系列の情報と、手形状時系列記憶部２８に記憶されている手形状の時系列の情報とから、その類似度を計算させる。
【００５２】
より詳細には、類似度計算部２９ａは、例えば、手形状と動作とを一体のモジュールとして認識し、手ジェスチャとして設定される連続する複数のモジュールのうち、連続して一致するモジュール数の全モジュール数に対する割合を類似度として計算する。
【００５３】
すなわち、手ジェスチャとしては、例えば、図８で示される手ジェスチャＡで示されるように、第１のモジュール乃至第４のモジュールから構成されるようにしてもよい。すなわち、図８の手ジェスチャＡでは、左から親指を立てて、親指を左右に振る第１のモジュール、その手を広げて、図中左方向に大きく振る第２のモジュール、その手を図中左右に小刻みに振る第３のモジュール、および、その手を図中右方向に振る第４のモジュールから構成される。
【００５４】
また、図８の手ジェスチャＢの場合、図中左部で示されるように、手の甲を見せる手形状のまま位置が変らない第１のモジュール、および、図中右部で示されるように、掌を見せるような手形状のまま位置が変らない第２のモジュールから構成されている。このような場合、第１のモジュールと第２のモジュールとを複数回繰り返すことで、２種類の手形状が交互に繰り返され、結果として、掌を上下方向に仰ぐような手ジェスチャが構成される。
【００５５】
さらに、図８の手ジェスチャＣの場合、いずれか１のモジュールからなるものとされており、左から親指を立てる手形状のまま位置が変らないモジュール、人差し指を立てる手形状のまま位置が変らないモジュール、ピースサインのような手形状のまま位置が変らないモジュール、じゃんけんにおけるパーの手形状のまま位置が変らないモジュール、またはじゃんけんにおけるグーの手形状のまま位置が変らないモジュールなどとしてもよい。
【００５６】
また、図８の手ジェスチャＤの場合、左部は、左からじゃんけんにおけるグーの手形状のまま位置が変わらない第１のモジュール、および図中その右側で示されるパーの手形状にして左右に小刻みに振るといった第２のモジュールからなる手ジェスチャである。また、その右部は、じゃんけんにおけるグーの手形状のまま位置が変わらない第１のモジュール、および、図中その右側で示される人差し指を立てる手形状のまま位置が変らない第２のモジュールからなる手ジェスチャとなる。
【００５７】
このように、手ジェスチャは、単体、または複数の、手形状と位置の変化により設定されるモジュールの順序に基づいて個別に設定されるものである。この際、手の動きは、手位置情報にもとづいて認識される。
【００５８】
そして、例えば、第１の手ジェスチャが、時系列にモジュールＡ，Ｂ，Ｃの３のモジュールから構成され、第２の手ジェスチャが、時系列にモジュールＢ，Ｃ，Ｄ，Ｅから構成される場合、類似度計算部２９ａは、連続した順序が一致するモジュール数を検索する。すなわち、第１の手ジェスチャおよび第２の手ジェスチャは、いずれにおいてもモジュールＢ，Ｃ近所が同一に構成されている。そこで、類似度計算部２９ａは、例えば、第２の手ジェスチャに対する第１の手ジェスチャの類似度を求めるとき、２／４（＝連続した順序が一致しているモジュール数／第２の手ジェスチャの全モジュール数）として計算する。尚、ここで示した類似度は、一例に過ぎず、これ以外の類似度を定義して類似度を計算するようにしてもよく、例えば、HMM(隠れマルコフモデル）を用いた時系列推定により、類似度を求めるようにしてもよい（IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, NO. 10, OCTOBER 1999,An HMM-Based Threshold Model Approach for Gesture Recognition Hyeon-Kyu Lee and Jin H. Kim参照）。
【００５９】
ステップＳ２１において、手ジェスチャ認識部２９は、手ジェスチャ記憶部３０に記憶されている手ジェスチャ毎の手形状の時系列の情報のうち、未処理のものがあるか否かを判定し、未処理のものがある場合、処理は、ステップＳ２０に戻る。すなわち、ステップＳ２０において、手ジェスチャ記憶部３０に、予め記憶されている全ての手ジェスチャ毎の時系列の手形状の情報と、手形状時系列記憶部２８に記憶されている手形状の時系列の情報との類似度を計算する。
【００６０】
ステップＳ２１において、手ジェスチャ記憶部３０に記憶されている手ジェスチャ毎の手形状の時系列の情報のうち、未処理のものがないと判定された場合、処理は、ステップＳ２２に進む。
【００６１】
ステップＳ２２において、手ジェスチャ認識部２９は、最大類似度が所定の閾値よりも高い値であるか否かを判定する。すなわち、手ジェスチャとして手ジェスチャ記憶部３０に登録されている手形状の時系列の情報と、手形状時系列記憶部２８に記憶されている手形状の時系列の情報との最大類似度が、所定の閾値よりも低ければ、類似度が最大であっても該当する手ジェスチャではないとみなす。そして、ステップＳ２２において、最大類似度が所定の閾値よりも高く、その最大類似度の手ジェスチャが、認識結果であるものとみなされる場合、処理は、ステップＳ２３に進む。
【００６２】
ステップＳ２３において、手ジェスチャ認識部２９は、最大類似度となる手ジェスチャの手形状の時系列の情報と、手形状時系列記憶部２８に記憶されている手形状の時系列の情報とが同一であるものとみなし、その最大類似度となる手ジェスチャを認識結果として手ジェスチャ認識結果出力部３１に供給する。手ジェスチャ認識結果出力部３１は、供給されてきた手ジェスチャの情報を認識結果として出力する。このとき、手ジェスチャ認識部２９は、表示部３２を制御して、認識結果となる手ジェスチャの情報を表示する。
【００６３】
一方、ステップＳ２２において、最大類似度が所定の閾値よりも小さく、手形状時系列記憶部２８に記憶されている手形状の時系列の情報と一致する手ジェスチャがないとみなされた場合、処理は、ステップＳ２４に進む。
【００６４】
ステップＳ２４において、手ジェスチャ認識部２９は、表示部３２を制御して、該当する手ジェスチャが存在しないことを表示する。
【００６５】
ステップＳ２５において、手ジェスチャ認識部２９は、さらに、表示部３２を制御して、手形状時系列記憶部２８に記憶されている、該当する手ジェスチャが存在しない手形状の時系列の情報を新たな手ジェスチャとして登録するか否かを問い合わせる画面を表示する。  
【００６６】
ステップＳ２６において、手ジェスチャ認識部２９は、図示せぬ操作部が操作されて、新たな手ジェスチャとして登録する旨が指示されたか否かを判定し、例えば、新たな手ジェスチャとして登録する旨が指示された場合、処理は、ステップＳ２７に進む。
【００６７】
ステップＳ２７において、手ジェスチャ認識部２９は、登録部２９ｂを制御して、手形状時系列記憶部２８に記憶されている手形状の時系列の情報を新たな手ジェスチャとして手ジェスチャ記憶部３０に登録させ、処理を終了する。
【００６８】
また、ステップＳ２６において、新たに手ジェスチャの登録が指示されない場合、ステップＳ２７の処理はスキップされて、手ジェスチャ認識処理は終了する。
【００６９】
以上のように、手形状の時系列の情報に基づいて、手ジェスチャを認識するに当たり、画像より顔画像の位置を特定し、顔画像から人体の姿勢を推定し、推定された姿勢情報から手位置を検出し、検出された手位置に基づいて手画像を抽出するようにし、この手画像に基づいて手形状を特定して、これを時系列の情報として手ジェスチャを認識するようにした。結果として、手形状を特定するに当たり、画像内から手位置を求めてから手画像を抽出して、その手画像から手形状を特定することができるので、手画像を高速で、かつ、高精細に取得することが可能となるので、取得された手形状に基づいて、より正確に手ジェスチャを推定することが可能になる。
【００７０】
さらに、手ジェスチャとして認識できなかった手形状の時系列の情報については、必要に応じて、新たな手ジェスチャの手形状の時系列の情報として登録することが可能となり、様々な手ジェスチャを正確に認識させることが可能となる。
【００７１】
本発明によれば、人体の全身が含まれているような画像を用いて、高速で、かつ、正確に手ジェスチャを認識することが可能となる。
【００７２】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００７３】
図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【００７４】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【００７５】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７６】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【００７７】
１１  画像処理装置，  ２１  入力画像取得部，  ２２  顔画像検出部，  ２３  姿勢推定部，  ２４  背景差分抽出部，  ２５  手位置検出部，  ２６  手画像抽出部，  ２７  手形状特定部，  ２８  手形状時系列記憶部，  ２９  手ジェスチャ認識部，  ２９ａ  類似度計算部，  ２９ｂ  登録部，  ３０  手ジェスチャ記憶部，  ４１，４１−１乃至４１−ｎ  手形状認識部，  ４２  最大値出力部
【図１】
2012098988.tif 000003
【図２】
2012098988.tif 000004
【図３】
2012098988.tif 000005
【図４】
2012098988.tif 000006
【図５】
2012098988.tif 000007
【図６】
2012098988.tif 000008
【図７】
2012098988.tif 000009
【図８】
2012098988.tif 000010
【図９】
2012098988.tif 000011