(57)【要約】【課題】迅速にジェスチャ認識を行い、被写体の動きに影響を受けないようにする。【解決手段】異なる２つの時点の撮影画像をそれぞれ複数のブロックに分割し、分割したブロック内の２つの時点の画像データを比較することにより同一画像データ群の位置の変化をＣＰＵ１０により検出する。全てのブロックについての位置の変化（速度ベクトル）がジェスチャの特徴として取扱われ、この特徴を使用してジェスチャの認識が行われる。【選択図】        図１
2004192150.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を使用して認識対象のジェスチャの特徴を抽出し、予めジェスチャの意味内容が判明している特徴と抽出された特徴とを比較することによりジェスチャの認識を行う画像認識装置において、
現在時点および前の時点の２つの撮影画像をそれぞれ複数のブロックに分割する手段と、
当該分割された２つの時点の撮影画像をブロックごとに比較することにより所定数の画像データ群の前時点から現時点へのブロック中の位置の変化を検出する手段を有し、
当該検出された複数のブロックについての画像データ群の位置の変化を前記認識対象のジェスチャの特徴となすことを特徴とする画像認識装置。
【請求項２】
撮影画像を使用して認識対象のジェスチャの特徴を抽出し、予めジェスチャの意味内容が判明している特徴と抽出された特徴とを比較することによりジェスチャの認識を行う画像認識装置の特徴抽出方法において、
前記画像認識装置は画像処理手段および現在時点および前の時点の２つの撮影画像を記憶しておく記憶手段を有し、
該記憶手段に記憶された現在時点および前の時点の２つの撮影画像をそれぞれ複数のブロックに前記画像処理手段により分割し、
当該分割された２つの時点の撮影画像をブロックごとに比較することにより所定数の画像データ群の前時点から現時点へのブロック中の位置の変化を前記画像処理手段により検出し、
当該検出された複数のブロックについての画像データ群の位置の変化を前記認識対象のジェスチャの特徴となすことを特徴とする画像認識装置の特徴抽出方法。
【請求項３】
撮影画像を使用して認識対象のジェスチャの特徴を抽出し、予めジェスチャの意味内容が判明している特徴と抽出された特徴とを比較することによりジェスチャの認識を行う画像認識装置で実行するためのジェスチャ認識プログラムを記録した記録媒体において、
前記画像認識装置は画像処理手段および現在時点および前の時点の２つの撮影画像を記憶しておく記憶手段を有し、前記ジェスチャ認識プログラムは、
該記憶手段に記憶された現在時点および前の時点の２つの撮影画像をそれぞれ複数のブロックに前記画像処理手段により分割するステップと、
当該分割された２つの時点の撮影画像をブロックごとに比較することにより所定数の画像データ群の前時点から現時点へのブロック中の位置の変化を前記画像処理手段により検出するステップとを有し、
当該検出された複数のブロックについての画像データ群の位置の変化を前記認識対象のジェスチャの特徴となすことを特徴とする記録媒体。
【請求項４】
撮影画像を使用して認識対象のジェスチャの特徴を抽出し、予めジェスチャの意味内容が判明している特徴と抽出された特徴とを比較することによりジェスチャの認識を行う画像認識装置で実行するためのジェスチャ認識プログラムにおいて、
前記画像認識装置は画像処理手段および現在時点および前の時点の２つの撮影画像を記憶しておく記憶手段を有し、
該記憶手段に記憶された現在時点および前の時点の２つの撮影画像をそれぞれ複数のブロックに前記画像処理手段により分割するステップと、
当該分割された２つの時点の撮影画像をブロックごとに比較することにより所定数の画像データ群の前時点から現時点へのブロック中の位置の変化を前記画像処理手段により検出するステップとを有し、
当該検出された複数のブロックについての画像データ群の位置の変化を前記認識対象のジェスチャの特徴となすことを特徴とするジェスチャ認識プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影画像に基づいて被写体の、特に人間が好適であるが、動作の意味内容を認識する画像認識装置、その特徴抽出方法、記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
被写体、たとえば、人間の手や顔を撮影し、その撮影画像から手や顔によるジェスチャの意味内容を認識しようとする試みが行われている。
【０００３】
撮影画像の中の認識対象の部位を目視で確認することは容易であるがコンピュータが判定することは容易ではない。このため、従来この種のジェスチャ認識方法では次のような方法で、認識すべき被写体のジェスチャの特徴を検出している。
【０００４】
認識すべき被写体（手など）の固定の撮影領域を予め定めておき画面中の固定領域内での画像データの変化に基づいてジェスチャを認識する。（例えば、特許文献１参照。）
異なる２つの時点の１画面分の画像データの差分を取り、０（ゼロ）ではない差分値を持つ画像データ、すなわち、被写体の移動により差分が生じた画像データの時系列変化をジェスチャ−の特徴とみなす。（例えば、特許文献２参照。）
【０００５】
【特許文献１】
特開２００２−０８３３０２号公報
【０００６】
【特許文献２】
特開平１０−１６２１５１号公報
【０００７】
【発明が解決しようとする課題】
特許文献１の方法では、撮影領域が固定化されるので、大きい動きや早い動きを伴うジェスチャなどの認識には向かないという欠点がある。
【０００８】
また、特許文献２の方法では、所定時間の間被写体を撮影しなければならず、ジェスチャの認識に時間がかかるという欠点がある。
【０００９】
そこで、本発明の目的は、短い時間でジェスチャ認識が可能であり、被写体の動きの制限を受けない画像認識装置、その特徴抽出方法、記録媒体およびプログラムを提供することにある。
【００１０】
【課題を解決するための手段】
このような目的を達成するために、本発明は、撮影画像を使用して認識対象のジェスチャの特徴を抽出し、予めジェスチャの意味内容が判明している特徴と抽出された特徴とを比較することによりジェスチャの認識を行う画像認識装置において、現在時点および前の時点の２つの撮影画像をそれぞれ複数のブロックに分割する手段と、当該分割された２つの時点の撮影画像をブロックごとに比較することにより所定数の画像データ群の前時点から現時点へのブロック中の位置の変化を検出する手段を有し、当該検出された複数のブロックについての画像データ群の位置の変化を前記認識対象のジェスチャの特徴となすことを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１２】
図１は本発明を適用したジェスチャ認識装置（画像認識装置）のシステム構成を示す。
【００１３】
ジェスチャ認識装置としては汎用のパソコンや周知の情報処理装置を使用することができる。
【００１４】
図１において、１０はジェスチャ認識プログラム（図２および図３）を実行してジェスチャ認識を行うＣＰＵである。ＣＰＵ１０が本発明の画像処理手段として動作する。１１は上記ジェスチャ認識プログラムやこのプログラムに実行する種々のデータを記憶するメモリ（ＲＯＭやＲＡＭ）である。メモリ１１が本発明の記憶手段として動作する。
【００１５】
１２はジェスチャプログラムおよびこのプログラムで使用するデータを保存するためのハードディスクである。ジェスチャプログラムで使用するデータの中には予めジェスチャの意味内容が判明しており、ジェスチャの特徴を表す特徴データ（後で説明する基本動作のベクトルテンプレート）とその特徴データの意味内容を表す識別データが含まれている。
【００１６】
特徴データについては後で説明する。識別データは、たとえば、「はい」、「いいえ」といった文字列を使用してもよいし、「Ａ」、「Ｂ」や数字などの識別文字を使用すればよく、ジェスチャ認識装置の用途に応じて適宜、定めればよい。
【００１７】
１３はビデオカメラ１４と接続し、ビデオカメラ１４から被写体の画像データを入力するインターフェースである。１５はフロッピー（登録商標）ディスクやＣＤＲＯＭなどの記憶媒体（本発明の記録媒体）１６を受付け、その記憶媒体からジェスチャ認識プログラムや、予め撮影した被写体の動画像（いわゆるビデオ）を読み取るドライブである。
【００１８】
１７はジェスチャ認識結果を表示するためのディスプレイである。なお、ジェスチャ認識結果を出力するための手段としては、その他に、プリンタ、記憶媒体への書き込みを行うドライブ、他の情報処理装置と通信を行うための通信装置を使用することができる。
【００１９】
１８はＣＰＵ１０に対して動作命令や、ジェスチャ認識装置で使用するデータを入力する入力装置で、キーボードやマウスなどのポインティングデバイスを使用することができる。
【００２０】
このようなシステム構成において、ハードディスク１２に記憶されたジェスチャ認識プログラムがメモリ１１にロードされた後、ＣＰＵ１０により実行されて、ジェスチャ認識処理が行われる。
【００２１】
次に本発明に係わり、ビデオカメラ１４あるいは記憶媒体１６から取得した撮影画像（以下、単に撮影画像と称する）から被写体（ジェスチャの認識対象となる対象部）の画像特徴を抽出する方法を図４を参照して説明する。
【００２２】
１画面分の撮影画像データはＮ×Ｍのブロック２０１（図４参照）に分割される。この例ではＮ＝Ｍ＝９の例を説明する。また、分割された各ブロックは２４×２４の画素を持つものとする。２０２は現時点で取得した画像データの中の比較のために使用する領域で以下、フィルタあるいはフィルタ領域と称する。フィルタ領域はブロックよりも小さければよく、この形態では１６×１６画素の大きさを有する。フィルタ領域２０２内の、現時点で取得した画像データ群と一致する前時点の画像データ群の位置の変化を検出する。このためにフィルター領域と同じ大きさの領域を前時点で取得したブロック２０１内を移動させてこの領域に含まれる画像データ群と現時点で上記フィルタ領域２０２に含まれる画像データ群との一致比較を行うことで、同じデータ群の位置の変化の検出を行う。
【００２３】
被写体が動いた場合、ＣＰＵの処理速度のオーダでは、画面中の被写体の移動量と方向（傾き）変化は微小であり、ブロック２０１から外れることはない。また、画像データ、たとえば、輝度データが大きく変動することもない。このような画像の特質を利用して本発明では、各ブロックごとに現時点のフィルタ領域内の画像データ群と一致する前時点の画像データ群の位置の変化すなわち、同じ画像データ群の移動方向とその大きさ（移動量）を検出する。移動方向とその大きさを総称して本実施形態では以後、速度ベクトルと呼ぶことにする。全てのブロック（９×９＝８１個）から取得した速度ベクトルがジェスチャの特徴を表す特徴データとして扱われる。図４の例ではフィルタ２０２の位置はブロック２０１の左上に示しているが、実際はブロック２０１の中央に位置させるとよい。
【００２４】
以上の抽出を行うための数式を以下に示しておく。
元の濃淡画像から線分抽出を行ない、線分の部分を１、そうでない部分を０とした線画２値画像ＦおよびＧに対して、
ｆ（ｉ，ｊ）＝０ｏｒ１：画像Ｆのｉ行ｊ列目の要素
ｇ（ｉ，ｊ）＝０ｏｒ１：画像Ｇのｉ行ｊ列目の要素
と表記するとき、関数ｍａｔｃｈを、
2004192150.tif 000003
と定義する。ここでＸＯＲはｅｘｃｌｕｓｉｖｅ  ＯＲを表すものである。
【００２５】
つぎに、
Ｆ：１６×１６画素のフィルタ、
Ｇｐｑ：ブロックの左上端からｐ行ｑ列分ずれた位置から始まる１６×１６画素の領域、とするとき、下式で、ブロック内において、ズレｐ，ｑをブロックの行と列のサイズｗｘとｗｙ内で変化させたときの、下記で与えられる最小値となるｘ、ｙを、
2004192150.tif 000004
とし、ｉ行ｊ列目のブロックに対応する速度ベクトルを次のように定義する。
Ｖｉｊ  ＝（ｘ，ｙ）：  要素ｘ，ｙからなる速度ベクトル
【００２６】
上述の特徴抽出方法は、ジェスチャ認識時と、意味内容が判明しているジェスチャについての撮影画像から特徴データを取得する際に使用される。判明している意味内容の識別情報と、上記特徴抽出方法により取得された全ブロックの速度ベクトルを総称して本実施形態では基本動作のベクトルテンプレートと呼ぶことにする。
【００２７】
基本動作のベクトルテンプレートは、説明の便宜上、「はい」、「いいえ」および「わかりません」の３つのジェスチャについて予め作成され、ハードディスク１２にインストール（搭載）されているものとする。
【００２８】
以上の点を踏まえ、図１のジェスチャ認識装置により行われるジェスチャ認識処理を図２および図３を参照して説明する。
【００２９】
図２はジェスチャ認識プログラムのメイン処理手順を示し、図３は図２のステップ３０の詳細処理手順を示す。
【００３０】
ビデオカメラ１４により取得された被写体の画像（１画面分（たとえば、３２０×２４０ｐｉｘｅｌ（画素））の静止画像）は、ＣＰＵ１０の制御により一定周期（１０ｆｒａｍｅ／ｓｅｃ）でインタフェース１３を介してメモリ１１上に取り込まれる（いわゆる入力、図２のＳ１０）。このための制御手順は周知であり、詳細な説明を要しないであろう。
【００３１】
ＣＰＵ１０は取り込まれ、メモリ１１に記憶された現時点の画像と１つ前の時点の２つの時点の静止画像データをそれぞれ複数のＮ×Ｍ個のブロックに分割する。さらにフィルタ領域２０１（速度ベクトル算出領域）を各ブロックの中央に定義（設定）する。設定したフィルタ領域２０１から１６×１６画素の画像データをメモリ１１から切り出（取り込む）してメモリ１１内の作業領域に一時記憶する（図２のＳ２０）。
【００３２】
次にＣＰＵ１０はフィルタ領域内の現時点の画像データ群と一致する前時点の画像データ群の位置を各ブロックごとに検出する。検出された位置とフィルタの位置（画面中央）から速度ベクトルが算出される（図２のＳ３０）。この例では前時点の位置が速度ベクトルの始点となる。
【００３３】
全ブロックについて取得した（認識対象のジェスチャの）速度ベクトルについてハードディスク１２に保存されている基本動作のベクトルテンプレートの中からもっとも類似している速度ベクトルを有する基本動作のベクトルテンプレートが検出される。
【００３４】
具体的には各ベクトルテンプレートのベクトルと上記認識対象のジェスチャの速度ベクトルとの類似度の計算を行い、類似度の計算結果の中でもっとも類似度が高い値を持つベクトルテンプレートが検出され、その識別情報が単発の基本動作、すなわち、瞬間のジェスチャの意味内容の認識結果としてディスプレイ１７に表示される（図２のステップＳ４０）。
【００３５】
上記の類似度計算の式の例を下記に示す。
Ｐｋｉｊをｋ番目のベクトルテンプレートのｉ行ｊ列の速度ベクトル、
Ｋをパターンの数、ＮとＭをブロックの行と列の数（今回は各々９）とするとき、ｋ番目のパターンとの類似度を次のように定義する。
2004192150.tif 000005
ここで、・はベクトル内積、｜｜を絶対値を表す。
【００３６】
本実施形態では、連続的なジェスチャの認識を行えるよう、複数時点の連続のベクトルテンプレートもハードディスク１２に用意されており、複数時点分の認識対象の速度ベクトルを取得したときに、その複数時点の速度ベクトルの組み合わせと、ハードディスク１２に保存されたベクトルテンプレートの速度ベクトルの組み合わせと比較して、もっとも類似するベクトルテンプレートの識別情報が連続動作のジェスチャ認識結果として表示される（図２のＳ５０）。
【００３７】
フィルタ領域２０２と同じ画像データの位置を検出するための処理内容を図３を参照して説明する。分割されたブロックのフィルタ領域２０１や前時点の同じブロックの読取領域の位置を初期設定した後（図３のＳ１００）、ＣＰＵ１０は現時点のブロックの中央部１６×１６個の画像データをメモリ１１から読み出し、作業領域に記憶する。また、初期設定された前時点の読取領域（たとえば、ブロックの左上１６×１６個）から前時点の画像データをメモリ１１から読み出し、作業領域に記憶する。読み出した２組の画像データ群の一致比較を行う（図３のＳ１２０）。比較の方法としては、
（１）簡便な方法としては読み出した画像データ群の平均値を計算し、平均値の比較を行う。
（２）詳細な方法としては、同じ画素位置の画像データの値の差分値が許容範囲内にあるか否かの判定を行い、許容範囲内にある場合には一致と判定する。１６×１６の画素について一致判定を行って、所定画素数以上の一致判定が得られた場合には、画像データ群は一致とみなす。
というような比較方法を使用するとよい。
【００３８】
一致の判定が得られた場合には、前時点の画像データの読取領域の位置を始点、ブロックの中央位置を終点とする速度ベクトル（実際には始点と終点の座標位置の形態）を取得する。また、速度ベクトルの始点と終点の間の距離を速度ベクトルの大きさとして計算し、ベクトルおよびその大きさをメモリ１１に記憶する（図３のＳ１２５）。
【００３９】
一方、ステップＳ１２０で一致判定が得られなかった場合には前時点の画像データの読取領域を１画素分Ｘ方向（水平右側）に移して（インクリメントして）画像データの読取を行う（図３のＳ１３５）。以下、現時点の画像データ群と前時点の画像データ群との比較が上述と同様にして行われる。以下、一致判定が得られるまで、ステップＳ１２０〜Ｓ１３０→Ｓ１３５→Ｓ１２０のループ処理が繰り返される。読取領域がＸ方向の最終位置まで到達すると、そのことがステップＳ１３０で検出される。これにより手順はステップＳ１３０からＳ１４５へと進み、読取領域のＹ方向（垂直方向）の位置が１画素だけインクリメントされ、また、読取領域のＸ方向の位置が初期位置（ブロックのもっとも左）に変更される。このようにして新たに設定された読取領域の前時点の画像データ群が読み出されて、現時点の画像データ群との比較に使用される（図３のＳ１４５→Ｓ１２０）。
【００４０】
以上のようにして読み取り領域をＸ方向およびＹ方向に移動させると、現時点および前時点の画像データ群が一致するので、そのときの前時点の読取領域の位置から速度ベクトルが計算される（ステップＳ１２５）。
【００４１】
（ジェスチャ認識装置の用途）
Ａ）用途１
上述のジェスチャ認識方法を使用するとインターネットでのユーザのパソコンとホームページを提供するサーバとの間の情報伝達にジェスチャを使用することができる。この場合には図５にユーザが使用するパソコン１０００にＣＣＤカメラ１００１を搭載し、ユーザのジェスチャによりパソコン１０００を介してサーバ（不図示）に「はい」、「いいえ」などの識別情報を送信することができる。ジェスチャ認識プログラムはサーバに搭載してもよいし、パソコン１０００に搭載してもよい。
【００４２】
Ｂ）用途２
図６に示すよう商品陳列用のショウウィンドウ２００２にビデオカメラ２００１を設置し、ショウウィンドウ２００２を通過する人のジェスチャをビデオカメラ２００１により撮影し、その撮影結果をジェスチャ認識装置（不図示）により認識する。
【００４３】
Ｃ）用途３
図７に示すようにパソコン（ジェスチャ認識装置）３００２の表示装置に複数の画像、たとえば、人物写真３００１を順次に表示させる。ユーザ３００３のジェスチャをビデオカメラ３００４で撮影して、ジェスチャ認識を行う。そのジェスチャ認識結果（「はい」、「いいえ」）に応じて、表示された画像３００１を取捨選択する。選択された画像３００５は表示装置にまとめて別途表示される。
このような情報処理はタレントのオーディションや結婚相談所のお見合い写真の選択に利用することができる。
【００４４】
Ｄ）用途４
図８に示すように学校の教室にビデオカメラ４００１および大画面のディスプレイ４００２を設置する、また、ディスプレイ４００２には仮想教師が授業（講義）を行うための映像をシステム４１００から送る。システム４１００はビデオカメラ４００１から取得した動画像をジェスチャ認識し（４１０１）、その認識結果から授業進行コントーラ（ＤＶＤのチャプター制御コントローラ）を使用して、授業のための映像の表示を制御して、適宜、補足説明用の画面に飛ばしたり、説明を早めたりすることができる。
【００４５】
Ｅ）用途５
図９に示すように学校などの教室にビデオカメラ５００１および５００２を設置する。ビデオカメラ５００１は教師５００３を撮影し、ビデオカメラ５００２は生徒５００４を撮影する。ビデオカメラの撮影方向は遠隔操作可能とすることが好ましい。撮影された画像は通信回線を解してジェスチャ認識装置５１００に送られてジェスチャ認識する。この形態では教師および生徒双方の画像から速度ベクトルを取得して（Ｓ１０１）、教師５００３および生徒５００４のジェスチャの意味内容を認識する（Ｓ１０２）。ジェスチャの認識結果は教師の熱意（刺激）を表す識別情報、生徒の反応を表す識別情報で出力され、その出力結果に対応する教師の力量を示す言葉あるいは数値が計算される。このような処理を行うことにより、ジェスチャ認識装置を教師の力量を診断することに使用することができる。
【００４６】
上述の実施形態の他に次の形態を実施することができる。
１）撮影画面の大きさや分割する個数は使用するデバイスに応じて適宜定めればよい。
２）ビデオカメラや記憶媒体の種類に制約を受けることはないが、ジェスチャ認識装置に好適なものを適宜使用すればよい。
３）ジェスチャ認識処理を単体のコンピュータで実行してももよいし、複数のコンピュータで、分散処理してもよい。
【００４７】
上述の実施形態は発明を説明するための例示である。特許請求の範囲に記載された技術思想に従えば、種々の改良形態が存在するが、これらの改良形態は本発明の技術的範囲内となる。
【００４８】
【発明の効果】
以上、説明したように、本発明によれば、撮影画像を複数ブロックに分割し、２つの異なる時点の同一の画像データ群の位置の変化を取得する。複数のブロックすべての位置の変化がジェスチャの特徴とみなされる。本発明では、取得画像は２つの時点で取得する竹でよいので、時系列的な画像を必要とする従来技術と比べるとジェスチャ認識に要する時間が短縮される。また、迅速にジェスチャ認識結果を出力することが可能となる。
【００４９】
また、撮影画面の一部領域の画像データが使用されるのではなく、画面内の全データが特徴抽出に使用されるので、被写体が速く動いてもその動きに対応することができ、従来技術のように特徴抽出のための固定領域を被写体画像がはみ出ることはない。
【００５０】
さらに連続的に得られる撮影画像についてもおなじように特徴抽出を行うことにより連続的なジェスチャの意味内容を認識することが可能となる。
【図面の簡単な説明】
【図１】本発明実施形態のシステム構成を示すブロック図である。
【図２】ジェスチャ認識処理プログラムの内容を示すフローチャートである。
【図３】ジェスチャ認識処理プログラムの部分的な詳細手順を示すフローチャートである。
【図４】本発明実施形態の特徴抽出方法を説明するための説明図である。
【図５】ジェスチャ認識装置の用途を説明するための説明図である。
【図６】ジェスチャ認識装置の他の用途を説明するための説明図である。
【図７】ジェスチャ認識装置の他の用途を説明するための説明図である。
【図８】ジェスチャ認識装置の他の用途を説明するための説明図である。
【図９】ジェスチャ認識装置の他の用途を説明するための説明図である。
【符号の説明】
１０  ＣＰＵ
１１  メモリ
１２  ハードディスク
１４  ビデオカメラ
【図１】
2004192150.tif 000006
【図２】
2004192150.tif 000007
【図３】
2004192150.tif 000008
【図４】
2004192150.tif 000009
【図５】
2004192150.tif 000010
【図６】
2004192150.tif 000011
【図７】
2004192150.tif 000012
【図８】
2004192150.tif 000013
【図９】
2004192150.tif 000014