(57)【要約】【課題】  本発明は、周期性の手のジェスチャ認識に関し、より詳細には隠れマルコフモデル（ＨＭＭ）を利用してジェスチャの始点と終点を提示しなくてもジェスチャを認識できるジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法に関する。【解決手段】  本発明は、入力された画像から人間の手の動きの方向を観測信号と捉え、固定長の観測信号列をジェスチャの種類に対応したＨＭＭに入力して尤度値を算出し、尤度値が閾値を越えたものについて対応するＨＭＭからジェスチャの種類を認識するよう構成する。【選択図】    図１
2007087089.tif 000002
【特許請求の範囲】
【請求項１】
周期性ジェスチャを認識するジェスチャ認識装置であって、
手のジェスチャの種類に対応した複数の隠れマルコフモデルを記憶したＨＭＭデータベースと、
入力されたフレームの画像から手の位置を求める手位置検出手段と、
時系列に入力されるフレームの画像に従って前記手位置検出手段で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手段と、
前記固定長観測信号列を前記複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手段と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手段と、
を有することを特徴とするジェスチャ認識装置。
【請求項２】
前記手位置検出手段は、
入力されたフレームの画像から予め用意した肌色モデルに基づいて肌色尤度マップを作成し、該肌色尤度マップのランダムの位置に所定サイズの手の領域の候補領域を複数設定し、該候補領域内の肌色尤度値の平均が所定値以上ある候補領域を手の領域とし、該手の領域から手の位置を求め、該手の領域の色ヒストグラムを基準色ヒストグラムとして作成する第１手位置検出手段と、
前記第１手位置検出手段で手の位置を求めた後に入力されたフレームの画像において、該画像のランダムの位置に所定サイズの手の領域の候補領域を複数設定してそれぞれの候補領域の色ヒストグラムを作成し、該色ヒストグラムの前記基準色ヒストグラムに対する類似度が所定の値以上となる候補領域を手の領域と識別し、該手の領域から手の位置を求める第２手位置検出手段と、
を有することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記手位置検出手段の第２手位置検出手段は、
前記第１手位置検出手段で手の位置を求めた後に入力されたフレームの画像において、該画像のランダムの位置に所定サイズの手の領域の候補領域を複数設定してそれぞれの候補領域の色ヒストグラムを作成し、該色ヒストグラムの前記基準色ヒストグラムに対する類似度が所定の値以上となる候補領域を手の領域と識別し、該手の領域から手の位置を求めると共に、該手の領域から色ヒストグラムを作成することを行い、
前記手位置検出手段は、さらに、
前記手の領域から作成された色ヒストグラムと前記基準色ヒストグラムとに所定の重みを付けて両者を加えた色ヒストグラムを前記基準色ヒストグラムと置き換える基準色ヒストグラム更新手段、
を有することを特徴とする請求項２記載のジェスチャ認識装置。
【請求項４】
周期性ジェスチャを認識するジェスチャ認識プログラムであって、
コンピュータを、
入力されたフレームの画像から手の位置を求める手位置検出手段と、
時系列に入力されるフレームの画像に従って前記手位置検出手段で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手段と、
前記固定長観測信号列を予め用意した手のジェスチャの種類に対応した複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手段と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手段と、
を機能させるためのジェスチャ認識プログラム。
【請求項５】
周期性ジェスチャを認識するジェスチャ認識方法であって、
入力されたフレームの画像から手の位置を求める手位置検出手順と、
時系列に入力されるフレームの画像に従って前記手位置検出手順で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手順と、
前記固定長観測信号列を予め用意した手のジェスチャの種類に対応した複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手順と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手順と、
を有することを特徴とするジェスチャ認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周期性の手のジェスチャ認識に関し、より詳細には隠れマルコフモデルを利用してジェスチャの始点と終点を提示しなくてもジェスチャを認識できるジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法に関する。
【背景技術】
【０００２】
産業用ロボットは、人間が行ってきた危険な作業や単純作業などを代替するものとして製造現場の中で使用され、安全性や生産効率の向上に貢献してきた。これらは主に自動車産業や電機産業を中心に普及し、企業の競争力強化の原動力の一つになっている。
【０００３】
しかし最近では、ロボット技術の高度化が進み、製造現場に止まらず家庭やオフイス、公共施設などの分野に進出しつつある。身近なところで例えば、寝たきり老人に対する介護ロボットや個人の癒しや娯楽に対するペットロボット、不審者の進入を感知し通報する警備ロボットなどである。これらのロボットは人間と生活する空間を共有し、人間とのコミュニケーションを図りながらサービスを行うものとして次世代ロボットと位置付けられている。
【０００４】
次世代ロボットは、制御機構（移動機構や把持機構など）、センシングと認識（視覚、聴覚、触覚などの検知と検知による認識）、問題解決能力（障害物回避、言語解釈など）の技術を持った知能ロボットであり、多くの要素技術から成り立っている。その中の技術の一つとして視覚情報による人間との柔軟なコミュニケーションを行うジェスチャ認識技術は重要な要素技術である。ジェスチャの認識方法としてビューベースト（View-based）による方法と軌跡ベースト（Trajectory-based）による方法が一般的であるが、移動ロボットに搭載するには高速の処理を必要とすることから軌跡ベーストが用いられることが多い。また、ジェスチャ認識には隠れマルコフモデル（以下、ＨＭＭ（Hidden Markov Model）と言う）の利用が研究されている（例えば、非特許文献１）。
【０００５】
玩具ロボットに搭載することを意図したジェスチャ認識の提案がなされている。この方法は、人間のジェスチャを撮像した画像からジェスチャの特徴を画像分析により取得し、その特徴と予め種類が判っている複数のジェスチャの特徴と比較してジェスチャの種類を認識するものである（例えば、特許文献１）。
【非特許文献１】Tie Yang and Yangsheng Xu, "Hidden Markov Model for Gesture Recognition", Carnegie Mellon University, Technique Report, CMLT-RI-TR-94 1 0, 1994.
【特許文献１】特開２００３−３３４３８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
時系列の画像から人間の手の移動軌跡を検出し、ＨＭＭを利用したジェスチャの認識においては以下の課題はある。
（１）ノイズとなる手の動きを除去するために、ジェスチャの始点と終点とを認識システムに提示する必要がある。このために、例えば手を画面上に決められた領域からジェスチャを開始し、画面上に決められた領域で終了する、といった拘束が求められる。
（２）従来のジェスチャ認識では、各々のジェスチャに対応した認識モデルを予め記憶しておき、カメラで観測した手の移動軌跡をこれらの認識モデルと比較してジェスチャを特定することが行われている。しかし、認識モデルにないジェスチャやジェスチャ以外の手の動きのノイズを除くことなく単に移動軌跡を求めて認識モデルとの比較を行うと誤認識の確率が高い、という問題があった。。
（３）連続ジェスチャを認識する場合、個々のジェスチャの始終点を検出し、ジェスチャ単位に分ける必要があった。この処理は大量のデータを扱うためＣＰＵ負荷が重くなり、リアルタイム性を要求している低コストの移動ロボットへの実装は難しい、という問題があった。
【０００７】
前述した特許文献１の発明においても、上記の（２）の問題に対して触れられていない。
【０００８】
本発明は、周期性のジェスチャに対して、手の移動軌跡からＨＭＭを利用して連続したジェスチャを何らの拘束を行うことなく認識し、リアルタイム性および低コストを要求するロボットへの実装を可能とするジェスチャ認識装置とそのプログラム、方法を提供する。
【課題を解決するための手段】
【０００９】
本発明のジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法は以下のように構成される。
（１）第１の発明
第１の発明はフレーム間の手の動きを観測信号に置き換え、取得した観測信号列を個々のジェスチャの種類に対応した複数のＨＭＭに入力して尤度値を算出し、算出した尤度値によりジェスチャの種類を認識するものである。
【００１０】
その原理を図１を用いて説明する。第１の発明のジェスチャ認識装置は、図１に示すようにＨＭＭデータベース１０、手位置検出手段２０、観測信号生成手段３０、尤度値算出手段４０およびジェスチャ認識手段５０とで構成する。
【００１１】
ＨＭＭデータベース１０は、手のジェスチャの種類に対応したＨＭＭを記憶したデータベースである。記憶されたＨＭＭは手のジェスチャの種類分の複数個ある。
【００１２】
手位置検出手段２０は、入力されたフレームの画像から手の位置を検出する。
【００１３】
観測信号生成手段３０は、時系列に入力されるフレームの画像に従って手位置検出手段で求めた手の位置からフレーム間の手の移動方向を求め、この移動方向に対応した観測信号を順次作成する。そして所定個数の観測信号で構成する固定長観測信号列を生成する。
【００１４】
尤度値算出手段４０は、観測信号生成手段３０で生成された固定長観測信号列をＨＭＭデータベースに記憶している複数のＨＭＭに入力する。そして、各ＨＭＭにおいて尤度値を算出する。
【００１５】
ジェスチャ認識手段５０は、尤度値算出手段４０で算出された尤度値において所定の閾値以上の値を示すものがあったとき、この尤度値を示したＨＭＭに対応するジェスチャの種類を認識結果とする。例えば、Ａという種類のジェスチャに対応するＨＭＭで算出された尤度値が閾値以上であったとき、ジェスチャ認識装置は「Ａと言う種類のジェスチャ」を認識したことになる。
【００１６】
なお、周期性ジェスチャとは、同一のジェスチャが２回以上繰り返されるジェスチャをいう。
（２）第２の発明
第２の発明は、第１の発明の手位置検出手段において、二通りの手の位置を求める発明であり、第１手位置検出手段と第２手位置検出手段から構成する。
【００１７】
第１手位置検出手段は、入力され画像から予め用意した肌色モデルに基づいて肌色尤度マップを作成し、この肌色尤度マップのランダムの位置に所定サイズの手の領域の候補領域を複数設定する。そしてその領域内の肌色尤度値の平均が所定値以上ある候補領域を手の領域と識別する。その手の領域から手の位置を求める。さらに、その手の領域の色ヒストグラムを作成し、この色ヒストグラムを基準色ヒストグラムとする。基準色ヒストグラムは、初期フレーム以降に入力された画像において、手の領域を識別する基準となるものである。
【００１８】
第２手位置検出手段は、初期フレーム以降の画像に対して、前フレームでの追跡結果によりランダムの位置に所定サイズの手の領域の候補領域を複数設定してそれぞれの候補領域の色ヒストグラムを作成する。そしてその色ヒストグラムと基準色ヒストグラムとから求めた類似度が所定の値以上となる候補領域を手の領域と識別し、この領域から手の位置を求める。手の領域に識別された候補領域は１つ以上ある。また、第２手位置検出手段は、最初に手の位置が検出された以降に入力された画像に対して適用されることから、まず第１手位置検出手段で手の位置を検出し、それ以降の手の位置の検出を第２手位置検出手段で行うことになる。
（３）第３の発明
第３の発明は、第２の発明の手位置検出手段における別の発明であり、第１位置検出手段、第２手位置検出手段および基準色ヒストグラム更新手段から構成する。この内、第１位置検出手段は第２の発明と同一である。
【００１９】
第２手位置検出手段は、第２の発明と同様に手の位置を求めた後、手の領域から色ヒストグラムを作成する。手の領域は、１つ以上の手の領域として識別された候補領域からなるのでこれらの領域から色ヒストグラムを作成する。
【００２０】
色ヒストグラム更新手段は、第２手位置検出手段で作成した色ヒストグラムと基準色ヒストグラムとに所定の重みを付けて両者を加えた色ヒストグラムを基準色ヒストグラムと置き換えることを行う。即ち、基準色ヒストグラムを更新する。従って、順次入力されるフレーム画像で手の領域を求めるとき、基準色ヒストグラムもフレーム画像の入力の度に更新され、更新された基準色ヒストグラムで手の領域が識別される。
（４）第４の発明
第４の発明は、第１の発明のジェスチャ認識プログラムである。
（５）第５の発明
第５の発明は、第１の発明のジェスチャ認識方法である。
【発明の効果】
【００２１】
第１の発明により、周期性のある手のジェスチャは始点と終点を提示しなくても手のジェスチャの認識が可能なジェスチャ認識装置の提供ができる。。
【００２２】
第２の発明により、手の領域の追跡が簡単に行え、処理の負荷が軽いので低コストでリアルタイムでジェスチャの認識が可能なジェスチャ認識装置の提供ができる。
【００２３】
第３の発明により、フレーム毎に手の領域を追跡する基準色ヒストグラムを更新するので、ジェスチャによって肌に当たる光が変化した場合、および手の形状が変化した場合でも手の領域の追跡が精度よく行え、認識率の高いジェスチャ認識装置の提供ができる。
【００２４】
第４の発明および第５の発明により、始終点を提示することを必要としないジェスチャ認識プログラムとジェスチャ認識方法の提供ができる。
【発明を実施するための最良の形態】
【００２５】
本発明の実施例について図２から図１１を用いて説明する。
【００２６】
図２はジェスチャ認識装置１００の構成例を示すもので、プログラムやデータ、入出力機器を制御するＣＰＵ１１０、時系列のカラー画像の入力を行うＣＣＤカメラ１２１、ＣＣＤカメラ１２１を制御する入出力制御部１２０、肌色モデルを格納した肌色モデルデータベース１３０、手のジェスチャの種類に対応したＨＭＭをジェスチャＩＤと共に格納したＨＭＭデータベース１４０、手の移動方向に対応付けた観測信号を格納した信号作成辞書１５０およびジェスチャ認識プログラム１６０から構成する。
【００２７】
ジェスチャ認識プログラム１６０は、手位置検出部１６１、観測信号生成部１６２、尤度値算出部１６３およびジェスチャ認識部１６４からなる。
【００２８】
手位置検出部１６１は、入力されたカラー画像から手の領域を検出し、手の位置を求める処理を行う。初めに入力された画像に対しては、予め肌色モデルデータベース１３０に記憶してある肌色モデルを用いて肌色尤度マップを作成し、この肌色尤度マップのランダムの位置に所定サイズの手の領域の候補領域を複数設定する。その領域内の肌色尤度値の平均が所定値以上ある候補領域を手の領域と識別し、手の領域内の画素の肌色尤度値の重み付き平均手の領域から手の位置を求める。さらに、手の領域の画素の色ヒストグラムを作成し基準色ヒストグラムとして記憶しておく。最初に手の位置を求めたフレーム画像以降に入力されたフレーム画像に対しては、入力された画像にランダムに所定サイズの手の候補領域を設定し、候補領域毎に求めた色ヒストグラムと基準色ヒストグラムとの類似度を調べ、類似度の高い候補領域を手の領域として手の位置を求める処理を行う。
【００２９】
観測信号生成部１６２は、時系列で順次入力されたカラー画像に対して手位置検出部１６１によって求められたフレーム間の手の位置から移動方向を求める。そして、求めた移動方向を信号作成辞書１５０を参照して観測信号に置き換え、図示しない固定長の信号記憶領域に順次格納する。信号記憶領域に格納された観測信号は固定長観測信号列である。
【００３０】
尤度値算出部１６３は、信号記憶領域に格納された固定長観測信号列をＨＭＭデータベース１４０に記憶しているＨＭＭに入力し、各ＨＭＭにおいて尤度値を算出する。
【００３１】
ジェスチャ認識部１６４は、尤度値算出部１６３で取得した尤度値を予め定めた閾値と比較し、閾値以上を示したＨＭＭのジェスチャＩＤからジェスチャの種類を認識する。
【００３２】
次に、ジェスチャ認識の処理フローについて説明する。図３は、全体の処理フローを示すもので、先ずＣＣＤカメラ１２１からカラー画像を取得する。この画像をもとに第１手位置検出ルーチン（詳細は後述する）で最初の手の位置を求める（Ｓ１００、Ｓ１１０）。
【００３３】
続いて、次のカラー画像を取り込み、第２手位置検出ルーチン（詳細は後述する）でこのフレームの画像に対する手の位置を求める。それぞれの手の位置から移動した方向を算出し、この移動方向を信号作成辞書を参照して観測信号を作成する。作成した観測信号は図示しない固定長の信号記憶領域（例えば１２個の観測信号を記憶）に格納する。この時点で信号記憶領域には１個目の観測信号が格納されたことになる。信号記憶領域が満たされるまで（１２個の観測信号が格納されまるで）次のフレームのカラー画像を取り込み同じ処理を繰り返す。信号記憶領域に観測信号が満たされれば、次のステップに進む（Ｓ１２０−Ｓ１６０）。
【００３４】
次に信号記憶領域の観測信号列（固定長観測信号列）をＨＭＭデータベース１４０に記憶しているＨＭＭに入力する。ＨＭＭは複数個を記憶しているので、その複数のＨＭＭに対してこの観測信号列を入力する。観測信号列の入力に伴い、各ＨＭＭではそれぞれのジェスチャの種類のモデルに対する尤度値を計算して出力する。出力された尤度値の中に予め設定した閾値以上の値を示すものが有るかどうかを調べ、もし有るようであれば、その尤度値を出力したＨＭＭのジェスチャの種類が認識されたジェスチャの種類である。ＨＭＭデータベース１４０には、ＨＭＭとそのジェスチャＩＤが格納さているのでＨＭＭが分かればジェスチャＩＤによりジェスチャの種類が分かる。
【００３５】
もし、ＨＭＭから出力された尤度値がどれも閾値未満であれば次のフレームの画像を取り込んで同様の計算をすることになる。このとき、信号記憶領域に格納される観測信号は、最も古い観測信号が１つ押し出され、新しい観測信号が１つ格納された１２個の固定長観測信号列となる。
【００３６】
ジェスチャを認識した後、取り込んだフレームの画像が最後の画像でなければ次のフレーム画像の取り込みを行う。最後のフレーム画像であれば、処理の終了となる（Ｓ１７０−Ｓ２００）。
【００３７】
次に、第１手位置検出ルーチンの処理フローについて図４を用いて説明する。先ず入力されたカラー画像に対して、肌色モデルデータベース１３０に記憶してある肌色モデルを参照して肌色尤度マップを作成する。即ち、画像の各画素の色相と彩度に対する肌色モデルとの尤度値を求め、各画素の位置に求めた尤度値を設定することで肌色尤度マップを作成することができる（Ｓ３００）。
【００３８】
続いて、肌色尤度マップ上のランダムの位置に所定サイズの手の領域の候補となる候補領域を設定する。そして、候補領域内の画素に対して、尤度値が予め定められた閾値以上ある画素が候補領域全体の画素に対する比率（即ち、占有率）を計算する。占有率が所定値以上あれば優良候補領域として残し、所定値未満であればその候補領域を棄却する。全ての候補領域についてこの処理を実施する（Ｓ３１０、Ｓ３２０）。
【００３９】
肌色尤度マップ上の候補領域に対して、候補領域を残存させるか棄却するかの選別を行った後に、肌色尤度マップ上に優良候補領域が有るかどうかを調べる。もし無ければ、手の領域がその画像にはなかった、ということで次のフレームのカラー画像を取り込む。肌色尤度マップ上に優良候補領域があれば、尤度値の重み平均で中心となる画素の位置を求める。その求めた位置を手の位置とし、この値を記憶しておく。ここで求めた手の位置が最初に求めた手の位置である（Ｓ３３０−Ｓ３５０）。
【００４０】
次に、優良候補領域から色ヒストグラムを作成し、作成した色ヒストグラムを基準色ヒストグラムとして記憶しておく。優良候補領域は１つ以上あるので、それらの全てから色ヒストグラムは作成される（Ｓ３６０）。
【００４１】
次に、第２手位置検出ルーチンの処理フローについて図５を用いて説明する。まず、入力されたカラー画像のランダムの位置に所定サイズの手の領域の候補領域を設定する（Ｓ５００）。
【００４２】
設定された候補領域の内の一つの候補領域から色ヒストグラムを作成し、作成した色ヒストグラムと先に記憶してある基準色ヒストグラムとの尤度値を求める。尤度値が予め定めた閾値以上であればその候補領域は優良候補領域として残す。閾値未満であればその候補領域を棄却する。これを設定した候補領域全てについて実施する（Ｓ５１０、Ｓ５２０）。
【００４３】
優良候補領域に対し、尤度値の重み平均で中心となる画素の位置を求める。その求めた位置を手の位置とし、この値を記憶する。優良候補領域は１つ以上あるので、それらの全てに対し重み平均で位置を求める（Ｓ５３０）。
【００４４】
続いて、優良候補領域の色ヒストグラムを作成し、この色ヒストグラムと基準色ヒストグラムとにそれぞれ重みを付けて（例えば、作成した色ヒストグラムは０．８を、基準色ヒストグラムには０．２を重みとする）合算する。合算した色ヒストグラムを基準色ヒストグラムと置き換える。即ち、基準色ヒストグラムの更新を行う（Ｓ５４０）。
【００４５】
以上の処理フローの説明により、入力されたカラー画像を基にフレーム毎の手の位置を検出し、フレーム間の手の位置から移動方向を求めて観測信号に置き換え、これをＨＭＭに入力して求められた尤度値からジェスチャの種類を求めることができる。この処理では、ジェスチャの始点と終点とを提示することはなくジェスチャを認識できる。また、最初の手の領域を求めるときに肌色モデルを使用したが、その後は色ヒストグラムにより設定した候補領域から手の領域を求めることを行った。これにより、フレーム毎に肌色モデルを用いて手の領域を求める処理に較べて容易に手の領域を識別でき、低コストでリアルタイムの識別という課題を解決できる。さらに、色ヒストグラムを最新のフレームの手の領域の色ヒストグラムで更新することにより、高い認識率で手の領域を認識できる。
【００４６】
次に、第１手位置検出ルーチンで用いた肌色モデルについて説明する。本実施例では、図６に示すように色相と彩度に対してＧａｕｓｓ−１からＧａｕｓｓ−３の３つの領域を３次元の肌色モデルとして設定している。それぞれのモデルはガウス分布を成している。複数の肌色モデルを設定したことは、人による肌の色の違いや、光の当たり方によって肌の色が異なることから正確に肌色の領域を識別するためである。
【００４７】
次に、手の移動方向から観測信号を作成するときに用いる例を図７を用いて説明する。
【００４８】
図７（ａ）は、手のジェスチャによる移動を実線で示し、その実線上のＡとＢがフレームの画像から求められた手の位置である（Ａの後にＢが求められたものとする）。Ａに対するＢの移動の方向はθである。
【００４９】
図７（ｂ）は信号作成辞書の考え方を模式的に示すもので、４５°毎の各方向に対して観測信号の値を設定している。この値は、例えば移動方向（図７（ａ）の「θ」）が−２２．５°〜＋２２．５°の範囲であれば観測信号を「０」とするものである。信号作成辞書１５０にはθの範囲と観測信号の値とを対応付けたテーブルを記憶している。
【００５０】
図７（ｃ）は、順次入力されるフレームの画像から求めた手の移動方向を基に生成された観測信号列の例を示している。この例では、１２個の観測信号から構成された固定長観測信号列を示しているが、左の観測信号「１」が最も新しい観測信号で、右の観測信号「６」が最も古い観測信号である。
【００５１】
次に、前述した第１手位置検出ルーチンの処理を図８を用いて説明する。
【００５２】
図８（ａ）は、入力されたカラー画像から、図６に示した肌色モデルを用いて作成した肌色尤度マップである。曲線の内部は肌色尤度が高いことを示している。
【００５３】
図８（ｂ）は肌色尤度マップ上のランダムの位置に設定した候補領域である。候補領域のサイズは所定の大きさである。
【００５４】
図８（ｃ）の優良候補領域は、図８（ｂ）のそれぞれの候補領域において一つの候補領域を構成する画素に対して、尤度値が予め定められた閾値以上ある画素の占有率を計算し、その占有率が予め定めた占有率を越えたとき、優良候補領域として肌色尤度マップ上に残し、そうでない候補領域を棄却した結果である。そして手の位置は、優良候補領域から尤度を重みとした平均を求めて得られた画素の位置を手の位置として示したものである。
【００５５】
図８（ｄ）は、優良候補領域から基準色ヒストグラムとして作成した色ヒストグラムである。この色ヒストグラムは、彩度と色相の２軸の平面に対して他の１軸を頻度（即ち、画素数）とした３次元のヒストグラムである。
【００５６】
続いて、前述した第２手位置検出ルーチンの処理を図９を用いて説明する。
【００５７】
図９（ａ）は、入力されたカラー画像上のランダムの位置に候補領域を設定した例を示すものである。候補領域は図８に示した候補領域と同様に所定のサイズである。候補領域の１つにおいて作成された色ヒストグラムを同図の右に示している。この色ヒストグラムも、図８に示した基準色ヒストグラムと同じく彩度と色相の２軸平面に対し頻度を１軸とした３次元のヒストグラムである。
【００５８】
図９（ｂ）は、図９（ａ）で作成した色ヒストグラムと図８で作成した基準色ヒストグラムとを比較して類似度を求めることを示している。そして、類似度が有る値以上のものだけを優良候補領域として残した状態を右図に示している。
【００５９】
図９（ｃ）は、優良候補領域から尤度を重みとした平均を求めて得られた画素の位置を手の位置として示したものである。また、この優良候補領域から作成した色ヒストグラムを図８の基準ヒストグラムと重みを付けて合算し、その色ヒストグラムを基準色ヒストグラムに置き換え、更新された基準色ヒストグラムを右の図に示している。
【００６０】
続いて、図３の処理フローで述べた観測信号列をＨＭＭに入力してジェスチャの認識を行う例を図１０により説明する。
【００６１】
図１０の上部の１２個の箱が連結された図は信号記憶領域を模式的に示したもので、各箱にはそれぞれ１個の観測信号が格納される。フレーム画像の入力に伴って生成された観測信号を格納するとき、前に格納された観測信号を右に移動して最も左の箱を空け、そこに格納するようにしている。従って、既に１２個の観測信号が格納された状態で新しい観測信号が格納されると、最も右の箱に格納されていた観測信号は信号記憶領域から無くなることになる。１２個の箱が固定長であることを示している。
【００６２】
図１０の下部には３つのＨＭＭ（ＨＭＭ−Ａ〜Ｃ）を示し、このＨＭＭに信号記憶領域に記憶した１２個の信号からなる観測信号列が入力されている状態を矢印で示している。ＨＭＭ−Ａはジェスチャの種類ＡのＨＭＭであり、同様にＨＭＭ−Ｂ、ＨＭＭ−Ｃはそれぞれジェスチャの種類Ｂ、ジェスチャの種類ＣのＨＭＭである。さらに、それぞれのＨＭＭで算出された尤度値が出力される状態も示している。
【００６３】
次に、ＨＭＭから出力される尤度値の時間的変化を図１１に示す。図には、３つのＨＭＭから出力される尤度値が時間の推移に従って変化している状態を示し、時間０のとき被写体の手がジェスチャＡを始めているが、まだノイズなどが含まれているためどのＨＭＭからの尤度値は低い。時間の経過に伴ってＨＭＭ−Ａの尤度値は徐々に上昇しているが、ＨＭＭ−ＢとＨＭＭ−Ｃの尤度値はまだ低くなっている。さらに時間の経過によりＨＭＭ−Ａの尤度値は高くなり、閾値を越えたところでジェスチャＡと認識する。被写体の手はジェスチャＡに引き続いてジェスチャＢに移ったとすると、今度はＨＭＭ−Ｂの尤度が上昇し閾値を越えたところでジェスチャＢと認識される。ＨＭＭ−ＡはジェスチャＢに移った時点で尤度は低下しそのまま低下の状態にある。人間の手はジェスチャＢに続いてジェスチャＣに移っておりその様子も同様にＨＭＭ−Ｃの尤度の時間変化で示されている。
【００６４】
以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
周期性ジェスチャを認識するジェスチャ認識装置であって、
手のジェスチャの種類に対応した複数の隠れマルコフモデルを記憶したＨＭＭデータベースと、
入力されたフレームの画像から手の位置を求める手位置検出手段と、
時系列に入力されるフレームの画像に従って前記手位置検出手段で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手段と、
前記固定長観測信号列を前記複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手段と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手段と、
を有することを特徴とするジェスチャ認識装置。
【００６５】
（付記２）
前記手位置検出手段は、
入力されたフレームの画像から予め用意した肌色モデルに基づいて肌色尤度マップを作成し、該肌色尤度マップのランダムの位置に所定サイズの手の領域の候補領域を複数設定し、該候補領域内の肌色尤度値の平均が所定値以上ある候補領域を手の領域とし、該手の領域から手の位置を求め、該手の領域の色ヒストグラムを基準色ヒストグラムとして作成する第１手位置検出手段と、
前記第１手位置検出手段で手の位置を求めた後に入力されたフレームの画像において、該画像のランダムの位置に所定サイズの手の領域の候補領域を複数設定してそれぞれの候補領域の色ヒストグラムを作成し、該色ヒストグラムの前記基準色ヒストグラムに対する類似度が所定の値以上となる候補領域を手の領域と識別し、該手の領域から手の位置を求める第２手位置検出手段と、
を有することを特徴とする付記１記載のジェスチャ認識装置。
【００６６】
（付記３）
前記手位置検出手段の第２手位置検出手段は、
前記第１手位置検出手段で手の位置を求めた後に入力されたフレームの画像において、該画像のランダムの位置に所定サイズの手の領域の候補領域を複数設定してそれぞれの候補領域の色ヒストグラムを作成し、該色ヒストグラムの前記基準色ヒストグラムに対する類似度が所定の値以上となる候補領域を手の領域と識別し、該手の領域から手の位置を求めると共に、該手の領域から色ヒストグラムを作成することを行い、
前記手位置検出手段は、さらに、
前記手の領域から作成された色ヒストグラムと前記基準色ヒストグラムとに所定の重みを付けて両者を加えた色ヒストグラムを前記基準色ヒストグラムと置き換える基準色ヒストグラム更新手段、
を有することを特徴とする付記２記載のジェスチャ認識装置。
【００６７】
（付記４）
周期性ジェスチャを認識するジェスチャ認識プログラムであって、
コンピュータを、
入力されたフレームの画像から手の位置を求める手位置検出手段と、
時系列に入力されるフレームの画像に従って前記手位置検出手段で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手段と、
前記固定長観測信号列を予め用意した手のジェスチャの種類に対応した複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手段と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手段と、
を機能させるためのジェスチャ認識プログラム。
【００６８】
（付記５）
周期性ジェスチャを認識するジェスチャ認識方法であって、
入力されたフレームの画像から手の位置を求める手位置検出手順と、
時系列に入力されるフレームの画像に従って前記手位置検出手順で求めた手の位置を基にフレーム間の手の移動方向を求め、該移動方向に対応した所定の観測信号を順次作成して所定個数の観測信号からなる固定長観測信号列を生成する観測信号生成手順と、
前記固定長観測信号列を予め用意した手のジェスチャの種類に対応した複数の隠れマルコフモデルに入力し、それぞれの該隠れマルコフモデルで尤度値を算出する尤度値算出手順と、
前記算出された尤度値に所定の閾値以上の値を示す尤度値があったとき、該尤度値を示した隠れマルコフモデルに対応するジェスチャの種類を認識結果とするジェスチャ認識手順と、
を有することを特徴とするジェスチャ認識方法。
【００６９】
（付記６）
前記肌色モデルは、色相と彩度のガウス分布である
ことを特徴とする付記２または付記３記載のジェスチャ認識装置。
【００７０】
（付記７）
前記肌色モデルは、一つ以上の肌色モデルから構成される
ことを特徴とする付記２または付記３または付記６記載のジェスチャ認識装置。
【図面の簡単な説明】
【００７１】
【図１】発明の原理図である。
【図２】ジェスチャ認識装置の構成例である。
【図３】ジェスチャ認識装置の処理フロー例である。
【図４】第１手位置検出ルーチンの処理フロー例ある。
【図５】第２手位置検出ルーチンの処理フロー例ある。
【図６】肌色モデル例である。
【図７】観測信号列の生成例である。
【図８】第１手位置検出ルーチンの処理例ある。
【図９】第２手位置検出ルーチンの処理例ある。
【図１０】入力される固定長の観測信号列とＨＭＭ例である。
【図１１】ＨＭＭから出力された尤度値の時間変化例である。
【符号の説明】
【００７２】
１０    ＨＭＭデータベース
２０    手位置検出手段
３０    観測信号生成手段
４０    尤度値算出手段
５０    ジェスチャ認識手段
１００  ジェスチャ認識装置
１１０  ＣＰＵ
１２０  入出力制御部
１２１  ＣＣＤカメラ
１３０  肌色モデルデータベース
１４０  ＨＭＭデータベース
１５０  信号作成辞書
１６０  ジェスチャ認識プログラム
１６１  手位置検出部
１６２  観測信号生成部
１６３  尤度値算出部
１６４  ジェスチャ認識部
【図１】
2007087089.tif 000003
【図２】
2007087089.tif 000004
【図３】
2007087089.tif 000005
【図４】
2007087089.tif 000006
【図５】
2007087089.tif 000007
【図６】
2007087089.tif 000008
【図７】
2007087089.tif 000009
【図８】
2007087089.tif 000010
【図９】
2007087089.tif 000011
【図１０】
2007087089.tif 000012
【図１１】
2007087089.tif 000013