(57)【要約】【課題】ユーザにとって振る舞いやすい直感的で自然なジェスチャを、ウェアラブル機器の動作制御のためのジェスチャに採用しつつ、ウェアラブル機器の誤動作を抑えることが可能なジェスチャ認識装置を提供することを目的とする。【解決手段】ユーザに直接取り付けられる又はユーザに装着された情報機器４に取り付けられる撮像部２と、撮像部２により撮像されるユーザの手指の映像を用いて、少なくともユーザが親指と人差し指とで環をつくるジェスチャを含む、予め定義されているユーザの手指のジェスチャを認識し、その認識したジェスチャに対応する制御コマンドを情報機器４に出力するジェスチャ認識部３とを備えてジェスチャ認識装置１を構成する。【選択図】図１
2012079138.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに直接取り付けられる又は前記ユーザに装着された機器に取り付けられる撮像手段と、
前記撮像手段により撮像される前記ユーザの手指の映像を用いて、少なくとも前記ユーザが親指と人差し指とで環をつくるジェスチャを含む、予め定義されている前記ユーザの手指のジェスチャを認識し、その認識したジェスチャに対応する制御コマンドを制御対象の機器に出力するジェスチャ認識手段と、
を備えるジェスチャ認識装置。
【請求項２】
請求項１に記載のジェスチャ認識装置であって、
前記ジェスチャ認識手段は、
前記撮像手段により撮像された映像において前記ユーザの手指が存在する手指領域を抽出する手指領域抽出手段と、
前記手指領域抽出手段により抽出された手指領域において前記ユーザの親指と人差し指とでつくられる環を示す環領域を抽出する環領域抽出手段と、
を備え、
前記環領域抽出手段により環領域が抽出されると、現在行われている前記ユーザの手指のジェスチャが、前記ユーザが親指と人差し指とで環をつくるジェスチャであると認識する
ことを特徴とするジェスチャ認識装置。
【請求項３】
請求項２に記載のジェスチャ認識装置であって、
前記ジェスチャ認識手段は、前記環領域抽出手段により抽出された環領域の大きさが閾値以上であるとき、現在行われている前記ユーザの手指のジェスチャが、前記ユーザが親指と人差し指とで環をつくるジェスチャであると認識する
ことを特徴とするジェスチャ認識装置。
【請求項４】
請求項２に記載のジェスチャ認識装置であって、
前記手指領域抽出手段は、
前記ユーザの手指につけられたマーカを検出するマーカ検出手段と、
前記撮像手段により撮像された映像において前記マーカ検出手段により検出されたマーカの周辺領域を抽出する周辺領域抽出手段と、
を備え、
前記周辺領域抽出手段により抽出された周辺領域に基づいて、前記手指領域を抽出する
ことを特徴とするジェスチャ認識装置。
【請求項５】
請求項４に記載のジェスチャ認識装置であって、
前記手指領域抽出手段は、前記撮像手段により撮像された映像において前記周辺領域抽出手段により抽出された周辺領域と同じ色の画像を前記手指領域とする
ことを特徴とするジェスチャ認識装置。
【請求項６】
請求項４に記載のジェスチャ認識装置であって、
前記手指領域抽出手段は、前記撮像手段により撮像された１フレーム前の映像において抽出された前記手指領域に基づいて、次のフレームの映像の前記手指領域を予測する手指領域予測手段を備える
ことを特徴とするジェスチャ認識装置。
【請求項７】
請求項１に記載のジェスチャ認識装置であって、
前記制御対象の機器は、前記ユーザに情報を提示する情報呈示機器の呈示内容を制御する制御機器である
ことを特徴とするジェスチャ認識装置。
【請求項８】
請求項１に記載のジェスチャ認識装置であって、
前記制御対象の機器は、前記ユーザに装着された機器である
ことを特徴とするジェスチャ認識装置。
【請求項９】
請求項１に記載のジェスチャ認識装置であって、
前記ジェスチャ認識手段は、前記制御対象の機器の第１の動作モードと前記制御対象の機器の第２の動作モードとを切り替えるための第１の制御コマンド、前記第１の動作モードのときに前記制御対象の機器の動作を制御するための第２の制御コマンド、及び前記第２の動作モードのときに前記制御対象の機器の動作を制御するための第３の制御コマンドを出力し、
前記第２及び第３の制御コマンドにそれぞれ対応する前記ユーザの手指のジェスチャの種類は互いに同じである
ことを特徴とするジェスチャ認識装置。
【請求項１０】
請求項１に記載のジェスチャ認識装置であって、
前記制御対象の機器は、前記ジェスチャ認識手段におけるジェスチャ認識状態又はジェスチャ認識結果を表示する
ことを特徴とするジェスチャ認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に基づいてユーザの手指のジェスチャを認識し、その認識結果に応じてウェアラブル機器などの動作を制御するジェスチャ認識装置に関する。
【背景技術】
【０００２】
コンピュータのキーボードやマウス又は多数のキーを有する複雑なリモコンなどを操作してウェアラブル機器の動作を制御することは困難である。これは、ユーザがさまざまな日常行動下（歩いていたり、座っていたり、他のモノを見ていたりといった日常行動下）で、キーボードやマウス又はリモコンなどを常時手に持って、それらを操作することが困難であるためである。従って、ユーザがわざわざキーボードやマウス又はリモコンなどを、取り出さなくても又は常時持っていなくても、ユーザが希望する制御内容をウェアラブル機器に伝達することができる手段が重要になる。すなわち、できるだけハンズフリーの状態で、ウェアラブル機器の動作を制御することが可能なインタフェースが重要になる。例えば、ウェアラブル機器としては、Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ（以下、ＨＭＤ）やパーソナルコンピュータのディスプレイなどの情報呈示機器が考えられる。このような場合、情報呈示に関する制御内容（ページ送り、ページ戻し、項目選択、確認、及び拒否など）をウェアラブル機器に伝達することが重要になる。また、ウェアラブル機器がカメラやマイクなどの情報入力機器の場合には、情報入力のＯＮ／ＯＦＦ（撮像や録音の開始及び終了）などといった最も基本的な制御内容をウェアラブル機器に伝達することが重要になる。
【０００３】
ユーザが希望する制御内容をウェアラブル機器に伝達する方法としては、例えば、ユーザの音声を認識し、その音声認識結果に基づいてウェアラブル機器の動作を制御する方法がある（例えば、特許文献１参照）。
【０００４】
しかしながら、音声認識を用いる方法は、ユーザが発生する音声そのものがユーザの周囲の人々の騒音になったり、ユーザの周囲の人々へ情報が開示されてしまうという課題がある。また、ユーザ以外の他人の音声や環境下の騒音によりユーザの周囲が騒々しいとき、ユーザの周囲の音に敏感に反応してユーザの音声を誤認識してしまう可能性がある。従って、音声認識を用いる方法は、日常行動下において有効に活用できない可能性が高い。
【０００５】
そこで、ユーザが希望する制御内容をウェアラブル機器に伝達する方法として、例えば、ユーザの手指のジェスチャを認識し、そのジェスチャ認識結果に基づいてウェアラブル機器の動作を制御する方法がある。
【０００６】
そして、ジェスチャを認識する方法としては、例えば、ユーザの手指に各種のセンサ（加速度センサやジャイロセンサなど）を装着し、それらセンサの出力に応じてジェスチャを認識する方法がある。
【０００７】
しかしながら、このようなジェスチャ認識方法は、ユーザの手指に装着されるセンサとして、通常、アクティブ型（電池付き）のセンサ（例えば、加速度センサやジャイロセンサなど）が使用されるため、そのセンサが日常行動下において邪魔になるおそれがある。
【０００８】
そこで、特別なセンサをユーザの手指に装着することなく、ユーザの手指のジェスチャを認識する方法が望まれる。例えば、カメラでユーザの手指のジェスチャを撮影し、その撮影された映像を用いてジェスチャを認識する、いわゆる画像処理によるジェスチャ認識が考えられる（例えば、特許文献１参照）。
【０００９】
しかしながら、このようなジェスチャ認識方法は、ウェアラブル機器の制御内容と対応するジェスチャが日常行動下でよく行われてしまうような簡単なジェスチャであると、ユーザの不用意な手指の動作によりウェアラブル機器が誤動作してしまうおそれがある。
【００１０】
また、他のジェスチャ認識方法として、例えば、ユーザの頭部の振れ幅（移動）をＨＭＤに装着されたカメラにより撮影された画像の変化で検出することによりＨＭＤに表示される内容を制御するものがある。また、ユーザの腕にマーカを装着してＨＭＤに装着されたカメラでそのマーカの移動変化を検出することによりＨＭＤに表示される内容を制御するものがある。例えば、マーカの移動が小さいときには、ユーザの手がふさがっているとして、ＨＭＤにメニュー画面を表示させるものがある（例えば、特許文献２参照）。
【００１１】
しかしながら、このような画像処理によるジェスチャ認識方法では、ユーザが作業に集中しているときなど、カメラにより撮影される画像に急激な変化が常時起こらないときは問題ないが、歩行時や立位時など画像に変化が起きうるときにはＨＭＤの誤作動が起き易い。
【００１２】
また、さらに他のジェスチャ認識方法として、例えば、ディスプレイに取り付けられたカメラにより撮影された画像に基づいて認識されたユーザの手指のジェスチャに基づいてＴＶやエアコンなどの家電の動作を制御するものがある（例えば、特許文献３参照）。
【００１３】
しかしながら、このような画像処理によるジェスチャ認識方法では、上述したように、ユーザの手指のジェスチャが日常行動下で行われそうなジェスチャであると、ユーザの不用意な手指の動作によりウェアラブル機器が誤動作してしまうおそれがある。
【００１４】
また、さらに他のジェスチャ認識として、例えば、ユーザの指先にカラーマーカを装着し、ユーザの首にかけられるプロジェクタから投影される画像を、ユーザの手指のジェスチャの認識により制御するものがある（例えば、非特許文献１又は非特許文献２参照）。
【００１５】
しかしながら、このようなジェスチャ認識は、プロジェクタの画像が手指に投影される場合があり、ジェスチャ認識の性能低下をもたらしてしまう。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特許第４０１３１００号公報
【特許文献２】特開２００９−２５１１５４号公報
【特許文献３】特開２００６−２６８２０９号公報
【非特許文献】
【００１７】
【非特許文献１】Pranav Mistry and Pattie Maes、SixthSense: A Wearable Gestural Interface、MIT Media Laboratory、SIGGRAPH Asia 2009, Yokohama, Japan、December 16-19, 2009
【非特許文献２】Pranav Mistry and Pattie Maes、SixthSense: A Wearable Gestural Interface、MIT Media Laboratory、Emerging Technologies、Yokohama, Japan、2009、page 85
【発明の概要】
【発明が解決しようとする課題】
【００１８】
ウェアラブル機器は日常行動下で利用される場合が多いため、日常行動下で意図せずに行ったジェスチャが、ユーザが意図して行ったジェスチャとして誤って認識されてしまうことを排除することがジェスチャ認識に要求されることとして重要である。別の言い方をすれば、ユーザが意思をもって振る舞ったジェスチャだけを認識できるような仕組みを構築することが重要である。
【００１９】
しかしながら、ユーザが意思をもって振る舞ったジェスチャは、ジェスチャ認識装置にとって受け入れやすい（誤認識し難い）ジェスチャであっても、ユーザが振る舞い難いジェスチャであってはならない。例えば、人差し指と中指をクロスするようなジェスチャは、すべてのユーザが容易に行うことが可能なジェスチャとは限らない。すなわち、ユーザにとって振る舞い易い直感的で自然なジェスチャとしつつ、ジェスチャ認識装置にとって誤認識し難いジェスチャであることが重要となる。
【００２０】
そこで、本発明では、ユーザにとって振る舞い易い直感的で自然なジェスチャを、制御対象の機器の動作制御のためのジェスチャに採用しつつ、制御対象の機器の誤動作を抑えることが可能なジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明のジェスチャ認識装置は、撮像手段と、ジェスチャ認識手段とを備える。
上記撮像手段は、ユーザに直接取り付けられる又は前記ユーザに装着された機器に取り付けられる。
【００２２】
上記ジェスチャ認識装置は、前記撮像手段により撮像される前記ユーザの手指の映像を用いて、少なくとも前記ユーザが親指と人差し指とで環をつくるジェスチャを含む、予め定義されている前記ユーザの手指のジェスチャを認識し、その認識したジェスチャに対応する制御コマンドを制御対象の機器に出力する。
【００２３】
また、上記ジェスチャ認識手段は、手指領域抽出手段と、環領域抽出手段とを備え、前記環領域抽出手段により環領域が抽出されると、現在行われている前記ユーザの手指のジェスチャが、前記ユーザが親指と人差し指とで環をつくるジェスチャであると認識するように構成してもよい。
【００２４】
上記手指領域抽出手段は、前記撮像手段により撮像された映像において前記ユーザの手指が存在する手指領域を抽出する。
上記環領域抽出手段は、前記手指領域抽出手段により抽出された手指領域において前記ユーザの親指と人差し指とでつくられる環を示す環領域を抽出する。
【００２５】
また、上記ジェスチャ認識手段は、前記環領域抽出手段により抽出された環領域の大きさが閾値以上であるとき、現在行われている前記ユーザの手指のジェスチャが、前記ユーザが親指と人差し指とで環をつくるジェスチャであると認識するように構成してもよい。
【００２６】
また、上記手指領域抽出手段は、マーカ検出手段と、周辺領域抽出手段とを備え、前記周辺領域抽出手段により抽出された周辺領域に基づいて、前記手指領域を抽出するように構成してもよい。
【００２７】
上記マーカ検出手段は、前記ユーザの手指につけられたマーカを検出する。
上記周辺領域抽出手段は、前記撮像手段により撮像された映像において前記マーカ検出手段により検出されたマーカの周辺領域を抽出する。
【００２８】
また、上記手指領域抽出手段は、前記撮像手段により撮像された映像において前記周辺領域抽出手段により抽出された周辺領域と同じ色の画像を前記手指領域とするように構成してもよい。
【００２９】
また、上記手指領域抽出手段は、前記撮像手段により撮像された１フレーム前の映像において抽出された前記手指領域に基づいて、次のフレームの映像の前記手指領域を予測する手指領域予測手段を備えるように構成してもよい。
【００３０】
また、上記制御対象の機器は、前記ユーザに情報を提示する情報呈示機器の呈示内容を制御する制御機器としてもよい。
また、上記制御対象の機器は、前記ユーザに装着された機器としてもよい。
【００３１】
また、上記ジェスチャ認識手段は、前記制御対象の機器の第１の動作モードと前記制御対象の機器の第２の動作モードとを切り替えるための第１の制御コマンド、前記第１の動作モードのときに前記制御対象の機器の動作を制御するための第２の制御コマンド、及び前記第２の動作モードのときに前記制御対象の機器の動作を制御するための第３の制御コマンドを出力し、前記第２及び第３の制御コマンドにそれぞれ対応する前記ユーザの手指のジェスチャの種類は互いに同じとなるように構成してもよい。
【００３２】
また、上記制御対象の機器は、前記ジェスチャ認識手段におけるジェスチャ認識状態又はジェスチャ認識結果を表示するように構成してもよい。
【発明の効果】
【００３３】
本発明によれば、ユーザの手指のジェスチャを認識するジェスチャ認識装置において、ユーザにとって振る舞い易い直感的で自然なジェスチャを、制御対象の機器の動作制御のためのジェスチャに採用しつつ、制御対象の機器の誤動作を抑えることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１実施形態のジェスチャ認識装置を示す図である。
【図２】ジェスチャ認識部の一例を示す図である。
【図３】マーカ検出部の動作を説明するためのフローチャートである。
【図４】正方形領域の一例を示す図である。
【図５】周辺領域の一例を示す図である。
【図６】環領域の一例を示す図である。
【図７】ジェスチャ認識部の他の例を示す図である。
【図８】ウェアラブル機器のディスプレイに表示される画面の一例を示す図である。
【図９】ウェアラブル機器のディスプレイに表示される画面の一例を示す図である。
【図１０】本発明の第２実施形態のジェスチャ認識装置を示す図である。
【図１１】ジェスチャ認識装置におけるジェスチャ認識の状態遷移を示す図である。
【図１２】情報呈示機器に表示される画面の一例を示す図である。
【図１３】情報呈示機器に表示される画面の一例を示す図である。
【図１４】情報呈示機器に表示される画面の一例を示す図である。
【発明を実施するための形態】
【００３５】
＜第１実施形態＞
図１は、本発明の第１実施形態のジェスチャ認識装置を示す図である。
図１に示すジェスチャ認識装置１は、撮像部２と、ジェスチャ認識部３とを備える。
【００３６】
撮像部２は、例えば、ユーザに直接取り付けられる小型カメラ又はユーザに装着された情報機器４に取り付けられる小型カメラである。なお、撮像部２をユーザに直接身につけるペンダント型の小型カメラとする場合、その撮像部２に手ぶれ防止機能や手ぶれ軽減機能を備えるように構成してもよい。また、撮像部２は、ユーザの左右のいずれかの肩に装着される小型カメラとしてもよいし、カチューシャなどの頭部装飾品に取り付けられる小型カメラとしてもよい。撮像部２に基本的に要求されることは、ユーザが胸前方で行う直感的な手指のジェスチャを撮像できることであり、ユーザの手指の移動範囲内を撮像できるだけの画角を有していることが必要な条件となる。
【００３７】
ジェスチャ認識部３は、撮像部２により撮像される映像に基づいて、予め定義されているユーザの手指のジェスチャを認識し、そのジェスチャに対応する制御コマンドを情報機器４に出力する。
【００３８】
情報機器４は、例えば、カメラ付きのＨＭＤやユーザの片眼の前方から眼球に向けて映像を呈示できる、撮像機能付きのディスプレイ機器などである。また、情報機器４は、ジェスチャ認識部３から出力される制御コマンドに基づいてユーザに提示する情報（例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）など）や情報入力動作（例えば、静止画の撮像動作など）を制御する。
【００３９】
図２は、ジェスチャ認識部３を示す図である。
図２に示すジェスチャ認識部３は、マーカ検出部５と、周辺領域抽出部６と、手指領域抽出部７と、環領域抽出部８と、制御コマンド出力部９とを備えている。
【００４０】
マーカ検出部５は、撮像部２により撮像される映像において、ユーザの手指につけられているマーカを検出する。マーカの色や形は特に限定されないが、本実施形態のマーカは、緑色の円形のマーカとし、撮像部２により撮影され易い親指の付け根部分に所定間隔離れて２個つけられるものとする。また、２個のマーカは、その２個のマーカを通る直線の延長上に親指の指先がくるように配置されるものとする。
【００４１】
周辺領域抽出部６は、マーカ検出部５により検出されたマーカの位置（撮像部２により撮像された映像の座標上の位置）に基づいて、映像からマーカの周辺領域を抽出する。例えば、周辺領域抽出部６は、実際の２個のマーカの間隔と映像内の２個のマーカの間隔とに基づいて映像内での手指の大まかなスケールを算出するとともに、映像内の２個のマーカの位置に基づいて手指が存在すると推定される周辺領域を算出する。
【００４２】
手指領域抽出部７は、周辺領域抽出部６により抽出された周辺領域において手指と推定できる色（例えば、肌色）の画素を検出し、その検出した画素と同じ色の画素を映像から全て抽出し、その抽出した全ての画素からなる画素領域を手指領域とする。
【００４３】
環領域抽出部８は、手指領域抽出部７により抽出された手指領域からユーザの親指と人差し指とでつくられる環の領域を抽出する。
制御コマンド出力部９は、マーカ検出部５により検出されたマーカや環領域抽出部８により抽出された環領域に基づいてユーザの手指のジェスチャを認識する。そして、制御コマンド出力部９は、その認識したジェスチャが予め決められているジェスチャであると判断すると、その予め決められているジェスチャに対応する制御コマンドを情報機器４に出力する。
【００４４】
このように、マーカを使用することにより、ユーザの手指を認識し易くすることができるため、左右の手指の混同、手指の遮蔽、他人の手指の混同などによるジェスチャの誤認識を抑えることができる。
【００４５】
なお、マーカを使用することなく手指領域や環領域などを抽出するように構成してもよい。
次に、マーカの検出方法について説明する。
【００４６】
マーカの検出方法としては、例えば、撮像部２により撮像される映像内の緑色の領域をすべて抽出した後、抽出した緑色の領域のうち円形度が高い緑色の領域をマーカとする方法がある。
【００４７】
図３は、マーカ検出部５の動作を説明するためのフローチャートである。
まず、マーカ検出部５は、映像を入力する（Ｓ１）。
次に、マーカ検出部５は、映像の全画素において、ＲＧＢ値を用いてマーカの色との相関値Ｃ（０〜１の値）を計算する（Ｓ２）。映像内の各画素の色をＲ，Ｇ，Ｂ、マーカの色をＲＭ，ＧＭ，ＢＭ、各画素の色ベクトルをｖ＝（Ｒ，Ｇ，Ｂ）Ｔ、マーカの色ベクトルをｖＭ＝（ＲＭ，ＧＭ，ＢＭ）Ｔとすると、相関値Ｃは数１で表される。
【００４８】
【数１】
2012079138.tif 000003
【００４９】
なお、各画素の色ベクトルとマーカの色ベクトルを同次座標としたのは、ゼロ割を防ぐためである。また、マーカの色を緑色とする場合、（ＲＭ，ＧＭ，ＢＭ）＝（０，２５５，０）となる。
【００５０】
次に、マーカ検出部５は、相関値Ｃと閾値（例えば、１８０／２５６）とに基づいて、映像を二値化する（Ｓ３）。
次に、マーカ検出部５は、二値化後の映像をブロッブ（塊）に分けるためのラベリング処理を行う（Ｓ４）。例えば、ＯｐｅｎＣＶ（登録商標）を用いたラインラベリング処理のサンプルコードを利用してラベリング処理を行う。
【００５１】
次に、マーカ検出部５は、各ブロッブに対して円形度Ｐを計算する（Ｓ５）。ブロッブの面積をＡ、ブロッブの周囲長をＳとすると、ブロッブの円形度Ｐは数２で表される。
【００５２】
【数２】
2012079138.tif 000004
【００５３】
そして、マーカ検出部５は、円形度Ｐが所定値（例えば、０．３）以上のものをマーカとして認識し、そのマーカの位置を算出する（Ｓ６）。２個のマーカを認識した場合、それらマーカのそれぞれの位置を算出する。
【００５４】
次に、周辺領域の抽出方法について説明する。
周辺領域の抽出方法としては、例えば、検出されたマーカの周囲の色を「肌色テンプレート」とし、映像全体からその「肌色テンプレート」の色と類似する色の画素を抽出する方法がある。なお、画素の色は、ＲＧＢをＨＳＶに変換したものとして扱う。
【００５５】
まず、周辺領域抽出部６は、マーカの周囲の画像を正方形に切り取り、その正方形領域の画素の色を「肌色テンプレート」とする。例えば、図４に示すように、まず、２個のマーカ間のｘ方向（映像の水平方向）の距離を算出し、その距離をＬ１（画素）とする。
【００５６】
次に、周辺領域抽出部６は、２個のマーカのうち左側のマーカを中心に２Ｌ１（画素）の正方形領域を定める。この正方形領域の中から、６＜Ｈ＜６８、Ｖ＞３０という条件を満たす画素を抽出する。なお、Ｈ、Ｖは、ＲＧＢをＨＳＶに変換した際のＨ（色相）とＶ（明度）をそれぞれ表したものとする。
【００５７】
次に、周辺領域抽出部６は、この条件を満たす画素が上記正方形領域中に５０％以上あれば、その正方形領域中に手指が存在するものと判断する。また、周辺領域抽出部６は、正方形領域において、上述の条件を満たす画素の色相Ｈ、彩度Ｓ、明度Ｖの平均値をＨ＾、Ｓ＾、Ｖ＾とし、それらを「肌色テンプレート」とする。
【００５８】
そして、周辺領域抽出部６は、２個のマーカの位置を手掛かりとして、親指と人差し指が入ると推定される周辺領域を抽出する。例えば、図５に示すように、まず、周辺領域抽出部６は、２個のマーカの距離をＬ２（画素）とする。次に、周辺領域抽出部６は、２個のマーカを結ぶ線と映像における座標のｘ軸とのなす角度θを計算する。そして、周辺領域抽出部６は、２個のマークのうちの右側のマーカから右に１．５×Ｌ２×ｃｏｓθ（画素）、下に１．５×Ｌ２×ｓｉｎθ（画素）移動させた位置の画素を周辺領域の右下の隅の画素と定め、その画素から高さ６×Ｌ２、幅８×Ｌ２の大きさの領域を周辺領域とする。
【００５９】
次に、手指領域の抽出方法について説明する。
まず、手指領域抽出部７は、周辺領域抽出部６により抽出された周辺領域において、画素のＨＳＶ値が、Ｈ＾−２０＜Ｈ＜Ｈ＾＋１５、Ｓ＾−２０＜Ｓ＜Ｓ＾＋２０、Ｖ＾−４０＜Ｖという条件を満たす場合に肌色とし，それ以外の場合に非肌色として二値化を行う。
【００６０】
そして、手指領域抽出部７は、二値化を行った周辺領域のうち肌色部分の領域に対して膨張収縮処理を行った後、ノイズ除去を行い、その肌色部分の領域を手指領域とする。なお、手指領域を滑らかにする処理として、ＯｐｅｎＣＶ（登録商標）のｃｖＦｉｎｄＣｏｎｔｏｕｒｓ（）関数を利用して、手指領域の輪郭線を平滑化（近似）してもよい。
【００６１】
次に、環領域の抽出方法について説明する。
まず、環領域抽出部８は、手指領域抽出部７により抽出された手指領域の細線化を行う。
【００６２】
次に、環領域抽出部８は、図６に示すように、細線化を行った手指領域において、孤立領域（細線で閉じられた領域）を検出する。
そして、環領域抽出部８は、その検出した孤立領域が所定面積以上であれば、親指と人差し指によりつくられた環領域であることを判断する。例えば、孤立領域の面積Ｃが、数３に示す条件を満たす場合、その孤立領域が親指と人差し指とでつくられた環領域であると判断する。
【００６３】
【数３】
2012079138.tif 000005
【００６４】
なお、図７に示すように、ジェスチャ認識部３にさらに手指領域予測部１０を備え、手指領域予測部１０において、１フレーム前の映像において抽出された手指領域に基づいて、次のフレームの映像における手指領域を予測するように構成してもよい。
【００６５】
また、第１実施形態のジェスチャ認識装置１において、予め決められているジェスチャの種類としては、例えば、「つまみ移動動作：親指と人差し指とで環をつくった後、その状態のまま手指を上下左右に移動するジェスチャ」、「クリック動作：親指と人差し指とを離した状態から親指と人差し指とで環をつくる動作を２回繰り返すジェスチャ」、「ダブルクリック動作：「クリック動作」を２回繰り返すジェスチャ」、「トリプルクリック動作：「クリック動作」を３回繰り返すジェスチャ」などがある。なお、「クリック動作」のジェスチャとして、親指と人差し指とを離した状態から親指と人差し指とで環をつくる動作を１回だけ行うジェスチャを採用してしまうと、ノイズにより「クリック動作」が誤認識されてしまう可能性がある。そのため、「クリック動作」の認識の安定性を考慮して、親指と人差し指とを離した状態から親指と人差し指とで環をつくる動作を２回繰り返すジェスチャを採用している。
【００６６】
このように、第１実施形態のジェスチャ認識装置１において、予め決められているジェスチャは、少なくとも親指と人差し指とで環をつくるジェスチャを含むため、いずれも意図しないと日常行動下において行われ難いジェスチャである。そのため、それらのジェスチャをユーザが無意識に撮像部２の前で行ってしまう可能性が低く、情報機器４の誤動作を抑えることができる。
【００６７】
また、親指と人差し指とで環をつくるジェスチャは、ユーザにとって振る舞い易い直感的で自然なジェスチャであり、操作性の向上を図ることができる。
また、それらのジェスチャをユーザに行わせる理由は、ジェスチャ認識装置１から情報機器４に制御コマンドを出力させるための実体動作をユーザに意識させる目的もある。
【００６８】
また、本実施形態のジェスチャ認識装置１における制御コマンドの種類としては、例えば、「ページ順送りコマンド」、「ページ逆送りコマンド」、「静止画撮像コマンド」、及び「モード切り替えコマンド」などがある。なお、情報機器４で実行されるモードの種類としては、アルバム再生モードや静止画撮像モードなどがある。
【００６９】
例えば、ジェスチャ認識装置１は、起動時、「クリック動作」を認識すると、情報機器４に「モード切り替えコマンド」を出力する。このとき、情報機器４では、起動時に実行されるモードとして、アルバム再生モード又は静止画撮像モードが実行される。また、情報機器４では、「モード切り替えコマンド」が入力される度に、アルバム再生モードと静止画撮像モードとが交互に切り替わる。
【００７０】
また、例えば、ジェスチャ認識装置１は、情報機器４がアルバム再生モードを実行しているとき、環領域を検出したまま複数フレームにおいてマーカが所定画素（例えば、２５画素）以上移動していることを検出する。すると、ジェスチャ認識装置１は、ユーザにより「つまみ移動動作」が行われていると認識し、情報機器４に「ページ順送りコマンド」又は「ページ逆送りコマンド」を出力する。情報機器４は、「ページ順送りコマンド」が入力されると、メモリから表示中の画像の１つ後の画像を取り出してディスプレイに表示する。また、情報機器４は、「ページ逆送りコマンド」が入力されると、メモリから表示中の画像の１つ前の画像を取り出してディスプレイに表示する。
【００７１】
また、例えば、ジェスチャ認識装置１は、情報機器４が静止画撮像モードを実行しているとき、環領域を検出したまま複数フレームにおいてマーカが所定画素（例えば、２５画素）以上移動していることを検出する。すると、ジェスチャ認識装置１は、ユーザにより「つまみ移動動作」が行われていると認識し、情報機器４に「静止画撮像コマンド」を出力する。情報機器４は、「静止画撮像コマンド」が入力されると、静止画を取得し、メモリなどに格納する。
【００７２】
このようにジェスチャ認識装置１では、情報機器４の動作を制御するためのジェスチャとして少なくとも２種類のジェスチャを採用し、ユーザにより意識下で第１のジェスチャ（例えば、「クリック動作」）が行われると、次に第２のジェスチャの認識が有効となるように構成している。そのため、第２のジェスチャとして日常行動下でユーザが無意識に行ってしまう可能性があるジェスチャ（例えば、「つまみ移動動作」）を採用しても、その第２のジェスチャの誤認識を抑えることができる。
【００７３】
また、モード切り替え機能を搭載することにより、１つの制御コマンドで複数の動作制御を実行させることができるため操作性が向上する。
図８は、アルバム再生モードを実行しているときの情報機器４のディスプレイに表示される画面例を示す図である。
【００７４】
ディスプレイの左下に表示される円形のアイコン１１は、情報機器４で実行されているモードを示すものである。例えば、静止画撮像モードからアルバム再生モードに切り替わると、アイコン１０の色が黄色から赤色に切り替わる。
【００７５】
また、ディスプレイの中央部には、情報機器４のメモリなどに記憶されている複数の画像のうちの１枚の画像が表示される。
また、ディスプレイの中央部の下に表示される表示窓１２と矢印とからなるアイコン１３は、次にどのようなジェスチャをすればよいかをユーザにガイドするためのものであり、表示窓１２には、撮像部２により撮像される映像がリアルタイムに表示される。このように、表示窓１２には撮像部２により撮像される映像が表示されるため、ユーザは現在行っているジェスチャが撮像部２によりどのように撮像されているかを確認することができる。
【００７６】
図９は、ジェスチャ認識装置１から情報機器４に「ページ順送りコマンド」が出力されたときの情報機器４のディスプレイに表示される画面例を示す図である。
ディスプレイの右下に表示される表示窓１２と矢印とからなるアイコン１４は、「ページ順送りコマンド」が現在実行されていることをユーザにガイドするためのものである。その後、情報機器４は、１つ後の画像をディスプレイに表示する。
【００７７】
なお、情報機器４のディスプレイの下部に表示されるアイコン１３、１４の横に文字による簡単な説明を表示させてもよい。
このように、現在どのようなモードにあるのか、次にどのようなジェスチャをすればよいのか、ジェスチャがどのように撮像されているのかなどを示すアイコンや文字を情報機器４のディスプレイにリアルタイムに表示させている。これにより、ユーザビリティを高めることができる。すなわち、ジェスチャの撮像状態や認識結果を情報機器４のディスプレイに効果的に表示させることは、ユーザに対して直感的にジェスチャを行わせる際の助けになる。
【００７８】
なお、上述では、ジェスチャ認識部３において「クリック動作」が認識される度に、情報機器４で実行されるモードとしてアルバム再生モードと静止画撮像モードとが交互に切り替わる構成である。しかし、ジェスチャ認識部３において「ダブルクリック動作」が認識されると、ジェスチャ認識部３から「アルバム再生モード切替コマンド」が出力されて情報機器４においてアルバム再生モードが実行されるように構成してもよい。また、ジェスチャ認識部３において「トリプルクリック動作」のジェスチャが認識されると、ジェスチャ認識部３から「静止画撮像モード切替コマンド」が出力されて情報機器４において静止画撮像モードが実行されるように構成してもよい。
【００７９】
＜第２実施形態＞
図１０は、本発明の第２実施形態のジェスチャ認識装置を示す図である。なお、図１に示す第１実施形態のジェスチャ認識装置１と同じ構成には同じ符号を付している。
【００８０】
第２実施形態のジェスチャ認識装置１５は、第１実施形態のジェスチャ認識装置１と同様に、撮像部２と、ジェスチャ認識部３とを備える。なお、第２実施形態のジェスチャ認識部３における手指領域や環領域の検出方法は、第１実施形態のジェスチャ認識部３における手指領域や環領域の検出方法と同様とし、その説明を省略する。
【００８１】
第２実施形態のジェスチャ認識装置１５において、第１実施形態のジェスチャ認識装置１と異なる点は、ジェスチャ認識部３から出力される制御コマンドにより制御機器１６の動作を制御して、情報呈示機器１７の呈示内容（例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）など）を制御する点である。例えば、制御機器１６はパーソナルコンピュータとし、情報呈示機器１７はそのパーソナルコンピュータに接続されるディスプレイ機器とする。
【００８２】
第２実施形態のジェスチャ認識装置１５において予め定義されているジェスチャの種類としては、例えば、「つまみ移動動作」及び「クリック動作」である。なお、この「つまみ移動動作」及び「クリック動作」は、第１実施形態における「つまみ移動動作」及び「クリック動作」と同様である。
【００８３】
第２実施形態のジェスチャ認識装置１５における制御コマンドの種類としては、例えば、「指マウス機能オンコマンド」、「指マウス機能オフコマンド」、「カーソル移動コマンド」、「クリックコマンド」などである。なお、カーソル移動やクリックは、パーソナルコンピュータなどで利用されている既存のマウス機能のカーソル移動やクリックとほぼ同じ意味を示し、便宜的に類似する言葉を使用している。すなわち、制御機器１６において何もアプリケーションが起動されていない状態では、既存のマウス機能のカーソル移動やクリックと同じ動作が行われる。しかし、アプリケーションが起動されている状態では、そのアプリケーションの仕様によって既存のマウス機能のカーソル移動やクリックとは異なる動作が行われる場合がある。
【００８４】
上記「指マウス機能オンコマンド」は、制御機器１６に搭載される指マウス機能をオフからオンに切り替えるための制御コマンドであり、指マウス機能がオンになると、情報呈示機器１７にカーソルが表示される。例えば、ジェスチャ認識装置１５においてマーカが複数フレーム（例えば、２０フレーム（撮像部２が１０フレーム／秒の映像を撮像可能とする場合、約２秒間））以上間連続して認識されると、「指マウス機能オンコマンド」がジェスチャ認識装置１５から出力される。基本的には、ユーザがこの制御コマンドを特に意識する必要はなく、ユーザが撮像部２にマーカつきの手指を撮像させると自動的に指マウス機能がオンする。また、このように、ジェスチャ認識装置１５においてマーカを複数フレーム以上間連続して認識させることは、ノイズによってフレーム内にマーカらしきものが不定期に現れる場合におけるマーカの誤認識をある程度防ぐことを目的としている。
【００８５】
上記「カーソル移動コマンド」は、指マウス機能のオン状態において、情報呈示機器１７に表示されるカーソルを移動させるための制御コマンドである。ジェスチャ認識装置１５において「つまみ移動動作」が認識されると、マーカの移動量に応じた「カーソル移動コマンド」がジェスチャ認識装置１５から出力される。例えば、環領域を検出したまま複数フレームにおいてマーカが右に所定画素（例えば、２５画素）以上移動すると、情報呈示機器１５のディスプレイに表示されるカーソルがマーカの移動量に応じた距離分、右に移動する。
【００８６】
上記「クリックコマンド」は、指マウス機能のオン状態において、情報呈示機器１５のディスプレイに表示されるボタンなどを選択するための制御コマンドである。ジェスチャ認識装置１５において「クリック動作」が認識されると、「クリックコマンド」がジェスチャ認識装置１５から出力される。
【００８７】
上記「指マウス機能オフコマンド」は、指マウス機能をオンからオフに切り替えるための制御コマンドであり、指マウス機能がオフになると、情報呈示機器１７に表示されていたカーソルが消える。例えば、ジェスチャ認識装置１５においてマーカが複数フレーム（例えば、１００フレーム（撮像部２が１０フレーム／秒の動画を撮影可能とする場合、約１０秒間））以上間連続して認識されないと、「指マウス機能オフコマンド」がジェスチャ認識装置１５から出力される。「指マウス機能オンコマンド」と同様に、基本的には、ユーザがこの制御コマンドを特に意識する必要はなく、ユーザが撮像部２にマーカつきの手指を撮影させないようにすると自動的に指マウス機能がオフする。なお、情報呈示機器１７に指マウス機能をオフさせるためのボタンを表示させ、そのボタンが選択されると、「指マウス機能オフコマンド」がジェスチャ認識装置１５から出力されるように構成してもよい。
【００８８】
次に、ジェスチャ認識装置１５におけるジェスチャ認識の状態遷移について説明する。
図１１は、ジェスチャ認識装置１５におけるジェスチャ認識の状態遷移を説明するための図である。
【００８９】
図１１に示すように、ジェスチャ認識装置１５におけるジェスチャ認識の状態としては、上記４つの制御コマンドにそれぞれ対応する４つの状態（「指マウス機能オン状態：FU_STATE_FREE」、「カーソル移動状態：FU_STATE_GRIPMOVE」、「クリック状態：FU_STATE_CLICK」、「指マウス機能オフ状態：FU_STATE_OFF」）と予備的な２つの状態（「環一時検出状態：FU_STATE_GRIP」、「事前クリック検出状態：FU_STATE_PRECLICK」）の全６つの状態が定義される。また、図示しないが、予備的な２つの状態における判定を補助するために、予備フラグを設け、真・偽の２状態を保持する。
【００９０】
上記「指マウス機能オフ状態」は、マーカの非検出が所定フレーム以上続いている状態であり、情報呈示機器１７にカーソルが表示されていない状態である。また、ジェスチャ認識装置１５や制御機器１６の起動時、ジェスチャ認識の状態遷移は、「指マウス機能オフ状態」から始まる。また、「指マウス機能オフ状態」のときにマーカの検出が所定フレームの間続くと、「指マウス機能オン状態」に遷移する。このとき、ジェスチャ認識装置１５は、「指マウス機能オンコマンド」を出力する。
【００９１】
上記「指マウス機能オン状態」は、マーカの検出が所定フレーム以上続いている状態であり、情報呈示機器１７にカーソルが表示されている状態である。「指マウス機能オン状態」のときにマーカの非検出が所定フレームの間続くと、「指マウス機能オフ状態」に遷移する。このとき、ジェスチャ認識装置１５は、「指マウス機能オフコマンド」を出力する。また、ジェスチャ認識装置１５は、「指マウス機能オン状態」のときに環領域を検出すると、「環一時検出状態」に遷移する。
【００９２】
上記「環一時検出状態」は、環領域が検出された直後の状態であり、情報呈示機器１７にカーソルが表示されている状態である。ジェスチャ認識装置１５は、「指マウス機能オン状態」又は「事前クリック状態」から「環一時検出状態」に遷移すると、予備フラグを真（TRUE）に設定する。次に、ジェスチャ認識装置１５は、「つまみ移動動作」を認識しないまま所定フレームの間「環一時検出状態」が続くと、予備フラグを偽（FALSE）に設定する。そして、ジェスチャ認識装置１５は、予備フラグが偽のとき、環領域を検出しなくなると、「環一時検出状態」から「指マウス機能オン状態」に遷移する。一方、ジェスチャ認識装置１５は、予備フラグが真のとき、環領域を検出しなくなると、「環一時検出状態」から「事前クリック状態」に遷移する。また、ジェスチャ認識装置１５は、「環一時検出状態」のときに「つまみ移動動作」を認識すると、「環一時検出状態」から「カーソル移動状態」に遷移し、予備フラグを偽に設定する。
【００９３】
上記「カーソル移動状態」は、「つまみ移動動作」が認識され続けている状態であり、情報呈示機器１７に表示されているカーソルが移動している状態である。ジェスチャ認識装置１５は、「つまみ移動動作」が認識されなくなると、「カーソル移動状態」から「指マウスオン状態」に遷移する。
【００９４】
上記「事前クリック検出状態」は、「環一時検出状態」において環領域が検出されなくなった状態であり、情報呈示機器１７にカーソルが表示されている状態である。ジェスチャ認識装置１５は、「事前クリック検出状態」のときに所定フレーム（例えば、５フレーム）以内に環領域を再度検出すると、「クリック検出状態」に遷移する。またジェスチャ認識装置１５は、所定フレーム（例えば、５フレーム）を超えてから環領域を再度検出すると、「環一時検出状態」に遷移する。また、ジェスチャ認識装置１５は、所定フレーム（例えば、５フレーム）を超えても環領域が再度検出されない場合、「指マウス機能オン状態」に遷移する。
【００９５】
上記「クリック検出状態」は、「クリック動作」が認識された直後の状態であり、すぐに「指マウス機能オン状態」に遷移する。一般に、「クリック動作」を行った後のユーザの親指と人差し指は離れた状態となる傾向があるため、「クリック検出状態」の後すぐに「指マウスオン状態」に遷移するように構成している。「クリック動作」を行った後のユーザの親指と人差し指とが接触した状態であっても、「指マウス機能オン状態」から「環一時検出状態」に遷移するため、「クリック検出状態」の後すぐに「指マウス機能オン状態」に遷移させても問題はない。
【００９６】
例えば、ジェスチャ認識装置１５は、起動時、ユーザの手指につけられるマーカを所定フレーム以上検出すると、「指マウス機能オフ状態」から「指マウス機能オン状態」に遷移して、「指マウス機能コマンド」を出力する。すると、例えば、図１２に示すように、情報呈示機器１７にカーソル１８が表示される。なお、図１２に示す情報呈示機器１７に表示される画面例には、カーソル１８の他に、メモリから取り出された画像を表示するための画像表示窓１９、１つ後の画像をメモリから取り出し画像表示窓１９に表示させるためのボタン２０、１つ前の画像をメモリから取り出し画像表示窓１９に表示させるためのボタン２１、撮像部２で撮像されている現在の映像を表示するための映像表示窓２２、「スライドショー」を実行させるためのボタン２３、及び現在のジェスチャ認識の状態を表示するための状態遷移表示窓２４が表示されている。
【００９７】
また、例えば、ジェスチャ認識装置１５は、「指マウス機能オン状態」のとき、環領域を検出した後、「つまみ移動動作」を認識すると、「環一時検出状態」に遷移した後、「カーソル移動状態」に遷移する。すると、ジェスチャ認識装置１５は、マーカの移動量に応じた「カーソル移動コマンド」を出力する。例えば、図１２に示すカーソル１８が、図１３に示すように、ボタン２３の上に移動する。
【００９８】
また、例えば、ジェスチャ認識装置１５は、「指マウス機能オン状態」のとき、「クリック動作」を認識すると、「環一時検出状態」、「事前クリック検出状態」、「クリック検出状態」と遷移して、「クリックコマンド」を出力する。例えば、図１３に示すように、ボタン２３上にカーソル１８が存在するときに、ジェスチャ認識装置１５から「クリックコマンド」が出力されると、情報呈示機器１７には、図１４に示すように、画像表示窓１９が拡大されて表示され、その画像表示窓１９に表示される画像が次々に切り替わっていく。
【００９９】
このように、第２実施形態のジェスチャ認識装置１５で採用される、予め決められているジェスチャにおいても、いずれも意図しないと日常行動下において行われ難いジェスチャである。そのため、それらのジェスチャをユーザが無意識に撮像部２の前で行ってしまう可能性が低く、制御機器１６の誤動作を抑えることができる。
【０１００】
また、親指と人差し指とをつけたり離したりする動作は、ユーザにとって振る舞い易い直感的で自然なジェスチャであり、操作性の向上を図ることができる。
【符号の説明】
【０１０１】
１  ジェスチャ認識装置
２  撮像部
３  ジェスチャ認識部
４  情報機器
５  マーカ検出部
６  周辺領域抽出部
７  手指領域抽出部
８  環領域抽出部
９  制御コマンド出力部
１０  手指領域予測部
【図１】
2012079138.tif 000006
【図２】
2012079138.tif 000007
【図３】
2012079138.tif 000008
【図７】
2012079138.tif 000009
【図１０】
2012079138.tif 000010
【図４】
2012079138.tif 000011
【図５】
2012079138.tif 000012
【図６】
2012079138.tif 000013
【図８】
2012079138.tif 000014
【図９】
2012079138.tif 000015
【図１１】
2012079138.tif 000016
【図１２】
2012079138.tif 000017
【図１３】
2012079138.tif 000018
【図１４】
2012079138.tif 000019