(57)【要約】【課題】入力されたジェスチャに対応してポインタを移動させるジェスチャ認識装置において、ポインタの移動量を適切に決定する技術を提供する。【解決手段】取得した画像からジェスチャを検出し、当該ジェスチャに対応して、ポインタを移動させる命令を対象機器に送信するジェスチャ認識装置であって、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位の形状と、当該対象部位の動きを取得するジェスチャ取得手段と、前記対象部位の動きに対応して、ポインタを移動させる命令を生成し、前記対象機器に出力するポインタ制御手段と、を有し、前記ポインタ制御手段は、前記対象部位の形状および前記対象部位の動きに基づいてポインタの移動量を決定することを特徴とする。【選択図】図１
2015172886.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像からジェスチャを検出し、当該ジェスチャに対応して、ポインタを移動させる命令を対象機器に送信するジェスチャ認識装置であって、
画像を取得する画像取得手段と、
前記取得した画像から、ジェスチャを行う対象部位の形状と、当該対象部位の動きを取得するジェスチャ取得手段と、
前記対象部位の動きに対応して、ポインタを移動させる命令を生成し、前記対象機器に出力するポインタ制御手段と、
を有し、
前記ポインタ制御手段は、前記対象部位の形状および前記対象部位の動きに基づいてポインタの移動量を決定する
ことを特徴とする、ジェスチャ認識装置。
【請求項２】
前記ジェスチャ取得手段は、前記取得した画像から、前記対象部位の大きさをさらに取得し、
前記ポインタ制御手段は、前記対象部位の大きさにさらに基づいてポインタの移動量を決定する
ことを特徴とする、請求項１に記載のジェスチャ認識装置。
【請求項３】
前記ジェスチャ取得手段は、前記対象部位の形状が、第一の形状であるか、前記第一の形状とは異なる第二の形状であるかを判定し、
前記ポインタ制御手段は、前記対象部位の形状が第一の形状である場合に、前記対象部位の形状が第二の形状である場合と比較して、よりポインタの移動量を大きくする
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項４】
前記対象部位は、人間の手であり、
前記第一の形状は、指先を動かすことによってジェスチャを行っていると推定できる形状であり、
前記第二の形状は、腕を動かすことによってジェスチャを行っていると推定できる形状である
ことを特徴とする、請求項３に記載のジェスチャ認識装置。
【請求項５】
前記ジェスチャ取得手段は、対象部位である手の形状が、一部の指が立っている形状である場合に、第一の形状であると判定し、全ての指が開いている形状である場合に、第二の形状であると判定する
ことを特徴とする、請求項４に記載のジェスチャ認識装置。
【請求項６】
前記ジェスチャ取得手段は、対象部位である手の形状が、一本の指のみが伸展している形状である場合に、第一の形状であると判定する
ことを特徴とする、請求項４に記載のジェスチャ認識装置。
【請求項７】
前記ポインタ制御手段は、
前記取得した画像中に、前記対象機器が有する表示画面と座標が対応付いた領域である認識領域を設定し、前記認識領域中における対象部位の動きを、前記表示画面にマッピングすることでポインタの位置を決定し、
前記対象部位の形状に基づいて、前記認識領域の大きさを変更する
ことを特徴とする、請求項１から６のいずれかに記載のジェスチャ認識装置。
【請求項８】
取得した画像からジェスチャを検出し、当該ジェスチャに対応して、ポインタを移動さ
せる命令を対象機器に送信するジェスチャ認識装置の制御方法であって、
画像を取得する画像取得ステップと、
前記取得した画像から、ジェスチャを行う対象部位の形状と、当該対象部位の動きを取得するジェスチャ取得ステップと、
前記対象部位の動きに対応して、ポインタを移動させる命令を生成し、前記対象機器に出力するポインタ制御ステップと、
を含み、
前記ポインタ制御ステップでは、前記対象部位の形状および前記対象部位の動きに基づいてポインタの移動量を決定する
ことを特徴とする、ジェスチャ認識装置の制御方法。
【請求項９】
取得した画像からジェスチャを検出し、当該ジェスチャに対応して、ポインタを移動させる命令を対象機器に送信するジェスチャ認識装置に、
画像を取得する画像取得ステップと、
前記取得した画像から、ジェスチャを行う対象部位の形状と、当該対象部位の動きを取得するジェスチャ取得ステップと、
前記対象部位の動きに対応して、ポインタを移動させる命令を生成し、前記対象機器に出力するポインタ制御ステップと、
を実行させ、
前記ポインタ制御ステップでは、前記対象部位の形状および前記対象部位の動きに基づいてポインタの移動量を決定する
ことを特徴とする、ジェスチャ認識プログラム。
【請求項１０】
請求項９に記載のジェスチャ認識プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによる入力操作を認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
コンピュータや情報機器のような、ポインティングによる操作が可能な機器に対して、ジェスチャを利用して入力操作を行う装置が実用化されている。このような装置では、例えばカメラを用いて利用者を撮像して、利用者の身体部位の動きを認識し、認識結果をもとにポインタを移動させる。これにより利用者は、入力デバイスに触れることなく、ＧＵＩ画面上でポインタを操作することができる。
【０００３】
例えば、特許文献１には、取得した画像から、ジェスチャを行っている部位を検出し、当該部位に含まれる特徴点の移動方向を取得することで、当該部位の移動軌跡を検出するジェスチャ認識装置が記載されている。特徴点の移動方向を総合的に判定することで、ジェスチャを行っている部位全体の動きを精度よく取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０７６２５５号公報
【特許文献２】特開２０１２−０５８８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ジェスチャによってポインタを移動させる場合、移動方向を示すことはできても、絶対的な移動量を示すことはできない。したがって、ジェスチャ認識装置は、利用者が行ったジェスチャに基づいて、ポインタの最適な移動量を決定する必要がある。
【０００６】
しかし、ポインタの最適な移動量は、全てのジェスチャにおいて必ずしも同一ではない。例えば、指先でジェスチャを行う際の指の移動量と、腕全体を動かしてジェスチャを行う際の手の移動量はそれぞれ異なる。したがって、ポインタの移動量を一律としてしまうと、指先を動かしてもポインタが思うように移動しない、あるいは、手を動かすとポインタが想定よりも大きく移動してしまうといった不都合が発生しうる。
この問題を解決するためには、ジェスチャが大きな動きによって行われるものであるか、小さな動きによって行われるものであるかを判定して、ポインタの移動量を調整する必要がある。
【０００７】
一方、特許文献２に記載のジェスチャ認識装置は、撮像した画像を複数のエリアに分割し、手が存在するエリアを検出することで、ジェスチャ全体の動きの大小を判定する機能を有している。
しかし、特許文献２に記載の装置は、ジェスチャによって描画された図形を検出するものであり、当該図形を描画するために要した動きに基づいてジェスチャの動きの大小を判定するため、ジェスチャが終わるまで判定を行うことができない。すなわち、当該技術は、ジェスチャによってリアルタイムでポインタを移動させる装置には適用することができない。
【０００８】
本発明は上記の課題を考慮してなされたものであり、入力されたジェスチャに対応してポインタを移動させるジェスチャ認識装置において、ポインタの移動量を適切に決定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係るジェスチャ認識装置は、ジェスチャを行う身体部位である対象部位の形状を判定して、当該形状を用いてポインタの移動量を決定するという構成をとった。
【００１０】
具体的には、本発明に係るジェスチャ認識装置は、
取得した画像からジェスチャを検出し、当該ジェスチャに対応して、ポインタを移動させる命令を対象機器に送信するジェスチャ認識装置であって、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位の形状と、当該対象部位の動きを取得するジェスチャ取得手段と、前記対象部位の動きに対応して、ポインタを移動させる命令を生成し、前記対象機器に出力するポインタ制御手段と、を有し、前記ポインタ制御手段は、前記対象部位の形状および前記対象部位の動きに基づいてポインタの移動量を決定することを特徴とする。
【００１１】
対象部位とは、利用者がジェスチャを行う部位であり、典型的には人間の手である。ポインタの位置は、対象部位の動きに基づいて決定することができるが、本発明に係るジェスチャ認識装置では、対象部位の形状に基づいてポインタの移動量を決定する。
例えば、利用者が人差し指を立ててジェスチャを行っている場合、指先を動かすことでポインタを移動させようとしていると推定できるため、より小さい動きで操作を可能にするため、手のひらを広げてジェスチャを行っている場合よりもポインタの移動量を大きくする。
本発明に係るジェスチャ認識装置は、このように、対象部位の動きに加えて、対象部位の形状に基づいてポインタの移動量を決定することで、ユーザビリティの向上を実現している。
【００１２】
また、前記ジェスチャ取得手段は、前記取得した画像から、前記対象部位の大きさをさらに取得し、前記ポインタ制御手段は、前記対象部位の大きさにさらに基づいてポインタの移動量を決定することを特徴としてもよい。
【００１３】
取得したジェスチャの移動量は、ジェスチャを行っている利用者と装置との距離によって変わるため、これを補正するため、画像中における対象部位の大きさに応じて、ポインタの移動量を変えるようにしてもよい。  
【００１４】
また、前記ジェスチャ取得手段は、前記対象部位の形状が、第一の形状であるか、前記第一の形状とは異なる第二の形状であるかを判定し、前記ポインタ制御手段は、前記対象部位の形状が第一の形状である場合に、前記対象部位の形状が第二の形状である場合と比較して、よりポインタの移動量を大きくすることを特徴としてもよい。
【００１５】
このように、対象部位の形状に応じてポインタの移動量の大小を切り換えるようにしてもよい。
【００１６】
また、前記対象部位は、人間の手であり、前記第一の形状は、指先を動かすことによってジェスチャを行っていると推定できる形状であり、前記第二の形状は、腕を動かすことによってジェスチャを行っていると推定できる形状であることを特徴としてもよい。
【００１７】
第一および第二の形状は、利用者が、腕を動かすことでジェスチャを行っているか、指先を動かすことでジェスチャを行っているかを判定できる形状であることが好ましい。手全体ではなく指先を用いてジェスチャを行っていると推定できる場合、ポインタの移動量をより大きくする。これにより、指先の小さな動きでジェスチャを行う場合であっても、
ポインタの移動量を確保することができる。
【００１８】
また、前記ジェスチャ取得手段は、対象部位である手の形状が、一部の指が立っている形状である場合に、第一の形状であると判定し、全ての指が開いている形状である場合に、第二の形状であると判定することを特徴としてもよい。
【００１９】
５本の指のうちの一部が立っている場合、指先を用いてジェスチャを行っていると推定でき、全ての指が開いている場合、腕を動かすことでジェスチャを行っていると推定することができる。なお、一部の指が立っている状態とは、指を全て開いた状態は含まない。
【００２０】
また、前記ジェスチャ取得手段は、対象部位である手の形状が、一本の指のみが伸展している形状である場合に、第一の形状であると判定することを特徴としてもよい。
【００２１】
このように、伸びている指を一本のみ検出した場合、指先を用いてジェスチャを行っていると推定することができる。
【００２２】
また、前記ポインタ制御手段は、前記取得した画像中に、前記対象機器が有する表示画面と座標が対応付いた領域である認識領域を設定し、前記認識領域中における対象部位の動きを、前記表示画面にマッピングすることでポインタの位置を決定し、前記対象部位の形状に基づいて、前記認識領域の大きさを変更することを特徴としてもよい。
【００２３】
認識領域とは、取得した画像中に設定される、対象機器の画面と座標がマッピングされた領域である。すなわち、認識領域が小さい場合、認識領域が大きい場合と比較して、より小さいジェスチャでポインタをより大きく動かすことができる。このように、対象部位の形状に基づいて認識領域の大きさを設定することで、ポインタの移動量を変更するようにしてもよい。
【００２４】
なお、本発明は、上記手段の少なくとも一部を含むジェスチャ認識装置として特定することができる。また、前記ジェスチャ認識装置の制御方法や、前記ジェスチャ認識装置を動作させるためのプログラム、当該プログラムが記録された記録媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２５】
本発明によれば、入力されたジェスチャに対応してポインタを移動させるジェスチャ認識装置において、ポインタの移動量を適切に決定する技術を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】第一の実施形態に係るジェスチャ認識システムの構成図である。
【図２】ジェスチャと、当該ジェスチャに対応したポインタの動きを説明する図である。
【図３】対象部位の形状の違いを説明する図である。
【図４】ポインタの移動量を決定するための補正データを説明する図である。
【図５】第一の実施形態においてジェスチャ認識装置が行う処理を表すフローチャート図である。
【図６】第二の実施形態においてジェスチャ認識装置が行う処理を表すフローチャート図である。
【図７】第二の実施形態における認識領域を説明する図である。
【図８】第二の実施形態における認識領域を説明する第二の図である。
【図９】第二の実施形態における認識領域を説明する第三の図である。
【発明を実施するための形態】
【００２７】
（第一の実施形態）
<システム構成>
第一の実施形態に係るジェスチャ認識システムの概要について、システム構成図である図１を参照しながら説明する。第一の実施形態に係るジェスチャ認識システムは、ジェスチャ認識装置１００および対象機器２００からなるシステムである。
【００２８】
対象機器２００は、画面（不図示）を有し、当該画面に表示されたポインタを通して入力操作を行う機器である。対象機器２００は、マウスなどのポインティングデバイスによってポインタを操作できるほか、ジェスチャ認識装置１００から受信した信号によってポインタを移動させることができる。
なお、対象機器２００は、有線または無線によって、ジェスチャ認識装置１００から信号を受信することができれば、テレビ、ビデオレコーダ、コンピュータなど、どのような機器であってもよい。本実施形態の説明では、対象機器２００が有する、ポインタが表示される画面を操作画面と称する。
【００２９】
ジェスチャ認識装置１００は、利用者が行ったジェスチャを、カメラを用いて認識するとともに、認識したジェスチャに基づいてポインタの移動先を演算し、当該ポインタを移動させる命令を対象機器２００に送信する装置である。例えば、利用者が、図２（Ａ）のようなジェスチャを行うと、ポインタを移動させるための信号がジェスチャ認識装置１００から対象機器２００に送信され、図２（Ｂ）のようにポインタが移動する。
本実施形態では、対象機器２００はテレビであり、ジェスチャ認識装置１００は、当該テレビに内蔵された装置であるものとする。図２はいずれも、利用者側からテレビ画面側を見た図である。
【００３０】
次に、図１を参照しながら、ジェスチャ認識装置１００について詳細に説明する。
ジェスチャ認識装置１００は、画像取得部１０１、ジェスチャ抽出部１０２、ポインタ制御部１０３、コマンド生成部１０４を有する。
【００３１】
画像取得部１０１は、外部から画像を取得する手段である。本実施形態では、テレビ画面の正面上部に取り付けられたカメラ（不図示）を用いて、利用者を撮像する。画像取得部１０１が用いるカメラは、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。また、画像は必ずしもカメラによって取得される必要はなく、例えば、距離センサが生成した、距離の分布を表す画像（距離画像）であってもよい。また、距離センサとカメラの組み合わせ等であってもよい。
画像取得部１０１が取得する画像（以下、カメラ画像）は、利用者が行ったジェスチャの動きと、当該ジェスチャを行った身体部位の形状を取得することができれば、どのような画像であってもよい。また、カメラ画像の画角は、テレビの視野角と略同一であればよい。
【００３２】
ジェスチャ抽出部１０２は、画像取得部１０１が取得したカメラ画像から、ジェスチャを行う身体部位（以下、対象部位）を検出し、その動きを追跡することでジェスチャを抽出する手段である。本実施形態の場合、利用者は手を用いてジェスチャを行うものとする。ジェスチャ抽出部１０２は、例えば、カメラ画像の中から、人の手を表す領域を検出し、その動きを追跡することで、ジェスチャを抽出する。
また、ジェスチャ抽出部１０２は、対象部位の形状についての情報を同時に取得する。対象部位の形状については、後ほど詳しく説明する。
【００３３】
ポインタ制御部１０３は、抽出したジェスチャに基づいて、ポインタの移動先を決定する手段である。具体的には、対象部位の移動方向および移動量に基づいて、ポインタの移動方向および移動量を決定する。また、対象部位の形状についての情報を用いて、ポインタの移動量を補正する。具体的な方法については後述する。
【００３４】
コマンド生成部１０４は、ポインタ制御部１０３が決定した移動先にポインタを移動させるための信号を生成し、対象機器２００に送信する手段である。生成される信号は、対象機器２００に対してポインタの移動を命令する信号であり、例えば電気信号であってもよいし、無線によって変調された信号や、パルス変調された赤外線信号などであってもよい。
【００３５】
ジェスチャ認識装置１００は、プロセッサ、主記憶装置、補助記憶装置を有するコンピュータであり、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、プロセッサによって実行されることによって、前述した各手段が機能する（プロセッサ、主記憶装置、補助記憶装置はいずれも不図示）。
【００３６】
<ポインタの制御方法概要>
次に、図３を参照しながら、抽出したジェスチャに基づいてポインタの移動先を決定する方法について、概要を説明する。図３は、カメラ画像の例である（対象部位以外は図示を省略する）。図３（Ａ）は、人差し指の指先を平行に移動するジェスチャを表し、図３（Ｂ）は、手のひらを平行に移動するジェスチャを表す。
当該二つのジェスチャは、どちらも「ポインタを左に移動させる」ことを意味するものであるが、指を立ててジェスチャを行う場合、指先の細かな動きによってポインタを操作しようとする場合が多く、手のひらによってジェスチャを行う場合、腕全体の大きな動きによってポインタを操作しようとする場合が多い。従って、単純に対象部位の移動量に応じてポインタの移動量を決定すると、利用者が意図した移動量が得られず、ユーザビリティの低下を招くおそれがある。
【００３７】
そこで、本実施形態に係るジェスチャ認識装置では、従来のジェスチャ認識装置と同様に、対象部位の移動方向および移動量に基づいてポインタの移動方向および移動量を決定した後で、対象部位の形状に応じてポインタの移動量を補正する。
【００３８】
本実施形態では、対象部位の形状は、立っている指の本数によって識別する。例えば、図３（Ａ）の場合、立っている指の数は１本であり、図３（Ｂ）の場合、立っている指の数は５本であると判定する。以降の説明において、指を１本立てた状態を「形状１」と称し、手を開いて指を５本立てた状態を「形状５」と称する。
【００３９】
立っている指の数は、例えば、取得したカメラ画像にテンプレート画像を適用してマッチングを行うことで判定してもよいし、テンプレートマッチングによって手のひらを検出したうえで、周辺領域から指を探索してもよい。また、手の骨格モデル等を用いてもよい。指の数の判定には、既知の手法を用いることができるため、詳細な説明は省略する。
【００４０】
本実施形態では、ポインタ制御部１０３が、対象部位の移動方向および移動量に基づいて、ポインタの移動方向および移動量を決定した後で、判定した指の本数に対応する補正値を乗算することで、ポインタの移動量を補正する。
ここで、補正値について説明する。図４は、ポインタ制御部１０３が有する、対象部位の形状と補正値とを対応付けたデータである。当該データを補正データと称する。
補正値は、立っている指の本数が少ないほど大きくなる。例えば、図４の例では、対象部位が形状１である場合に、補正値として３．０を乗算し、対象部位が形状５である場合に、補正値として１．０を乗算する。すなわち、対象部位が形状１である場合、形状５で
ある場合と比較してポインタの移動量が３倍になる。
【００４１】
<全体処理>
次に、本実施形態に係るジェスチャ認識装置１００が行う処理の全体を、処理フローチャートである図５を参照しながら説明する。
図５に示した処理は、入力開始を表す操作があった場合（例えば、ポインティングが必要な機能を対象機器側で起動した際など）に開始される。
【００４２】
まず、画像取得部１０１が、カメラ画像を取得する（ステップＳ１１）。本ステップでは、例えばテレビ画面の正面上部に備えられたカメラを用いて、ＲＧＢカラー画像を取得する。
次に、ジェスチャ抽出部１０２が、取得したカメラ画像から、対象部位の検出を試みる（ステップＳ１２）。対象部位の検出は、例えばパターンマッチング等によって行うことができる。想定される対象部位の形状が複数ある場合は、複数の画像テンプレートを用いてマッチングを行ってもよい。ここで、対象部位が検出されなかった場合は、所定の時間だけ待機した後に新たに画像を取得し、同様の処理を繰り返す。
【００４３】
次に、ジェスチャ抽出部１０２が、検出した対象部位の形状を判定する（ステップＳ１３）。本実施形態では、対象部位の形状が形状１であるか形状５であるかを判定する。もし、対象部位の形状が、予め定義されたもの以外であった場合は、処理を中断してステップＳ１１へ戻ってもよいし、「該当なし」として処理を続けてもよい。
【００４４】
次に、ジェスチャ抽出部１０２が、ステップＳ１１で取得したカメラ画像を用いて、対象部位によって行われたジェスチャを抽出する（ステップＳ１４）。なお、ジェスチャの抽出には複数枚の画像が必要となるため、ステップＳ１４が初めて実行された場合は、取得した画像を一時的に記憶して、ステップＳ１１に戻る。
ステップＳ１４を実行することにより、対象部位の移動方向と移動量が取得できる。対象部位の移動方向と移動量は、例えば対象部位に含まれる特徴点を抽出し、当該特徴点を追跡することで取得することができる。当該手法は既知のものであるため、詳細な説明は省略する。
【００４５】
次に、ポインタ制御部１０３が、ステップＳ１４で取得した、対象部位の移動方向と移動量に基づいて、ポインタの移動方向と移動量を以下のようにして決定する（ステップＳ１５）。
（１）ポインタの移動方向＝（利用者から見た）対象部位の移動方向
利用者から見て対象部位が右方向に移動した場合、ポインタの移動方向も右方向となる。
（２）ポインタの移動量（ピクセル）＝対象部位の移動量（ピクセル）×係数Ｃ1
対象部位の移動量とは、取得したカメラ画像におけるピクセル数である。また、係数Ｃ1は、ポインタのデフォルトの移動量を決定するための係数である。例えば、操作画面の
解像度が、カメラの解像度と同じである場合、係数Ｃ1として１．０という値を用いても
よいし、解像度が異なる場合、解像度を補正するために任意の値を用いてもよい。
【００４６】
なお、カメラ画像中の対象部位の大きさに基づいて係数Ｃ1を変えるようにしてもよい
。例えば、対象部位の大きさが画像サイズと比較して小さい場合、利用者が装置から離れてジェスチャを行っていることが考えられるため、係数Ｃ1を大きくするようにしてもよ
い。
また、係数Ｃ1は、縦方向と横方向とでそれぞれ別の値を用いてもよい。これにより、
例えば、操作画面とカメラ画像のアスペクト比が異なる場合、これを補正することができる。
ステップＳ１５の処理により、ポインタの移動方向と移動量が決定される。
【００４７】
次に、ポインタ制御部１０３が、ポインタの移動量を補正する（ステップＳ１６）。
例えば、図４に示したように、「形状１」に対応する補正値が３．０であり、「形状５」に対応する補正値が１．０である場合であって、対象部位がフレーム間で１０ピクセル移動した場合を考える（係数Ｃ1はここでは考慮しない）。この場合、対象部位が形状５
である場合は、ポインタの移動量は１０ピクセルとなり、対象部位が形状１である場合は、ポインタの移動量は３０ピクセルとなる。
【００４８】
次に、コマンド生成部１０４が、ポインタを移動させるための制御信号を生成して、対象機器２００に送信する（ステップＳ１７）。前述した例では、例えば「ポインタを右方向に３０ピクセル移動する」という命令を表す制御信号を生成し、対象機器２００に送信する。
なお、ステップＳ１１〜Ｓ１７の処理は周期的に実行される。また、図５に示した処理は、入力終了を表す操作があった場合（例えば、ポインティングが必要な操作を対象機器側で終えた際など）に終了する。
【００４９】
以上説明したように、第一の実施形態に係るジェスチャ認識装置は、ジェスチャを行った対象部位の形状によって、ポインタの移動量を補正する。これにより、指先でジェスチャを行った場合（すなわちジェスチャの動きが小さい場合）と、手全体でジェスチャを行った場合（すなわちジェスチャの動きが大きい場合）とを識別することができ、ポインタの移動量を適切に設定することができる。
【００５０】
なお、実施形態の説明では、ステップＳ１３にて対象部位の形状を毎回判定しているが、当該ステップは、対象部位を検出した後の一回のみ実行し、ジェスチャが開始された後はスキップするようにしてもよい。このようにすることで、処理量を抑えることができる。
ただし、ジェスチャが終了し、続けて異なるジェスチャが開始される場合もあるため、このような場合は、当該ステップを再度実行するようにしてもよい。例えば、対象部位の形状や大きさが著しく変化した場合や、対象部位が画像からフレームアウトして再度フレームインした場合などは、異なるジェスチャが開始されたと判断し、ステップＳ１３を再度実行するようにしてもよい。また、明示的な操作によって再実行してもよい。
【００５１】
（第二の実施形態）
第二の実施形態は、対象部位の移動量および移動方向を用いてポインタの移動先を決定するのではなく、領域同士をマッピングすることでポインタの移動先を決定する実施形態である。第二の実施形態に係るジェスチャ認識装置の構成は、以下に説明する点を除き、第一の実施形態と同様である。
【００５２】
図６は、第二の実施形態におけるジェスチャ認識装置１００の処理フローチャートである。ステップＳ１１〜Ｓ１３，Ｓ１７の処理については、第一の実施形態と同様であるため、説明を省略する。
【００５３】
ステップＳ２４では、ポインタ制御部１０３が、取得したカメラ画像に、操作画面に対応する領域である認識領域を設定する。
認識領域について、図７を参照しながら説明する。図７（Ａ）はカメラ画像の例であり、図７（Ｂ）は操作画面の例である。認識領域とは、取得したカメラ画像に設定される領域であり、操作画面と座標が対応付いた領域である。
本例では、認識領域５１が操作画面５２と対応する。すなわち、認識領域５１の左上が、操作画面５２の右上に対応し、認識領域５１の右下が、操作画面５２の左下に対応する
。
【００５４】
そして、ステップＳ２５で、ジェスチャ抽出部１０２が、認識領域中にある対象部位の座標を検出し、ポインタ制御部１０３が座標の変換を行って、操作画面における対応座標を生成する。
そして、ステップＳ１７で、コマンド生成部１０４が、当該座標にポインタを移動させる信号を生成する。この結果、第一の実施形態と同様に、操作画面上をポインタが移動する。
【００５５】
第二の実施形態では、検出した対象部位の形状に基づいて、認識領域のサイズを変更することでポインタの移動量を補正する。
ここで、ステップＳ２５で行う、認識領域の具体的な設定方法について説明する。本実施形態では、認識領域を以下のように設定する。
（１）認識領域のサイズ＝（既定のサイズ×係数Ｃ2）÷補正値
（２）認識領域の中心座標＝対象部位の中心座標
係数Ｃ2は、補正前の認識領域のサイズを決定するための数値である。係数Ｃ2は固定値であってもよいし、対象部位の大きさに応じて増減する値であってもよい。例えば、対象部位の大きさがカメラ画像と比較して小さい場合、利用者が装置から離れてジェスチャを行っていることが考えられるため、係数Ｃ2を１以下にすることで認識領域を小さくして
もよい。
【００５６】
また、第二の実施形態では、補正前の認識領域のサイズを、補正値によって除算する。例えば、補正前の認識領域のサイズが６００×４５０ピクセルであり、図４に示した補正データを用いる場合を考える。
この場合、対象部位が形状５であった場合、補正値１．０で除算を行い、その結果、認識領域のサイズは６００×４５０ピクセルとなる。また、対象部位が形状１であった場合、補正値３．０で除算を行い、その結果、認識領域のサイズは２００×１５０ピクセルとなる。
【００５７】
図６に示した各ステップは、第一の実施形態と同様に周期的に実行される。また、図６に示した処理の開始および終了条件は、第一の実施形態と同様である。
【００５８】
第二の実施形態によると、例えば対象部位が形状１である場合、図８および図９に示したように、形状５の場合と比較して認識領域が小さく設定される。すなわち、対象部位の移動量に対してポインタがより大きく移動するため、第一の実施形態と同様の効果を得ることができる。
【００５９】
なお、ステップＳ１３およびＳ２４は、対象部位を検出した後の一回のみ実行し、ジェスチャが開始された後はスキップする。ただし、ジェスチャが終了し、続けて異なるジェスチャが開始される場合もあるため、このような場合は、当該ステップを再度実行するようにしてもよい。例えば、対象部位の形状や大きさが著しく変化した場合や、対象部位が画像からフレームアウトして再度フレームインした場合などは、異なるジェスチャが開始されたと判断し、ステップＳ１３およびＳ２４を再度実行するようにしてもよい。また、明示的な操作によって再実行してもよい。
【００６０】
なお、本実施形態の説明では、検出した対象部位が認識領域の中心に来るように認識領域の位置を設定しているが、認識領域の位置は、操作画面に表示中のポインタの位置に応じて変更してもよい。例えば、ポインタが操作画面の左端にある場合、検出した対象部位が認識領域の左端に来るように認識領域の位置を設定してもよい。
【００６１】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、実施形態の説明では、ジェスチャ認識装置１００を、対象機器２００に組み込まれた装置であるとしたが、ジェスチャ認識装置１００は独立した装置であってもよい。
また、ジェスチャ認識装置１００は、対象機器２００上で動作するプログラムとして実装されてもよい。プログラムとして実装する場合は、メモリに記憶されたプログラムをプロセッサが実行するように構成してもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実行されるように構成してもよい。
【００６２】
また、実施形態の説明では、カメラを用いて画像を取得する例を挙げたが、ジェスチャを取得し、かつ、対象部位の形状を識別することができれば、例えばネットワーク経由で画像を受信するなど、例示した方法以外によって画像を取得するようにしてもよい。
また、対象部位は、必ずしも人の手でなくてもよい。例えば、他の身体部位であってもよいし、ジェスチャ入力用のマーカー等であってもよい。
【００６３】
また、本発明における「対象部位の形状」とは、ジェスチャ認識装置が画像を通して認識した形状を意味し、必ずしも対象部位を物理的に変形させたものである必要はない。例えば、カメラに手のひらをかざした場合と、手の甲をかざした場合とでは、それぞれ異なる形状として扱われる。同様に、ジェスチャ入力用のマーカーを用いる場合、マーカーを縦向きに保持した場合と、横向きに保持した場合とでは、それぞれ異なる形状として扱われる。
【００６４】
また、実施形態の説明では、対象部位の形状について、「形状１」と「形状５」の二種類を識別するものとしたが、他の形状を識別するようにしてもよい。他の形状とは、例えば、握った状態の手であってもよいし、指が２本立っている状態であってもよい。また、三種類以上の形状を識別するようにしてもよい。いずれの場合も、ポインタ制御部１０３に、各形状に関連付いた補正値を記憶させ、前述した方法によって補正を行えばよい。
【符号の説明】
【００６５】
１００・・・ジェスチャ認識装置
１０１・・・画像取得部
１０２・・・ジェスチャ抽出部
１０３・・・ポインタ制御部
１０４・・・コマンド生成部
２００・・・対象機器
【図１】
2015172886.tif 000003
【図２】
2015172886.tif 000004
【図３】
2015172886.tif 000005
【図４】
2015172886.tif 000006
【図５】
2015172886.tif 000007
【図６】
2015172886.tif 000008
【図７】
2015172886.tif 000009
【図８】
2015172886.tif 000010
【図９】
2015172886.tif 000011