(57)【要約】【課題】手に物を持っている場合等の特殊なケースのジェスチャーであってもジェスチャーを認識できるようにすることを目的とする。【解決手段】ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置であって、前記ジェスチャー画像からジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成する物体除去部２０４と、前記物体除去部２０４により生成されたジェスチャー対象画像から特徴情報を抽出する特徴抽出部２０５と、前記特徴抽出部２０５により抽出された特徴情報に基づいてジェスチャーを認識するジェスチャー認識部２０６と、を有することを特徴とする。【選択図】図２
2014102697.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置であって、
前記ジェスチャー画像からジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成する物体除去手段と、
前記物体除去手段により生成されたジェスチャー対象画像から特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴情報に基づいてジェスチャーを認識するジェスチャー認識手段と、を有することを特徴とするジェスチャー認識装置。
【請求項２】
前記ジェスチャー対象以外の物体の画像を登録する物体登録手段と、
前記ジェスチャー画像に、前記物体登録手段により登録されたジェスチャー対象以外の物体の画像が存在するか否かを判定する物体認識手段と、を有し、
前記物体除去手段は、前記物体認識手段によりジェスチャー対象以外の物体の画像が存在すると判定された場合に、前記ジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成することを特徴とする請求項１に記載のジェスチャー認識装置。
【請求項３】
前記ジェスチャー画像からジェスチャー対象以外の物体を識別する識別手段を有し、
前記物体除去手段は、前記ジェスチャー画像から前記識別手段により識別された物体の画像を取り除くことによりジェスチャー対象画像を生成することを特徴とする請求項１に記載のジェスチャー認識装置。
【請求項４】
前記識別手段は、ジェスチャー対象以外の物体を色または形状に基づいて識別することを特徴とする請求項３に記載のジェスチャー認識装置。
【請求項５】
認識すべきジェスチャーのジェスチャー情報を登録するジェスチャー登録手段を有し、
前記ジェスチャー認識手段は、前記特徴抽出手段により抽出された特徴情報と、前記ジェスチャー登録手段により登録されたジェスチャー情報とを比較することでユーザにより入力されたジェスチャー画像のジェスチャーを認識することを特徴とする請求項１ないし４の何れか１項に記載のジェスチャー認識装置。
【請求項６】
ジェスチャー対象以外の物体を取り除いた場合に対応するジェスチャー情報が登録された第１のジェスチャー登録手段と、ジェスチャー対象以外の物体を取り除かない場合に対応するジェスチャー情報が登録された第２のジェスチャー登録手段とを有し、
前記ジェスチャー認識手段は、前記物体除去手段により生成されたジェスチャー対象画像に応じて、前記第１のジェスチャー登録手段および前記第２のジェスチャー登録手段のうち取得するジェスチャー情報のジェスチャー登録手段を切り替えることを特徴とする請求項１ないし５の何れか１項に記載のジェスチャー認識装置。
【請求項７】
前記ジェスチャー認識手段は、前記物体除去手段によりジェスチャー対象以外の物体を取り除いて生成されたジェスチャー対象画像であるか、ジェスチャー対象以外の物体を取り除くことなく生成されたジェスチャー対象画像であるかに応じて、前記ジェスチャー登録手段を切り替えることを特徴とする請求項６に記載のジェスチャー認識装置。
【請求項８】
ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置の制御方法であって、
前記ジェスチャー画像からジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成する物体除去ステップと、
前記物体除去ステップにより生成されたジェスチャー対象画像から特徴情報を抽出する特徴抽出ステップと、
前記特徴抽出ステップにより抽出された特徴情報に基づいてジェスチャーを認識するジェスチャー認識ステップと、を有することを特徴とする制御方法。
【請求項９】
ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置を制御するためのプログラムであって、
前記ジェスチャー画像からジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成する物体除去ステップと、
前記物体除去ステップにより生成されたジェスチャー対象画像から特徴情報を抽出する特徴抽出ステップと、
前記特徴抽出ステップにより抽出された特徴情報に基づいてジェスチャーを認識するジェスチャー認識ステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置、その制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、デジタル機器のユーザインターフェースとして人間のジェスチャー認識により予め定義されているコマンドを選定し、デジタル機器を操作する情報処理装置（以下、ジェスチャー認識装置と称する）が知られている。
ジェスチャーは、カメラ等で動作を検出できる検出可能領域（ジェスチャエリア）内で行われたユーザの動作から、特徴点を抽出してパターン照合によって認識する。ジェスチャー認識方法は、認識したジェスチャーに応じて、予め登録されているジェスチャーに応じたコマンドを実行し、デジタル機器を操作する。そのため、ユーザは認識させるジェスチャーおよびそのジェスチャーで実行するコマンドの登録が必要である。
【０００３】
デジタル機器は複数のユーザが使用する場合があったり、ジェスチャーを行うときに登録したジェスチャーを再現できない場合があったりする。例えば病院において、手の動作をジェスチャーとして登録している場合であっても、手術中であれば手にメスを持ってジェスチャーを行ったり、診断中であれば手にペンを持ってジェスチャーを行ったりする状況が想定される。
【０００４】
このような特殊なケースでは、ユーザ毎に予め必要なジェスチャーを登録しなければジェスチャーとして認識しないため、デジタル機器を動作させることができない。したがって、ユーザは改めて登録済みのジェスチャーを再現して、やり直さなければならず、そのような操作が煩わしいという問題がある。
【０００５】
このような問題を解決するために、特許文献１にはユーザ毎に対応するジェスチャーとコマンドとを登録し、ジェスチャーを行ったユーザを特定し、特定したユーザからジェスチャーを認識し、ジェスチャーにあったコマンドを実行する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２３３４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された方法は、ユーザとユーザによるジェスチャーとを登録するために、例えばユーザが手に物を持ったままジェスチャーしても認識することができない。また、手に物を持ったジェスチャーを登録する場合には、手に持つ種類分のジェスチャーを登録する必要がある。更に、ジェスチャーする場合にはいつも同じ物を手に持つ必要があるため、有効な方法であるとはいえない。
本発明は、上述したような問題点に鑑みてなされたものであり、手に物を持っている場合等の特殊なケースのジェスチャーであってもジェスチャーを認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、ユーザにより入力されたジェスチャー画像からジェスチャーを認識するジェスチャー認識装置であって、前記ジェスチャー画像からジェスチャー対象以外の物体を取り除いたジェスチャー対象画像を生成する物体除去手段と、前記物体除去手段により生成されたジェスチャー対象画像から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された特徴情報に基づいてジェスチャーを認識するジェスチャー認識手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、手に物を持っている場合等の特殊なケースのジェスチャーであってもジェスチャーを認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のコマンド実行システムの構成を示す図である。
【図２】第１の実施形態のジェスチャー認識装置の構成を示す図である。
【図３】第１の実施形態のジェスチャー認識装置に無視する物体を登録する処理を示すフローチャートである。
【図４】第１の実施形態のジェスチャー認識装置にジェスチャー情報を登録する処理を示すフローチャートである。
【図５】第１の実施形態の物体認識部による処理を示すフローチャートである。
【図６】第１の実施形態のジェスチャー認識部による処理を示すフローチャートである。
【図７】第１の実施形態のジェスチャー画像の一例を示す図である。
【図８】第１の実施形態の無視する物体の画像の一例を示す図である。
【図９】第１の実施形態の物体除去部により生成されたジェスチャー画像の一例を示す図である。
【図１０】第１の実施形態の登録ジェスチャーＤＢに登録されたジェスチャー情報の一例を示す図である。
【図１１】第１の実施形態の特徴抽出部により抽出されたジェスチャー対象画像の特徴点の情報および特徴量の情報の一例を示す図である。
【図１２】従来技術におけるジェスチャー画像の特徴点の情報および特徴量の情報の一例を示す図である。
【図１３】第２の実施形態のジェスチャー認識装置の構成を示す図である。
【図１４】第２の実施形態の特徴認識部による処理を示すフローチャートである。
【図１５】第２の実施形態の特徴認識部により抽出された物体の画像の一例を示す図である。
【図１６】第２の実施形態の物体除去部により生成されたジェスチャー対象画像の一例を示す図である。
【図１７】第３の実施形態のジェスチャー認識装置の構成を示す図である。
【図１８】第３の実施形態のジェスチャー認識装置にジェスチャー情報を登録する処理を示すフローチャートである。
【図１９】第３の実施形態のジェスチャー認識部による処理を示すフローチャートである。
【図２０】第３の実施形態のジェスチャー画像の一例を示す図である。
【図２１】第３の実施形態の登録ジェスチャーＤＢに登録されたジェスチャー情報の一例を示す図である。
【図２２】第３の実施形態の特徴抽出部により抽出されたジェスチャー対象画像の特徴点の情報および特徴量の情報の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態の構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
（第１の実施形態）
図１は、ジェスチャー認識装置１０２を含むコマンド実行システム１００の構成を示す図である。
コマンド実行システム１００は、ユーザにより入力されたジェスチャーを認識し、認識したジェスチャーに対応するコマンドを決定し、決定したコマンドを実行する。コマンド実行システム１００は、ジェスチャー認識装置１０２、登録コマンド保存装置１０３、コマンド決定装置１０４、アプリケーション１０５を備えている。
【００１２】
ユーザ１０１は、認識すべきジェスチャー画像や無視する物体をジェスチャー認識装置１０２に予め登録する。また、ユーザ１０１は、ジェスチャーによって実行するコマンドを登録コマンド保存装置１０３に予め登録する。登録後、ユーザ１０１はジェスチャー認識装置１０２に実行すべきジェスチャー画像を入力する。ジェスチャー認識装置１０２はユーザによりジェスチャー画像が入力されると、登録済みの無視する物体と認識すべきジェスチャー画像を用いてジェスチャーを特定し、コマンド決定装置１０４に入力する。登録コマンド保存装置１０３は、登録済みのコマンドをコマンド決定装置１０４に入力する。コマンド決定装置１０４は、ジェスチャー認識装置１０２および登録コマンド保存装置１０３により入力される情報から、ジェスチャーに応じて実行すべきコマンドを決定し、アプリケーション１０５に入力する。アプリケーション１０５は入力されたコマンドに応じた処理を実行する。
【００１３】
第１の実施形態では、登録コマンド保存装置１０３には、例えば手をチョキの形で横方向に動かすジェスチャーがスクロールコマンドに関連付けて登録されている。また、手をチョキの形で縦方向に動かすジェスチャーがページめくりコマンドに関連付けて登録されている。また、手をチョキの形で奥行方向に動かすジェスチャーがズームコマンドに関連付けて登録されている。ここでは、登録コマンド保存装置１０３に登録されている各ジェスチャーにはジェスチャーごとに識別情報が付されている。
【００１４】
図２は、第１の実施形態に係るジェスチャー認識装置１０２の主要部の構成を示す図である。
ジェスチャー認識装置１０２は、映像入力部２０１、物体認識部２０２、登録物体ＤＢ（データベース）２０３、物体除去部２０４、特徴抽出部２０５、ジェスチャー認識部２０６、登録ジェスチャーＤＢ（データベース）２０７を備えている。物体認識部２０２、物体除去部２０４、特徴抽出部２０５およびジェスチャー認識部２０６は、例えばジェスチャー認識装置１０２のＣＰＵがＲＯＭに格納された、ジェスチャー認識装置１０２を制御するためのプログラムを実行することにより構成される。
【００１５】
ジェスチャー認識装置１０２は、ユーザによる登録操作に応じて、無視する物体（ジェスチャー対象以外の物体）の画像を登録物体ＤＢ２０３に記憶することで登録する。登録物体ＤＢ２０３は、物体登録手段の一例に対応する。本実施形態では、無視する物体の画像として、例えばメスやペン等の画像が登録されている。
また、ジェスチャー認識装置１０２は、ユーザによる登録操作に応じて、認識すべきジェスチャーのジェスチャー情報を登録ジェスチャーＤＢ２０７に記憶することで登録する。登録ジェスチャーＤＢ２０７は、ジェスチャー登録手段の一例に対応する。ジェスチャー情報は、例えば手の形を示す特徴点の情報と、その特徴点の動きを示す特徴量の情報である。本実施形態では、ジェスチャー情報として、例えばメスやペン等を持った状態でチョキにした手の特徴点と横方向への動き、同様な手の特徴点と縦方向への動き、同様な手の特徴点と奥行き方向への動きの３つが登録されている。なお、奥行き方向への動きとしては、例えば複数の特徴点を包含する特徴点領域の大きさが拡大および縮小する変化を示す情報（特徴量の情報）が登録されている。
【００１６】
無視する物体の画像や認識すべきジェスチャーのジェスチャー情報が登録された後、映像入力部２０１は、ユーザから入力されるジェスチャーをジェスチャー画像として取り込む。映像入力部２０１は、取り込んだジェスチャー画像を物体認識部２０２に出力する。映像入力部２０１は、例えばカメラを用いることができる。
【００１７】
物体認識部２０２は、登録物体ＤＢ２０３に登録されている無視する物体の画像を取得し、映像入力部２０１から出力されたジェスチャー画像を解析して、比較する。比較の結果、物体認識部２０２は、ジェスチャー画像と無視する物体の画像とを物体除去部２０４に送信する。
物体除去部２０４は、受信したジェスチャー画像と無視する物体の画像とから、ジェスチャー画像内に存在する無視する物体の画像を取り除き、ジェスチャー対象画像を生成する。物体除去部２０４は、無視する物体を取り除いて生成したジェスチャー対象画像を特徴抽出部２０５に送信する。
【００１８】
特徴抽出部２０５は、ジェスチャー対象画像から特徴情報を抽出する。ここで、特徴情報とは、特徴点の情報と、特徴点の動きを示す特徴量の情報とが含まれる。特徴抽出部２０５は、抽出した特徴点の情報および特徴量の情報をジェスチャー認識部２０６に送信する。
ジェスチャー認識部２０６は、登録ジェスチャーＤＢ２０７に登録されているジェスチャー情報を取得し、ジェスチャー認識部２０６から送信された特徴点の情報および特徴量の情報と、登録済みのジェスチャー情報とを比較して、ジェスチャーを特定する。
【００１９】
次に、ジェスチャー認識装置１０２に無視する物体を登録する処理について図３のフローチャートを参照して説明する。図３に示すフローチャートは、例えばユーザがジェスチャー認識装置１０２に対して、無視する物体の画像を登録するための登録操作に応じて処理が開始される。ここではユーザによる無視する物体の画像の入力に応じて物体認識部２０２が処理を行う。
ステップＳ３０１では、物体認識部２０２は、ユーザにより無視する物体の画像が入力されたか否かを判定する。無視する物体の画像は、映像入力部２０１を介して取り込まれる画像である。無視する物体の画像が入力された場合にはステップＳ３０２に進む。一方、無視する物体の画像が入力されていない場合にはステップＳ３０１に戻り、画像の入力を待機する。
【００２０】
ステップＳ３０２では、物体認識部２０２は、入力された無視する物体の画像が既に登録物体ＤＢ２０３に登録されているか否かを判定する。登録されている場合にはステップＳ３０１に戻り、登録されていない場合にはステップＳ３０３に進む。
ステップＳ３０３では、物体認識部２０２は、無視する物体の画像を登録物体ＤＢ２０３に記憶することで登録する。
【００２１】
次に、ジェスチャー認識装置１０２に認識すべきジェスチャーのジェスチャー情報を登録する処理について図４のフローチャートを参照して説明する。図４に示すフローチャートは、例えばユーザがジェスチャー認識装置１０２に対して、ジェスチャー情報を登録するための登録操作に応じて処理が開始される。ここでは、ユーザによるジェスチャー情報の入力に応じてジェスチャー認識部２０６が処理を行う。
ステップＳ４０１では、ジェスチャー認識部２０６は、ユーザによりジェスチャー情報が入力されたか否かを判定する。ここで、ジェスチャー情報は、特徴抽出部２０５が映像入力部２０１を介して取り込まれたジェスチャー画像から抽出した特徴点の情報および特徴量の情報である。
ジェスチャー情報が入力された場合にはステップＳ４０２に進む。一方、ジェスチャー情報が入力されていない場合にはステップＳ４０１に戻り、ジェスチャー情報の入力を待機する。
【００２２】
ステップＳ４０２では、ジェスチャー認識部２０６は、入力されたジェスチャー情報が既に登録ジェスチャーＤＢ２０７に登録されているか否かを判定する。登録されている場合にはステップＳ４０１に戻り、登録されていない場合にはステップＳ４０３に進む。
ステップＳ４０３では、ジェスチャー認識部２０６は、ジェスチャー情報を登録ジェスチャーＤＢ２０７に記憶することで登録する。更に、ジェスチャー認識部２０６は、ユーザによる登録操作に応じて、ジェスチャー情報ごとに、各ジェスチャー情報がどのようなジェスチャーであるかを示す識別情報を関連付けて登録する。例えばチョキにした手の特徴点の情報とその特徴点が横方向へ動くことを示す特徴量の情報とを有するジェスチャー情報には、手をチョキの形で横方向に動かすジェスチャーであることを示す識別情報を関連付けて登録する。
【００２３】
次に、ジェスチャー認識装置１０２の物体認識部２０２による処理について図５のフローチャートを参照して説明する。図５に示すフローチャートは無視する物体の画像およびジェスチャー情報が登録された後であって、例えばユーザがジェスチャー認識装置１０２に対して、ジェスチャー認識を開始する指示に応じて処理が開始される。
ステップＳ５０１では、物体認識部２０２は、ユーザが入力したジェスチャー画像があるか否かを判定する。ここで、ジェスチャー画像とは、映像入力部２０１を介して取り込まれた、ユーザが行ったジェスチャーの画像である。ジェスチャー画像がある場合にはステップＳ５０２に進み、ジェスチャー画像がない場合にはステップＳ５０１に戻り、ジェスチャー画像の入力を待機する。
【００２４】
ステップＳ５０２では、物体認識部２０２は、登録物体ＤＢ２０３に無視する物体の画像が登録されているか否かを判定する。登録物体ＤＢ２０３に無視する物体の画像が登録されている場合には無視する物体の画像を一つ取得してステップＳ５０３に進む。一方、登録物体ＤＢ２０３に無視する物体の画像が登録されていない場合にはステップＳ５０６に進む。
ステップＳ５０３では、物体認識部２０２は、取得した無視する物体の画像がステップＳ５０１に入力されたジェスチャー画像内に存在するか否かを判定する。物体が存在する場合にはステップＳ５０４に進み、物体が存在しない場合にはステップＳ５０５に進む。
【００２５】
ステップＳ５０４では、物体認識部２０２は、ジェスチャー画像と無視する物体の画像とを物体除去部２０４に送信する。物体除去部２０４は、ジェスチャー画像から無視する物体の画像を取り除いた画像（ここではジェスチャー対象画像という）を生成する。
ステップＳ５０５では、物体認識部２０２は、登録物体ＤＢ２０３から次の無視する物体の画像を取得し、ステップＳ５０２に戻る。
ステップＳ５０６では、物体認識部２０２は、ジェスチャー画像のみを物体除去部２０４に送信する。ステップＳ５０６に進む場合とは、ジェスチャー画像内に、登録物体ＤＢ２０３に登録されている無視する物体の画像が一つもない場合である。この場合には、物体除去部２０４は、ジェスチャー画像から物体を取り除く処理を行わない。したがって、物体除去部２０４に送信されたジェスチャー画像自体がジェスチャー対象画像となる。
【００２６】
次に、ジェスチャー認識装置１０２のジェスチャー認識部２０６による処理について図６のフローチャートを参照して説明する。なお、図６のフローチャートは、物体除去部２０４により生成されたジェスチャー対象画像が特徴抽出部２０５に送信された後、特徴抽出部２０５によりジェスチャー対象画像から特徴情報、すなわち特徴点の情報および特徴量の情報が抽出された後に開始される。
ステップＳ６０１では、ジェスチャー認識部２０６は、ジェスチャー対象画像に特徴点の情報および特徴量の情報があるか否かを判定する。特徴点の情報および特徴量の情報がある場合にはステップＳ６０２に進み、特徴点の情報および特徴量の情報がない場合にはステップＳ６０１に戻る。
ステップＳ６０２では、ジェスチャー認識部２０６は、登録ジェスチャーＤＢ２０７にジェスチャー情報が登録されているか否かを判定する。登録ジェスチャーＤＢ２０７にジェスチャー情報が登録されている場合にはジェスチャー情報を一つ取得してステップＳ６０３に進む。一方、登録ジェスチャーＤＢ２０７にジェスチャー情報が登録されていない場合にはステップＳ６０７に進む。
【００２７】
ステップＳ６０３では、ジェスチャー認識部２０６は、ジェスチャー対象画像の特徴点の情報および特徴量の情報と、取得したジェスチャー情報とを比較する。ジェスチャー認識部２０６は、仮にジェスチャー対象画像が、取得したジェスチャー情報に対応するジェスチャー（一時ジェスチャーという）であると仮定したときに、一時ジェスチャーである確率（一時ジェスチャーの確率という）を算出する。ここでは、ジェスチャー認識部２０６は、ジェスチャー対象画像の特徴点の情報および特徴量の情報と、取得したジェスチャー情報との近似の程度に基づいて確率を算出する。具体的には、ジェスチャー認識部２０６は、特徴点の形および特徴量である動き方向が近似している場合には高い確率で算出し、近似していない場合には低い確率で算出する。
ステップＳ６０４では、ジェスチャー認識部２０６は、算出した一時ジェスチャーの確率が、推定ジェスチャーの確率よりも高いか否かを判定する。なお、最初にステップＳ６０３に進む場合には、まだ推定ジェスチャーの確率が算出されていないため、一時ジェスチャーの確率は、推定ジェスチャーの確率よりも高いと判定される。一時ジェスチャーの確率が推定ジェスチャーの確率よりも高い場合にはステップＳ６０５に進む。一方、一時ジェスチャーの確率が推定ジェスチャーの確率によりも低い場合にはステップＳ６０６に進む。
【００２８】
ステップＳ６０５では、ジェスチャー認識部２０６は、一時ジェスチャーを推定ジェスチャーとして置き換えることで更新すると共に、一時ジェスチャーの確率も推定ジェスチャーの確率として置き換えることで更新する。
ステップＳ６０６では、ジェスチャー認識部２０６は、登録物体ＤＢ２０３から次のジェスチャー情報を取得し、ステップＳ６０２に戻る。
【００２９】
ステップＳ６０７は、ジェスチャー認識部２０６は、推定ジェスチャーの確率が閾値以上であるか否かを判定する。閾値は、コマンド実行システム１００で予め定められている値であり、本実施形態の場合には例えば９５％であるものとする。推定ジェスチャーの確率が閾値以上である場合にはステップＳ６０８に進み、閾値よりも低い場合にはステップＳ６０１に戻る。
ステップＳ６０８では、ジェスチャー認識部２０６は、推定ジェスチャーを確定ジェスチャーとして特定し、確定ジェスチャーのジェスチャー情報に関連付けられたジェスチャーの識別情報をコマンド決定装置１０４に送信する。確定ジェスチャーがジェスチャー認識装置１０２によって認識されたジェスチャーとなる。
【００３０】
次に、具体的に、ジェスチャー認識部２０６によってジェスチャーを認識する動作の一例を図７〜図１２を参照して説明する。
図７は、ユーザが入力し、映像入力部２０１により取り込まれたジェスチャー画像の一例を示す図である。本実施形態では、病院での手術中に、ユーザが手の動きでのジェスチャーによって、機器を操作することを想定している。本実施形態では、ユーザのジェスチャー画像としてメスを持った手のうち薬指と小指を用いてチョキ（Ｖ字状）にした形が略横方向に動くジェスチャー画像が入力されたものとする。
図８は、登録物体ＤＢ２０３に登録されている無視する物体の画像の一例を示す図である。本実施形態では、図８（ａ）に示すピンセットと、図８（ｂ）に示すメスとの２つの画像が登録されている。なお、これらの物体の他にペンやハサミ等を追加して登録することができる。
【００３１】
図９は、物体除去部２０４がジェスチャー画像から図８（ｂ）に示す無視する物体の画像を取り除いた後のジェスチャー対象画像の一例を示す図である。ここでは、図７に示すジェスチャー画像内に無視する物体である図８（ｂ）に示すメスの画像が存在しているため、物体除去部２０４が図７に示すジェスチャー画像から図８（ｂ）に示すメスの画像を取り除くことでジェスチャー対象画像が生成される。
【００３２】
図１０は、登録ジェスチャーＤＢ２０７に登録されているジェスチャー情報の一例を示す図である。本実施形態では、図１０（ａ）は特徴点の情報および特徴点が横方向に動くことを示す特徴量の情報である。図１０（ｂ）は特徴点の情報および特徴点が縦方向に動くことを示す特徴量の情報である。図１０（ｃ）は特徴点の情報および特徴点が奥行き方向に動くことを示す特徴量の情報である。本実施形態では、図１０（ａ）〜（ｃ）に示すジェスチャー情報が登録ジェスチャーＤＢ２０７に登録されている。
図１１は、特徴抽出部２０５によりジェスチャー対象画像から抽出された特徴点の情報および特徴量の情報の一例を示す図である。図１１に示すように、各指の先端が特徴点として抽出されると共に、各特徴点が横方向に動いていることを示す特徴量が抽出される。図１１のように抽出された特徴点の情報および特徴量の情報と、図１０（ａ）〜（ｃ）に示すジェスチャー情報とが比較され、最も近いジェスチャーが特定される。本実施形態では、ジェスチャー対象画像がチョキにした手を横方向に動かすジェスチャーとして認識される。
【００３３】
なお、図１２は、図７に示すジェスチャー画像から無視する物体の画像を取り除かずに抽出した特徴点の情報および特徴量の情報の結果を示す図である。ここでは、メスの画像からも特徴点が抽出されるため、図１０（ａ）〜（ｃ）に示すジェスチャー情報の何れにも一致しないために、ジェスチャーを認識することができない。
【００３４】
ジェスチャーを特定した後、ジェスチャー認識装置１０２は入力されたジェスチャー画像がチョキにした手を横方向に動かすジェスチャーを示す識別情報をコマンド決定装置１０４に出力する。コマンド決定装置１０４は、登録コマンド保存装置１０３からジェスチャーの識別情報に関連付けられたコマンドとしてスクロールコマンドを抽出する。コマンド決定装置１０４は抽出したスクロールコマンドをアプリケーション１０５に送信することで、アプリケーション１０５がスクロール処理を実行する。
【００３５】
このように本実施形態によれば、無視する物体の画像とジェスチャー情報を登録することで、例えば手に物を持ったままジェスチャーをしたとしても、ジェスチャー画像から無視する物体の画像を取り除いて、ジェスチャーを認識する。したがって、例えば手に物を持った場合等の特殊なケースでもジェスチャーを正しく認識することができ、機器を操作するときの操作性が向上する。
【００３６】
（第２の実施形態）
第１の実施形態では、ユーザが予め無視する物体の画像を登録し、ジェスチャー認識装置１０２がジェスチャー画像から無視する物体の画像を取り除くことでジェスチャーを認識する場合について説明した。
第２の実施形態では、ユーザが予め無視する物体の画像を登録することなく、ジェスチャー画像からジェスチャー対象以外の物体の画像を取り除くことでジェスチャーを認識する実施形態について説明する。なお、第２の実施形態におけるコマンド実行システム１００の構成は第１の実施形態と同様であり、その説明を省略する。
【００３７】
図１３は、第２の実施形態に係るジェスチャー認識装置１０２の主要部の構成を示す図である。なお、第２の実施形態におけるジェスチャー認識装置１０２のうち第１の実施形態と同様の構成は、同一の符号を付し、その説明を省略する。
本実施形態のジェスチャー認識装置１０２は、特徴認識部１３０１が追加されて構成されている。特徴認識部１３０１は、ジェスチャー認識装置１０２のＣＰＵがＲＯＭに格納されたプログラムを実行することにより構成される。特徴認識部１３０１は、映像入力部２０１を介して取り込まれたジェスチャー画像を解析し、ジェスチャー画像からジェスチャー対象以外の物体の画像を抽出する。特徴認識部１３０１は、ジェスチャー画像と抽出したジェスチャー対象以外の物体の画像とを物体除去部２０４に送信する。したがって、物体除去部２０４は、送信されたジェスチャー画像からジェスチャー対象以外の物体の画像を取り除き、ジェスチャー対象画像を生成することができる。
【００３８】
次に、ジェスチャー認識装置１０２の特徴認識部１３０１による処理について図１４のフローチャートを参照して説明する。図１４に示すフローチャートのうち、図５に示すフローチャートと同様の処理は、図５と同一のステップ番号を付して、その説明を省略する。
ステップＳ１４０１では、特徴認識部１３０１は、ジェスチャー画像内にジェスチャー対象以外の物体が存在するか否かを判定する。本実施形態では、特徴認識部１３０１は、ジェスチャー画像からジェスチャー対象である手以外の物体を識別する。ジェスチャー対象以外の物体を識別する手段として、色や形状に基づいて識別することができる。特徴認識部１３０１は、例えば肌色や手術用の手袋の色等に基づいてジェスチャー対象を識別したり、メスやハサミ等の形状に基づいてジェスチャー対象以外の物体を識別したりする。ジェスチャー対象以外の物体が存在する場合にはステップＳ１４０２に進み、物体が存在しない場合にはステップＳ５０６に進む。
【００３９】
ステップＳ１４０２では、特徴認識部１３０１は、ジェスチャー画像からジェスチャー対象以外の物体の画像を抽出する。
ステップＳ１４０３では、特徴認識部１３０１は、ジェスチャー画像とジェスチャー対象以外の物体の画像とを物体除去部２０４に送信する。物体除去部２０４は、ジェスチャー画像からジェスチャー対象以外の物体の画像を取り除いた画像（ここではジェスチャー対象画像という）を生成する。
【００４０】
次に、具体的に、特徴認識部１３０１や物体除去部２０４による動作の一例を図１５および図１６を参照して説明する。なお、映像入力部２０１により取り込まれるジェスチャー画像は、第１の実施形態と同様であり、その説明を省略する。
図１５は、特徴認識部１３０１により抽出される物体の画像の一例を示す図である。本実施形態では、メスの画像が抽出される。
図１６は、物体除去部２０４がジェスチャー画像から図１５に示すジェスチャー対象以外の物体の画像を取り除いた後のジェスチャー対象画像の一例を示す図である。ここでは、物体除去部２０４が図７に示すジェスチャー画像から図１５に示すメスの画像を取り除くことでジェスチャー対象画像が生成される。
【００４１】
なお、物体除去部２０４がジェスチャー対象以外の物体の画像を取り除いた後に、特徴抽出部２０５がジェスチャー対象画像から抽出する特徴点の情報および特徴量の情報は、図１１に示す特徴点の情報および特徴量の情報と同様である。また、特徴抽出部２０５で抽出した特徴点の情報および特徴量の情報からジェスチャーの認識を行うジェスチャー認識部２０６による処理の結果も、第１の実施形態と同様であり、その説明を省略する。
【００４２】
したがって、ジェスチャー認識装置１０２は入力されたジェスチャー画像がチョキにした手を横方向に動かすジェスチャーを示す識別情報をコマンド決定装置１０４に出力する。コマンド決定装置１０４は、登録コマンド保存装置１０３からジェスチャーの識別情報に関連付けられたコマンドとしてスクロールコマンドを抽出する。コマンド決定装置１０４は抽出したスクロールコマンドをアプリケーション１０５に送信することで、アプリケーション１０５がスクロール処理を実行する。
【００４３】
このように本実施形態によれば、入力されるジェスチャー画像からジェスチャー対象以外の物体を識別し、ジェスチャー画像からジェスチャー対象以外の物体を取り除いて、ジェスチャーを認識する。したがって、例えば手に物を持った場合等の特殊なケースでもジェスチャーを正しく認識することができ、機器を操作するときの操作性が向上する。
【００４４】
（第３の実施形態）
第１の実施形態および第２の実施形態では、例えば手にメス等を持っている特殊なケースでのジェスチャーを認識する場合について説明した。
第３の実施形態では、手に物を持っているケースと手に物を持っていないケースとで、ジェスチャー対象画像と比較するジェスチャー情報が切り替えることで、ジェスチャーを認識する実施形態について説明する。ここでは、予めユーザが手に物を持ったケースに対応するジェスチャー情報と手に物を持っていないケースに対応するジェスチャー情報とをそれぞれ別々の登録ジェスチャーＤＢに登録する。その後、入力されたジェスチャー画像が手に物を持っているケースであるか、手に物を持っていないケースであるかを判断し、判断したケースでのジェスチャーの認識を行う。
【００４５】
なお、第３の実施形態におけるコマンド実行システム１００の構成は第１の実施形態と同様であり、その説明を省略する。なお、登録コマンド保存装置１０３には、第１および第２の実施形態で説明したコマンドに加え、手に物を持っていないケースに対応させたコマンドも登録する。本実施形態では、手をパーの形で横方向に動かすジェスチャーがスクロールコマンドに関連付けて登録されている。また、手をパーの形で縦方向に動かすジェスチャーがページめくりコマンドに関連付けて登録されている。また、手をパーの形で奥行方向に動かすジェスチャーがズームコマンドに関連付けて登録されている。ここでも、登録コマンド保存装置１０３に登録されている各ジェスチャーにはジェスチャーごとに識別情報が付されている。
【００４６】
図１７は、第３の実施形態に係るジェスチャー認識装置１０２の主要部の構成を示す図である。なお、第３の実施形態におけるジェスチャー認識装置１０２のうち第１の実施形態と同様の構成は同一の符号を付し、その説明を省略する。
本実施形態のジェスチャー認識装置１０２は、登録ジェスチャーＤＢ（Ａ）１７０１と登録ジェスチャーＤＢ（Ｂ）１７０２との２つの登録ジェスチャーＤＢを備えている。登録ジェスチャーＤＢ（Ａ）１７０１は第１のジェスチャー登録手段の一例に対応し、登録ジェスチャーＤＢ（Ｂ）１７０２は第２のジェスチャー登録手段の一例に対応する。登録ジェスチャーＤＢ（Ａ）１７０１は、ジェスチャー対象以外の物体を取り除くケースに対応するジェスチャー情報が登録されている。登録ジェスチャーＤＢ（Ｂ）１７０２は、ジェスチャー対象以外の物体を取り除かないケースに対応するジェスチャー情報が登録されている。ここで、ジェスチャー対象以外の物体を取り除くケースに対応するジェスチャー情報とは、手に物を持ったケースに対応するジェスチャー情報である。また、ジェスチャー対象以外の物体を取り除かないケースに対応するジェスチャー情報とは、手に物を持っていないケースに対応するジェスチャー情報である。ユーザはジェスチャー情報を登録ジェスチャーＤＢ（Ａ）１７０１または登録ジェスチャーＤＢ（Ｂ）１７０２に登録する。登録ジェスチャーＤＢを登録ジェスチャーＤＢ（Ａ）１７０１または登録ジェスチャーＤＢ（Ｂ）１７０２に切り替えることで、ジェスチャー対象画像と比較するジェスチャー情報が切り替わる。なお、本実施形態は、２つのデータベースを備えているが、２つ以上備えていてもよい。
【００４７】
なお、図１７に示す物体認識部２０２および登録物体ＤＢ２０３は、第２の実施形態で説明した特徴認識部１３０１に置き換えてもよい。なお、物体認識部２０２および登録物体ＤＢ２０３は第１の実施形態で説明した機能と同様であり、特徴認識部１３０１は第２の実施形態で説明した機能と同様であり、その説明を省略する。
【００４８】
物体除去部２０４は、受信したジェスチャー画像と無視する物体の画像（ジェスチャー対象以外の物体の画像）とから、ジェスチャー画像内に存在する無視する物体の画像を取り除き、ジェスチャー対象画像を生成する。あるいは、物体除去部２０４は、物体を取り除くことなく、受信したジェスチャー画像をジェスチャー対象画像として生成する。物体除去部２０４は、生成したジェスチャー対象画像を特徴抽出部２０５に送信する。このとき、物体除去部２０４は、ジェスチャー対象画像と共に、物体を取り除いたジェスチャー対象画像であるか否かを示す物体抽出フラグも特徴抽出部２０５に送信する。
【００４９】
特徴抽出部２０５は、ジェスチャー対象画像から特徴点の情報と、特徴点の動きを示す特徴量の情報とを抽出する。特徴抽出部２０５は、抽出した特徴点の情報および特徴量の情報と共に、物体除去部２０４から送信された物体抽出フラグをそのままジェスチャー認識部２０６に送信する。
ジェスチャー認識部２０６は、物体を取り除いたジェスチャー対象画像であるか否かを物体抽出フラグに基づいて判定し、判定結果に応じてジェスチャー判定条件を切り替える。ジェスチャー判定条件の切り替えは、ジェスチャー認識部２０６がジェスチャー情報を取得する登録ジェスチャーＤＢを選択することにより行う。ジェスチャー認識部２０６は、物体を取り除いたジェスチャー対象画像の場合には登録ジェスチャーＤＢ（Ａ）１７０１からジェスチャー情報を取得する。一方、物体を取り除いていないジェスチャー対象画像の場合には登録ジェスチャーＤＢ（Ｂ）１７０２からジェスチャー情報を取得する。ジェスチャー認識部２０６は、特徴点の情報および特徴量の情報と、登録ジェスチャーＤＢ（Ａ）１７０１または登録ジェスチャーＤＢ（Ｂ）１７０２から取得したジェスチャー情報とを比較して、ジェスチャーを特定する。
【００５０】
次に、ジェスチャー認識装置１０２に認識すべきジェスチャーのジェスチャー情報を登録する処理について図１８のフローチャートを参照して説明する。なお、図１８に示すフローチャートのうち、図４に示すフローチャートと同様の処理は、同一のステップ番号を付してその説明を省略する。
ステップＳ１８０１は、ジェスチャー認識部２０６は、入力されたジェスチャー情報がジェスチャー対象以外の物体を取り除くケースに対応するジェスチャー情報であるか否かを判定する。ジェスチャー認識部２０６は、物体を取り除くケースに対応するジェスチャー情報であるか否かはユーザの選択に応じて判定する。物体を取り除くケースに対応するジェスチャー情報である場合にはステップＳ１８０２に進み、物体を取り除かないケースに対応するジェスチャー情報である場合にはステップＳ１８０３に進む。
【００５１】
ステップＳ１８０２では、ジェスチャー認識部２０６は、物体を取り除くケースに対応するジェスチャー情報を登録する登録ジェスチャーＤＢとして登録ジェスチャーＤＢ（Ａ）１７０１を選択する。したがって、後のステップＳ４０３の処理においてジェスチャー情報を登録する場合には、ジェスチャー認識部２０６は、ジェスチャー情報を登録ジェスチャーＤＢ（Ａ）１７０１に記憶することで登録する。
一方、ステップＳ１８０３では、ジェスチャー認識部２０６は、物体を取り除かないケースに対応するジェスチャー情報を登録する登録ジェスチャーＤＢとして登録ジェスチャーＤＢ（Ｂ）１７０２を選択する。したがって、後のステップＳ４０３の処理においてジェスチャー情報を登録する場合には、ジェスチャー認識部２０６は、ジェスチャー情報を登録ジェスチャーＤＢ（Ｂ）１７０２に記録することで登録する。
なお、以降のジェスチャー認識部２０６によるジェスチャー情報を登録する処理は、図４に示すフローチャートの処理と同一であり、その説明を省略する。
【００５２】
次に、ジェスチャー認識装置１０２のジェスチャー認識部２０６による処理について図１９のフローチャートを参照して説明する。なお、図１９に示すフローチャートのうち、図６に示すフローチャートと同様の処理は、同一のステップ番号を付してその説明を省略する。
ステップＳ１９０１では、ジェスチャー認識部２０６は、ジェスチャー対象画像が無視する物体を取り除いたジェスチャー対象画像であるか否かを受信した物体抽出フラグに基づいて判定する。物体を取り除いたジェスチャー対象画像である場合にはステップＳ１９０２に進み、物体を取り除いていないジェスチャー対象画像の場合にはステップＳ１９０３に進む。
【００５３】
ステップＳ１９０２では、ジェスチャー認識部２０６は、登録ジェスチャーＤＢとして物体を取り除くケースに対応するジェスチャー情報が登録されている登録ジェスチャーＤＢ（Ａ）１７０１を選択する。したがって、後のステップＳ６０２の処理においてジェスチャー情報を取得するには、登録ジェスチャーＤＢ（Ａ）１７０１に登録されたジェスチャー情報を用いる。
一方、ステップＳ１９０３では、ジェスチャー認識部２０６は、登録ジェスチャーＤＢとして物体を取り除かないケースに対応するジェスチャー情報が登録されている登録ジェスチャーＤＢ（Ｂ）１７０２を選択する。したがって、後のステップＳ６０２の処理において登録ジェスチャー情報を取得するには、登録ジェスチャーＤＢ（Ｂ）１７０２に登録されたジェスチャー情報を用いる。
なお、以降のジェスチャー認識部２０６による処理は、図６に示すフローチャートの処理と同一であり、その説明を省略する。
【００５４】
次に、具体的に、ジェスチャー認識部２０６によってジェスチャーを認識する動作の一例を図７〜図１１、図２０〜図２２を参照して説明する。なお、手に物を持っている特殊なケースにおけるジェスチャー画像の認識処理は結果を含め、第１の施形態において説明した図７〜図１１の説明と同様であり、その説明を省略する。また、図１０は、手に物を持っている場合のジェスチャー情報の一例を示す図である。図１０に示すジェスチャー情報は、登録ジェスチャーＤＢ（Ａ）１７０１に登録される。
【００５５】
図２０は、ユーザが入力し、映像入力部２０１により取り込まれたジェスチャー画像の一例を示す図である。本実施形態では、ユーザが手に物を持っていない場合のジェスチャー画像として手をパーにした形が略横方向に動くジェスチャー画像が入力されたものとする。図２０に示すように、手に物を持っていないジェスチャー画像の場合、ジェスチャー画像がそのままジェスチャー対象画像となる。
【００５６】
図２１は、登録ジェスチャーＤＢ（Ｂ）１７０２に登録されているジェスチャー情報の一例を示す図である。本実施形態では、図２１（ａ）は手に物を持っていない場合の特徴点の情報および特徴点が横方向に動くことを示す特徴量の情報である。図２１（ｂ）は手に物を持っていない場合の特徴点の情報および特徴点が縦方向に動くことを示す特徴量の情報である。図２１（ｃ）は手に物を持っていない場合の特徴点の情報および特徴点が奥行き方向に動くことを示す特徴量の情報である。本実施形態では、図２１（ａ）〜（ｃ）に示すジェスチャー情報が登録ジェスチャーＤＢ（Ｂ）１７０２に登録されている。
【００５７】
図２２は、特徴抽出部２０５により図２０に示すジェスチャー対象画像から抽出された特徴点の情報および特徴量の情報の一例を示す図である。図２２に示すように、各指の先端が特徴点として抽出されると共に、各特徴点が横方向に動いていることを示す特徴量が抽出される。図２２のように抽出された特徴点の情報および特徴量の情報と、図２１（ａ）〜（ｃ）に示すジェスチャー情報とが比較され、最も近いジェスチャーが特定される。本実施形態ではジェスチャー対象画像がパーにした手を横方向に動かすジェスチャーとして認識される。
【００５８】
入力されたジェスチャー画像が手に物を持っているジェスチャー画像の場合、ジェスチャー認識装置１０２は手に物を持っている特殊なケースであるチョキにした手を横方向に動かすジェスチャーを示す識別情報をコマンド決定装置１０４に出力する。コマンド決定装置１０４は、登録コマンド保存装置１０３からジェスチャーを示す識別情報に関連付けられたコマンドとしてスクロールコマンドを抽出する。コマンド決定装置１０４は抽出したスクロールコマンドをアプリケーション１０５に送信することで、アプリケーション１０５がスクロール処理を実行する。
【００５９】
同様に、入力されたジェスチャー画像が手に物を持っていないジェスチャー画像の場合、ジェスチャー認識装置１０２は手に物を持っていない通常のケースであるパーにした手を横方向に動かすジェスチャーを示す識別情報をコマンド決定装置１０４に出力する。コマンド決定装置１０４は、登録コマンド保存装置１０３からジェスチャーの識別情報に関連付けられたコマンドとしてスクロールコマンドを抽出する。コマンド決定装置１０４は特殊なケースと同様に、抽出したスクロールコマンドをアプリケーション１０５に送信することで、アプリケーション１０５がスクロール処理を実行する。
【００６０】
このように本実施形態によれば、手に物を持っている場合等の特殊なケースと、手に何も持っていない通常のケースでのジェスチャー情報を分けて登録しておくことで、特殊なケースと通常のケースでのジェスチャーを識別することができる。この結果、特殊なケースと通常のケースでのジェスチャーが異なっていても、ジェスチャーを正しく認識することができ、機器を操作するときの操作性が向上する。
【００６１】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムを、ネットワークや各種記憶媒体を介してシステムまたは各装置に供給し、システムまたは各装置のコンピュータ（またはＣＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６２】
１００：コマンド実行システム  １０２：ジェスチャー認識装置  １０３：登録コマンド保存装置  １０４：コマンド決定装置１０４  １０５：コマンド実行装置  ２０１：映像入力部  ２０２：物体認識部  ２０３：登録物体ＤＢ（データベース）  ２０４：物体除去部  ２０５：特徴抽出部  ２０６：ジェスチャー認識部  ２０７：登録ジェスチャーＤＢ（データベース）  １３０１：特徴認識部  １７０１：登録ジェスチャーＤＢ（Ａ）  １７０２：登録ジェスチャーＤＢ（Ｂ）
【図１】
2014102697.tif 000003
【図２】
2014102697.tif 000004
【図３】
2014102697.tif 000005
【図４】
2014102697.tif 000006
【図５】
2014102697.tif 000007
【図６】
2014102697.tif 000008
【図７】
2014102697.tif 000009
【図８】
2014102697.tif 000010
【図９】
2014102697.tif 000011
【図１０】
2014102697.tif 000012
【図１１】
2014102697.tif 000013
【図１２】
2014102697.tif 000014
【図１３】
2014102697.tif 000015
【図１４】
2014102697.tif 000016
【図１５】
2014102697.tif 000017
【図１６】
2014102697.tif 000018
【図１７】
2014102697.tif 000019
【図１８】
2014102697.tif 000020
【図１９】
2014102697.tif 000021
【図２０】
2014102697.tif 000022
【図２１】
2014102697.tif 000023
【図２２】
2014102697.tif 000024