(57)【要約】【課題】ジェスチャの認識が失敗した場合に、ジェスチャとアクションの対応付けを組み替えることによって、操作性を向上させる情報処理装置等を提供する。【解決手段】ジェスチャ検出部２はユーザ５のジェスチャの動きのデータを検出してコントロール部３に送り、コントロール部３はジェスチャの認識処理を実行し、認識に成功した場合にはジェスチャに対応するアクションを実行する。この際、ジェスチャ毎に認識の成功回数を記憶しておく。認識処理が失敗した場合には、当該時点で使用される各アクションに対して、認識率の高いジェスチャを一時的に割り当て、アクションとジェスチャの対応関係を表示部４に表示し、一時的に割り当てた認識率の高いジェスチャをユーザ５に行わせることにより情報処理装置１の操作性を向上する。【選択図】図１
2016181139.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのジェスチャを認識する認識手段と、
前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶手段と、
前記認識手段により認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶手段における対応付けを組み替えて割り当てる割当手段と、
を具備することを特徴とする情報処理装置。
【請求項２】
前記認識手段により認識が成功した回数をジェスチャ毎に計数する計数手段を更に具備し、
前記割当手段は、前記計数手段により計数された成功回数の多いジェスチャを前記対応可能なアクションに優先的に割り当てることを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記割当手段は、前記対応可能なアクションに対して前記成功回数の多いジェスチャにより割り当てられるジェスチャが一致する場合には異なるジェスチャを割り当てることを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記割当手段により割り当てたジェスチャとアクションの対応関係を表示する表示手段を更に具備することを特徴とする請求項１から請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記割当手段は、前記認識手段による認識の失敗が所定回数連続して発生した場合に割り当てを実行することを特徴とする請求項１から請求項４のいずれかに記載の情報処理装置。
【請求項６】
前記計数手段は、ジェスチャ毎の認識の成功回数をユーザ毎に計数し、
前記割当手段は、前記計数手段に計数された当該ユーザの成功回数の多いジェスチャを割り当てることを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
【請求項７】
前記認識手段は、前記ユーザのジェスチャを検出する検出手段を含むことを特徴とする請求項１から請求項６のいずれかに記載の情報処理装置。
【請求項８】
前記検出手段は、加速度センサ、ジャイロセンサ、筋電センサ、イメージセンサの少なくともいずれかを含むことを特徴とする請求項７記載の情報処理装置。
【請求項９】
ユーザのジェスチャを認識する認識ステップと、
前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶ステップと、
前記認識ステップにより認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶ステップにおける対応付けを組み替えて割り当てる割当ステップと、
を含むことを特徴とする情報処理方法。
【請求項１０】
コンピュータを、
ユーザのジェスチャを認識する認識手段と、
前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶手段と、
前記認識手段により認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶手段における対応付けを組み替えて割り当てる割当手段と、
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが行なうジェスチャに対応するアクションを実行する情報処理装置に係り、更に詳しくは、ジェスチャが認識できない場合に、ジェスチャの割り当てを替えることで、操作性を向上させる情報処理装置等に関するものである。
【背景技術】
【０００２】
近年、ユーザが行なうジェスチャを認識して、コマンドとして実行するパーソナルコンピュータ等の情報処理装置が出現している。
これらのジェスチャの入力方法は、例えば、情報処理装置に装備されたタッチセンサー上で指を指定の方向に滑らし、情報処理装置が指の移動方向を元にジェスチャを認識して対応するコマンドを実行する方法、情報処理装置に装備されたカメラセンサに向かって指でジェスチャし、その動きを情報処理装置が認識して対応するコマンドを実行する方法等である。
【０００３】
また、ウェアラブル装置を装着したユーザのジェスチャをウェアラブル装置に装備されたセンサにより検出して認識し、ジェスチャに対応するコマンドを実行する情報処理装置も開発されている。
例えば、加速度センサやジャイロセンサ等を装備した指輪型や、筋電センサを装備したリストバンド型のウェアラブル装置等である。
また、表示機能、通信機能、イメージセンサ、マイク等を装備したスマートメガネ等も市場に普及し始めている。
【０００４】
上述したジェスチャに対応するコマンド入力では、ユーザが行なうジェスチャの認識が必要であり、認識できない場合には対応するコマンドが実行できないという問題がある。
ジェスチャの認識がうまくいかない原因としては、ユーザがコマンドに対応するジェスチャをよく覚えていない、ユーザの個人差（身長やジェスチャの動き、得手不得手）、ウェアラブル装置によりジェスチャを検出する場合には、装着位置の違い、センサによるジェスチャ検出の難しさ等がある。
【０００５】
そこで、ジェスチャの認識がうまくいかない場合に対応した情報処理装置が提案されている（例えば、特許文献１、２）。
特許文献１は、ペン入力の軌道によるジェスチャの認識に失敗した場合に、失敗回数を計数するとともに、失敗したジェスチャから特徴量を抽出し保存しておき、失敗回数が所定の回数になった場合には、保存された特徴量に近いジェスチャ候補、あるいは、ジェスチャ一覧を表示して、ユーザに選択させることにより、ジェスチャ認識が失敗しても適切なジェスチャを選択して対応するコマンドの実行を可能にしている。
【０００６】
特許文献２は、ペン又はマウスの軌道によるジェスチャの認識に失敗した場合に、ジェスチャの一覧、あるいは、当該時点で条件が合い、軌道の特徴量の近いジェスチャの一覧を表示して、ユーザに選択させることにより、対応するコマンドを実行させるものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２６６４９４号公報
【特許文献２】特開２００８−２８２０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び２の情報処理装置は、ジェスチャ認識に失敗した場合に、そのジェスチャとして可能性の高いジェスチャの一覧を表示し、ユーザに、ペンで所望のジェスチャの表示部分にタッチさせ、又は、マウスで所望のジェスチャの表示部分にカーソルを移動させ、そのなかから所望のジェスチャを指示選択させるものであり、ジェスチャによるコマンド入力が行えないという問題がある。
【０００９】
本発明は、前述した問題点に鑑みてなされたもので、その目的とするところは、ジェスチャが認識できない場合に、ジェスチャの割り当てを替えることで、操作性を向上させる情報処理装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために、第１の発明は、ユーザのジェスチャを認識する認識手段と、前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶手段と、前記認識手段により認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶手段における対応付けを組み替えて割り当てる割当手段と、を具備することを特徴とする情報処理装置である。
尚、処理とは、情報処理装置が実行する各種プログラム処理を意味する。
【００１１】
第１の発明により、ジェスチャの認識が失敗した場合に、ジェスチャとアクションの対応付けを組み替えることによって、ユーザはその時点のアクションを適切に実行することができるようになる。
【００１２】
また、前記認識手段により認識が成功した回数をジェスチャ毎に計数する計数手段を更に具備し、前記割当手段は、前記計数手段により計数された成功回数の多いジェスチャを前記対応可能なアクションに優先的に割り当てることが望ましい。
さらに、前記割当手段は、前記対応可能なアクションに対して前記成功回数の多いジェスチャにより割り当てられるジェスチャが一致する場合には異なるジェスチャを割り当てることが望ましい。
【００１３】
また、前記割当手段により割り当てたジェスチャとアクションの対応関係を表示する表示手段を更に具備することが望ましい。
【００１４】
また、前記割当手段は、前記認識手段による認識の失敗が所定回数連続して発生した場合に割り当てを実行することが望ましい。
【００１５】
また、前記計数手段は、ジェスチャ毎の認識の成功回数をユーザ毎に計数し、前記割当手段は、前記計数手段に計数された当該ユーザの成功回数の多いジェスチャを割り当てることが望ましい。
【００１６】
また、前記認識手段は、前記ユーザのジェスチャを検出する検出手段を含むことが望ましい。
さらに、前記検出手段は、加速度センサ、ジャイロセンサ、筋電センサ、イメージセンサの少なくともいずれかを含むことが望ましい。
【００１７】
第２の発明は、ユーザのジェスチャを認識する認識ステップと、前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶ステップと、前記認識ステップにより認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶ステップにおける対応付けを組み替えて割り当てる割当ステップと、を含むことを特徴とする情報処理方法である。
【００１８】
第３の発明は、コンピュータを、ユーザのジェスチャを認識する認識手段と、
前記ジェスチャと、前記ジェスチャを認識した際に処理するアクションをジェスチャ毎に対応付けて記憶する記憶手段と、前記認識手段により認識が失敗した場合に、失敗時点での対応可能なアクションを参照して、前記記憶手段における対応付けを組み替えて割り当てる割当手段と、して機能させることを特徴とするプログラムである。
【発明の効果】
【００１９】
本発明により、ジェスチャが認識できない場合に、ジェスチャの割り当てを替えることで、操作性を向上させる情報処理装置等を提供することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る情報処理装置１の構成例の概要を示す図
【図２】ジェスチャ検出部２のハードウエア構成例を示すブロック図
【図３】コントロール部３のハードウエア構成例を示すブロック図
【図４】記憶部３２内の登録ジェスチャ記憶部５１の構成例を示す図
【図５】記憶部３２内のプログラム毎のジェスチャ一覧５３の構成例を示す図
【図６】記憶部３２のカウンタの構成例を示す図
【図７】本発明の実施形態に係る情報処理装置１の処理の流れを示すフローチャート
【発明を実施するための形態】
【００２１】
以下、添付図面に基づいて、本発明に係る情報処理装置１の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２２】
図１は、情報処理装置１の概要を示す図である。
情報処理装置１は、ユーザ５が行なうジェスチャの動きを検出するジェスチャ検出部２と、ジェスチャ検出部２から送られるジェスチャの動きを認識し、対応するアクションを実行するコントロール部３、アクションの結果等を表示する表示部４等で構成される。
【００２３】
ジェスチャ検出部２は、例えば、ユーザ５が装着するウェアラブル装置に装備される。
ウェアラブル装置は、例えば、ユーザの指や腕に装着する指輪型又はリストバンド型の装置、頭部にかけるメガネ型の装置等である。
また、ジェスチャ検出部２をユーザ５が手に持つようにしてもよい。
【００２４】
ジェスチャ検出部２には、後述するが、ユーザ５が行なうジェスチャの動きを検出するためのセンサ等が内蔵されている。
例えば、指や腕の動きを検出するための加速度センサ、ジェイロセンサ、筋電センサ、ジェスチャの動きを撮像するイメージセンサ等である。
【００２５】
ジェスチャ検出部２のセンサが検出したセンサデータは、ジェスチャ検出部２に内蔵されている通信手段等によりコントロール部３に送られる。
コントロール部３は、ジェスチャ検出部２から取得したセンサデータによりジェスチャの認識処理を実行し、認識されたジェスチャに対応するアクションを実行する。
例えば、指を右に動かすジェスチャを認識した場合には、当該ジェスチャに対応するアクション、例えば、表示部４の画面の表示を右にスクロールするアクションを実行する。
【００２６】
しかしながら、ジェスチャの認識は、ユーザ５のジェスチャの覚え違いや、得手不得手、ウェアラブル装置の装着の仕方、ユーザ５の体格等により、場所の違い、認識処理自体の難しさ等により失敗することも多い。
認識が失敗すると、対応するアクションも実行することができず、ジェスチャコマンドにより処理を行う情報処理装置１の操作性が低下する。
【００２７】
本実施形態に係る情報処理装置１は、詳細は後述するが、ジェスチャコマンドによる情報処理装置１の操作性を向上するために、ジェスチャの認識が失敗した場合に、コントロール部３が、認識率の高いジェスチャをその時点のアクションに一時的に割り当てて、表示部４に割り当てたジェスチャとアクションの対応関係を表示し、ユーザ５に示す。
【００２８】
ユーザ５が表示部４に表示されたジェスチャとアクションの対応関係を元に再度ジェスチャを行うと、ジェスチャ検出部２がジェスチャの動きを検出し、センサデータをコントロール部３に送り、コントロール部３は、ジェスチャの認識を実行する。
この場合には、認識率の高いジェスチャが割り当てられているので、ジェスチャの認識が成功する確率は高く、コントロール部３は、一次的に割り当てられた対応するアクションを適切に実行することが可能になり、情報処理装置１の操作性は向上する。
【００２９】
図２は、ジェスチャ検出部２のハードウエア構成例を示すブロック図である。
ジェスチャ検出部２は、センサ部２１、制御部２３、記憶部２５、通信制御部２７、電源供給部２８等を備える。
例えば、センサ部２１、制御部２３、記憶部２５、通信制御部２７はバス等により接続されており、電源供給部２９は、各部に電力供給を行う。
【００３０】
センサ部２１は、例えば、加速度センサ、ジェイロセンサ、筋電センサ、イメージセンサ等の少なくともいずれかである。
例えば、指輪型やリストバンド型のウェアラブル装置は、加速度センサやジャイロセンサでユーザ５の指または腕によるジェスチャの動きを検出する。また、筋電センサを備えたリストバンド型のウェアラブル装置では、筋電により手のジェスチャの動きを検出する。
【００３１】
また、例えば、スマートメガネのようなカメラ装置を装備したウェアラブル装置や、カメラ装置を装備したパーソナルコンピュータでは、カメラ装置のイメージセンサにより、カメラ装置前方で動かす指の動きをジェスチャとして検出することが可能である。
【００３２】
制御部２３は、マイクロコンピュータ等であり、ジェスチャ検出部２の各部を制御するプログラムが予め組み込まれ、各部を制御する。
すなわち、制御部２３は、センサ部２１のセンサを稼働してセンサが測定したデータを受け取り、例えば、記憶部２５に格納する。
また、制御部２５は、通信制御部２７を稼働し、記憶部２５に格納されているデータ等を読み出し、例えば、コントロール部３に送信する。
【００３３】
記憶部２５は、例えば、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であり、センサ部２１が測定したデータ、通信制御部２７を介して受信した情報等を格納する。
【００３４】
通信制御部２７は、コントロール部３との通信を行う無線又は有線による通信制御装置、通信ポート等である。例えば、Ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の制御装置である。
【００３５】
電源供給部２９は、ジェスチャ検出部２の各部、すなわち、センサ部２１、制御部２３、記憶部２５、通信制御部２７に電力を供給する。
【００３６】
図３は、コントロール部３のハードウエア構成例を示すブロック図である。
コントロール部３は、例えば、制御部３１、記憶部３２、通信制御部３３、メディア入出力部３４、入力部３５、表示部３６、周辺機器Ｉ／Ｆ（インタフェース）部３７等がバス３８で接続された構成である。
メディア入出力部３４、入力部３５、表示部３６、周辺機器Ｉ／Ｆ（インタフェース）部３７は必ずしも必要ではない。
【００３７】
制御部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
【００３８】
ＣＰＵは、ＲＯＭ、記憶部３２等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３８を介して接続された各装置を駆動制御し、コントロール部３が行う処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部３２、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部３１が各種処理を行うために使用するワークエリアを備える。
【００３９】
記憶部３２は、制御部３１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等が格納される。プログラムは、本発明の実施形態に係る情報処理装置１の処理プログラム等である。
処理プログラムの詳細については後述するが、例えば、ジェスチャの認識処理プログラム、ジェスチャに対応するアクションを実行するためのプログラムの他、本発明の特徴的な部分であるジェスチャの認識処理が失敗した場合に認識率の高いジェスチャを一時的にアクションに割り当てるプログラム等である。
プログラムのコードは、制御部３１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵにより実行される。
【００４０】
記憶部３２に格納されるデータは、例えば、各ジェスチャを認識するためのテンプレートデータや、ジェスチャとアクションの対応関係を示すデータ等であり、これらのデータは予め記憶部３２に格納しておけばよい。
通信制御部３３は、通信制御装置、通信ポート等を有し、ジェスチャ検出部２との間での通信を制御する。接続形態は有線、無線を問わない。
【００４１】
メディア入出力部３４（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
入力部３５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。例えば、情報管理システム１の管理者は、入力部３５から、センサの正常値範囲やユーザ情報等のデータ入力を行う。
【００４２】
表示部３６は、液晶パネル、ＣＲＴモニタ等のディスプレイ装置である。コントロール部３の外部に表示部４が接続されている場合には、表示部３６は必ずしも必要ない。
周辺機器Ｉ／Ｆ（インタフェース）部３７は、周辺機器を接続させるためのポートであり、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃ等で構成され、接続形態は有線、無線を問わない。
バス３８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００４３】
コントロール部３に接続された表示部４は、液晶パネル、ＣＲＴモニタ等のディスプレイ装置である。この表示部４は、コントロール部３の外部に接続されているが、コントロール部３の表示部３６が存在する場合には、表示部４は必ずしも必要はない。
【００４４】
図４は、コントロール部３の記憶部３２内に設けられた登録ジェスチャ記憶部５１の構成を示す図である。
登録ジェスチャ記憶部５１には、使用される全てのジェスチャについて、ジェスチャ名、ジェスチャの内容、対応アクションが対応付けられて予め格納される。
例えば、「ジェスチャ１」のジェスチャの内容は「手を左から右へ動かす」ものであり、「ジェスチャ１」に対応して対応アクション「ページ送り」が格納される。
【００４５】
図５は、コントロール部３の記憶部３２内に設けられたプログラム毎のジェスチャ一覧５３の構成を示す図である。
プログラム毎のジェスチャ一覧５３には、プログラム番号と、そのプログラム番号で利用される可能性のあるジェスチャ名が予め格納される。
【００４６】
プログラムは、例えば、ホームページ等の各ページである。
例えば、プログラム番号「１」はトップページのプログラムであり、対応アクションが「決定」に対応する「ジェスチャ３」が利用される可能性があるとして格納されている。
また、プログラム番号「７」は動画再生ページのプログラムであり、対応アクションが「キャンセル」、「ボリュームなどの音量数値を上げる」、「ボリュームなどの音量数値を下げる」にそれぞれ対応する「ジェスチャ４」、「ジェスチャ８」、「ジェスチャ９」が格納されている。
【００４７】
図６は、本実施の形態の情報処理装置１の特徴的な部分である、ジェスチャの認識に失敗した場合の処理に使われるカウンタの構成を示す図である。
図６（ａ）は、ジェスチャ成功回数カウンタ５５の構成例である。
ジェスチャ成功回数カウンタ５５は、例えば、ジェスチャ名とその成功回数で構成され、ジェスチャ毎に、コントローラ部３によるジェスチャの認識処理の成功回数を計数するカウンタである。
【００４８】
図６（ｂ）は、連続失敗回数カウンタ５７の構成例である。
連続失敗回数カウンタ５７は、コントローラ部３がジェスチャの認識に連続して失敗した回数を計数するカウンタである。
【００４９】
図７は、本実施の形態に係る情報処理装置１の処理の流れを示すフローチャートである。
情報処理装置１が起動されると、まず、コントロール部３の制御部３１は、連続失敗回数カウンタ５７を初期化する（ステップ１０１）。すなわちゼロにクリアする。
次に、ジェスチャ認識処理の受付を開始する（ステップ１０２）。これによって、ジェスチャ検出部２からジェスチャの動きを表わすセンサデータ受信の待ち状態となる（ステップ１０３）。
【００５０】
ジェスチャ検出部２の制御部２３は、センサ部２１を起動し、ユーザ５が行なうジェスチャの動きを検出する。
センサ部２１として加速度センサやジャイロセンサが装備されている場合には、加速度センサ、ジャイロセンサが起動され、センサデータが記憶部２５に格納され、通信制御部２７を介して、コントロール部３に送られる。
センサ部２１として筋電センサが装備されている場合には筋電センサのデータが、イメージセンサが装備されている場合には動画データが、ジェスチャの動きを示すデータとしてコントロール部３に送られる。
【００５１】
コントロール部３の制御部３１は、ジェスチャ検出部２からのセンサデータを受け付けると（ステップ１０３のＹｅｓ）、ジェスチャ認識処理を実行する（ステップ１０４）。
ジェスチャ認識処理は、従来技術を用いて行う。
予め、コントロール部３の記憶部３２に、登録ジェスチャ記憶部５１に格納されているジェスチャ名ごとに、ジェスチャの動きの特徴データを格納しておく。
【００５２】
まず、記憶部３２に格納されているプログラム毎のジェスチャ一覧５３（図５）を参照してその時点のプログラムで利用可能なジェスチャ名を抽出し、該当する各ジェスチャ名の特徴データと、ジェスチャ検出部２から送られたセンサデータとの類似度を算出する。
すなわち、プログラム番号「６」（画像表示ページ）の場合には、プログラム毎のジェスチャ一覧５３を参照し、ジェスチャ４及びジェスチャ６の特徴データとの類似度を算出する。
【００５３】
次に、コントロール部３の制御部３１は、類似度の最大の値と、予め定めた所定の閾値を比較し、認識が成功したか否かを判定する（ステップ１０５）。
すなわち、類似度の最大値が閾値よりも小さい場合には認識失敗（ステップ１０５のＮｏ）、類似度の最大値が閾値以上の場合には認識成功（ステップ１０５のＹｅｓ）となる。
【００５４】
認識処理が成功した場合（ステップ１０５のＹｅｓ）、コントロール部３の制御部３１は、登録ジェスチャ記憶部５１を参照して類似度が最大のジェスチャに対応するアクションを求めて実行し（ステップ１３１）、図６（ａ）に示したジェスチャ成功回数カウンタの当該ジェスチャ名の成功回数のカウントを１増加させる（ステップ１３２）。
【００５５】
一方、認識処理が失敗した場合（ステップ１０５のＮｏ）、コントロール部３の制御部３１は、図６（ｂ）に示した連続失敗回数カウンタ５７のカウントを１増加させる（ステップ１０６）。この連続失敗回数カウンタ５７の値によって、ユーザ５が行なうジェスチャの認識が連続して何回失敗したかが計数される。
【００５６】
次に、コントロール部３の制御部３１は、連続失敗回数カウンタ５７の値が予め定めた閾値よりも少ない場合には（ステップ１０７のＮｏ）、ステップ１０３に戻り、ユーザ５が行なう次のジェスチャについてのセンサデータがジェスチャ検出部２から送られるのを待つ。
【００５７】
一方、連続失敗回数カウンタ５７の値が閾値を上回った場合（ステップ１０７のＹｅｓ）は、コントロール部３の制御部３１は、本実施形態の情報処理装置１の特徴的な部分である一時的に認識率の高いジェスチャをアクションに割り当てる処理（ステップ１０８〜１１２）を実行する。
連続失敗回数カウンタ５７の値に対して予め定められる閾値は、閾値＝０として１回の認識の失敗でステップ１０８以下の処理を行ってもよいし、閾値＞１として、複数回の失敗を繰り返した場合にステップ１０８以下の処理を行うようにしてもよい。
【００５８】
コントロール部３の制御部３１は、ステップ１０８で、まず、当該プログラムで利用可能なジェスチャ名を記憶部３２のプログラム毎のジェスチャ一覧５３を参照して抽出する。次に、コントロール部３の制御部３１は、ジェスチャ成功回数カウンタ５５を参照し、ジェスチャ成功回数の多い順にソートする（ステップ１０９）。すなわち、ジェスチャ成功回数カウンタ５５を参照し、成功回数の多い順に、「ジェスチャ１（１０）」、「ジェスチャ６（９）」、・・・を得る。
【００５９】
次に、コントロール部３の制御部３１は、当該プログラムで利用するジェスチャ（「ジェスチャ４」と「ジェスチャ６」）に替えて、それぞれ、成功回数の多いジェスチャ（「ジェスチャ１」と「ジェスチャ６」）を割り当てる（ステップ１１０）。
【００６０】
なお、ここで、コントロール部３の制御部３１は、成功回数の多いジェスチャにより割り当てられるジェスチャが一致する場合には異なるジェスチャを割り当ててもよい。例えば上記例ではジェスチャ６は同じままである。この場合、コントロール部３の制御部３１は、例えば、ジェスチャ６に替えて、次に成功回数が多いジェスチャ２（手を右から左へ動かす）を割り当ててもよい。
【００６１】
次に、コントロール部３の制御部３１は、表示部４または表示部３６に、当該プログラムで利用可能なアクションに一時的に認識率の高いジェスチャを割り当てたことを表示する（ステップ１１１）。すなわち、当該プログラム（例えばプログラム「６」）で利用可能なアクション（「キャンセル、戻る」と「画面下の通知情報を表示する」）に、それぞれ、成功回数の多いジェスチャ（「ジェスチャ１（手を左から右へ動かす）」と「ジェスチャ６（手を前に突き出す）」）を割り当てた旨を表示する。
【００６２】
次に、コントロール部３の制御部３１は、記憶部３２に格納されている連続失敗回数カウンタ５７（図６（ｂ））を初期化し（ステップ１１２）、処理をステップ１０３に戻し、ジェスチャ検出部２からの次のジェスチャのセンサデータを待機する。
【００６３】
以上の処理により、表示部４又は表示部３６にアクションと認識率の高いジェスチャとの対応関係を表示してユーザ５に示すことにより、ユーザ５は、当該時点のプログラムに対して、一次的に割り当てられた認識率の高いジェスチャで入力を行うことが可能になり、情報処理装置１の操作性が向上する。
【００６４】
以上の本実施の形態に係る情報処理装置１の処理の流れにおける説明では、ジェスチャ成功回数カウンタ５５は全ユーザ５に共通に１つ設けることを前提としていたが、ジェスチャ成功回数カウンタ５５は、ユーザ５毎に設けるようにしてもよい。
その場合、情報処理装置１を起動時（ステップ１０１の前又は後）にユーザ５にログイン処理を実行させ、ユーザ５が入力する識別番号に応じて当該ユーザ５用のジェスチャ成功回数カウンタ５５を呼び出しておき、図７のステップ１３２及びステップ１０９、１１０の処理で使用するようにすればよい。
【００６５】
以上に説明した情報処理装置１のジェスチャ検出部２、コントロール部３、表示部４の構成例は多様である。
例えば、手や腕の動きをジェスチャとして検出する、指輪型やリストバンド型ウェアラブル装置や、ユーザ５が手に持つリモコン装置をジェスチャ検出部２とし、コントロール部３及び表示部４を具備するメガネ型のウェアラブル端末をユーザ５が装着する構成が可能である。
【００６６】
これにより、メガネ型のウェアラブル端末に表示される画像や動画等の表示や音量の制御操作をジェスチャで入力することが可能になる。この場合、表示部４はメガネのグラス部分であり、図７のステップ１１１における一時的に割り当てたジェスチャの対応関係を表示することが可能である。
【００６７】
また、手や腕の動きをジェスチャとして検出する、指輪型やリストバンド型ウェアラブル装置や、ユーザ５が手に持つリモコン装置ジェスチャ検出部２とし、パーソナルコンピュータ等のコンピュータをコントロール部３及び表示部４とする構成であってもよい。
【００６８】
さらに、加速度センサ、ジャイロセンサ等を備えるスマートフォン等のコンピュータをジェスチャ検出部２及びコントロール部３とし、ロボット等の外部の機器にジェスチャに対応するアクションを実行させる構成も可能である。この場合、図７のステップ１１１における一時的に割り当てたジェスチャの対応関係は、当該コンピュータの表示部（コントロール部３の表示部３６）又は外部に設けた表示部４に表示させればよい。
【００６９】
また、カメラ（イメージセンサ）を装備したパーソナルコンピュータやスマートメガネ等のコンピュータを、ジェスチャ検出部２及びコントロール部３、表示部４を備えた情報処理装置１として、イメージセンサをジェスチャ検出部２のセンサ部２１とし、コントロール部３で画像認識手法によりジェスチャを認識するようにしてもよい。
【００７０】
以上のように、本発明の情報処理装置１では、ジェスチャ入力により対応するアクションの実行を行わせる場合に、ジェスチャの認識に失敗しても、一時的に認識率の高いジェスチャをその時点のアクションに割り当てることによりジェスチャの認識率を向上し、情報処理装置１の操作性を向上させることが可能になる。
【００７１】
以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１………情報処理装置
２………ジェスチャ検出部
３………コントロール部
４………表示部
【図１】
2016181139.tif 000003
【図２】
2016181139.tif 000004
【図３】
2016181139.tif 000005
【図４】
2016181139.tif 000006
【図５】
2016181139.tif 000007
【図６】
2016181139.tif 000008
【図７】
2016181139.tif 000009