(57)【要約】【課題】認識した動作に対応する処理を実行する際の操作性を向上させることを課題とする。【解決手段】認識装置は、取得部と、選択動作認識部と、出力部とを有する。取得部は、測定対象の特定部位に装着された測定装置によって測定対象の動作に応じて測定された測定値を取得する。選択動作認識部は、測定値から得られた特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識する。出力部は、選択動作が行なわれた状態において、測定値から得られた特定部位の傾きの変化量をもとに、操作対象に対する操作状態の情報を出力する。【選択図】図３
2015099574.tif 000002
【特許請求の範囲】
【請求項１】
測定対象の特定部位に装着された測定装置によって前記測定対象の動作に応じて測定された測定値を取得する取得部と、
前記測定値から得られた前記特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識する選択動作認識部と、
前記選択動作が行なわれた状態において、前記測定値から得られた前記特定部位の傾きの変化量をもとに、前記操作対象に対する操作状態の情報を出力する出力部と
を有することを特徴とする認識装置。
【請求項２】
前記出力部は、前記操作対象に対する前記操作状態の情報として、前記操作対象に対して実行される処理の種類である操作モードを選択可能な状態であるか否かを表す選択可否情報を出力することを特徴とする請求項１に記載の認識装置。
【請求項３】
前記出力部は、前記操作対象に対する前記操作状態の情報として、前記操作対象に対して実行される処理の種類である操作モードを選択可能な状態において実行可能な処理の情報を表す処理情報を出力することを特徴とする請求項１又は２に記載の認識装置。
【請求項４】
前記出力部は、前記特定部位の傾きの変化量の大きさに応じて設定された前記処理情報を出力することを特徴とする請求項３に記載の認識装置。
【請求項５】
前記出力部は、前記特定部位の傾きの変化量の大きさに応じて切り替えられる前記処理情報を出力することを特徴とする請求項３又は４に記載の認識装置。
【請求項６】
前記出力部は、前記選択動作が行なわれてからの経過時間をもとに、前記操作状態を出力することを特徴とする請求項１〜５の何れか一つに記載の認識装置。
【請求項７】
前記出力部は、前記操作対象に対する操作が実行可能な状態が終了する終了時間までの経過時間を相対値として表した経過時間情報を出力することを特徴とする請求項１〜６の何れか一つに記載の認識装置。
【請求項８】
前記特定部位の傾きをもとに、前記画面領域における指示位置を算出する算出部と、
選択された前記操作対象に対して操作を行なうことを確定する確定動作が行なわれたことを認識する確定動作認識部と、
前記確定動作が行なわれた状態において、前記特定部位の傾きの変化量をもとに、前記操作対象に対して実行される処理の種類である操作モードを決定する決定部と、
前記指示位置に対応する前記操作対象に対して、決定された前記操作モードに応じた処理を実行する実行部と、をさらに有し、
前記選択動作認識部は、前記指示位置に対応する前記操作対象を選択する前記選択動作が行なわれたことを認識することを特徴とする請求項１〜７の何れか一つに記載の認識装置。
【請求項９】
前記決定部は、前記選択動作が行なわれてから前記確定動作が行なわれるまでの経過時間をもとに前記操作モードを決定することを特徴とする請求項８に記載の認識装置。
【請求項１０】
前記実行部は、前記選択動作が認識されてから、前記操作対象に対する操作が実行可能な状態が終了する終了時間までに前記確定動作が認識されない場合、又は、前記操作モードに応じた処理を実行してから、前記終了時間までに次の処理を実行していない場合に、前記操作対象に対する操作が実行可能な状態から、前記操作対象に対する操作が実行不可能な状態へ遷移させることを特徴とする請求項８又は９に記載の認識装置。
【請求項１１】
前記決定部は、前記選択動作が行なわれてから前記確定動作が行なわれるまでの前記特定部位の傾きの変化量と、複数の前記操作モードを切り替えるための境界として設定された複数の角度との大小関係をもとに、前記操作モードを決定することを特徴とする請求項８〜１０の何れか一つに記載の認識装置。
【請求項１２】
前記決定部は、前記選択動作が行なわれてから前記確定動作が行なわれるまでの経過時間と、前記操作対象に対する操作が実行可能な状態が終了する終了時間よりも短い所定時間との大小関係をもとに、前記操作モードを決定することを特徴とする請求項８〜１１の何れか一つに記載の認識装置。
【請求項１３】
前記決定部は、前記指示位置、又は、前記指示位置に対応する前記操作対象の種類に応じて、互いに異なる前記操作モードを決定することを特徴とする請求項８〜１２の何れか一つに記載の認識装置。
【請求項１４】
前記決定部は、前記操作対象の拡大処理、縮小処理又は移動処理である前記操作モードを決定することを特徴とする請求項８〜１３の何れか一つに記載の認識装置。
【請求項１５】
前記特定部位の傾きをもとに、前記操作対象に対する操作を開始する開始動作が行なわれたことを認識する操作開始認識部と、
前記特定部位の傾きをもとに、前記操作対象に対する操作を終了する終了動作が行なわれたことを認識する操作終了認識部と、をさらに有し、
前記算出部は、前記開始動作が行なわれたことが認識されてから前記終了動作が行なわれたことが認識されるまでの間に、前記指示位置を算出する処理を実行することを特徴とする請求項８〜１４の何れか一つに記載の認識装置。
【請求項１６】
前記算出部は、前記開始動作が行なわれたことが認識されたときの前記特定部位の傾きが前記画面領域の所定位置に対応するように、前記画面領域の相対位置として前記指示位置を算出することを特徴とする請求項１５に記載の認識装置。
【請求項１７】
前記操作開始認識部は、前記開始動作が行なわれたことを認識していない状態において、前記特定部位の傾きが所定角度より上向きになった場合に、前記開始動作が行なわれたことを認識し、
前記操作終了認識部は、前記終了動作が行なわれたことを認識していない状態において、前記特定部位の傾きが前記所定角度より下向きになった場合に、前記終了動作が行なわれたことを認識することを特徴とする請求項１５又は１６に記載の認識装置。
【請求項１８】
前記指示位置の時間変化、及び、前記特定部位の傾きの変化量の少なくとも一つをもとに、前記特定部位を払う払い動作が行なわれたことを認識する払い動作認識部と、
前記指示位置の時間変化、及び、前記特定部位の傾きの変化量の少なくとも一つをもとに、前記特定部位を往復させる往復動作が行なわれたことを認識する往復動作認識部と、をさらに有し、
前記決定部は、前記払い動作の有無、及び、前記往復動作の有無の少なくとも一つをもとに、前記操作モードを決定することを特徴とする請求項８〜１７の何れか一つに記載の認識装置。
【請求項１９】
前記払い動作認識部は、所定の基準角度に対する前記特定部位の傾きの変化量と、所定の閾値角度との大小関係に応じて、前記往復動作との区別を行ない、
前記往復動作認識部は、所定の基準角度に対する前記特定部位の傾きの変化量と、所定の閾値角度との大小関係に応じて、前記払い動作との区別を行なうことを特徴とする請求項１８に記載の認識装置。
【請求項２０】
前記払い動作認識部は、所定の基準角度に対する前記特定部位の上下方向の回転角の変化量と、所定の閾値角度との大小関係に応じて、前記往復動作との区別を行ない、
前記往復動作認識部は、所定の基準角度に対する前記特定部位の上下方向の回転角の変化量と、所定の閾値角度との大小関係に応じて、前記払い動作との区別を行なうことを特徴とする請求項１８に記載の認識装置。
【請求項２１】
前記選択動作認識部は、前記特定部位の加速度の変化量が第１閾値以上であり、且つ、前記特定部位の加速度の変化量が前記第１閾値となったときの時間を基準とした、前後の時間内における前記特定部位の加速度の変化量が、前記第１閾値に応じて決定された該第１閾値よりも小さい第２閾値未満である場合に、前記選択動作が行なわれたことを認識することを特徴とする請求項８〜２０の何れか一つに記載の認識装置。
【請求項２２】
前記選択動作認識部は、前記特定部位の加速度の変化量が前記第１閾値となったときの時間を基準とした、前後の時間内における前記指示位置の変化が所定範囲内である場合に、前記選択動作が行なわれたことを認識することを特徴とする請求項２１に記載の認識装置。
【請求項２３】
前記実行部は、選択された操作対象が、該操作対象に関連する操作対象を展開する操作対象である場合に、関連する操作対象を表示させるための処理を実行することを特徴とする請求項８〜２２の何れか一つに記載の認識装置。
【請求項２４】
測定対象の特定部位に装着された測定装置によって前記測定対象の動作に応じて測定された測定値を取得するステップと、
前記測定値から得られた前記特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識するステップと、
前記選択動作が行なわれた状態において、前記測定値から得られた前記特定部位の傾きの変化量をもとに、前記操作対象に対する操作状態の情報を出力するステップと
を含むことを特徴とする認識方法。
【請求項２５】
測定対象の特定部位に装着された測定装置によって前記測定対象の動作に応じて測定された測定値を取得するステップと、
前記測定値から得られた前記特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識するステップと、
前記選択動作が行なわれた状態において、前記測定値から得られた前記特定部位の傾きの変化量をもとに、前記操作対象に対する操作状態の情報を出力するステップと
をコンピュータに実行させるための認識プログラム。
【請求項２６】
測定対象の特定部位に装着され、前記測定対象の動作に応じて測定値を測定する測定部と、
前記測定値を取得する取得部と、
前記測定値から得られた前記特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識する選択動作認識部と、
前記選択動作が行なわれた状態において、前記測定値から得られた前記特定部位の傾きの変化量をもとに、前記操作対象に対する操作状態の情報を出力する出力部と
を有することを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、認識装置、認識方法、認識プログラム及び端末装置に関する。
【背景技術】
【０００２】
従来、ユーザの腕（手首）等の特定部位に装着されたセンサから得られた測定値をもとに、ユーザの手や指等の動作を認識する技術がある。かかる技術では、認識した動作に対応させて、ＰＣ（Personal  Computer）等の画面に配置されたポインタを移動し、ポインタの位置に対応するオブジェクトに対して処理が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３３８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オブジェクトに対して実行可能な処理は、複数の種類が存在する場合がある。かかる場合には、実行させたい処理をユーザに選択させるためのメニュー画面を表示することになる。しかしながら、何らかの処理を実行させる度にメニュー画面を表示すれば、操作が煩雑となりユーザへの負担が増大する。
【０００５】
本発明が解決しようとする課題は、認識した動作に対応する処理を実行する際の操作性を向上させることができる認識装置、認識方法、認識プログラム及び端末装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の認識装置は、取得部と、選択動作認識部と、出力部とを有する。取得部は、測定対象の特定部位に装着された測定装置によって測定対象の動作に応じて測定された測定値を取得する。選択動作認識部は、測定値から得られた特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識する。出力部は、選択動作が行なわれた状態において、測定値から得られた特定部位の傾きの変化量をもとに、操作対象に対する操作状態の情報を出力する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る認識装置のハードウェア構成を示すブロック図。
【図２】第１の実施形態に係る認識装置を利用した操作を説明する図。
【図３】第１の実施形態に係る認識装置の構成を示す機能ブロック図。
【図４】測定装置を装着した特定部位の上下方向の傾きを説明する図。
【図５】測定装置を装着した特定部位の左右方向の傾きを説明する図。
【図６】測定装置を装着した特定部位の右回り、左回りの傾きを説明する図。
【図７Ａ】指打ちが行なわれたときの手首の垂直上方向の加速度を示す図。
【図７Ｂ】下方向に手が払われたときの手首の垂直上方向の加速度を示す図。
【図８】操作状態をフィードバックする例を説明する図。
【図９】操作状態をフィードバックする例を説明する図。
【図１０】第１の実施形態に係る全体処理の流れを示すフローチャート。
【図１１】第２の実施形態に係る認識装置の構成を示す機能ブロック図。
【図１２】第２の実施形態に係る全体処理の流れを示すフローチャート。
【図１３】第２の実施形態に係る決定部による処理の流れを示すフローチャート。
【図１４】第２の実施形態に係る操作モード決定処理の流れを示すフローチャート。
【図１５】オブジェクトごとに操作モードが異なる例を説明する図。
【図１６】第３の実施形態に係る認識装置の構成を示す機能ブロック図。
【図１７】第３の実施形態に係る操作イメージを示す図。
【図１８】ユーザの手を上から見たときの例を示す図。
【図１９】第４の実施形態に係る操作イメージを示す図。
【図２０】第４の実施形態に係る操作イメージを示す図。
【図２１】第４の実施形態に係るスクロール操作を説明する図。
【図２２】認識装置を医療用の情報端末に適用する例を説明する図。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る認識装置のハードウェア構成例を示すブロック図である。図１に示すように、認識装置１００は、バス１１により互いに接続された、ＣＰＵ（Central  Processing  Unit）１２と、ＲＯＭ（Read  Only  Memory）１３と、ＲＡＭ（Random  Access  Memory）１４と、通信部１５とを有する。
【０００９】
これらのうち、ＣＰＵ１２は、認識装置１００の全体制御を行なう。ＲＯＭ１３は、ＣＰＵ１２の制御により実行される処理で利用されるプログラムや各種データを記憶する。ＲＡＭ１４は、ＣＰＵ１２の制御により実行される処理で利用されるデータ等を一時的に記憶する。通信部１５は、ネットワークを介して、外部装置と通信を行なう。
【００１０】
かかる認識装置１００は、ユーザによる所定動作であるジェスチャによって画面を操作することが可能なＰＣやテレビジョン受信装置に採用される。例えば、認識装置１００は、ユーザの手の動きに追従するように画面領域に配置されたポインタを移動させたり、ユーザの手の傾き具合に応じて画面領域に配置された操作対象（オブジェクト）を拡大又は縮小させたりする。
【００１１】
また、ユーザの手の動きについては、ユーザの腕（手首）に装着される測定装置によって測定された測定値をもとに認識する。かかる測定装置は、例えば、加速度や角速度、地磁気等を測定するための各種センサを有する。また、測定装置は、測定対象であるユーザの特定部位に装着される。特定部位は、例えば、ユーザの腕、手首、指、頭、足等である。本実施形態では、ユーザの手首に測定装置を装着する場合を例に挙げる。すなわち、測定値である測定装置加速度や角速度は、該測定装置が装着されたユーザの手の加速度や角速度として利用できる。
【００１２】
図２は、第１の実施形態に係る認識装置１００を利用した操作例を説明する図である。図２では、オブジェクトの閲覧、オブジェクトの拡大・縮小、オブジェクトの移動（ドラッグ）のうち、何れかの操作モードを選択する場合を説明する。まず、ユーザは、図２左下に示すように、画面領域に配置されたポインタをジェスチャにより移動させる。図２左下の例では、画面領域の左上に配置されたオブジェクトの位置にポインタを移動させている。ここで、オブジェクト１００１は、画面領域の左上に配置されたオブジェクトを表している。
【００１３】
次に、ユーザは、オブジェクト１００１上にポインタを移動させた状態で、指打ち等のジェスチャを行なう。例えば、指打ちとは、摘むような形で親指と中指を軽く打ちつけるジェスチャを指す。この指打ちのジェスチャは、複数のオブジェクトの中から操作したいオブジェクトを選択する選択動作の一例である。ユーザによって選択動作が行なわれた場合には、操作モード選択可能状態に遷移し、選択したオブジェクトに対して実行する処理である操作モードを選択することができるようになる。操作モード選択可能状態となっているオブジェクト１００２には、背景に影が表示されている。この背景の影は、操作状態の情報の一つであり、操作モード選択可能状態であることを視覚的に明示したものである。
【００１４】
操作モード選択可能状態において、ユーザは、オブジェクト１００２に対して操作を行なうことを確定するジェスチャである確定動作を行なう。これにより、ユーザは、オブジェクトを閲覧する（オブジェクト１００３）、オブジェクトを拡大・縮小する（オブジェクト１００４）、オブジェクトを移動させる（オブジェクト１００５）ことができる。このような操作モードは、操作モード選択可能状態になってから確定動作が行なわれるまでの経過時間や、ユーザの手の傾きの変化量等に応じて切り替えられる。また、操作モードが切り替えられた場合には、操作モードが切り替えられてから次の確定動作が行なわれるまでの経過時間や、ユーザの手の傾きの変化量等に応じて切り替えられる。さらに、操作モード選択可能状態において、一定時間以上確定動作が行なわれない場合には、通常状態に遷移する。
【００１５】
例えば、認識装置１００は、確定動作が行なわれたときの経過時間が閾値よりも小さい場合に、オブジェクトを閲覧する操作モードにする。また、例えば、認識装置１００は、確定動作が行なわれたときの経過時間が閾値以上である場合に、手の傾きの変化量に応じて、オブジェクトを拡大・縮小したり、オブジェクトを移動させたりする。オブジェクトの拡大・縮小や移動は、手の傾きの変化量と閾値との大小関係によって実現する。本実施形態において、認識装置１００は、上述した経過時間や手の傾きの変化量と、それぞれの閾値との関係について、画面領域にフィードバックすることでユーザに通知する。このようなフィードバックは、操作状態の情報の一つである。
【００１６】
図３は、第１の実施形態に係る認識装置の構成例を示す機能ブロック図である。図３に示すように、認識装置１００は、取得部１１１と、選択動作認識部１１２と、出力部１１３とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００１７】
取得部１１１は、測定値を取得する。より具体的には、取得部１１１は、測定対象の動作に応じて測定装置によって測定された測定値を取得する。かかる測定装置は、例えば、加速度や角速度、地磁気等を測定するための各種センサを有する。また、測定装置は、測定対象であるユーザの特定部位に装着される。特定部位は、例えば、ユーザの腕、手首、指、頭、足等である。本実施形態では、ユーザの手首に測定装置を装着する場合を例に挙げる。すなわち、測定値である測定装置の加速度や角速度は、該測定装置が装着されたユーザの手の加速度や角速度として利用できる。
【００１８】
手の３次元的な傾きは、各種センサによって測定された３次元の加速度、角速度、地磁気の測定値をもとに算出することができる。ここで、３次元とは、センサの左右を軸とした上下方向の回転角であるピッチ、上下を軸とした左右方向の回転角であるヨー、前後を軸とした回転角であるロールで表現できるものとする。これらは、装着する位置や角度によって異なるため、例えば、腕時計のように腕に装着し、ユーザから見て上下方向、左右方向、右回り・左回りの回転角になるように算出すれば良い。
【００１９】
図４は、測定装置を装着した特定部位の上下方向の傾きの例を説明する図である。例えば、図４に示すように、ユーザから見て上下方向の手の動きをもとに、下方向（図４に示す「＋」の方向）を正として、操作を開始した位置からの相対的な傾きを回転角として算出すれば良い。
【００２０】
図５は、測定装置を装着した特定部位の左右方向の傾きの例を説明する図である。例えば、図５に示すように、ユーザから見て左右方向の手の動きをもとに、右方向（図５に示す「＋」の方向）を正として、操作を開始した位置からの相対的な傾きを回転角として算出すれば良い。
【００２１】
図６は、測定装置を装着した特定部位の右回り、左回りの傾きの例を説明する図である。例えば、図６に示すように、ユーザから見て右回り、左周りの手の動きをもとに、右回り（図６に示す「＋」の方向）を正として、操作を開始した位置からの相対的な傾きを回転角として算出すれば良い。
【００２２】
選択動作認識部１１２は、特定部位の加速度をもとに、画面領域に含まれる操作対象の何れかを選択する選択動作が行なわれたことを認識する。より具体的には、選択動作認識部１１２は、取得部１１１によって取得された測定値から得られた特定部位の加速度から、ユーザが指打ち等のジェスチャを行なった、すなわち選択動作が行なわれたことを認識する。選択動作が行なわれたか否かについては、加速度の時間変化や変化量が特定の条件を満たすか否かに応じて判定すれば良い。例えば、選択動作認識部１１２は、加速度の大きさが所定の閾値以上になった場合や、時間当たりの加速度の変化量の大きさが所定の閾値以上になった場合等に、選択動作が行なわれたものとして認識する。
【００２３】
加速度はセンサに対して３軸方向でそれぞれの値を取得することができるが、特定の軸の値を利用して指打ち等のジェスチャを判定しても良い。例えば、ユーザの手首に装着したセンサから取得された加速度のうち、図５に示したジェスチャが行なわれたときの腕に対して垂直上向き方向の加速度を利用しても良い。
【００２４】
図７Ａは、指打ちのジェスチャが行なわれたときの手首の垂直上方向の加速度の例を示す図である。また、図７Ｂは、下方向に手を払うジェスチャ（下方向へのフリップ）が行なわれたときの手首の垂直上方向の加速度の例を示す図である。図７Ａ及び図７Ｂに示すように、指打ちのジェスチャは、下方向に手を払うジェスチャと比較して、加速度の波形が検知される時間が短く、急峻な形状となることがわかる。
【００２５】
そこで、以下で説明する第１条件と第２条件とから、選択動作が行なわれたことを認識しても良い。第１条件は、過去の所定時間の加速度の平均値を基準値として、加速度の変化量が所定の閾値「Ａ１」以上であるという条件である。第２条件は、基準値からの加速度の変化量が最大となる時刻を「Ｔｍａｘ」、所定の時間間隔を「Ｔ１」，「Ｔ２」として、時刻「Ｔｍａｘ−Ｔ２」から時刻「Ｔｍａｘ−Ｔ１」までの間と、時刻「Ｔｍａｘ＋Ｔ１」から時刻「Ｔｍａｘ＋Ｔ２」までの間とにおける、加速度の変化量が所定の閾値「Ａ２」未満であるという条件である。なお、時間間隔「Ｔ１」，「Ｔ２」は、「Ｔ２＞Ｔ１」の関係を有する。また、所定の閾値「Ａ１」，「Ａ２」は、「Ａ１＞Ａ２」の関係を有する。例えば、所定の閾値「Ａ２」は、「Ａ１」の半分程度、若しくは半分以下の値をとれば良く、基準値よりも大きい値とする。過去の所定時間は、例えば、１００〜３００ｍｓ（ミリセック）程度の時間である。あまり長い時間における加速度の平均値を基準値とした場合、指打ちのジェスチャが繰り返し行なわれた場合の検出が困難になる可能性があるため、ユーザの仕様により適宜変更すると良い。また、「Ａ１」は、例えば「０．５×重力加速度」と定義をしても良いし、指打ちの動作を初期設定時に行ない、ピークの値をもとに決めても良い。
【００２６】
詳細には、時刻「Ｔｍａｘ−Ｔ２」から時刻「Ｔｍａｘ−Ｔ１」までの間と、時刻「Ｔｍａｘ＋Ｔ１」から時刻「Ｔｍａｘ＋Ｔ２」までの間とは、加速度の変化量が最大となる時刻「Ｔｍａｘ」の前後の時間間隔である。上述したように、指打ちのジェスチャの波形は、加速度の波形が検知される時間が短く、急峻な形状となる。このため、加速度の変化量が最大となる時刻の前後の波形が、基準値と同等の値となっていれば、指打ちのジェスチャが行なわれたものとして認識して良い。第１条件及び第２条件を採用することで、図７Ｂに示したような下方向に手を払うジェスチャ等の、指打ちではないジェスチャが選択動作として認識されることを抑制できる。
【００２７】
また、第１条件及び第２条件に、第３条件をさらに加えても良い。第３条件は、時刻「Ｔｍａｘ」の前後の時間間隔において、手首の位置が一定の範囲におさまるような静止状態であるという条件である。手首の位置が時系列で算出可能な場合には、第３条件をさらに加えて判定することにより、より高精度に選択動作が行なわれたことを認識することができる。なお、選択動作のジェスチャについては、指打ちに限られるものではなく、例えば、手を握る（掴む）、手首から先を下に振る、前方に手のひらを押し出す、指を鳴らす等の任意のジェスチャを採用しても良い。
【００２８】
出力部１１３は、操作対象に対する操作状態の情報を出力する。より具体的には、出力部１１３は、選択動作が行なわれた状態において、選択動作が行なわれてからの経過時間や、特定部位の傾きの変化量等をもとに、操作対象に対する操作状態の情報を出力する。操作状態の情報の出力とは、画面領域に現在の操作状態をフィードバックすることを指す。例えば、操作状態とは、操作モード選択可能状態であるか否かを表す情報、或いは、操作モード選択可能状態における操作モードの情報である。
【００２９】
図８及び図９は、操作状態をフィードバックする例を説明する図である。図８に示すように、通常状態におけるオブジェクト１１０１に対して選択動作が行なわれた場合には、オブジェクトの背景に影が現れ、オブジェクト１１０２が浮き上がっているような状態となる。この状態は、操作モード選択可能状態であることを表している。なお、操作モード選択可能状態であるか否かについては、オブジェクトを揺れさせるアニメーションにより実現しても良い。これらにより、オブジェクト１１０１のような固定されたオブジェクトではなく、制約から解放されたような印象をユーザに与えることができる。
【００３０】
また、オブジェクト１１０３のように、オブジェクト１１０２の状態から、時間経過に伴って、徐々に背景の影を小さくしていくようにしても良い。操作モード選択可能状態において、一定時間以上確定動作が行なわれてない場合に、通常状態に遷移することを上述したが、経過時間に伴って徐々に背景の影を小さくしていくようにすることで、通常状態に遷移するタイミングをユーザに把握させることができる。すなわち、オブジェクト１１０３のように、一定時間経過したときに背景の影がなくなるような補間により、経過時間を相対的に表現する。なお、背景の影が表示されている状態において、ユーザによって何らかのジェスチャが行なわれた場合には、操作モード選択可能状態に遷移したときの背景の影の表示に戻すようにしても良い。また、ユーザによってキャンセルする動作が行なわれたことを検知した場合には、操作モード選択可能状態を強制的に終了して通常状態に遷移し、該当するオブジェクトの背景の影の表示を消去するようにしても良い。
【００３１】
また、図８に示すように、操作モード選択可能状態であるオブジェクト１１０２に対して、拡大又は縮小のためのジェスチャが行なわれた場合には、オブジェクト１１０４〜オブジェクト１１０８に示す状態となる。オブジェクトの拡大又は縮小は、手の傾きの変化量を、拡大又は縮小の倍率としてフィードバックすることで実現する。例えば、図６に示したように、「＋」方向に手を捻るとその変化に応じてオブジェクトを拡大させ、「−」方向に手を捻るとその変化に応じてオブジェクトを縮小させる。
【００３２】
この他にも、所定の閾値角度を超えた場合に設定された倍率だけ拡大又は縮小するようにしても良い。例えば、操作モード選択可能状態に遷移したときからの手の傾きの変化量を「φ」とする。そして、手の傾きの変化量「φ」が「−３０°≦φ＜３０°」である場合には、倍率は変化させないようにする（オブジェクト１１０６参照）。オブジェクト１１０６の状態のときには、オブジェクトをドラッグする操作が可能である情報を表示しても良い。また、手の傾きの変化量「φ」が「−４５°≦φ＜−３０°」である場合には、倍率を２分の１倍にする（オブジェクト１１０５参照）。また、手の傾きの変化量「φ」が「−６０°≦φ＜−４５°」である場合には、倍率を４分の１倍にする（オブジェクト１１０４参照）。また、手の傾きの変化量「φ」が「３０°≦φ＜４５°」である場合には、倍率を２倍にする（オブジェクト１１０７参照）。また、手の傾きの変化量「φ」が「４５°≦φ＜６０°」である場合には、倍率を４倍にする（オブジェクト１１０８参照）。
【００３３】
また、これらの他にも、インジケータ等によって操作状態をフィードバックしても良い。図９に示すように、通常状態におけるオブジェクト１２０１に対して選択動作が行なわれた場合には、オブジェクト１２０２の任意の位置にインジケータ１２０３が表示される。かかるインジケータ１２０３は、半円の形状の外側に手の傾きに応じた操作が表示され、内側に時間に応じた操作が表示される。例えば、半円の外側には、手の傾きの変化量に応じて、オブジェクト１２０２を拡大又は縮小するための倍率が表示される。加えて、半円の外側には、オブジェクト１２０２の倍率が１倍であるときに、ドラッグする操作が可能である情報が表示される。なお、手の傾きの変化量のフィードバックについては、閾値を適宜表示して、現在、どの操作モードであるかを表す情報を表示するようにしても良い。
【００３４】
また、半円の内側には、経過時間の情報がフィードバックされる。経過時間の情報には、閾値時間１２０４が表示される。すなわち、閾値時間１２０４までに確定動作が行なわれた場合にはオブジェクト１２０２を（全画面表示等による）閲覧モードに遷移し、閾値時間１２０４を超えて確定動作が行なわれた場合にはオブジェクトを拡大・縮小又はドラッグするモードに遷移する。そして、経過時間が半円を満たした場合には、通常状態に遷移する。
【００３５】
なお、操作状態の情報のフィードバックについては、上記のものに限られるものではない。例えば、操作モードが切り替わったときに、特定部位に装着された測定装置に対して、音、電気信号、振動等を出力するように制御することで、フィードバックを実現しても良い。また、任意の無線通信等により通信し、外部デバイスから音声や光等を出力させることによりフィードバックを実現しても良い。
【００３６】
また、各機能を実現するためのジェスチャは、上記のものに限られるものではない。例えば、手の奥行き方向の相対的な変化を手の傾きの変化量によって推定できる場合には、手の奥行き方向の相対的な変化に応じてオブジェクトを拡大・縮小させたり、手の捻りに応じてオブジェクトを回転させたりしても良い。手の奥行き方向を採用する場合には、手の奥行き方向に対応する傾きと閾値との関係により、倍率を変化させても良い。また、手の捻りに対応する傾きと閾値との関係により、回転させる度合いを変化させても良い。
【００３７】
次に、図１０を用いて、第１の実施形態に係る全体処理の流れを説明する。図１０は、第１の実施形態に係る全体処理の流れの例を示すフローチャートである。
【００３８】
図１０に示すように、取得部１１１は、各種センサを有し、ユーザの特定部位に装着された測定装置によって測定された、特定部位の傾きと加速度とを取得する（ステップＳ１０１）。選択動作認識部１１２は、取得部１１１によって取得された特定部位の加速度から、選択動作が行なわれたことを認識する（ステップＳ１０２）。出力部１１３は、選択動作が行なわれた状態において、選択動作が行なわれてからの経過時間や、特定部位の傾きの変化量等をもとに、操作対象に対する操作状態の情報を出力する（ステップＳ１０３）。
【００３９】
本実施形態では、ユーザの特定部位に装着された測定装置によって測定された測定値をもとに、画面領域内の操作対象を選択するための選択動作が行なわれたことを認識し、特定部位の傾きの変化量をもとに、操作対象に対する操作状態の情報を出力する。本実施形態によれば、何らかの処理を実行させる度にメニュー画面を表示しなくて良いため、認識した動作に対応する処理を実行する際の操作性を向上させることができる。
【００４０】
（第２の実施形態）
図１１は、第２の実施形態に係る認識装置の構成例を示す機能ブロック図である。なお、第２の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第２の実施形態では、以下に示す取得部１１１、選択動作認識部１１２、出力部１１３の機能及び構成、処理については第１の実施形態と同様である。
【００４１】
図１１に示すように、認識装置２００は、取得部１１１と、選択動作認識部１１２と、出力部１１３と、算出部２１４と、確定動作認識部２１５と、決定部２１６と、実行部２１７とを有する。
【００４２】
算出部２１４は、画面領域における指示位置を算出する。かかる指示位置とは、ポインタ等の指示画像の位置である。より具体的には、算出部２１４は、取得部１１１によって取得された測定値から得られた特定部位の傾きをもとに、画面領域に含まれるポインタの位置を算出する。例えば、特定部位の傾きそれぞれを、上下方向の回転角ピッチを「α」、左右方向の回転角ヨーを「β」、前後を軸とした回転角ロールを「γ」とする。
【００４３】
まず、画面領域内の所定の基準点が、特定部位の所定の傾きに対応するように事前に設定しておく。例えば、操作が開始されたときの特定部位の傾き（αｃ，βｃ，γｃ）が、画面領域内の中央（Ｘｃ，Ｙｃ）等の所定位置に対応するように設定する。なお、処理を簡易にするために、左右方向の傾き「β」と上下方向の傾き「α」のみを使用して、それぞれが画面領域上のｘ軸、ｙ軸の変化を表すように変換しても良い。このとき、特定部位の傾きが（βｃ，αｃ）である場合には、上述した画面領域上の点（Ｘｃ，Ｙｃ）が対応することになる。
【００４４】
また、画面領域内の所定距離が手の傾きの所定の変化量に対応するように設定する。例えば、左右方向の回転角ヨー「β」の「４０°」分の変化量を画面領域の横サイズ「Ｌｘ」とし、上下方向の回転角ピッチ「α」の「４０°」分の変化量を画面領域の縦サイズ「Ｌｙ」となるように設定する。これにより、特定部位の傾き（β，α）に対して、線形補間により画面領域上の位置（Ｘ，Ｙ）を、以下の数式により算出できる。
Ｘ＝Ｘｃ＋Ｌｘ（β−βｃ）／４０
Ｙ＝Ｙｃ＋Ｌｙ（α−αｃ）／４０
【００４５】
測定装置を装着するユーザと画面領域との距離や、ユーザの手が移動可能な範囲等を考慮して各パラメータを設定することにより、測定装置を装着した手でユーザが画面領域を遠隔から指すと、その延長上の位置にポインタが配置されるようにできる。これにより、ユーザは、遠隔からポインティングできているように感じることができる。
【００４６】
また、画面領域内は「０≦Ｘ≦Ｌｘ」，「０≦Ｙ≦Ｌｙ」であり、この画面領域に位置（Ｘ，Ｙ）が含まれない場合には、ポインタが画面領域外に位置するものとして、ポインタの表示をしないようにしても良い。また、画面領域に位置（Ｘ，Ｙ）が含まれない場合であっても、特定部位の位置が画面領域の端に留まるように、画面領域の中央に対応する特定部位の傾きを（αｃ’，βｃ’，γｃ’）に更新しても良い。特定部位の位置が画面領域の端に留まるようにすれば、ユーザの手がどの位置にあってもポインタを見失うことなくポインティングすることができる。
【００４７】
なお、選択動作認識部１１２は、算出部２１４によって算出されたポインタの位置に対応するオブジェクトを選択する選択動作が行なわれたことを認識する。
【００４８】
確定動作認識部２１５は、操作対象に対して操作を行なうことを確定する確定動作が行なわれたことを認識する。より具体的には、確定動作認識部２１５は、選択動作認識部１１２によって選択動作が認識された後に、選択された操作対象を操作することを確定するためのジェスチャである確定動作が行なわれたことを認識する。かかる確定動作は、任意のジェスチャで良く、上述した確定動作と同一のジェスチャであっても良い。なお、選択動作が認識されてから所定時間が経過した場合に、確定動作が行なわれたものとしても良い。
【００４９】
決定部２１６は、操作モードを決定する。より具体的には、決定部２１６は、確定動作認識部２１５によって確定動作が行なわれたことが認識された状態において、特定部位の傾きの変化量や経過時間等をもとに操作モードを決定する。なお、決定部２１６による処理の詳細については後述する。
【００５０】
実行部２１７は、決定された操作モードに応じた処理を実行する。より具体的には、実行部２１７は、ポインタの位置に対応する操作対象に対して、決定部２１６によって決定された操作モードに応じた処理を実行する。例えば、操作モードがオブジェクトを閲覧するモードであれば、該オブジェクトを規定ウィンドウ内で拡大させて表示したり、フルスクリーンで表示したりする。
【００５１】
また、操作モードがオブジェクトを拡大・縮小するモードであれば、手の傾き等に応じて算出された倍率で該オブジェクトを拡大又は縮小する。このとき、オブジェクトの中央を中心として拡大又は縮小しても良い。また、オブジェクトの拡大に応じて、該オブジェクトの詳細な情報が表示されるようにしても良い。複数のオブジェクトが画面領域内に配列されている場合には、オブジェクトの拡大に伴い、他のオブジェクトを画面領域内におさまるように縮小させても良い。
【００５２】
また、操作モードがオブジェクトをドラッグするモードであれば、ポインタの移動に伴って該オブジェクトをドラッグさせる。オブジェクトのドラッグについては、確定動作が行なわれたことが認識されたときにオブジェクトをポインタの位置に移動させても良い。このとき、オブジェクトの移動に関しては、移動先に瞬間的に移動させても良いし、線形的に少しずつ移動させる等、移動アニメーションにしても良い。また、オブジェクトのドラッグについては、確定動作が行なわれたことが認識されるまでの間、ポインタの位置に合わせてオブジェクトを移動させても良い。
【００５３】
次に、図１２を用いて、第２の実施形態に係る全体処理の流れを説明する。図１２は、第２の実施形態に係る全体処理の流れの例を示すフローチャートである。なお、図１２では図示していないが、出力部１１３による操作状態の情報の出力は適宜実行される。
【００５４】
図１２に示すように、取得部１１１は、各種センサを有し、ユーザの特定部位に装着された測定装置によって測定された、特定部位の傾きと加速度とを取得する（ステップＳ２０１）。算出部２１４は、取得部１１１によって取得された測定値から得られた特定部位の傾きをもとに、画面領域に含まれるポインタの位置を算出する（ステップＳ２０２）。選択動作認識部１１２は、取得部１１１によって取得された特定部位の加速度から、算出部２１４によって算出されたポインタの位置に対応する操作対象に対して選択動作が行なわれたことを認識する（ステップＳ２０３）。
【００５５】
確定動作認識部２１５は、選択動作認識部１１２によって選択動作が認識された状態において、選択された操作対象を操作することを確定するための確定動作が行なわれたことを認識する（ステップＳ２０４）。決定部２１６は、確定動作認識部２１５によって確定動作が行なわれたことが認識された状態において、特定部位の傾きの変化量や時間経過等をもとに操作モードを決定する（ステップＳ２０５）。実行部２１７は、決定部２１６によって決定された操作モードに応じた処理を実行する（ステップＳ２０６）。
【００５６】
次に、図１３を用いて、第２の実施形態に係る決定部２１６による処理を説明する。図１３は、第２の実施形態に係る決定部２１６による処理の流れの例を示すフローチャートである。
【００５７】
図１３に示すように、選択動作認識部１１２によって選択動作が行なわれたことが認識された場合に（ステップＳ３０１：Ｙｅｓ）、操作モード選択可能状態に遷移し、決定部２１６は、このときの現在時刻を「Ｔｓ」として記録する（ステップＳ３０２）。一方、選択動作認識部１１２によって選択動作が行なわれたことが認識されていない場合には（ステップＳ３０１：Ｎｏ）、選択動作待ちの状態となる。
【００５８】
ここで、所定時間を「Ｔ０」とする。決定部２１６は、現在時刻が「Ｔ０＋Ｔｓ」よりも大きいか否かを判定する（ステップＳ３０３）。すなわち、決定部２１６は、操作モード選択可能状態に遷移した時刻、或いは、ユーザが最後に操作した時刻である「Ｔｓ」から、所定の時間「Ｔ０」が経過したか否かを判定する。そして、決定部２１６によって現在時刻が「Ｔ０＋Ｔｓ」よりも大きいと判定された場合には（ステップＳ３０３：Ｙｅｓ）、通常状態に遷移する（ステップＳ３０８）。つまり、所定の時間「Ｔ０」が経過してもユーザによって操作が行なわれなかったため、選択されたオブジェクトが通常状態の表示に戻されることになる。
【００５９】
また、決定部２１６は、現在時刻が「Ｔ０＋Ｔｓ」よりも小さいと判定した場合に（ステップＳ３０３：Ｎｏ）、ユーザによって操作が行なわれたか否かを判定する（ステップＳ３０４）。かかる操作は、例えば、操作モードの変更やオブジェクトをドラッグさせる操作等である。このとき、決定部２１６は、ユーザによって操作が行なわれた場合に（ステップＳ３０４：Ｙｅｓ）、このときの現在時刻を「Ｔｓ」として記録する（ステップＳ３０５）。つまり、ユーザによって何らかの操作が行なわれたため、このときの時刻から所定の時間「Ｔ０」の経過を再度判定することになる。一方、ユーザによって操作が行なわれていない場合には（ステップＳ３０４：Ｎｏ）、ステップＳ３０６における処理が実行される。
【００６０】
決定部２１６は、確定動作認識部２１５によって確定動作が行なわれたことが認識されたか否かを判定する（ステップＳ３０６）。このとき、決定部２１６は、確定動作が行なわれたことが認識された場合に（ステップＳ３０６：Ｙｅｓ）、操作モード決定処理を実行する（ステップＳ３０７）。操作モード決定処理後には、通常状態に遷移する（ステップＳ３０８）。なお、操作モード決定処理については後述する。一方、決定部２１６は、確定動作が行なわれたことが認識されない場合に（ステップＳ３０６：Ｎｏ）、ステップＳ３０３における処理を再度実行する。つまり、確定動作が認識されないまま、所定の時間「Ｔ０」が経過してもユーザによって操作が行なわれない場合には、選択されたオブジェクトが通常状態の表示に戻されることになる。
【００６１】
なお、上記では、所定の時間「Ｔ０」が経過した場合に通常状態に遷移する例を説明したが、操作をキャンセルするためのジェスチャ等をもとに、通常状態に遷移するようにしても良い。
【００６２】
図１４は、第２の実施形態に係る操作モード決定処理の流れの例を示すフローチャートである。図１４では、操作モード選択可能状態になってからの経過時間「Ｔ」と閾値との大小関係、操作モード選択可能状態になったときからの手の傾きの変化量「φ」と閾値との大小関係に応じて、選択されたオブジェクトに対する処理に対応する操作モードを決定する。なお、操作モードは、オブジェクトを閲覧する閲覧モード、オブジェクトをドラッグするドラッグモード、オブジェクトを拡大又は縮小する拡大縮小モードの何れかとする。
【００６３】
図１４に示すように、決定部２１６は、選択動作認識部１１２によって選択動作が認識されてから、確定動作認識部２１５によって確定動作が認識されるまでの経過時間「Ｔ」を算出する（ステップＳ４０１）。加えて、決定部２１６は、選択動作認識部１１２によって選択動作が認識されてから、確定動作認識部２１５によって確定動作が認識されたときまでの手の傾きの変化量「φ」を算出する（ステップＳ４０１）。手の傾きの変化量「φ」は、取得部１１１によって取得された測定値から求められる。
【００６４】
そして、決定部２１６は、所定の閾値「Ｔ１（Ｔ１＜Ｔ０）」に対し、「Ｔ＜Ｔ１」を満たすか否かを判定する（ステップＳ４０２）。つまり、選択動作が行なわれてからすぐに確定動作が行なわれたか否かを判定する。このとき、決定部２１６は、「Ｔ＜Ｔ１」を満たす場合に（ステップＳ４０２：Ｙｅｓ）、閲覧モードに切り替えることを決定する（ステップＳ４０３）。一方、決定部２１６は、「Ｔ＜Ｔ１」を満たさない場合に（ステップＳ４０２：Ｎｏ）、「｜φ｜＜φ１」を満たすか否かを判定する（ステップＳ４０４）。「φ１」は所定角度であり、手の傾きの変化量「φ」の絶対値と比較する。つまり、ステップＳ４０４は、図９に示したように、所定角度「φ１」よりも手の傾きの変化量の絶対値が小さい場合にはドラッグモードとし、所定角度「φ１」よりも手の傾きの変化量の絶対値が大きい場合には拡大縮小モードとするための判定処理である。
【００６５】
このとき、決定部２１６は、「｜φ｜＜φ１」を満たす場合に（ステップＳ４０４：Ｙｅｓ）、ドラッグモードに切り替えることを決定する（ステップＳ４０５）。一方、決定部２１６は、「｜φ｜＜φ１」を満たさない場合に（ステップＳ４０４：Ｎｏ）、拡大縮小モードに切り替えることを決定する（ステップＳ４０６）。なお、拡大や縮小の倍率については、手の傾きの変化量「φ」に応じて変更しても良い。例えば、「φ１」を３０°として、「−４５°≦φ≦−３０°」である場合には倍率を２分の１倍とし、「−６０°≦φ＜−４５°」である場合には倍率を４分の１倍としても良い。また、「３０°≦φ＜４５°」である場合には倍率を２倍とし、「４５°≦φ＜６０°」である場合には倍率を４倍としても良い。
【００６６】
これらにより、例えば、ダブルクリックのように短い間隔で指打ち等のジェスチャが行なわれた場合にはオブジェクトを閲覧できるようにする。同様に、指打ち等のジェスチャが行なわれてから手が移動されるとオブジェクトをドラッグできるようにする。また、指打ち等のジェスチャが行なわれてから手を捻るとオブジェクトの拡大又は縮小を行なえるようにする。
【００６７】
なお、上記では、確定動作が認識されてから操作モード決定処理を実行する場合を例に挙げた。本実施形態は、確定動作が認識される前に、都度、操作モード決定処理を実行しても良い。例えば、図１３に示した操作モード決定処理（ステップＳ３０７）において、「Ｔ」を操作モード選択可能状態になってからその時点までの経過時間とし、「φ」を操作モード選択可能状態になったときからその時点までの手の傾きの変化量とする。そして、操作モード決定処理をステップＳ３０６における処理の前に実行する。これにより、確定動作が認識されていない状態であっても操作モードを切り替えることができる。
【００６８】
例えば、選択動作が認識された後に、手を捻らない状態で手を移動し、移動後に静止した位置で手を捻ることにより、オブジェクトをドラッグしつつ拡大又は縮小するという操作を実現することができる。この後、確定動作が認識された場合には、これら複数の操作モードとして確定すれば良い。なお、操作状態をフィードバックするように表示も都度変更しても良い。例えば、ドラッグしているときにはオブジェクトを移動させ、手の捻りに応じた倍率で拡大又は縮小するようにしても良い。また、オブジェクトのドラッグのために手を移動させている間は、手が捻られても拡大又は縮小しないようにしても良い。操作モードについては、上記で説明したものに限られるものではない。
【００６９】
また、選択動作が行なわれたときに指示されたオブジェクトの種類によって、選択できる操作モードを変更するようにしても良い。図１５は、オブジェクトごとに操作モードが異なる例を説明する図である。図１５に示すように、画面領域１３０１にオブジェクト１３０３〜オブジェクト１３０６が配置されたウィンドウ１３０２が表示されている場合を例に挙げる。例えば、オブジェクト１３０３〜オブジェクト１３０６上にポインタが配置された状態で選択動作が認識された場合には、上述してきた操作モードを適用する。但し、ウィンドウ１３０２上にポインタが配置された状態で選択動作が認識された場合には、手の傾きによる拡大又は縮小ではなく、手の傾きによる回転を実行するようにしても良い。なお、手の傾きによる回転は、ウィンドウ１３０２内に配置された各オブジェクトに対して行なわれるようにしても良い。
【００７０】
本実施形態によれば、特定部位の傾きの変化量をもとに操作モードを決定し、ポインタの位置に対応するオブジェクトに対して、決定された操作モードに応じた処理を実行するので、認識した動作に対応する処理を実行する際の操作性を向上させることができる。
【００７１】
（第３の実施形態）
図１６は、第３の実施形態に係る認識装置の構成例を示す機能ブロック図である。なお、第３の実施形態では、第１の実施形態や第２の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第３の実施形態では、以下に示す算出部３１４、決定部３１６、操作開始認識部３１８、操作終了認識部３１９、払い動作認識部３２０、往復動作認識部３２１以外の機能及び構成、処理については第１の実施形態や第２の実施形態と同様である。
【００７２】
図１６に示すように、認識装置３００は、取得部１１１と、選択動作認識部１１２と、出力部１１３と、算出部３１４と、確定動作認識部２１５と、決定部３１６と、実行部２１７とを有する。加えて、認識装置３００は、操作開始認識部３１８と、操作終了認識部３１９と、払い動作認識部３２０と、往復動作認識部３２１とを有する。
【００７３】
操作開始認識部３１８は、操作対象に対する操作を開始する開始動作が行なわれたことを認識する。より具体的には、操作開始認識部３１８は、取得部１１１によって取得された測定値から得られた特定部位の傾きをもとに、オブジェクトに対する操作を開始する開始動作が行なわれたことを認識する。
【００７４】
操作終了認識部３１９は、操作対象に対する操作を終了する終了動作が行なわれたことを認識する。より具体的には、操作終了認識部３１９は、取得部１１１によって取得された測定値から得られた特定部位の傾きをもとに、オブジェクトに対する操作を終了する終了動作が行なわれたことを認識する。操作終了認識部３１９によって終了動作が認識された場合には、通常状態に遷移し、操作モードが決定されていない非操作モードとなる。
【００７５】
算出部３１４以降の処理については、操作開始認識部３１８によって開始動作が行なわれたことが認識された場合に実行される。すなわち、算出部３１４は、開始動作が行なわれたことが認識されてから、終了動作が認識されるまでの間、ポインタの位置を算出する処理を実行することになる。
【００７６】
払い動作認識部３２０は、特定部位を払う払い動作が行なわれたことを認識する。より具体的には、払い動作認識部３２０は、選択動作認識部１１２によって選択動作が行なわれたことが認識された状態において、算出部３１４によって算出されたポインタの位置の時間変化、及び、特定部位の傾きの変化量の少なくとも一つをもとに、特定部位を払う払い動作が行なわれたことを認識する。
【００７７】
往復動作認識部３２１は、特定部位を往復させる往復動作が行なわれたことを認識する。より具体的には、往復動作認識部３２１は、選択動作認識部１１２によって選択動作が行なわれたことが認識された状態において、算出部３１４によって算出されたポインタの位置の時間変化、及び、特定部位の傾きの変化量の少なくとも一つをもとに、特定部位を往復させる往復動作が行なわれたことを認識する。
【００７８】
これらにより、決定部３１６は、払い動作認識部３２０で認識される払い動作の有無、及び、往復動作認識部３２１で認識される往復動作の有無の少なくとも一つをもとに、操作モードを決定する。なお、決定部３１６は、操作モード選択可能状態である場合に、払い動作や往復動作を受け付けないようにしても良い。又は、決定部３１６は、操作モード選択可能状態である場合に、往復動作のみを受け付けるようにしても良い。若しくは、決定部３１６は、操作モード選択可能状態になった場合に、払い動作や往復動作を受け付けて、操作モード選択可能状態で認識した場合と、通常状態で認識した場合とで、各動作の意味合いを変えるようにしても良い。
【００７９】
例えば、図１５に示した例を挙げて説明すると、通常状態で払い動作が認識された場合には、ウィンドウ１３０２と、該ウィンドウ１３０２内に配置されたオブジェクト１３０３〜オブジェクト１３０６とを、払われた方向に移動させる。また、ウィンドウ１３０２上で選択動作が行なわれた状態で払い動作が認識された場合には、ウィンドウ１３０２と、該ウィンドウ１３０２内に配置されたオブジェクト１３０３〜オブジェクト１３０６とを、払われた方向に移動させる。また、オブジェクト１３０３〜オブジェクト１３０６上で選択動作が行なわれた状態で払い動作が認識された場合には、該当するオブジェクトだけを、払われた方向に移動させる。なお、上記実施形態で説明したように、操作モード選択可能状態でキャンセルするジェスチャ（例えば、往復動作）が認識された場合には、通常状態に遷移するようにしても良い。
【００８０】
図１７は、第３の実施形態に係る操作イメージの例を示す図である。図１７では、テレビを操作する場合を例に挙げて説明する。図１７に示すように、最初は非操作モードであり、非操作モードの間は、ポインタの位置の算出や選択動作、確定動作、操作モードの決定等は行なわれない。操作開始認識部３１８によって開始動作が行なわれたことが認識された場合には、画面操作モードに遷移する。画面操作モードでは、ユーザによる各種ジェスチャが認識される。画面操作モードの状態において、操作終了認識部３１９によって終了動作が行なわれたことが認識された場合には、非操作モードに遷移する。
【００８１】
操作開始認識部３１８による開始動作の判定方法としては、開始動作が認識されていない状態で、且つ、特定部位の傾きが所定の操作開始閾値角度より上向きになった場合に、開始動作が行なわれたものとして認識する。また、操作終了認識部３１９による終了動作の判定方法としては、終了動作が認識されていない状態で、且つ、特定部位の傾きが操作開始閾値角度より下向きである所定の操作終了閾値角度より下向きになった場合に、終了動作が行なわれたものとして認識する。例えば、操作開始閾値角度は水平から上方向に２０°とし、操作終了閾値角度は水平から下方向に２０°とする。また、手の傾きが操作開始閾値角度、操作終了閾値角度それぞれになってから静止したときに、開始又は終了として判定しても良い。このとき、過去の所定時間内の所定割合の時間で、ポインタの位置の移動が所定範囲内であれば、静止したとして判定しても良い。
【００８２】
払い動作認識部３２０や往復動作認識部３２１は、算出部３１４によって算出されたポインタの位置の時間変化から各動作を認識する。かかる動作の認識については、以下のようにしても良い。具体的には、算出部３１４によって算出されたポインタの位置の時間変化をもとに、特定部位の移動ベクトルと、所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの時間が所定時間内となる動きが連続して発生する回数を特徴量として算出する。例えば、折り返し点から次の折り返し点までが「３５０ｍｓ」等の所定時間以内となる手の動きが連続して発生する回数を特徴量として算出する。つまり、ユーザによって手が左右に振られる等、手の往復運動がジェスチャとして行なわれた場合に、所定時間以内における該往復運動の折り返しの発生の回数を特徴量とする。
【００８３】
そして、往復運動の折り返しの発生の回数が所定回数（例えば「４」回）より多いか又は少ないかの判定を行ない、判定結果に応じてユーザのジェスチャを区別し、対応する処理を実行させれば良い。これは、手の払い動作によるポインタの位置の移動と、手の往復運動とが、類似したジェスチャであることに起因するためである。これらにより、払い動作と往復動作とに応じて、両方に対応する処理が実行されてしまうのを抑止することができる。
【００８４】
これらの他にも、手の傾きを用いることにより、払い動作を往復動作やポインティングと区別することができる。図１８は、ユーザの手を上から見たときの例を示す図である。例えば、図１８に示すように、ユーザが手を払う動作を行なう場合には、手１４０１のように横向きになることが多い。また、ユーザがポインティングや往復動作を行なう場合には、手１４０２のようにそれほど横向きにはならないことが多い。
【００８５】
これらから、ユーザによってジェスチャが開始されたときの手の傾きから所定角度以上傾いた動きの場合は払い動作として判定し、所定角度以上傾いていない場合はポインティング或いは往復動作として判定する。なお、判定内容については、閾値により２つに区別しなくても良い。例えば、手の傾きの変化量の大きさや、ポインタの位置の時間変化の大きさである手の移動の速さ、時間あたりの手の往復度合い等にもとづいた評価値を設けて、評価値の大小により区別しても良い。
【００８６】
また、往復動作については、所謂バイバイの動作である可能性も有り得る。バイバイの動作である場合には、手のひらを操作対象に向けて行なわれることが多い。このことから、特定部位の上下方向の回転角は、水平よりも相当量上向きになると考えられる。そこで、例えば、上下方向の回転角が所定の閾値よりも大きいとはバイバイの動作として判定し、これ以外のときはポインティング或いはバイバイの動作ではない往復動作として判定しても良い。なお、判定内容については、閾値により２つに区別しなくても良い。例えば、手の傾きの変化量の大きさや、ポインタの位置の時間変化の大きさである手の移動の速さ、時間あたりの手の往復度合い等にもとづいた評価値を設けて、評価値の大小により区別しても良い。
【００８７】
本実施形態では、特定部位の傾きをもとにオブジェクトに対する操作の開始又は終了を認識するとともに、ポインタの位置の時間変化や特定部位の傾きの変化量等により、払い動作と往復動作とを区別する。本実施形態によれば、認識した動作に対応する処理を実行する際の操作性を向上させることができるとともに、ユーザの動作をより正確に認識することができる。
【００８８】
（第４の実施形態）
さて、これまで認識装置の実施形態について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されて良い。そこで、（１）操作イメージ、（２）スクロール操作、（３）その他ユースケース、（４）複数人での操作、（５）構成、（６）プログラム、について異なる実施形態を説明する。
【００８９】
（１）操作イメージ
上記実施形態では、図１７等を用いて操作イメージを説明した。かかる操作については、上記に限られるものではない。図１９及び図２０は、第４の実施形態に係る操作イメージの例を示す図である。
【００９０】
図１９は、オブジェクトの種類が地図である場合の操作イメージである。図１９に示すように、オブジェクトが地図である場合には、ドラッグや払い動作が行なわれると、地図のページを移動するようにしても良い。また、選択動作が認識されてからすぐに確定動作が行なわれた場合には、地図の表示タイプを変更するようにしても良い。また、選択動作が認識されてから手を捻って確定動作が行なわれた場合には、地図の俯瞰若しくは詳細を表示するようにしても良い。
【００９１】
図２０は、オブジェクトの種類がＷｅｂページである場合の操作イメージである。図２０に示すように、オブジェクトがＷｅｂページである場合には、ドラッグや上下に払い動作が行なわれると、Ｗｅｂページをスクロールさせるようにしても良い。また、リンク以外の位置で選択動作が認識されてからすぐに確定動作が行なわれた場合には、現在のＷｅｂページを更新する処理を実行しても良い。また、リンク上で選択動作が認識されてからすぐに確定動作が行なわれた場合には、Ｗｅｂページのリンク先にページを移動させるようにしても良い。また、左右の何れかに手を払う動作が行なわれた場合には、現在のＷｅｂページの直前又は直後に閲覧していたＷｅｂページに移動するようにしても良い。また、選択動作が認識されてから手を捻って確定動作が行なわれた場合には、部分的に拡大又は縮小する処理を実行しても良い。
【００９２】
（２）スクロール操作
また、スクロール操作については、以下で説明する操作も実現することができる。図２１は、第４の実施形態に係るスクロール操作の例を説明する図である。図２１では、ユーザのプレイリストからお気に入りの番組を選択する場合を例に挙げる。
【００９３】
図２１に示すように、オブジェクト１５０１は、初期状態を表している。オブジェクト１５０１には、各ユーザのリストが表示されている。このとき、ユーザは、自身に該当するユーザの表示箇所を指打ち等により選択する。これにより、オブジェクト１５０２のように、ユーザ（例えば「ＵＳＥＲ２」）のプレイリストが表示される。ユーザは、表示されたプレイリストの表示箇所上で指打ち等を行なう。これにより、オブジェクト１５０３のように、中央付近のプレイリスト（例えば「Ｐｒｏｇｒａｍ３」）に枠が表示されるとともに、インジケータが表示される。
【００９４】
このとき、ユーザによって「ＯＫ」が選択された場合には、「Ｐｒｏｇｒａｍ３」を閲覧することができる。また、ユーザによって手が捻られた場合には、上下何れかのスクロールが行なわれる。ここで、手の捻り具合を大きくするほど、スクロールの速度を大きくすることができる。スクロールの操作により、オブジェクト１５０４のように、「Ｐｒｏｇｒａｍ３」から「Ｐｒｏｇｒａｍ４」等に切り替わり、枠やスクロールバーが切り替わりに応じて変化する。
【００９５】
（３）その他ユースケース
また、上記実施形態で説明してきたＰＣやＴＶ等のユースケース以外にも、例えば、医療用の端末装置に適用することもできる。図２２は、認識装置を医療用の情報端末に適用する例を説明する図である。図２２に示す情報端末には、上記実施形態の何れかの認識装置が搭載されており、手術中の医者への情報提供に用いられる。また、医者は、手首等の特定部位に測定装置を装着している。手術中の医者は、手を清潔に保つことが好ましいため、医者に患者のモニタリング情報や検査結果等の情報提供を行なう情報端末に手を直接触れることは好ましくない。
【００９６】
そこで、情報端末に上記実施形態の何れかの認識装置を適用することにより、医者が自身の手のジェスチャによって非接触で情報端末の操作を可能とする。特定部位に装着された測定装置からの測定値をもとに、情報端末に採用された認識装置がジェスチャを認識し、情報端末に対して検出されたジェスチャの方向へスクロールさせるためのコマンドや、表示情報を変更するためのコマンド等を実行する。
【００９７】
なお、認識装置の適用については、ＰＣ、テレビ受像機、医療用の情報端末に限られるわけではなく、ゲーム機器等、他の機器に適用することもできる。つまり、ユーザがリモートコントローラ、センサ、マーカ等を持つことなく、機器を容易に操作するジェスチャインタフェースに関し、機器制御のためのメニューや機器に表示されたコンテンツ等の切り替えの操作を行なうことができる機器に応用できる。
【００９８】
（４）複数人での操作
また、複数のユーザによる操作を実現することもできる。例えば、複数のユーザによって操作される場合には、測定装置に備え付けられたスイッチや起動した順に、事前に識別情報を割り当てておき、最初に割り当てられた識別情報に対応する測定装置を装着したユーザのみが操作できるようにしても良い。また、何れかひとりのユーザの操作だけでなく、複数のユーザそれぞれに対応するポインタを表示し、各々のユーザが操作できるようにしても良い。このとき、同一のオブジェクトを複数人が操作しようとした場合には、該オブジェクトに対して最初に選択動作を行なったユーザのみが操作できるようにすれば良い。
【００９９】
また、ひとりのユーザが、両腕に測定装置を装着しても良い。かかる場合には、ペアリング等により各ユーザが装着している測定装置を認識し、各センサそれぞれの測定値をもとに操作できるようにしても良いし、何れかの測定装置の測定値を有効としても良い。また、複数の測定装置の測定値を採用して、例えば２つの測定装置の相対的な距離変化に応じて、所謂ピンチインやピンチアウト等により拡大又は縮小の操作を実現することもできる。
【０１００】
（５）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した照明装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
【０１０１】
例えば、上記実施形態では、ユーザの手首等の特定部位に装着された測定装置から測定値を取得し、測定値をもとにユーザのジェスチャを認識して、操作対象への操作や操作状態をフィードバックする認識装置を説明した。かかる認識装置は、測定装置と一体型の装置として実現しても良い。すなわち、上記実施形態で説明した認識装置の各機能と、センサとを有する装着型の端末装置として実現しても良い。かかる端末装置は、処理結果を、操作対象を表示する情報処理装置等に対して出力する。このとき、端末装置のハードウェア構成としては、図１に示したハードウェア構成に、センサがさらに含まれたものとなる。
【０１０２】
また、上記実施形態で説明した認識装置の各機能を、ネットワークに接続された少なくとも一つの情報処理装置によって実現しても良い。例えば、取得部１１１、算出部２１４、選択動作認識部１１２及び出力部１１３の機能を有する情報処理装置と、確定動作認識部２１５、決定部２１６及び実行部２１７の機能を有する情報処理装置とにより、認識装置の処理を実現するようにしても良い。
【０１０３】
また、測定値を測定するための専用の測定装置ではなく、市販のスマートフォン等に搭載されたセンサによって測定される測定値を利用しても良い。かかる場合には、スマートフォンを上記実施形態と同様に、ユーザの手首等に装着し、認識装置に対して測定値を出力させれば良い。
【０１０４】
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０５】
（６）プログラム
また、認識装置で実行される認識プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、認識装置で実行される認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、認識装置で実行される認識プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、認識装置で実行される認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【０１０６】
認識装置で実行される認識プログラムは、上述した各部（取得部１１１、選択動作認識部１１２、出力部１１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から認識プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、取得部１１１、選択動作認識部１１２、出力部１１３が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１０７】
１００  認識装置
１１１  取得部
１１２  選択動作認識部
１１３  出力部
【図１】
2015099574.tif 000003
【図３】
2015099574.tif 000004
【図４】
2015099574.tif 000005
【図５】
2015099574.tif 000006
【図６】
2015099574.tif 000007
【図７Ａ】
2015099574.tif 000008
【図７Ｂ】
2015099574.tif 000009
【図１０】
2015099574.tif 000010
【図１１】
2015099574.tif 000011
【図１２】
2015099574.tif 000012
【図１３】
2015099574.tif 000013
【図１４】
2015099574.tif 000014
【図１５】
2015099574.tif 000015
【図１６】
2015099574.tif 000016
【図１８】
2015099574.tif 000017
【図２１】
2015099574.tif 000018
【図２２】
2015099574.tif 000019
【図２】
2015099574.tif 000020
【図８】
2015099574.tif 000021
【図９】
2015099574.tif 000022
【図１７】
2015099574.tif 000023
【図１９】
2015099574.tif 000024
【図２０】
2015099574.tif 000025