(57)【要約】【課題】センサ構成を複雑化させることなく対象物体の回転状態を定量的に評価すること。【解決手段】ジェスチャ識別装置１は、対象物体に取り付けられた３軸角速度センサ１０から３軸周りの３軸角速度データを時間的に連続して取得するデータ取得部２１と、３軸角速度データを基に対象物体の動きの軌跡を算出するデータ前処理部２２と、動きの軌跡の分布の広がりを主成分分析によって解析し、固有ベクトルに基づいて回転面の法線ベクトルを算出する候補ベクトル算出部２３及び代表ベクトル算出部２４と、固有ベクトルに対応する固有値を基に動きの軌跡に関する特徴量を算出する特徴量算出部２５と、特徴量に関するデータを辞書データとして格納するデータ格納部３０と、特徴量を辞書データと照合することで回転状態を識別する識別部２６と、を備える。【選択図】図１
2019101734.tif 000002
【特許請求の範囲】
【請求項１】
対象物体に取り付けられた３軸角速度センサから、複数の３軸周りの３軸角速度データを時間的に連続して取得するデータ取得手段と、
前記複数の３軸角速度データを基に前記対象物体の位置の軌跡を算出する軌跡算出手段と、
前記位置の軌跡の分布の広がりを主成分分析によって解析し、分布の広がりを示す固有値に対応する固有ベクトルに基づいて、前記対象物体の回転面の法線ベクトルを算出する法線ベクトル算出手段と、
前記法線ベクトル算出手段によって算出された前記固有ベクトルに対応する前記固有値を基に、前記位置の軌跡に関する特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された特徴量に関するデータを辞書データとして内部あるいは外部のデータベースに格納するデータ格納手段と、
前記特徴量算出手段によって算出された特徴量を、前記データベースに格納された前記辞書データと照合することで前記対象物体の回転状態を識別する識別手段と、
を備えるジェスチャ識別装置。
【請求項２】
前記法線ベクトル算出手段は、
前記位置の軌跡の局所時間における分布の広がりを主成分分析によって解析し、前記固有値に対応する固有ベクトルに基づいて、前記対象物体の回転面の法線ベクトルの候補である法線ベクトル候補を算出する候補ベクトル算出手段と、
観測時間内で前記局所時間ごとに算出された複数の前記法線ベクトル候補を主成分分析によって解析することにより、前記複数の法線ベクトル候補のうちの代表である代表法線ベクトルを算出する代表ベクトル算出手段と、
を有する、
請求項１記載のジェスチャ識別装置。
【請求項３】
前記特徴量算出手段は、前記候補ベクトル算出手段によって算出された前記固有値を基に、前記局所時間における前記位置の軌跡の広がり度合いを算出し、
前記観測時間内において前記局所時間ごとに算出された前記広がり度合いから、前記特徴量を算出する、
請求項２記載のジェスチャ識別装置。
【請求項４】
前記特徴量算出手段は、算出された前記固有値のうちの最大の固有値と第２番目の大きさの固有値との比、及び前記最大の固有値と最小の固有値との比を基に、前記特徴量を算出する、
請求項１〜３のいずれか１項に記載のジェスチャ識別装置。
【請求項５】
前記特徴量算出手段は、ＢＯＦ手法により前記特徴量を算出する、
請求項１〜４のいずれか１項に記載のジェスチャ識別装置。
【請求項６】
前記軌跡算出手段は、前記３軸角速度データからノイズを除去し、ノイズが除去された前記３軸角速度データを対象にして前記位置の軌跡を算出する、
請求項１〜５のいずれか１項に記載のジェスチャ識別装置。
【請求項７】
ジェスチャ識別装置が、対象物体に取り付けられた３軸角速度センサから、複数の３軸周りの３軸角速度データを時間的に連続して取得するデータ取得ステップと、
前記ジェスチャ識別装置が、前記複数の３軸角速度データを基に前記対象物体の位置の軌跡を算出する軌跡算出ステップと、
前記ジェスチャ識別装置が、前記位置の軌跡の分布の広がりを主成分分析によって解析し、分布の広がりを示す固有値に対応する固有ベクトルに基づいて、前記対象物体の回転面の法線ベクトルを算出する法線ベクトル算出ステップと、
前記ジェスチャ識別装置が、前記法線ベクトル算出ステップによって算出された前記法線ベクトルに対応する前記固有値を基に、前記位置の軌跡に関する特徴量を算出する特徴量算出ステップと、
前記ジェスチャ識別装置が、前記特徴量算出ステップによって算出された特徴量に関するデータを辞書データとして内部あるいは外部のデータベースに格納するデータ格納ステップと、
前記ジェスチャ識別装置が、前記特徴量算出ステップによって算出された特徴量を、前記データベースに格納された前記辞書データと照合することで前記対象物体の回転状態を識別する識別手段と、
を備えるジェスチャ識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、ユーザのジェスチャを識別するジェスチャ識別装置及びジェスチャ識別方法に関するものである。
【背景技術】
【０００２】
近年、腕時計型ウェアラブル端末等の小型端末の登場により、新しいユーザインタフェース技術が求められている。このような小型端末の画面の大きさには制約があるため、従来のスマートフォン、タブレット端末等の端末機器に比べると操作性が低い。これを解決するための１つの方法として、端末を振るなどの動作により端末を操作できる直観的なユーザインタフェースが提案されている。しかし、従来から提案されているユーザインタフェースでは主に加速度センサが用いられている。この場合、加速度センサによって検知できるのは、並進運動と回転運動に大別される物理運動の中で、基本的には並進運動のみである。
【０００３】
一方で、より直観的なユーザインタフェースとして、回転運動を検出可能なインターフェースの必要性が高まっている。例えば、下記特許文献１または下記特許文献２に記載の電子機器では、角速度センサを用いたユーザインタフェースも検討されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２３０５９３号公報
【特許文献２】国際公開２０１５／１７０５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は、回転運動を検出可能なユーザインタフェースを実現するには、多数の加速度センサを具備する必要があり、センサの構成が複雑化する傾向にあった。また、上記特許文献１または上記特許文献２に記載の装置では、装置の向きを検出するものであり、装置の回転状態を定量的に評価することは困難であった。
【０００６】
そこで、本発明は、かかる課題に鑑みて為されたものであり、センサ構成を複雑化させることなく対象物体の回転状態を定量的に評価することが可能なジェスチャ識別装置及びジェスチャ識別方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一形態に係るジェスチャ識別装置は、対象物体に取り付けられた３軸角速度センサから、複数の３軸周りの３軸角速度データを時間的に連続して取得するデータ取得手段と、複数の３軸角速度データを基に対象物体の位置の軌跡を算出する軌跡算出手段と、位置の軌跡の分布の広がりを主成分分析によって解析し、分布の広がりを示す固有値に対応する固有ベクトルに基づいて、対象物体の回転面の法線ベクトルを算出する法線ベクトル算出手段と、法線ベクトル算出手段によって算出された固有ベクトルに対応する固有値を基に、位置の軌跡に関する特徴量を算出する特徴量算出手段と、特徴量算出手段によって算出された特徴量に関するデータを辞書データとして内部あるいは外部のデータベースに格納するデータ格納手段と、特徴量算出手段によって算出された特徴量を、データベースに格納された辞書データと照合することで対象物体の回転状態を識別する識別手段と、を備える。
【０００８】
あるいは、本発明の他の形態に係るジェスチャ識別方法は、ジェスチャ識別装置が、対象物体に取り付けられた３軸角速度センサから、複数の３軸周りの３軸角速度データを時間的に連続して取得するデータ取得ステップと、ジェスチャ識別装置が、複数の３軸角速度データを基に対象物体の位置の軌跡を算出する軌跡算出ステップと、ジェスチャ識別装置が、位置の軌跡の分布の広がりを主成分分析によって解析し、分布の広がりを示す固有値に対応する固有ベクトルに基づいて、対象物体の回転面の法線ベクトルを算出する法線ベクトル算出ステップと、ジェスチャ識別装置が、法線ベクトル算出ステップによって算出された固有ベクトルに対応する固有値を基に、位置の軌跡に関する特徴量を算出する特徴量算出ステップと、ジェスチャ識別装置が、特徴量算出ステップによって算出された特徴量に関するデータを辞書データとして内部あるいは外部のデータベースに格納するデータ格納ステップと、ジェスチャ識別装置が、特徴量算出ステップによって算出された特徴量を、データベースに格納された辞書データと照合することで対象物体の回転状態を識別する識別手段と、を備える。
【０００９】
上記一形態あるいは上記他の形態によれば、対象物体に取り付けられた３軸角速度センサから時間的に連続して取得された複数の３軸角速度データを基に、対象物体の位置の軌跡が得られ、その位置の軌跡の分布の広がりが主成分分析で解析されることにより回転面の法線ベクトルが算出される。さらに、その際の主成分分析によって得られた固有ベクトルに対応する固有値を基に位置の軌跡に関する特徴量が得られ、その特徴量が辞書データとしてデータベースに格納される。そして、別途算出された特徴量がデータベースに格納された辞書データと照合されることで、対象物体の回転状態が識別される。これにより、対象物体におけるセンサ構成を複雑化させることなく、任意の回転面における対象物体の回転状態を定量的に表した特徴量を生成し、その特徴量を基に辞書データを蓄積することができる。また、そのような辞書データと特徴量とを照合することで対象物体の回転状態を精度よく識別することができる。
【発明の効果】
【００１０】
本発明によれば、センサ構成を複雑化させることなく対象物体の回転状態を定量的に評価することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の好適な一実施形態にかかるジェスチャ識別装置の概略構成図である。
【図２】図１のジェスチャ識別装置のハードウェア構成を示すブロック図である。
【図３】図１の候補ベクトル算出部２３による法線ベクトル候補の算出イメージを示す概念図である。
【図４】図１の代表ベクトル算出部２４による代表法線ベクトルの算出イメージを示す概念図である。
【図５】図１のジェスチャ識別装置１の学習フェーズにおける動作手順を示すフローチャートである。
【図６】図１のジェスチャ識別装置１の識別フェーズにおける動作手順を示すフローチャートである。
【図７】本発明の変形例を示すジェスチャ識別サーバ１Ａの概略構成図である。
【発明を実施するための形態】
【００１２】
以下、図面とともに本発明によるジェスチャ識別装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１３】
図１は、本発明の好適な一実施形態にかかるジェスチャ識別装置１の概略構成図である。図１に示すジェスチャ識別装置１は、腕時計型ウェアラブル端末、スマートフォン、タブレット端末、携帯電話端末等に代表される携帯型端末装置であり、回転状態の算出対象の対象物体でもある。
【００１４】
図２は、ジェスチャ識別装置１として動作する携帯型端末装置２のハードウェア構成を示すブロック図である。同図に示すように、携帯型端末装置２は、物理的には、ＣＰＵ２０１、主記憶装置であるＲＡＭ２０２及びＲＯＭ２０３、入力キー、タッチセンサ等の入力デバイスである入力装置２０４、タッチパネルディスプレイ等の出力装置２０５、データ送受信デバイスである移動体通信モジュール２０６及び近距離通信モジュール２０７、半導体メモリ等の補助記憶装置２０８、などを含むコンピュータシステム（情報処理プロセッサ）として構成されている。図１におけるジェスチャ識別装置１の各機能は、図２に示されるＣＰＵ２０１、ＲＡＭ２０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２０１の制御のもとで入力装置２０４、出力装置２０５、移動体通信モジュール２０６、及び近距離通信モジュール２０７を動作させるとともに、ＲＡＭ２０２や補助記憶装置２０８におけるデータの読み出し及び書き込みを行うことで実現される。
【００１５】
以下、図１に戻って、ジェスチャ識別装置１の構成について詳述する。
【００１６】
ジェスチャ識別装置１は、３軸周りの角速度を検出する３軸角速度センサ１０と、ＣＰＵ２０１、ＲＡＭ２０２、移動体通信モジュール２０６、及び近距離通信モジュール２０７等（図２参照）によって構成されて各種演算処理を実行するプロセッサ２０とを内蔵しており、プロセッサ２０によって構築される機能的な構成要素として、データ取得部（データ取得手段）２１、データ前処理部（軌跡算出手段）２２、候補ベクトル算出部（法線ベクトル算出手段、候補ベクトル算出手段）２３、代表ベクトル算出部（法線ベクトル算出手段、代表ベクトル算出手段）２４、特徴量算出部（特徴量算出手段）２５、識別部（識別手段）２６を備えている。さらに、ジェスチャ識別装置１は、補助記憶装置２０８（図２参照）によって構成され、プロセッサ２０内で処理される辞書データ等のデータを格納するデータ格納部（データ格納手段）３０を備えている。
【００１７】
３軸角速度センサ１０は、ジェスチャ識別装置１の規定位置に取り付けられ、取り付け位置における３軸周りの角速度を検出する。例えば、３軸角速度センサ１０は、３次元直交座標系Ｘ−Ｙ−ＺにおけるＸ軸、Ｙ軸、Ｚ軸のそれぞれの周りの角速度ωｘ，ωｙ，ωｚを検出する。この３軸角速度センサ１０は、機能的構成要素として、データ取得部１１及びデータ送信部１２を備え、データ取得部１１は、時間的に連続した時刻ｔにおいて３軸周りの角速度である３軸角速度データΩ（ｔ）；
Ω（ｔ）＝（ωｘ（ｔ），ωｙ（ｔ），ωｚ（ｔ））
を取得する。ここで、時刻ｔは初期時刻ｔ０を基準にして時間間隔Δｔを有する離散的な時刻であり、下記式（１）で表されるように設定される。
ｔ＝ｔ０＋ｋ・Δｔ      （ｋ＝１，２，…）      …（１）
データ送信部１２は、データ取得部１１によって取得される３軸角速度データΩ（ｔ）をプロセッサ２０に向けて送出する。このデータ送信部１２による３軸角速度データΩ（ｔ）の送出タイミングは定期的であってもよいし、所定のデータ量が取得されたタイミングであってもよいし、３軸角速度センサ１０が能動的に送出してもよいし、プロセッサ２０の要求に応じて受動的に送出してもよい。
【００１８】
プロセッサ２０のデータ取得部２１は、３軸角速度センサ１０から時間的に連続して取得された複数の３軸角速度データΩ（ｔ）を取得する。このデータ取得部２１は、取得した複数の３軸角速度データΩ（ｔ）を順次データ格納部３０に記憶する。
【００１９】
データ前処理部２２は、データ取得部２１によって取得された複数の３軸角速度データΩ（ｔ）からノイズを除去し、ノイズが除去された滑らかな時系列データであるデータ整形済みの３軸角速度データΩ＾（ｔ）を求める。ここで、ノイズの除去方法としては、Ｈａｍｐｅｌ識別子による特異点の除去、離散Ｗａｖｅｌｅｔ変換したデータを逆変換する方法であるＷａｖｅｌｅｔ変換に基づくデノイズ、長周期ノイズの除去方法であるトレンド除去などの方法があるが、これらの方法には限定されない。例えば、データ前処理部２２は、時間移動平均法を用いて、下記式（２）を用いて、データ整形済みの３軸角速度データΩ＾（ｔ）を算出する。
【数１】
2019101734.tif 000003
上記式（２）におけるパラメータＭは、ノイズ除去に用いる前後の角速度データの個数である。
【００２０】
また、データ前処理部２２は、ノイズ除去された３軸角速度データΩ＾（ｔ）を基に、対象物体の規定位置の動きの軌跡Ｘ（ｔ）を算出する。ここでの軌跡の算出方法は、特定の方法には限定されないが、例えば、クオータニオンを用いた算出方法が用いられる。以下の記述では、３軸角速度センサ１０の座標系である３次元直交座標系Ｘ−Ｙ−Ｚにおける対象物体の向きであるロール角φ（ｔ）、ピッチ角θ（ｔ）、及びヨー角ψ（ｔ）を含むデータを、方向角データΘ（ｔ）＝（φ（ｔ），θ（ｔ），ψ（ｔ））とおく。また、計算の前提として、３軸角速度センサ１０は対象物体に固定されており、対象物体の規定位置の動く軌跡は、センサ座標系の中心から半径ｒ０の球面上に存在するとする。
【００２１】
時刻ｔにおけるクオータニオンｑ１（ｔ），ｑ２（ｔ），ｑ３（ｔ），ｑ４（ｔ）と、方向角データΘとの関係は、一般に下記式（３）によって表される。
【数２】
2019101734.tif 000004
また、時刻ｔにおけるクオータニオンと角速度データΩ（ｔ）＝（ωｘ（ｔ），ωｙ（ｔ），ωｚ（ｔ））とは、下記式（４）のような関係を有する（「航空宇宙技術研究所資料６３６号“クオータニオンとオイラー角によるキネマティックス表現の比較について”，１９９１年６月発行」の５．３章参照）。
【数３】
2019101734.tif 000005
【００２２】
上記のような関係を利用して、データ前処理部２２は、ロール角φ（ｔ）、ピッチ角θ（ｔ）、及びヨー角ψ（ｔ）の初期値を、上記式（３）に代入することによってクオータニオンの初期値を求める。さらに、データ前処理部２２は、求めた初期値と上記式（４）を時間積分した値とを基に、時刻ｔでのクオータニオンｑ１（ｔ），ｑ２（ｔ），ｑ３（ｔ），ｑ４（ｔ）を計算する。
【００２３】
ここで、対象物体の規定位置の初期位置Ｘ（ｔ０）から時刻ｔでの位置Ｘ（ｔ）を導くための回転行列Ｒ（ｔ）は、下記式（５）のように与えられる（上記航空宇宙技術研究所資料の４．１章参照）。
【数４】
2019101734.tif 000006
データ前処理部２２は、上記のようにして計算した時刻ｔでのクオータニオンを上記式（５）に代入することによって回転行列Ｒ（ｔ）を求め、その回転行列Ｒ（ｔ）と対象物体の規定位置の初期位置Ｘ（ｔ０）とを基に、下記式（６）；
Ｘ（ｔ）＝Ｒ（ｔ）Ｘ（ｔ０）    …（６）
を用いて対象物体の規定位置の動きの軌跡Ｘ（ｔ）を算出する。初期位置Ｘ（ｔ０）は、例えば、下記式（７）によって与えられる。
【数５】
2019101734.tif 000007
データ前処理部２２は、算出した対象物体の規定位置の動きの軌跡Ｘ（ｔ）を順次データ格納部３０に記憶する。
【００２４】
候補ベクトル算出部２３は、データ前処理部２２によって算出された動きの軌跡Ｘ（ｔ）を時刻ｔを中心とした局所時間ε内で集め、集めた動きの軌跡Ｘ（ｔ）を用いて、動きの軌跡の分布の局所時間ε内での広がりを解析する。この広がりは対象物体の動きによって変化する。例えば、ランダムな動きであればその軌跡は球面全体に分布する。一方、回転系の動きであれば軌跡は円盤状に分布し、直線的な動きであれば軌跡は細長い分布を有する。本実施形態では、軌跡の分布形状を表現する特徴量を用いることで対象物体の動きが識別される。
【００２５】
すなわち、候補ベクトル算出部２３は、動きの軌跡Ｘ（ｔ）の分布の広がりを主成分分析によって解析する。主成分分析は、処理対象のデータの分散（ばらつき）を最も的確に表現するための評価軸を求めるためのデータ分析手法である。この評価軸は、データの分散共分散行列の固有値及び固有ベクトルを求めることにより決定することができる。主成分分析による解析によれば、解析の結果得られた固有値が、動きの軌跡Ｘ（ｔ）の分布の分散、すなわち偏り度合いを表し、その固有値に対応して得られる固有ベクトルがその分布の分散の方向を表している。例えば、対象物体がランダムな動きをしている場合、動きの軌跡Ｘ（ｔ）の分布は球面状となるため、３つの固有ベクトルの方向の分布の分散は同程度となり、３つの固有ベクトルに対応する固有値の大きさは同程度となる。一方、動きの軌跡Ｘ（ｔ）の分布が円盤状になる場合には、１方向に分布が縮退しているので、３つの固有値のうちの１つの固有値の大きさが０に近くなる。また、動きの軌跡Ｘ（ｔ）の分布が細長くなる場合には、１方向に分布が縮退し、３つの固有値のうちの１つの固有値の大きさが０に近くなり、残りの２つの固有値の大きさが極端に異なる。本実施形態では、この３つの固有値を動きの軌跡Ｘ（ｔ）の広がり度合いを表す値として用いられる。
【００２６】
具体的には、候補ベクトル算出部２３は、局所時間ε内における対象物体の規定位置の位置ベクトルＸ（ｔ）に関して、下記式（８）の固有方程式を解くことにより、３つの固有値λｄｉｍ（ｄｉｍ＝１，２，３）（λ３≦λ２≦λ１）及びそれらに対応する固有ベクトルｕｄｉｍを求める。
Ａ（ｔ）Ｚ＝λＺ    …（８）
上記式（８）中、Ａ（ｔ）は時刻ｔを中心とする局所時間ε内における位置ベクトルＸ（ｔ）に関する分散共分散行列であり、下記式（９）；
【数６】
2019101734.tif 000008
によって表される。ただし、Ｃｉｊは、下記式（１０）で計算される値である。
【数７】
2019101734.tif 000009
【００２７】
さらに、候補ベクトル算出部２３は、上記のようにして主成分分析によって算出された固有値λｄｉｍおよびそれに対応した固有ベクトルｕｄｉｍを基にして、最も小さい固有値に対応する固有ベクトルを、対象物体の回転面の法線ベクトルの候補であるｎｃａｎｄ（ｔ）として導き出す。このようにして導き出される法線ベクトル候補ｎｃａｎｄ（ｔ）は、時刻ｔを中心とした局所時間ε内において回転面が安定していた場合にはその回転面の法線に近くなるように求められ、時刻ｔの前後における回転面の法線ベクトルの候補となりうる。また、候補ベクトル算出部２３は、上述した法線ベクトル候補ｎｃａｎｄ（ｔ）の導出を、連続する複数の時刻ｔに対して繰り返し行い、複数の連続した時刻ｔの法線ベクトル候補ｎｃａｎｄ（ｔ）を導出する。
【００２８】
図３は、候補ベクトル算出部２３による法線ベクトル候補ｎｃａｎｄ（ｔ）の算出イメージを示す概念図である。ここでは、対象物体がおおよそＺ−Ｘ平面に沿って回転した例を示している。このように、候補ベクトル算出部２３により、対象物体の回転状態に応じて算出された位置ベクトルＸ（ｔ）の軌跡を基に、固有値及びそれに対応した固有ベクトルが求められる。この例においては、回転面であるＺ−Ｘ平面に沿って２つの固有ベクトルｕ１，ｕ２が算出され、最小の固有値に対応する固有ベクトルｕ３が、回転面に垂直な方向の法線ベクトル候補ｎｃａｎｄ（ｔ）として算出される。
【００２９】
図１に戻って、代表ベクトル算出部２４は、候補ベクトル算出部２３によって求められた時系列の法線ベクトル候補ｎｃａｎｄ（ｔ）を、特定の観測時間Ｔｏｂｓに含まれる局所時間ε毎に集め、集めた法線ベクトル候補ｎｃａｎｄ（ｔ）を対象にして統計解析処理を行うことにより、法線ベクトル候補ｎｃａｎｄ（ｔ）の分布の傾向を最も良く代表する代表法線ベクトルを算出する。具体的には、代表ベクトル算出部２４は、集めた法線ベクトル候補ｎｃａｎｄ（ｔ）を対象にして主成分分析することで代表法線ベクトルを算出する。
【００３０】
すなわち、代表ベクトル算出部２４は、上述した方法と同様にして、式（８）に示す固有値方程式を解くことで、３つの固有値λｄｉｍ（ｄｉｍ＝１，２，３）（λ３≦λ２≦λ１）と、それらのそれぞれに対応する固有ベクトルｕｄｉｍとを計算する。ただし、上記式（８）中の行列Ａは、それぞれの観測時間Ｔｏｂｓ内の法線ベクトル候補ｎｃａｎｄ（ｔ）を基に計算される分散共分散行列である。
【００３１】
上記の主成分分析処理においては、法線ベクトル候補ｎｃａｎｄがある程度まとまっている場合は、法線ベクトル候補ｎｃａｎｄのゆらぎ（ばらつき）が小さくなり、一番大きな固有値λ１に対応する固有ベクトルｕ１と、２番目に大きな固有値λ２に対応する固有ベクトルｕ２は、ともに法線ベクトル候補ｎｃａｎｄの分散が大きな面内で互いに直交した評価軸として求まる。そして、三番目に大きな（最も小さい）固有値λ３に対応する固有ベクトルｕ３が、法線ベクトル候補ｎｃａｎｄの分布を代表するベクトル、すなわち、回転面の法線ベクトルを表すことになる。このような性質を利用して、代表ベクトル算出部２４は、最も小さい固有値λ３に対応する固有ベクトルｕ３を、観測時間Ｔｏｂｓ内の法線ベクトル候補ｎｃａｎｄの集合の代表的なベクトルである代表法線ベクトルＮ（ｔ）として決定する。
【００３２】
図４は、代表ベクトル算出部２４による代表法線ベクトルＮ（ｔ）の算出イメージを示す概念図である。ここでも、対象物体がおおよそＺ−Ｘ平面に沿って回転した例を示している。このように、候補ベクトル算出部２３により、対象物体の回転状態に応じて算出された位置ベクトルＸ（ｔ）の軌跡に対応して、観測時間Ｔｏｂｓ内の回転面に対応した法線ベクトル候補ｎｃａｎｄ（ｔ）がばらつきをもって算出される。図４の点線に示すように、この法線ベクトル候補ｎｃａｎｄ（ｔ）のばらつきは、おおよそ回転面に沿った分布を有している。従って、代表ベクトル算出部２４によって算出される一番目及び二番目に大きな固有値λ１、λ２に対応する２つの固有ベクトルｕ１、ｕ２は、回転面に沿ったベクトルとなる。一方で、代表ベクトル算出部２４によって算出される最小の固有値λ３に対応する固有ベクトルｕ３は、図４の太線で示すように、法線ベクトル候補ｎｃａｎｄ（ｔ）の分布のばらつきの少ない方向を示すベクトル、すなわち、法線ベクトル候補ｎｃａｎｄ（ｔ）を代表する代表法線ベクトルＮ（ｔ）となる。
【００３３】
再び図１に戻って、特徴量算出部２５は、候補ベクトル算出部２３によって観測時間Ｔｏｂｓに含まれる局所時間ε毎に固有ベクトルｕｄｉｍに対応して算出された固有値λｄｉｍに基づいて、対象物の動きの軌跡Ｘ（ｔ）の分布形状を表現する特徴量を算出する。すなわち、特徴量算出部２５は、局所時間ε毎に算出された固有値λｄｉｍを用いて、局所時間εにおける動きの軌跡Ｘ（ｔ）の３次元空間での広がり度合いを算出し、観測時間Ｔｏｂｓ内において局所時間ε毎に算出した３次元空間での広がり度合いから特徴量を算出する。例えば、３次元空間内での広がり具合は、３つの固有値のうちの２つの固有値の比を基に算出される。この場合、特徴量算出部２５は、最大の固有値λ１と第２番目の大きさの固有値λ２との比ｅｒ１２（ｔ）を、下記式（１１）；
ｅｒ１２（ｔ）＝λ２／λ１  …（１１）
によって計算し、最大の固有値λ１と第３番目の大きさの固有値λ３との比ｅｒ１３（ｔ）を、下記式（１２）；
ｅｒ１３（ｔ）＝λ３／λ１  …（１２）
によって計算する。
【００３４】
これらの２つの比ｅｒ１２，ｅｒ１３は、３次元空間における対象物体の規定位置の動きの軌跡を、固有ベクトルｕ１に沿った軸と固有ベクトルｕ２に沿った軸とを含む平面、及び固有ベクトルｕ１に沿った軸と固有ベクトルｕ３に沿った軸とを含む平面のそれぞれによって切断したときの縦横比によって表現している。対象物体がランダムな動きの場合には、動きの軌跡Ｘ（ｔ）は等方的であるので、２つの比ｅｒ１２，ｅｒ１３の大きさのオーダーはほとんど変わらない。その一方で、動きの軌跡Ｘ（ｔ）の分布形状が円盤状である場合、比ｅｒ１３が比較的小さな値となり、動きの軌跡Ｘ（ｔ）の分布形状が細長い形状である場合、２つの比ｅｒ１２，ｅｒ１３の両方が小さな値となる。本実施形態では、対象物体の運動を識別するために、観測時間Ｔｏｂｓ内で２つの比ｅｒ１２，ｅｒ１３の値の状態が特定される。
【００３５】
詳細には、特徴量算出部２５は、時刻ｔにおける固有値の比ｅｒ１２，ｅｒ１３によって構成される特徴ベクトルｖ（ｔ）を下記式（１３）；
ｖ（ｔ）＝（ｅｒ１２（ｔ），ｅｒ１３（ｔ））…（１３）
によって定義したときに、観測時間Ｔｏｂｓ＝｛ｔ１，ｔ２，…，ｔｓ，…，ｔＳ｝内での特徴ベクトルｖ（ｔｓ）＝ｖｓの分布に基づいて動きの軌跡Ｘ（ｔ）の分布形状を表現する特徴量を算出する。本実施形態では、特徴量の算出方法として、文書の分類、あるいは画像認識等で用いられる局所特徴から大域特徴を作成する枠組みであるＢＯＦ（Ｂａｇ  Ｏｆ  Ｆｅａｔｕｒｅｓ）の手法が適用される。ＢＯＦの手法において算出の基礎となる確率分布の生成方法は特定のものには限定されないが、ここではＧＭＭ（Gaussian  Mixture  Model）が用いられる。
すなわち、特徴量算出部２５は、下記式（１４）；
【数８】
2019101734.tif 000010
を用いて、特徴ベクトルｖｓの確率分布ｐ（ｖｓ）を生成する。上記式（１４）中、Ｎはガウス関数、μｋ、σｋ、πｋは、それぞれ、ｋ番目のガウス分布の中心、分散、混合率を表し、Ｋは混合数を表す。
【００３６】
さらに、特徴量算出部２５は、この確率分布からＢＯＦ特徴量を抽出する。ＢＯＦ特徴量としては、フィッシャーベクトル、ＧＭＭスーパーベクトルを利用する方法が挙げられる。本実施形態では、確率分布の負担率γｓ（ｋ）を利用する方法が採用される。具体的には、特徴量算出部２５は、動きの軌跡Ｘ（ｔ）の分布形状を表現する特徴量ＸＢＯＦを、下記式（１５）；
【数９】
2019101734.tif 000011
によって算出する。この際、特徴量算出部２５は、負担率γｓ（ｋ）を、下記式（１６）；
【数１０】
2019101734.tif 000012
によって算出する。
【００３７】
さらに、特徴量算出部２５は、算出した特徴量ＸＢＯＦを順次データ格納部３０に記憶する。なお、特徴量算出部２５は、ジェスチャ識別装置１のユーザのジェスチャを識別するための識別機を機械学習によって構築する学習フェーズにおいては、ユーザに特定のジェスチャを行ってもらった際に算出した特徴量ＸＢＯＦを辞書データとしてデータ格納部３０に蓄積して記憶する。この特定のジェスチャとしては、手を回したり、手をくねらせるなどの動作が挙げられる。一方で、機械学習によって構築された識別機を用いてジェスチャ識別装置１のユーザのジェスチャを識別する識別フェーズにおいては、任意の観測時間Ｔｏｂｓを対象に算出した特徴量ＸＢＯＦをデータ格納部３０に記憶する。
【００３８】
識別部２６は、データ格納部３０に記憶された辞書データを基に機械学習によって構築された、ジェスチャ識別装置１のユーザのジェスチャを識別するための識別機である。例えば、識別部２６は、サポートベクタマシン（ＳＶＭ）を用いて構築される識別機であり、識別フェーズにおいて特徴量算出部２５によって算出された任意の観測時間Ｔｏｂｓに関する特徴量ＸＢＯＦを基に、ユーザのジェスチャを識別する。これにより、特徴量算出部２５によって算出された特徴量ＸＢＯＦとデータ格納部３０に予め記憶された学習データとが照合されることによって、対象物体の回転状態の識別が実行される。
【００３９】
さらに、識別部２６は、識別したジェスチャに関する識別情報をジェスチャ識別装置１内の他のプロセスに引き渡す。例えば、識別情報を個人認証のために用いる場合には、個人認証処理用のプロセスに引き渡す。また、識別情報をコマンド入力用に用いる場合には、ユーザインタフェース機能用のプロセスに引き渡す。また、識別部２６は、識別情報を出力装置２０５に出力してもよいし、移動体通信モジュール２０６又は近距離通信モジュール２０７を経由して外部装置に送信してもよい。
【００４０】
以下、ジェスチャ識別装置１によるジェスチャ識別処理の手順について説明するとともに、本実施形態にかかるジェスチャ識別方法について詳述する。なお、ジェスチャ識別処理は、機械学習により識別機を構築する学習フェーズと、学習フェーズで構築された識別機を用いてユーザのジェスチャを識別する識別フェーズによって構成される。図５は、ジェスチャ識別装置１の学習フェーズにおける動作手順を示すフローチャートであり、図６は、ジェスチャ識別装置１の識別フェーズにおける動作手順を示すフローチャートである。
【００４１】
まず、図５を参照して、ユーザの指示入力の受け付け等を契機にして学習フェーズが開始されると、ユーザに特定のジェスチャを行ってもらった状態で、プロセッサ２０のデータ取得部２１によって、３軸角速度センサ１０から連続した時刻ｔにおける３軸角速度データΩ（ｔ）が取得される（ステップＳ１０１）。そうすると、データ前処理部２２により、連続した時刻ｔにおける３軸角速度データΩ（ｔ）からノイズが除去されることにより、データ整形済みの３軸角速度データΩ＾（ｔ）が時系列に算出される（ステップＳ１０２）。さらに、データ前処理部２２により、時系列の３軸角速度データΩ＾（ｔ）から、対象物体の規定位置の動きの軌跡Ｘ（ｔ）が、時系列に複数算出される（ステップＳ１０３）
【００４２】
次に、プロセッサ２０の候補ベクトル算出部２３により、動きの軌跡Ｘ（ｔ）が主成分分析によって解析されることにより、複数の離散的な時刻ｔを中心とした局所時間εにおける回転面の法線ベクトルの候補である法線ベクトル候補ｎｃａｎｄ（ｔ）が算出される（ステップＳ１０４）。
【００４３】
次に、プロセッサ２０の代表ベクトル算出部２４により、観測時間Ｔｏｂｓ内における法線ベクトル候補ｎｃａｎｄ（ｔｋ）を用いて主成分分析を行うことにより、代表法線ベクトルＮ（ｔ）が算出される（ステップＳ１０５）。次に、特徴量算出部２５により、候補ベクトル算出部２３によって主成分分析の過程で算出された３つの固有値λｄｉｍを基に、観測時間Ｔｏｂｓにおける対象物体の回転状態を定量的に示す特徴量としてＢＯＦ特徴量ＸＢＯＦが算出され（ステップＳ１０６）、この特徴量ＸＢＯＦを含む辞書データがデータベース内に記憶される（ステップＳ１０７）。
【００４４】
さらに、ステップＳ１０１〜Ｓ１０７の処理が繰り返し実行されることによりデータベース内に辞書データが蓄積された後、プロセッサ２０内で辞書データを参照しながら機械学習によって識別部２６内の識別機が構築される（ステップＳ１０８）。
【００４５】
図６を参照して、ユーザの指示入力の受け付け等を契機にして識別フェーズが開始されると、識別対象のジェスチャをユーザに行ってもらった状態で、上述したステップＳ１０１〜Ｓ１０６と同様の動作手順で観測時間ＴｏｂｓにおけるＢＯＦ特徴量ＸＢＯＦが算出される（ステップＳ２０１〜Ｓ２０６）。次に、算出したＢＯＦ特徴量ＸＢＯＦを基に、学習フェーズで構築された識別機を有する識別部２６によって、ユーザのジェスチャが識別される（ステップＳ２０７）。最後に、識別されたジェスチャに関する識別情報がジェスチャ識別装置１内の他のプロセスに出力される（ステップＳ２０８）。
【００４６】
次に、本実施形態のジェスチャ識別装置１の作用効果について説明する。ジェスチャ識別装置１においては、対象物体に取り付けられた３軸角速度センサ１０から時間的に連続して取得された複数の３軸角速度データΩ（ｔ）を基に、対象物体の規定位置の動きの軌跡Ｘ（ｔ）が得られ、その動きの軌跡Ｘ（ｔ）の分布の広がりが主成分分析で解析されることにより回転面の法線ベクトルＮ（ｔ）が算出される。さらに、その際の主成分分析によって得られた固有ベクトルｕｄｉｍに対応する固有値λｄｉｍを基に動きの軌跡Ｘ（ｔ）の分布形状に関する特徴量ＸＢＯＦが得られ、その特徴量ＸＢＯＦが辞書データとしてデータベースに格納される。そして、識別フェーズにおいて算出された特徴量ＸＢＯＦがデータベースに格納された辞書データと照合されることで、対象物体の回転状態が識別される。これにより、対象物体におけるセンサ構成を複雑化させることなく、任意の回転面における対象物体の回転状態を定量的に表した特徴量を生成し、その特徴量を基に辞書データを蓄積することができる。また、そのような辞書データと特徴量とを照合することで対象物体の回転状態を精度よく識別することができる。その結果、対象物の回転状態を定量的に解析できるので、ウェアラブル端末などのサイズが小さくキー操作に制約が生じるような端末における個人認証やコマンド入力等に対して、ジェスチャ識別装置１の応用が可能となる。
【００４７】
具体的には、上記実施形態では、主成分分析によって法線ベクトル候補ｎｃａｎｄ及び代表法線ベクトルＮが算出されている。かかる構成により、対象物体の回転面の方向を固有値方程式を解析するというコストの少ない計算で求めることができる。
【００４８】
また、上記実施形態では、対象物体の動きを識別する特徴量を、法線ベクトル候補ｎｃａｎｄを解析する際に得られた固有値λｄｉｍを基に算出している。こうすれば、動きの軌跡の解析結果から、識別したい動作状態を定量的に表す量を、コストの少ない計算で効率的に計算することができる。さらに、対象物体の動きを識別する特徴量が、固有値λｄｉｍのうちの最大の固有値と第２番目の大きさの固有値との比、及び最大の固有値と最小の固有値との比を基に算出されている。このような算出方法により、識別したい動作状態を定量的に表す量を、十分な識別力を有する量として、いっそうコストの少ない計算で求めることができる。
【００４９】
また、上記実施形態では、３軸角速度データΩ（ｔ）からノイズを除去し、ノイズが除去された３軸角速度データΩ＾（ｔ）を対象にして動きの軌跡Ｘ（ｔ）が算出されている。こうすれば、識別したい動作状態を定量的に表す量を、センシングの誤差等のノイズの影響を受けずに安定して計算することができる。
【００５０】
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【００５１】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【００５２】
例えば、上述した実施形態では３軸角速度センサ１０と、対象物体の回転状態を算出するプロセッサ２０とが同一装置内に搭載されていたが、これらが別々の装置に搭載されていてもよい。
【００５３】
図７は、この場合の本発明の変形例を示すジェスチャ識別サーバ１Ａの構成を示している。同図に示す変形例では、対象物体Ｓとジェスチャ識別サーバ１Ａとが別の装置として構成され、対象物体Ｓ内に３軸角速度センサ１０が内蔵され、ジェスチャ識別サーバ１Ａがプロセッサ２０及びデータ格納部３０を備える。３軸角速度センサ１０のデータ送信部１２Ａは、移動体通信網等の通信ネットワークを介して３軸角速度データΩを送信し、プロセッサ２０のデータ取得部２１Ａは、データ送信部１２Ａから送信された３軸角速度データΩを受信する。このような構成によれば、対象物体の回転状態を分離されたサーバによって識別することもできるし、機械学習による識別機の構築もサーバ上で実行することができる。
【００５４】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００５５】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【００５６】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【００５７】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【００５８】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【００５９】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【００６０】
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【００６１】
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【００６２】
上述したパラメータに使用する名称はいかなる点においても限定的なものではない。
【００６３】
本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(lookingup)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。
【００６４】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【００６５】
「含む（include）」、「含んでいる（comprising）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【００６６】
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【００６７】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【００６８】
１…ジェスチャ識別装置、１Ａ…ジェスチャ識別サーバ（ジェスチャ識別装置）、１０…３軸角速度センサ、２０…プロセッサ、２１，２１Ａ…データ取得部（データ取得手段）、２２…データ前処理部（軌跡算出手段）、２３…候補ベクトル算出部（法線ベクトル算出手段、候補ベクトル算出手段）、２４…代表ベクトル算出部（法線ベクトル算出手段、代表ベクトル算出手段）、２５…特徴量算出部（特徴量算出手段）、２６…識別部（識別手段）、３０…データ格納部（データ格納手段）、Ｓ…対象物体。
【図１】
2019101734.tif 000013
【図２】
2019101734.tif 000014
【図３】
2019101734.tif 000015
【図４】
2019101734.tif 000016
【図５】
2019101734.tif 000017
【図６】
2019101734.tif 000018
【図７】
2019101734.tif 000019