(57)【要約】【課題】リストバンドを手首に装着し直したり手首の向きを変えた場合でも、手のジェスチャを精度良く認識できるようにする。【解決手段】学習モードにおいて、認識対象のジェスチャを入力動作したときに３個の圧力センサ３１，３２，３３により得られる検出値のセンサ間平均値および最大値を検出して、その時間平均を特徴量として記憶させる。利用モードにおいては、先ず基準ジェスチャの入力動作を行って圧力センサ３１，３２，３３の検出値のピーク時におけるセンサ間平均値および最大値を検出し、これらの値と対応する特徴量との差分を補正値とする。続いて、任意のジェスチャが入力動作されたときの圧力センサ３１，３２，３３の検出値のピーク時におけるセンサ間平均値および最大値を検出してこれを上記補正値により補正し、この補正後の値をもとにジェスチャを認識する。【選択図】図２
2017142736.tif 000002
【特許請求の範囲】
【請求項１】
リストバンドに配置された複数の圧力センサからそれぞれ圧力の検出値を示す時系列データを受信する手段と、
基準となるジェスチャの入力動作が行われている第１の期間に、前記複数の圧力センサからそれぞれ受信した時系列データからピーク値を検出し、当該ピーク値の検出時点における前記時系列データの間の平均値および最大値の少なくとも一方を検出し、当該検出された平均値および最大値の少なくとも一方をもとに補正値を生成する手段と、
前記第１の期間に続く、任意のジェスチャの入力動作が行われている第２の期間に、前記複数の圧力センサからそれぞれ受信した時系列データ間の平均値および最大値の少なくとも一方を検出し、当該検出した平均値および最大値の少なくとも一方を、前記補正値をもとに補正する手段と、
前記補正された平均値および最大値の少なくとも一方に基づいて、前記任意のジェスチャを認識する手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
認識対象となる複数のジェスチャの各々に対応する特徴量を記憶した記憶部を、さらに具備し、
前記補正値を生成する手段は、前記ピーク値の検出時点における前記時系列データ間の平均値および最大値の少なくとも一方と、前記記憶部に記憶された前記基準となるジェスチャに対応する特徴量とをもとに、前記補正値を生成することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記認識対象となる複数のジェスチャの各々について、その入力動作期間に前記複数の圧力センサからそれぞれ受信した時系列データ間の平均値および最大値の少なくとも一方を検出して、当該検出された平均値および最大値の少なくとも一方について前記入力動作期間における平均を算出し、当該算出された平均を前記対応するジェスチャに対応する特徴量として前記記憶部に記憶させる学習手段を、さらに具備することを特徴とする請求項２記載のジェスチャ認識装置。
【請求項４】
前記ジェスチャを認識する手段により認識された任意のジェスチャに対応する操作コマンド情報を生成し、当該生成された操作コマンド情報を操作対象の機器へ送出する手段を、さらに具備することを特徴とする請求項１乃至３のいずれかに記載のジェスチャ認識装置。
【請求項５】
リストバンドに配置された複数の圧力センサを利用して手の動きにより表されるジェスチャを認識する装置が実行するジェスチャ認識方法であって、
基準となるジェスチャの入力動作が行われている第１の期間に、前記複数の圧力センサから圧力の検出値を示す時系列データをそれぞれ受信する過程と、
前記受信された時系列データからピーク値を検出し、当該ピーク値の検出時点における前記時系列データ間の平均値および最大値の少なくとも一方を検出し、当該検出された平均値および最大値の少なくとも一方をもとに補正値を生成する過程と、
前記第１の期間に続く、任意のジェスチャの入力動作が行われている第２の期間に、前記複数の圧力センサから圧力の検出値を示す時系列データをそれぞれ受信する過程と、
前記第２の期間に受信された複数の時系列データ間の平均値および最大値の少なくとも一方を検出し、当該検出した平均値および最大値の少なくとも一方を、前記補正値をもとに補正する過程と、
前記補正された平均値および最大値の少なくとも一方に基づいて前記任意のジェスチャを認識する過程と
を具備することを特徴とするジェスチャ認識方法。
【請求項６】
認識対象となる複数のジェスチャの各々に対応する特徴量を記憶部に記憶させる過程を、さらに具備し、
前記補正値を生成する過程は、前記ピーク値の検出時点における前記時系列データ間の平均値および最大値の少なくとも一方と、前記記憶部に記憶された前記基準となるジェスチャに対応する特徴量とをもとに、前記補正値を生成することを特徴とする請求項５記載のジェスチャ認識方法。
【請求項７】
前記特徴量を記憶部に記憶させる過程は、前記認識対象となる複数のジェスチャの各々について、その入力動作期間に前記複数の圧力センサからそれぞれ受信した時系列データ間の平均値および最大値の少なくとも一方を検出して、当該検出された平均値および最大値の少なくとも一方について前記入力動作期間における平均を算出し、当該算出された平均を前記対応するジェスチャに対応する特徴量として前記記憶部に記憶させることを特徴とする請求項６記載のジェスチャ認識方法。
【請求項８】
請求項１乃至４のいずれかに記載のジェスチャ認識装置が具備する手段による処理を、前記ジェスチャ認識装置が備えるプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、手によるジェスチャを認識するためのジェスチャ認識装置、方法およびプログラムに関する。
【背景技術】
【０００２】
ウェアラブルデバイスやエアコン、テレビジョン受信機等の身の回りの機器を操作する手段として、一般に専用のリモートコントローラや、スマートフォン等の携帯端末等が使用される。しかし、ジョギング中や料理の最中、もしくは混雑した街中を歩いているときなど、主たる行為から僅かな時間しか意識を離すことができない状況下では、リモートコントローラや携帯端末を取り出して、操作パネルを視認しながらボタン操作またはタッチ操作することが困難な場合が多い。
【０００３】
そこで、最近では手首にリストバンド型のデバイスを装着して手のジェスチャを認識することにより、ウェアラブルデバイスや身の回りの機器を操作する試みが数多く行われている。この種のデバイスを使用すると、主たる行為を一時中断することなく、操作対象を操作することが可能となり大変便利である。
【０００４】
手のジェスチャを認識するための技術としては、コンピュータビジョンを使う手法や表面筋電位を計測する手法など、これまで様々な手法が提案されてきたが、近年、指の動作により生じる手首の形状変化を複数の圧力センサを用いて検出する手法が新たに提案されている（例えば非特許文献１を参照）。
【０００５】
指を動かす筋肉の多くは前腕部にあるため、指の動作により前腕の筋肉と指を繋ぐ腱が動き、その結果手首の形状が変化する。この変化を、リストバンドに装備した複数の圧力センサを用いて、リストバンドが受ける圧力分散として検出する。この手法は、センサ自体が低消費電力で安価であり、精度を向上させるには導電ペーストが必要となる筋電センサなどに比べて手軽に装着できることなどから、きわめて有望である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Dementyev, A. and Paradiso, J. A.: WristFlex: Low- Power Gesture Input with Wrist-Worn Pressure Sensors、 In Proceeding of User Interface Software and Tchnology 2014, pp.161-166, ACM (2014).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、リストバンドに装備した複数の圧力センサを用いて、手首の形状変化をリストバンドが受ける圧力分散として検出する手法には、リストバンドを手首に装着し直した場合や腕の向きを変えた場合に、認識性能が大きく低下するという課題が報告されている。これは、リストバンドを装着し直すことにより装着位置やバンドの締め付け具合が変わってしまったり、腕の向きを変えたときに手首の形状が変化してしまうことによる。
【０００８】
この発明は上記事情に着目してなされたもので、その目的とするところは、リストバンドを手首に装着し直したり手首の向きを変えた場合でも、手のジェスチャを精度良く認識できるようにしたジェスチャ認識装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するためにこの発明の第１の態様は、リストバンドに配置された複数の圧力センサからそれぞれ圧力の検出値を示す時系列データを受信する手段を有し、基準となるジェスチャの入力動作が行われている第１の期間に、前記複数の圧力センサからそれぞれ受信した時系列データからピーク値を検出し、当該ピーク値の検出時点における前記時系列データ間の平均値および最大値の少なくとも一方を検出し、当該検出された平均値および最大値の少なくとも一方をもとに補正値を生成する。そして、前記第１の期間に続く、任意のジェスチャの入力動作が行われている第２の期間に、前記複数の圧力センサからそれぞれ受信した時系列データ間の平均値および最大値の少なくとも一方を検出して、当該検出した平均値および最大値の少なくとも一方を前記補正値をもとに補正し、この補正された平均値および最大値の少なくとも一方に基づいて前記任意のジェスチャを認識するようにしたものである。
【００１０】
この発明の第２の態様は、認識対象となる複数のジェスチャの各々に対応する特徴量を記憶した記憶部をさらに具備する。そして、前記ピーク値の検出時点における前記時系列データ間の平均値および最大値の少なくとも一方と、前記記憶部に記憶された前記基準となるジェスチャに対応する特徴量とをもとに、前記補正値を生成するようにしたものである。
【００１１】
この発明の第３の態様は、ジェスチャの特徴量を登録するための学習手段をさらに具備する。そして、この学習手段により、前記認識対象となる複数のジェスチャの各々について、その入力動作期間に前記複数の圧力センサからそれぞれ受信した時系列データ間の平均値および最大値の少なくとも一方を検出して、当該検出された平均値および最大値の少なくとも一方について前記入力動作期間における平均を算出し、当該算出された平均を前記対応するジェスチャに対応する特徴量として前記記憶手段に記憶させるようにしたものである。
【００１２】
この発明の第４の態様は、前記ジェスチャを認識する手段により認識された任意のジェスチャに対応する操作コマンド情報を生成し、当該生成された操作コマンド情報を操作対象の機器へ送出する手段を、さらに具備するようにしたものである。
【発明の効果】
【００１３】
この発明の第１の態様によれば、複数の圧力センサにより得られる時系列データ間の平均値又は最大値が用いられ、かつ基準ジェスチャによる得られる平均値又は最大値に基づいて、それに続いて入力された任意のジェスチャによる平均値又は最大値が補正され、この補正後の値をもとに上記任意のジェスチャの認識が行われる。このため、リストバンドを手首に装着し直したり腕の向きを変えた場合でも、手のジェスチャを精度良く認識する可能となり、これによりいつでもまたどこででも利用可能なジェスチャ認識装置を提供することができる。
【００１４】
この発明の第２の態様によれば、認識対象となる複数のジェスチャの各々に対応する特徴量を予め記憶しておき、基準ジェスチャの入力動作期間に得られた時系列データ間の平均値および最大値の少なくとも一方と、上記記憶された基準ジェスチャに対応する特徴量とをもとに補正値が生成される。従って、正確な補正値を生成することが可能となる。
【００１５】
この発明の第３の態様によれば、学習モードによりジェスチャごとの特徴量が生成されて記憶される。このため、ジェスチャごとの特徴量をユーザごとに正確に設定することができ、これにより補正の精度延いてはジェスチャの認識精度を高めることが可能となる。
【００１６】
この発明の第４の態様によれば、ジェスチャの認識結果に応じて操作コマンド情報が生成され、当該生成された操作コマンド情報が操作対象の機器へ送出される。このため、ジェスチャ認識装置から操作対象の機器を直接操作制御することが可能となる。
【００１７】
すなわちこの発明によれば、リストバンドを手首に装着し直したり手首の向きを変えた場合でも、手のジェスチャを精度良く認識できるようにしたジェスチャ認識装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係るジェスチャ認識装置を手首に装着した状態を示す断面図。
【図２】この発明の一実施形態に係るジェスチャ認識装置の機能構成を示すブロック図。
【図３】図２に示したジェスチャ認識装置による認識処理手順と処理内容を示すフローチャート。
【図４】手によるジェスチャの種類の一例を示す図。
【図５】図４に示したジェスチャに対応するセンサデータの特徴量の一例を示す図。
【図６】手によりジェスチャを行ったときのセンサ検出電圧の変化の一例を示す図。
【図７】ジェスチャ認識装置を異なる３種類の条件で手首に装着したときの、３個のセンサの検出電圧値の変化を、ジェスチャの種類別に示した図。
【図８】図７に示した３種類の条件をパラメータとしたときの、３個のセンサ間の検出電圧平均値の時系列方向におけるピーク値を、ジェスチャの種類別に示した図。
【図９】図７に示した３種類の条件をパラメータとしたときの、３個のセンサ間の検出電圧最大値の時系列方向におけるピーク値を、ジェスチャの種類別に示した図。
【図１０】ジェスチャ認識装置を手首に３回装着し直したときの、３個のセンサの検出電圧値の変化を、ジェスチャの種類別に示した図。
【図１１】図１０に示した３回の装着し直しをパラメータとしたときの、３個のセンサ間の検出電圧平均値の時系列方向におけるピーク値を、ジェスチャの種類別に示した図。
【図１２】図１０に示した３回の装着し直しをパラメータとしたときの、３個のセンサ間の検出電圧最大値の時系列方向におけるピーク値を、ジェスチャの種類別に示した図。
【図１３】３個のセンサの検出電圧をそのまま特徴量としてジェスチャを認識する従来の手法による認識正解率と、３個のセンサの平均値／最大値の時系列方向のピーク値を特徴量としこの特徴量を補正してジェスチャを認識する一実施形態の手法による認識正解率との比較結果の一例を示す図。
【発明を実施するための形態】
【００１９】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［一実施形態］
（構成）
図１は、この発明の一実施形態に係るジェスチャ認識装置を手首に装着したときの手首の断面図である。  
ジェスチャ認識装置１は、装置本体１０をリストバンド２０に装着したもので、リストバンド２０によりユーザの手首に着脱可能に装着される。リストバンド２０の、上記装置本体１０の装着位置とは反対側となる部位には、センサアレイ３０が配設されている。センサアレイ３０は、３個の圧力センサ３１，３２，３３をリストバンドの周方向に配置したものである。圧力センサ３１，３２，３３の各々は、例えば一種の可変抵抗であり、抵抗分圧回路を構成する。そして、ユーザの手首付近に存在する複数の腱４１の動きに伴い加えられる圧力を検出して、アナログ値からなる検出信号を時系列的に出力する。なお、図４２は尺骨を、また４３は橈骨をそれぞれ示している。
【００２０】
図２は、装置本体１０の機能構成を示すブロック図である。装置本体１０は、例えば時計機能や音楽再生機能、ウェブアクセスやメール送受信のための無線通信インタフェース等を備えるウェアラブル端末からなり、上面部には操作キーが配置されている。操作キーの一部または全部は、教師データ入力部１４として用いられる。教師データ入力部１４は、学習モードにおいて認識対象のジェスチャの種類を指定入力するために使用されるもので、例えば９個の操作キーに対し「０」から「８」までの番号が振られている。
【００２１】
装置本体１０は、本実施形態を実現するための機能として、上記教師データ入力部１４のほかに、制御ユニット１１と、Ａ／Ｄ変換部１２と、特徴量記憶部１３とを備えている。Ａ／Ｄ変換部１２は、上記センサアレイ３０の３個の圧力センサ３１，３２，３３から出力された検出信号を、それぞれ所定のサンプリング周期(例えば５００Hz)でサンプリングしてデジタル値に変換し、圧力検出値を表す時系列データを出力する。特徴量記憶部１３は、ＮＡＮＤ型のフラッシュメモリからなり、学習モードにおいて設定されるジェスチャごとのセンサ検出値の特徴量を記憶するために使用される。
【００２２】
制御ユニット１１は、中央制御ユニット（ＣＰＵ）を有し、その機能として制御部１１１と、最大値抽出部１１２と、平均値算出部１１３と、ピーク検出部１１４と、操作コマンド生成部１１５とを有している。これらの機能部は、いずれも図示しないプログラムメモリに格納されたプログラムを、上記ＣＰＵに実行させることにより実現される。
【００２３】
制御部１１１は、制御ユニット１１内の動作を統括的に制御する。最大値抽出部１１２は、上記３個の圧力センサ３１，３２，３３から出力された検出信号のデジタル値を上記サンプリング周期ごとに比較して、最大値を抽出する。平均値算出部１１３は、上記サンプリング周期ごとに、上記３個の圧力センサ３１，３２，３３間で、その検出信号のデジタル値の平均値を算出する。ピーク検出部１１４は、上記最大値抽出部１１２により抽出された最大値と、上記平均値算出部１１３により算出された平均値のそれぞれについて、所定期間における時系列上のピーク値を検出する。
【００２４】
操作コマンド生成部１１５は、認識対象となるジェスチャのＩＤと当該ジェスチャに対応する操作コマンドとを関連付けて記憶したメモリテーブルを備え、利用モードにおいて制御部１１１によりジェスチャ認識されたとき、そのＩＤをもとに上記メモリテーブルから対応する操作コマンドを読み出して出力する。
【００２５】
（動作）
次に、以上のように構成されたジェスチャ認識装置１の動作を説明する。図３は制御ユニット１１による処理手順と処理内容を示すフローチャートである。
【００２６】
（１）学習モード
利用モードに先立ち、ジェスチャ認識装置１に認識対象のジェスチャを機械学習させておく必要があり、この学習動作は以下のように行われる。なお、機械学習には最近傍法やサポートベクターマシーンなど様々な方法があり、どのような方法を用いても学習が可能であるが、ここでは説明の簡単のため最も単純な最近傍法を用いた場合を例にとって説明する。
【００２７】
ジェスチャの学習は、リストバンド２０を手首に装着し、教師データ入力部１４において認識対象のジェスチャに対応するキーを押下した状態で、そのジェスチャ動作を一定時間行うことでなされる。例えば、いま認識対象のジェスチャが図４に示す「０」から「８」までの９種類だったとし、このうちの「１」のジェスチャを学習させる場合には、教師データ入力部１４において「１」のキーを押下したまま、図４の「１」に示すジェスチャ動作を１秒間行う。
【００２８】
学習モードが設定された状態で制御部１１１は、ステップＳ１０において教師データ入力部１４によるキーの押下操作を検出すると、ステップＳ１１に移行して以後学習モードによる特徴量登録処理を以下のように実行する。
【００２９】
すなわち、３個の圧力センサ３１，３２，３３から出力された検出信号のデジタル値（以後検出電圧と称する）をＡ／Ｄ変換部１２からそのサンプリングタイミングごとに取り込み、平均値算出部１１３および最大値抽出部１１２へそれぞれ与える。平均値算出部１１３は、上記サンプリングタイミングが同じもの同士で、上記３個の圧力センサ３１，３２，３３の検出電圧の平均値を算出し、算出した平均値を制御部１１１へ返す。最大値抽出部１１２は、上記サンプリングタイミングが同じもの同士で、上記３個の圧力センサ３１，３２，３３の検出電圧の中で最も大きいものを抽出し、抽出した最大値を制御部１１１へ返す。
【００３０】
制御部１１１は、教師データ入力部１４の「１」キーが押下されている期間に上記平均値算出部１１３および最大値抽出部１１２により求められたセンサ間の平均値および最大値を、制御部１１１内のバッファメモリに保存する。この結果、例えば上記「１」キーが１秒間押下されたとすれば、サンプリングレートが５００Hzなので、バッファメモリにはセンサ間の平均値および最大値がそれぞれ５００個保存されることになる。
【００３１】
上記「１」キーの押下が解放されると、制御部１１１は上記バッファメモリに保存された１秒間分（５００個）のセンサ間の平均値および最大値の平均、つまり時間方向の平均をそれぞれ算出する。そして、この算出されたセンサ間の平均値および最大値の時間方向の平均を、ジェスチャ「１」に対応する特徴量として、特徴量記憶部１３に記憶させる。
【００３２】
また、教師データ入力部１４において「２」キーが１秒間押下され、それに対応する図４に示すジェスチャ「２」の動作が行われた場合には、この期間に算出された５００個のセンサ間平均値の平均と５００個の最大値の平均が、ジェスチャ「２」に対応する特徴量として特徴量記憶部１３に記憶される。
【００３３】
同様に、他のジェスチャについても、それぞれ１秒間に算出された５００個のセンサ間平均値の平均と５００個のセンサ間最大値の平均が、それぞれのジェスチャに対応する特徴量として特徴量記憶部１３に記憶される。図５は、以上のようにして特徴量記憶部１３に記憶された、各ジェスチャの特徴量の一例を示すものである。
【００３４】
（２）利用モード
特徴量記憶部１３に認識対象のジェスチャに対応する特徴量が記憶されると、以後ジェスチャの認識処理が可能となる。
【００３５】
（２−１）基準ジェスチャによる補正値の算出
利用モードにおいてユーザは、先ず基準となるジェスチャの入力動作を行う。制御部１１１は、上記基準ジェスチャの入力動作により圧力センサ３１，３２，３３から出力される検出信号のデジタル値（検出電圧）をＡ／Ｄ変換部１２から取り込む。このとき、教師データ入力部１４ではキー操作が行われていないので、制御部１１１はステップＳ１０からステップＳ１２に移行し、上記取り込まれた圧力センサ３１，３２，３３の検出電圧をピーク検出部１１４に渡す。
【００３６】
ピーク検出部１１４は、上記圧力センサ３１，３２，３３の検出電圧の何れか１つのピーク値を検出する。なお、上記３個の圧力センサ３１，３２，３３の検出電圧を平均値算出部１１３または最大値抽出部１１２に入力してセンサ間の平均値又は最大値を求め、このセンサ間の平均値又は最大値をもとにピーク値を検出するようにしてもよい。
【００３７】
例えば、いま基準ジェスチャの入力動作により図６に示すようなセンサ検出電圧が得られたとする。なお、図６では３個の圧力センサ３１，３２，３３間の平均値を示している。ピーク検出部１１４は、上記基準ジェスチャの入力動作により得られたセンサ間平均値を時系列に従いバッファメモリ（不図示）に順次保存する。そして、この保存されたセンサ間平均値をサンプリングタイミングが隣接するもの同士で順次比較し、当該センサ間平均値のピーク値を検出する。ピーク検出とは、センサ間平均値が一定時間連続して増加したあと一定時間連続して減少する現象を検出する処理のことである。ここでは、０．２秒以上連続して増加した後、０．１５秒以上連続して減少したとすれば、この増加から減少に転ずるタイミングにおけるセンサ間平均値と、同タイミングにおけるセンサ間最大値を、それぞれピーク平均値およびピーク最大値として検出し、制御部１１１に返す。
【００３８】
制御部１１１は、ピーク検出部１１４から上記ピーク平均値と前記ピーク最大値を受け取ると、基準ジェスチャに対応する特徴量を示す平均値および最大値を特徴量記憶部１３から読み出す。そしてステップＳ１３において、上記ピーク平均値と上記特徴量を示す平均値との差分を求める。同様に、上記ピーク最大値と上記特徴量を示す最大値との差分を求める。そして、これらの差分値を制御部１１１内のバッファメモリに保存する。
【００３９】
例えば、いま基準ジェスチャが「４」で、ピーク検出部１１４により検出されたピーク平均値が１．８、ピーク最大値が２．５だったとする。そして、特徴量記憶部１３に記憶されたジェスチャ「４」の特徴量を示す平均値および最大値が、図５に示したように平均値１．６５、最大値２．２だったとすると、制御部１１１はピーク検出値と平均値との差分を０．１５、ピーク最大値と最大値との差分を０．３として算出し、バッファメモリに保存する。
【００４０】
（２−２）認識対象となるジェスチャの認識
上記基準ジェスチャの入力動作の終了後、ユーザは一旦手をリラックスした状態に戻した後、認識対象となる所望のジェスチャを所定時間以上連続して入力動作する。制御部１１１は、上記基準ジェスチャの入力動作により圧力センサ３１，３２，３３から出力される検出信号のデジタル値（検出電圧）をＡ／Ｄ変換部１２から取り込む。そして、平均値算出部１１３および最大値抽出部１１２において、上記３個の圧力センサ３１，３２，３３の検出電圧のセンサ間の平均値および最大値を検出する。
【００４１】
続いて制御部１１１は、ステップＳ１３において、上記認識対象となるジェスチャの入力動作により検出されたセンサ間平均値および最大値を、上記基準ジェスチャの入力動作において算出し保存した差分値をもとに補正する。例えば、いま上記認識対象となるジェスチャの入力動作により検出されたセンサ間平均値および最大値がそれぞれ１．６、１．９だったとすると、これらの値から上記差分値を減算すると、補正後のセンサ間平均値は１．４５、最大値は１．６となる。
【００４２】
次に制御部１１１は、ステップＳ１４において、上記補正後の平均値および最大値の組を、特徴量記憶部１３に記憶された各ジェスチャの平均値および最大値の組とそれぞれ比較する。そして、上記補正後の平均値および最大値に最も近い特徴量を持つジェスチャのＩＤを上記特徴量記憶部１３から１つ選択する。例えば、上記補正後の平均値および最大値と、上記特徴量記憶部１３に記憶された各ジェスチャの平均値および最大値との間のユークリッド距離を算出する。この結果、図５に示した特徴量の記憶データの例では、ジェスチャ「２」に対応する特徴量との距離が最も近くなり、ユーザが入力動作を行ったジェスチャは、ジェスチャ「２」であると認識される。
【００４３】
最後にステップＳ１５において、操作コマンド生成部１５が、上記認識されたジェスチャ「２」に対応する操作コマンドをメモリテーブルから読み出し、この操作コマンドを出力する。例えば、操作対象の機能が例えば本実施形態のジェスチャ認識装置の機能を備えたウェアラブル端末が有する音楽再生機能であれば、上記操作コマンドを音楽再生機能へ出力して、例えば「再生」動作を行わせる。また、操作対象がエアコンやテレビジョン受信機であれば、上記操作コマンドを上記エアコンまたはテレビジョン受信機に向けて無線または赤外線により送信し、例えば「冷房」動作または「チャネル切替」動作を行わせる。
【００４４】
（実施形態の効果）
以上詳述したように一実施形態では、学習モードにおいて、認識対象のジェスチャを入力動作したときに３個の圧力センサ３１，３２，３３により得られる検出値のセンサ間平均値および最大値を検出して、その時間平均を上記ジェスチャに対応する特徴量として特徴量記憶部１３に記憶させる。一方利用モードでは、先ず基準ジェスチャの入力動作を行ってこのときの上記圧力センサ３１，３２，３３により得られる検出値のピーク時におけるセンサ間平均値および最大値を検出し、このセンサ間平均値および最大値と上記対応する特徴量との差分値を求めてこれを補正値とする。続いて、任意のジェスチャが入力動作されたときの上記圧力センサ３１，３２，３３の検出値のピーク時におけるセンサ間平均値および最大値を検出してこれを上記補正値により補正し、この補正後のセンサ間平均値および最大値に近い特徴量を持つジェスチャを上記特徴量記憶部１３から選択するようにしている。  
従って、リストバンドを手首に装着し直したり腕の向きを変えた場合でも、手のジェスチャを精度良く認識する可能となり、これにより人はもとより、時や場所を選ばず使用可能なジェスチャ認識装置を提供することができる。
【００４５】
また、学習モードを備え、この学習モードにおいて認識対象となる各ジェスチャに対応するセンサ検出値の特徴量を算出して記憶部に記憶させるようにしたので、ユーザごとにその手の構造や動きに対応する最適な特徴量を登録することができ、これによりユーザごとに最適な補正を行うことができる。
【００４６】
（評価結果）
図７（ａ）〜（ｃ）は、それぞれ被験者１名が３個の圧力センサ３１，３２，３３を備えたリストバンド２０を左手首に装着し、腕を下向き（Down）、前向き（Forward）、右向き（Right）に配置した状態で、図４に示したジェスチャを１回ずつ行ったときの上記３個の圧力センサ３１，３２，３３により得られる検出値を記録したものである。図８は、上記３個の圧力センサ３１，３２，３３の検出値のセンサ間平均値を腕の方向ごとに計算した結果を、また図９は上記３個の圧力センサ３１，３２，３３のセンサ間最大値を腕の方向ごとに計算した結果をそれぞれ示している。
【００４７】
図７に示すように、腕の方向が異なるときの同一ジェスチャによる検出値を比較すると、大きく変動していることがわかる。例えば、ジェスチャ「５」を入力動作した場合において、腕が下方向（Down）のとき圧力センサ３１〜３３の値はそれぞれ２．１、２．６、２．４付近であるが、腕が前方向（Forward）のときには２．２、２．０、２．５付近、腕が右方向（Right）のときには１．６、２．３、１．４付近となり、センサの検出値の大小関係がすべて異なってしまっている。これに対し、図８に示すように腕の方向毎のセンサ間平均値を示したグラフでは平行に近い関係となっている。同様に、図９に示すセンサ間最大値の結果もほぼ一致するか平行に近い関係となっている。
【００４８】
一方、図１０（ａ），（ｂ），（ｃ）はリストバンドの付け替えを行った場合のジェスチャの種類毎の個々のセンサの検出値を示したもので、腕の方向はすべて下方向（Down）である。図１１は３個の圧力センサ３１〜３３の検出値のセンサ間平均値をリストバンド２０の付け替え毎に計算した結果を、図１２は３個の圧力センサ３１〜３３のセンサ間最大値をリストバンドの付け替え毎に計算した結果をそれぞれ示している。
【００４９】
図１０に示すように、リストバンド２０の付け替え毎の同一ジェスチャによる値を比較すると、大きく変動していることがわかる。例えば、ジェスチャ「６」の圧力センサの検出値は、１回目ではそれぞれ２．７、２．８、２．９付近であるが、２回目は２．３、１．６、２．７となり、３回目は２．６、２．５、２．９となっている。すなわち、図７（ａ），（ｂ），（ｃ）の場合と同様に、圧力センサ３１〜３３の検出値には大小関係の入れ替わりが発生している。一方、図１１のセンサ間平均値のグラフでは、ほぼ平行する関係となっている。図１２のセンサ間最大値のグラフも平行に近い結果となっている。
【００５０】
以上の結果から、センサ間平均値とセンサ間最大値の各時間平均値を特徴量として記憶し、所望のジェスチャを入力する前に基準ジェスチャを入力動作してこのときの圧力センサ３１〜３３による検出値のセンサ間平均および最大値をもとに補正値を求め、続いて上記所望のジェスチャが入力動作されたときのセンサ間平均値および最大値を上記補正値により補正すれば、センサを装着し直したり腕の向きを変えたとしても、ジェスチャの認識精度を維持することができる。
【００５１】
図１３は、従来通り３個の圧力センサから取得した検出値をそのまま特徴量として用いる方法（３センサ独立型の検出方法）と、本実施形態による認識方法をそれぞれ用い、実際にリストバンドを装着し直したり腕の向きを変えることで、ジェスチャの認識正解率を被験者５名の平均で比較した図である。
【００５２】
図１３から明らかなように、従来の方法ではリストバンドを再装着したり腕の方向を変えると正解率が５０％に低下するが、本実施形態の「センサ間平均／最大値を用いて補正する方法」では、どのような条件でも常に８０％以上の正解率を示した。この結果から、リストバンドを再装着したり腕の方向を変えてジェスチャを入力動作することが多い現実に近い使用状況において、本実施形態の方法によれば高い認識率を得ることができ、実用上大きな期待が持てる。
【００５３】
なお、従来の方法における「リストバンドを取り外さず、腕は同一方向」の条件下での正解率は９０．７％と高いが、現実的にはリストバンドを取り外さずに使うことは考え難いため、実際の使用を反映した数値ではない。
【００５４】
［他の実施形態］
前記一実施形態では、センサ間平均値とセンサ間最大値の両方を用いて認識を行うようにしたが、センサ間平均値とセンサ間最大値とのいずれか一方をもとに認識をするようにしてもよい。
【００５５】
前記一実施形態では、ジェスチャの認識結果をもとに操作コマンドを生成し出力するようにしたが、ジェスチャの認識結果を表す情報をそのまま出力し、操作対象の機能を有するデバイスや電気機器が上記認識結果を表す情報を受信して、操作コマンドを生成して機能を操作制御するようにしてもよい。
【００５６】
また、圧力センサの数は３個以外に２個或いは４個以上でもよく、またリストバンドにおける圧力センサの配置位置についても、腱の動きを検出可能な範囲で適宜設定できる。その他、装置の構成や認識処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００５７】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５８】
１…ジェスチャ認識装置、１０…装置本体、２０…リストバンド、３０…センサアレイ、３１，３２，３３…圧力センサ、４１…腱、４２…尺骨、４３…橈骨、１１…処理ユニット、１２…Ａ／Ｄ変換部、１３…特徴量記憶部、１４…教師データ入力部、１１１…制御部、１１２…最大値抽出部、１１３…平均値算出部、１１４…ピーク値検出部、１１５…操作コマンド生成部。
【図１】
2017142736.tif 000003
【図２】
2017142736.tif 000004
【図３】
2017142736.tif 000005
【図４】
2017142736.tif 000006
【図５】
2017142736.tif 000007
【図６】
2017142736.tif 000008
【図７】
2017142736.tif 000009
【図８】
2017142736.tif 000010
【図９】
2017142736.tif 000011
【図１０】
2017142736.tif 000012
【図１１】
2017142736.tif 000013
【図１２】
2017142736.tif 000014
【図１３】
2017142736.tif 000015