(57)【要約】【課題】、簡易な構成で、様々な行動又は使用している電子機器を識別することができるようにする。【解決手段】複数の磁気センサ１６を、てのひら側の指の関節間領域に配置し、複数の磁気センサ１６の各々の時系列のセンサデータを無線通信により行動機器識別装置１４へ送信する。行動機器識別装置１４の特徴抽出部３０によって、複数の磁気センサ１６の各々の時系列のセンサデータに基づいて、磁気センサ１６の各々について、特徴量の時系列データを抽出する。識別部３４によって、抽出された特徴量の時系列データに基づいて、予め学習した識別器に従って、装着者の行動、又は手で携帯し使用している電子機器の種類を識別する。【選択図】図２
2012155669.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の磁気センサと、
前記１または複数の磁気センサの各々の時系列のセンサデータを出力する出力手段と、
を含む手袋型又は指輪型の磁気検出装置であって、
前記１または複数の磁気センサは、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサを含むことを特徴とする磁気検出装置。
【請求項２】
前記１または複数の磁気センサは、４つ以上の関節間領域に配置された複数の磁気センサを含むことを特徴とする請求項１記載の磁気検出装置。
【請求項３】
前記１または複数の磁気センサは、人差し指の関節間領域に配置された磁気センサ、又は中指の関節間領域に配置された磁気センサを含むことを特徴とする請求項１又は２記載の磁気検出装置。
【請求項４】
装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段と、
前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段と、
を含む行動機器識別装置。
【請求項５】
前記特徴抽出手段は、前記複数の磁気センサ間で、前記磁気センサのセンサデータの差の時系列データを算出し、前記差の時系列データに基づいて前記特徴量を抽出する請求項４記載の行動機器識別装置。
【請求項６】
前記特徴抽出手段は、前記１または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、前記センサデータの大きさ又は時間的変化を表わす特徴量を抽出する請求項５記載の行動機器識別装置。
【請求項７】
１または複数の磁気センサ、及び
前記１または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する無線通信手段
を含む手袋型又は指輪型の磁気検出装置であって、
前記１または複数の磁気センサは、装着者の手のてのひら側であって、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサを含む磁気検出装置と、
前記磁気検出装置によって送信された前記磁気センサの各々の時系列のセンサデータを無線通信によって受信する無線通信手段、
前記無線通信手段によって受信した前記磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段、及び
前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気検出装置を装着した装着者の行動、又は前記装着者が前記磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段
を含む行動機器識別装置と、
を含む行動機器識別システム。
【請求項８】
特徴抽出手段と、識別手段とを含む行動機器識別装置における行動機器識別方法であって、
前記行動機器識別装置は、
前記特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出するステップと、
前記識別手段によって、前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別するステップと、
を含んで実行することを特徴とする行動機器識別方法。
【請求項９】
コンピュータを、請求項４〜請求項６の何れか１項記載の行動機器識別装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムに係り、特に、人間の行動又は携帯している電子機器を識別するための磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムに関する。
【背景技術】
【０００２】
センシングデバイスを用いた研究で現在最も盛んな分野は日常行動の推定である。ユーザの手首や腰などに加速度センサを添付して計測した波形から、”歩く”、”テレビを見る”、”歯を磨く”などの２０種類のユーザの行動を認識する方法が知られている（例えば、非特許文献１）。また、ユーザにマイクと加速度センサを添付して、のこぎり引きやドリルの利用などの工作作業を認識する方法が知られている（例えば、非特許文献２）。
【０００３】
また、画像処理のアプローチから、環境（部屋の天井など）に設置したカメラで得られた人物の映像を用いて人物の動作を認識する方法が知られている（例えば、非特許文献３）。さらに、環境内の生活用品やモノにセンサやＲＦＩＤタグを添付し、それらにより生活用品やモノの利用を検知することで行動の認識を行う方法も知られている（例えば、非特許文献４）。
【０００４】
磁気センサを用いた手法として、体に装着した磁気の発生装置と手に装着した磁気センサとを用いて、手の体に対する相対的な位置を算出し、手のジェスチャ認識に用いる手法が知られている（例えば、非特許文献５）。また、ユーザが使っている電子機器（家電など）が何であるかを推定する従来手法は、主に２つのアプローチに分けられる。一つ目は、非特許文献６のように電子機器に直接センサノードを設置するアプローチであり、二つ目は、非特許文献７のように、家庭内の電線を流れる電流のノイズから、使っている電子機器を推定するアプローチである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Bao and S. S. Intille, ``Activity recognition from user-annotated acceleration data,'' Proc. PERVASIVE 2004, pp. 1--17, 2004.
【非特許文献２】P. Lukowicz, J. Ward, H. Junker, M. Stager, G. Troster, A. Atrash, and T. Starner, ``Recognizing workshop activity using body worn microphones and accelerometers,'' Proc. Pervasive 2004, pp. 18--32, 2004.
【非特許文献３】J. Yamamoto, J. Ohya, and K. Ishii, ``Recognition human action in time-sequential images using hidden markov model,'' Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 379--385, 1992.
【非特許文献４】M. Philipose, K.P. Fishkin, and M. Perkowitz, ``Inferring activities from interactions with objects,'' IEEE Pervasive computing, 3(4), pp. 50--57, 2004.
【非特許文献５】G. Pirkl, K. Stockinger, and K. Kunze, ``Adapting magnetic resonant coupling based relative positioning technology for wearable activity recognition,'' Proc. Int'l Symp. on Wearable Computers, 2008.
【非特許文献６】Y. Kim, T. Schmid, Z.M. Charbiwala, and M.B. Srivastava, ``ViridiScope: design and implementation of a fine grained power monitoring system for homes,'' Proc. Ubicomp 2009, pp. 245-254, 2009.
【非特許文献７】S.N. Patel, T. Robertson, J.A. Kientz, M.S. Reynolds, and G.D. Abowd, ``At the flick of a switch: Detecting and classifying unique electrical events on the residential power line,'' Proc. Ubicomp 2007, pages 271-288, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１、２に記載のマイクや加速度センサを用いた手法は、装着者にのみセンサデバイスを添付するだけでよいため、コストが低いが、認識できる行動は、その行動に含まれる音が特徴的なものや、その行動を行う際の体の部位の動きが特徴的なもののみに限られる、という問題がある。例えば、ドリルを使う工作作業や歩行の行動などである。
【０００７】
また、非特許文献３に記載の技術を用いて生活行動を認識するためには、環境のさまざまな部屋に大量のカメラを設置するためのコストがかかる、という問題がある。また、プライバシーの問題もある。
【０００８】
また、非特許文献５に記載の技術は、手のジェスチャを認識することを目的としており、ユーザが使用している電子機器の推定は対象としていない。また、体に磁気の発生器を装着する必要がある、という問題がある。
【０００９】
非特許文献４、６に記載の技術では、環境内にあるさまざまな大量のモノにセンサやＲＦＩＤタグを添付するため、コストがかかってしまう、という問題がある。また、非特許文献７に記載の技術では、コンセントに繋がっている電子機器の利用のみしか認識できない、という問題がある。
【００１０】
本発明は、上記の課題を解決するためになされたもので、簡易な構成で、様々な行動又は使用している電子機器を識別することができる磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために本発明に係る磁気検出装置は、１または複数の磁気センサと、前記１または複数の磁気センサの各々の時系列のセンサデータを出力する出力手段と、を含む手袋型又は指輪型の磁気検出装置であって、前記１または複数の磁気センサは、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサを含むことを特徴としている。
【００１２】
本発明に係る磁気検出装置によれば、１または複数の磁気センサを、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置し、出力手段によって、１または複数の磁気センサの各々の時系列のセンサデータを出力する。
【００１３】
ここで、磁気検出装置から出力された１または複数の磁気センサの各々の時系列のセンサデータを用いることにより、装着者の様々な行動又は使用している電子機器を識別することができる。
【００１４】
本発明に係る１または複数の磁気センサは、４つ以上の関節間領域に配置された複数の磁気センサを含むことができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。
【００１５】
本発明に係る１または複数の磁気センサは、人差し指の関節間領域に配置された磁気センサ、又は中指の関節間領域に配置された磁気センサを含むことができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。
【００１６】
本発明に係る行動機器識別装置は、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段と、前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段と、を含んで構成されている。
【００１７】
本発明に係る行動機器識別方法は、特徴抽出手段と、識別手段とを含む行動機器識別装置における行動機器識別方法であって、前記行動機器識別装置は、前記特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出するステップと、前記識別手段によって、前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別するステップと、を含んで実行することを特徴としている。
【００１８】
本発明に係る行動機器識別装置及び行動機器識別方法によれば、特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出する。そして、識別手段によって、１または複数の磁気センサの各々について抽出された特徴量と、磁気センサを装着した装着者の行動、又は装着者が磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて１または複数の磁気センサの各々の特徴量と行動又は電子機器との関係を予め学習した学習結果に基づいて、特徴抽出手段によって抽出された特徴量について、装着者の行動又は電子機器を識別する。
【００１９】
このように、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出し、装着者の行動又は電子機器を識別することにより、簡易な構成で、様々な行動又は使用している電子機器を識別することができる。
【００２０】
本発明に係る特徴抽出手段は、複数の磁気センサ間で、磁気センサのセンサデータの差の時系列データを算出し、差の時系列データに基づいて特徴量を抽出するようにすることができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。
【００２１】
本発明に係る特徴抽出手段は、１または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、センサデータの大きさ又は時間的変化を表わす特徴量を抽出するようにすることができる。
【００２２】
本発明に係る行動機器識別システムは、１または複数の磁気センサ、及び前記１または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する無線通信手段を含む手袋型又は指輪型の磁気検出装置であって、前記１または複数の磁気センサは、装着者の手のてのひら側であって、指の関節と関節との間である１または複数の関節間領域に配置された１または複数の磁気センサを含む磁気検出装置と、前記磁気検出装置によって送信された前記磁気センサの各々の時系列のセンサデータを無線通信によって受信する無線通信手段、前記無線通信手段によって受信した前記磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段、及び前記１または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気検出装置を装着した装着者の行動、又は前記装着者が前記磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記１または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段を含む行動機器識別装置と、を含んで構成されている。
【００２３】
本発明に係る行動機器識別システムによれば、磁気検出装置の１または複数の磁気センサを、装着者の手のてのひら側であって、かつ、指の関節と関節との間である１または複数の関節間領域に配置し、無線通信手段によって、１または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する。
【００２４】
行動機器識別装置の無線通信手段によって、磁気検出装置によって送信された磁気センサの各々の時系列のセンサデータを無線通信によって受信する。特徴抽出手段によって、無線通信手段によって受信した磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出する。
【００２５】
そして、識別手段によって、１または複数の磁気センサの各々について抽出された特徴量と、磁気検出装置を装着した装着者の行動、又は装着者が磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて１または複数の磁気センサの各々の特徴量と行動又は電子機器との関係を予め学習した学習結果に基づいて、特徴抽出手段によって抽出された特徴量について、装着者の行動又は電子機器を識別する。
【００２６】
このように、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された１または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出し、装着者の行動又は電子機器を識別することにより、簡易な構成で、様々な行動又は使用している電子機器を識別することができる。
【００２７】
本発明に係るプログラムは、コンピュータを、上記の行動機器識別装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムによれば、簡易な構成で、様々な行動又は使用している電子機器を識別することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施の形態に係る手袋型検出装置の磁気センサの配置を示す図である。
【図２】本発明の第１の実施の形態に係る行動機器識別システムの構成を示す概略図である。
【図３】（Ａ）デジカメを使用したときのセンサデータの変化を示すグラフ、（Ｂ）ドライヤを使用したときのセンサデータの変化を示すグラフ、及び（Ｃ）デジカムを使用したときのセンサデータの変化を示すグラフである。
【図４】（Ａ）歩くときのセンサデータの変化を示すグラフ、及び（Ｂ）卓球をしているときのセンサデータの変化を示すグラフである。
【図５】本発明の第１の実施の形態に係る行動機器識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第２の実施の形態に係る指輪型検出装置の磁気センサの配置を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜行動機器識別システムの構成＞
図１に示す手１は、行動を識別する対象となる人物のものである。以下においては、この人物を単に装着者という。この手１には、第１の実施の形態に係る行動機器識別システム１０（図２参照）の一部を構成する手袋型検出装置１２が装着されている。図２に示すように、第１の実施の形態に係る行動機器識別システム１０は、手袋型検出装置１２と、手袋型検出装置１２に無線通信によって接続された行動機器識別装置１４とを備えている。
【００３２】
＜センサデバイスの構成＞
手袋型検出装置１２は、手袋のてのひら側に配置された、磁気を検出する複数の磁気センサ１６を備えている。複数の磁気センサ１６は、指の関節と関節との間である関節間領域に配置された４個以上の磁気センサを含んでいる。磁気センサ１６が関節と関節の間に配置されることで、日常生活の妨げにならない、利用しやすいデバイスを構成することができる。また、磁気センサ１６を少なくとも４箇所以上の関節間領域に設置すると、高精度な識別を行うことが実験により確認できている。
【００３３】
また、他の部分に設置した磁気センサ１６のセンサデータと比較して、行動や電子機器の識別への貢献度（識別精度への影響）が大きいため、利き腕の中指および人差し指の少なくとも一方の関節間領域に磁気センサ１６を配置することが好ましい。
【００３４】
手袋型検出装置１２は、右手及び左手の何れか一方に装着されるものであってもよいし、右手及び左手の双方に装着されるものであってもよい。
【００３５】
手袋型検出装置１２は、複数の磁気センサ１６に対応して複数のセンサデバイス１８を備えている。各センサデバイス１８は、磁気センサ１６、増幅器２０、バッファ２２、及び無線通信部２４を備えている。なお、無線通信部２４が、出力手段の一例である。
【００３６】
磁気センサ１６としては、例えば、ホール素子や磁気抵抗効果素子などの一般的な素子が用いられる。
【００３７】
増幅器２０は、磁気センサ１６から出力されたセンサデータを増幅する。バッファ２２は、増幅器２０から出力されたセンサデータを蓄積する。バッファ２２にセンサデータが所定量以上蓄積されると、無線通信部２４は、バッファ２２に蓄積されたセンサデータを、センサデバイス１８を識別するためのデバイスＩＤと共に無線通信により行動機器識別装置１４へ送信する。
【００３８】
＜行動機器識別装置の構成＞
行動機器識別装置１４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とを備えたコンピュータで構成され、機能的には次に示すように構成されている。行動機器識別装置１４は、無線通信部２６、ノイズ除去部２８、特徴抽出部３０、学習結果記憶部３２、識別部３４、出力部３６、学習データ記憶部３８、特徴抽出部４０、及び学習部４２を備えている。
【００３９】
無線通信部２６は、各センサデバイス１８の無線通信部２４から送信されたセンサデータを受信する。ノイズ除去部２８は、受信したセンサデータに対してノイズ除去を行う。なお、ノイズ除去部２８は、センサデバイス１８側に実装してもよい。ノイズ除去では、センサデータに含まれる高周波成分を、ローパスフィルタなどを用いて除去する。例えば、移動平均法などを用いてノイズ除去を行う。
【００４０】
特徴抽出部３０は、ノイズを除去したセンサデータから、センサデータが示す行動及び電子機器を識別するための特徴量を抽出する。特徴抽出では、磁気センサ１６毎に、当該磁気センサ１６の時系列のセンサデータから特徴量を抽出する。特徴抽出の詳細については後述する。
【００４１】
学習結果記憶部３２は、装着者の行動及び使用している電子機器の何れか一方の種類を識別する識別器の学習結果を記憶している。識別器は、入力された特徴に対して、その特徴に対応する可能性の高い行動、及び手で携帯し使用している電子機器の何れか一方の種類を返す関数（またはモデル）であり、後述の学習部４２により予め学習しておく。なお、識別器が、センサデータの特徴量と行動又は電子機器の種類との関係に対応している。
【００４２】
識別部３４は、抽出された特徴量と、識別器の学習結果とを用いて、抽出された特徴量に対応する行動及び電子機器の何れか一方の種類を識別する。
【００４３】
識別部３４による識別結果が、出力部３６よりユーザに出力される。なお、出力部３６は、ディスプレイ、プリンタ、磁気ディスクなどで実装される。
【００４４】
＜センサデータの特徴＞
特徴抽出部３０、４０の処理について詳細に説明する前に、手１に装着した磁気センサ１６から得られるセンサデータについて説明する。図３（Ａ）〜（Ｃ）は、手袋型検出装置１２を手１に装着した装着者が、手袋型検出装置１２を装着した手１で携帯している、デジカメを使用した（写真を取った）とき、ヘアドライヤーを使用したとき、及びデジカムを使用した（映像を撮った）ときの各々のセンサデータの系列を示す。ただし、これらのデータはローパスフィルタでノイズ除去をした後のものである。図３（Ａ）、（Ｂ）中のＬ−Ｍ１は、左手中指の第一関節と第二関節の間に設置した磁気センサ１６から得たセンサデータ、Ｒ−Ｍ１は、右手中指の第一関節と第二関節の間に設置した磁気センサ１６から得たセンサデータを示す。また、図３（Ｃ）中のＲ−Ｉ１は右手人差し指の第一関節と第二関節の間に設置した磁気センサ１６から得たセンサデータ、Ｒ−Ｉ２は右手人差し指の第二関節と付け根の間に設置した磁気センサ１６から得たセンサデータを示す。
【００４５】
デジカメを使用している間、センサデータがマイナス方向に振れているのが分かる。電子機器には、磁石や電気回路などが含まれ、それらから磁場が発生している。磁場の大きさは磁石や回路によって異なり、また、磁気センサ１６が計測する磁場は距離に応じて減衰するため、ある電子機器を手で持つときに、その持ち方がほぼ同じならば、手１に装着した磁気センサ１６が計測する磁場の大きさは、その電子機器を手１に持っているときは、いつもほぼ同じとなる。つまり、電子機器を手にしたユーザの手１に装着した磁気センサ１６により取得したセンサデータの特徴から、ユーザが手１で携帯し、かつ、使用している電子機器が何であるかを識別することができる。
【００４６】
また、図３（Ｂ）に示す、ドライヤを使っているときのセンサデータでは、Ｒ−Ｍ１のセンサデータの中央部に特徴的な振幅が含まれていることが分かる。これは、ドライヤのモータの回転によるものである。また、図３（Ｃ）に示す、デジカムを使っているときのセンサデータの中央部では、２つのセンサデータ系列が同期して変化していることが分かる。これは、磁気センサ１６が地磁気の影響を受けており、デジカメを回しているときに、装着者の向いている方向が変わったためである。
【００４７】
図４（Ａ）、（Ｂ）に、装着者が歩いているときに得られたセンサデータと、卓球をしているときに得られたセンサデータとを示す。図４（Ａ）中のＬ−Ｉ１は、左手人差し指第一関節と第二関節の間の磁気センサ１６から得たセンサデータ、Ｌ−Ｉ２は、左手人差し指第二関節と付け根の間の磁気センサ１６から得たセンサデータ、Ｌ−Ｍ１は、左手中指第一関節と第二関節の間の磁気センサ１６から得たセンサデータ、Ｌ−Ｍ２は、左手中指第二関節と付け根の間の磁気センサ１６から得たセンサデータ、Ｌ−Ｐ１は、左手親指第一関節と第二関節の間の磁気センサ１６から得られたセンサデータを示す。また、図４（Ｂ）中のＲ−Ｉ１は、右手人差し指第一関節と第二関節の間の磁気センサ１６から得たセンサデータ、Ｒ−Ｉ２は、右手人差し指第二関節と付け根の間の磁気センサ１６から得たセンサデータ、Ｒ−Ｍ１は、右手中指第一関節と第二関節の間の磁気センサ１６から得たセンサデータ、Ｒ−Ｍ２は、右手中指第二関節と付け根の間の磁気センサ１６から得たセンサデータ、Ｒ−Ｐ１は、右手親指第一関節と第二関節の間の磁気センサ１６から得られたセンサデータを示す。
【００４８】
歩く行動の場合、周期的な動きが見られる。また、卓球の行動の場合、ところどころに大きな値の変化が見られる。これらは、手の動き（方向の変化）による地磁気の影響の変化によって引き起こされたものである。
【００４９】
したがって、正解のラベル（センサデータがどの電子機器に対応するか、および、どの行動（手の動きを伴う行動）に対応するかを示すラベル）が付与されたセンサデータの系列を学習データとし、教師あり機械学習を行うことで、入力された未知の（ラベルの分からない）センサデータの系列に対して、当該センサデータに対応する行動又は電子機器の種類を識別するための識別器を学習することができる。
【００５０】
＜特徴抽出部の処理＞
特徴抽出部３０、４０は、センサデータの系列に対してタイムウインドウ（窓）毎に抽出処理を行う。例えば、１秒ごとのスライディング窓を設定し、その窓ごとに、その窓内のセンサデータから特徴を抽出する。窓の大きさは予め設定しておくものとする。
【００５１】
上述のように、磁気センサ１６のセンサデータは、センサデータの値の大きさと周期的な変化とに特徴があるため、それらを捉えるように特徴抽出を行う。例えば、値の大きさを捉えるために、センサデータの窓内の値の平均を、そのまま特徴量として用いる。また、センサデータの周期的な変化を捉えるために、窓内のセンサデータの系列をフーリエ解析する。例えば、窓内のセンサデータの系列に対して高速フーリエ変換を適用して得られるフーリエ係数で構成される複数次元のベクトルを特徴量としてそのまま用いる。
【００５２】
特徴抽出部３０、４０は、上記の２つの特徴抽出を、それぞれの磁気センサ１６ごとに行い、各磁気センサ１６に対して、値の大きさを捉えるための特徴量の時系列データと、センサデータの周期的な変化を捉えるための特徴量の時系列データとを抽出する。
【００５３】
ここで、図３（Ｃ）のデジカムの例で示したように、装着者の向いている方向によって磁気センサ１６のセンサデータは影響を受ける。これをキャンセルするために、別のセンサから得られたセンサデータの差の系列データに対して、特徴抽出を行うことが好ましい。例えば、差の系列データに対して、スライディング窓毎に平均を算出し、値の大きさを捉えるための特徴として、平均の系列データを抽出する。これは、図３（Ｃ）に示す通り、それぞれの磁気センサ１６のセンサデータが、装着者の方向変化に応じて同期して変化している、という性質を利用したものである。
【００５４】
例えば、図３（Ｃ）の例では、右手人差し指に付いている２つの磁気センサ１６から同じ時刻に得られたデータの値の差の系列データを算出し、差の系列データから、各窓内の平均を求める。ただし、この差を求める方法は、ほぼ同じ方向を向いているセンサ同士でしか用いることができないため、違う手に付いているセンサ同士では用いることができない。これは、センサの向いている方向が違えば装着者の方向変化による、センサデータの変化の仕方が異なるためである。すなわち、特徴抽出部３０、４０は、各磁気センサ１６について、当該磁気センサ１６と同じ手に配置された磁気センサ１６から得られたセンサデータとの差の系列データを算出し、算出した差の系列データに対して、平均を用いた特徴量の抽出を行い、値の大きさを捉えるための特徴量の時系列データを抽出する。
【００５５】
以上のようにして抽出した２種類の特徴量の時系列データ（ベクトルなどで表現される）を、識別部３４及び学習部４２の入力とする。なお、学習時には、２種類の特徴量の時系列データと、予め当該特徴量の時系列データ（センサデータ）に対応する、電子機器又は行動が何であるかを人手などによりラベル付けしたデータとの組み合わせからなる学習データ（教師ありデータ）を、入力として用いる。
【００５６】
＜識別器の学習＞
学習データ記憶部３８は、各センサデバイス１８の磁気センサ１６により取得されたセンサデータの系列に、当該センサデータに対応する手の動きを伴う行動の種類（例えば、歩く、走る、歯を磨くなど）を予めラベル付けした学習データを複数記憶すると共に、各センサデバイス１８の磁気センサ１６により取得されたセンサデータの系列に、当該センサデータに対応する、磁気センサ１６を装着した手で携帯し、かつ使用している電子機器の種類（例えば、携帯電話やデジタルカメラなど）を予めラベル付けした学習データを複数記憶している。
【００５７】
なお、学習データのラベルを付与する場合には、手袋型検出装置１２の各磁気センサ１６からセンサデータを取得するのと同時に環境や身体に装着したカメラにより行動や使用している電子機器を撮影しておき、その行動が行われた時又は電子機器を使用している時に得られたセンサデータの系列に対して、行動又は電子機器の種類に対応するラベル付けを人手で行えばよい。
【００５８】
特徴抽出部４０は、特徴抽出部３０と同様の処理により、磁気センサ１６毎に、学習データに含まれるセンサデータの系列から、２種類の特徴量の時系列データを抽出する。
【００５９】
学習部４２は、各磁気センサ１６に対する特徴量の時系列データに対して、当該センサデータに対応する可能性の高い行動及び電子機器の何れか一方の種類を返す識別器を学習する。なお、学習部４２による識別器の学習では、従来より周知の教師有り学習の方法を用いれば良い。
【００６０】
＜行動機器識別システムの作用＞
次に、第１の実施の形態に係る行動機器識別システム１０の作用について説明する。まず、行動機器識別装置１４の入力部（図示省略）を介して、行動及び電子機器のいずれか一方の種類を示すラベルが付与された、磁気センサ１６毎のセンサデータの時系列データが、学習データとして複数入力され、学習データ記憶部３８に格納される。そして、行動機器識別装置１４の特徴抽出部４０によって、学習データの各々について、磁気センサ１６毎に２種類の特徴量の時系列データが抽出され、学習部４２によって、行動及び電子機器の種類を識別するための識別器が学習される。学習部４２による学習結果が、学習結果記憶部３２に格納される。
【００６１】
手袋型検出装置１２を手１に装着した装着者が何らかの行動をしているとき、又は手袋型検出装置１２を装着した手１に電子機器を携帯して使用しているとき、各センサデバイス１８において、磁気センサ１６からセンサデータが出力され、増幅されたセンサデータがバッファ２２に格納される。そして、各センサデバイスにおいて、センサデータがバッファ２２に所定量以上蓄積されると、無線通信部２４によってバッファ２２に蓄積されたセンサデータの系列を行動機器識別装置１４へ送信する。
【００６２】
また、行動機器識別装置１４において、図５に示す識別処理ルーチンが実行される。
【００６３】
まず、ステップ１００において、センサデバイス１８からセンサデータの系列を受信したか否かを判定し、センサデータの系列を受信した場合には、ステップ１０２へ進み、上記ステップ１００で受信したセンサデータの系列に対してノイズ除去を行う。
【００６４】
そして、ステップ１０４では、上記ステップ１０２でノイズ除去されたセンサデータの系列に対して、スライディング窓内で２種類の特徴量を各々抽出し、２種類の特徴量の時系列データをメモリに保存する。
【００６５】
次のステップ１０６において、上記ステップ１０４で抽出された特徴量の時系列データが、所定時間分蓄積されたか否かを判定し、所定時間分蓄積されていない場合には、上記ステップ１００へ戻る。一方、各磁気センサ１６について、所定時間分の特徴量の時系列データが蓄積された場合には、ステップ１０８へ進む。
【００６６】
ステップ１０８では、各磁気センサ１６に対して抽出された２種類の特徴量の時系列データを入力として、学習された識別器により、対応する行動及び電子機器の何れか一方の種類を識別する。そして、ステップ１１０において、上記ステップ１０８で識別された、対応する行動及び電子機器の何れか一方の種類を出力部３６により出力して、識別処理ルーチンを終了する。
【００６７】
以上説明したように、第１の実施の形態に係る行動機器識別システムによれば、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された複数の磁気センサの各々のセンサデータの系列に基づいて、磁気センサの各々について、特徴量の時系列データを抽出し、装着者の手の動きを伴う行動の種類、又は手で携帯し、かつ使用している電子機器の種類を識別することにより、簡易な構成で、様々な行動又は使用している電子機器の種類を識別することができる。
【００６８】
また、手に磁気センサを装着するため、電子機器にセンサなどを設置しなくても、どの電子機器を使っているのかを識別することができる。
【００６９】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００７０】
第２の実施の形態では、指輪型検出装置を手に装着している点が、第１の実施の形態と異なっている。
【００７１】
図６に示すように、手１には、第２の実施の形態に係る行動機器識別システムの一部を構成する指輪型検出装置２１２が装着されている。第２の実施の形態に係る行動機器識別システムは、指輪型検出装置２１２と、指輪型検出装置２１２に無線通信によって接続された行動機器識別装置１４とを備えている。
【００７２】
指輪型検出装置２１２が、指輪型のセンサデバイス２１８を複数備えている。指に装着された指輪型のセンサデバイス２１８の手にひら側に、磁気センサ１６が配置されている。複数の磁気センサ１６は、複数の関節間領域に配置された複数の磁気センサを含んでいる。
【００７３】
指輪型検出装置２１２は、右手及び左手の何れか一方に装着されるものであってもよいし、右手及び左手の双方に装着されるものであってもよい。
【００７４】
センサデバイス２１８は、上記の第１の実施の形態で説明したセンサデバイス１８と同様の構成であり、磁気センサ１６により取得したセンサデータを、行動機器識別装置１４へ送信する。
【００７５】
なお、第２の実施の形態に係る行動機器識別システムの他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７６】
このように、指輪型検出装置を手に装着し、磁気センサを、手のひら側であって、指の関節と関節との間に配置することで、日常生活の妨げにならない、利用しやすいデバイスを構成することができる。
【００７７】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７８】
例えば、上記の実施の形態では、１つのセンサデバイスに対して１つの磁気センサが搭載されている場合を例に説明したが、これに限定されるものではなく、１つのセンサデバイスに複数の磁気センサが搭載されていてもよい。この場合、センサデバイスにおいて、それぞれの磁気センサごとに増幅回路を設けると共に、センサデバイスは、それぞれの磁気センサに対してＩＤを付加し、そのＩＤとともに当該磁気センサのセンサデータを送信するようにすればよい。
【００７９】
また、センサデバイスと行動機器識別装置とが無線通信によって接続されている場合を例に説明したが、これに限定されるものではなく、センサデバイスと行動機器識別装置とが有線によって接続されていてもよい。
【００８０】
また、センサデバイスに蓄積されたセンサデータを、オフラインで、行動機器識別装置へ出力するようにしてもよい。
【００８１】
また、磁気センサのセンサデータに基づいて、装着者の行動又は使用している電子機器の種類を識別する場合を例に説明したが、これに限定されるものでなない。磁気センサのセンサデータに基づいて、装着者の行動のみの種類を識別するように構成してもよいし、磁気センサのセンサデータに基づいて、装着者が使用している電子機器のみの種類を識別するように構成してもよい。
【００８２】
また、行動機器識別装置が、識別器の学習を行う場合を例に説明したが、これに限定されるものではなく、行動機器識別装置とは別の装置において、識別器の学習を行うようにしてもよい。この場合には、当該他の装置が、学習データ記憶部、特徴抽出部、学習部、及び学習結果記憶部を備え、行動機器識別装置は、当該他の装置の学習結果記憶部と同じ内容を記憶した学習結果記憶部を備えていればよい。
【００８３】
また、装着者の手に複数の磁気センサを配置した場合を例に説明したが、これに限定されるものではない。手袋側検出装置又は指輪型検出装置を、装着者の手のてのひら側の指の１つの関節間領域に１つの磁気センサだけ配置するように構成してもよい。
【００８４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００８５】
１０   行動機器識別システム
１２   手袋型検出装置
１４   行動機器識別装置
１６   磁気センサ
１８、２１８  センサデバイス
２０   増幅器
２２   バッファ
２４、２６    無線通信部
２８   ノイズ除去部
３０   特徴抽出部
３２   学習結果記憶部
３４   識別部
４２   学習部
２１２ 指輪型検出装置
【図１】
2012155669.tif 000003
【図２】
2012155669.tif 000004
【図３】
2012155669.tif 000005
【図４】
2012155669.tif 000006
【図５】
2012155669.tif 000007
【図６】
2012155669.tif 000008