(57)【要約】      （修正有）【課題】椅子に着席するユーザの状態を推定するユーザ状態推定装置及びユーザ状態推定方法を提供する。【解決手段】ユーザ状態推定装置１０は、ユーザの動作に起因する音を収音可能な位置に配置されたマイクから音圧データを取得する第１のインターフェース１０１と、椅子に設置された３軸加速度センサから加速度データを取得する第２のインターフェース１０２と、当該ユーザ状態の推定処理を実行する制御部１０３と、当該ユーザ状態の推定処理に用いる決定木を格納する決定木格納部１０５とを備える。制御部１０３は、所定の期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出する特徴量抽出部１０３２と、決定木格納部１０５から決定木を読み出し、当該抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行するユーザ状態推定部１０３３とを備える。【選択図】図３
2012053829.tif 000002
【特許請求の範囲】
【請求項１】
椅子に着席するユーザの状態を推定するユーザ状態推定装置であって、
ユーザの動作に起因する音を収音可能な位置に配置されたマイクから音圧データを取得する第１のインターフェースと、
当該椅子に設置された３軸加速度センサから加速度データを取得する第２のインターフェースと、
当該ユーザ状態の推定処理を実行する制御部と、
当該ユーザ状態の推定処理に用いる決定木を格納する決定木格納部とを備え、
前記制御部は、
前記第１のインターフェース及び前記第２のインターフェースを介して得られる加速度データ及び音圧データを監視し、所定の期間の加速度データ及び音圧データを決定するデータ監視部と、
前記所定の期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出する特徴量抽出部と、
前記決定木格納部から決定木を読み出し、当該抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行するユーザ状態推定部と、
を備えることを特徴とするユーザ状態推定装置。
【請求項２】
前記特徴量としての複数種類のパラメータは、
加速度データから得られる各軸の平均値、分散値及びパワースペクトルと、３軸の合成軸の平均値、分散値及びパワースペクトルからなるパラメータと、
音圧データから得られる音圧の平均値、分散値及びパワースペクトルからなるパラメータと、を含むことを特徴とする、請求項１に記載のユーザ状態推定装置。
【請求項３】
前記決定木は、一括推定方式に従う決定木、又は、段階推定方式に従う決定木からなることを特徴とする、請求項２又は３に記載のユーザ状態推定装置。
【請求項４】
椅子に着席するユーザの状態を推定するユーザ状態推定方法であって、
ユーザの動作に起因する音を収音可能な位置に配置されたマイクから音圧データを取得するステップと、
当該椅子に設置された３軸加速度センサから加速度データを取得するステップと、
前記加速度データ及び音圧データを監視し、所定の期間の加速度データ及び音圧データを決定するステップと、
前記所定の期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出するステップと、
予め定めた決定木を用いて、当該抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行するステップと、
を含むことを特徴とするユーザ状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、椅子に着席するユーザの状態を推定するユーザ状態推定装置及びユーザ状態推定方法に関する。
【背景技術】
【０００２】
回転椅子に加速度センサを設置して、回転椅子に着席するユーザのコンテキストを推定する技術が知られている（例えば、非特許文献１参照）。この技術では、ユーザが特殊なセンサを装着する負担がない点で有効な手段ではあるが、推定可能なユーザ状態が、「着席」と「退席」だけに限られている。
【０００３】
一方で、机上のパーソナルコンピュータ（ＰＣ）の操作を行うユーザの動作を推定するために、非特許文献１の技術よりも推定可能なユーザ状態を拡大して、ユーザの動作を細かく推定するため、加速度センサを腕等に装着する技術が知られている（例えば、非特許文献２参照）。この技術では、「ＰＣ作業」、「書類を読む」、「書類を書く」及び「自由行動」の４つの状態が推定可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】大久保  雅史、藤村  安耶、“加速度センサを利用した集中度合い推定システムの提案”、［online]、［２０１０年８月１日検索］、インターネットhttp://www.wiss.org/WISS2008Proceedings/posters/paper0038.pdf
【非特許文献２】佐藤誠、森田千絵、土井美和子、“生体データと加速度データを用いた行動認識”、［online]、［２０１０年８月１日検索］、インターネットhttp://www.ipsj.or.jp/01kyotsu/award/taikai_yushu/65award_papers/Y_Sato_Makoto.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１における回転椅子に加速度センサを設置する従来方式では、推定可能となるユーザの着席時の状態が２つだけであり、これをサービスに適用する際には、極めて限定した利用方法しかできなかった。
【０００６】
また、非特許文献２における装着型の加速度センサを用いる従来方式では、着席時にも、常にセンサをユーザ自身に装着しなければならないという点で、ユーザに負担を強いる問題があった。また、「ＰＣ作業」のような機器使用に関するユーザ状態については、キーボード／マウス操作などのセンサから収集されるデータを用いるよりも、ＰＣ動作自体を監視した方がより容易に推定可能である。
【０００７】
このため、ユーザ自身にセンサを装着することなしに、より多種類のユーザ状態を推定する技術が望まれる。
【０００８】
本発明は、上述の問題を鑑みて為されたものであり、椅子に着席するユーザの状態を推定するユーザ状態推定装置及びユーザ状態推定方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、椅子に設置した３軸加速度センサと机上に設置したマイクから収集される一定期間のデータから、特徴量としての複数種類のパラメータを抽出し、これらのパラメータを基に、椅子に着席するユーザの状態を推定する。
【００１０】
ユーザの負担を減らすため、設置型センサとして、椅子に設置した加速度センサ、及び机上に置いたマイク（例えば、指向性マイク）をセンサとして用いる。加速度センサは、椅子に着席するユーザの動きに起因する振動を収集し、マイクは、椅子に着席するユーザの近傍の音を収集する。加速度センサとマイクの双方からの収集データに基づいて特徴量としての複数種類のパラメータを抽出し、予め定めた（予め学習して得られた）着席時の多様なユーザ状態の各々について、精度良く判定する。
【００１１】
即ち、本発明のユーザ状態推定装置は、椅子に着席するユーザの状態を推定するユーザ状態推定装置であって、ユーザの動作に起因する音を収音可能な位置に配置されたマイクから音圧データを取得する第１のインターフェースと、当該椅子に設置された３軸加速度センサから加速度データを取得する第２のインターフェースと、当該ユーザ状態の推定処理を実行する制御部と、当該ユーザ状態の推定処理に用いる決定木を格納する決定木格納部とを備え、前記制御部は、前記第１のインターフェース及び前記第２のインターフェースを介して得られる加速度データ及び音圧データを監視し、所定の期間の加速度データ及び音圧データを決定するデータ監視部と、前記所定の期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出する特徴量抽出部と、前記決定木格納部から決定木を読み出し、当該抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行するユーザ状態推定部と、を備えることを特徴とする。
【００１２】
また、本発明のユーザ状態推定装置において、前記特徴量としての複数種類のパラメータは、加速度データから得られる各軸の平均値、分散値及びパワースペクトルと、３軸の合成軸の平均値、分散値及びパワースペクトルからなるパラメータと、音圧データから得られる音圧の平均値、分散値及びパワースペクトルからなるパラメータと、を含むことを特徴とする。
【００１３】
また、本発明のユーザ状態推定装置において、前記決定木は、一括推定方式に従う決定木、又は、段階推定方式に従う決定木からなることを特徴とする。
【００１４】
さらに、本発明のユーザ状態推定方法は、椅子に着席するユーザの状態を推定するユーザ状態推定方法であって、ユーザの動作に起因する音を収音可能な位置に配置されたマイクから音圧データを取得するステップと、当該椅子に設置された３軸加速度センサから加速度データを取得するステップと、前記加速度データ及び音圧データを監視し、所定の期間の加速度データ及び音圧データを決定するステップと、前記所定の期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出するステップと、予め定めた決定木を用いて、当該抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行するステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、着席時のユーザの状態をユーザに負担をかけることなく推定でき、従来に比べてより多くのユーザ状態を推定可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明による一実施例のユーザ状態推定装置の適用例を示す図である。
【図２】３軸加速度センサ３０の軸方向を例示する図である。
【図３】本発明による一実施例のユーザ状態推定装置のブロック図である。
【図４】（ａ）,（ｂ）は、本発明による一実施例のユーザ状態推定装置にて、切り出された期間の音圧データ及び加速度データの例を示す図である。
【図５】本発明による一実施例のユーザ状態推定装置における、一括推定方式に従う決定木を用いて、抽出した特徴量から少なくとも５種類のユーザ状態の推定処理を実行する動作例を示す図である。
【図６】本発明による一実施例のユーザ状態推定装置における、段階推定方式に従う決定木を用いて、抽出した特徴量から少なくとも５種類のユーザ状態の推定処理を実行する動作例を示す図である。
【図７】（ａ），（ｂ）は、それぞれ段階推定方式及び一括推定方式の最終的に得られた推定正解率、及び推定正解率の標準偏差を示す図である。
【図８Ａ】一括推定方式の決定木の例を示す図である（その１）。
【図８Ｂ】一括推定方式の決定木の例を示す図である（その２）。
【図８Ｃ】一括推定方式の決定木の例を示す図である（その３）。
【図８Ｄ】一括推定方式の決定木の例を示す図である（その４）。
【図８Ｅ】一括推定方式の決定木の例を示す図である（その５）。
【図９Ａ】段階推定方式の決定木の例を示す図である（その１）。
【図９Ｂ】段階推定方式の決定木の例を示す図である（その２）。
【図９Ｃ】段階推定方式の決定木の例を示す図である（その３）。
【図９Ｄ】段階推定方式の決定木の例を示す図である（その４）。
【図９Ｅ】段階推定方式の決定木の例を示す図である（その５）。
【図９Ｆ】段階推定方式の決定木の例を示す図である（その６）。
【図９Ｇ】段階推定方式の決定木の例を示す図である（その７）。
【図９Ｈ】段階推定方式の決定木の例を示す図である（その８）。
【図９Ｉ】段階推定方式の決定木の例を示す図である（その９）。
【図９Ｊ】段階推定方式の決定木の例を示す図である（その１０）。
【図９Ｋ】段階推定方式の決定木の例を示す図である（その１１）。
【発明を実施するための形態】
【００１７】
以下、本発明による一実施例のユーザ状態推定装置について説明する。本発明に係るユーザ状態推定方法は、ユーザ状態推定装置の説明から明らかになる。
【００１８】
図１は、本発明による一実施例のユーザ状態推定装置の適用例を示す図である。机上５０には、ユーザ状態推定装置１０と接続される表示装置４０及びマイク２０が設置されている。ユーザＵは、回転椅子６０に着席している。回転椅子６０の背もたれ部には３軸加速度センサ３０が取り付けられ、３軸加速度センサ３０は、ユーザ状態推定装置１０と短距離無線通信（例えば、ブルートゥース）可能である。尚、図２には、３軸加速度センサ（サンプリング周波数：１０Ｈｚ）を椅子の背もたれ部に設置するとともに、指向性マイクを机上に設置した様子を示しており、３軸加速度センサ３０の軸方向を示している。尚、マイク２０は、ユーザＵの動作に起因する音を収音可能な位置であれば机上でなくともよい。
【００１９】
図３は、本発明による一実施例のユーザ状態推定装置のブロック図である。本実施例のユーザ状態推定装置１０は、マイク２０からの音圧データを取得するインターフェース（Ｉ／Ｆ）１０１と、３軸加速度センサ３０からの加速度データを取得するインターフェース（Ｉ／Ｆ）１０２と、ユーザ状態の推定処理を実行する制御部１０３と、ユーザ状態の推定処理を表示装置４０に出力する出力部１０４と、ユーザ状態の推定処理に用いる決定木を格納する決定木格納部１０５と、記憶部１０６とを備える。ユーザ状態推定装置１０は、コンピュータとして構成することができ、制御部１０３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部１０６に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００２０】
制御部１０３は、データ監視部１０３１と、特徴量抽出部１０３２と、ユーザ状態推定部１０３３とを備える。
【００２１】
データ監視部１０３１は、Ｉ／Ｆ１０１，１０２を介して得られる加速度データ及び音圧データを監視しており、加速度データ及び音圧データのいずれか一方又は双方が、あるレベル以上の変化が生じた場合に、その変化が生じたレベルが安定するまでの期間（窓関数の期間に相当する）の時間軸データを切り出し、特徴量抽出部１０３２に送出する。例えば、図４（ａ）に、切り出された期間の音圧データの例を示し、図４（ｂ）に切り出された期間の加速度データの例を示している。
【００２２】
特徴量抽出部１０３２は、切り出された期間の音圧データ及び加速度データから、特徴量としての複数種類のパラメータを抽出し、ユーザ状態推定部１０３３に送出する。例えば、３軸加速度センサ３０からの加速度データからは、各軸の平均値、分散値及びパワースペクトルと、３軸の合成軸の平均値、分散値及びパワースペクトルを特徴量として抽出する。また、マイク２０からの音圧データからは、音圧の平均値、分散値及びパワースペクトルを特徴量として抽出する。尚、本実施例では、サンプリング周波数：８０００Ｈｚ、ビット数：１６ｂｉｔ、窓関数（ＦＦＴ）のデータサイズ：８１９２点、パワースペクトルとして有効な４０９６点（ＦＦＴのデータサイズの半分）の内、前半の８００点のみを推定に用いている。
【００２３】
ユーザ状態推定部１０３３は、一括推定方式に従う決定木、又は、段階推定方式に従う決定木を格納する決定木格納部１０５から、一括推定方式に従う決定木、又は、段階推定方式に従う決定木を読み出し、特徴量抽出部１０３２によって抽出した特徴量に基づいて、少なくとも５種類のユーザ状態の推定処理を実行し、推定結果を、出力部１０４を介して表示装置４０に送出する。本実施例では、「休憩」、「会話」、「読書」、「筆記」、「飲食」の５つの状態を、重心位置／人の声／紙をめくる音／ペンを走らせる音／食器が立てる音などに着目して高精度で推定可能とする。
【００２４】
図５は、一括推定方式に従う決定木を用いて、抽出した特徴量から少なくとも５種類のユーザ状態の推定処理を実行する動作例を示している。一括推定とは、併合クラスタの決定木を用いる推定法であり、抽出した全ての特徴量を入力値として、予め構築した決定木を用いてコンテキストを推定するやり方である。データ監視部１０３１によって、音圧データ及び加速度データを取得して切り出し（ステップＳ１）、特徴量抽出部１０３２によって、音圧データ及び加速度データの特徴量を抽出し（ステップＳ２）、ユーザ状態推定部１０３３によって、一括推定方式に従う決定木を用いて、「休憩」、「会話」、「読書」、「筆記」、「飲食」の５つの状態を推定する（ステップＳ３）。
【００２５】
図６は、本発明による一実施例のユーザ状態推定装置における、段階推定方式に従う決定木を用いて、抽出した特徴量から少なくとも５種類のユーザ状態の推定処理を実行する動作例を示す図である。段階推定方式とは、２段階クラスタに沿った決定木を用いる例であり、センサから抽出した特徴量を入力値として、あらかじめ構築した複数の決定木を用いて、段階的にコンテキストを推定するやり方である。データ監視部１０３１によって、音圧データ及び加速度データを取得して切り出し（ステップＳ１１）、特徴量抽出部１０３２によって、音圧データ及び加速度データの特徴量を抽出し（ステップＳ１２）、ユーザ状態推定部１０３３によって、まず、段階推定方式に従う決定木（加速度）を用いて、「動作あり」及び「動作なし」のユーザ状態の大分類を行い（ステップＳ１３）、それぞれ大分類したユーザ状態について、さらに、段階推定方式に従う決定木（マイクからの音圧データ）を用いて、「休憩」、「会話」、「読書」、「筆記」、「飲食」の５つの状態を推定する（ステップＳ１４）。
【００２６】
図７（ａ）に、両方式の最終的に得られた推定正解率を示し、図７（ｂ）に、両方式の最終的に得られた推定正解率の標準偏差を示す。図７（ａ）の結果から分かるように、一括推定方式は「会話」のコンテキストを除く、残りの全てのコンテキストにおいて高い推定正解率が得られている。これに比し、段階推定方式は動作が無く、音声に特徴がある、「会話」コンテキストの推定には、方式が持つ特性上、良い結果が得られている。
【００２７】
図７（ｂ）に示す標準偏差値から、全てのコンテキストにおいて一括推定方式の値が小さくなっていることが分かる。これは、言い換えるとユーザによる個人差の影響が小さいことを示しており、煩雑なカスタマイズをすることなく適用できる方式と云える。
【００２８】
一括推定方式の決定木の例を図８Ａ〜図８Ｅに示し、段階推定方式の決定木の例を図９Ａ〜図９Ｋに示す。尚、例示する決定木における記号の説明は、以下のとおりである。
【００２９】
（３軸加速度センサ）
XAve：X軸平均値
YAve：Y軸平均値
ZAve：Z軸平均値
ALLAve：各軸の合成軸平均値
XVar：X軸分散値
YVar：Y軸分散値
ZVar：Z軸分散値
ALLVar：各軸の合成軸分散値
XPow：X軸パワースペクトル
YPow：Y軸パワースペクトル
ZPow：Z軸パワースペクトル
ALLPow：各軸の合成軸パワースペクトル
（マイク）
MAve：音圧の平均値
MVar：音圧の分散値
MPow1：出力されたパワースペクトルの1点目
MPow800：出力されたパワースペクトルの800点目
MPowAve：前半のパワースペクトル800点分の平均値
MPowVar：前半のパワースペクトル800点分の分散値
（推定コンテキスト）
condition=1: 読書
condition=2: 筆記
condition=3: 休憩
condition=4: 飲食
condition=5: 会話
【００３０】
このように、本発明によれば、着席時のユーザの状態をユーザに負担をかけることなく推定でき、従来に比べてより多くのユーザ状態を推定可能となる。
【００３１】
このユーザ状態の適用の一例として、着席ユーザへの着信時、推定したユーザ状態に合わせて、ユーザにとって最適な通信手段（例えば、電話やメール等）を選択して着信させることができるようになる。ユーザの状態が細かく推定可能となることにより、行動履歴やライフログへの適用も期待できる。
【産業上の利用可能性】
【００３２】
本発明によれば、多種類のユーザ状態を高精度に自動認識することができるので、ユーザ状態に応じた制御を要する環境設備の用途に有用である。
【符号の説明】
【００３３】
１０  ユーザ状態推定装置
２０  マイク
３０  ３軸加速度センサ
４０  表示装置
５０  机上
６０  椅子
１０１，１０２  インターフェース（Ｉ／Ｆ）
１０３  制御部
１０４  出力部
１０５  決定木格納部
１０６  記憶部
１０３１  データ監視部
１０３２  特徴量抽出部
１０３３  ユーザ状態推定部
【図１】
2012053829.tif 000003
【図２】
2012053829.tif 000004
【図３】
2012053829.tif 000005
【図４】
2012053829.tif 000006
【図５】
2012053829.tif 000007
【図６】
2012053829.tif 000008
【図７】
2012053829.tif 000009
【図８Ａ】
2012053829.tif 000010
【図８Ｂ】
2012053829.tif 000011
【図８Ｃ】
2012053829.tif 000012
【図８Ｄ】
2012053829.tif 000013
【図８Ｅ】
2012053829.tif 000014
【図９Ａ】
2012053829.tif 000015
【図９Ｂ】
2012053829.tif 000016
【図９Ｃ】
2012053829.tif 000017
【図９Ｄ】
2012053829.tif 000018
【図９Ｅ】
2012053829.tif 000019
【図９Ｆ】
2012053829.tif 000020
【図９Ｇ】
2012053829.tif 000021
【図９Ｈ】
2012053829.tif 000022
【図９Ｉ】
2012053829.tif 000023
【図９Ｊ】
2012053829.tif 000024
【図９Ｋ】
2012053829.tif 000025