(57)【要約】センサの測定データから判定した人間の行動パターンに対する行動内容の入力を簡易にする。人に装着されて生体情報を測定するセンサと、生体情報を取得して人の運動状態を特定する計算機と、を備え、運動状態に基づいて人が行った行動の履歴を生成する方法であって、計算機が生体情報を取得して蓄積し、蓄積された生体情報から運動頻度を求め、この運動頻度の時系列的な変化点を求め、前記変化点間を同一の運動状態であった期間であるシーンとして抽出し、抽出したシーン毎に運動頻度と予め設定した条件を比較して当該シーンの動作内容を特定し、前記動作内容の出現順序に基づいて当該シーンで人が行った行動内容を推定し、推定された行動内容に基づいて行動履歴を生成する。
2010032579.tif 000002
【特許請求の範囲】
【請求項１】
人に装着されて生体情報を測定するセンサと、前記センサから生体情報を取得して前記人の運動状態を特定する計算機と、を備え、前記運動状態に基づいて前記人が行った行動履歴を生成する方法であって、
前記計算機が前記生体情報を取得して蓄積するステップと、
前記計算機が前記蓄積された生体情報から運動頻度を求めるステップと、
前記計算機が前記運動頻度の時系列的な変化点を複数求めるステップと、
前記計算機が前記変化点間を同一の運動状態であった期間であるシーンとして抽出するステップと、
前記計算機が前記抽出したシーン毎に、当該シーンの運動頻度と予め設定した条件とを比較して、当該シーンの動作内容を特定するステップと、
前記計算機が前記動作内容の出現順序に基づいて、前記シーンで前記人が行った行動内容を推定するステップと、
前記推定された行動内容に基づいて行動履歴を生成するステップと、
を含むことを特徴とする行動履歴の生成方法。
【請求項２】
前記動作内容の出現順序に基づいて、前記シーンで前記人が行った行動内容を推定するステップは、
予め設定した行動内容と動作内容の出現順序の関係と、前記シーンの動作内容の出現順序とを比較して、動作内容の出現順序が一致する行動内容を前記シーンの行動内容の候補として推定するステップを含み、
前記推定された行動内容に基づいて行動履歴を生成するステップは、
前記推定された行動内容の候補から、前記シーンに対する行動内容の候補を選択するステップと、
前記選択された行動内容の候補を、前記シーンの行動内容として含む行動履歴を生成するステップと、
を含むことを特徴とする請求項１に記載の行動履歴の生成方法。
【請求項３】
前記動作内容の出現順序に基づいて、前記シーンで前記人が行った行動内容を推定するステップは、
予め設定した行動内容と動作内容の出現順序の関係と、前記シーンの動作内容の出現順序とを比較して、動作内容の出現順序が一致する行動内容を前記シーンの行動内容の候補として推定するステップと、
前記推定された行動内容の候補に、優先順位を付与するステップと、
を含み、
前記推定された行動内容に基づいて行動履歴を生成するステップは、
前記推定された行動内容の候補から、前記シーンに対する行動内容の候補を前記優先順位に基づいて選択するステップと、
前記選択された行動内容の候補を、前記シーンの行動内容として含む行動履歴を生成するステップと、
を含み、
前記優先順位は、前記推定された行動内容が候補となった頻度と、前記行動内容が前記行動履歴として選択された頻度との比率に基づいて演算された値であることを特徴とする請求項１に記載の行動履歴の生成方法。
【請求項４】
前記計算機が前記抽出したシーン毎に、当該シーンの運動頻度と予め設定した条件を比較して、当該シーンの動作内容を特定するステップは、
前記シーンの運動頻度から前記動作内容が歩行であるか否かを判定するステップと、
前記シーンの運動頻度から前記動作内容が睡眠であるか否かを判定するステップと、
前記動作内容が歩行または睡眠のいずれでもない場合には、前記シーンの運動頻度の値に応じて予め設定された動作内容を設定するステップと、
を含むことを特徴とする請求項１に記載の行動履歴の生成方法。
【請求項５】
前記動作内容が特定されたシーンを結合するステップをさらに有し、
当該動作内容が特定されたシーンを結合するステップは、
時系列的に連続する第１のシーン、第２のシーン及び第３のシーンが存在し、前記第１のシーンと前記第３のシーンの動作内容が同一であり、かつ、前記第２のシーンが所定の条件を満たす場合には前記第１、第２及び第３のシーンをひとつのシーンに結合することを特徴とする請求項１に記載の行動履歴の生成方法。
【請求項６】
前記センサは、腕の加速度を生体情報として検出する加速度センサを含み、
前記計算機が前記蓄積された生体情報から運動頻度を求めるステップは、
前記加速度が所定の時間間隔内で所定の閾値をよぎった回数を前記運動頻度として求めることを特徴とする請求項１に記載の行動履歴の生成方法。
【請求項７】
人に装着されて生体情報を測定するセンサと、
前記センサが測定した生体情報を計算機へ転送するネットワークと、
前記ネットワークから生体情報を取得して前記人の運動状態を特定し、前記運動状態に基づいて前記人が行った行動の履歴を生成する計算機と、を備えた行動履歴の生成システムであって、
前記計算機は、
前記生体情報を蓄積するデータ格納部と、
前記データ格納部に蓄積された生体情報から運動頻度を求め、前記運動頻度の時系列的な変化点を複数求め、これら変化点間を同一の運動状態であった期間であるシーンとして抽出するシーン分割部と、
前記抽出したシーン毎に、当該シーンの運動頻度と予め設定した条件とを比較して、当該シーンの動作内容を特定し、前記動作内容の出現順序に基づいて前記シーンで前記人が行った行動内容を推定する行動内容分析部と、
前記推定された行動内容に基づいて行動履歴を生成する行動履歴確定部と、
を備えたことを特徴とする行動履歴の生成システム。
【請求項８】
前記行動内容分析部は、
前記予め設定した行動内容と動作内容の出現順序の関係と、前記シーンの動作内容の出現順序とを比較して、動作内容の出現順序が一致する行動内容を前記シーンの行動内容の候補として推定し、
前記行動履歴確定部は、
前記推定された行動内容の候補から、前記シーンに対する行動内容の候補を選択した結果を受け付けて、前記選択された行動内容の候補を、前記シーンの行動内容として含む行動履歴を生成することを特徴とする請求項７に記載の行動履歴の生成システム。
【請求項９】
前記行動内容分析部は、
前記予め設定した行動内容と動作内容の出現順序の関係と、前記シーンの動作内容の出現順序とを比較して、動作内容の出現順序が一致する行動内容を前記シーンの行動内容の候補として推定し、前記推定された行動内容の候補に、優先順位を付与し、
前記行動履歴確定部は、
前記推定された行動内容の候補から、前記シーンに対する行動内容の候補を前記優先順位に基づいて選択した結果を受け付けて、前記選択された行動内容の候補を、前記シーンの行動内容として含む行動履歴を生成し、
前記優先順位は、前記推定された行動内容が候補となった頻度と、前記行動内容が前記行動履歴として選択された頻度の比率に基づいて演算された値であることを特徴とする請求項７に記載の行動履歴の生成システム。
【請求項１０】
前記行動内容分析部は、
前記シーンの運動頻度から前記動作内容が歩行または睡眠であるか否かを判定し、前記動作内容が歩行または睡眠のいずれでもない場合には、前記シーンの運動頻度の値に応じて予め設定された動作内容を設定することを特徴とする請求項７に記載の行動履歴の生成システム。
【請求項１１】
前記行動内容分析部は、
時系列的に連続する第１のシーン、第２のシーン及び第３のシーンが存在し、前記第１のシーンと第３のシーンの動作内容が同一であり、かつ、第２のシーンが所定の条件を満たす場合には前記第１、第２及び第３のシーンをひとつのシーンに結合することを特徴とする請求項７に記載の行動履歴の生成システム。
【請求項１２】
前記センサは、腕の加速度を生体情報として検出する加速度センサを含み、
前記シーン分割部は、
前記加速度が所定の時間間隔内で所定の閾値をよぎった回数を前記運動頻度として求めることを特徴とする請求項７に記載の行動履歴の生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を測定するセンサノードを備えたセンサネットワークシステムに関し、特に、監視対象に装着したセンサノードによって監視対象の行動履歴を取得し、行動履歴から監視対象の行動パターンを解析する技術に関する。
【背景技術】
【０００２】
近年、人の行動内容を大量に記録・蓄積し、その大規模データを解析することによって、新たな知見を得たり、サービスを提供したりすることに期待が寄せられている。すでにインターネットの世界では検索キーワードや購買履歴を活用して、個々人に対してその人が欲しがりそうな商品のリコメンド広告を発信するなどの仕組みが確立されている。
実世界においても上記と同様の仕組みが考えられる。例えば日々の業務内容を記録して解析することによって組織の業務効率の向上を図ったり、日々の生活記録を付けることによって、食事、運動、生活の規則正しさを評価し、生活習慣病予防を目的としたヘルスケアサービスを提供したり、たくさんの人の生活記録と購買履歴を分析することによって、特定の生活パターンで生活する人に対して、それらの人がよく買う商品をリコメンド広告するなどの応用が考えられる。
一方、センサに無線通信機能を有する小型の電子回路を付加して、現実世界の様々な情報をリアルタイムに情報処理装置に取り込むネットワークシステムが検討されている。センサネットワークシステムには幅広い応用が考えられている。例えば、無線回路、プロセッサ、センサ及び電池を集積した小型電子回路によって、加速度または脈拍等の生体情報を常時モニタし、モニタ結果を無線通信によって診断装置等に送信し、モニタ結果に基づいて健康状態を判定するといったような医療応用も提案されている。
あるいは、作業者の手首または背中にセンサを装着して、センサの測定データから特徴ベクトルを抽出し、作業者が行った作業を評価する技術が知られている（例えば、特開２００６−２０９４６８号）。
あるいは、被見守り者の住宅にマットスイッチ及び人感センサなどを配置し、これらの複数種のセンサから取得したデータから被見守り者の生活パターンを時系列的に解析する技術が知られている（例えば、特開２００５−３４６２９１号）。
あるいは、ユーザに歩数計、体温計または脈拍センサなどのセンサを装着して測定データを取得し、ユーザ等が指定した時間粒度で人の行動パターンを解析する技術が知られている（例えば、特開２００５−０６２９６３号）。
この他、送信端末装置で受信した環境情報から送信端末装置の使用者の行動パターンを求める技術（例えば、特開２００４−２８７５３９号）、及び、人体に装着した振動センサから人の行動パターンを検知する技術が開示されている。
さらに、振動センサなどから収集したデータに基づいて、人の行動パターンを分析する技術が知られている（例えば、特開２００８−０００２８３号）。
【発明の開示】
【０００３】
ユーザの日々の行動を記録及び解析することによって多くの有用なサービスを提供できることが期待できるが、毎日の行動内容を時刻も含めて正確に記録する作業は、ユーザにかなりの負担を強いる。そこで例えば身体に装着したセンサを用いて行動を自動的に取得する方法を用いれば、かなりの労力低減につながる。
しかしながら、上記従来例では、センサノードを装着したユーザの行動について、歩行、運動、安静といった大まかな動作を自動的に識別することは可能であるが、安静の期間中にユーザがパソコンで友人にメールを打っていたなどの具体的な行動を自動的に判定することは難しい。このため、当該ユーザが安静の期間中に行った行動内容を逐一入力する必要があり、全ての行動についてユーザがそれぞれ内容を入力するには、多大な労力が必要となる、という問題があった。なお、ここでいう動作とは人が物理的に身体を動かす所作そのもののことであり、行動とは人が意思あるいは目的を持って行う一連の動作のことを示す。たとえば人が歩いて会社に行く場合、その動作は歩行であるが、その行動は通勤である。
また、上記従来例では、センサの測定データの変化点を動作の変化点として抽出するが、人の行動は複数の動作の組合せを含む場合が多いため、単純に動作の変化点を境に行動を区切ると、行動の判定精度が低下するという問題があった。例えば、人は就寝中に一時的に起きてトイレへ行くなどの行動をする場合があるが、センサの測定データから動作を単純に判定すると、就寝中の次に歩行、安静、歩行という動作パターンが判定され、次に再び就寝中に戻る。この場合、歩行、安静、歩行という一連の動作を、トイレに行くという行動に関連付けたいにもかかわらず、動作の変化点だけに基づいて判定した場合、行動が必要以上に細かく区切られてしまうという問題があった。
本発明は、上記問題点に鑑みてなされたものであり、センサの測定データから判定した人間の動作情報を元に、行動内容の入力を簡易にすることを目的とする。
本発明は、人に装着されて生体情報を測定するセンサと、前記センサから生体情報を取得して前記人の動作状態を特定する計算機と、を備え、前記動作状態に基づいて前記人が行った行動の履歴を生成する方法であって、前記計算機が前記生体情報を取得して蓄積するステップと、前記計算機が前記蓄積された生体情報から運動頻度を求めるステップと、前記計算機が前記運動頻度の時系列的な変化点を複数求めるステップと、前記計算機が前記変化点間を同一の動作状態であった期間であるシーンとして抽出するステップと、前記計算機が前記抽出したシーン毎に、当該シーンの運動頻度と予め設定した条件とを比較して、当該シーンの動作内容を特定するステップと、前記計算機が前記動作内容の出現順序に基づいて、前記シーンで前記人が行った行動内容を推定するステップと、前記推定された行動内容に基づいて行動履歴を生成するステップと、を含む。
したがって、本発明は、人の動作状態からシーンを抽出し、シーン毎に動作内容を特定し、動作内容の出現順序から行動内容を推定し、ユーザに提示することによって、ユーザが各シーンの行動内容の入力を簡易にすることができ、行動履歴の作成に要する労力を低減できる。
そのため、従来困難であった長期間にわたる詳細かつ正確な行動履歴を誰もが収集することができるようになり、この情報を基にした行動分析によって業務支援、ヘルスケア、マーケティングなど様々な分野において新たな知見が得られ、よりユーザのニーズに合致したサービスを提供できるようになる。
【図面の簡単な説明】
【０００４】
第１図は、本発明を適用するライフログシステムの構成の一例を示すブロック図である。
第２図は、腕輪型センサノードの一例を示す図であり、第２図（ａ）は腕輪型センサノード１の正面から見た概略図、第２図（ｂ）は腕輪型センサノードを側方から見た断面図である。
第３図は、腕輪型センサノードの基板に取り付けられた電子回路のブロック図を示す。
第４図は、ライフログシステムの機能要素を示すブロック図である。
第５図は、ライフログシステムで行われる処理の全体的な流れを示すフローチャートである。
第６図は、サーバのシーン分割部で行われる処理の一例を示すフローチャートである。
第７図は、加速度と時間の関係を示すグラフであり、ゼロクロス回数の判定の一例を示す。
第８図は、所定時間間隔毎の集計データのフォーマットを示す説明図である。
第９図は、単位時間毎の運動頻度を時系列的にソートしたグラフを示す。
第１０図は、シーン毎に利用者の動作内容を設定する処理の一例を示すフローチャートである。
第１１図は、運動頻度と動作内容の関係を設定する判定値のテーブルの一例を示す説明図である。
第１２図は、複数の歩行シーンを連結する処理の一例を示すフローチャートである。
第１３図は、複数の睡眠シーンを連結する処理の一例を示すフローチャートである。
第１４図は、運動頻度と連結前のシーンと連結後のシーンと時刻の関係を示すグラフである。
第１５図は、行動内容分析部が生成した動作内容を含むシーンデータの一例を示す説明図である。
第１６図は、行動内容分析部が行う、行動内容の候補の生成と順位付けの処理の一例を示すフローチャートである。
第１７図は、シーン判定ルールテーブルの一例を示す説明図である。
第１８図は、クライアント計算機の表示部に表示される行動履歴入力画面の画面イメージである。
第１９図は、行動内容のデータ構造を示す説明図である。
第２０図は、行動内容の候補を含む候補ボックスの画面イメージである。
第２１図は、手動用候補の選択の様子を示す説明図である。
第２２図は、行動履歴を格納する行動内容格納テーブルの一例を示す説明図である。
第２３図は、行動内容の項目を格納する行動内容項目管理テーブルの一例を示す説明図である。
第２４図は、第１の変形例における、コメントの入力画面の画面イメージである。
第２５図は、第１の変形例における、行動履歴を格納する行動内容格納テーブルの一例を示す説明図である。
第２６図は、第２の変形例における、コメントの入力画面の画面イメージである。
第２７図は、第２の変形例における、行動履歴を格納する行動内容格納テーブルの一例を示す説明図である。
第２８図は、第３の変形例における、入力画面の画面イメージである。
第２９図は、第３の変形例における、行動履歴を格納する行動内容格納テーブルの一例を示す説明図である。
第３０図は、第４の変形例における、ライフログシステムの機能要素を示すブロック図である。
【発明を実施するための最良の形態】
【０００５】
以下、本発明の一実施形態を添付図面に基づいて説明する。
第１図は、本発明を適用するライフログシステムの構成の一例を示すブロック図である。本発明のライフログシステムは、当該システムの利用者の動作（または状態）を検出するセンサとして、加速度センサを備えた腕輪型センサノード１を用い、生体情報として腕の加速度を検出する例を示す。腕輪型センサノード１は、利用者（または参加者）の腕に装着されて加速度を検出し、所定の周期で検出した加速度（以下、センシングデータという）を基地局１０２へ送信する。
第１図において、基地局１０２はアンテナ１０１を介して複数の腕輪型センサノード１と通信し、各腕輪型センサノード１から利用者の運動に応じたセンシングデータを受信し、ネットワーク１０５を介してサーバ１０４へ転送する。サーバ１０４は受信したセンシングデータを格納する。サーバ１０４は、基地局１０２から受信したセンシングデータを解析し、後述するように利用者の行動履歴を示すライフログを生成して格納する。
サーバ１０４が生成したライフログは、ライフログシステムの利用者が操作するクライアント計算機（ＰＣ）１０３で閲覧または編集することができる。利用者は、サーバ１０４が生成したライフログの詳細な情報を付加することができる。
第２図は、本発明のライフログシステムのセンサ部を構成する腕輪型（または腕時計型）センサノード１の一例を示す図である。第２図（ａ）は腕輪型センサノード１の正面から見た概略図であり、第２図（ｂ）は腕輪型センサノード１を側方から見た断面図である。この腕輪型センサノード１は主に利用者（装着者）の運動を測定する。
腕輪型センサノード１は、センサ及び制御装置を格納するケース１１と、ケース１１を人体の腕に装着するバンド１２とを備える。
第２図（ｂ）に示すように、ケース１１の内部には、マイクロコンピュータ３及びセンサ６等を備えた基板１０が格納される。そして、人体（生体）の運動を測定するセンサ６として、図中Ｘ−Ｙ−Ｚの３軸の加速度をそれぞれ測定する加速度センサを採用した例を図示する。なお、本実施形態の腕輪型センサノード１は、図示しない温度センサをさらに備え、その温度センサを用いて利用者の体温を測定し、測定した体温を加速度とともにセンシングデータとして出力する。
第３図は、腕輪型センサノード１の基板１０に取り付けられた電子回路のブロック図を示す。第３図において、基板１０には、基地局１０２と通信するアンテナ５を備えた無線通信部（ＲＦ）２と、センサ６及び無線通信部２を制御するマイクロコンピュータ３と、マイクロコンピュータ３を間欠的に起動するためのタイマとして機能するリアルタイムクロック（ＲＴＣ）４と、各部に電力を供給する電池７と、センサ６への電力の供給を制御するスイッチ８と、が配置される。また、スイッチ８とセンサ６の間には、ノイズの除去、及び、充放電の速度を低減して無駄な電力消費を防ぐために、バイパスコンデンサＣ１が接続される。バイパスコンデンサＣ１の充放電回数を減らすようにスイッチ８を制御することによって、無駄な電力消費を抑えることができる。
マイクロコンピュータ３は、演算処理を実行するＣＰＵ３４と、ＣＰＵ３４が実行するプログラムなどを格納するＲＯＭ３３と、データなどを格納するＲＡＭ３２と、ＲＴＣ４からの信号（タイマ割り込み）に基づいてＣＰＵ３４に割り込みをかける割り込み制御部３５と、センサ６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ３１と、無線通信部２との間でシリアル信号を送受するシリアルコミュニケーションインターフェース（ＳＣＩ）３６と、無線通信部２及びスイッチ８を制御するパラレルインターフェース（ＰＩＯ）３７と、マイクロコンピュータ３内の上記各部へクロックを供給する発振部（ＯＳＣ）３０とを含んで構成される。マイクロコンピュータ３内の上記各部はシステムバス３８を介して接続される。ＲＴＣ４は、マイクロコンピュータ３の割り込み制御部３５に、予め設定されている所定の周期で割り込み信号（タイマ割り込み）を出力し、また、ＳＣＩ３６へ基準クロックを出力する。ＰＩＯ３７はＣＰＵ３４からの指令に応じてスイッチ８のＯＮ／ＯＦＦを制御し、センサ６への電力供給を制御する。
腕輪型センサノード１は、所定のサンプリング周期（例えば０．０５秒等）でマイクロコンピュータ３を起動して、センサ６からセンシングデータを取得し、取得したセンシングデータに腕輪型センサノード１を特定する識別子及びタイムスタンプを付与して基地局１０２へ送信する。なお、腕輪型センサノード１の制御の詳細は、例えば、特開２００８−５９０５８号公報等と同様であってもよい。腕輪型センサノード１は、連続的に取得したセンシングデータを、周期的に基地局１０２へ送信してもよい。
＜システムの概要＞
第４図は、第１図に示したライフログシステムの機能要素を示すブロック図である。腕輪型センサノード１が送信したセンシングデータは、基地局１０２にて受信され、ネットワーク１０５を介してサーバ１０４のデータ格納部４００に蓄積される。
サーバ１０４は、図示しないプロセッサ、メモリ及びストレージ装置を備え、シーン分割部２００及び行動内容分析部３００を実行する。シーン分割部２００は、利用者の腕の加速度を含むセンシングデータを解析して、時系列的な加速度の変化推移から個々の動作をシーンとして抽出する。行動内容分析部３００は、抽出したシーンに動作内容を割り当てて、各動作内容に対応する具体的な行動内容の候補を利用者のクライアント計算機１０３に提示する。クライアント計算機１０３は、表示部１０３１及び入力部１０３２を備える。サーバ１０４は、抽出したシーンに動作内容または行動内容を設定したデータをライフログとしてデータ格納部４００に格納する。なお、データ格納部４００に格納されるセンシングデータには腕輪型センサノード１の識別子が付与される。また、ライフログには利用者を特定する識別子（例えば、腕輪型センサノード１の識別子）が付与され、それによって利用者を識別することができる。
シーン分割部２００及び行動内容分析部３００は、例えば、プログラムとしてストレージ装置（記憶媒体）に格納され、所定のタイミングでメモリへロードされ、プロセッサによって実行される。なお、以下では、サーバ１０４が、シーン分割部２００及び行動内容分析部３００を所定の周期（例えば、２４時間）毎に実行する例を示す。
第５図は、ライフログシステムで行われる処理の全体的な流れを示すフローチャートである。まず、ステップＳ１では、腕輪型センサノード１が送信したセンシングデータを基地局１０２がサーバ１０４へ転送し、サーバ１０４のデータ格納部４００にセンシングデータを蓄積する。
次に、ステップＳ２では、サーバ１０４が所定の周期でシーン分割部２００を実行して、データ格納部４００に蓄積されたセンシングデータから利用者の一連の動作状態をシーンとして抽出する。シーン分割部２００の処理は、データ格納部４００に蓄積されたセンシングデータについて、利用者（腕輪型センサノード１の識別子）毎に実行される。サーバ１０４のシーン分割部２００は、第６図等を参照して後述するように、時系列的な加速度のセンシングデータから、利用者の運動頻度を単位時間（例えば、１分間）毎に算出する。この運動頻度の演算結果は、第９図で示すように、単位時間毎の運動頻度を時系列的にソートしたデータとなる。次に、シーン分割部２００は、求めた時系列的な運動頻度から利用者が同一の運動状態であったと推測される期間を、ひとつのシーンとして抽出する。
具体的には、シーン分割部２００は、時系列的な単位時間毎の運動頻度の変化点を抽出し、変化点から次の変化点までを同一の運動状態にあるシーンとして抽出する。運動頻度の変化点とは、例えば激しく動いている状態から静かな状態に変化した時点などである。そして、シーンを抽出する際に、睡眠と歩行という運動状態に着目した点が本発明の特徴である。例えばある人は朝の起床から始まり、身支度し、仕事に出かける。仕事中は自分の席でデスクワークをし、会議室に行って会議をし、食堂に行って昼食をとる。仕事が終わると再び自宅に帰り、くつろいで就寝する。このように一般に人間の一日の行動は、起きているか、寝ているか、に大まかに分けられる。さらに、起きている間の行動は、何かの動作を行うまでに歩行によって移動し、何かの動作を完了して次の動作を行うまでに歩行によって移動すること、の繰り返しを含むことが多い。つまり、睡眠と歩行を検知することによって、日常の人間の行動シーンを抽出することができる。上記の処理によって、シーン分割部２００は所定の周期毎にシーンを抽出し、データ格納部４００に保持する。
次に、サーバ１０４は、ステップＳ３で、シーン分割部２００が抽出した所定の周期内の各シーンに対して、利用者の運動頻度に基づいて、利用者が行った動作内容を推定して各シーンに設定する処理を実行する。行動内容分析部３００は、１分毎の集計データの中の運動頻度と睡眠検知結果と歩行検知結果との組み合わせから、後述する所定の判定ルールを用いて動作内容を判定して、判定された動作内容を各シーンに割り当てる。動作内容の判定とは、例えば、動作内容が睡眠、安静、軽作業、歩行、エクササイズ、又はジョギングのいずれであるかを判定することである。
また、行動内容の候補列挙の処理（ステップＳ３）において、行動内容分析部３００は、前処理として、細分化されたシーンを連続するシーンに結合する。すなわち、後述するように、睡眠が複数のシーンで構成された場合、行動内容分析部３００は、直近の睡眠のシーンを結合して全体として一つの睡眠のシーンに結合する。例えば、利用者が就寝後に、一時的に起きて、トイレなどに行った後に再度就寝する場合には、複数の睡眠のシーンは、一日の中の人間の行動パターンとしては、一つの睡眠のシーンと捉えることができる。このため、行動内容分析部３００は、複数の睡眠のシーンを一つの睡眠のシーンに結合する。あるいは、歩行中に、信号待ちなどの安静のシーンが混在する場合がある。このような場合、例えば、自宅から駅まで歩行する期間中に安静のシーンが含まれていても、安静の期間が所定値未満であるという条件が満たされていれば、行動内容分析部３００は、安静の期間の前後の歩行のシーンを結合することによって、全体としてひとつの歩行のシーンとする。
上記ステップＳ３までの処理によって、すべての時間にシーンが割り当てられ、さらに各シーンには動作内容が割り当てられる。
次のステップＳ４では、行動内容分析部３００は、各動作内容について、腕輪型センサノード１を装着した利用者が行った詳細な行動内容を入力するために行動内容候補の優先順位付け処理を行う。この行動内容候補の優先順位付け処理は、上記シーンに割り当てた動作内容のパターンを、予め登録されているルールに従って判定し、具体的な利用者の行動内容の候補を生成するものである。この具体的な行動内容候補は、後述する処理において、利用者に提示する詳細な行動内容の候補として扱われる。
ここで、予め登録されたルールは、利用者毎に設定されるものであり、単一または複数のシーン及び動作内容の組み合わせと、シーンの時刻とを用いた具体的な行動内容候補の判定ルールである。例えば、早朝の歩行という動作内容であれば、具体的な行動内容の候補は散歩と判定することができる。あるいは、「起床後３０〜９０分の間で歩行（１０−１５分）、安静（２０−２５分）、歩行（７−１０分）」であれば、その利用者の通常の生活においては定型化している「通勤」として判定される。なお、行動内容は動作内容の組合せなので、多くの場合複数のシーンから成り立つが、上述の散歩のように、単一の動作内容と時刻とから定まる行動内容も存在する。
次に、行動内容分析部３００は、上記の判定ルールによって選択した行動内容の候補をそのまま利用者に提示するのではなく、利用者が行った行動内容に一致する可能性の高い行動内容候補から順に提示するための優先順位を付与する。
次に、サーバ１０４は、ステップＳ５で、上記優先順位に従って、各シーンの具体的な行動内容候補をクライアント計算機１０３に提示する。ステップＳ６では、クライアント計算機１０３を操作する利用者が、サーバ１０４が抽出したシーンに対応する動作内容を確認し、優先順位の順で提示された行動内容を選択する。これによって、利用者は可能性の高い行動内容の中から容易に実際の行動内容を選択するだけで、日々のライフログを簡易に生成することができる。
次に、ステップＳ７において、行動内容分析部３００は、クライアント計算機１０３で選択された行動内容を各シーンに設定してライフログ（行動記録）を確定する。
こうして作成されたライフログは、ステップＳ８で利用者の識別子と作成日時などのタイムスタンプとともに、サーバ１０４のデータ格納部４００へ格納される。
このように、センシングデータから一連の動作状態がシーンとして抽出され、各シーンにおける運動頻度に基づいて動作内容が特定される。そして、動作内容の出現順序から行動内容が推定され、推定された行動内容の候補が利用者に提示される。これによって、利用者による各シーンの行動内容の入力を容易にし、行動履歴の生成に要する負担を低減することができる。
以上が、本願発明のライフログシステムの概要である。以下では、各部の詳細について説明する。
＜シーン分割部＞
第６図は、サーバ１０４のシーン分割部２００が実行する処理の一例を示すフローチャートである。まず、シーン分割部２００は、ライフログシステムの利用者の識別子に対応する腕輪型センサノード１の識別子毎に、データ格納部４００からセンシングデータを読み込む（ステップＳ１１）。ここで、シーン分割部２００は、例えば、センシングデータの解析周期である所定の周期（例えば、２４時間）の間に測定されたセンシングデータを読み込めばよい。
次に、ステップＳ１２では、シーン分割部２００が読み込んだセンシングデータの加速度データについて所定の時間間隔（例えば、１分）毎の特徴量を演算する。本実施形態では、所定の時間間隔内での腕輪型センサノード１の装着者（利用者）の運動の頻度を示すゼロクロス回数を特徴量として用いる。
腕輪型センサノード１が検出したセンシングデータにはＸ、Ｙ及びＺ軸の加速度データが含まれているので、シーン分割部２００は、Ｘ、Ｙ及びＺの３軸の加速度のスカラー量を演算し、スカラー量が０または０近傍の所定値を通過する回数をゼロクロス回数として演算し、所定時間間隔内のゼロクロス回数（すなわちゼロクロスが所定時間間隔内に出現する頻度）を演算し、この出現頻度を、所定の時間間隔（例えば、１分間）の運動頻度として出力する。
まず、スカラー量は、各軸の加速度をＸｇ、Ｙｇ及びＺｇとすると、
スカラー量＝（Ｘｇ２＋Ｙｇ２＋Ｚｇ２）１／２
で求められる。
次に、シーン分割部２００は、求めたスカラー量をフィルタ（バンドパスフィルタ）処理し、所定の周波数帯域（例えば、１Ｈｚ〜５Ｈｚ）のみを抽出し、ノイズ成分を除去する。そして、シーン分割部２００は、第７図で示すように、フィルタ処理を施した加速度のスカラー量が所定の閾値（例えば０Ｇまたは０．０５Ｇ。第７図は閾値が０．０５Ｇである例を示す）となった回数をゼロクロス回数として演算する。あるいは、シーン分割部２００は、加速度のスカラー量が所定の閾値をよぎった回数をゼロクロス回数として演算する。そして、所定の時間間隔内のゼロクロス回数を運動頻度として求める。また、シーン分割部２００は、所定の時間間隔内の運動量の積分値をゼロクロス回数とスカラー量から求めて、この積分値を運動強度とする。また、シーン分割部２００は、センシングデータに含まれる温度から所定の時間間隔内の平均温度を求める。
ゼロクロス回数を閾値０Ｇではなく、その近傍（例えば０．０５Ｇ）をよぎる回数として求めることによって、人の動作によるものではない微細な振動、あるいは電気的なノイズによる誤計測を避けることができる。
シーン分割部２００は、所定の時間間隔毎に、運動頻度、平均温度及び運動強度を求め、第８図に示すように、所定の時間間隔毎の集計データを生成し、データ格納部４００へ蓄積する。第８図は、所定時間間隔毎の集計データ５５０のフォーマットを示す説明図である。第８図において、センシングデータに含まれる腕輪型センサノード１の識別子を格納するセンサＩＤ５５２と、腕輪型センサノード１の装着者（ライフログシステムの利用者）の識別子を格納するユーザＩＤ５５１と、所定の時間間隔の開始時刻（測定日時）を格納する測定日時５５３と、センシングデータに含まれる温度を格納する温度５５４と、シーン分割部２００が演算した運動頻度を格納する運動頻度５５５と、シーン分割部２００が求めた運動強度を格納する運動強度５５６と、が集計データ５５０のひとつのエントリを構成する。ここで、利用者の識別子が腕輪型センサノード１の識別子とは別に格納されているのは、一人の人が同時期に、あるいは時期をずらして複数の腕時計型センサノードを用いる場合もあり、そのような場合にはそれぞれのノードのデータを分離して格納する必要があるためである。
ステップＳ１２の処理の結果、シーン分割部２００は所定の周期（例えば２４時間）について所定の時間間隔（例えば１分）毎の集計データを生成する。
次に、ステップＳ１３において、シーン分割部２００は、所定の時間間隔毎の集計データの運動頻度を前後の時間間隔の集計データの運動頻度と比較して、運動頻度の差が所定値を超えていれば、それらの時間間隔の境界の時点を、腕輪型センサノード１の装着者の運動状態が変化した点、すなわち動作変化点として検出する。
ステップＳ１４では、シーン分割部２００が検出した動作変化点間を、利用者が同一の動作を行っていたシーンとして抽出する。つまり、シーン分割部２００は、運動頻度の値が所定の範囲内である期間を、同一の運動状態にあった期間とみなし、この期間をシーンとして抽出する。
以上の処理によって、シーン分割部２００は所定の周期内のセンシングデータから所定の時間間隔毎の運動頻度を求めて、運動頻度の変化する動作変化点に基づいてシーンを抽出する。
＜行動内容分析部＞
次に、行動内容分析部３００の処理の一例を以下に示す。行動内容分析部３００は、シーン分割部２００が抽出した所定の周期内の各シーンに対して、運動頻度に基づいて利用者が行った動作内容を推定して各シーンに設定し、さらに各シーンの具体的な行動内容候補を提示する。
行動内容分析部３００が行う処理は、上記第５図のように、シーン分割部２００が生成した所定の時間間隔毎の集計データから、シーン毎に利用者の動作内容を設定する処理（ステップＳ３）と、シーン毎に利用者が行った行動内容候補の優先順位付けを行う処理（ステップＳ４）と、クライアント計算機１０３にシーン毎の行動内容の候補を提示する処理（ステップＳ５）と、クライアント計算機１０３から行動内容の候補を受け付ける処理（ステップＳ６）と、受け付けた行動内容をシーン毎に設定して行動履歴を生成する処理（ステップＳ７）と、行動履歴をデータ格納部４００へ格納する処理（ステップＳ８）と、から構成される。
第１０図は、シーン毎に利用者の動作内容を設定する処理（ステップＳ３）の一例を示すフローチャートである。まず、ステップＳ２１では、行動内容分析部３００が所定の時間間隔毎の運動頻度から歩行状態のシーンを抽出する。利用者の腕に装着した腕輪型センサノード１の加速度から、歩行状態を検知する手法によれば、上下方向の加速度が周期的に変化する（このような変化は利用者の一歩ごとの着地に対応する）、前後方向の加速度が上下方向の加速度と同期して規則的に繰り返す（このような繰り返しは着地するごとの速度変化に対応する）、左右方向の加速度が上下方向の加速度に同期して規則的に繰り返す（このような繰り返しは一歩ごとの利用者の体の左右へのゆれに対応する）、といった波形が観測でき、このような波形にさらに腕の振りが重なった波形が観測できるので、これらの波形に基づいて、該当するシーンが歩行状態であるか否かを判定できる。また、ゼロクロスの周期の逆数を歩数として検知することもできる。これらの人体に装着した加速度センサから歩行状態を検知する手法として、公知の手法を用いることができる。例えば、「腕に装着した加速度・角速度センサを用いた人間の歩行・走行運動の解析」（胡著、信州大学大学院、ＵＲＬ  ｈｔｔｐ：／／ｌａｐｕｔａ．ｃｓ．ｓｈｉｎｓｈｕ−ｕ．ａｃ．ｊｐ／￣ｙｉｚａｗａ／ｒｅｓｅａｒｃｈ／ｈ１６／ｋｏｉ．ｐｄｆ）などが知られている。
上記の処理によって、ステップＳ２１では、歩行状態と判定されたシーンの動作内容が「歩行」に設定される。
次に、行動内容分析部３００は、ステップＳ２２で運動頻度から睡眠のシーンを抽出する。睡眠の状態では運動頻度は極めて低いが、睡眠中でも人体は寝返りなどの運動を行うため、運動頻度はゼロにならない。睡眠状態を判定する手法はいくつか知られており、例えば、Ｃｏｌｅ法（Ｃｏｌｅ  ＲＪ，Ｋｒｉｐｋｅ  ＤＦ，Ｇｒｕｅｎ  Ｗ，Ｍｕｌｌａｎｅｙ  ＤＪ，Ｇｉｌｌｉｎ  ＪＣ．Ａｕｔｏｍａｔｉｃ  ｓｌｅｅｐ／ｗａｋｅ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｆｒｏｍ  ｗｒｉｓｔ  ａｃｔｉｖｉｔｙ．Ｓｌｅｅｐ  １９９２；１５：４９１−４６９）などを適用すればよい。行動内容分析部３００は、これらの手法によって睡眠状態と判定されたシーンについて、動作内容を「睡眠」に設定する。
次に、ステップＳ２３において、行動内容分析部３００は、上記歩行状態または睡眠状態のいずれにも該当しなかったシーンについて、第１１図に示す判定値のテーブルを参照し、当該シーンの運動頻度が「安静」、「軽作業」、「エクササイズ」または「ジョギング」の各判定値と比較して何れに該当するかを判定する。そして、行動内容分析部３００は、判定結果を当該シーンの動作内容として設定する。なお、第１１図は、動作内容を判定するための判定値を格納したテーブルの一例を示す。このテーブルは、予め設定される。
上記のように所定の周期内の各シーンに動作内容を設定すると、次にステップＳ２４において、行動内容分析部３００は、動作内容が「歩行」に設定されたシーンのうち、複数の歩行シーンの間に「安静」等の他の動作状態が混在しているシーンを連結して一つの歩行シーンにまとめる。上述のように、歩行中であっても、信号待ち、エスカレータまたはエレベータの利用などで、動作としての歩行が一時的に停止する場合があるため、単純なシーンの分割では連続した歩行シーンとはならない。しかし、シーンを連結して一つの歩行シーンにまとめることによって、１日の利用者の行動履歴を観察した場合に一時的に停止していたシーンを歩行状態の一形態として把握することができる。
この歩行シーンを連結する処理は、第１２図で示すフローチャートのように実行される。まず、ステップＳ３１において、行動内容分析部３００は、歩行シーンＷ１に着目し、この歩行シーンＷ１の次のシーンＲ１の動作内容が「歩行」以外であり、かつ、シーンＲ１の次のシーンが歩行シーンＷ２である場合に、本処理を開始する。
ステップＳ３２において、行動内容分析部３００は、連続する３つのシーンＷ１、Ｒ１及びＷ２の運動量を比較する。これらの運動量の分布が等しい場合、行動内容分析部３００は、ステップＳ３３に進んで、これら３つのシーンＷ１、Ｒ１及びＷ２をひとつの歩行シーンＷ１にまとめる。すなわち、行動内容分析部３００は、シーンＷ１の終了時刻を、シーンＷ２の終了時刻と同じ時刻に変更し、シーンＲ１及びＷ２を削除する。あるいは、行動内容分析部３００は、シーンＲ１の動作内容を歩行に置き換えることで複数のシーンを結合してもよい。
運動量の分布の評価において、例えば、Ｒ１の平均運動頻度と、Ｗ１またはＷ２いずれかの平均運動頻度との比が所定の範囲内（例えば±２０％以内）であれば、それらの運動量の分布が等しいと判定してもよい。
あるいは、例えば、シーンＲ１の運動頻度が極めて低い場合でも、シーンＲ１の時間が所定時間（例えば、数分）以内であれば、３つのシーンを一つの歩行シーンにまとめてもよい。
次に、第１０図のステップＳ２５において、行動内容分析部３００は、動作内容が「睡眠」に設定されたシーンのうち、複数の睡眠シーンの間に「歩行」等の他の動作状態が混在しているシーンを連結して一つの睡眠シーンにまとめる。
この睡眠シーンを連結する処理は、第１３図で示すフローチャートのように実行される。まず、ステップＳ４１において、行動内容分析部３００は、睡眠シーンＳ１に着目し、この睡眠シーンＳ１の次のシーンＲ２の動作内容が「睡眠」以外であり、かつ、シーンＲ２の次のシーンが睡眠シーンＳ２である場合に、本処理を開始する。
ステップＳ４２において、行動内容分析部３００は、連続する３つのシーンのうち、シーンＳ１の終了時刻からシーンＳ２の開始時刻までの時間が、所定時間（例えば、３０分）以下であれば、ステップＳ４３に進んで、これら３つのシーンＳ１、Ｒ２及びＳ２をひとつの睡眠シーンＳ１にまとめる。すなわち、行動内容分析部３００は、シーンＳ１の終了時刻を、シーンＳ２の終了時刻と同じ時刻に変更し、シーンＲ２及びＳ２を削除する。
以上の処理によって、行動内容分析部３００は、シーン分割部２００が生成した各シーンについて予め設定された動作内容を設定し、歩行及び睡眠のシーンについては、所定の条件を満たす複数のシーンをひとつのシーンに連結して、不必要に多く分割されたシーンを簡素にする。この結果、第１４図で示すように、シーン分割部２００が演算した所定の時間間隔毎の運動頻度から、歩行シーンを抽出する歩行検知及び睡眠シーンを検知する睡眠検知が行われ、さらにその他の動作内容が各シーンに設定される。
各シーンに動作内容を設定した状態では、図中シーン連結で示すように、時刻Ｔ１からＴ４の睡眠のシーンに、時刻Ｔ２〜Ｔ３のように睡眠以外の動作を行っている期間が存在する。しかし、上記睡眠のシーン連結によって、時刻Ｔ２〜Ｔ３の時間が所定時間内であれば、図中シーン区切りに示すように、時刻Ｔ１〜Ｔ４の一連の睡眠シーンがひとつの睡眠シーンにまとめられる。
同様に、時刻Ｔ７からＴ１２の歩行のシーンに、時刻Ｔ８〜Ｔ９及びＴ１０〜Ｔ１１のように歩行以外の動作を行っている期間が存在する。しかし、上記歩行のシーン連結によって、時刻Ｔ８〜Ｔ９、Ｔ１０〜Ｔ１１が所定の条件を満たせば、図中シーン区切りに示すように、時刻Ｔ７〜Ｔ１２の一連の歩行シーンがひとつの歩行シーンにまとめられる。なお、時刻Ｔ５〜Ｔ６は、ひとつの睡眠シーンである。
第１５図は、上記第１０図の処理の結果、行動内容分析部３００が生成した動作内容を含むシーン５００（以下、シーンデータと記載する）の一例を示す説明図である。シーンデータ５００のひとつのエントリは、利用者の識別子を示すユーザＩＤ５０１と、各シーンの識別子を示すシーンＩＤ５０２と、行動内容分析部３００が付与した動作内容を格納するシーン分類５０３と、当該シーンの開始日時を格納する開始日時５０４と、当該シーンの終了日時を格納する終了日時５０５と、によって構成される。
次に、行動内容分析部３００は、シーンデータ５００に付与した動作内容に加えて、利用者が行った行動内容を提示するために、シーン毎に利用者が行った行動内容候補の優先順位付けを行う。すなわち、シーンデータ５００において、腕輪型センサノード１の利用者の運動状態は、シーンに分割され、それぞれのシーンに予め設定した動作内容が割り当てられている。しかし、このような動作内容を用いて利用者の行動（生活）を表現するのは難しい場合がある。そこで、行動内容分析部３００は、シーン毎に行動内容の候補を推定し、推定した複数の行動内容に優先順位を付与し、これらの行動内容を提示して利用者に選択させることで、利用者の行動内容を反映させた行動履歴を構築する。
第１６図は、行動内容分析部３００が行う、行動内容の候補の生成及び順位付けの処理の一例を示すフローチャートである。
ステップＳ５１において、行動内容分析部３００は、生成したシーンデータ５００を読み込んで、予め設定したシーン判定ルールに一致するシーンの組み合わせを検索し、提示する行動内容を推定する。シーン判定ルールは、単一または複数のシーンの組み合わせ、及び、各シーンの時間または開始時刻などに応じて行動内容を利用者毎に定義したもので、第１７図に示すシーン判定ルールテーブル６００のように設定される。
第１７図は、シーン判定ルールテーブル６００の一例を示す説明図である。このシーン判定ルールテーブル６００は、行動内容を格納する行動分類６０１と、行動内容に対応するシーンパターン、開始時刻または時間帯、及びシーンの時間を定義したルール６０２と、行動内容分析部３００がクライアント計算機１０３に提示して利用者が選択した確率を格納する正答率６０３と、を一つのエントリに含んで構成される。シーン判定ルールテーブル６００の行動分類６０１の行動内容は、第１９図で示すようなツリー構造のデータとして、サーバ１０４のデータ格納部４００に行動内容項目管理テーブル９００として保持されており、行動内容毎にルール６０２を設定することができる。
行動内容分析部３００は、生成したシーンデータ５００に含まれるシーンを先頭から順に参照し、シーン判定ルールテーブル６００のルール６０２のシーンパターンと一致する単一のシーンまたは複数のシーンの組み合わせを抽出する。
次に、ステップＳ５２において、行動内容分析部３００は、抽出されたシーンデータ５００の時間及び時刻と、ルール６０２の各シーンの時間及び時刻とを突き合わせて、抽出したシーンデータ５００の組み合わせからルール６０２に一致するものを抽出し、このルール６０２に対応する行動分類６０１の行動内容を、抽出したシーンデータ５００の候補として設定する。例えば、シーンデータ５００の動作内容が「歩行」であるシーンに着目し、その次のシーンが「安静」であり、さらにその次のシーンが「歩行」である場合、これらの３つのシーンの組み合わせに、行動内容の候補として行動分類６０１の「通勤」が対応付けられる。このとき、行動内容分析部３００は、ルール６０２の開始日時及び各シーンの時間を、シーンデータ５００の各シーンの時刻及び時間と突き合わせる。シーンデータ５００の各シーンの時刻及び時間がルール６０２の条件を満足していれば、行動内容分析部３００は、３つのシーンデータ５００の行動内容の候補として「通勤」を設定する。
次に、ステップＳ５３において、行動内容分析部３００は、上記ステップＳ５２で抽出した行動分類６０１が利用者によって選択された確率を正答率として演算する。この確率の演算は、抽出した行動分類６０１を提示した頻度と、抽出した行動分類６０１が利用者によって選択された頻度との比から求めることができる。抽出したシーンデータ５００に対応する行動分類６０１が複数ある場合、行動内容分析部３００は、それらの行動分類６０１を上記正答率の順序でソートする。
上記ステップＳ５１〜Ｓ５３の処理によれば、シーン分割部２００が生成したシーンデータ５００のエントリ毎にシーンパターンが比較され、シーンデータ５００のシーンの組み合わせに対する行動内容の候補が抽出され、正答率の順序で行動内容がソートされる。
次に、サーバ１０４は、クライアント計算機１０３から行動履歴の入力要求を受け付けると、クライアント計算機１０３の表示部１０３１に第１８図で示すような行動履歴入力画面７００を表示させる。
第１８図は、クライアント計算機１０３の表示部１０３１に表示される行動履歴入力画面７００の画面イメージである。サーバ１０４は、クライアント計算機１０３からユーザＩＤ等を受け付けて、指定された利用者の集計データ５５０、シーンデータ５００及び行動内容の候補を行動履歴入力画面７００に表示させる。なお、クライアント計算機１０３で稼動するアプリケーションとしては、ブラウザを採用することができる。
行動履歴入力画面７００は、運動頻度７０１、動作内容７０２、時刻表示７０３、行行動内容７０４、日時プルダウンメニュー７０５、シーン結合ボタン７０６、行動内容入力ボタン７０７及び入力終了ボタン７０８を含む。運動頻度７０１は、集計データ５５０の測定日時５５３に対応する位置に運動頻度５５５の値を棒グラフで表示する。動作内容７０２は、シーンデータ５００のシーン分類５０３に格納された動作内容を表示する。時刻表示７０３は、シーンデータ５００の開始日時５０４及び終了日時５０５を表示する。行動内容７０４には、行動内容が入力または表示される。日時プルダウンメニュー７０５は、行動履歴の入力を行う日時を設定するために使用される。シーン結合ボタン７０６は、複数のシーンを手動にて結合する指令をサーバ１０４へ送信するために使用される。行動内容入力ボタン７０７は、マウスカーソルなどを用いて利用者が指定した行動内容７０４を入力するために使用される。入力終了ボタン７０８は、入力の完了を指令するために使用される。図示された行動履歴入力画面７００は、行動内容７０４の入力が完了した状態を示している。
クライアント計算機１０３を操作する利用者が、行動履歴入力画面７００の行動内容入力ボタン７０７を選択した後に、行動内容７０４を選択すると、上記行動内容分析部３００で求めた行動内容の候補が表示される。利用者は、クライアント計算機１０３の入力部１０３２を構成するマウス等の操作によって、行動内容の候補を選択することができる。あるいは、行動内容の候補に所望の項目がない場合、利用者は、手動で行動内容を入力することができる。あるいは、利用者は、行動内容の候補を選択した上で、さらに手動で行動内容を修正することもできる。
サーバ１０４は、利用者が行動内容７０４を選択すると、上記行動内容分析部３００がシーンデータ５００のエントリ毎に推定した行動内容の候補を行動内容７０４に表示させる。例えば、利用者が第１８図の時刻９：４０からの「軽作業」のシーンに対応する行動内容７０４を選択すると、第２０図で示すように、行動内容の候補を含む候補ボックス１７００が表示される。候補ボックス１７００は、行動内容分析部３００が推定した行動内容の候補１７０１と、予め設定した行動内容項目管理テーブル９００から手動にて選択される手動用候補１７０２と、の２つの領域を備える。利用者は候補ボックス１７００に表示されている項目を選択することで、行動内容の詳細を入力することができる。なお、手動用候補１７０２の行動内容を選択した場合、利用者は、第２１図で示すように、上位、中位、下位の概念に沿って予め階層化された行動内容を選択することができる。
利用者がクライアント計算機１０３の表示部１０３１に提示された候補を選択すると、選択したシーンデータ５００の行動履歴が確定する。サーバ１０４は、行動履歴を生成してデータ格納部４００の行動内容格納テーブル８００へ格納する。また、サーバ１０４は、利用者が選択した行動内容の候補の正答率を更新する。
第２２図は、行動履歴を格納する行動内容格納テーブル８００の一例を示す説明図である。行動内容格納テーブル８００のひとつのエントリは、行動内容の識別子を格納する行動内容ＩＤ８０１と、利用者の識別子を格納するユーザＩＤ８０２と、当該行動内容を開始した日時を示すタイムスタンプを格納する開始日時８０３と、当該行動内容を終了した日時を示すタイムスタンプを格納する終了日時８０４と、ツリー構造の行動内容の識別子を格納する行動内容項目ＩＤ８０５と、行動内容の項目名を格納する行動内容項目８０６と、によって構成される。
以上のように利用者が設定した行動内容の項目は、行動履歴としてサーバ１０４のデータ格納部４００内の行動内容格納テーブル８００に格納され、クライアント計算機１０３から随時参照することができる。
第２３図は、上記第１９図に示した行動内容の項目を格納する行動内容項目管理テーブル９００の一例を示す説明図である。行動内容項目管理テーブル９００は、サーバ１０４のデータ格納部４００に保持される。行動内容項目管理テーブル９００のひとつのエントリは、行動内容項目の識別子を格納する行動内容項目ＩＤ９０１と、行動内容の項目名を格納する行動内容項目９０２と、ツリー構造で構成された行動内容項目の上位の識別子を示す上位行動内容項目ＩＤ９０３と、ツリー構造で構成された行動内容項目の上位の項目名を格納する上位行動内容項目９０４と、によって構成される。
行動内容項目管理テーブル９００は、行動内容の上位概念から下位概念までを含む階層構造を持ち、より下位の概念を用いるほど具体的に行動を規定することができる。これによって、利用者が行動を詳細に記録したいという意思を持つ場合には下位概念を用いて詳細に行動履歴を記述し、さほどこだわりがないときには上位概念を用いて入力することができる。これによって、利用者は行動履歴の作成に費やせる時間、労力または意欲に応じて入力の粒度を調整できるため、利用者が行動履歴の作成をあきらめることを抑制できる。
＜まとめ＞
本発明によれば、日々の生活の中の利用者の運動状態が腕輪型センサノード１の加速度センサによって測定され、サーバ１０４に格納される。測定された運動状態は、所定の周期で解析され、利用者の生活の中の運動状態からシーンが自動的に抽出され、シーンデータ５００が生成される。サーバ１０４によって自動的に生成されたシーンデータ５００に、サーバ１０４が運動の内容を示す動作内容を自動的に設定することで、ライフログシステムの利用者は、過去の行動内容を容易に思い出すことができる。さらに、サーバ１０４は、各シーンの動作内容に基づいて、利用者が行った行動内容の候補を推定し、利用者に提示する。利用者は、提示された候補から行動内容の項目名を選択するだけで、行動履歴を作成することができる。このため、行動履歴の入力に要する利用者の労力を大幅に削減することができる。
また、抽出したシーンデータ５００において、睡眠、歩行及びその他の運動状態を明確に分離することで、睡眠及び歩行を人の行動の区切りとして、行動内容の候補を容易に推定することができる。
本発明のライフログシステムでは、所定の周期内のすべての時間にシーンを割り当て、各シーンに動作内容を割り当てた後に、シーン判定ルールテーブル６００によって判定ルールと各シーンの組み合わせとを比較して、具体的な行動内容の候補を推定する。人の行動内容は複数の動作内容の組合せである場合が多く、ひとつの行動内容は複数のシーンから成り立つことが多い。もちろんひとつのシーンでひとつの行動内容が決まることもある（例えば、早朝の歩行は、散歩という行動内容に対応する）。
そこで、シーン判定ルールテーブル６００のシーンパターンに動作内容の組み合わせを定義しておき、その定義された組み合わせと、シーンデータ５００の動作内容（シーン分類５０３）の出現の順序とを比較することで、あるシーンに合致する行動内容の候補を推定することができる。例えば、行動内容が「通勤」である場合、歩行、安静、歩行、という動作内容が順次出現する。この場合、シーンデータ５００から上記と同様の動作内容が、上記と同様の順序で出現するシーンが抽出される。抽出できた場合は、これらのシーンデータ５００は「通勤」という行動内容であると推定できる。さらに、これらのシーンデータ５００の時刻をシーン判定ルールテーブル６００で定義された時刻と比較することで、行動内容の推定の精度を向上させることができる。
そして行動内容の判定ルール６０２は、それぞれの候補にその候補が提示されたときに選択される可能性を、過去の採否の割合に基づく正答率という値として保持する。この正答率の高い順に行動内容の候補を利用者へ提示することによって、利用者によって選択される可能性の高い行動内容から順に候補を提示することができる。なお、行動内容の候補はすべて提示してもよいが、あらかじめ定められた一定の値以上の正答率のもの、あるいは正答率が上位の所定数（例えば、５つ）までの候補を提示してもよい。これによって、提示内容が煩雑になるのを防止できる。
なお、上記実施形態は、ライフログシステムの利用者（すなわち人体）の運動状態を検出するために、腕輪型センサノード１の加速度センサを用いた例を示した。しかし、人体の運動状態を検知可能であるかぎり、どのような生体情報が使用されてもよい。例えば、脈拍または歩数などを用いてもよい。あるいは、これらの複数の生体情報の組み合わせから人体の運動状態を検知してもよい。また、生体情報だけではなく、ＧＰＳまたは携帯端末等によって取得された人体の位置情報を用いてもよい。また、生体情報や位置情報に加えて、利用者が操作した計算機または携帯端末等のログを用いて、軽作業の内容の詳細（例えばメールの作成など）を特定してもよい。
また、生体情報を検知するセンサノードは、腕輪型センサノード１に限定されず、人体に装着可能なセンサノードであれば、どのようなものであってもよい。
なお、上記実施形態は、シーンパターンと行動内容を予め設定したシーン判定ルールテーブル６００を用いる例を示したが、サーバ１０４が、利用者が決定した行動内容と複数のシーンとの関係を学習し、学習した関係をシーン判定ルールテーブル６００に設定してもよい。
また、上記実施形態は、サーバ１０４とクライアント計算機１０３とが異なる計算機である例を示したが、サーバ１０４とクライアント計算機１０３の機能が同一の計算機で実行されてもよい。
＜変形例＞
第２４図及び第２５図は、本発明の実施形態の第１の変形例を示す。第１の変形例では、上記実施形態の行動履歴入力画面７００にさらにメモなどを記述するコメントが設けられる。
第２４図は、第１の変形例のコメントの入力画面７００Ａを示す。第１の変形例のコメントの入力画面７００Ａは、テキストを入力できるコメント欄７０９を備える。コメント入力画面７００Ａは、例えば、第１８図の行動内容７０４をダブルクリックする等の操作によってポップアップし、クライアント計算機１０３の入力部１０３２からのテキストを受け付ける。
行動履歴を格納する行動内容格納テーブル８００には、第２５図で示すように、コメント８０７が付加される。コメント８０７には、サーバ１０４がクライアント計算機１０３から受け付けたコメント欄７０９のテキストが格納される。
コメント欄７０９に文字列による詳細な説明を付加することで、詳細な行動履歴を作成することができる。
第２６図及び第２７図は、本発明の実施形態の第２の変形例を示す。第２の変形例では、上記第１の変形例のコメント入力画面７００Ａに、さらに行動内容に対する評価（スコア）を設定することができる。
第２６図は、第２の変形例のコメントの入力画面７００Ａを示す。第２の変形例のコメントの入力画面７００Ａには、テキストを入力できるコメント欄７０９に加えて、第１の評価を格納するスコア７１０と、第２の評価を格納するスコア７１１と、が設けられる。スコア７１０及び７１１の値は、予め設定された項目から選択されてもよい。
行動履歴を格納する行動内容格納テーブル８００には、第２７図で示すように、スコア８０８及び８０９が付加される。スコア８０８及び８０９には、サーバ１０４がクライアント計算機１０３から受け付けたスコア７１０及び７１１が格納される。
スコア７１０及び７１１によって行動内容の評価を加えることができる。例えば「食事」という行動内容に対する評価を「食べすぎ、普通、少なめ」から選択できるようにすることで、利用者は、簡易な操作で、より詳細な行動履歴を作成することができる。
第２８図及び第２９図は、本発明の実施形態の第３の変形例を示す。第３の変形例では、上記実施形態の行動履歴入力画面７００にさらに行動内容の相手などを記入することができる。
第２８図は、第３の変形例の入力画面７００Ｂを示す。第３の変形例の入力画面７００Ｂは、行動内容に対応する人名などのテキストを入力できる「誰と」７１２と、行動内容に対応する場所に関するテキストを入力できる「どこで」７１３と、行動内容の詳細内容を入力できる「何をした」７１４と、行動内容に対する感想を入力できる「感想」７１５と、を含む。入力画面７００Ｂは、例えば、第１８図の行動内容７０４をダブルクリックする等の操作によってポップアップし、クライアント計算機１０３の入力部１０３２からのテキストを受け付ける。
行動履歴を格納する行動内容格納テーブル８００には、第２９図で示すように、「誰と」８１０、「どこで」８１１、「何をした」８１２及び「感想」８１３が付加される。「誰と」８１０、「どこで」８１１、「何をした」８１２及び「感想」８１３には、それぞれ、サーバ１０４がクライアント計算機１０３から受け付けた「誰と」７１２、「どこで」７１３、「何をした」７１４及び「感想」７１５のテキストが格納される。
行動内容に対応する相手、場所及び感想などの文字列による詳細な説明を付加することで、さらに詳細な行動履歴を作成することができる。
第３０図は、本発明の実施形態の第４の変形例を示す。第４の変形例は、上記第４図に示したシステム構成の一部が変更されていることを除いて、上記実施形態と同様である。第４の変形例では、サーバ１０４に代わって、クライアント計算機１０３がシーン分割部２００、行動内容分析部３００及びデータ格納部４００を備えており、このクライアント計算機１０３が直接、基地局１０２に接続される。シーン分割部２００、行動内容分析部３００及びデータ格納部４００の構成は上記実施形態と同様である。クライアント計算機１０３はネットワーク１０５を介してサーバ１０４に接続される。サーバ１０４は、クライアント計算機１０３が生成した行動履歴（行動内容格納テーブル７００）を受信して格納するデータ格納部１５００と、行動履歴に対して所定の解析を行う解析部１６００と、を備える。
【産業上の利用可能性】
【０００６】
以上のように、本発明は、人の行動履歴を自動的に作成する計算機システムに適用することができ、特に、無線通信によって生体情報をサーバへ送信するセンサネットワークシステムに適用することができる。
【図１】
2010032579.tif 000003
【図２】
2010032579.tif 000004
【図３】
2010032579.tif 000005
【図４】
2010032579.tif 000006
【図５】
2010032579.tif 000007
【図６】
2010032579.tif 000008
【図７】
2010032579.tif 000009
【図８】
2010032579.tif 000010
【図９】
2010032579.tif 000011
【図１０】
2010032579.tif 000012
【図１１】
2010032579.tif 000013
【図１２】
2010032579.tif 000014
【図１３】
2010032579.tif 000015
【図１４】
2010032579.tif 000016
【図１５】
2010032579.tif 000017
【図１６】
2010032579.tif 000018
【図１７】
2010032579.tif 000019
【図１８】
2010032579.tif 000020
【図１９】
2010032579.tif 000021
【図２０】
2010032579.tif 000022
【図２１】
2010032579.tif 000023
【図２２】
2010032579.tif 000024
【図２３】
2010032579.tif 000025
【図２４】
2010032579.tif 000026
【図２５】
2010032579.tif 000027
【図２６】
2010032579.tif 000028
【図２７】
2010032579.tif 000029
【図２８】
2010032579.tif 000030
【図２９】
2010032579.tif 000031
【図３０】
2010032579.tif 000032
【国際調査報告】
2010032579.tif 000033
2010032579.tif 000034
2010032579.tif 000035
2010032579.tif 000036