(57)【要約】【課題】教師データや人手により作成した知識ベースを使用することなく行動を認識できるようにし、これにより多大な手間と時間およびコストを要することなく、しかも認識対象の行動が場所・時間などの状況によって変わる場合であっても、行動を正確に認識する。【解決手段】人の行動と当該行動の対象となるモノや場所、状況、時間等との組み合わせを言語情報で記述した行動知識ベース記憶部３４を備えている。そして、先ず上記行動の対象に関する検出値をセンサから取得し、当該取得した検出値を解析して同一時刻に得られた検出値を統合した後、上記対象を表す言語情報に変換する。そして、この変換された対象を表す言語情報をもとに、上記行動知識ベース記憶部３４から対応する行動を表す言語情報を検索し、この検索された言語情報の中から出現確率が最も高いものを選択して、文章化し出力する。【選択図】図１
2016126569.tif 000002
【特許請求の範囲】
【請求項１】
実世界で起こり得る行動と当該行動の対象との組み合わせを言語情報で記述した行動知識ベース記憶部と、前記行動の対象に関する検出値を出力するセンサにそれぞれ接続可能な行動認識装置であって、
行動の過程で当該行動の対象に関する検出値を前記センサから取得し、当該取得した検出値を前記対象を表す言語情報に変換する対象検出手段と、
前記変換された対象を表す言語情報をもとに、前記行動知識ベース記憶部から対応する行動を表す言語情報を検索して出力する行動選択手段と
を具備することを特徴とする行動認識装置。
【請求項２】
実世界の状況を人が解釈して言語化したデータから、前記起こり得る行動と当該行動の対象との組み合わせを表すデータを統計的に抽出し、当該抽出したデータを言語情報で記述した形態で前記行動知識ベース記憶部に記憶させる手段を、さらに具備する請求項１記載の行動認識装置。
【請求項３】
前記対象検出手段は、前記行動の対象に関する検出値が複数得られた場合に、これらの検出値を、その相関の強さを表す情報をもとに統合または分離することを特徴とする請求項１または２記載の行動認識装置。
【請求項４】
前記行動選択手段は、前記行動知識ベース記憶部から、前記変換された対象を表す言語情報に対応する行動を表す言語情報が複数検索された場合に、この複数の行動を表す言語情報の中から、検出値が同一時間帯に得られた他の対象の言語情報に対応する行動を表す言語情報と共通のものを選択することを特徴とする請求項１乃至３のいずれかに記載の行動認識装置。
【請求項５】
前記行動知識ベース記憶部に、前記起こり得る行動と当該行動の対象との組み合わせを言語情報で記述したデータと共に当該データの出現頻度を表す情報が記憶されている場合に、
前記行動選択手段は、前記行動知識ベース記憶部から、前記変換された対象を表す言語情報に対応する行動を表す言語情報が複数検索された場合に、前記行動知識ベース記憶部に記憶された出現頻度を参照して、前記複数の行動を表す言語情報の中から予め設定した出現頻度の条件を満たすものを選択することを特徴とする請求項１乃至３のいずれかに記載の行動認識装置。
【請求項６】
実世界で起こり得る行動と当該行動の対象との組み合わせを言語情報で記述した行動知識ベース記憶部と、前記行動の対象に関する検出値を出力するセンサにそれぞれ接続可能な行動認識装置が実行する行動認識方法であって、
前記行動認識装置が、行動の過程で当該行動の対象に関する検出値を前記センサから取得し、当該取得した検出値を前記対象を表す言語情報に変換するステップと、
前記行動認識装置が、前記変換された対象を表す言語情報をもとに前記行動知識ベース記憶部から対応する行動を表す言語情報を検索して出力するステップと
を具備することを特徴とする行動認識方法。
【請求項７】
請求項１乃至請求項５のいずれかに記載の行動認識装置が具備する手段が実行する処理を、当該行動認識装置が備えるコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人や動物などの行動を認識するための行動認識装置、方法およびプログラムに関する。
【背景技術】
【０００２】
センサ技術の進展やデバイスの小型化により、スマートフォンを含む様々なセンサデバイスが我々の日常生活に浸透しつつあり、そういったセンサを利用して人間の行動や状況を認識する研究が近年数多く行われている。人間の行動を観測・認識する技術としては、加速度センサを用いて「座る」、「歩く」、「走る」といった基本的な行動を認識するものや、人や環境に設置した多数のセンサを用いて「お茶を淹れる」、「料理をする」といったやや複雑な行動を認識するものがある（特許文献１または非特許文献１乃至４を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６７９６７７号公報
【非特許文献】
【０００４】
【非特許文献１】Philipose, M, et al. Inferring activities from interactions with objects. Pervasive Computing, 3(4), 50-57, 2004.
【非特許文献２】前川卓也ほか、「手首に装着したカメラ付きセンサデバイスを用いた行動認識手法」、電子情報通信学会論文誌B，95(11), 1480-1490, 2012.
【非特許文献３】Bao, L. and S. S. Intille，“Activity recognition from user-annotated acceleration data”，Proceedings of the Second International Conference on Pervasive Computing, 3001, 1-17, 2004.
【非特許文献４】前川卓也ほか、「Tag and Think：モノに添付したセンサノードのためのモノ自身の推定」、情報処理学会論文誌、Vol. 49, No. 6, pp. 1896-1906 （2008年6月）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１および非特許文献１乃至３に記載された技術の多くは、教師データを用いた学習結果をベースとしているため、予め対象とする行動の正解となるセンシングデータを教師データとして準備する必要がある。センシングデータは個人差による影響も大きいため、被験者が同じ行動を何度も試行し、特徴を抽出して教師データとする必要があり、このためデータベースの構築には多大な手間と時間を要し、コストがかかる。
【０００６】
また、非特許文献４に記載された技術は、教師データを事前に準備しない手法であるが、行動を認識するための知識モデルを人手で記述する必要があり、この技術も実施するには多大なコストがかかる。そのため、認識対象とする行動数を増やすには多大な労力が必要となり、この結果認識可能な行動数は十数程度が限界となっている。このため、人間が日常的に行う行動は非常に多岐にわたるが、従来技術では多数の行動を認識するには至っていない。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、教師データや人手により作成した知識ベースを使用することなく行動を認識できるようにし、これにより多大な手間と時間およびコストを要することなく、しかも認識対象の行動が場所・時間などの状況によって変わる場合であっても、正確に認識することができる行動認識装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明では次のような対策を講じている。すなわち、行動を認識するための知識モデルとして、例えばWeb上のテキストデータのように不特定多数の人が利用するサイトのデータから構築したものを使用している。
【０００９】
一般に、Web上のテキストデータは人の多種多様な行動に関する情報を含んでおり、しかも人が行動の対象に関して認識し解釈した結果が言語情報により記述されている。例えば、人間が常識的に持つような知識として、ある対象が「いつ」、「どこで」、「人間とどのようなインタラクションをとるのか」といった情報も抽出することが可能である。より具体的には、「はさみ」に対して人は「はさみで切る」という行動をとることが多い。これは人間にとって常識的な知識であるが、「はさみ」を手掛かりとして、人間がどのような行動をとるのかを、Webのテキストデータの解析結果から推定可能であることを意味する。
【００１０】
一方、Webのテキストデータと人の行動に関連するセンシングデータは異種データであり、通常、センシングデータそのものと人の行動とを結び付けるには、教師データや人手により作成された知識ベースが必要となる。しかしこの発明では、実世界に存在するモノや場所、時間などの行動対象に関連するセンシングデータを、周知技術を用いてテキストデータに変換し、この変換されたテキストデータを行動を認識する際の手掛かりにしている。例えば、画像を入力として画像中に写っているモノの名称を出力する物体認識アプリケーションや、ＧＰＳ（Global Positioning System）の緯度経度情報を住所やランドマークに変換するアプリケーションが、モノや場所、時間などの行動対象を表すセンシングデータとテキストデータとの仲介役となる。
【００１１】
すなわち、人が行動する際の対象となるモノや場所、時間などをテキストデータに変換し、このテキストデータもしくは類似する語が、上記Webのテキストデータをもとに構築された行動知識ベースに含まれていれば、人の行動を認識することが可能となる。したがって、例えばWebのテキストデータをもとに人の一般的な行動とその対象との組み合わせを多く含むように構築された行動知識ベースを用い、さらに人の行動の対象を表すセンシングデータをテキストデータに変換する汎用アプリケーションを利用することで、特定の人の行動に限らず、また一人の人の行動が場所・時間などの状況によって変わる場合であっても、多種多様な行動を認識することが可能となる。
【００１２】
この発明は以上の点に着目したもので、その第１の態様は、実世界で起こり得る行動と当該行動の対象となるモノや場所、時間等との組み合わせを言語情報で記述した行動知識ベース記憶部と、前記行動の対象に関する検出値を出力するセンサを利用し、人の行動の過程で当該行動の対象に関する検出値を前記センサから取得し、当該取得した検出値を前記対象を表す言語情報に対象検出手段を用いて変換する。そして、この変換された対象を表す言語情報をもとに、上記行動知識ベース記憶部から対応する行動を表す言語情報を行動選択手段により検索し、その検索結果を出力するようにしたものである。
【００１３】
この発明の第２の態様は、行動知識ベースの作成手段をさらに備え、この行動知識ベースの作成手段により、実世界の状況を人が解釈して言語化したデータから、上記起こり得る行動と当該行動の対象となるモノや場所、時間等との組み合わせを表すデータを統計的に抽出し、当該抽出したデータを言語情報で記述した形態で上記行動知識ベース記憶部に記憶させるようにしたものである。
【００１４】
この発明の第３の態様は、上記対象検出手段において、上記行動の対象となるモノや場所、時間等に関する検出値が複数得られた場合に、これらの検出値を、その相関の強さを表す情報をもとに統合または分離するようにしたものである。
【００１５】
この発明の第４の態様は、上記行動選択手段において、上記行動知識ベース記憶部から、上記変換されたモノや場所、時間等の行動の対象を表す言語情報に対応する行動を表す言語情報が複数検索された場合に、この複数の行動を表す言語情報の中から、検出値が同一時間帯に得られた他の対象の言語情報に対応する行動を表す言語情報と共通のものを選択するようにしたものである。
【００１６】
この発明の第５の態様は、上記行動知識ベース記憶部に、上記起こり得る行動と当該行動の対象となるモノや場所、時間等との組み合わせを言語情報で記述したデータと共に当該データの出現頻度を表す情報が記憶されている場合に、上記行動選択手段において、上記行動知識ベース記憶部から上記変換された対象となるモノや場所、時間等を表す言語情報に対応する行動を表す言語情報が複数検索された場合に、上記行動知識ベース記憶部に記憶された出現頻度を参照して、上記複数の行動を表す言語情報の中から予め設定した出現頻度の条件を満たすものを選択するようにしたものである。
【発明の効果】
【００１７】
この発明の第１の態様によれば、人が行動を起こしたとき対象となるモノや場所、時間等がセンサにより検出されてその検出値が言語情報に変換され、この対象を表す言語情報をキーとして行動知識ベース記憶部がアクセスされ、これにより対応する行動が特定される。ここで、行動知識ベース記憶部には、実世界で起こり得る行動と当該行動の対象となるモノや場所、時間等との一般的な組み合わせが言語情報で記述されている。このため、教師データや人手により作成した知識ベースを使用して人の行動を認識する手法では認識が困難だった、不特定多数の人の行動や特定の人がとった新たな行動についても、高い確率で認識することが可能となる。
【００１８】
例えば、加速度等のセンシングデータから行動認識を行う従来技術では認識対象とする行動の数が限られるだけでなく、個人差の影響が少なくない。全く同じ行動をとっているにも拘わらずセンサの検出値が異なることもある。とりわけ、お年寄りなどの見守りに行動認識技術を適用する場合には、病気や怪我で身体の一部が動かしにくいといった状況も十分想定されるが、従来技術ではそのような状況でも精度良く認識することは難しい。しかし「はさみ」を使っている時は何かを切っている確率が高いといったように、この発明の第１の態様では人の行動中にインタラクションするモノや場所、時間などを手掛かりとしているため個人差の影響を受けにくい。職場や日頃の生活といった日常的な状況においては、動作対象が同じであれば同じ行動をとる人が多く、特に精度良く行動認識が可能である。  
ちなみに教師データ等を使用する従来の技術では数十程度の行動しか認識対象にできなかった。しかしこの発明の第１の態様によれば、桁違いに多くの行動を認識することが可能となる。
【００１９】
この発明の第１の態様により得られる行動認識結果は、計算機による人の状況把握と行動支援、情報の検索と推薦などに応用が可能である。計算機による行動支援の例としては、いま行っているもしくは行う可能性が高い行動から、Webページなどを検索してユーザをアシストする情報等を提供することが挙げられる。例えば、「服を洗濯機に入れる」、「洗剤を入れる」、「洗濯機を回す」といった行動の流れを認識した際に、行動をクエリとして検索エンジンに入力し、検索結果から「洗濯と干し方のコツ」のような役立つページを推薦することで、ユーザは行動をよりスムーズに行うことができる。
【００２０】
また、見守りの用途としては、高齢者の行動を自動的に記録し、必要に応じて家族や訪問介護士などの見守る側へ情報を提供するといったサービスも実現できる。行動記録を蓄積してお年寄りの習慣的な行動を抽出すると、いつも習慣的に行っていることを今日は行っていないといった状態を検知してアラートを通知することで、お年寄りの状況を家族と介護士など、複数の関係者の間で共有することが可能となる。
【００２１】
この発明の第２の態様によれば、行動知識ベース記憶部の記憶データを行動認識装置が自律的に作成または更新することが可能となる。このため、行動知識ベース記憶部に記憶された行動知識ベースを、認識対象となる行動の変化や種類の増加等に応じてさらに充実させることができる。
【００２２】
この発明の第３の態様によれば、行動の対象に関する検出値が複数得られた場合に、これらの検出値がその相関の強さを表す情報、例えば検出時刻または時間帯に基づいて統合または分離される。この結果、人が行動をとったときのコンテキストをより詳細に把握することが可能となり、これにより行動認識の精度を高めることが可能となる。
【００２３】
この発明の第４の態様によれば、人が同一時間帯にとった行動が複数の対象に関連する場合に、これら複数の対象をもとに行動知識ベースから検索された行動のうち共通のものが、当該人がとった行動として認識される。このため、人の行動をより正確に認識することが可能となる。
【００２４】
この発明の第５の態様によれば、１つの対象に対し複数の行動を表す言語情報が検索された場合に、これらの行動の言語情報のうち出現頻度が所定条件を満たすもの、例えば出現頻度が最も高いもの、もしくは上記検索された行動の出現頻度が行動知識ベースに記憶された出現頻度と最も近いものが、当該人がとった行動として認識される。この結果、過去の検索履歴を参照してより確率の高い行動を当該人の行動として認識することが可能となる。
【００２５】
すなわちこの発明によれば、教師データや人手により作成した知識ベースを使用することなく行動を認識することができ、これにより多大な手間と時間およびコストを要することなく、しかも認識対象の行動が場所・時間などの状況によって変わる場合であっても、行動を正確に認識することができる行動認識装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】この発明の一実施形態に係る行動認識装置の機能構成を示すブロック図。
【図２】図１に示した行動認識装置が備える行動知識ベース記憶部が記憶するデータの一例を示す図。
【図３】図１に示した行動認識装置のセンサ処理部が実行するセンサ処理の手順と処理内容を示すフローチャート。
【図４】図１に示した行動認識装置が備えるセンシングデータ記憶部が記憶するデータの一例を示す図。
【図５】図１に示した行動認識装置のデータ解析処理部が実行するデータ解析処理の手順と処理内容を示すフローチャート。
【図６】図１に示した行動認識装置が備える解析結果記憶部が記憶するデータの一例を示す図。
【図７】図１に示した行動認識装置のテキスト変換処理部が実行するデータ解析処理の手順と処理内容を示すフローチャート。
【図８】図１に示した行動認識装置が備える変換結果記憶部が記憶するデータの一例を示す図。
【図９】図１に示した行動認識装置の行動検索処理部が実行するデータ解析処理の手順と処理内容を示すフローチャート。
【図１０】図１に示した行動認識装置が備える検索結果記憶部が記憶するデータの一例を示す図。
【図１１】図１に示した行動認識装置の行動決定処理部が実行するデータ解析処理の手順と処理内容を示すフローチャート。
【図１２】図１に示した行動認識装置が備える行動データ記憶部が記憶するデータの一例を示す図。
【発明を実施するための形態】
【００２７】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る行動認識装置の機能構成を示すブロック図である。  
行動認識装置は、例えばサービス事業者が運用するサーバコンピュータからなり、通信インタフェースユニット１と、制御ユニット３２と、記憶ユニット３を備えている。通信インタフェースユニット１は、制御ユニット２の制御の下で、通信ネットワークを介して図示しないユーザ端末および事業者端末との間で通信を行う。
【００２８】
記憶ユニット３は、記憶媒体としてＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の書き込みおよび読み出しが可能な不揮発性メモリを使用したもので、この実施形態を実施する上で必要な記憶部として、センシングデータ記憶部３１と、解析結果記憶部３２と、変換結果記憶部３３と、行動知識ベース記憶部３４と、検索結果記憶部３５と、行動データ記憶部３６を備えている。
【００２９】
センシングデータ記憶部３１は、後述するセンサ処理部２１１により受信処理された、行動対象物等のセンシングデータを記憶するために使用される。解析結果記憶部３２は、上記センシングデータ記憶部３１に記憶されたセンシングデータを、後述するデータ解析処理部２１２が解析した結果を表す情報を記憶するために使用される。変換結果記憶部３３は、上記解析結果記憶部３２に記憶されたセンシングデータ解析結果を、後述するテキスト変換処理部２１３がテキストデータに変換した情報を記憶するために使用される。
【００３０】
行動知識ベース記憶部３４には、Web上のテキストデータをもとに事前に生成された、実世界で起こり得る人の行動と当該行動の対象となるモノや場所、時間などとの組み合わせを言語情報で記述した行動知識ベースの情報が記憶される。例えば図２に示すように、行動内容を表す複数の用言のそれぞれに対応付けて、対象を表す用例と、格要素と、出現頻度が記憶される。なお、行動知識ベース記憶部３４は、必ずしも行動認識装置内に設ける必要はなく、別途設けられたデータベースサーバ等に設け、行動認識装置から通信ネットワークを介してアクセスして必要な情報を検索するようにしてもよい。
【００３１】
検索結果記憶部３５は、上記変換結果記憶部３３に記憶されたテキストデータをもとに、後述する行動検索処理部２２１が上記変換行動データ記憶部３６を検索して得られた情報を記憶するために使用される。行動データ記憶部３６は、上記検索結果記憶部３５に記憶された検索結果を表す情報の中から、後述する行動決定処理部２２２が選択した、最も尤もらしい行動内容を言語で記述した行動データを記憶するために使用される。
【００３２】
制御ユニット２は、中央処理ユニット（Central Processing Unit：ＣＰＵ）を備え、この実施形態を実現するために必要な処理機能として、対象検出部２１と、行動選択部２２を備えている。このうち対象検出部２１は、センサ処理部２２１と、データ解析処理部２１２と、テキスト変換処理部２１３を有する。また行動選択部２２は、行動検索処理部２２１と、行動決定処理部２２２と、出力生成処理部２２３を有する。なお、制御ユニット２は、上記各処理機能のほかに、行動知識ベース情報を作成して上記行動知識ベース記憶部３４に記憶させる行動知識ベース作成部も備えている。以上の各処理機能はいずれも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００３３】
センシング処理部２１１は、行動の認識対象となるユーザが所持する図示しないユーザ端末から送信されたセンシングデータを、通信インタフェースユニット３を介して受信し、センシングデータ記憶部３１に格納する処理を行う。センシングデータは、例えばユーザが行動を行う際にインタラクションする対象となるモノや場所、状況、環境、時間などをセンシングしたデータからなる。
【００３４】
データ解析処理部２１２は、上記センシングデータ記憶部２１１に記憶されたセンシングデータを解析し、テキスト変換処理などのその後の処理が行いやすいようなデータを生成する。そして、当該生成された解析後のセンシングデータを解析結果記憶部３２に格納する処理を行う。
【００３５】
テキスト変換処理部２１３は、上記解析結果記憶部３２に記憶された解析後のセンシングデータを意味のあるテキスト（文字列）に変換し、この変換されたテキストデータを変換結果記憶部３３に格納する処理を行う。
【００３６】
行動検索処理部２２１は、上記変換結果記憶部３３に記憶されたテキストを用例として行動知識別記憶部３４を検索し、当該テキストに対応する行動を表す用言を格要素や出現頻度を示す情報と共に読み出して検索結果記憶部３５に格納する処理を行う。
【００３７】
行動決定処理部２２２は、上記検索結果記憶部３５に格納された行動を表す用言の中から、当該用言に関連付けて上記行動知識ベース記憶部３４に記憶された出現頻度を示す情報等を参照して最も尤もらしい行動を表す用言を選択し、この選択された行動を表す用言を行動データ記憶部３６に格納する処理を行う。
【００３８】
出力生成処理部２２３は、上記行動データ記憶部３６に記憶された行動を表す用言をもとに、当該行動を表現する自然な文章を生成する。そして、この生成された行動を表す文章を、例えば情報のレコメンドサービスを行う事業者や医療や介護サービスを行う事業者が使用する事業者端末へ送信する処理を行う。
【００３９】
行動知識ベース作成部（図示せず）は、定期的または任意のタイミングでWeb上のテキストデータ群から一般的な人の行動と当該行動の対象となるモノや場所、状況、時間等との組み合わせを抽出し、この抽出した組み合わせデータを上記行動知識ベース記憶部３４に追加記憶する処理を行う。
【００４０】
（動作）
次に、以上のように構成された行動認識装置の動作を説明する。  
（１）行動知識ベースの作成および更新
行動認識装置は、行動知識ベース作成部の制御の下、定期的または任意のタイミングで、例えばWebのテキストデータをもとに行動知識ベースの作成および更新を行う。行動知識ベースとしては、用言と格要素の関係を整理したもの（格フレーム）を記憶する。図２に行動知識ベース記憶部３４に記憶される行動知識ベースの一例を示す。例えば、「読む」という用言の格フレームの１つとして、｛人，私，子供…｝が｛本，新聞，小説，絵本…｝を読む、といったものが考えられる。
【００４１】
図２に例示したように行動知識ベース記憶部３４には、用言ごとに、格要素と、用例と、出現頻度が整理されて記憶される。このような行動知識ベースの作成手法としては、例えばDaisuke Kawahara and Sadao Kurohashi，“A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis” , In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL2006), pp.176-183, 2006、または河原大輔ほか、「高性能計算環境を用いたWebからの大規模格フレーム構築」、情報処理学会 自然言語処理研究会 171-12, pp.67-73, 2006に詳しく記載されている。
【００４２】
（２）センシングデータの取得
ユーザが行動すると、その行動の対象となるモノや場所、状況、環境などがセンサにより検出され、ユーザ端末より行動認識装置へ送信される。  
例えば、家庭にある様々なモノにRFIDタグが貼られている環境において、ユーザがRFIDリーダを身に付けて「雑巾で窓を拭く」という行動をすると、雑巾や窓に貼り付けられたRFIDタグのid情報（センサ観測値）がRFIDリーダにより検出される。そして、この検出された雑巾のid情報が、その検出時刻と、予めユーザ端末に記憶したユーザidと共に、ユーザ端末から行動認識装置に向けて送信される。
【００４３】
これに対し行動認識装置では、センシング処理部２１１の制御の下、以下のようにセンシングデータ（観測値）の取得制御が行われる。図３はその処理手順と処理内容を示すフローチャートである。
【００４４】
すなわち、上記ユーザ端末から送信されたセンシングデータが通信インタフェースユニット１により受信されると、先ずステップＳ１１によりセンシングデータに含まれるユーザidが抽出され、当該ユーザidが行動認識対象として予めユーザ情報記憶部（図示せず）に登録されているユーザのものか否かがステップＳ１２で判定される。この判定の結果、登録されているユーザであれば、ステップＳ１３によりセンシングデータが受信処理され、ステップＳ１４により当該受信されたセンシングデータがセンシングデータ記憶部３１に格納される。そして、当該センシングデータは、ステップＳ１５によりセンシングデータ記憶部３１から読み出され、データ解析処理部２１２に渡される。なお、上記受信されたセンシングデータに含まれるユーザidが未登録であれば、センシングデータの受信・格納処理は行われず、ステップＳ１６においてデータの取得間隔が調整されたのち、ステップＳ１２に戻る。
【００４５】
図４は、以上のようなセンシングデータ取得処理を繰り返すことにより、センシングデータ記憶部３１に記憶されたセンシングデータの一例を示すものである。同図に示すように各センシングデータはいずれも、検出時刻と、ユーザidと、RFIDタグidとから構成される。
【００４６】
（３）データ解析処理
上記センシングデータ取得処理部２１１からセンシングデータが渡されるごとに、データ解析処理部２１２の制御の下、当該センシングデータの解析処理が以下のように行われる。図５はその処理手順と処理内容を示すフローチャートである。
【００４７】
すなわち、ステップＳ２１で上記センシングデータが入力されると、先ずステップＳ２２によりセンシングデータが読み込まれ、ステップＳ２３において当該読み込まれたセンシングデータが解析される。例えば、あるユーザの同一時刻の複数のセンサ観測値が統合される。当該解析処理後のセンシングデータは、ステップＳ２４により解析結果記憶部３２に格納されたのち、ステップＳ２５により読み出されてテキスト変換処理部２１３に渡される。図６は、上記解析結果記憶部３２に記憶された解析処理後のセンシングデータの一例を示すもので、同一時刻に取得された複数のセンシングデータが統合された場合を示している。
【００４８】
なお、他の解析手法としては、例えばユーザが行動をとる際にほぼ同時に触るモノや場所といった情報をネットワーク化してコミュニティを抽出することで、あるユーザが行動をとる際に頻繁に共起するモノや場所を抽出する手法等が考えられる。このデータ解析処理の実現方法は上記に限定するものではなく、実施の際にはユーザが行動をとった際の状況を的確に示すようセンサシングデータを解析できればよい。
【００４９】
（４）テキスト変換処理
上記データ解析処理部２１２から解析処理後のセンシングデータが渡されると、テキスト変換処理部２１３の制御の下、当該解析処理後のセンシングデータのRFIDタグidを対応するモノの名称を表すテキストデータ（文字列）に変換する処理が以下のように行われる。図７はその処理手順と処理内容を示すフローチャートである。
【００５０】
すなわち、ステップＳ３１においてセンシングデータが渡されると、先ずステップＳ３２により一時変数ｉが処理化（＝０）され、ステップＳ３３において当該ｉ番目のデータが存在するか否かが判定される。この判定の結果ｉ番目のデータが存在すれば、ステップＳ３４によりｉ番目のデータが読み込まれ、ステップＳ３５において当該データがテキストデータ（文字列）に変換される。例えば、図６に示したRFIDタグidが、実際に家庭内にあるモノの名称に変換される。そして、この変換後のテキストデータはステップＳ３６により変換結果記憶部３３に格納される。図８に上記変換されたテキストデータの一例を示す。
【００５１】
ｉ番目のデータのテキストへの変換処理が終了すると、ステップＳ３７により一時変数ｉがインクリメントされ、ステップＳ３３に戻って上記テキストへの変換処理が繰り返し行われる。これに対し上記ステップＳ３３による判定の結果、ｉ番目のデータが存在しなくなった場合には、ステップＳ３８に移行し、それまでに変換されたテキストデータが変換結果記憶部３３から読み出され、行動選択部２２に渡される。
【００５２】
センシングデータのセンサ値を文字列に変換するモジュールの実現手段としては、例えば予めセンサ値と名称との対応関係をデータベース化して記憶しておき、このデータベースを検索することで変換するものが用いられる。その他の手段としては、一般に公開されているアプリケーション等を利用し、センサの数値や波形から文字列へと変換するものがある。具体的には、ＧＰＳの緯度経度情報を住所やランドマークに変換するアプリケーションや、画像を入力として画像中に写っているモノの名称を出力する物体認識アプリケーションなどを利用する。
【００５３】
（５）行動検索処理
上記テキスト変換処理部２１３から変換後のテキストデータが渡されると、行動検索処理部２２１の制御の下、行動知識ベース記憶部３４から対応する行動を表す情報を検索する処理が以下のように行われる。図９はその処理手順と処理内容を示すフローチャートである。
【００５４】
すなわち、ステップＳ４１において変換後のテキストデータ（文字列）が渡されると、先ずステップＳ４２により一時変数ｉが処理化（＝０）され、ステップＳ４３において行動知識ベース記憶部３４にｉ番目のデータが存在するか否かが判定される。この判定の結果、ｉ番目のデータが存在すれば、ステップＳ４４により当該ｉ番目のデータが読み込まれ、ステップＳ４５において当該読み込まれたｉ番目のデータと上記変換後のテキストデータ（文字列）とのマッチング処理が行われる。そして、両者が一致すると、ステップＳ４６において行動知識ベース記憶部３４から上記ｉ番目のデータに関連付けられている「格」、「用言」、「出現頻度」が行動データの候補として読み込まれ、検索結果記憶部３５に格納される。図１０は、上記検索結果記憶部３５に格納された行動データ候補の一例を示す。
【００５５】
なお、上記マッチング処理の結果、両者が一致しなかった場合には、上記行動データ候補の格納は行われない。上記ｉ番目のデータとのマッチング処理が終了すると、ステップＳ４７によりｉの値がインクリメントされ、ステップＳ４３に戻って上記ステップＳ４３〜ステップＳ４６による一連のマッチング処理が繰り返し実行される。
【００５６】
上記繰り返し実行処理の結果、行動知識ベース記憶部３４において未検索のデータがなくなると、ステップＳ４８に移行して上記検索結果記憶部３５に記憶された行動データ候補が例えば時間帯別にソートされる。そして、ステップＳ４９において、上記検索結果記憶部３５に記憶されたソート後の行動データ候補が読み出され、行動決定処理部２２２に渡される。
【００５７】
（６）行動決定処理
上記行動検索処理部２２１から行動データ候補が渡されると、行動決定処理部２２２の制御の下、上記行動データ候補の中から最も尤もらしい行動データを選択する処理が以下のように実行される。図１１はその処理手順と処理内容を示すフローチャートである。
【００５８】
すなわち、ステップＳ５１において行動データ候補が渡されると、先ずステップＳ５２において当該行動データ候補に動作の対象が１つのみ含まれているか或いは複数含まれているかが判定される。この判定の結果、１つであればステップＳ５４において、上記行動データの候補の中から出現頻度が最も高いものが選択され、この選択された行動データを構成する「格」、「用言」、「出現頻度」がステップＳ５６により行動データ記憶部３６に格納される。
【００５９】
これに対し、行動データ候補に動作の対象が複数含まれている場合には、ステップＳ５３によりこれら複数の動作対象に共通の行動が存在するか否かが判定される。そして、共通の行動が存在しなければ、上記ステップＳ５４において上記行動データの候補の中から出現頻度が最も高いものが選択され、この選択された行動データを構成する「格」、「用言」、「出現頻度」がステップＳ５６により行動データ記憶部３６に格納される。
【００６０】
また、複数の動作対象に共通の行動が存在する場合には、ステップＳ５５において当該共通の行動のうち尤も出現頻度が高い行動が選択される。そして、この選択された行動データを構成する「格」、「用言」、「出現頻度」がステップＳ５６により行動データ記憶部３６に格納される。図１２に記憶された行動データの一例を示す。
【００６１】
以上の選択処理の具体例を以下に説明する。すなわち、対象となる１つのモノ「雑巾」に対して図１０に示す検索結果が得られた場合には、出現頻度が最も高い「絞る」という用言が選択される。また、複数のモノ「雑巾」と「窓」が同時刻または同一時間帯に取得された場合には、「雑巾」と「窓」が両方とも関係する行動が検索され、その中から出現頻度が最も高い「拭く」という用言が選択される。
【００６２】
このとき、格要素が同じ場合には「窓に雑巾にする」といった不自然な日本語が生成されてしまう。このような場合に自然な日本語を生成するには、両方のモノが関係する行動だが、それぞれのモノの格要素は異なる行動を選択するとよい。また、主格（ガ格）やノ格で接続する用言は採用しない、軽動詞は動作対象がサ変接続の名詞の場合以外は採用しない、といったルールを導入するとより自然な日本語を生成できる。
【００６３】
行動検索結果の中に複数のモノが両方とも関係する行動が非常に少ない、もしくはコーパス中で出現頻度が低い場合には、別の動作がほぼ同時に行われていると判断してそれぞれのモノに対して頻度が最も高い用言を選択する。例えば「パソコン」と「お菓子」であれば、「パソコンをする」、「お菓子を食べる」のようにする。別の動作が同時に行われていると判断する基準としては、そもそも行動検索機能で係り得る動作が見つかるかどうか、もしくは頻度の閾値を定めその範囲内で見つかるかどうか、見つからない場合には別の動作に分けて行動を決定する。
【００６４】
閾値は経験的に予め定めた閾値や統計に基づく算出値により決定する。経験的には行動検索処理部２２１の検索結果のうち、出現頻度が上位２割程度のところに設定するとよい。しかしこれに限らず、統計値に基づく算出値、例えば平均値、中央値、最頻値、指数平均値、平均値から標準偏差の数倍以上の外れ値（極端な値）を除いて処理する調整平均、移動平均、平均値から標準偏差の数倍より低い値、その他過去の事例から得られた予め定めた値等を閾値に用いてもよい。なお、ここでは出現頻度により行動を決定する処理手法を述べたが、尤もらしい行動を決定する基準はコーパス中の頻度だけに限定されるものではない。
【００６５】
最後に、ステップＳ５７により上記行動データ記憶部３６に記憶された行動データが読み出され、出力生成処理部２２３に渡される。
【００６６】
（７）出力生成処理
上記行動決定処理部２２２により最も尤もらしい行動を表すデータが選択されると、続いて出力生成処理部２２３により、上記選択された行動データを表す自然な文章が生成される。例えば「雑巾」に対して「絞る」という１つの用言が選ばれた場合には、「雑巾を絞る」という行動を表す文章が生成され、また「雑巾」と「窓」という２つの用言が選ばれた場合には「雑巾で窓を拭く」という行動を表す自然な文章が生成される。そして、上記生成された行動を表す文章は、例えば情報のレコメンドサービスを行う事業者や医療や介護サービスを行う事業者が使用する事業者端末へ、通信インタフェースユニット１から送信される。
【００６７】
（効果）
以上詳述したように一実施形態では、人の行動と当該行動の対象となるモノや場所、状況、時間等との組み合わせを言語情報で記述した行動知識ベース記憶部３４を備えている。そして、先ず上記行動の対象に関する検出値をセンサから取得し、当該取得した検出値を解析して同一時刻に得られた検出値を統合した後、上記対象を表す言語情報に変換する。そして、この変換された対象を表す言語情報をもとに、上記行動知識ベース記憶部３４から対応する行動を表す言語情報を検索し、この検索された言語情報の中から出現確率が最も高いものを選択して、文章化し出力するようにしている。
【００６８】
したがって、教師データや人手により作成した知識ベースを使用して人の行動を認識する手法では認識が困難だった、不特定多数の人の行動や特定の人がとった新たな行動についても、高い確率で認識することが可能となる。
【００６９】
また、行動知識ベースの作成部により、Web上のデータから、人の行動と当該行動の対象となるモノや場所、状況、時間等との組み合わせを表すデータを統計的に抽出し、当該抽出したデータを言語情報で記述した形態で上記行動知識ベース記憶部３４に記憶させるようにしている。このため、行動知識ベース記憶部３４の記憶データを行動認識装置において自律的に作成または更新することが可能となり、これにより行動知識ベースを認識対象となる行動の変化や種類の増加等に応じてさらに充実させることができる。
【００７０】
さらに、行動の対象となるモノや場所、状況、時間等に関する検出値が複数得られた場合に、これらの検出値を同一時刻に得られたもの同士で統合するようにしている。このため、人が行動をとったときのコンテキストをより詳細に把握することが可能となり、これにより行動認識の精度を高めることが可能となる。
【００７１】
さらに、上記行動知識ベース記憶部３４から、上記変換されたモノや場所、状況、時間等の行動の対象を表す言語情報に対応する行動を表す言語情報が複数検索された場合に、この複数の行動を表す言語情報の中から、検出値が同一時間帯に得られた他の対象の言語情報に対応する行動を表す言語情報と共通のものを選択するようにしている。このため、人が同一時間帯にとった行動が複数の対象に関連する場合に、これら複数の対象をもとに行動知識ベースから検索された行動のうち共通のものが、当該人がとった行動として認識される。このため、人の行動をより正確に認識することが可能となる。
【００７２】
さらに、行動知識ベース記憶部３４から、行動を表す言語情報が複数検索された場合に、上記行動知識ベース記憶部３４に記憶された出現頻度を参照して、上記複数の行動を表す言語情報の中から出現頻度が最も高いものを選択するようにしている。このため、複数の行動を表す言語情報のうち出現頻度が所定条件を満たすものが、当該人がとった行動として認識される。この結果、過去の検索履歴を参照してより確率の高い行動を当該人の行動として認識することが可能となる。
［他の実施形態］
行動知識ベース記憶部３４から行動を表す言語情報を検索するごとにその検索頻度を計算し、上記検索された複数の行動を表す言語情報の中から、その検索頻度が行動知識ベース記憶部３４に記憶された出現頻度と最も近い行動の言語情報を選択するようにしてもよい。
【００７３】
その他、行動認識装置の設置場所や構成、対象検出部および行動選択部の処理手順と処理内容、センサの種類とその検出値の構成、行動知識ベース記憶部に記憶される行動知識ベースの構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００７４】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００７５】
１…行動認識装置、２…制御ユニット、３…記憶ユニット、２１…対象検出部、２２…行動選択部、３１…センシングデータ記憶部、３２…解析結果記憶部、３３…変換結果記憶部、３４…行動知識ベース記憶部、３５…検索結果記憶部、３６…行動データ記憶部、２１１…センサ処理部、２１２…データ解析処理部、２１３…テキスト変換処理部、２２１…行動検索処理部、２２２…行動決定処理部、２２３…出力生成処理部。
【図１】
2016126569.tif 000003
【図２】
2016126569.tif 000004
【図３】
2016126569.tif 000005
【図４】
2016126569.tif 000006
【図５】
2016126569.tif 000007
【図６】
2016126569.tif 000008
【図７】
2016126569.tif 000009
【図８】
2016126569.tif 000010
【図９】
2016126569.tif 000011
【図１０】
2016126569.tif 000012
【図１１】
2016126569.tif 000013
【図１２】
2016126569.tif 000014