(57)【特許請求の範囲】
【請求項１】
環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、前記環境で起きた任意の事象を検索する事象検索装置であって、
環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するセンサデータベースと、
前記対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、前記計測データを用いて前記対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶する事象記述子辞書と、
自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、前記事象記述子辞書から前記述語に対応する事象記述子を検索する質問受付部と、
前記質問受付部で得られた前記事象記述子に対応する物理量表現に該当する計測データを前記センサデータベースから検索し、その検索結果に応じて検索対象となる前記事象に関する検索結果情報を出力するデータ検索部と
を備え、
前記物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる
ことを特徴とする事象検索装置。
【請求項２】
請求項１に記載の事象検索装置において、
前記質問受付部は、前記質問情報から検索対象となる事象に関与する対象物を示す対象物情報を抽出し、
前記データ検索部は、前記計測データを検索する際、前記物理量表現に該当する計測データであって、かつ前記対象物情報と一致する対象物から得られた計測データを前記センサデータベースから検索する
ことを特徴とする事象検索装置。
【請求項３】
請求項１に記載の事象検索装置において、
前記事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語と、これら述語修飾語が属するグループを示す補助記述子と、前記計測データを用いた式で表現した当該条件の物理量表現と、の対応関係を記憶する補助記述子辞書をさらに備え、
前記質問受付部は、前記質問情報から当該事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語を抽出して、前記補助記述子辞書から前記述語修飾語に対応する補助記述子を検索し、
前記データ検索部は、前記計測データを検索する際、前記質問受付部で得られた前記事象記述子および前記補助記述子と対応するそれぞれの物理量表現に該当する計測データを前記センサデータベースから検索する
ことを特徴とする事象検索装置。
【請求項４】
請求項１に記載の事象検索装置において、
前記質問情報の構文を解析する構文解析部をさらに備え、
前記質問受付部は、前記構文解析部での解析結果に基づいて前記述語を抽出する
ことを特徴とする事象検索装置。
【請求項５】
請求項１に記載の事象検索装置において、
前記事象記述子ごとに、前記対象物に関する計測データの変化を示すデータパターンを記憶する事象参照データベースをさらに備え、
前記データ検索部は、前記計測データを検索する際、前記質問受付部で得られた前記事象記述子に対応するデータパターンを前記事象参照データベースから検索し、当該データパターンと類似して変化する計測データを前記センサデータベースから検索する
ことを特徴とする事象検索装置。
【請求項６】
請求項１に記載の事象検索装置において、
前記事象記述子ごとに、当該事象に関する計測データの格納アドレスからなるセグメント情報を記憶する事象参照データベースをさらに備え、
前記データ検索部は、前記計測データを検索する際、前記質問受付部で得られた前記事象記述子に対応するセグメント情報を前記事象参照データベースから検索し、当該セグメント情報の格納アドレスで特定される計測データから前記事象記述子に対応する物理量表現に該当する計測データを検索する
ことを特徴とする事象検索装置。
【請求項７】
環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、前記環境で起きた任意の事象を検索する事象検索装置で用いられる事象検索方法であって、
センサデータベースが、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するステップと、
事象記述子辞書が、前記対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、前記計測データを用いて前記対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶するステップと、
質問受付部が、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、前記事象記述子辞書から前記述語に対応する事象記述子を検索するステップと、
データ検索部が、前記質問受付部で得られた前記事象記述子に対応する物理量表現に該当する計測データを前記センサデータベースから検索し、その検索結果に応じて検索対象となる前記事象に関する検索結果情報を出力するステップと
を備え、
前記物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる
ことを特徴とする事象検索方法。
【請求項８】
環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、前記環境で起きた任意の事象を検索する事象検索装置のコンピュータで、
センサデータベースが、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するステップと、
事象記述子辞書が、前記対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、前記計測データを用いて前記対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶するステップと、
質問受付部が、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、前記事象記述子辞書から前記述語に対応する事象記述子を検索するステップと、
データ検索部が、前記質問受付部で得られた前記事象記述子に対応する物理量表現に該当する計測データを前記センサデータベースから検索し、その検索結果に応じて検索対象となる前記事象に関する検索結果情報を出力するステップと
を実行させ、
前記物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサネットワーク技術に関し、特に自然言語で表現される単語や文に対応する事象や現象を検出する事象検索技術に関する。
【背景技術】
【０００２】
環境の状況は、屋内、屋外に関わらず、そこに存在する人間もしくはその他の要因により、時々刻々と変化していく。その一部はセンサによって検知可能であり、ネットワークへの接続機能を有する複数のセンサを環境内に分散設置したセンサネットワークからの情報を集約することにより、環境全体もしくは一部の状況変化が把握可能となる。なお、ここでいうセンサは、周辺の物理量や信号を検知するデバイスを指す。
【０００３】
とりわけ、環境に暮らす人間やそこに存在するものによって引き起こされる事象や現象は、環境の状況変化を引き起こす。この状況変化を環境内に設置したセンサで記録・蓄積すれば、過去に起きた事象や現象を特定することが可能となる。さらに、事象や現象を自然言語の単語や構文で表現することにより、人間にとって親和性の高い事象・現象検索装置を構築することができる。
【０００４】
このような装置によれは、事象の検索や次に発生する確率の高い状況の予測が可能となる。またこの予測により、状況の一部として、もし、その場にいるユーザが行う動作を予測することができれば、ユーザの危険状況を察知して警告を出して回避を促したり、ユーザが行う動作をシステムが代わりに実施することができる。実際、自動ドアやＨＶＡＣシステムは、センサとアクチュエータの組を使って、後者の代行動作をシンプルに設定したものと考えることもできる。
【０００５】
また、ユビキタスコンピューティングに関連し、家電ネットワークやセンサネットワークに関する研究成果も数多く発表されており、すでに防犯や医療現場、車載機器への応用利用が始まっている（例えば、非特許文献１参照）。これらの成果は、コンピュータの性能向上、新たなネットワーク標準の出現、電池・電源・センサデバイスの小型化に起因するところが大きい。これに伴い、従来、環境で発生する状況変化の認識も、壁面・天井等に固定されたカメラを利用した画像認識や観測対象が固定されたセンサに頼る設置状況への依存度が大きい方法だけでなく、環境内にセンサを多数設置して、そこで収集された情報をもとに、環境で起きた事象や現象を検索する装置を構築する条件は整ってきている。
【０００６】
例えば、非特許文献２に示されたＳｍａｒｔＤｕｓｔプロジェクトでは、超小型センサノードを塗料に混ぜて壁に塗りつけ、周囲の状況認識を実現するアイデアを提案されている。また、Ｓｍａｒｔ−ＩＴＳプロジェクトでは、センサノード間の近接関係から、激しい反応を起こす薬品を隣に置かないように警告を出すような薬品管理システムが構築されている。
また、自然言語の単語によるＷｅｂ検索は日常的に行われているのは周知の事実である。また、非特許文献３に示すように、自然言語の文に近い文で、環境に存在するものがどこにあるのかを問うシステムも開発されている。
【０００７】
【非特許文献１】Y.Nakauchi, K.Noguchi, P.Somwong, T.Matsubara, and A.Namatame. Vivid room: human intention detection and activity support environment for ubiquitous autonomy, Proc. of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS2003), PP.773-773, 2003.
【非特許文献２】J.M.Kahn, R.H.Katz, and K.S.J.Pister., Next century challenges: mobile networking for smart dust, Proc. MOBICM, pp.271-278, 1999.
【非特許文献３】K.一K.Yap, V.Srinivasan, and M.Motani. MAX: human-centric search of the physical world, Proc. of the 3rd ACM Conference on Embedded Networked Sensor Systems(SenSys'05), pp.166-179, 2005.
【非特許文献４】C.Fellbaut, WordNet: an electronic lexical database, MIT Press, 1998.
【非特許文献５】平松薫, 服部正嗣, 山田辰美, 岡留剛. Pervasive Association: ユビキタス環境における意味統合(2)一センサネットワークを利用した実世界の関係情報の収集一マルチメディア, 分散, 協調とモバイル(DlCOMO2005)シンポジウム論文集, pp.169-172, 2005.
【非特許文献６】古井貞熙, 音響・音声工学, 近代科学社, 1992.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような従来技術では、状況の変化を逐次記録する多種多数のセンサを設置した環境において、センサで観測した環境や環境における物の状態変化を検出できるものの、自然言語で表現される単語や文によりＷｅｂ上での情報検索を行う場合と同様に、広く実世界で起こる事象や現象を検索することはできない。
本発明はこのような課題を解決するためのものであり、自然言語で表現される単語や文により、実世界で起こった事象や現象を検索できる事象検索装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
このような目的を達成するために、本発明にかかる事象検索装置は、環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、環境で起きた任意の事象を検索する事象検索装置であって、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するセンサデータベースと、対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、計測データを用いて対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶する事象記述子辞書と、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、事象記述子辞書から述語に対応する事象記述子を検索する質問受付部と、質問受付部で得られた事象記述子に対応する物理量表現に該当する計測データをセンサデータベースから検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するデータ検索部とを備え、物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる。
【００１０】
この際、質問受付部で、質問情報から検索対象となる事象に関与する対象物を示す対象物情報を抽出し、データ検索部で、計測データを検索する際、物理量表現に該当する計測データであって、かつ対象物情報と一致する対象物から得られた計測データをセンサデータベースから検索するようにしてもよい。
【００１１】
また、事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語と、これら述語修飾語が属するグループを示す補助記述子と、計測データを用いた式で表現した当該条件の物理量表現と、の対応関係を記憶する補助記述子辞書をさらに備え、質問受付部で、質問情報から当該事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語を抽出して、補助記述子辞書から述語修飾語に対応する補助記述子を検索し、データ検索部で、計測データを検索する際、質問受付部で得られた結合記述子および補助記述子と対応するそれぞれの物理量表現に該当する計測データをセンサデータベースから検索するようにしてもよい。
【００１３】
また、質問情報の構文を解析する構文解析部をさらに備え、質問受付部で、構文解析部での解析結果に基づいて述語を抽出するようにしてもよい。
【００１４】
また、事象記述子ごとに、対象物に関する計測データの変化を示すデータパターンを記憶する事象参照データベースをさらに備え、データ検索部で、計測データを検索する際、質問受付部で得られた事象記述子に対応するデータパターンを事象参照データベースから検索し、当該データパターンと類似して変化する計測データをセンサデータベースから検索するようにしてもよい。
【００１５】
また、事象記述子ごとに、当該事象に関する計測データを特定するセグメント情報を記憶する事象参照データベースをさらに備え、データ検索部は、計測データを検索する際、質問受付部で得られた事象記述子に対応するセグメント情報を事象参照データベースから検索し、当該セグメント情報に対応する計測データから事象記述子に対応する物理量表現に該当する計測データを検索するようにしてもよい。
【００１６】
また、本発明にかかる事象検索方法は、環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、環境で起きた任意の事象を検索する事象検索装置で用いられる事象検索方法であって、センサデータベースが、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するステップと、事象記述子辞書が、対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、計測データを用いて対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶するステップと、質問受付部が、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、事象記述子辞書から述語に対応する事象記述子を検索するステップと、データ検索部が、質問受付部で得られた事象記述子に対応する物理量表現に該当する計測データをセンサデータベースから検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するステップとを備え、物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる。
【００１７】
また、本発明にかかるプログラムは、環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、環境で起きた任意の事象を検索する事象検索装置のコンピュータで、センサデータベースが、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するステップと、事象記述子辞書が、対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示す事象記述子と、計測データを用いて対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係を記憶するステップと、質問受付部が、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出し、事象記述子辞書から述語に対応する事象記述子を検索するステップと、データ検索部が、質問受付部で得られた事象記述子に対応する物理量表現に該当する計測データをセンサデータベースから検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するステップとを実行させ、物理量表現は、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組からなる。
【発明の効果】
【００１８】
本発明によれば、センサデータベースにより、環境内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、が組として記憶されるとともに、事象記述子辞書により、対象物に関する事象を示す単語と、当該単語が属するグループを示す事象記述子と、計測データを用いて対象物の状態を示した式で表現した当該事象の物理量表現と、の対応関係が記憶され、質問受付部により、自然言語で入力された質問情報から検索対象となる事象を示す述語が抽出されて、事象記述子辞書から述語に対応する事象記述子が検索される。また、物理量表現として、当該事象の発生前、発生中、発生後の各区間を示す時間制約式からなる時間制約式部と、当該区間における当該事象を任意の物理量で表現した物理式からなる物理式部との組が用いられている。
【００１９】
そして、データ検索部により、質問受付部で得られた事象記述子と対応する物理量表現に該当する計測データがセンサＤＢから検索され、その検索結果に応じて検索対象となる事象に関する検索結果情報が出力される。
これにより、状況の変化を逐次記録する多種多数のセンサを設置した環境において、自然言語で表現される単語や文により、実世界で起こった事象や現象を検索することが可能となる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる事象検索装置について説明する。図１は、本発明の第１の実施の形態にかかる事象検索装置の構成を示すブロック図である。
この事象検索装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、環境内の対象物に取り付けられた複数のセンサで計測された計測データを記憶するセンサデータベースを検索することにより、環境で起きた任意の事象を検索する。
【００２１】
本実施の形態は、各センサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するセンサデータベースと、対象物に関する事象を示す単語と、当該単語が属するグループを示す事象記述子と、計測データを用いた式で表現した当該事象の物理量表現と、の対応関係を記憶する事象記述子辞書を設け、自然言語で入力された質問情報から検索対象となる事象を示す単語を抽出し、事象記述子辞書から単語が属するグループを示す事象記述子を検索し、この事象記述子と対応する物理量表現に該当する計測データをセンサデータベースから検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するようにしたものである。
【００２２】
次に、図１を参照して、本発明の第１の実施の形態にかかる事象検索装置の構成について詳細に説明する。
事象検索装置１には、主な機能部として、データ収集部１０、センサデータベース（以下、センサＤＢという）１１、質問受付部１２、事象記述子辞書１３、データ検索部１４、質問応答部１５が設けられている。
【００２３】
これら機能部のうち、データ収集部１０、質問受付部１２、データ検索部１４、質問応答部１５は、専用の演算処理回路部で実現してもよいが、ＣＰＵなどのマイクロプロセッサとその周辺回路からなる演算処理部を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよい。
【００２４】
また、センサＤＢ１１および事象記述子辞書１３は、メモリやハードディスクなどの記憶装置からなる記憶部（図示せず）で実現され、各機能部間でやり取りされる処理情報も上記記憶部を介してやり取りされる。また、演算処理部で用いられるプログラムは上記記憶部に格納しておいてもよい。この他、事象検索装置１には、一般的な情報処理装置と同様に、操作入力装置、画面表示装置、データ入出力装置などの各種基本的構成が設けられており、各種データの入出力に用いられる。
【００２５】
データ収集部１０は、環境３に配置された各センサノード４０（４１〜４４）で計測された計測データおよびその属性情報をセンサネットワーク２を介して収集する機能と、収集した計測データおよび属性情報をセンサＤＢ１１へ格納する機能とを有している。
センサノード４０は、加速度センサ、温度センサ、人感センサなど、環境３で生じた事象を検出して出力するセンサと、無線ないしは有線でデータ通信を行う機能とを有している。
【００２６】
これらセンサノード４０は、例えば室内などの環境３に配置されているテーブル３１、椅子３２、花瓶３３、本３４などの対象物に取り付けられており、センサで計測した計測データに加え、当該計測データを計測した時刻を示す時刻情報、計測に用いたセンサを識別するためのセンサＩＤ、当該センサノード４０が取り付けられている対象物の名称などの属性情報を出力する。
図２は、計測データの構成例を示す説明図である。ここでは、対象物であるテーブル３１、椅子３２、花瓶３３、本３４に関する加速度がセンサにより計測され、計測データとして出力されている。
【００２７】
センサＤＢ１１は、計測データとその属性情報との組を記憶するデータベースである。
図３は、センサデータベースの構成例を示す説明図である。ここでは、計測データが検出されたセンサの「センサＩＤ」、当該センサノードが取り付けられている対象物の名称や識別情報を示す「対象物情報」、計測データの内容を示す「データ種別」、計測データの「データ単位」、「計測データ」、およびその「時刻情報」が組として格納されている。
【００２８】
質問受付部１２は、自然言語で入力された質問情報から単語として、検索対象となる事象を示す動詞からなる述語や、事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語を抽出する機能と、事象記述子辞書１３から当該述語に対応する事象記述子および物理量表現を検索する機能とを有している。
【００２９】
事象記述子辞書１３は、対象物に関する事象を示す動詞からなる述語と、当該述語が属するグループを示すラベルからなる事象記述子と、計測データを用いた式で表現した当該事象の物理量表現と、の対応関係を記憶するデータベースである。
図４は、事象記述子辞書の構成例を示す説明図である。ここでは、対象物に関する事象を示す「述語」、「事象記述子」、および「物理量表現」が互いに対応付けられて格納されている。
【００３０】
データ検索部１４は、質問受付部１２により事象記述子辞書１３から検索された事象記述子および物理量表現に基づいて、この事象記述子および物理量表現に該当する計測データをセンサＤＢ１１から検索する機能と、その検索結果に応じて検索対象となる事象に関する検索結果情報として、当該計測データやその属性情報を出力する機能とを有している。
質問応答部１５は、データ検索部１４からの検索結果情報を受け取り、画面表示装置（図示せず）やデータ入出力装置から、質問受付部１２で受け付けた質問情報に対応する回答として出力する機能を有している。
【００３１】
［事象記述子辞書］
次に、図５を参照して、事象記述子辞書について詳細に説明する。図５は、事象記述子辞書の具体例を示す説明図である。
【００３２】
事象記述子辞書１３は、次のようにして予め生成しておく。まず、シソーラス体系を用いて、「運動」に関係する基本的な動詞と「スカラー物理量」に関係する基本的な動詞とを種として、シソーラスの関係にあるリンクを辿っていき、物理現象と対応付けできる述語を可能な限り集める。
ここでは、英語の電子シソーラス体系ＷｏｒｄＮｅｔ（非特許文献４など参照）を利用して、「運動」に関係する動詞「move,reach,pass,exit,touch,enter」と、「スカラー物理量」に関係する動詞「rise,drop,increase,keep,remain」とを種として、シソーラスの関係にあるリンクを次々に辿っていき、物理現象と対応付けできる述語をすべて集める。
【００３３】
その際、厳密に同一の意味を持つ複数の述語は１つのグループとして、ＷｏｒｄＮｅｔ中に記載されているその意味を表現する節を利用してそのグループにラベル付けする。例えば、動詞「shift,dislodge,reposition」は、「change direction（方向を変える）」という共通の意味を持つ１つのグループを形成し、そのグループに対して「change-direction」というラベルを付ける。このようにして、ラベル付けされた述語グループをそれぞれ作成する。
【００３４】
次に、これら述語グループごとに、他動詞か自動詞かの区別をして、ラベルに補助記号を導入する。例えば、ラベル「change-location」については、他動詞「move,travel,locomote,go」のグループの場合、「change-location(a,o)」のように２つの引数を付け、引数aが他動詞における主語を表現し、引数oが目的語を表現できるようにする。一方、自動詞の場合は、「change-location(o)」と主語のみを明示できるようにするか、あるいはそれを省略して「change-location」と表現する。
【００３５】
さらに、時間や場所などの情報をその意味として内包する単語があり、それらの単語群に対するラベルにその情報を明示する引数を付与する表現を導入する。すなわち、「reach-destination」というラベルを貼られた自動詞単語群「read,arrive at,gain」は、到達すべき「場所」あるいは「物体」があることをその意味に内包しているので、「reach-destination(b:object)」、あるいは正確には「(reach-destination(o))(b:object)」と表記する。
この引数を持ったラベルを事象記述子と呼び、事象記述子をアルファベット順に並べて電子化した辞書（事象記述子辞書）を作成する。また、そのラベルに対する単語群はその事象記述子に関連付けられると呼ぶ。
【００３６】
事象記述子辞書１３は、図５に示すように、対象物に関する事象を示す述語１３Ａに対して、事象記述子１３Ｂと物理量表現１３Ｃが対応付けられている。
物理量表現１３Ｃは、当該事象を時間分割して設けたそれぞれの区間を示す時間制約式からなる時間制約式部１３Ｅと、当該区間における当該事象を３次元座標や速度，温度，湿度などの任意の物理量で表現した物理式（P1,P2,P3）からなる物理式部１３Ｄとの組から構成されている。
【００３７】
例えば、図５（ａ）では、「move,travel,locomote」という各述語１３Ａに対して、「change-location(a,o)」という事象記述子１３Ｂと、
P1:do not care (tO≦t＜t1),
P2:|v|＞0 (t1≦t≦t2),
P3:do not care (t2＜t≦t3).
という物理量表現１３Ｃが関連付けられている。ここで、物理量表現１３Ｃのうち、時間制約式部１３Ｅにおけるt0,t1,t2,t3は実数値を取る時刻を表わすパラメータであり、時刻t1が当該事象の発生時刻に相当し、時刻t2が当該事象の終了時刻に相当する。
【００３８】
したがって、物理式部１３Ｄのうち式P1が事象発生直前の区間における対象物の状態を示し、式P2が事象発生中の区間における対象物の状態を示し、式P3が事象発生直後の区間における対象物の状態を示している。
上記例では、時刻t1から時刻t2の事象発生中区間における条件として、対象物oの速度ベクトルvの大きさ|v|が０より大きいという条件、すなわち対象物oが移動していることが物理式部１３Ｄで規定されていることになる。
【００３９】
また、図５（ｂ）では、「move」という述語１３Ａに対して、「(go-from-region-to-region(o))(r1:region,r2:region)」という事象記述子１３Ｂと、
D(x,r1)＝0 (t0≦t＜t1),
|v|＞0 & D(x,r2)＞0 (t1≦t≦t2),
D(x,r2)＝0 (t2＜t≦t3).
という物理量表現１３Ｃが関連付けられている。ここで、物理量表現１３Ｃのうち、xは対象物oの３次元座標であり、D(r1,r2)は、r1とr2のユークリッド距離を表わし、vは対象物oの速度ベクトルを表わす。この場合、対象物oは時刻t1以前の区間において領域region1にあり、時刻t1から動きが始まって時刻t2で領域region2に到達し、時刻t2より後の区間ではregion2にあることを表現している。&は論理積を示す。
【００４０】
また、図５（ｃ）では、「drop」という述語１３Ａに対して、「fall-vertically(o)」という事象記述子１３Ｂと、
do not care (tO≦t＜t1),
(v/|v|)・(g/|g|)＝1 & a＝9 (t1≦t≦t2),
do not care (t2＜t≦t3).
という物理量表現１３Ｃが関連付けられている。ここで、物理量表現１３Ｃのうち、gは重力定数ベクトル、「・」は内積、aは対象物oの加速度を表わす。この場合、対象物oは時刻t1から時刻t2の区間において加速度gで鉛直下に向かって動いていることを表している。
このようにして、各述語１３Ａを代表する事象記述子１３Ｂの各々についての物理量表現１３Ｃを策定し、事象記述子辞書１３に保存する。
【００４１】
［第１の実施の形態の動作］
次に、図６および図７を参照して、本発明の第１の実施の形態にかかる事象検索装置の動作について説明する。図６は、本発明の第１の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。図７は、事象記述子と物理量表現の具体例を示す説明図である。
【００４２】
以下では、図１の各センサノード４０（４１〜４４）は３軸加速度センサを掲載しているものとし（非特許文献５など参照）、計測データとして、その加速度センサに固有の３軸（ＸＹＺ方向）の加速度データを出力し、さらに鉛直方向の加速度を出力する。また、データ収集部１０は、これら計測データに基づいて鉛直方向の加速度とそれに垂直な平面での加速度の絶対値を計算し、センサＤＢ１１へ順次格納するものとする。このとき、それぞれの方向で、センサの最大値が閾値の以下の値を示した場合は加速度０とし、また閾値以上の値を示した場合はその値をその時間の動きの大きさとする。
【００４３】
事象検索装置１は、オペレータの操作に応じて図６の事象検索処理を開始する。まず、質問受付部１２は、オペレータにより自然言語で入力された質問情報から検索対象となる事象を示す単語を抽出する（ステップ１００）。
このとき、例えば「花瓶を落とす」という事象を示す「vase drop」という質問情報が入力された場合、質問受付部１２は、対象物に関する事象の内容を示す「drop」という動詞からなる述語と、当該事象に関与する対象物の名称を示す「vase」という名詞からなる対象物情報を質問情報から抽出する。
【００４４】
次に、質問受付部１２は、事象記述子辞書１３から、述語「drop」に関連付けられている事象記述子として「fall-vertically(o)」を検索する（ステップ１０１）。ここで、図７に示す事象記述子と物理量表現が事象記述子辞書１３に登録されている場合、その事象記述子に関連付けられている物理量表現として
do not care (tO≦t＜t1);0＜t1-t0,
(v/|v|)・(g/|g|)＝1 & a＝g (t1≦t≦t2);200msec≦t2-t1＜800msec,
do not care (t2＜t≦t3);0＜t3-t2.
を取得し、この事象記述子の引数に対象物情報「vase」を割り当てた事象記述子「fall-vertically(vase)と物理量表現とを含む検索要求をデータ検索部１４に渡す。
【００４５】
データ検索部１４は、質問受付部１２からの検索要求に応じて、その検索要求に含まれる事象記述子および物理量表現に該当する計測データをセンサＤＢ１１から検索する（ステップ１０２）。
具体的には、検索要求に含まれる物理量表現で指定されているt2-t1の値の範囲を取り出し、それが２００msecから８００msecの間なので（室内の天井はせいぜい３００cmであり、そこからの自由落下もせいぜい８００msecよりも短い時間で床に達するので）、その間で２００msecから順に増やしていき、事象記述子に含まれる「vase」を対象物情報とする計測データ、すなわち「花瓶」に添付された加速度センサの計測データを、直近に蓄積されたものから過去へとセンサＤＢ１１をチェックし、条件「(v/|v|)・(g/|g|)＝1 & a＝g」が成立する計測データを検索する。
【００４６】
この際、初速は「０（ゼロ）」と置いて、数値積分することにより各時刻における速度ベクトルを算出する。この条件が満たされるか否かの等号判定は、加速度センサの持つ誤差の範囲で行う。例えば、加速度センサの最大誤差を１０％とした場合、その範囲の誤差を考慮して等号判定を行う。
データ検索部１４は、検索結果として得られた計測データの時刻情報をもとに、その時刻情報に相当する時刻を検索結果情報として質問応答部１５に出力する。
【００４７】
質問応答部１５は、データ検索部１４から検索結果情報として出力された時刻を受け取り、画面表示装置（図示せず）やデータ入出力装置から、質問受付部１２で受け付けた質問情報に対応する回答として出力する（ステップ１０３）。これにより、一連の事象検索処理が終了する。
【００４８】
このように、本実施の形態は、センサＤＢ１１により、環境３内の対象物に取り付けられた複数のセンサで計測された計測データと、当該計測データが計測された時刻を示す時刻情報と、を組として記憶するとともに、事象記述子辞書１３により、対象物に関する事象を示す単語と、当該単語が属するグループを示す事象記述子と、計測データを用いた式で表現した当該事象の物理量表現と、の対応関係を記憶しておき、質問受付部１２により、自然言語で入力された質問情報から検索対象となる事象を示す述語を抽出して、事象記述子辞書１３から述語に対応する事象記述子を検索する。
【００４９】
そして、データ検索部１４により、質問受付部１２で得られた事象記述子と対応する物理量表現に該当する計測データをセンサＤＢ１１から検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するものである。
これにより、状況の変化を逐次記録する多種多数のセンサを設置した環境において、自然言語で表現される単語や文により、実世界で起こった事象や現象を検索することが可能となる。
【００５０】
本実施の形態では、テーブル３１、椅子３２、花瓶３３、本３４などの対象物にセンサを取り付けた場合を例として説明したが、これに限定されるものではない。例えば、室内にいる人にＲＦＩＤタグや前述したセンサノードを持たせていれば、時刻情報と人に付けられたＲＦＩＤタグやセンサノードの記録から、花瓶が落下したときに室内にいた人の名前を検索して表示できる。
また、人にＲＦＩＤタグやセンサノードを持たせない場合は、時刻情報とともにビデオカメラで室内を撮影しておけば、その時刻情報をもとにしてそのときの映像を瞬時に再生することができ、落とした人物を瞬時に特定することができる。
【００５１】
また、本実施の形態では、質問受付部１２により、質問情報から検索対象となる事象を示す述語と、その事象に関与する対象物を示す対象物情報を抽出し、データ検索部１４により、計測データを検索する際、物理量表現に該当する計測データであって、かつ対象物情報と一致する対象物から得られた計測データをセンサＤＢ１１から検索するようにしたので、質問情報で対象物情報を指定することにより、所望の対象物に関する事象を詳細に検索することができる。なお、対象物情報を指定しない場合は、対象物に関係なく環境内で起きた任意の事象を検索することができる。
【００５２】
また、本実施の形態では、質問受付部１２により、検索対象となる事象の事象記述子１３Ｂとその物理量表現１３Ｃとを事象記述子辞書１３を検索し、これらを検索要求としてデータ検索部１４へ渡す場合を例として説明したが、これに限定されるものではない。例えば、質問受付部１２により、事象記述子１３Ｂだけを検索して検索要求としてデータ検索部１４へ渡し、データ検索部１４により、事象記述子辞書１３から当該事象記述子１３Ｂに対応する物理量表現１３Ｃを検索するようにしてもよい。
【００５３】
［第２の実施の形態］
次に、図８を参照して、本発明の第２の実施の形態にかかる事象検索装置について説明する。図８は、本発明の第２の実施の形態にかかる事象検索装置の構成を示すブロック図であり、前述した図１と同じまたは同等部分には同一符号が付してある。
【００５４】
第１の実施の形態では、質問受付部１２に入力される質問情報により、対象物に関する事象の内容を示す述語、さらには当該事象に関与する対象物を示す対象物情報が指定される場合を例として説明した。本実施の形態では、事象の内容を示す述語を修飾する述語修飾語が指定された質問情報を質問受付部１２で受け付けて所望の事象を検索する場合について説明する。
【００５５】
第１の実施の形態と比較して、本実施の形態にかかる事象検索装置１には補助記述子辞書１６が追加されている。なお、他の構成については第１の実施の形態と同様であり、ここでの詳細な説明は省略する。
【００５６】
補助記述子辞書１６は、前述した記憶部から構成され、対象物の事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語と、当該述語修飾語が属するグループを示すラベルからなる補助記述子と、計測データを用いた式で表現した当該事象の物理量表現と、の対応関係を記憶するデータベースである。
図９は、補助記述子辞書の構成例を示す説明図である。ここでは、対象物に関する事象を示す「述語修飾語」、「補助記述子」、および「物理量表現」が互いに対応付けられて格納されている。
【００５７】
［補助記述子辞書］
次に、図１０を参照して、補助記述子辞書について詳細に説明する。図１０は、補助記述子辞書の具体例を示す説明図である。
補助記述子辞書１６は、事象記述子辞書１３と同様にして予め生成しておく。
【００５８】
すなわち、空間的あるいは時間的な高出現頻度の副詞をもとにした補助記述子として、「near(b＝object),far(b＝object),quickly,slowly,vertically,horizontally」と、時間に関係する前置詞をもとにした「at_t(tau),in_t(tau)」と、空間に関する前置詞をもとにした「at_p(b:object),in_p(b=object),on_p(b＝object)」を補助記述子として導入する。さらに、「運動」に関する形容詞から「fast,slow,constant」、「スカラー物理量」に関する形容詞から「low,high,equal ascending,descending」を補助記述子として導入する。以上の補助記述子全体を電子化した辞書を作成しそれを補助記述子辞書と呼ぶ。
【００５９】
多くの事象や現象は時間と空間の中で起こるので、事象記述子と補助記述子の接合(concatenation)はさまざまな事象・現象の記述を可能にする。例えば、引数に値が割り当てられた事象記述子「change-location(person A,chair B)」と、やはり引数に値が割り当てられた補助記述子「in_p(room C)」との接合「change-location(person A,chair B) in_p(room C)」は、事象「部屋Ｃで、人Ａが椅子Ｂを動かす」を表現する。
【００６０】
補助記述子辞書１６は、図１０に示すように、事象に関する時間的あるいは空間的な条件を示す副詞，前置詞，形容詞などの述語修飾語１６Ａに対して、補助記述子１６Ｂと物理量表現１６Ｃが対応付けられている。
例えば、図１０（ａ）では、副詞「horizontally」という述語修飾語１６Ａに対して、「horizontally」という補助記述子１６Ｂと、
P1:do not care (tO≦t＜t1),
P2:v・g＝0 (t1≦t≦t2),
P3:do not care (t2＜t≦t3).
という物理量表現１６Ｃが関連付けられている。ここで、物理量表現１６Ｃのうち、時間制約式部１６Ｅにおけるt0,t1,t2,t3は実数値を取る時刻を表わすパラメータであり、時刻t1が当該事象の発生時刻に相当し、時刻t2が当該事象の終了時刻に相当する。
【００６１】
したがって、物理式部１６Ｄのうち式P1が事象発生直前の区間における対象物の状態を示し、式P2が事象発生中の区間における対象物の状態を示し、式P3が事象発生直後の区間における対象物の状態を示している。
また、事象記述子と同様に、vは対象物oの速度ベクトル、gは重力定数ベクトル、「・」は内積を示しており、上記例では、時刻t1から時刻t2の事象発生中区間における条件として、vとgの内積がゼロの状態、すなわち対象物oが水平移動していることが物理式部１６Ｄで規定されていることになる。
【００６２】
また、図１０（ｂ）では、前置詞「in」という述語修飾語１６Ａに対して、「in_p(b:object)」という補助記述子１６Ｂと
do not care (tO≦t＜t1),
D(b,x)＝0 (t1≦t≦t2),
do not care (t2＜t≦t3).
という物理量表現１６Ｃが関連付けられている。ここで、物理量表現１６Ｃのうち、xは対象物oの３次元座標、D(b,x)は物bとxのユークリッド距離を示しており、対象物oが物bとユークリッド距離がゼロの状態、すなわち対象物oが物bの中に存在することを示している。
【００６３】
また、図１０（ｃ）では、前置詞「at」という述語修飾語１６Ａに対して、「at_t(tau)」という補助記述子１６Ｂと
do not care (tO≦t＜tau),
do not care (tau≦t≦tau),
do not care (tau＜t≦t3).
という物理量表現１６Ｃが関連付けられている。ここで、物理量表現１６Ｃのうち、tauは時刻を示すパラメータであり、事象を時間分割して設けた任意の区間として時刻tauが存在することを示している。
このようにして、各述語修飾語１６Ａに対応する補助記述子１６Ｂの各々についての物理量表現１６Ｃを策定し、補助記述子辞書１６に保存する。
【００６４】
［第２の実施の形態の動作］
次に、図１１および図１２を参照して、本発明の第２の実施の形態にかかる事象検索装置の動作について説明する。図１１は、本発明の第２の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。図１２は、物理量表現の接合例を示す説明図である。
【００６５】
以下では、図８の各センサノード４０（４１〜４４）は３軸加速度センサを掲載しているものとし（非特許文献５など参照）、計測データとして、その加速度センサに固有の３軸（ＸＹＺ方向）の加速度データを出力し、さらに鉛直方向の加速度を出力する。また、データ収集部１０は、これら計測データに基づいて鉛直方向の加速度とそれに垂直な平面での加速度の絶対値を計算し、センサＤＢ１１へ順次格納するものとする。このとき、それぞれの方向で、センサの最大値が閾値の以下の値を示した場合は加速度０とし、また閾値以上の値を示した場合はその値をその時間の動きの大きさとする。
【００６６】
事象検索装置１は、オペレータの操作に応じて図１１の事象検索処理を開始する。まず、質問受付部１２は、オペレータにより自然言語で入力された質問情報から検索対象となる事象を示す単語を抽出する（ステップ１１０）。
このとき、例えば「時刻tauに、椅子を動かす」という事象を示す「chair move at-tau」という質問情報が入力された場合、質問受付部１２は、対象物に関する事象の内容を示す「move」という動詞からなる述語と、当該事象に関与する対象物の名称を示す「chair」という名詞からなる対象物情報と、事象に関する時間的な条件を示す前置詞を含む述語修飾語「at」を質問情報から抽出する。
【００６７】
次に、質問受付部１２は、事象記述子辞書１３から、述語「move」に関連付けられている事象記述子１３Ｂとして「change-location(o)」を検索し（ステップ１１１）、これに対応する物理量表現１３Ｃとして
do not care (tO≦t＜t1),
|v|＞0 (t1≦t≦t2),
do not care (t2＜t≦t3).
を取得する。
【００６８】
また、質問受付部１２は、補助記述子辞書１６から、述語修飾語「at」に関連付けられている補助記述子１６Ｂとして「at_t(tau)」を検索し（ステップ１１２）、これに対応する物理量表現１６Ｃとして
do not care (tO≦t＜tau),
do not care (tau≦t≦tau),
do not care (tau＜t≦t3).
を取得する。
【００６９】
この後、質問受付部１２は、事象記述子１３Ｂと補助記述子１６Ｂを接合して、新たな事象記述子「change-location(o) at_t(tau)」を生成するとともに、物理量表現１３Ｃおよび物理量表現１６Ｃを接合する。この際、両者の時間制約式t0≦t＜t1などについてパターンマッチングを行い、物理式部については、それぞれの物理式部の論理積をとった式を得る。これにより、図１２に示すような
do not care (tO≦t＜tau),
|v|＞0 & v・g＝0 (tau≦t≦tau),
do not care (tau＜t≦t3).
という、時刻tauで水平方向に運動している事象を表現する新たな物理式部を生成し、この事象記述子の引数に対象物情報「chair」を割り当てた新たな事象記述子「change-location(o) at_t(tau)」と新たな物理量表現とを含む検索要求をデータ検索部１４に渡す。
【００７０】
データ検索部１４は、前述と同様にして、質問受付部１２からの検索要求に応じて、その検索要求に含まれる事象記述子および物理量表現と対象物情報とに該当する計測データをセンサＤＢ１１から検索し（ステップ１１３）、検索結果として得られた計測データの時刻情報をもとに、その時刻情報に相当する時刻を検索結果情報として質問応答部１５に出力する。
質問応答部１５は、データ検索部１４から検索結果情報として出力された時刻を受け取り、画面表示装置（図示せず）やデータ入出力装置から、質問受付部１２で受け付けた質問情報に対応する回答として出力する（ステップ１１４）。これにより、一連の事象検索処理が終了する。
【００７１】
このように、本実施の形態は、事象に関する時間的あるいは空間的な条件を示す副詞、前置詞、または形容詞からなる述語修飾語と、これら述語修飾語が属するグループを示す補助記述子と、計測データを用いた式で表現した当該条件の物理量表現と、の対応関係を記憶する補助記述子辞書１６をさらに設け、質問受付部１２で、質問情報から当該事象に関する述語と述語修飾語を抽出して、事象記述子辞書１３から述語に対応する事象記述子を検索するとともに、補助記述子辞書１６から述語修飾語に対応する補助記述子を検索する。
【００７２】
そして、データ検索部１４により、質問受付部１２で得られた事象記述子および補助記述子と対応する物理量表現に該当する計測データをセンサＤＢ１１から検索し、その検索結果に応じて検索対象となる事象に関する検索結果情報を出力するものである。
これにより、事象を示す述語とこの述語を修飾する述語修飾語を用いて事象を検索することができ、より詳細な条件で所望の事象を検索することが可能となる。
【００７３】
また、本実施の形態では、質問受付部１２により、事象記述子１３Ｂと補助記述子１６Ｂと接合するとともに、その物理量表現１３Ｃと物理量表現１６Ｃとを接合した後、これらを検索要求としてデータ検索部１４へ渡す場合を例として説明したが、これに限定されるものではない。例えば、質問受付部１２から、事象記述子１３Ｂ、補助記述子１６Ｂ、物理量表現１３Ｃ、および物理量表現１６Ｃを接合せずにそのまま検索要求としてデータ検索部１４へ渡し、データ検索部１４により、事象記述子１３Ｂと補助記述子１６Ｂと接合するとともに、その物理量表現１３Ｃと物理量表現１６Ｃとを接合した後、対応する計測データを検索するようにしてもよい。
【００７４】
あるいは、質問受付部１２から、事象記述子１３Ｂおよび補助記述子１６Ｂを接合せずにそのまま検索要求としてデータ検索部１４へ渡し、データ検索部１４により、事象記述子１３Ｂと補助記述子１６Ｂと接合するとともに、これら事象記述子１３Ｂおよび補助記述子１６Ｂに対応する物理量表現１３Ｃと物理量表現１６Ｃを、それぞれ事象記述子辞書１３および補助記述子辞書１６から検索し、これら物理量表現１３Ｃと物理量表現１６Ｃを接合した後、対応する計測データを検索するようにしてもよい。
【００７５】
［第３の実施の形態］
次に、図１３を参照して、本発明の第３の実施の形態にかかる事象検索装置について説明する。図１３は、本発明の第３の実施の形態にかかる事象検索装置の構成を示すブロック図であり、前述した図１と同じまたは同等部分には同一符号が付してある。
【００７６】
第１の実施の形態では、質問受付部１２に入力される質問情報が、対象物に関する事象の内容を示す述語、さらには当該事象に関与する対象物を示す対象物情報が付加される場合を例として説明した。本実施の形態では、上記のような単語ではなく質問文などの文章からなる質問情報を質問受付部１２で受け付けて所望の事象を検索する場合について説明する。
【００７７】
第１の実施の形態と比較して、本実施の形態にかかる事象検索装置１には、構文解析部１７が追加されている。なお、他の構成については第１の実施の形態と同様であり、ここでの詳細な説明は省略する。
構文解析部１７は、前述した専用の演算処理回路部や演算処理部から構成され、質問受付部１２で受け付けられた質問情報の構文を解析する機能を有している。構文解析部１７での構文解析処理については公知の技術を適用すればよく、ここでの詳細な説明は省略する。
【００７８】
［第３の実施の形態の動作］
次に、図１４を参照して、本発明の第３の実施の形態にかかる事象検索装置の動作について説明する。図１４は、本発明の第３の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。図１５は、事象記述子および補助記述子と物理量表現の具体例を示す説明図である。
【００７９】
以下では、図１３の各センサノード４０（４１〜４４）は３軸加速度センサを掲載しているものとし（非特許文献５など参照）、計測データとして、その加速度センサに固有の３軸（ＸＹＺ方向）の加速度データを出力し、さらに鉛直方向の加速度を出力する。また、データ収集部１０は、これら計測データに基づいて鉛直方向の加速度とそれに垂直な平面での加速度の絶対値を計算し、センサＤＢ１１へ順次格納するものとする。このとき、それぞれの方向で、センサの最大値が閾値の以下の値を示した場合は加速度０とし、また閾値以上の値を示した場合はその値をその時間の動きの大きさとする。
【００８０】
事象検索装置１は、オペレータの操作に応じて図１４の事象検索処理を開始する。まず、質問受付部１２は、オペレータにより自然言語で入力された質問情報を受け付け、構文解析部１７へ構文解析を指示する。
構文解析部１７は、質問受付部１２からの指示に応じて質問情報を構文解析し、その結果を質問受付部１２へ戻す（ステップ１２０）。
質問受付部１２は、構文解析部１７からの解析結果に基づき、検索対象となる事象を示す述語および述語修飾語を抽出する（ステップ１２１）。
【００８１】
例えば、人が本棚からその本３４を取り出してテーブル３１に置き、元の本棚に戻す行為を行わずに部屋からでていった場合を想定する。そのとき、いつ・だれが本棚から本３４を取り出しテーブル３１の上に置いたままにしたかを知るために、「When did a book moved from a bookshelf to a table?」という質問情報を入力する。
構文解析部１７は、この質問情報に対する構文解析を行い、「a book」が「moved」の主語であること、２つの前置詞句「from a bookshelf」と「to a table」が「moved」にかかること、「moved」は「move」の過去形であること、などをそれぞれ解析する。
【００８２】
質問受付部１２は、このような解析結果から、対象物に関する事象の内容を示す「move」という述語と、当該事象に関与する対象物の名称を示す「a book」という対象物情報を抽出する。
【００８３】
次に、質問受付部１２は、事象記述子辞書１３から、述語「move」に関連付けられている事象記述子として「go-from-region-to-region(o))(r1、r2)」を検索する（ステップ１２２）。ここで、図１５に示す事象記述子と物理量表現が事象記述子辞書１３に登録されている場合、その事象記述子に関連付けられている物理量表現として
D(x,r1)＝0 (tO≦t＜t1);t1-t0＝200msec,
|v|＞0 & D(x,r2)＞0 (t1≦t≦t2);200msec≦t2-t1＜10000msec,
D(x,r2)＝0 (t2＜t≦t3);t3-t2＝200msec.
を取得し、この事象記述子の引数x,r1,r2に対象物情報「book」,「bookshelf」,「table」をそれぞれ割り当てた事象記述子「go-from-region-to-region(book))(bookshelf、table)」とその物理量表現とを含む検索要求をデータ検索部１４に渡す。
【００８４】
データ検索部１４は、質問受付部１２からの検索要求に応じて、その検索要求に含まれる事象記述子および物理量表現に該当する計測データをセンサＤＢ１１から検索する（ステップ１２３）。
具体的には、まず、第２の条件|v|＞0 & D(x,r2)＞0 (t1≦t≦t2)を検査するため、そのt2-t1の値の範囲２００msec以上１０秒以下の範囲（室内の端から端まで移動する最大時間をここでは１０秒に対応する範囲）で、t2-t1を２００msecから順に増やしていき、本に添付された超音波ビーコンを元にした位置データを、直近に蓄積されたものから古いものへとセンサＤＢ１１をチェックし、位置データから速度ベクトルを算出する。
【００８５】
そして、その絶対値が０より大きく、かつ位置データを元に算出したテーブルとの距離が０よりも大きい計測データを検出する。さらに、その計測データの前後を、ここではt1-t0とt3-t2は２００msecとして第１の条件D(x,r1)＝0 (tO≦t＜t1)と第３の条件D(x,r2)＝0 (t2＜t≦t3)が満たされるか否かを検査する。この際、各条件が満たされるか否かの等号判定は、位置検出センサの誤差の範囲で行う。
【００８６】
データ検索部１４は、検索結果として得られた計測データの時刻情報をもとに、その時刻情報に相当する時刻を検索結果情報として質問応答部１５に出力する。
質問応答部１５は、データ検索部１４から検索結果情報として出力された時刻を受け取り、この際、質問文が、Ｗｈｅｎと時間に対する質問であることから、上記３つの条件とも満たされた計測データの時刻情報に基づいて、「ＸＸ年ＹＹ月ＺＺ日ＡＡ時ＢＢ分ＣＣ秒」という回答を、画面表示装置（図示せず）やデータ入出力装置から出力する（ステップ１２４）。これにより、一連の事象検索処理が終了する。
【００８７】
このように、本実施の形態は、質問情報の構文を解析する構文解析部１７をさらに設け、質問受付部１２において、構文解析部１７での解析結果に基づいて事象を示す各種単語を抽出するようにしたので、自然言語からなる単語の羅列ではなく、質問文などの文章からなる質問情報を用いて任意の事象を検索することができ、一般ユーザでも事象検索装置を容易に利用することが可能となる。
【００８８】
本実施の形態では、検索結果として所望の事象が発生した時刻情報を出力する場合について説明したが、これに限定されるものではない。例えば、質問文がＷｈｏの場合、人にＲＦＩＤタグを添付してあれば、その情報をもとに本が動いたときに部屋にいた人の名前を出力してもよく、本を扱った人物を検索結果として出力できる。また、人にＲＦＩＤタグを添付していない場合には、例えば時刻情報とともにビデオカメラで室内を撮影しておけば、その時刻情報をもとに、そのときの映像を瞬時に再生することができ、本を扱った人物を瞬時に特定することができる。
【００８９】
［第４の実施の形態］
次に、図１６を参照して、本発明の第４の実施の形態にかかる事象検索装置について説明する。図１６は、本発明の第４の実施の形態にかかる事象検索装置の構成を示すブロック図であり、前述した図１と同じまたは同等部分には同一符号が付してある。
【００９０】
第１の実施の形態では、センサＤＢ１１から所望の事象に関する計測データを検索する場合、質問情報で指定された述語や対象物情報に対応する事象記述子とその物理量表現に基づいてセンサＤＢ１１を検索する場合について説明した。本実施の形態では、当該事象記述子と対応するデータパターンを用いて、センサＤＢ１１から所望の事象に関する計測データを検索する場合について説明する。
【００９１】
第１の実施の形態と比較して、本実施の形態にかかる事象検索装置１には、事象参照データベース（以下、事象参照ＤＢという）１８が追加されている。なお、他の構成については第１の実施の形態と同様であり、ここでの詳細な説明は省略する。
【００９２】
事象参照ＤＢ１８は、前述した記憶部から構成され、対象物の事象を示す述語に対応する事象記述子ごとに、当該事象が発生した際の計測データの変化を示すデータパターンを記憶するデータベースである。
図１７は、事象参照データベースの構成例を示す説明図である。ここでは、対象物に関する事象を示す「事象記述子」と「データパターン」とが対応付けられている。データパターンについては、予め実験により計測データを計測し、各種統計処理を用いて典型的なデータを算出して生成しておけばよい。
【００９３】
［第４の実施の形態の動作］
次に、図１８を参照して、本発明の第４の実施の形態にかかる事象検索装置の動作について説明する。図１８は、本発明の第４の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【００９４】
以下では、図１６の各センサノード４０（４１〜４４）は３軸加速度センサを掲載しているものとし（非特許文献５など参照）、計測データとして、その加速度センサに固有の３軸（ＸＹＺ方向）の加速度データを出力し、さらに鉛直方向の加速度を出力する。また、データ収集部１０は、これら計測データに基づいて鉛直方向の加速度とそれに垂直な平面での加速度の絶対値を計算し、センサＤＢ１１へ順次格納するものとする。このとき、それぞれの方向で、センサの最大値が閾値の以下の値を示した場合は加速度０とし、また閾値以上の値を示した場合はその値をその時間の動きの大きさとする。
【００９５】
事象検索装置１は、オペレータの操作に応じて図１８の事象検索処理を開始する。まず、質問受付部１２は、オペレータにより自然言語で入力された質問情報から検索対象となる事象を示す単語を抽出する（ステップ１３０）。
このとき、例えば「花瓶を落とす」という事象を示す「vase drop」という質問情報が入力された場合、質問受付部１２は、対象物に関する事象の内容を示す「drop」という動詞からなる述語と、当該事象に関与する対象物の名称を示す「vase」という名詞からなる対象物情報を質問情報から抽出する。
【００９６】
次に、質問受付部１２は、事象記述子辞書１３から、述語「drop」に関連付けられている事象記述子として「fall-vertically(o)」を検索する（ステップ１３１）。ここで、図７に示す事象記述子と物理量表現が事象記述子辞書１３に登録されている場合、その事象記述子に関連付けられている物理量表現として
do not care (tO≦t＜t1);0＜t1-t0,
(v/|v|)・(g/|g|)＝1 & a＝g (t1≦t≦t2);200msec≦t2-t1＜800msec,
do not care (t2＜t≦t3);0＜t3-t2.
を取得し、この事象記述子の引数に対象物情報「vase」を割り当てた事象記述子「fall-vertically(vase)と物理量表現とを含む検索要求をデータ検索部１４に渡す。
【００９７】
データ検索部１４は、質問受付部１２からの検索要求に応じて、その検索要求に含まれる事象記述子と対応するデータパターンを事象参照ＤＢ１８から検索し（ステップ１３２）、検索要求に含まれる事象記述子および物理量表現に該当する計測データであって、かつデータパターンに最も類似する計測データをセンサＤＢ１１から検索する（ステップ１３３）。
【００９８】
具体的には、検索要求に含まれる物理量表現で指定されているt2-t1の値の範囲を取り出し、それが２００msecから８００msecの間なので（室内の天井はせいぜい３００cmであり、そこからの自由落下もせいぜい８００msecよりも短い時間で床に達するので）、その間で２００msecから順に増やしていき、事象記述子に含まれる「vase」を対象物情報とする計測データ、すなわち「花瓶」に添付された加速度センサの計測データを、直近に蓄積されたものから過去へとセンサＤＢ１１をチェックし、事象参照ＤＢ１８から得られたデータパターンとの距離を順次算出する。
【００９９】
この際、計測データとデータパターンとの距離は、例えば時間伸縮ダイナミックプログラミング（非特許文献６参照）を用いて算出してもよく、相関値などの他のマッチング度を距離として用いてもよい。
このようにして、順次距離を算出し、その距離が小さい順にいくつかの計測データを選択し、その計測データの時刻情報に相当する時刻を検索結果情報として質問応答部１５に出力する。
【０１００】
質問応答部１５は、データ検索部１４から検索結果情報として出力された時刻を受け取り、画面表示装置（図示せず）やデータ入出力装置から、質問受付部１２で受け付けた質問情報に対応する回答として出力する（ステップ１３４）。これにより、一連の事象検索処理が終了する。
【０１０１】
このように、本実施の形態は、事象参照ＤＢ１８により、事象記述子ごとに、対象物に関する計測データの変化を示すデータパターンを記憶しておき、データ検索部により、計測データを検索する際、質問受付部で得られた事象記述子に対応するデータパターンを事象参照ＤＢ１８から検索し、当該データパターンと類似して変化する計測データをセンサＤＢ１１から検索するようにしたので、物理量表現を用いて計測データを検索する場合と比較して、検索処理負担を軽減でき、より短い時間で所望の事象を検索することが可能となる。
【０１０２】
［第５の実施の形態］
次に、本発明の第５の実施の形態にかかる事象検索装置について説明する。なお、本実施の形態にかかる事象検索装置の構成を示すブロック図は、前述した図１６と同様であり、ここでは図１６を参照して説明する。
【０１０３】
第４の実施の形態では、事象記述子と対応するデータパターンを用いて、センサＤＢ１１から所望の事象に関する計測データを検索する場合について説明した。本実施の形態では、事象記述子と対応する計測データを特定するセグメント情報を用いて、センサＤＢ１１から所望の事象に関する計測データを検索する場合について説明する。
【０１０４】
第４の実施の形態と同様に、本実施の形態にかかる事象検索装置１には、第１の実施の形態と比較して、事象参照データベース（以下、事象参照ＤＢという）１８が追加されている。なお、他の構成については第１の実施の形態と同様であり、ここでの詳細な説明は省略する。
【０１０５】
事象参照ＤＢ１８は、前述した記憶部から構成され、対象物の事象を示す述語に対応する事象記述子ごとに、当該事象に関する計測データを特定する、格納アドレスや管理情報からなるセグメント情報を記憶するデータベースである。
図１９は、事象参照データベースの構成例を示す説明図である。ここでは、対象物に関する事象を示す「事象記述子」と「セグメント情報」とが対応付けられている。セグメント情報については、予め事象と計測データとの対応関係を調べておき、各事象に対応する計測データを特定する格納アドレスや管理情報をセグメント情報として事象参照ＤＢ１８に格納すればよい。
【０１０６】
［第５の実施の形態の動作］
次に、図２０を参照して、本発明の第５の実施の形態にかかる事象検索装置の動作について説明する。図２０は、本発明の第５の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【０１０７】
以下では、図１６の各センサノード４０（４１〜４４）は３軸加速度センサを掲載しているものとし（非特許文献５など参照）、計測データとして、その加速度センサに固有の３軸（ＸＹＺ方向）の加速度データを出力し、さらに鉛直方向の加速度を出力する。また、データ収集部１０は、これら計測データに基づいて鉛直方向の加速度とそれに垂直な平面での加速度の絶対値を計算し、センサＤＢ１１へ順次格納するものとする。このとき、それぞれの方向で、センサの最大値が閾値の以下の値を示した場合は加速度０とし、また閾値以上の値を示した場合はその値をその時間の動きの大きさとする。
【０１０８】
事象検索装置１は、オペレータの操作に応じて図２０の事象検索処理を開始する。まず、質問受付部１２は、オペレータにより自然言語で入力された質問情報から検索対象となる事象を示す単語を抽出する（ステップ１４０）。
このとき、例えば「花瓶を落とす」という事象を示す「vase drop」という質問情報が入力された場合、質問受付部１２は、対象物に関する事象の内容を示す「drop」という動詞からなる述語と、当該事象に関与する対象物の名称を示す「vase」という名詞からなる対象物情報を質問情報から抽出する。
【０１０９】
次に、質問受付部１２は、事象記述子辞書１３から、述語「drop」に関連付けられている事象記述子として「fall-vertically(o)」を検索する（ステップ１４１）。ここで、図７に示す事象記述子と物理量表現が事象記述子辞書１３に登録されている場合、その事象記述子に関連付けられている物理量表現として
do not care (tO≦t＜t1);0＜t1-t0,
(v/|v|)・(g/|g|)＝1 & a＝g (t1≦t≦t2);200msec≦t2-t1＜800msec,
do not care (t2＜t≦t3);0＜t3-t2.
を取得し、この事象記述子の引数に対象物情報「vase」を割り当てた事象記述子「fall-vertically(vase)と物理量表現とを含む検索要求をデータ検索部１４に渡す。
【０１１０】
データ検索部１４は、質問受付部１２からの検索要求に応じて、その検索要求に含まれる事象記述子と対応するセグメント情報を事象参照ＤＢ１８から検索し（ステップ１４２）、検索要求に含まれる事象記述子および物理量表現に該当する計測データであって、かつセグメント情報で特定される計測データをセンサＤＢ１１から検索する（ステップ１４３）。
【０１１１】
具体的には、検索要求に含まれる物理量表現で指定されているt2-t1の値の範囲を取り出し、それが２００msecから８００msecの間なので（室内の天井はせいぜい３００cmであり、そこからの自由落下もせいぜい８００msecよりも短い時間で床に達するので）、その間で２００msecから順に増やしていき、事象記述子に含まれる「vase」を対象物情報とする計測データ、すなわち「花瓶」に添付された加速度センサの計測データを、セグメント情報で特定される計測データについて、直近に蓄積されたものから過去へとセンサＤＢ１１をチェックする。
【０１１２】
このようにして、検索要求に含まれる事象記述子および物理量表現と対象物情報とに該当する計測データをセンサＤＢ１１から検索し、検索結果として得られた計測データの時刻情報をもとに、その時刻情報に相当する時刻を検索結果情報として質問応答部１５に出力する。
質問応答部１５は、データ検索部１４から検索結果情報として出力された時刻を受け取り、画面表示装置（図示せず）やデータ入出力装置から、質問受付部１２で受け付けた質問情報に対応する回答として出力する（ステップ１４４）。これにより、一連の事象検索処理が終了する。
【０１１３】
このように、本実施の形態は、事象参照ＤＢ１８により、事象記述子ごとに、対象物に関する計測データを特定するセグメント情報を記憶しておき、データ検索部１４により、計測データを検索する際、質問受付部１２で得られた事象記述子に対応するセグメント情報を事象参照ＤＢ１８から検索し、当該セグメント情報に対応する計測データから事象記述子に対応する物理量表現に該当する計測データをセンサＤＢ１１から検索するようにしたので、すべての計測データを対象として物理量表現に該当する計測データを検索する場合と比較して、検索対象となる計測データを絞り込むことができ、より短い時間で所望の事象を検索することが可能となる。
【０１１４】
［実施の形態の拡張］
以上の各実施の形態では、センサＤＢ１１から検索された計測データの計測時刻に基づき、当該事象が発生した時刻を示す時刻情報を、質問情報に対する検索結果として出力する場合を例として説明したが、出力する検索結果の内容についてはこれに限定されるものではない。例えば、図３に示すように、センサＤＢ１１として各計測データに対象物の名称や識別情報などからなる対象物情報が付与されている場合には、その対象物情報を検索結果として出力してもよい。また、当該計測データが座標情報（位置情報）を示す場合、その座標情報に対応する場所名を事象が発生した場所として出力してもよい。この他、事象に関係した人物や他の対象物に関する名称や、当該事象が発生した時刻の映像を出力してもよい。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施の形態にかかる事象検索装置の構成を示すブロック図である。
【図２】計測データの構成例を示す説明図である。
【図３】センサデータベースの構成例を示す説明図である。
【図４】事象記述子辞書の構成例を示す説明図である。
【図５】事象記述子辞書の具体例を示す説明図である。
【図６】本発明の第１の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【図７】事象記述子と物理量表現の具体例を示す説明図である。
【図８】本発明の第２の実施の形態にかかる事象検索装置の構成を示すブロック図である。
【図９】補助記述子辞書の構成例を示す説明図である。
【図１０】補助記述子辞書の具体例を示す説明図である。
【図１１】本発明の第２の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【図１２】物理量表現の接合例を示す説明図である。
【図１３】本発明の第３の実施の形態にかかる事象検索装置の構成を示すブロック図である。
【図１４】本発明の第３の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【図１５】事象記述子および補助記述子と物理量表現の具体例を示す説明図である。
【図１６】本発明の第４の実施の形態にかかる事象検索装置の構成を示すブロック図である。
【図１７】事象参照データベースの構成例を示す説明図である。
【図１８】本発明の第４の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【図１９】事象参照データベースの構成例を示す説明図である。
【図２０】本発明の第５の実施の形態にかかる事象検索装置の事象検索処理を示すフローチャートである。
【符号の説明】
【０１１６】
１…事象検索装置、１０…データ収集部、１１…センサＤＢ、１２…質問受付部、１３…事象記述子辞書、１３Ａ…述語、１３Ｂ…事象記述子、１３Ｃ…物理量表現、１３Ｄ…物理式部、１３Ｅ…時間制約式部、１４…データ検索部、１５…質問応答部、１６…補助記述子辞書、１６Ａ…述語修飾語、１６Ｂ…補助記述子、１６Ｃ…物理量表現、１７…構文解析部、１８…事象参照ＤＢ、２…センサネットワーク、３…環境、３１…テーブル、３２…椅子、３３…花瓶、３４…本、４０，４１〜４４…センサノード。
【図１】
0004813964.tif 000002
【図２】
0004813964.tif 000003
【図３】
0004813964.tif 000004
【図４】
0004813964.tif 000005
【図５】
0004813964.tif 000006
【図６】
0004813964.tif 000007
【図７】
0004813964.tif 000008
【図８】
0004813964.tif 000009
【図９】
0004813964.tif 000010
【図１０】
0004813964.tif 000011
【図１１】
0004813964.tif 000012
【図１２】
0004813964.tif 000013
【図１３】
0004813964.tif 000014
【図１４】
0004813964.tif 000015
【図１５】
0004813964.tif 000016
【図１６】
0004813964.tif 000017
【図１７】
0004813964.tif 000018
【図１８】
0004813964.tif 000019
【図１９】
0004813964.tif 000020
【図２０】
0004813964.tif 000021