(57)【特許請求の範囲】
【請求項１】
情報処理装置が、実世界の状況を言語で記述するデータ集合Ａを取得する第１のステップと、
前記情報処理装置が、センサにより得られるデータ集合Ｂを取得する第２のステップと、
前記情報処理装置が、実世界に存在するモノを媒介役として用いて、前記第１のステップで得られるデータ集合Ａ中の第１のデータと、前記第２のステップで得られるデータ集合Ｂ中の前記第１のデータと前記モノに関して少なくとも一部が共通する第２のデータとを関連付ける第３のステップとを具備することを特徴とする異種データ間関係学習方法。
【請求項２】
前記第３のステップは、異なるデータを互いに変換することを特徴とする請求項１記載の異種データ間関係学習方法。
【請求項３】
前記第３のステップで得られた前記第２のデータを用いて、前記データ集合Ａ中の第１のデータと、別種のデータ集合Ｃ中の第３のデータとを関連付ける第４のステップを具備することを特徴とする請求項１または２記載の異種データ間関係学習方法。
【請求項４】
前記第３のステップは、前記データ集合Ａと前記モノとの相互関係の強さ及び前記モノと前記データ集合Ｂとの相互関係の強さを用いて、前記第１のデータと前記第２のデータとを関連付けることを特徴とする請求項１乃至３のいずれか１項に記載の異種データ間関係学習方法。
【請求項５】
実世界の状況を言語で記述するデータ集合Ａを取得する第１の手段と、
センサにより得られるデータ集合Ｂを取得する第２の手段と、
実世界に存在するモノを媒介役として用いて、前記第１の手段で得られるデータ集合Ａ中の第１のデータと、前記第２の手段で得られるデータ集合Ｂ中の前記第１のデータと前記モノに関して少なくとも一部が共通する第２のデータとを関連付ける第３の手段とを具備することを特徴とする異種データ間関係学習装置。
【請求項６】
前記第３の手段は、異なるデータを互いに変換する機能を備えることを特徴とする請求項５記載の異種データ間関係学習装置。
【請求項７】
前記第３の手段で得られた前記第２のデータを用いて、前記データ集合Ａ中の第１のデータと、別種のデータ集合Ｃ中の第３のデータとを関連付ける第４の手段をさらに具備することを特徴とする請求項５または６記載の異種データ間関係学習装置。
【請求項８】
前記第３の手段は、前記データ集合Ａと前記モノとの相互関係の強さ及び前記モノと前記データ集合Ｂとの相互関係の強さを用いて、前記第１のデータと前記第２のデータとを関連付けることを特徴とする請求項５乃至７のいずれか１項に記載の異種データ間関係学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報の検索、抽出、マイニング、整理、計算機による作業・行動支援などの異種データ間関係学習方法及び異種データ間関係学習装置に関する。
【背景技術】
【０００２】
我々はWeb上に大量の文書を有している。さらに、ユビキタスコンピューティングの発展により多量のセンサデータも手に入れつつある。この２種類のデータにはそれぞれの性質に由来する長所と短所がある。
文書は、人間が何らかの対象に関して認識・解釈した結果を言葉を使って記述したものである。そこには、物理的実体のあるものだけでなく、抽象的概念や概念間の関係といったものも記述され得る。文書を読んだ人間が、文書の内容を概念体系や過去の経験の中に位置づけて理解することもできる。そういった、文書の内容の意味的解釈（処理）を計算機を使って自動的に行うことも、ある程度できるようになってきている。
【０００３】
なお、周知技術として、例えば、「お茶を淹れる」という行動を用いるモノのシーケンス（蛇口、ティーポット、カップ、…）でモデル化する技術が提案されている（非特許文献１）。モノのシーケンスはＷｅｂ上にある手順を記述した文書から抽出する。
また、周知技術として、音の特徴抽出により、その音が発せられている状況を判別する方法が提案されている（非特許文献２）。状況は、予め分類されたオーディオクリップ（状況を説明するタグが付けられたオーディオデータ）で、判別はそのいずれの分類に属するかを判断する。
【０００４】
さらに、周知技術として、ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎというモデルに基づく技術が提案されている（非特許文献３）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｐｅｒｋｏｗｉｔｚ，Ｍ．ａｎｄ Ｐｈｉｌｉｐｏｓｅ，Ｍ．ａｎｄ Ｆｉｓｈｋｉｎ，Ｋ． ａｎｄ Ｐａｔｔｅｒｓｏｎ，Ｄ． Ｊ．：Ｍｉｎｉｎｇ Ｍｏｄｅｌｓ ｏｆ Ｈｕｍａｎ Ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ ｔｈｅ Ｗｅｂ.Ｐｒｏｃ． ｏｆ ｔｈｅ １３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ．ＡＣＭ Ｐｒｅｓｓ，ｐｐ．５７３-５８２，２００４．
【非特許文献２】Ｋｉｍ，Ｓａｍｕｅｌ ａｎｄ Ｓｕｎｄａｒａｍ，Ｓｈｉｖａ ａｎｄ Ｇｅｏｒｇｉｏｕ，Ｐａｎａｙｉｏｔｉｓ Ｇ．ａｎｄ Ｎａｒａｙａｎａｎ，Ｓｈｒｉｋａｎｔｈ：Ａｕｄｉｏ Ｓｃｅｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｕｓｉｎｇ Ｔｏｐｉｃ Ｍｏｄｅｌｓ．Ｐｒｏｃ． ｏｆ ｔｈｅ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ(ＮＩＰＳ)Ｗｏｒｋｓｈｏｐ，２００９．
【非特許文献３】Ｂｌｅｉ，Ｄ．Ｍ． ａｎｄ Ｎｇ，Ａ．Ｙ． ａｎｄ Ｊｏｒｄａｎ，Ｍ．Ｉ．，Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，ｖｏｌ．３，ｐｐ．９９３−１０２２， ２００３．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、認識に漏れたもの、文書に残そうという意図から外れたものは文書には記述されない。また、人間の認識や解釈に誤りがあれば、間違った内容が記述されることになる。
一方、センサデータは、その場、その時の状況をありのままに示している抽象度の低いデータである。人間の解釈が介在しないゆえ、認識の漏れや解釈の誤りといった問題の影響を受けない。その一方で、データそのものだけから状況（を説明する概念）を導き出すのは困難である。この問題は、センサデータとして音を使う場合を例にとると、音だけ聴いてもその場で何が起きているのか分からない、ということに相当する。
【０００７】
実際には、人間は、音だけからある程度状況を把握することができる。これは、人間が音と状況の対応関係を学習しているからである。この種の学習が計算機によって自動的に行われるようになれば、それぞれのデータの長所を活かした情報処理、作業支援などが可能になると思われる。例えば、「その時、その場」の状況を示す音をその状況を説明する概念と結びつけることができれば、音を手がかりにその次に発生する可能性が高い状況を推定することができるだろう。
【０００８】
本発明の目的は、センサデータと、そのデータが発生している状況について書かれている文書との結びつきを自動的に学習し得る異種データ間関係学習方法及び異種データ間関係学習装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る異種データ間関係学習方法は、情報処理装置が、実世界の状況を言語で記述するデータ集合Ａを取得する第１のステップと、前記情報処理装置が、センサにより得られるデータ集合Ｂを取得する第２のステップと、前記情報処理装置が、実世界に存在するモノを媒介役として用いて、前記第１のステップで得られるデータ集合Ａ中の第１のデータと、前記第２のステップで得られるデータ集合Ｂ中の前記第１のデータと前記モノに関して少なくとも一部が共通する第２のデータとを関連付ける第３のステップとを備えるようにしたものである。
【００１０】
本発明は、正しい対応を示す正解データを用いることなく、センサデータとデータ発生の状況とを関連づける、という課題を解決する。本発明により、この課題が解決可能である理由を以下に述べる。
本発明では、センサデータとデータ発生の状況との関連を、Ｗｅｂ上の文書やセンサデータ、それにモノの使用状況から学び取る。この学習は、幼児の言語獲得(しゃべれるようになること)になぞらえることができる。幼児は、親などが言葉を使用している状況を見聞きしながら言語能力を獲得していく、もちろん、正解データを明示的に示されているわけではない。本発明の特徴は、ちょうど幼児が自分のおかれている状況を観察して言語を獲得するように、日常の生活のありのままを観測することで、センサデータとその発生状況の関連性を学ぶことができることにある。
【００１１】
ただし、「状況」という概念的なものとセンサデータは質的に異なっており、両者の関連を直接観測し、実例として用いることはできない。そこで、本発明では、両者の仲介役として、モノを利用する。「モノが実世界で使われている」ということとセンサデータの発生の時空間的な近接性により、モノとセンサデータをつなげることができる。さらに、モノの名前の文中での出現により、モノと概念的に記述された状況とを結びつけることができる。
【００１２】
また、本発明に係る異種データ間関係学習方法において、前記第３のステップは、異なるデータを互いに変換するようにしている。
このように構成すると、異なるデータを互いに変換することが可能になる。
【００１３】
また、本発明に係る異種データ間関係学習方法において、前記第３のステップで得られた前記第２のデータを用いて、前記データ集合Ａ中の第１のデータと、別種のデータ集合Ｃ中の第３のデータとを関連付ける第４のステップを備えるようにしている。
このように構成すると、モノの使用を検出することに比較して、センシングデータを利用することの方が容易である場合に、効果的に第１のデータと、別種のデータ集合Ｃ中の第３のデータとを関連付けることができる。
【００１４】
さらに、本発明に係る異種データ間関係学習方法において、前記第３のステップは、前記データ集合Ａと前記モノとの相互関係の強さ及び前記モノと前記データ集合Ｂとの相互関係の強さを用いて、前記第１のデータと前記第２のデータとを関連付けるようにしている。
【００１５】
このように構成すると、データ集合Ａとモノとの相互関係の強さ及びモノとデータ集合Ｂとの相互関係の強さを利用して、データ集合Ａ及びデータ集合Ｂから多くのデータを候補として選択し、相互関係の強さが所定値より低いデータについては棄却することが可能となり、これにより第１のデータと第２のデータとを関連付ける際の効率をさらに高めることができる。
【発明の効果】
【００１６】
本発明によれば、正しい対応を示す正解データを用いることなく、センサデータと、そのデータが発生している状況について書かれている文書との結びつきを自動的に学習し得る異種データ間関係学習方法及び異種データ間関係学習装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明におけるセンサデータと文書をつなげる一例を示す図。
【図２】本発明において、状況と、モノと、センサデータとの特徴的パタン、それらの間の関係性の度合いを示す数量の関係を示す図。
【図３】本発明の実施形態とする異種データ間関係学習方法の処理動作を説明するために示す図。
【図４】本発明の実施形態とする異種データ間関係学習装置のブロック構成図。
【図５】本実施形態における異種データ間関係学習装置のプログラム領域の処理手順を示すフローチャート。
【図６】本実施形態において、Ｄiと、pjとは異なるセンサデータqmとの関係を、pjを仲介役として説明するための図。
【図７】本実施形態において、音というセンサデータと状況を結びつける処理の概要を示す図。
【図８】本実施形態において、マイクアレイにより得られた音の発生源の時間変化を示す図。
【発明を実施するための形態】
【００１８】
本発明に係る実施形態を説明するに先立ち、その動作原理について説明する。
実際には、人間は、音だけからある程度状況を把握することができる。これは、人間が音と状況の対応関係を学習しているからである。この種の学習が計算機によって自動的に行われるようになれば、それぞれのデータの長所を活かした情報処理、作業支援などが可能になると思われる。例えば、「その時、その場」の状況を示す音をその状況を説明する概念と結びつけることができれば、音を手がかりにその次に発生する可能性が高い状況を推定することができるだろう。
【００１９】
本発明は、センサデータと、そのデータが発生している状況について書かれている文書との結びつきを自動的に学習する方式を提案するものである。なお、本発明では、センサデータと文書を結びつけているが、本質的に目指しているのは、センサデータと、その発生状況を表す概念とを結びつけることである。よって、説明の都合上、必要に応じて文書を文書の内容が示す概念や状況と同一視する。
【００２０】
たとえば、「のこぎりの音」と「大工仕事」について書かれた文書を結びつけることと「のこぎりの音」と「大工仕事」という概念（大工仕事をしているという状況）を結びつけることを同一視する。さらに、同様な観点から、同じ内容について書かれた文書集合も単一の文書と同一視する。
【００２１】
センサデータとデータ発生の状況とを関連づける取り組みはいままでにも存在する。これらの取り組みでは、対象とする文書、あるいはセンサデータの種類を限定し、その対象に特化した関連づけの方法を用いたり、正しい対応を示す正解データを必要とする教師あり学習が用いられてきた。前者の方法では、対象の組み合わせごとに個別に関連づける方法を開発する必要があり、後者においては、正解データの作成に手間がかかるという問題がある。
【００２２】
これに対して、本発明は、結びつけられるべきセンサデータと状況（文書）にできる限り条件を課さず、正解データを予め用意しなくても結びつきを学習できる方法を示すものである。そのための工夫の一つがモノを媒介役として使うということである。
まず、モノは、それが使われている状況を特定するために情報を提供してくれる。例えば、「のこぎり」というモノは、それが使われている状況は「大工仕事」である可能性を示唆する。そして、モノの名前は名詞として文書中に出現する。一方、実世界においては、モノの使用をセンスする（モノが使用されていることを観測する）ことが可能である。このセンシング結果は、モノのＩＤと、時刻や場所などセンシングの状況を表す情報（これをセンシング状況と呼ぶ）の組として表現できる。センサデータに対しても同様に、センシングの結果は、採取されたデータの値とセンシング状況の組で表現できる。これらのセンシング状況の一致（あるいは、条件を緩めて、センシング状況の類似性）からモノとセンサデータを結びつけることができる。
【００２３】
以上を組み合わせることで、センサデータと文書をつなげることができる。例として、図１は、のこぎりで木を切るときの音ｐと大工仕事について書かれた文書集合Ｄがｍというモノを介して結び付けら得ている様子に示す。
本発明は、正しい対応を示す正解データを用いることなく、センサデータとデータ発生の状況とを関連づける、という課題を解決する。本発明により、この課題が解決可能である理由を以下に述べる。
【００２４】
本発明では、センサデータとデータ発生の状況との関連を、Ｗｅｂ上の文書やセンサデータ、それにモノの使用状況から学び取る。この学習は、幼児の言語獲得(しゃべれるようになること)になぞらえることができる。幼児は、親などが言葉を使用している状況を見聞きしながら言語能力を獲得していく、もちろん、正解データを明示的に示されているわけではない。本発明の特徴は、ちょうど幼児が自分のおかれている状況を観察して言語を獲得するように、日常の生活のありのままを観測することで、センサデータとその発生状況の関連性を学ぶことができることにある。
【００２５】
ただし、「状況」という概念的なものとセンサデータは質的に異なっており、両者の関連を直接観測し、実例として用いることはできない。そこで、本発明では、両者の仲介役として、モノを利用する。「モノが実世界で使われている」ということとセンサデータの発生の時空間的な近接性により、モノとセンサデータをつなげることができる。さらに、モノの名前の文中での出現により、モノと概念的に記述された状況とを結びつけることができる。
【００２６】
さらに、「モノは、それが使われている状況を特定するために情報を提供してくれる。例えば、「のこぎり」というモノは、それが使われている状況は「大工仕事」である可能性を示唆する。」と述べたように、モノには状況を説明（伝達）する能力を有している、というもう一つの重要な性質がある。この性質により、状況はモノ（の集合）に翻訳できる。そして、モノとセンサデータの関連性を調べることは、翻訳された状況とセンサデータの関連性を調べることに相当するとみなせる。
【００２７】
上記の原理に基づき、以下に本発明の実施形態について説明する。
（関係性を表すモデル）  
前述の例では、実際には、「のこぎり」は「大工仕事」以外、たとえば「演奏」にも使われる場合もある。どちらの状況であるかを判断するために、その場に存在する「のこぎり」以外のモノが手がかりになる。たとえば、「金槌」があれば「演奏」ではなく「大工仕事」であると推定できる。
【００２８】
本発明では、このようなモノと状況の関係に、モノとセンサデータの関係を含めて図２のようにモデル化する。図２では、Ｄi、ｍj、ｐkはそれぞれ状況（同一の状況について書かれている文書の集合）、モノ、センサデータを表している。図２中ｍ2はＤ1とＤ2につながりを持っており、「のこぎり」「大工仕事」「演奏」と同様な相互関係を形成している。
【００２９】
ｕij、ｖjkは、それぞれＤiとｍjおよびｍjとｐkの関係の強さ（関係の確からしさ）を示す数量である。例えば、ｍ2の使用が観測されている時、ｕ12＜ｕ22であれば、状況はＤ2であると推定されるが、ｍ1も観測され、ｕ11＋ｕ12＞ｕ22であるならば、状況はＤ1であると推定される。
【００３０】
さらに、モノと状況、モノとセンサデータの関連性を組み合わせることで、センサデータから状況を推定することができる。具体的には、観測されるそして、Ｄiとｐjの関係の強さは次式により算出する。
【数１】
0006047464.tif 000002
【００３１】
（ｕijとｖjkの計算）  
式(1)により、センサデータと状況の関係性の把握は、ｕikとｖkjの算出に帰着される。図３はその算出のための処理の流れを書いたもので、矢印は処理を表し、実線の四角は、計算機による各処理の結果、計算機の記憶領域内に得られたデータを示している。破線は、計算機外部のデータを示している。図４は、図３の処理を実行する計算機１００を示すブロック図である。
【００３２】
計算機１００は、例えば、ＣＰＵ、メモリ、ハードディスクを備える制御部と、入出力部（図４では図示せず）とを備える。制御部は、本実施形態としての記憶領域１１０とプログラム領域１２０とを備える。記憶領域１１０は、テーブル（ｂ）〜（ｅ）、（ｇ）、（ｉ）〜（ｍ）を備える。プログラム領域１２０は、文書取得モジュール１２１と、クラスタリングモジュール１２２と、特徴抽出モジュール１２３と、関係性計算モジュール１２４と、センシングモジュール１２５と、クラスタリングモジュール１２６と、特徴抽出モジュール１２７と、関係性推定モジュール１２８と、存在認識モジュール１２９と、名前との対応付けモジュール１３０とを備えている。
【００３３】
入出力部は、計算機１００に対し種々の動作指示を入力するために使用するもので、ユーザによるキーワードの入力を受け付け、またＷｅｂ（図示せず）から送られるデータを入力し、またコンテンツを閲覧するためのものである。
記憶領域１１０には、システム外部から取得したデータ、処理の途中で生成されたデータ、処理の目標とするデータを格納する。図４中、格納するデータには、「(b)」といった記号を付けているが、これは図３の記号と対応している。
【００３４】
プログラム領域１２０には、各モジュール１２１〜１３０と、その入出力を示した。例えば、（ｃ）→（３）特徴抽出→（ｄ）は、特徴抽出モジュール１２３が記憶領域１１０のテーブル（ｃ）にアクセスしてデータを得て処理を行い、その結果を記憶領域１１０のテーブル（ｄ）に書き出す、という関係を表している。
【００３５】
ｕijを計算する手順は以下の通りである。処理(1)では、まず、文書取得モジュール１２１によりＷｅｂからＷｅｂページ｛ｄ1，ｄ2，...｝を取得する（ステップＳＴ３ａ）。次に、処理(2)において、クラスタリングモジュール１２２は｛ｄ1，ｄ2，...｝に対して意味的類似性を基準としたクラスタリングを施し、文書のクラスタ｛Ｄ1，Ｄ2, ...｝を得る（ステップＳＴ３ｂ）。各Ｄiは、意味的に類似した内容をもつ文書の集合である。処理(3)では、特徴抽出モジュール１２３はモノの名前ｎjがＤiにおいて特徴的である度合いｕijを計算する（ステップＳＴ３ｃ）。「特徴抽出」とは、ｕ_｛ij｝の決定であり、ｕ_｛ij｝が低ければ、特徴として却下される。
【００３６】
ｕijの計算方法としては、クラスタ内の出現頻度を採用するものや、実施形態で示すようにχ2検定を用いるものなどが考えられる。
【００３７】
図５は、プログラム領域１２０の各手続の処理手順を示すフローチャートである。  
Ｗｅｂ文書集合からのトピック抽出及びトピックの特徴語抽出手続において（図５の丸１）、プログラム領域１２０は、ユーザが取得すべき文書のリストを入力すると（ステップＳＴ５１ａ）、リストに記載された文書をＷｅｂから取得し（ステップＳＴ５１ｂ）、意味的類似性を基準としてクラスタリングを行った後（ステップＳＴ５１ｃ）、各クラスタにおけるモノの特徴度計算を行う（ステップＳＴ５１ｄ）。
【００３８】
処理(4)では、ｖjkを計算する準備として、モノにＩＤを付与し、その名前との対応関係を記憶領域１１０に格納する（ステップＳＴ５２ａ）。この処理をフローチャートとして書いたものが図５の丸２である。この対応関係によりモノｍiの名前を返す関数ｎ（ｍi）を実装することができる（ステップＳＴ３ｅ及びステップＳＴ３ｋ）。
【００３９】
なお、モノとしては、物理的実体があり、日常生活において使用されるものであればどのようなものでも良い。また、ＩＤはモノと名前を結びつける便宜的なもので、異なるモノに同一のＩＤが付与されなければどのようなものでも良く、単純な方法としては、異なるモノごとにシーケンシャルに（つまり、1, 2, 3...と）付与するやり方が考えられる。
【００４０】
ｖjkの計算は、以下の手順で行う。処理(5)で、認識モジュール１２９がモノの使用を認識するのと同時に、処理(6)で、センシングモジュール１２５によりセンサデータを採取、記録する（ステップＳＴ３ｆ及びステップＳＴ５３ａ）。
モノの使用を認識する方法としては、実施形態で示すようなＲＦＩＤタグを利用したものや、日常生活をキャプチャした画像中にあるモノを物体認識技術により認識するという方法が考えられる。
【００４１】
上述したように、モノの使用をセンスする（モノが使用されていることを観測する）ことが可能である。このセンシング結果は、モノのＩＤと時刻や場所などのセンシングの状況を表す情報（これをセンシング状況と呼ぶ）の組として表現できる。センサデータに対しても同様に、センシングの結果は、採取されたデータの値とセンシング状況の組で表現できる。モノｍjが使用されたという記録はセンシング状況ａを用いて（ｍj,ａ）と書ける。同一のモノは複数回使用される可能性があるので、一般に、一つのモノに対して、複数のセンシング状況が蓄積されていく。センサデータに関しても同様で、(6)の結果、採取されたデータとセンシング状況の組（ｘm,ａn）が記憶領域１１０のテーブル（ｉ）に蓄積される（ステップＳＴ３ｇ）。
【００４２】
処理(7)では、クラスタリングモジュール１２６が蓄積されたセンサデータの記録を、センシング状況の類似性を記述としてクラスタリングし、センサデータのクラスタ｛Ｓ1，Ｓ2, ...｝を得る（ステップＳＴ３ｈ及びステップＳＴ５３ｂ）。これは、例えば、センシング状況として時刻を用いた場合、発生の時間的近接性の高いセンサデータどうしをグルーピングすることに相当する。センサデータのグルーピングでは、採取されたデータとセンシング状況の双方をそれぞれをグルーピングする。例えば、（ｘ1，ａ1）と（ｘ2，ａ2）をグルーピングすると、（｛ａ1，ａ2｝，｛ｘ1，ｘ2｝）となる。
【００４３】
処理(8)では、特徴抽出モジュール１２７が得られた各クラスタＳkからセンサデータの特徴的パタン（｛ａk1,ａk2, ...},{ｐk1,ｐk2, ...})を抽出する(ステップＳＴ３ｉ及びステップＳＴ５３ｃ)。これは、ａk1,ａk2, ...という状況において、センサデータにｐk1,ｐk2, ...が特徴的パタンとして認められたことを表している。
【００４４】
(6)の処理と、(8)の処理の結果から、それぞれモノｍjの使用が検出されたセンシング状況の集合Ａ（ｍj）と、センサデータのパタンｐkが認められたセンシング状況の集合Ａ（ｐk）を得ることができる。
処理(9)では、関係性推定モジュール１２８はこれらの集合としての重なり具合から、ｍjとｐkの関係性の度合いを推定する（ステップＳＴ３ｅ及びステップＳＴ５３ｄ）。推定されたｍjとｐk の関係性は、(4)で得たモノの名前を返す関数ｎ（ｍj）を用いることにより、モノの名前ｎjとセンサデータの特徴的パタンｐkの関係性に翻訳できる。この値が、目標としていたｖjkである。この処理をフローチャートとして記載したものが図５の丸３である。
【００４５】
なお、一般に、集合の重なり具合を定量化する方法は複数ある。一例としてJaccard係数を用いた場合を次に示す。いま、センシング状況にユニークな番号がつけられており、モノｍの使用が検出されたセンシング状況がＡ（ｍ）＝｛ａ1，ａ2，ａ3｝、パタンｐが検出されたセンシング状況がＡ（ｐ）＝｛ａ2，ａ3，ａ4｝であった場合、ｍとｐの関連度を、センシング状況の一致度は、例えばJaccard係数を使ったとき、次式のように計算できる。
【数２】
0006047464.tif 000003
【００４６】
なお(4)の処理は、(5)の処理と同時に行うこと、すなわち、モノの存在を検出すると同時に、それが何であるかを認識する処理を同時に行うという方式も考えられる。
ｕijとｖjkが得られれば、関係性計算モジュール１２４は、式(1)を用いることで、ｗijを計算できる（ステップＳＴ３ｊ及びステップＳＴ５４ａ）。この処理をフローチャートとして書いたものが図５の丸４である。
【００４７】
（モノの代用としてのセンサデータの利用）  
図２に示すように、ここまでは、状況Ｄiとセンサデータｐjの関係性ｗijを把握するためにモノｍkを仲介役に用いた。一旦、ｗijが分かってしまえば、図６に示すように、Ｄiとｐjとは異なるセンサデータｑmとの関係を、ｐjを仲介役に用いて、推定することが考えられる。モノの使用を検出することに比較して、ｐjをセンシングすることの方が容易である場合には、この方法は効果的である。
【００４８】
（実施例）  
次に、実施例として、前節の手順に則り、実際に音というセンサデータと状況を結びつける具体的方法を示す。さらに、得た結びつきを利用する方法を示す。
（音と状況の関係性把握）  
以下、上記で示した処理(1)から(10)それぞれの具体的な処理内容を示す。
【００４９】
まず、本実施例では、モノの使用を検出するため、モノにＲＦＩＤタグをつけ、モノを使用する者はウェアラブルＲＦＩＤリーダを着用させる。そして、図７に示すように、ＲＤＩＦタグのＩＤをモノのＩＤとし、(4)の処理として、タグのＩＤと名前の対応管理するデータベースを人手で入力しておく。
【００５０】
なお、データベースを予め用意する代わりに、モノの使用を検出する際に、そのモノを画像として捉え、物体認識技術を用いてモノの名前を判別し、処理に利用するという方法も考えられる。この場合、モノのＩＤは、モノが識別される度に1, 2, 3...とインクリメンタルに付与していく。
【００５１】
(1)それぞれのモノの名前でブログ検索を行い、検索結果に含まれるＵＲＬを要素とする文書リストを作成する。リストにある文書を順次収集し、記憶領域１１０のテーブル（ｂ）に保存する。
(2)(1)で得た文書集合に対してlatent Dirichlet allocation(ＬＤＡ)を適用し、クラスタリングを行う。ＬＤＡは，文書における語の出現状況（頻度分布）を説明するモデルである。本モデルでは、文書は複数の重み付けられた潜在的トピック（話題のようなもの。明示されていないので「潜在」という表現が用いられる）から成り、各トピックはそれ固有の確率分布に基づいて語の出現させ、その結果として文書が生成されると考える。このモデルに基づく学習アルゴリズムを文書集合に適用することで、文書集合に潜むトピックを推定することができる。
【００５２】
ある文書を構成する潜在トピックのうち、重みの大きいものは、その文書の主たるトピックと考えられる。クラスタリングは、主たるトピックが同一であるか否かを基準に文書をグルーピングすることで得られる。
(3)モノの名前ｎjとクラスタＤiに対して、文書ｄがＤiに含まれることとｄにｎjが出現することの独立性をχ2検定で調べ、有意水準ε0＝０．０１で独立である仮説が棄却されない場合にはｕij＝０とし、棄却された場合には、p値εを用いて次式とする。
ｕij＝（ε0−ε）／ε0
【００５３】
(4), (5)の処理は前述の通り。
(6)で行う音の採取にはマイクアレイを用いる。マイクアレイにより、音の発生源の方向を知ることができるので、時刻ｔとともに発生方向を示す角度θの組(t, θ)をセンシング状況とする。
【００５４】
(7)マイクアレイにより得られた音の発生源の角度の時間変化は図８に示すグラフ（丸で示す）のようになっており、音源の角度の変化が少ない区間｛Ｉi｝に分割できるのがわかる。このＩiごとに音データをクラスタリングする。
(8)クラスタＳiごとに離散フーリエ変換を施し、周波数成分分布Ｆiを得る。ノイズ除去などの必要があれば、Ｆiのうち特定の周波数成分だけを残すといったフィリタリング処理を行う。フィルタリングの結果得られた周波数分布は周波数成分ｆhの線形和で書ける：
【数３】
0006047464.tif 000004
【００５５】
これを、「ｆiという語が[αih]回出現する文書」とみなす。ここで、[x]はxを超えない最大の整数である。文書集合｛Ｆi｝にＬＤＡ適用することで得られる潜在トピック｛ｐj｝をデータパタンとする。Ｆiをデータパタンの線形和として書いた時、すなわち、次式で表したとき、係数βijが大きいｐjをＦiの特徴を表すパタンとみなす。
【数４】
0006047464.tif 000005
【００５６】
具体的には、｛β1j,β2j, ...}の平均と分散を次式とする。
【数５】
0006047464.tif 000006
【００５７】
このとき、次式の関係が満たされれば、ｐjを特徴的パタンとして採用する。
【数６】
0006047464.tif 000007
【００５８】
この結果、特徴的パタンの集合｛ｐi1,ｐ12, ...}が得られたとすると、処理(8)の出力は（｛（ｔi1,θi1）,( ｔi2,θi2）, ..., （ｔin,θin）},{ｐi1,ｐ12, ...})となる。なお、Ｉi＝[ｔi1, ｔin]である。
【００５９】
(9)モノｍkが検出されたセンシング状況とｐjが特徴的パタンとして抽出されたセンシング状況の一致度から両者の関係性の度合いを推定する。Ｉ（ｍk）とＩ（ｐj）をそれぞれ次式のように定義する。
Ｉ（ｍk）＝｛Ｉi｜Ｉiはｍkの使用が検出された時刻を含む｝
Ｉ（ｐj）＝｛Ｉi｜ｐjはＩiにおける特徴的パタン｝
【００６０】
これらの集合としての重なり具合からｍkとｐjの関係性を推定する。重なり具合を定量化するために、上述したJaccard係数を使ってもよいが、ここでは、もう一つの例を示すという意味で、χ2検定を使う。具体的には、ＩiがＩ（ｍk）に属するという事象と、Ｉ（ｐj）に属するという事象の独立性をχ2検定で判断し、上記(3)と同じくｐ値を使って関係性を定量化する。得られたｍkとｐjの関係性の度合いを、ｎi＝ｎ（ｍk）とｐjの関係性の度合いｖijとする。ここで、ｎ（ｍkはモノｍk）の名前である。
(10)得られたｕikとｖkjを式(1)にあてはめることでｗijを得る。
【００６１】
（結びつきの利用）  
以上のように上記実施形態によれば、得られた状況と音のパタンの関連性をもとに、音から状況を推察することができる。いま、ｐjという音のパタン（特定の周波数分布をもった音）が検出されているとする。このときの尤もらしい状況として、Ｄi0,ｉ0＝argmaxiｗijを選び出すことができる。複数のパタン（たとえばｐj1,ｐj2）が検出された場合も同様に、Ｄi0,ｉ0＝argmaxi（ｗij1＋ｗij2）として尤もらしい状況を選ぶことができる。
【００６２】
同様に、Ｄiという状況下で聞こえてくる確率の高い音のパタンｐj0,ｊ0＝argmaxiｗijを選び出すことができる。これは、例えば、ビデオ録画の中から「大工仕事」のシーンを検索する、というような場合に役に立つ。「大工仕事」という概念（あるいは文字データ）でシーンを検索することはできないが、「大工仕事」を「のこぎりの音」に変換すれば、ビデオデータの一部である音データを検索することができる。なお、検索に用いるのは、状況との関係性が最も高い１つのパタンに限定しなければならないわけではなく、関係性が高い上位数個のパタンを用いる方法も考えられる。
【００６３】
また、上記実施形態によれば、Ｗｅｂ上の文書とモノとの相互関係の強さ及びモノとセンシングデータとの相互関係の強さｕij，ｖjkを利用して、Ｗｅｂ上の文書及びセンシングデータの集合から多くのデータを候補として選択し、相互関係の強さが所定値より低いデータについては棄却することが可能となり、これによりＷｅｂ上の文書のデータとセンシングデータとを関連付ける際の効率をさらに高めることができる。
【００６４】
（その他の実施形態）  
上記計算機１００のプログラム領域１２０の各モジュール１２１〜１３０で説明した個々の処理は、コンピュータプログラムによってソフトウェア処理することが可能である。この場合、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００６５】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６６】
１００…計算機、１１０…記憶領域、１２０…プログラム領域、１２１…文書取得モジュール、１２２…クラスタリングモジュール、１２３…特徴抽出モジュール、１２４…関係性計算モジュール、１２５…センシングモジュール、１２８…関係性推定モジュール、１２９…存在認識モジュール、１３０…対応付けモジュール。
【図１】
0006047464.tif 000008
【図２】
0006047464.tif 000009
【図３】
0006047464.tif 000010
【図４】
0006047464.tif 000011
【図５】
0006047464.tif 000012
【図６】
0006047464.tif 000013
【図７】
0006047464.tif 000014
【図８】
0006047464.tif 000015