(57)【特許請求の範囲】
【請求項１】
人物、有体物及び無体物の少なくとも一つである説明の対象物をセンサ情報として検出する一以上のセンサが出力した前記センサ情報を入力する入力手段と、
前記入力手段が入力したセンサ情報に基づいて前記対象物を説明する説明情報を判定する判定手段と、
前記対象物間の特定の位置関係及び時間的関係のうち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の前記判定手段の行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定手段と、を備える情報処理装置であって、
前記判定手段は、前記決定手段の決定した軽量論理式と前記センサ情報とに基づいて説明情報を判定することを特徴とする情報処理装置。
【請求項２】
前記決定手段は、数学法則である分配則及び結合則、並びに、論理否定の組合せにより論理式を変形することで前記軽量論理式を決定する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、Ａｌｌｅｎの時間的関連性により定められる変形規則であって、計算量を軽減する論理式の変形規則を用いて前記軽量論理式を決定する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記決定手段は、Ｅｇｅｎｈｏｆｅｒの空間的関連性により定められる変形規則であって、計算量を軽減する論理式の変形規則を用いて前記軽量論理式を決定する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記Ａｌｌｅｎの時間的関連性により定められる変形規則とは、以下の論理式（１）を満足して左辺から右辺へと変形する変形規則である、ことを特徴とする請求項３に記載の情報処理装置。
（数１）
ｅｑｕａｌ（Ａｉ，Ｂｉ） ｏｒ ａｆｔｅｒ（Ａｉ，Ｂｉ） ｏｒ ｄｕｒｉｎｇ（Ａｉ，Ｂｉ） ｏｒ ｃｏｎｔａｉｎｓ（Ａｉ，Ｂｉ） ｏｒ ｏｖｅｒｌａｐｓ（Ａｉ，Ｂｉ）ｏｒ ｏｖｅｒｌａｐｅｄ＿ｂｙ（Ａｉ，Ｂｉ） ｏｒ ｍｅｅｔｓ（Ａｉ，Ｂｉ） ｏｒ ｍｅｔ＿ｂｙ（Ａｉ，Ｂｉ） ｏｒ ｓｔａｒｔ（Ａｉ，Ｂｉ） ｏｒ ｆｉｎｉｓｈｅｓ（Ａｉ，Ｂｉ）＝ｎｏｔ (ｂｅｆｏｒｅ（Ａｉ，Ｂｉ）)・・・（１）
但し、Ａｉ及びＢｉは時区間を表す。
【請求項６】
前記Ｅｇｅｎｈｏｆｅｒの空間的関連性により定められる変形規則とは、以下の論理式（２）を満足して左辺から右辺へと変形する変形規則である、ことを特徴とする請求項４に記載の情報処理装置。
（数２）
(Ａｒ Ｃｏｎｔａｉｎ Ｂｒ) ｏｒ (Ａｒ Ｉｎｓｉｄｅ Ｂｒ) ｏｒ (Ａｒ Ｅｑｕａｌ Ｂｒ) ｏｒ (Ａｒ Ｍｅｅｔ Ｂｒ) ｏｒ (Ａｒ Ｃｏｖｅｒ Ｂｒ) ｏｒ (Ａｒ ＣｏｖｅｒｅｄＢｙ Ｂｒ) ｏｒ (Ａｒ Ｏｖｅｒｌａｐ Ｂｒ) ＝ ｎｏｔ (Ａｒ Ｄｉｓｊｏｉｎｔ Ｂｒ) ・・・（２）
但し、Ａｒ及びＢｒは領域を表す。
【請求項７】
前記判定手段の判定した説明情報と前記センサ情報と時刻情報とを関連付けられて蓄積するセンサ情報蓄積手段を、更に有することを特徴とする請求項１ないし６のいずれか１項に記載の情報処理装置。
【請求項８】
前記対象物は、優先順位を有し、
前記優先順位に基づいて、前記センサ情報蓄積手段に蓄積された複数の説明情報の内容の整合を維持する整合維持手段を更に有する、ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
ユーザの選択に基づいて、前記センサ情報蓄積手段に蓄積された複数の説明情報の内容の整合を維持する整合維持手段を更に有する、ことを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記入力手段は、動画像の撮影時における対象物をセンサ情報として検出するセンサが出力する前記センサ情報を入力し、
前記動画像と時刻情報とを関連付けられて蓄積する動画像蓄積手段を更に有することを特徴とする請求項５ないし９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記判定手段の判定した説明情報に基づいて、前記動画像を検索する検索手段、を更に備えることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記検索手段は、前記判定手段の判定した説明情報に基づいて、前記対象物を検索することを特徴とする請求項１０に記載の情報処理装置。
【請求項１３】
前記検索手段は、前記対象物に基づいて前記判定手段の判定した前記説明情報を検索することを特徴とする請求項１０に記載の情報処理装置。
【請求項１４】
人物、有体物及び無体物の少なくとも一つである説明の対象とする対象物をセンサ情報として検出する一以上のセンサが出力した前記センサ情報を入力する入力ステップと、
前記入力ステップで入力したセンサ情報に基づいて前記対象物を説明する説明情報を判定する判定ステップと、
対象物間の特定の位置関係及び時間的関係うち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の前記判定ステップの行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定ステップと、を備える情報処理方法であって、
前記判定ステップは、前記決定ステップの決定した軽量論理式と前記センサ情報とに基づいて説明情報を判定することを特徴とする情報処理方法。
【請求項１５】
コンピュータを、
人物、有体物及び無体物の少なくとも一つである説明の対象物をセンサ情報として検出する一以上のセンサが出力した前記センサ情報を入力する入力手段と、
前記入力手段が入力したセンサ情報に基づいて前記対象物を説明する説明情報を判定する判定手段と、
前記対象物間の特定の位置関係及び時間的関係のうち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の前記判定手段の行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定手段として機能させる情報処理プログラムであって、
前記判定手段は、前記決定手段の決定した軽量論理式と前記センサ情報とに基づいて説明情報を判定することを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索用の情報に基づいて所望の蓄積された情報を検索できる情報処理装置、情報処理方法、及び情報処理プログラムに関し、特に、対象物の時間及び空間における関連性を表す情報を検索できる情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
メタデータとは、データについての説明を記述したデータである。メタデータは、膨大なデータの山の中から目的のデータを探し出す手助けとするために作成される。このメタデータを用いて動画情報を検索することに関する従来技術として以下のようなものが提案されている。
【０００３】
特許文献１記載の動画像加工装置は、付帯するメタデータを利用して入力動画像の各フレーム毎に適切な領域で切り出すことによって動画像特徴量や使用方法に応じた出力動画像を自動的に作成する。
【０００４】
特許文献２記載の動画像管理装置は、動画像に編集が加えられた後でも、当該動画像に付与されているメタデータを容易に適正化し、活用できるようにする。
【０００５】
特許文献３記載の動画像検索装置は、入力映像によりオブジェクト領域を抽出し、そのオブジェクト領域の連続するフレームの形状の変化をも含み変化する形状特徴を抽出して予めメタデータデータベースに格納する。検索のために指定された形状特徴のメタデータとメタデータデータベース中に予め格納されたメタデータとを比較し、類似度のある映像を表示する。
【０００６】
特許文献４記載の画像処理装置は、人物の顔をフォトセンサにより撮像し、撮像して得た画像データから人物を識別するための情報である識別情報を抽出し、抽出された識別情報に基づいて特定した人物の氏名を画像データのメタデータとして付与する。
【０００７】
特許文献５記載の画像撮影装置は、画像を撮影する者の虹彩をフォトセンサにより撮像し、撮影者の撮像した画像に虹彩に基づいて作成された電子透かし等のデータをメタデータとして付与する。
【０００８】
【特許文献１】特開２００４‐１７２６７１
【特許文献２】特開２００３‐２５９２６８
【特許文献３】特開２００１‐２６８４７９
【特許文献４】特開２００４‐０６２８６８
【特許文献５】特開２００４‐０２３７３３
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、静止画に基づいて個人を特定して氏名や電子透かしと言ったメタデータを付与することは容易であるが、動画像を対象としたメタデータの抽出は困難である。例えば、動画像群を対象として、それらを撮影する際にその動画に撮影される人や物についての録画と同時かつ自動的にメタデータを付与することは困難である。このため、このような動画像に対してメタデータを用いた検索ができないと言う問題がある。上記特許文献によっては、このような動画像に対して自動的にメタデータを付与することはできない。
【００１０】
更に、メタデータは膨大なデータから目的のデータを探し出す手助けとするために作成される以上、説明対象とするデータを具体的に表現する必要がある。具体的な表現の中でも特に、方向性と言う時間的又は空間的関連性を記述するメタデータについては、膨大な計算が必要とされるために、メタデータの抽出がいっそう困難であると言う問題が存在する。
【００１１】
本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、センサ情報に基づいて少ない計算量にて説明情報を判定できる情報処理装置、情報処理方法、及び情報処理プログラムを提供する。
【課題を解決するための手段】
【００１２】
本発明に係る情報処理装置は、人物、有体物及び無体物の少なくとも一つである説明の対象物をセンサ情報として検出する一以上のセンサが出力したセンサ情報を入力する入力手段と、入力手段が入力したセンサ情報に基づいて対象物を説明する説明情報を判定する判定手段と、対象物間の特定の位置関係及び時間的関係のうち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の判定手段の行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定手段と、を備える情報処理装置であって、判定手段は、決定手段の決定した軽量論理式とセンサ情報とに基づいて説明情報を判定することを特徴としている。
この構成によれば、例えば、位置情報のみから「隣接している」と言う説明情報を判定する場合に比べて、「対面している」と言った内容に方向的な意味を有したより具体的な説明情報を判定できる。また、この構成によれば、対象物の特定の位置関係を基にして説明情報を判定できるため、一例として、内容に位置関係的な意味を有したより具体的な内容を示す説明情報を判定することができる。さらに、この構成によれば、判定に要する計算量の少ない論理式を決定した後に説明情報を判定できるため、一例として、計算量の少ない論理式を決定することなく判定する場合に比べて、判断対象とするセンサ情報の数の増加に伴う判定時間の増加を抑制できる。
【００１８】
上記構成において、決定手段は、数学法則である分配則及び結合則、並びに、論理否定の組合せにより論理式を変形することで軽量論理式を決定する構成を採用できる。
この構成によれば、論理演算によって論理式を変形することができるため、一例として、予め計算量の少ない論理式へ変形する変形規則を情報処理装置に登録しておいて、変形規則の適用の可否を判断する方法と比べて、変形規則の追加や変更等から生じる管理者の労力を軽減することができる。
【００１９】
上記構成において、決定手段は、Ａｌｌｅｎの時間的関連性により定められる変形規則であって、計算量を軽減する論理式の変形規則を用いて軽量論理式を決定する構成を採用できる。
この構成によれば、予め同一の論理内容のまま表現の異なった論理式へと変形する様々な変形規則を情報処理装置に登録しておいて変形規則の適用の可否を判断するため、例えば、数学的性質である分配則、結合則、及び、交換則と言う数学的規則に従って論理式を変形する方法と比べて、より柔軟な変形規則を用いることができるだけでなく、変形規則の拡張や変更が容易である。
【００２０】
上記構成において、決定手段は、Ｅｇｅｎｈｏｆｅｒの空間的関連性により定められる変形規則であって、計算量を軽減する論理式の変形規則を用いて軽量論理式を決定する構成を採用できる。
この構成によれば、予め同一の論理内容のまま表現の異なった論理式へと変形する様々な変形規則を情報処理装置に登録しておいて変形規則の適用の可否を判断するため、例えば、数学的性質である分配則、結合則、及び、交換則と言う数学的規則に従って論理式を変形する方法と比べて、より柔軟な変形規則を用いることができるだけでなく、変形規則の拡張や変更が容易である。
【００２１】
上記構成において、Ａｌｌｅｎの時間的関連性により定められる変形規則とは、以下の論理式（１）を満足して左辺から右辺へと変形する変形規則である、ことを特徴とする構成を採用できる。
（数３）
ｅｑｕａｌ（Ａｉ，Ｂｉ） ｏｒ ａｆｔｅｒ（Ａｉ，Ｂｉ） ｏｒ ｄｕｒｉｎｇ（Ａｉ，Ｂｉ） ｏｒ ｃｏｎｔａｉｎｓ（Ａｉ，Ｂｉ） ｏｒ ｏｖｅｒｌａｐｓ（Ａｉ，Ｂｉ）
ｏｒ ｏｖｅｒｌａｐｅｄ＿ｂｙ（Ａｉ，Ｂｉ） ｏｒ ｍｅｅｔｓ（Ａｉ，Ｂｉ） ｏｒ ｍｅｔ＿ｂｙ（Ａｉ，Ｂｉ） ｏｒ ｓｔａｒｔ（Ａｉ，Ｂｉ） ｏｒ ｆｉｎｉｓｈｅｓ（Ａｉ，Ｂｉ）＝
ｎｏｔ (ｂｅｆｏｒｅ（Ａｉ，Ｂｉ）)・・・（１）
但し、Ａｉ及びＢｉは時区間を表す。
この構成によれば、予め同一の論理内容のまま表現の異なった論理式へと変形する様々な変形規則を情報処理装置に登録しておいて変形規則の適用の可否を判断するため、例えば、数学的性質である分配則、結合則、及び、交換則と言う数学的規則に従って論理式を変形する方法と比べて、より柔軟な変形規則を用いることができるだけでなく、変形規則の拡張や変更が容易である。
【００２２】
上記構成において、Ｅｇｅｎｈｏｆｅｒの空間的関連性により定められる変形規則とは、以下の論理式（２）を満足して左辺から右辺へと変形する変形規則である、ことを特徴とする構成を採用できる。
（数４）
(Ａｒ  Ｃｏｎｔａｉｎ  Ｂｒ)  ｏｒ  (Ａｒ  Ｉｎｓｉｄｅ  Ｂｒ)  ｏｒ  (Ａｒ  Ｅｑｕａｌ  Ｂｒ)  ｏｒ  (Ａｒ  Ｍｅｅｔ  Ｂｒ)  ｏｒ  (Ａｒ  Ｃｏｖｅｒ  Ｂｒ)  ｏｒ  (Ａｒ  ＣｏｖｅｒｅｄＢｙ  Ｂｒ)  ｏｒ  (Ａｒ  Ｏｖｅｒｌａｐ  Ｂｒ)  ＝  ｎｏｔ  (Ａｒ  Ｄｉｓｊｏｉｎｔ  Ｂｒ) ・・・（２）
但し、Ａｒ及びＢｒは領域を表す。
この構成によれば、予め同一の論理内容のまま表現の異なった論理式へと変形する様々な変形規則を情報処理装置に登録しておいて変形規則の適用の可否を判断するため、例えば、数学的性質である分配則、結合則、及び、交換則と言う数学的規則に従って論理式を変形する方法と比べて、より柔軟な変形規則を用いることができるだけでなく、変形規則の拡張や変更が容易である。
【００２３】
上記構成において、判定手段の判定した説明情報とセンサ情報と時刻情報とを関連付けられて蓄積するセンサ情報蓄積手段を、更に有する構成を採用できる。
この構成によれば、対象物はセンサ情報として検出され、また、説明情報は方向情報に基づいて判定されるので、二以上の対象物においては、それぞれの対象物と対象物間の空間的な関連性と時間的な関連性とを関連付けて蓄積できる。
【００２４】
上記構成において、対象物は、優先順位を有し、優先順位に基づいて、センサ情報蓄積手段に蓄積された複数の説明情報の内容の整合を維持する整合維持手段を更に有する構成を採用できる。
この構成によれば、論理式による判定を厳密に行う必要が無いため、判定手段の構成を単純化できる。また、説明情報の追加や変更に柔軟に対応できる。また、この構成によれば、予め定められた優先順位に基づいて説明情報を判定するため、例えば、ユーザの選択に基づいて説明情報を判定する方法と比べて、センサ情報蓄積手段に蓄積された説明情報の数の増加に伴うユーザの管理労力の増加を抑制できる。
【００２５】
上記構成において、ユーザの選択に基づいて、センサ情報蓄積手段に蓄積された複数の説明情報の内容の整合を維持する整合維持手段を更に有する構成を採用できる。
この構成によれば、論理式による判定を厳密に行う必要が無いため、判定手段の構成を単純化できる。また、説明情報の追加や変更に柔軟に対応できる。また、この構成によれば、ユーザの選択に基づいて説明情報を判定するため、例えば、予め定められた優先順位に基づいて説明情報を判定する方法と比べて、判定手段によって判定される説明情報と実際の観察によりユーザによって認識される説明情報との齟齬が生じ難い。
【００２６】
上記構成において、入力手段は、動画像の撮影時における対象物をセンサ情報として検出するセンサが出力するセンサ情報を入力し、動画像と時刻情報とを関連付けられて蓄積する動画像蓄積手段を更に有する構成を採用できる。
この構成によれば、センサ情報を時刻に関連付けられて蓄積でき、且つ、動画像を時刻情報に関連付けて蓄積できる。よって、一例として、動画像の撮影時刻を示す時刻情報と関連付けて蓄積することで、動画像の撮影時刻を特定して動画像とセンサ情報とを関連付けて蓄積できる。
【００２７】
上記構成において、判定手段の判定した説明情報に基づいて、動画像を検索する検索手段、を更に備える構成を採用できる。
この構成によれば、説明情報に基づいて動画像を検索できるので、一例として、対象物の特徴を表す説明情報に基づいて撮影対象とした対象物の動画像を検索できる。一例として、「議論」で特徴付けられる対象物の動作を撮影した動画を特定するには、説明情報「議論」を手掛かりに動画を特定できる。
【００２８】
上記構成において、検索手段は、判定手段の判定した説明情報に基づいて、対象物を検索する構成を採用できる。
この構成によれば、説明情報に基づいて対象物を検索できるので、対象物を特徴付ける説明情報を手掛かりとして対象物を特定できる。一例として、「議論」が、対象物である人物の会議における動作を特徴付ける場合には、説明情報「議論」を手掛かりに人物を特定できる。
【００２９】
上記構成において、検索手段は、対象物に基づいて判定手段の判定した説明情報を検索する構成を採用できる。
この構成によれば、対象物に基づいて説明情報を検索できるので、対象物を手掛かりとして特定の時刻における対象物の状態や動作等を表す説明情報を取得できる。一例として、対象物である電子ファイルを手掛かりに、説明情報である電子ファイルの投影履歴を取得できる。
【００３０】
本発明に係る情報処理方法は、人物、有体物及び無体物の少なくとも一つである説明の対象とする対象物をセンサ情報として検出する一以上のセンサが出力したセンサ情報を入力する入力ステップと、入力ステップで入力したセンサ情報に基づいて対象物を説明する説明情報を判定する判定ステップと、対象物間の特定の位置関係及び時間的関係うち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の判定ステップの行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定ステップと、を備える情報処理方法であって、判定ステップは、決定ステップの決定した軽量論理式とセンサ情報とに基づいて説明情報を判定することを特徴としている。
この構成によれば、例えば、位置情報のみから「隣接している」と言う説明情報を判定する場合に比べて、「対面している」と言った内容に方向的な意味を有したより具体的な説明情報を判定できる。また、この構成によれば、対象物の特定の位置関係を基にして説明情報を判定できるため、一例として、内容に位置関係的な意味を有したより具体的な内容を示す説明情報を判定することができる。さらに、この構成によれば、判定に要する計算量の少ない論理式を決定した後に説明情報を判定できるため、一例として、計算量の少ない論理式を決定することなく判定する場合に比べて、判断対象とするセンサ情報の数の増加に伴う判定時間の増加を抑制できる。
【００３３】
本発明に係る情報処理プログラムは、コンピュータを、人物、有体物及び無体物の少なくとも一つである説明の対象物をセンサ情報として検出する一以上のセンサが出力したセンサ情報を入力する入力手段と、入力手段が入力したセンサ情報に基づいて対象物を説明する説明情報を判定する判定手段と、対象物間の特定の位置関係及び時間的関係のうち少なくとも一方を表す論理式を、該論理式と同一の内容を表す他の複数の論理式へ変形し、変形した論理式を構成する演算子毎の判定手段の行う判定に要する計算量に基づき、計算量の少ない論理式である軽量論理式を決定する決定手段として機能させる情報処理プログラムであって、判定手段は、決定手段の決定した軽量論理式とセンサ情報とに基づいて説明情報を判定することを特徴としている。
この構成によれば、例えば、位置情報のみから「隣接している」と言う説明情報を判定する場合に比べて、「対面している」と言った内容に方向的な意味を有したより具体的な説明情報を判定できる。また、この構成によれば、対象物の特定の位置関係を基にして説明情報を判定できるため、一例として、内容に位置関係的な意味を有したより具体的な内容を示す説明情報を判定することができる。さらに、この構成によれば、判定に要する計算量の少ない論理式を決定した後に説明情報を判定できるため、一例として、計算量の少ない論理式を決定することなく判定する場合に比べて、判断対象とするセンサ情報の数の増加に伴う判定時間の増加を抑制できる。
【発明の効果】
【００３６】
本発明によれば、センサ情報に基づいて少ない計算量にて説明情報を判定できる情報処理装置、情報処理方法、及び情報処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は本発明の一実施例に係る情報処理装置の構成図である。
本発明の情報処理装置１００は、カメラ管理部１１０、動画像記録部１２０、動画像データベース１３０、入力手段としてのセンサ管理部１４０、判定手段としての判定部１５０、決定手段としての決定部１６０、変形規則データベース１７０、メタデータデータベース１８０、センサ情報記録部１９０、センサ情報データベース２００、整合維持手段としての整合維持部２１０、環境情報データベース２２０、検索手段としての検索部２３０、入力部２４０、及び表示部２５０等から構成されている。
【００３８】
情報処理装置１００は、ユーザ３００により、検索条件を入力される。また、情報処理装置１００は、ユーザ３００に対して検索結果、選択対象とするメタデータ及びメタデータの選択を促すメッセージを表示する。
【００３９】
カメラ管理部１１０は、ビデオカメラを管理する。カメラ管理部１１０は、動画像記録部１２０に接続されている。カメラ管理部１１０は、動画像を取得して、取得した動画像を動画像記録部１２０へ送信する。
【００４０】
ここで、図２を用いて、カメラ管理部１１０の一構成例を説明する。図２は、カメラ管理部１１０の一構成を説明するための図である。
カメラ管理部１１０は、一又は複数（図２においては、ｎ台）のビデオカメラ１１１ないし１１ｎ等を管理している。
【００４１】
カメラ管理部１１０は、ビデオカメラ１１１ないし１１ｎからビデオカメラにより動画像を取得する。また、カメラ管理部１１０は、ビデオカメラ１１１ないし１１ｎをそれぞれ識別する情報であるカメラ識別情報を管理しており、カメラ識別情報と取得した動画像とを関連付けて動画像記録部１２０へ送信する。
【００４２】
ビデオカメラ１１１ないし１１ｎは、例えば、ＣＣＤカメラ等で構成される。このビデオカメラ１１１ないし１１ｎはカメラ管理部１１０を通じて動画像記録部１２０に接続している。本実施例においては、ビデオカメラ１１１ないし１１ｎは、予め定められた領域を撮像するように固定配置されている。ビデオカメラ１１１ないし１１ｎは、所定の領域を撮像することで得た動画像をカメラ管理部１１０を通じて動画像記録部１２０へ送信する。
【００４３】
動画像記録部１２０は、カメラ管理部１１０及び動画像データベース１３０に接続している。動画像記録部１２０は、カメラ管理部１１０から関連付けられた動画像とカメラ識別情報とを受信する。また、動画像記録部１２０は、時刻と受信した動画像とカメラ識別情報とを関連付けて動画像データベース１３０へ蓄積する。
【００４４】
ここで、図１に戻り、本発明の情報処理装置の構成の説明を続ける。
動画像データベース１３０は、動画像記録部１２０及び検索部２３０に接続している。動画像データベース１３０は、動画像記録部１２０によって、時刻情報と動画像とカメラ識別情報とを関連付けられて蓄積する。また、動画像データベース１３０は、蓄積した時刻情報と動画像とカメラ識別情報とを検索部２３０によって参照される。
【００４５】
この構成によれば、センサ情報を時刻に関連付けられて蓄積でき、且つ、動画像を時刻情報に関連付けて蓄積できる。よって、一例として、動画像の撮影時刻を示す時刻情報と関連付けて蓄積することで、動画像の撮影時刻を特定して動画像とセンサ情報とを関連付けて蓄積することができる。
【００４６】
センサ管理部１４０は、様々なセンサを管理する。センサ管理部１４０は、判定部１５０に接続されている。センサ管理部１４０は、人物、有体物及び無体物の少なくとも一つであるオブジェクトをセンサ情報として取得し、取得したセンサ情報を判定部１５０へ送信する。
【００４７】
ここで、図３を用いて、センサ管理部１４０の一構成例を説明する。図３は、センサ管理部１４０の一構成を説明するための図である。
センサ管理部１４０は、一又は複数台のファイルサーバ、メールサーバ、プロジェクタ、ＲＦＩＤリーダ、及び、マイクロフォン等から構成される。センサ管理部１４０は、ファイルサーバ、メールサーバ、プロジェクタ、ＲＦＩＤリーダ、及び、マイクロフォン等により人物、有体物及び無体物の少なくとも一つであるオブジェクトをセンサ情報として取得する。また、センサ管理部１４０は、センサ情報を判定部１５０へ送信する。
【００４８】
ファイルサーバ１４０１ないし１４０ｍは、例えば、パーソナルコンピュータ等で構成されている。ファイルサーバ１４０１ないし１４０ｍは、例えば、プレゼンテーションの際に表示されるスライドの内容を表す電子ファイル等を蓄積及び管理する。特に、ファイルサーバ１４０１ないし１４０ｍは、無体物のオブジェクトである電子ファイルをセンサ情報として検出するセンサとして機能する。本実施例においては、電子ファイルを識別するオブジェクト識別情報と電子ファイルの改変内容とをセンサ情報として検出する。
【００４９】
特に、電子ファイルを改変する場合において、改変後のファイルを改変前のファイルと別のオブジェクトとして検出し、更に、改変内容を１つのオブジェクトとして検出する構成を採用することもできる。
【００５０】
また、ファイルサーバ１４０１ないし１４０ｍは、蓄積するスライドの内容を表す電子ファイル等を判定部１５０によって参照される。ファイルサーバ１４０１ないし１４０ｍは、判定部１５０によって、参照された電子ファイルの表す各スライドが技術用語を含むものであるか否かをオブジェクト識別情報と関連付けて蓄積される。
【００５１】
メールサーバ１４１１ないし１４１ｍ'は、例えば、パーソナルコンピュータ等で構成されている。メールサーバ１４１１ないし１４１ｍ'は、例えば、電子メールに添付された電子ファイル等を、ＳＭＴＰやＰＯＰ等と言ったプロトコルに従って送受信する。
【００５２】
特に、メールサーバ１４１１ないし１４１ｍ''は、無体物のオブジェクトである電子ファイルをセンサ情報として検出するセンサとして機能する。本実施例においては、電子ファイルを識別するオブジェクト識別情報及び電子ファイル等の送信先とをセンサ情報として検出する。
【００５３】
プロジェクタ１４２１ないし１４２ｍ''は、例えば、液晶プロジェクタ等で構成されている。液晶プロジェクタ１４２１ないし１４２ｍ''は、入力された電子ファイル等で表されるスライドをスクリーンへ投影する。特に、プロジェクタ１４２１ないし１４２ｍ''は、無体物のオブジェクトである投影されたスライドをセンサ情報として検出するセンサとして機能する。本実施例においては、投影されるスライドの切替及び投影しているスライドを識別する情報であるオブジェクト識別情報等をセンサ情報として検出する。
【００５４】
ＲＦＩＤリーダ１４３１ないし１４３ｍ'''は、ＲＦＩＤタグの位置情報を検出するセンサである。ＲＦＩＤリーダ１４３１ないし１４３ｍ'''は、ＲＦＩＤタグと通信可能に設置されている。特に、本実施例においては、有体物でありオブジェクトである会議室を構成する机、椅子、スクリーン及びプロジェクタ等と人物でありオブジェクトである会議の出席者等とをセンサ情報として検出するセンサとして機能する。
【００５５】
具体的には、机、椅子、スクリーン、プロジェクタ及び人物は、それぞれＲＦＩＤタグを有している。また、ＲＦＩＤリーダは、ＲＦＩＤタグの三次元上の位置情報とＲＦＩＤタグが発するＲＦＩＤタグを識別する情報とを検出する。本実施例では、ＲＦＩＤタグを識別する情報は、ＲＦＩＤタグを有する有体物や人物を識別する情報とみなす。
【００５６】
マイクロフォン１４４１ないし１４４ｍ'''は、例えば、圧電マイクで構成される。マイクロフォン１４４１ないし１４４ｍ'''は、人物に携帯され、人物の音声を収音可能に配置、携帯されている。特に、マイクロフォン１４４１ないし１４４ｍ'''は、オブジェクトである人物をセンサ情報として検出するセンサとして機能する。具体的には、マイクロフォン１４４１ないし１４４ｍは、人物の音声と収音したマイクロフォンを識別する情報等を検出する。本実施例では、マイクロフォンを識別する情報は、当該マイクロフォンを有する人物を識別する情報とみなす。
【００５７】
判定部１５０は、センサ管理部１４０、決定部１６０、メタデータデータベース１８０、センサ情報記録部１９０、環境情報データベース２２０に接続されている。判定部１５０は、センサ管理部１４０からセンサ情報とオブジェクト識別情報とを受信する。また、判定部１５０は、環境情報データベース２２０から環境情報を受信する、尚、環境情報とはどのような情報を言うかは後述する。
【００５８】
次に、判定部１５０は、メタデータを判定するための論理式を作成する。その後、受信したセンサ情報に基づいて定めた方向情報と論理式と必要な場合には環境情報とに基づいてメタデータを判定する。最後に、判定したメタデータと受信したセンサ情報とをセンサ情報記録部１９０へと送信する。
【００５９】
具体的に説明すると、本実施例においては、会議で使用された無体物でありオブジェクトである電子データ、電子データに追加された語句、有体物でありオブジェクトである会議で使用された机、椅子、プロジェクタ及びスクリーン等、人物でありオブジェクトである会議の出席者等を、センサ管理部１４０から受信したセンサ情報であるオブジェクト識別情報に基づいて検出する。その後、検出したオブジェクト相互の時間的及び空間的関連性の全てを考慮して適切なメタデータを判定するための論理式を作成する。
【００６０】
ここで、図４を用いて、オブジェクト相互の時間的関連性の考慮の仕方について説明する。図４は、Ａｌｌｅｎの時区間モデル（Ａｌｌen,  J.F.:  “Maintaining  Knowｌedge  about  Temｐｏｒaｌ  Inteｒvaｌs,''  Communications  of  the  ＡCM,  No.  26,  ｐｐ.  832?843  (1983).）を説明するための図である。
時点Ａｐと時点Ｂｐ、時点Ａｐと時区間Ｂｉ、時区間Ａｉと時点Ｂｐ、及び、時区間Ａｉと時区間Ｂｉとの時間的関連性は、図４に示すそれぞれ３、５、５、及び、１１通りの関連性に分類されることが、Ａｌｌｅｎによって明らかにされている。本発明は、Ａｌｌｅｎの時区間モデルを用いてオブジェクト相互の時間的関連性を解析する。
【００６１】
時点Ａｐと時点Ｂｐとの時間的関連性は、ｅｑｕａｌ、ｂｅｆｏｒｅ、及び、ａｆｔｅｒの３つで全て表される。
【００６２】
ｅｑｕａｌ（Ａｐ，Ｂｐ）は時点Ａｐと時点Ｂｐとが一致していることを、ｂｅｆｏｒｅ（Ａｐ，Ｂｐ）は時点Ａｐが時点Ｂｐより前であることを、ａｆｔｅｒ（Ａｐ，Ｂｐ）は時点Ａｐが時点Ｂｐより後であることを、それぞれ表す。
【００６３】
時点Ａｐと時区間Ｂｉとの時間的関連性は、ｂｅｆｏｒｅ、ａｆｔｅｒ、ｃｏｎｔａｉｎｓ、ｓｔａｒｔｓ、及び、ｆｉｎｉｓｈｅｓで全て表される。
【００６４】
ｂｅｆｏｒｅ（Ａｐ，Ｂｉ）は、時点Ａｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐより前であることを表す。ａｆｔｅｒ（Ａｐ，Ｂｉ）は、時点Ａｐが区間Ｂｉの終了刻Ｂｉ．ｅｎｐより後であることを表す。ｃｏｎｔａｉｎｓ（Ａｐ，Ｂｉ）は、区間Ｂｉの開始時刻Ｂｉ．ｓｔｐが時点Ａｐより前であり、かつ、区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが時点Ａｐよりも後であることを表す。ｓｔａｒｔｓ（Ａｐ，Ｂｉ）は、区間Ｂｉの開始時刻Ｂｉ．ｓｔｐが時点Ａｐに一致することを表す。ｆｉｎｉｓｈｅｓ（Ａｐ，Ｂｉ）は、区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが時点Ａｐに一致することを表す。
【００６５】
時区間Ａｉと時点Ｂｐとの時間的関連性は、ｂｅｆｏｒｅ、ａｆｔｅｒ、ｄｕｒｉｎｇ、ｓｔａｒｔｓ、及び、ｆｉｎｉｓｈｅｓで全て表される。
【００６６】
ｂｅｆｏｒｅ（Ａｉ，Ｂｐ）は、区間Ａｉの終了時刻Ａｉ．ｅｎｐが時点Ｂｐより前であることを表す。ａｆｔｅｒ（Ａｉ，Ｂｐ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐが時点Ｂｐより後であることを表す。ｄｕｒｉｎｇ（Ａｉ，Ｂｐ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐが時点Ｂｐより前であり、かつ時点Ｂｐが区間Ａｉの終了時刻Ａｉ．ｅｎｐよりも前であることを表す。ｓｔａｒｔｓ（Ａｉ，Ｂｐ）は、時点Ｂｐが区間Ａｉの開始時刻Ａｉ．ｓｔｐに一致することを表す。ｆｉｎｉｓｈｅｓ（Ａｉ，Ｂｐ）は、時点Ｂｐが区間Ａｉの終了時刻Ａｉ．ｅｎｐに一致することを表す。
【００６７】
時区間Ａｉと時区間Ｂｉとの時間的関連性は、ｅｑｕａｌ、ｂｅｆｏｒｅ、ａｆｔｅｒ、ｄｕｒｉｎｇ、ｃｏｎｔａｉｎｓ、ｏｖｅｒｌａｐｓ、ｏｖｅｒｌａｐｐｅｄ＿ｂｙ、ｍｅｅｔｓ、ｍｅｔ＿ｂｙ、ｓｔａｒｔｓ、及び、ｆｉｎｉｓｈｅｓで全て表される。
【００６８】
ｅｑｕａｌ（Ａｉ，Ｂｉ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐと区間Ｂｉの開始時刻Ｂｉ．ｓｔｐとが一致し、かつ区間Ａｉの終了時刻Ａｉ．ｅｎｐと区間Ｂｉの終了時刻Ｂｉ．ｅｎｐとが一致することを表す。ｂｅｆｏｒｅ（Ａｉ，Ｂｉ）は、区間Ａｉの終了時刻Ａｉ．ｅｎｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐより前であることを表す。ａｆｔｅｒ（Ａｉ，Ｂｉ）は、区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが区間Ａｉの始時刻Ａｉ．ｓｔｐより前であることを表す。ｄｕｒｉｎｇ（Ａｉ，Ｂｉ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐより前であり、かつ区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが区間Ａｉの終了時刻Ａｉ．ｓｔｐよりも前であることを表す。ｃｏｎｔａｉｎｓ（Ａｉ，Ｂｉ）は、区間Ｂｉの開始時刻Ｂｉ．ｓｔｐの開始時刻が区間Ａｉの開始時刻Ａｉ．ｓｔｐより前であり、かつ区間Ａｉの終了時刻Ａｉ．ｅｎｐが区間Ｂｉの終了時刻Ｂｉ．ｅｎｐよりも前であることを表す。ｏｖｅｒｌａｐｓ（Ａｉ，Ｂｉ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐよりも前であり、かつ、区間Ｂｉの開始時刻Ｂｉ．ｓｔｐが区間Ａｉの終了時刻Ａｉ．ｅｎｐよりも前であり、かつ、区間Ａｉの終了時刻Ａｉ．ｅｎｐが区間Ｂｉの終了時刻Ｂｉ．ｅｎｐよりも前であることを表す。ｏｖｅｒｌａｐｐｅｄ＿ｂｙ（Ａｉ，Ｂｉ）は、区間Ｂｉの開始時刻Ｂｉ．ｓｔｐが区間Ａｉの開始時刻Ａｉ．ｓｔｐよりも前であり、かつ、区間Ａｉの開始時刻Ａｉ．ｓｔｐが区間Ｂｉの終了時刻Ｂｉ．ｅｎｐよりも前であり、かつ、区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが区間Ａｉの終了時刻Ａｉ．ｅｎｐよりも前であることを表す。ｍｅｅｔｓ（Ａｉ，Ｂｉ）は、区間Ａｉの終了時刻Ａｉ．ｅｎｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐに一致することを表す。ｍｅｔ＿ｂｙ（Ａｉ，Ｂｉ）は、区間Ｂｉの終了時刻Ｂｉ．ｅｎｐが区間Ａｉの開始時刻Ａｉ．ｓｔｐに一致することを表す。ｓｔａｒｔｓ（Ａｉ，Ｂｉ）は、区間Ａｉの開始時刻Ａｉ．ｓｔｐが区間Ｂｉの開始時刻Ｂｉ．ｓｔｐに一致することを表す。ｆｉｎｉｓｈｅｓ（Ａｉ，Ｂｉ）は、区間Ａｉの終了時刻Ａｉ．ｅｎｐが区間Ｂｉの終了時刻Ｂｉ．ｅｎｐに一致することを表す。
【００６９】
次に、図５を用いて、オブジェクト相互の空間的関連性の考慮の仕方について説明する。図５は、Ｅｇｅｎｈｏｆｅｒの空間的関連性モデル（Egenhofeｒ,  M.J.:  “Sｐatiaｌ  Reｌations:  Modeｌs,  Infeｒences,  and  theiｒ  Futuｒe  Ａｐｐｌication”,  Pｒoceedings  of  Ａdvanced  Database  Symｐosium,  Tokyo,  Jaｐan,  Decembeｒ  2-4,  seｐaｒate  voｌume  (1996).Egenhofeｒ,  M.J.,  Rashid,  Ａ.  and  Shaｒi,  Ｂ.M.:  “Metｒic  Detaiｌs  fｏｒ  Natuｒaｌ-Language  Sｐatiaｌ  Reｌations”,  ＡCM  Tｒansactions  on  Infｏｒmation  Systems,  Voｌ.16,  No.4,  ｐｐ.295-321  (1998).）を説明するための図である。
領域Ａｒと領域Ｂｒ、領域Ａｒと線分Ｂｌ、線分Ａｌと線分Ｂｌ、領域Ａｒと点Ｂｐ、線分Ａｌと点Ｂｐ、及び、点Ａｐと点Ｂｐとの空間的関連性は、図５に示すそれぞれ８、１０、１１、３、３、及び、２通りのパターンに分類されることが、Ｅｇｅｎｈｏｆｅｒによって明らかにされている。本発明は、Ｅｇｅｎｈｏｆｅｒの空間的関連性モデルを用いてオブジェクト相互の空間的関連性を解析する。
【００７０】
領域Ａｒと領域Ｂｒの空間的関連性は、Ｄｉｓｊｏｉｎｔ、Ｃｏｎｔａｉｎ、Ｉｎｓｉｄｅ、Ｅｑｕａｌ、Ｍｅｅｔ、Ｃｏｖｅｒ、Ｃｏｖｅｒｅｄ＿Ｂｙ、及び、Ｏｖｅｒｌａｐで表される。
【００７１】
Ｄｉｓｊｏｉｎｔ（Ａｒ，Ｂｒ）は、領域Ａｒと領域Ｂｒとは何ら関係を有しないことを表す。Ｃｏｎｔａｉｎ（Ａｒ，Ｂｒ）は、領域Ａｒは領域Ｂｒを含むことを表す。Ｉｎｓｉｄｅ（Ａｒ，Ｂｒ）は、領域Ａｒは領域Ｂｒの中にあることを表す。Ｅｑｕａｌ（Ａｒ，Ｂｒ）は、領域Ａｒと領域Ｂｒとが一致することを表す。Ｍｅｅｔ（Ａｒ，Ｂｒ）は、領域Ａｒと領域Ｂｒとが接していることを表す。Ｃｏｖｅｒ（Ａｒ，Ｂｒ）は、領域Ａｒが領域Ｂｒを含んでいることを表す。Ｃｏｖｅｒｅｄ＿Ｂｙ（Ａｒ，Ｂｒ）は、領域Ａｒが領域Ｂｒに含まれていることを表す。Ｏｖｅｒｌａｐ（Ａｒ，Ｂｒ）は、領域Ａｒと領域Ｂｒとが重なり合っていることを表す。
【００７２】
ここで、図６を用いて、判定部１５０によって判定されるメタデータの一例について説明する。図６は、判定部によって判定されるメタデータの定義の一例を説明するための図である。
図６に挙げたメタデータは、判定部１５０によって判定されるメタデータの一例であって、オブジェクト相互の空間的関連性のうちで、配置方向に基づいて判定されるメタデータである。
【００７３】
メタデータの「互いに向き合う」は、人物であるオブジェクトＡとＢとが空間的に接し、且つ、配置方向（視認方向）が互いに逆方向となっている場合に、判定部１５０によって判定されるメタデータである。
【００７４】
また、メタデータの「互いに並んで腰掛ける」は、人物ＡとＢとが空間的に接し、配置方向（視認方向）が互いに同方向であり、人物ＡとＢと椅子Ｃとが空間的に接している場合に、判定部１５０によって判定されるメタデータである。
【００７５】
また、メタデータの「互いにホワイトボードに書きあう」は、人物ＡとペンＰとが重なり空間的に重なっており、人物ＢとペンＰとが重なり空間的に重なっており、人物ＡとペンＰａと人物ＢとペンＰｂとホワイトボードＨとが空間的に接しており、人物ＡとＢとの配置方向（視認方向）が互いに同方向であり、且つ
人物ＡとＢとの配置方向がホワイトボードの配置方向の逆である場合に、判定部１５０によって判定されるメタデータである。
【００７６】
また、メタデータの「互いに並んで机に向う」は、人物ＡとＢとが空間的に接し、配置方向（視認方向）が互いに同方向であり、人物ＡとＢと机Ｔとが空間的に接している場合に、判定部１５０によって判定されるメタデータである。
【００７７】
また、メタデータの「互いに向き合って着席する」は、人物ＡとＢとが空間的に接し、配置方向（視認方向）が互いに逆方向であり、人物ＡとＢと椅子Ｃとが空間的に接している場合に、判定部１５０によって判定されるメタデータである。
【００７８】
また、メタデータの「ホワイトボードに書合える位置で互いに向き合って着席している」は、人物ＡとＢとが空間的に接し、配置方向（視認方向）が互いに逆方向であり、人物ＡとＢと椅子Ｃとが空間的に接しており、人物ＡとＢと椅子ＣとホワイトボードＨとが空間的に接している場合に、判定部１５０によって判定されるメタデータである。
【００７９】
次に、判定部１５０によって判定されるメタデータの一例であって、移動方向に基づいて判定されるメタデータの定義の一例を説明する。
オブジェクト相互の空間的関連性のうちで、移動方向に基づいて判定されるメタデータである「議論」は、人物であるオブジェクトＡとＢとが、技術用語を表示しているスクリーンに近づいた後に、立った状態で、スクリーンの方向を向いている場合に、判定部１５０によって判定されるメタデータである。
【００８０】
尚、「議論」である以上は、人物であるオブジェクトＡ又はＢのいずれか一方が発言していることを要件として追加した定義を採用することもできる。特定の時刻における発言の有無はセンサ管理部１４０のマイクロフォン１４４１ないし１４３ｍ'''が検出した音声の音圧等に基づいて、判定部１５０が判断する。
【００８１】
また、スクリーンが特定の時刻に技術用語を表示しているか否かの判断方法を説明する。判定部１５０は、センサ管理部１４０のプロジェクタ１４２１ないし１４２ｍ''が検出する表示スライドを識別する情報と表示スライドの切替とを基に、特定の時刻においてスクリーンに表示されていた表示スライドを特定する。次に、判定部１５０は、特定された表示スライドが内容に技術用語を含むかを判断する。
【００８２】
判定部１５０は、センサ管理部１４０のファイルサーバ１４０１ないし１４０ｍに蓄積されたスライドデータを予め解析し、技術用語を含むか否かを表示スライドと関連付けてファイルサーバに蓄積する。その後、特定された表示スライドの識別情報を基にファイルサーバ１４０１から特定された表示スライドが技術用語を有するか否かを取得する。
【００８３】
ここで、図７を用いて、スライドを表す電子データが技術用語を含むか否かを判断する方法の一例について説明する。図７は、スライドデータの解析方法の一例を説明するための図である。
例えば、一例として、マイクロソフト社のパワーポイントと言うプレゼンテーション用ソフトウェアにより作成されたスライドデータＤＳを例に挙げれば、判定部１５０は、センサ管理部１４０のファイルサーバ１４０１ないし１４０ｍに蓄積されたスライドデータを受信する。
【００８４】
その後、判定部１５０は、解析を容易にするために、スライドデータをパワーポイントの用いるファイルフォーマットからＸＭＬ等の構造化文書のファイルフォーマットへ変換する。
【００８５】
判定部１５０は、図示は省略するが、技術用語を蓄積した技術用語蓄積部１５１を有している。技術用語蓄積部は、例えば、リレーショナルデータベース等から構成される。判定部１５０は、技術用語蓄積部１５１に蓄積された技術用語を参照し、構造化文書のファイルフォーマットへ変換されたファイルが示す内容に参照した技術用語を含むかを判断する。
【００８６】
次に、判定部１５０によって判定されるメタデータの一例であって、移動方向に基づいて判定されるメタデータの定義の一例を説明する。
メタデータである「送信」は、無体物でありオブジェクトである電子データが電子メールに添付されてメールサーバ１４１１ないし１４１ｍ'によって送信された場合に、判定部１５０によって判定されるメタデータである。
【００８７】
同様に、メタデータである「受信」は、無体物でありオブジェクトである電子データが電子メールに添付されてメールサーバ１４１１ないし１４１ｍ'によって受信された場合に、判定部１５０によって判定されるメタデータである。
【００８８】
また、方向性を意味内容に含むメタデータとして、「投影」、「指し示す。」又は、「編集」と言ったメタデータを、電子データが投影スクリーン等に投影された場合、スクリーン等に投影された電子データを人物が指し示した場合、又は、電子データを編集した場合として定義する構成を採用することもできる。
【００８９】
更に、方向性を意味内容に含むメタデータとして、「閲読」と言ったメタデータを、有体物オブジェクトである紙媒体等に印刷されたドキュメントの配置方向と人物オブジェクトの視認方向とが同じ場合として定義する構成を採用することもできる。尚、紙媒体の方向は、他の有体物と同様にＲＦＩＤタグを用いてセンサ情報に基づいて取得することができる。
【００９０】
更に、ここで図８を参照して、時間的関連性と空間的関連性との両関連性を記述するための新たな演算子「ｒｅｖｅｒｓｅ」、「ａｄｄ」、「ｍｕｌｔｉ」、「ｄｉｆｆｅｒｅｎｃｅ」、及び「ｄｉｖｉｓｉｏｎ」を定義する。図８は、新たな演算子を説明するための図である。
【００９１】
更に、新たな演算子「ｒｅｖｅｒｓｅ」、「ａｄｄ」、「ｍｕｌｔｉ」、「ｄｉｆｆｅｒｅｎｃｅ」、及び「ｄｉｖｉｓｉｏｎ」を定義するために使用されるデータ構造を説明する。
【００９２】
データ構造は、時刻ｔ０、ｔ１、ｔ２・・・と言う時刻情報と、ある時刻ｔｉ−１（ただし、ｉ  ＝  １、２、・・・）における三次元座標による位置情報（ｘ１ｉ、ｙ１ｉ、ｚ１ｉ）と時刻ｔｉにおける三次元座標による位置情報（ｘ２ｉ、ｙ２ｉ、ｚ２ｉ）、オブジェクトを識別する情報ＩＤとから成るデータの組を、それぞれの時刻ｔ０、ｔ１、ｔ２・・・に対して並列表記したデータ構造ｓｑを有する。
【００９３】
これによって、従来、困難または不可能であった、時間・空間・方向を有する各オブジェクトのシーケンスを対象とした記述が、汎用的に容易に記述可能となる。
【００９４】
次に、新たな演算子「ｒｅｖｅｒｓｅ」について説明する。
「ｒｅｖｅｒｓｅ」とは、データ構造ｓｑを構成するデータ組の並列順序を逆順に表現するものである。
【００９５】
具体的には、ペンを上げる動作シーケンスをデータ構造ｓｑによって記述した例としてｓｑ５２を挙げることができる。
【００９６】
また、ペンを下げるという動作シーケンスはデータ構造ｓｑによって記述した例としてｓｑ５３を挙げることができる。
【００９７】
この下げるという動作シーケンスを表記するｓｑ５３は、ペンを上げる動作シーケンスをデータ構造ｓｑによって記述したｓｑ５２のデータの組を逆の順序で並列表記したものと一致する。
【００９８】
よって、ペンを下げるという動作シーケンスをデータ構造ｓｑによって記述したｓｑ５３は、ペンを上げるという動作シーケンスをデータ構造ｓｑによって記述したｓｑ５２を用いて、ｓｑ５３：（ｒｅｖｅｒｓｅ（ｓｅｑ５２））と記載できる。
【００９９】
また、ｓｑ１０１は、ホワイトボードＨが三次元空間座標（２．０、０．０、０．０）に存在する場合において、ある人物オブジェクトＡがホワイトボードＨへ向かって歩く動作シーケンスをデータ構造ｓｑによって記述したものである。
【０１００】
また、ｓｑ１０２は、ある人物オブジェクトＢがホワイトボードＨへ向かって歩く動作シーケンスをデータ構造ｓｑによって記述したものである。
【０１０１】
次に、演算子「ａｄｄ」、「ｍｕｌｔｉ」、「ｄｉｆｆｅｒｅｎｃｅ」、及び、「ｄｉｖｉｓｉｏｎ」について説明する。
【０１０２】
演算子「ａｄｄ」は、複数シーケンスの和を行う演算を表す記号である。
演算子「ｍｕｌｔｉ」は、複数シーケンスの共通部分の抽出を行う演算を表す記号である。
【０１０３】
演算子「ｄｉｆｆｅｒｅｎｃｅ」は、演算子前に記述されたシーケンスから演算子後に記述されたシーケンスを除外したシーケンスの抽出を行う演算を表す記号である。
演算子「ｄｉｖｉｓｉｏｎ」は、演算子前に記述されたシーケンスから演算子後に記述されたシーケンスに対応するシーケンスの抽出を行う演算を表す記号である。尚、「ｄｉｆｆｅｒｅｎｃｅ」と「ｄｉｖｉｓｉｏｎ」と言う演算子によって抽出された動作シーケンスは動作主体たるオブジェクトを有しない。
【０１０４】
具体的には、各演算子を用いることで、既に説明したデータｓｑ１０１及びｓｑ１０２を用いて以下の様なシーケンスに対する操作を記載することができる。
【０１０５】
ｓｅｑ１０１  ａｄｄ  ｓｅｑ１０１によって、ＡまたはＢがホワイトボードＨに向かって歩いていることを記述できる。
また、ｓｅｑ１０１  ｍｕｌｔｉ  ｓｅｑ１０１によって、ＡとＢがホワイトボードＨに向かって歩いていることを記述できる。
【０１０６】
更に、ｓｅｑ１０１  ｄｉｆｆｅｒｅｎｃｅ  ｓｅｑ１０１によって、会議の参加者はＡの軌跡からＢの軌跡を除外した軌跡を歩いていることを記述できる。
ｓｅｑ１０１  ｄｉｖｉｓｉｏｎ  ｓｅｑ１０１によって、会議の参加者はＡの軌跡からＢの軌跡に対応する軌跡を歩いていることを記述できる。
【０１０７】
尚、図３において図示は省略したが、センサ管理部１４０は、プレゼンテータ等がスクリーンを指示するために用いる指示装置が指示した位置を検出するセンサを備えている。よって、判定部１５０は、センサ管理部１４０から受信したセンサ情報によって、プレゼンテータ等が投影された電子データを指示したこと及び指示したスクリーン等を検知できる。
【０１０８】
ここで、図９を用いて、センサ情報によってオブジェクトの移動方向を取得する方法を説明する。図９は、オブジェクト移動方向の取得方法の一例を説明するための図である。
図９において、判定部１５０は、センサ管理部１４０のＲＦＩＤリーダ１４３１ないし１４３ｍ'''からＲＦＩＤタグを有する人物オブジェクト、有体物オブジェクトであるスクリーン及びプロジェクタのＸＹＺ空間における位置座標を取得する。
【０１０９】
その後、判定部１５０は、複数の時刻におけるＲＦＩＤタグの位置座標を用いてオブジェクトの移動方法を取得する。また、縦方向（図９ではＺ軸方向）の移動等を判断することで、人物オブジェクトが座っているか立っているかを判断する。
【０１１０】
また、上記の構成によれば、方向情報と言う複雑な情報を基にしてメタデータを判定できるため、一例として、位置情報のみから「隣接している」と言うメタデータを判断する場合に比べて、「対面している」と言った内容に方向的な意味を有したより具体的なメタデータを判定することができる。
【０１１１】
この構成によれば、オブジェクトの特定の位置関係を基にしてメタデータを判定できるため、一例として、内容に位置関係的な意味を有したより具体的な内容を示すメタデータを判定することができる。
【０１１２】
この構成によれば、オブジェクトの移動方向を基にしてメタデータを判定できるため、一例として、位置情報のみから「一致した」と言うメタデータを判断する場合に比べて、「受信した」と言った内容に移動方向的な意味を有したより具体的な動作内容を示すメタデータを判定することができる。
【０１１３】
次に、図１０を用いて、オブジェクトの配置方向（視認方向）を取得する方法を説明する。図１０は、オブジェクトの視認方向の取得方法の一例を説明するための図である。
図１０において、有体物及び人物は２つで一組のＲＦＩＤタグを有している。一組のＲＦＩＤタグは、ＸＹ座標の双方が一致しないように固定されている。一組のＲＦＩＤタグは、ＲＦＩＤタグを識別する情報によりそれぞれ識別される。また、一方のＲＦＩＤタグを他方のタグよりも配置方向前方に配置する規則に従って、各オブジェクトは一組のＲＦＩＤタグを配置している。
【０１１４】
よって、一組のＲＦＩＤタグがそれぞれ識別可能であることと配置方向前方に一方のＲＦＩＤタグを配置する配置規則が存在することととそれぞれのＲＦＩＤの位置情報を取得できることとに基づいて、判定部１５０は、オブジェクトの配置方向（視認方向）を判断する。
【０１１５】
この構成によれば、オブジェクトの配置方向を基にしてメタデータを判定できるため、一例として、位置情報のみから「隣接している」と言うメタデータを判断する場合に比べて、「対面している」と言った方向的な意味を有したより具体的な状態を示すメタデータを判定することができる。
【０１１６】
また、この構成によれば、オブジェクトの視認方向を基にしてメタデータを判定できるため、一例として、位置情報のみから「隣接している」と言うメタデータを判断する場合に比べて、「向かい合っている」と言った方向的な意味を有したより具体的な状態を示すメタデータを判定することができる。
【０１１７】
ここで、判定部１５０がメタデータを判定するために使用する論理式は、判定に要する計算量が最も少ない論理式であることが望ましい。よって、判定部１５０は作成した論理式を決定部１６０に送信する。その後、判定部１５０は、決定部１６０が決定した軽量論理式を受信する。
【０１１８】
次に、判定部１５０は、受信した軽量論理式とセンサ情報と必要な場合には環境情報とに基づいてメタデータを判定する。最後に、判定部１５０は、センサ管理部１４０から受信したセンサ情報と判定したメタデータとオブジェクト識別情報とをセンサ情報記録部１９０へ送信する。
【０１１９】
決定部１６０は、判定部１５０、変形規則データベース１７０及び検索部２３０に接続している。決定部１６０は、判定部１５０から論理式を受信する。次に、決定部１６０は、受信した論理式を同一の内容を表す他の複数の論理式へ変形する。その後、決定部１６０は、変形した論理式の内で前記判定手段の行う判定に要する計算量が少ない論理式である軽量論理式を決定する。
【０１２０】
ここで、図１１を用いて、決定部の軽量論理式を決定する処理を説明する。図１１は、決定部の軽量論理式決定処理を示すフローチャートの一例である。
先ず、決定部１６０は、判定部１５０から論理式を受信する（ステップＳＴ１）。次に、決定部１６０は、変形規則データベース１７０に蓄積された論理式の変形規則を順番に参照し、受信した論理式に適用できる変形規則が存在するかを判断する（ステップＳＴ２）。決定部１６０は、受信した論理式に適用できる変形規則が存在すると判断する場合にはステップＳＴ４の処理を、そうでない場合にはステップＳＴ５の処理を実行する。
【０１２１】
ここで、図１２を用いて、論理式の計算量を軽量化するために用いられる変形法則について説明する。図１２は、論理式の計算量を軽量化する変形法則の一例を説明するための図である。
図１２では、領域ＡｒとＢｒとが何らかの空間的な関連性を有している場合及び時区間ＡｉとＢｉとが何らかの時間的な関連性を有している場合を記述する論理式を表している。
【０１２２】
領域ＡｒとＢｒとが空間的に関連性を有するということは、図５に示したＥｇｅｎｈｏｆｅｒの空間的関連性モデルによれば、領域Ａｒが領域Ｂｒを含む（Ａｒ  Ｃｏｎｔａｉｎ  Ｂｒ）、領域Ａｒが領域Ｂｒの内部に存在する（Ａｒ  Ｉｎｓｉｄｅ  Ｂｒ）、領域Ａｒと領域Ｂｒとが一致している（Ａｒ  Ｅｑｕａｌ  Ｂｒ）、領域Ａｒと領域Ｂｒとが接している（Ａｒ  Ｍｅｅｔ  Ｂｒ）、領域Ａｒが領域Ｂｒを覆う（Ａｒ  Ｃｏｖｅｒ  Ｂｒ）、領域Ａｒは領域Ｂｒに覆われる（Ａｒ  ＣｏｖｅｒｄＢｙ  Ｂｒ）、又は、領域Ａｒは領域Ｂｒに重複する（Ａｒ  Ｏｖｅｒｌａｐ  Ｂｒ）のいずれかである。故に、論理式Ｒ１によって領域ＡｒとＢｒとが何らかの空間的な関連性を有している場合を記述することができる。
【０１２３】
また、領域ＡｒとＢｒとが空間的に関連性を有するということは、二重否定を用いれば、領域ＡｒとＢｒとが空間的に関連性を有しない（Ａｒ  Ｄｉｓｊｏｉｎｔ  Ｂｒ）のではない（ｎｏｔ）ことと意味内容が同じである。故に、論理式Ｒ２によっても領域ＡｒとＢｒとが何らかの空間的な関連性を有している場合を記述することができる。
【０１２４】
更に、論理式Ｒ１は、Ｃｏｎｔａｉｎ、Ｉｎｓｉｄｅ、Ｅｑｕａｌ、Ｍｅｅｔ、Ｃｏｖｅｒ、ＣｏｖｅｒｄＢｙ、及び、Ｏｖｅｒｌａｐと言う７つの空間的関連性を表す二項結合演算子とｏｒと言う６つの論理和とから構成される。一方で、論理式２は、Ｄｉｓｊｏｉｎｔと言う１つの空間的関連性を表す二項結合演算子とｎｏｔと言う１つの論理否定とから構成される。よって、論理式を構成する二項結合演算子及び単項演算子等の計算量を予め計算しておくことで、論理式の計算量を求めることができる。これにより、計算量の多い論理式を計算量の少ない論理内容を表す論理式へ変形する変形規則を予め定めることができる。
【０１２５】
時区間ＡｉがＢｉよりも前ではないと言う時間的関連性は、図４に示したＡｌｌｅｎの時間的関連性モデルによれば、論理式Ｉ２のように、ｎｏｔ（ｂｅｆｏｒｅ（Ａｉ，Ｂｉ）と書ける）。
【０１２６】
また、時区間ＡｉがＢｉよりも前ではないと言う時間的関連性は、時区間ＡｉがＢｉと等しい（ｅｑｕａｌ（Ａｉ，Ｂｉ）），時区間ＡｉがＢｉよりも後である（ａｆｔｅｒ（Ａｉ，Ｂｉ））、時区間Ａｉの間にＢｉが含まれる（ｄｕｒｉｎｇ（Ａｉ，Ｂｉ））、時区間Ｂｉの間にＡｉが含まれる（ｃｏｎｔａｉｎ（Ａｉ，Ｂｉ））、時区間ＡｉはＢｉと重複する（ｏｖｅｒｌａｐｓ（Ａｉ，Ｂｉ））、時区間ＢｉはＡｉと重複する（ｏｖｅｒｌａｐｐｅｄ＿ｂｙ（Ａｉ，Ｂｉ））、時区間ＡｉはＢｉと接する（ｍｅｅｔｓ（Ａｉ，Ｂｉ））、時区間ＡｉはＢｉと同時に開始する（ｓｔａｒｔｓ（Ａｉ，Ｂｉ））、又は、時区間ＡｉはＢｉと同時に終了する（ｆｉｎｉｓｈｅｓ（Ａｉ，Ｂｉ））のいずれかである。故に、論理式Ｉ１によって時区間ＡｉがＢｉよりも前ではないと言う意味内容を表現する論理式Ｉ２を記述することができる。
【０１２７】
更に、論理式を構成する二項結合演算子及び単項演算子等の計算量を予め計算しておくことで、論理式の計算量を求めることができる。これにより、計算量の多い論理式を計算量の少ない論理内容を表す論理式へ変形する変形規則を予め定めることができる。
【０１２８】
また、新しい演算子「ｒｅｖｅｒｓｅ」を用いて記述された論理式については、予め「ｒｅｖｅｒｓｅ」演算の対象となるシーケンスを逆順にソートした論理式に変形することで、「ｒｅｖｅｒｓｅ」演算を行う計算量を軽減することができる。
【０１２９】
この構成によれば、予め同一の論理内容のまま表現の異なった論理式へと変形する様々な変形規則を情報処理装置に登録しておいて変形規則の適用の可否を判断するため、例えば、数学的性質である分配則、結合則、及び、交換則と言う数学的規則に従って論理式を変形する方法と比べて、より柔軟な変形規則を用いることができるだけでなく、変形規則の拡張や変更が容易である。
【０１３０】
ここで、図１１に戻って決定部の軽量論理式を決定する処理の説明を続ける。
ステップＳＴ３において、決定部１６０は、受信した論理式に適用できる変形規則が存在すると判断する場合には、適用できると判断した変形規則のすべてを適用して論理式を変形する（ステップＳＴ４）。
【０１３１】
ステップＳＴ３において、決定部１６０は、受信した論理式に適用できる変形規則が存在しないと判断した場合、または、ステップＳＴ４を実行した後には、数学的な分配則を適用することで論理式を変形し、変形した論理式に基づいて判定部１５０の行う判定に要する計算量が軽減されるかを判断する（ステップＳＴ５）。決定部１６０は、数学的な分配則を適用することで計算量が軽減されると判断する場合にはステップＳＴ６の処理を、そうでない場合にはステップＳＴ７の処理を実行する。
【０１３２】
ステップＳＴ５において、決定部１６０は、数学的な分配則を適用することで計算量が軽減されると判断する場合には、論理式に分配則を適用して論理式を軽量化する（ステップＳＴ６）。
【０１３３】
ステップＳＴ５において、決定部１６０は、数学的な分配則を適用することで計算量が軽減されないと判断した場合、又は、ステップＳＴ６を実行した後には、数学的な結合則を適用することで論理式を変形し、変形した論理式に基づいて判定部１５０の行う判定に要する計算量が軽減されるかを判断する（ステップＳＴ７）。決定部１６０は、数学的な結合則を適用することで計算量が軽減されると判断する場合にはステップＳＴ８の処理を、そうでない場合にはステップＳＴ９の処理を実行する。
【０１３４】
ステップＳＴ７において、決定部１６０は、数学的な結合則を適用することで計算量が軽減されると判断した場合には、論理式に結合則を適用して論理式を軽量化する（ステップＳＴ８）。
【０１３５】
ステップＳＴ７において、決定部１６０は、数学的な結合則を適用することで計算量が軽減されないと判断した場合、又は、ステップＳＴ８を実行した後には、数学的な交換則を適用することで論理式を変形し、変形した論理式に基づいて判定部１５０の行う判定に要する計算量が軽減されるかを判断する（ステップＳＴ９）。決定部１６０は、数学的な交換則を適用することで計算量が軽減されると判断する場合にはステップＳＴ１０の処理を、そうでない場合にはステップＳＴ１１の処理を実行する。
【０１３６】
ステップＳＴ９において、決定部１６０は、数学的な交換則を適用することで計算量が軽減されると判断する場合には、論理式に交換則を適用して論理式を軽量化する（ステップＳＴ１０）。
【０１３７】
ステップＳＴ９において、決定部１６０は、数学的な交換則を適用することで計算量が軽減されないと判断した場合、又は、ステップＳＴ１０を実行した後には、上記処理により計算量の軽減された論理式を（計算量を軽量化できなかった場合には判定部１５０から受信した論理式）を判定部１５０へ送信する（ステップＳＴ１１）。その後、決定部１６０は、処理の実行を終了する。
【０１３８】
ここで、図１３を用いて、数学法則を利用した計算量の軽量化の一例を説明する。図１３は、結合法則を利用した計算量の軽量化の一例を説明するための図である。
図１３では、人物オブジェクトＡと人物オブジェクトＢとがホワイトボードＨに接している場合を表現する論理式を示している。
【０１３９】
人物オブジェクトＡと人物オブジェクトＢとがホワイトボードＨに接していると言うことは、ホワイトボードＨが人物オブジェクトＡと人物オブジェクトＢとに接していると言うことに等しい。よって、論理式２１と論理式２２は同一の論理内容を表している。また、論理式２１に交換則を適用することで論理式２２を導き出すことができ、その逆として、論理式２２に交換則を適用することで論理式２１を導き出すことができる。
【０１４０】
ここで、判定部１５０が、論理式２１に基づいてメタデータを判定するために必要とされる計算量は、論理式２２に基づく計算量と等しい。よって、論理式２１は、交換則の適用によって計算量を軽減することはできない。
【０１４１】
次に、人物オブジェクトＡと人物オブジェクトＢとがホワイトボードＨに接していると言うことは、人物オブジェクトＡがホワイトボードＨに接しており、かつ、人物オブジェクトＡがホワイトボードＨに接していると言うことに等しい。よって、論理式２２と論理式２３は同一の論理内容を表している。また、論理式２２に分配則を適用することで論理式２３を導き出すことができ、その逆として、論理式２３に結合則を適用することで論理式２２を導き出すことができる。
【０１４２】
ここで、判定部１５０が、論理式２２に基づいてメタデータを判定するために必要とされる計算量は、論理式２３に基づく計算量よりも、演算子「ｍｅｅｔｓ」を１回計算する計算量の分だけ少ない。よって、論理式２２は、分配則の適用によって計算量を軽減することはできない。その逆として、論理式２３は、結合則の適用によって計算量を軽減することができ、軽量論理式２１又は２２を導き出すことができる。
【０１４３】
この構成によれば、論理演算によって論理式を変形することができるため、一例として、予め計算量の少ない論理式へ変形する変形規則を情報処理装置に登録しておいて、変形規則の適用の可否を判断する方法と比べて、変形規則の追加や変更等から生じる管理者の労力を軽減することができる。
更にこの構成によれば、判定に要する計算量の少ない論理式を決定した後にメタデータを判定できるため、一例として、計算量の少ない論理式を決定することなく判定する場合に比べて、判断対象とするセンサ情報の数の増加に伴う判定時間の増加を抑制できる。
【０１４４】
変形規則データベース１７０は、決定部１６０に接続している。変形規則データベース１７０は、計算量の多い論理式を計算量の少ない論理式へ変形する変形規則を蓄積している。変形規則データベース１７０は、蓄積する変形規則を決定部１６０により参照される。
【０１４５】
メタデータデータベース１８０は、判定部１５０及び整合維持部２１０に接続している。メタデータデータベース１８０は、図６で説明したメタデータの定義とメタデータとを関連付けて蓄積している。
【０１４６】
また、同一時刻に同一オブジェクトに付されることがないメタデータ相互間の関係性をも蓄積している。メタデータ相互間の関係性とは、例えば、同一時刻に同一のオブジェクト付されたメタデータ「互いに向き合う」と「互いに向き合って着席する」とはメタデータの意味内容が互いに矛盾しないため、整合性を有するが、同一時刻に同一のオブジェクト付されたメタデータ「議論」と「沈黙」とはメタデータの意味内容が互いに矛盾するため、整合性を有しないと言った関係性である。
【０１４７】
メタデータデータベース１８０は、同一時刻に同一のオブジェクト付されることで意味内容に整合性が損なわれる複数のメタデータの組み合わせについて、予め優先順位を設定し、優先順位と各オブジェクトと各オブジェクトの関係とを関連付けて蓄積している。
【０１４８】
メタデータデータベース１８０は、判定部１５０によりメタデータとメタデータの定義とを参照される。また、メタデータデータベース１８０は、整合維持部２１０によりメタデータとメタデータ相互間の関係性と優先順位とを参照される。
【０１４９】
センサ情報記録部１９０は、判定部１５０及びセンサ情報データベース２００に接続している。センサ情報記録部１９０は、判定部１５０から受信したセンサ情報、メタデータ、オブジェクト識別情報及び時刻情報をセンサ情報データベース２００へ関連付けて蓄積する。
【０１５０】
センサ情報データベース２００は、センサ情報記録部１９０、整合維持部２１０及び検索部２３０に接続している。センサ情報データベース２００は、センサ情報記録部１９０によって関連付けられたセンサ情報、メタデータ、オブジェクト識別情報及び時刻情報を蓄積する。
【０１５１】
また、センサ情報データベース２００は、蓄積したセンサ情報、メタデータ、オブジェクト識別情報及び時刻情報を整合維持部２１０及び検索部２３０によって参照される。
【０１５２】
ここで、図１４を用いて、センサ情報データベースの有するテーブル構成の一例を説明する。図１４は、センサ情報データベースの有するテーブル構成の一例を説明するための図である。
センサ情報データベース２００は、管理テーブルＴＡ、１又は複数のセンサ情報テーブルＴＳ及びＴＭメタデータテーブルを有している。
【０１５３】
管理テーブルＴＡは、例えば、記録対象とした会議等の書誌的情報である日付、並びに、会議室、会議等に参加した人物、会議等に用いられた有体物及び無体物のオブジェクトを識別する情報等を蓄積し、管理する。
【０１５４】
センサ情報テーブルＴＳは、例えば、記録対象とした会議等において検出したセンサ情報とオブジェクト識別情報及び時刻情報とを関連付けて蓄積する。
【０１５５】
メタデータテーブルＴＭは、例えば、記録対象とした会議等において検出したセンサ情報と論理式とにより判定部１５０が判定したメタデータを時刻情報とオブジェクト識別情報とに関連付けて蓄積する。更に、メタデータは、メタデータに関連したオブジェクトの識別情報とも関連付けて蓄積される。例えば、メタデータ「編集」に関連したオブジェクトとは、メタデータの付与された電子データオブジェクトを編集することで関与した人物オブジェクト等を言う。尚、同一の時刻情報とオブジェクトとには、一又は二以上のメタデータが関連付けられて蓄積される。
【０１５６】
この構成によれば、オブジェクトはセンサ情報として検出され、また、メタデータは方向情報に基づいて判定されるので、二以上のオブジェクトにおいては、それぞれのオブジェクトとオブジェクト間の空間的な関連性と時間的な関連性とを関連付けて蓄積することができる。
【０１５７】
整合維持部２１０は、メタデータデータベース１８０、センサ情報データベース２００、表示部２５０及び入力部２４０に接続している。整合維持部２１０は、メタデータデータベース１８０に蓄積されたメタデータを参照する。
【０１５８】
整合維持部２１０は、同一時刻に同一のオブジェクトに付与されたメタデータが１つである場合には、整合性を有すると判断する。一方で、複数である場合には、複数のメタデータの意味内容が互いに整合しているかを判断する。これは、メタデータデータベース１８０に蓄積されたメタデータ相互間の関係性を参照し、参照した関係性に基づいて判断される。
【０１５９】
整合維持部２１０は、同一時刻に同一のオブジェクトに付与されたメタデータのいくつかが、互いに整合性を有しないと判断する場合には、互いに整合性を有しないメタデータのうちから１つ又は互いに整合性を有する複数のメタデータのみを残して他のメタデータをメタデータデータベース１８０から削除する。
【０１６０】
具体的には、整合維持部２１０は、メタデータデータベース１８０に蓄積されたメタデータに関連付けられたメタデータ相互間の関係性と優先順位とを参照し、互いに整合性を有しないメタデータのうちで優先順位の高いメタデータから順に整合性を有するメタデータのみを残して他のメタデータをメタデータデータベース１８０から削除する。
【０１６１】
この構成によれば、論理式による判定を厳密に行う必要が無いため、メタデータ判定手段の構成を単純化することができる。また、メタデータの追加や変更に柔軟に対応することができる。
また、この構成によれば、予め定められた優先順位に基づいてメタデータを判定するため、例えば、ユーザの選択に基づいてメタデータを判定する方法と比べて、センサ情報蓄積手段に蓄積されたメタデータの数の増加に伴うユーザの管理労力の増加を抑制することができる。
【０１６２】
また、整合性を維持する別の方法として、整合維持部２１０は、互いに整合性を有しないと判断するメタデータとユーザ３００へメタデータの選択を促すメッセージとを表示部２５０へ送信する。その後、入力部２５０からユーザ３００が選択した１つ又は複数のメタデータを受信する。その後、受信したメタデータのみを残して他のメタデータをメタデータデータベース１８０から削除する。
【０１６３】
この構成によれば、論理式による判定を厳密に行う必要が無いため、判定手段の構成を単純化することができる。また、メタデータの追加や変更に柔軟に対応することができる。
また、この構成によれば、ユーザの選択に基づいてメタデータを判定するため、例えば、予め定められた優先順位に基づいてメタデータを判定する方法と比べて、メタデータ判定手段によって判定されるメタデータと実際の観察によりユーザによって認識されるメタデータとの齟齬が生じ難い。
【０１６４】
環境情報データベース２２０は、判定部１５０及び検索部２３０に接続している。環境情報データベース２２０は、ビデオカメラ１１１ないし１１ｎの撮像領域を座標で表した情報とビデオカメラを識別する情報と関連付けて蓄積している。また、ＲＦＩＤリーダ１４３１ないし１４３ｍ'''で検出される位置座標のみでは、オブジェクトの占める領域を検出できないため、予め全オブジェクトの占める領域とオブジェクト識別情報と関連付けて蓄積している。尚、環境情報データベース２２０が蓄積する情報を環境情報と言う。
【０１６５】
環境情報データベース２２０は、判定部１５０により、蓄積したオブジェクトの占める領域とオブジェクト識別情報とを空間的関連性を判断するために参照される。また、環境情報データベース２２０は、検索部２３０により、蓄積したオブジェクトの占める領域とオブジェクト識別情報とカメラ識別情報と撮像領域とを動画像の検索のために参照される。
【０１６６】
検索部は、動画像データベース１３０、決定部１６０、センサ情報データベース２００、環境情報データベース２２０、表示部２５０、及び、入力部２４０に接続している。
【０１６７】
検索部２３０は、入力部２４０から検索条件を受信する。次に、検索部２３０は、受信した検索条件を表す論理式を生成する。その後、検索部２３０は、生成した論理式を決定部１６０へ送信する。次に、検索部２３０は、決定部１６０から軽量論理式を受信する。
【０１６８】
その後、検索部２３０は、受信した論理式とセンサ情報データベース２００に蓄積されたメタデータと（必要な場合には、環境情報データベース２２０に蓄積された環境情報と）に基づいて、動画像データベース１３０、センサ情報データベース２００、又はその両方に蓄積された情報を検索する。その後、検索部２３０は、検索結果を表示部２５０へ送信する。
【０１６９】
第一の具体例として、メタデータ「議論」で特徴付けられるオブジェクトを検索する例について説明する。更に、メタデータ「議論」で特徴付けられるオブジェクトを撮像した動画像を動画像データベース１３０から検索する例について説明する。
【０１７０】
先ず、検索部２３０は、メタデータ「議論」で特徴付けられるオブジェクトを検索する検索条件を表す軽量論理式を取得する。その後、検索部２３０は、軽量論理式を満たすオブジェクト識別情報をセンサ情報データベース２００のメタデータテーブルＴＭから検索し、検索されたオブジェクト識別情報に関連付けられた時刻情報を取得する。
【０１７１】
この構成によれば、メタデータに基づいてオブジェクトを検索することができるので、オブジェクトを特徴付けるメタデータを手掛かりとしてオブジェクトを特定することができる。一例として、「議論」が、オブジェクトである人物の会議における動作を特徴付ける場合には、メタデータ「議論」を手掛かりに人物を特定することができる。
【０１７２】
その後、検索部２３０は、検索された時刻における検索されたオブジェクト識別情報で識別されるオブジェクトの位置情報をセンサ情報データベース２００から取得する。次に、検索部２３０は、検索されたオブジェクトを撮像したビデオカメラを環境情報データベース２２０に蓄積された撮像領域に基づいて特定する。
【０１７３】
次に、検索部２３０は、特定されたビデオカメラの撮像した動画像を動画像データベース１３０から取得し、検索した時刻情報に合致する動画像を取得することで、検索結果である動画像を得る。
【０１７４】
この構成によれば、メタデータに基づいて動画像を検索することができるので、一例として、オブジェクトの特徴を表すメタデータに基づいて撮影対象のオブジェクトの動画像を検索することができる。一例として、「議論」で特徴付けられるオブジェクトの動作を撮影した動画を特定するには、メタデータ「議論」を手掛かりに動画を特定することで特定することができる。
【０１７５】
第二の具体例として、オブジェクトに基づいてメタデータを検索する例を説明する。より具体的には、複数のバージョンの会議用のスライドを表現した電子ファイルが存在し、特定のバージョンの電子ファイルの投影履歴等のメタデータを検索し、検索したメタデータである投影履歴毎に投影者と投影先のスクリーンとを取得する例について説明する。
【０１７６】
先ず、検索部２３０は、特定のバージョンの電子ファイルのオブジェクト識別情報を検索キーとする検索条件を表す軽量論理式を取得する。その後、軽量論理式を満たすデータをセンサ情報データベース２００から取得することで投影履歴等のメタデータを取得することができる。
【０１７７】
特に、軽量論理式を満たすデータの一部である関連オブジェクトは、メタデータ「投影」に関連したオブジェクトである場合には、スクリーン、プロジェクタ、操作者、指示者（プレゼンテータ）等であるため、投影履歴毎に投影者と投影先のスクリーンとを取得することができる。
【０１７８】
また、検索部２３０は、特定のバージョンの電子ファイルのオブジェクト識別情報とメタデータ「投影」とを検索キーとする検索条件を表す軽量論理式を取得することで特定のバージョンの電子ファイルの投影履歴を取得することができる。
【０１７９】
この構成によれば、オブジェクトに基づいてメタデータを検索することができるので、オブジェクトを手掛かりとして特定の時刻におけるオブジェクトの状態や動作等を表すメタデータを取得することができる。一例として、オブジェクトである電子ファイルを手掛かりに、メタデータである電子ファイルの投影履歴を取得することができる。
【０１８０】
次に、第三の具体例を図１５を参照して説明する。図１５は、編集履歴に基づいて編集者を検索する検索処理の一例を説明するための図である。
図１５においては、会議用のスライドを表現した電子ファイルＡ’をオブジェクト識別情報０１０で識別される人物が「データマイニング」と言う言葉を追加編集して異なるバージョンのファイルＡ’’へ改変したことを表している。また、改変された電子ファイルＡ’’をオブジェクト識別情報０２０で識別される人物が「抽出」と言う語を追加することで更に編集して異なるバージョンのファイルＡ’’’へ改変したことをも表している。
【０１８１】
ここで、「データマイニング」及び「抽出」と言う語を順番に編集されたという経緯により作成された電子ファイルと電子ファイルの編集者と編集時の様子を撮像した動画像とを検索する処理について説明する。
【０１８２】
先ず、検索部２３０は、検索条件を表す軽量論理式を取得する。具体的には、「データマイニング」及び「抽出」と言うオブジェクトと電子ファイルとの空間的関連性を論理式で記述する。電子ファイルＡ’’は「データマイニング」及び「抽出と言う語を含むため空間的関連性は、（Ａ’’  ｃｏｎｔａｉｎ  Ｂ）  and  （Ａ’’  containＣ）と表すことができる。
【０１８３】
また、電子ファイルＡは異なるバージョンのファイルＡ’へ上書き保存されて改変されたため、時間的関連性は（Ａ  ｍｅｅｔ  Ａ’）と表すことができる。また、電子ファイルＡ’とＡ’’との関連性は、（Ａ’  ｍｅｅｔ  Ａ’’）と表すことができる。よって、両論理式を合わせて（Ａ  ｍｅｅｔ  Ａ’）ａｎｄ（Ａ’  ｍｅｅｔ  Ａ’’）と表すことができる。
【０１８４】
その後、検索部２３０は、センサ情報データベースから軽量論理式を満たすデータを取得することで検索対象としたファイルのオブジェクト識別情報を取得する。また、検索部２３０は、取得したオブジェクト識別情報とメタデータ「編集」とに関連付けられた関連オブジェクト識別情報と時刻情報とをセンサ情報データベースから取得する。これにより、ファイルを編集した人物や編集前後のファイル関係を取得できる。
【０１８５】
また、検索部２３０は、取得した時刻情報とオブジェクト識別情報又は関連オブジェクト識別情報とに基づいて、検索対象とした電子ファイルを編集した人物オブジェクト等を撮像した動画像を動画像データベースから取得する。
【０１８６】
表示部２５０は、例えば、液晶ディスプレイ、プラズマディスプレイ又はＣＲＴディスプレイから構成される。表示部２５０は、整合維持部２１０及び検索部２３０に接続している。表示部２５０は、整合維持部２１０からメタデータの選択を促す旨のメッセージ及び選択対象となるメタデータとを受信し、受信した検索結果を表示する。また、表示部２５０は、検索部２３０から検索結果を受信し、受信した検索結果を表示する。
【０１８７】
入力部２４０は、例えば、キーボード、又は、タッチパネル等から構成される。入力部２４０は、整合維持部２１０及び検索部２３０に接続されている。入力部２４０は、ユーザ３００により選択したメタデータを入力される。入力部２４０は、入力されたメタデータを整合維持部２１０へ送信する。また、入力部２４０は、ユーザ３００により検索条件を入力される。入力部２４０は、入力された検索条件を検索部２３０へ送信する。
【０１８８】
本発明による情報処理方法は、情報処理装置１００により実現される。また、本発明の情報処理方法は、コンピュータを制御して実行するプログラムとして実現することができる。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより、提供することができる。  
【０１８９】
上記実施形態では、ＣＣＤカメラを用いた場合について説明したが、これに限定されるわけではなく、例えば、ＣＭＯＳイメージセンサを用いたカメラ等を採用することも可能である。
【０１９０】
上記実施形態では、ビデオカメラを固定した場合について説明したが、これに限定されるわけではなく、例えば、ビデオカメラを固定せず、センサ管理部１４０がビデオカメラの撮像領域をも検出し、環境情報データベース２２０に時刻情報と撮像領域とを関連付けて蓄積する構成を採用することも可能である。
【０１９１】
上記実施形態では、変形規則はＥｇｅｎｈｏｆｅｒの空間的関連性モデルにおける領域と領域との空間的関連性に基づいて定められる場合について説明したが、これに限定されるわけではなく、例えば、Ｅｇｅｎｈｏｆｅｒの空間的関連性モデルにおける領域と線分との空間的関連性、線分と線分との空間的関連性、領域と点との空間的関連性、線分と点との空間的関連性、点と点との空間的関連性、及び、Ａｌｌｅｎの時区間モデルにおける時間的関連性に基づいて、変形規則は定められる構成を採用することも可能である。
【０１９２】
上記実施形態では、無体物のオブジェクトとして電子ファイル等を挙げて説明したが、これに限定されるわけではなく、例えば、２日間と言った時間区間を無体物のオブジェクトとして扱い、時間区間オブジェクトを検索条件に用いる構成を採用することも可能である。
【図面の簡単な説明】
【０１９３】
【図１】本発明の一実施例に係る画像処理装置の構成図である。
【図２】本発明の一実施例に係るカメラ管理部の構成図である。
【図３】本発明の一実施例に係るセンサ管理部の構成図である。
【図４】Ａｌｌｅｎの時区間モデルを説明するための図である。
【図５】Ｅｇｅｎｈｏｆｅｒの空間的関連性モデルを説明するための図である。
【図６】判定部によって判定されるメタデータの定義の一例を説明するための図である。
【図７】スライドデータの解析方法の一例を説明するための図である。
【図８】新たな演算子を説明するための図である。
【図９】オブジェクト移動方向の取得方法の一例を説明するための図である。
【図１０】オブジェクト配置方向の取得方法の一例を説明するための図である。
【図１１】決定部の軽量論理式決定処理を示すフローチャートの一例である。
【図１２】論理式の計算量を軽量化する変形法則の一例を説明するための図である。
【図１３】結合法則を利用した計算量の軽量化の一例を説明するための図である。
【図１４】センサデータベースの有するテーブル構成の一例を説明するための図である。
【図１５】編集履歴に基づいて編集者を検索する検索処理の一例を説明するための図である。
【符号の説明】
【０１９４】
１００…情報処理装置                  １１０…カメラ管理部                  
１１１〜１１ｎ…ビデオカメラ          １２０…動画像記録部                  
１３０…動画像ＤＢ（動画像蓄積手段）  １４０…センサ管理部（入力手段）      
１４０１〜１４０ｍ…ファイルサーバ    
１４１１〜１４１ｍ’…メールサーバ    １４２１〜１４２ｍ’’…プロジェクタ  
１４３１〜１４３ｍ’’’…ＲＦＩＤリーダ  １４４１〜１４３ｍ’’’’…マイクロフォン
１５０…判定部（判定手段）            １５１…技術用語蓄積部                
１６０…決定部（決定手段）            １７０…変形規則ＤＢ                  
１８０…メタデータＤＢ                １９０…センサ情報記録部              
２００…センサ情報ＤＢ（センサ情報蓄積手段）
２１０…整合維持部（整合維持手段）    ２２０…環境情報ＤＢ                  
２３０…検索部（検索手段）            ２４０…入力部                        
２５０…表示部                        ３００…ユーザ                        
Ｃ００１〜Ｃ００ｎ：…カメラＩＤ      ＤＳ…スライドデータ                  
Ｉ…時区間                            ｍ１．ｅｎｐ：…時区間ｍ１の終了時刻  
ｍ１．ｓｔｐ：…時区間ｍ１の開始時刻  ｍ２．ｅｎｐ：…時区間ｍ２の開始時刻  
ｍ２．ｓｔｐ：…時区間ｍ２の開始時刻  Ｐ…時点                              
Ｓ…スクリーン                        ＴＡ…管理テーブル                    
ＴＭ…メタデータテーブル              ＴＳ…センサ情報テーブル              
【図１】
0004844150.tif 000002
【図２】
0004844150.tif 000003
【図３】
0004844150.tif 000004
【図４】
0004844150.tif 000005
【図５】
0004844150.tif 000006
【図６】
0004844150.tif 000007
【図７】
0004844150.tif 000008
【図８】
0004844150.tif 000009
【図９】
0004844150.tif 000010
【図１０】
0004844150.tif 000011
【図１１】
0004844150.tif 000012
【図１２】
0004844150.tif 000013
【図１３】
0004844150.tif 000014
【図１４】
0004844150.tif 000015
【図１５】
0004844150.tif 000016