(57)【要約】【課題】参照対象のオブジェクトがリアルタイムで変化するような場合にそのオブジェクトの内容を反映可能な参照先指示情報を生成する。【解決手段】複数の文書、及び画像・動画・音声を含むオブジェクトと、前記オブジェクトを参照先として指し示す参照先指示情報とを記憶し、参照先指示情報の選択によりオブジェクトの内容の閲覧が可能なシステムにおいて、対象物のリアルタイムの変化を検出するセンサ装置３と、センサ装置により検出された検出信号を前記オブジェクトとして記憶する記憶部と、記憶部に記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する特徴量抽出部１１１と、抽出された特徴量に応じたシンボル画像を含む前記参照先指示情報を生成するシンボル生成部１１２とを備える。【選択図】  図４
2006154978.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも映像及び音声を含む情報をオブジェクトとして記憶するとともに、前記オブジェクトを参照先として指し示す参照先指示情報に前記オブジェクトの情報を反映させる参照先指示システムであって、
任意の対象物のリアルタイムの変化を順次検出するセンサ手段と、
前記センサ手段により順次検出された時系列信号を前記オブジェクトとして記憶する記憶手段と、
前記記憶手段に記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量が反映されたシンボル情報を含む前記参照先指示情報を生成する生成手段と、
前記生成手段により生成された参照先指示情報の出力を制御する制御手段と
を備えたことを特徴とする参照先指示システム。
【請求項２】
請求項１において、
前記制御手段は、ネットワークを介して前記参照先指示システムと接続される端末に前記シンボル情報を表示させることを特徴とする参照先指示システム。
【請求項３】
請求項１又は２において、
前記生成手段は前記特徴量が反映された動作パターンを前記参照先指示情報として生成し、前記制御手段は、ネットワークを介して前記参照先指示システムと接続される端末を前記動作パターンで動作させることを特徴とする参照先指示システム。
【請求項４】
請求項１において、
前記シンボル情報は、シンボル画像又はシンボル音の少なくとも１つを含むことを特徴とする参照先指示システム。
【請求項５】
請求項１〜４のいずれかにおいて、
前記抽出手段は、前記センサ手段により順次検出された各検出信号の差分を特徴量として抽出することを特徴とする参照先指示システム。
【請求項６】
請求項１〜４のいずれかにおいて、
前記抽出手段は、前記センサ手段により順次検出された各検出信号の変化を最小二乗法により直線とし、その直線の勾配を特徴量として抽出することを特徴とする参照先指示システム。
【請求項７】
請求項４において、
前記生成手段は、前記抽出手段により抽出された特徴量の大小に応じて、前記シンボル画像の大きさ、形、及び色の少なくとも１つを変えることを特徴とする参照先指示システム。
【請求項８】
請求項４において、
前記生成手段は、前記抽出手段により抽出された特徴量の大小に応じて、前記シンボル音の音量又は音色の少なくとも１つを変えることを特徴とする参照先指示システム。
【請求項９】
請求項３において、
前記動作パターンは、前記端末を振動させる振動パターンを含み、
前記生成手段は、前記抽出手段により抽出された特徴量の大小に応じて、前記振動パターンの振動数を変えることを特徴とする参照先指示システム。
【請求項１０】
ネットワークを介して端末と接続され、少なくとも映像及び音声を含む情報をオブジェクトとして記憶するとともに、前記オブジェクトを参照先として指し示す参照先指示情報に前記オブジェクトの情報を反映させるサーバであって、
任意の対象物のリアルタイムの変化を順次検出するセンサ手段と、
センサ手段により順次検出された時系列信号を前記オブジェクトとして記憶する記憶手段と、
前記記憶手段に記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する抽出手段と、
前記抽出手段により抽出された特徴量を前記端末に送信する送信手段と
を備えたことを特徴とするサーバ。
【請求項１１】
少なくとも映像及び音声を含む情報をオブジェクトとして記憶するサーバにネットワークを介して接続され、前記オブジェクトを参照先として指し示す参照先指示情報に前記オブジェクトの情報を反映させるようにした端末であって、
任意の対象物のリアルタイムの変化が順次検出されて前記オブジェクトとして記憶された時系列信号からこの時系列信号の特徴量が前記サーバにより抽出されると、この抽出された特徴量を反映したシンボル情報を含む前記参照先指示情報を生成する生成手段と、
前記生成手段により生成された参照先指示情報の出力を制御する制御手段と
を備えたことを特徴とする端末。
【請求項１２】
任意の対象物のリアルタイムの変化を順次検出する第１のステップと、
前記第１のステップの処理に基づき順次検出された映像及び音声を含む時系列信号をオブジェクトとして記憶する第２のステップと、
前記第２のステップの処理に基づき記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する第３のステップと、
前記第３のステップの処理に基づき抽出された前記特徴量が反映されたシンボル情報を含む参照先指示情報を生成する第４のステップと、
前記第４のステップの処理に基づき生成された参照先指示情報の出力を制御する第５のステップと
を有することを特徴とする参照先指示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の文書、および画像・動画・音声を含むオブジェクトを参照先として指示する参照先指示システム及び方法に関するものである。
【背景技術】
【０００２】
サーバ側に蓄積されている複数の文書や画像などのオブジェクトは、これらの各オブジェクトを参照先として指示するためのテキストや静止画、或いはアニメーションＧＩＦ等の参照先指示情報とリンクされていることから、この参照先指示情報により指示されるようになっている。ここで、前記参照先指示情報は端末側に表示され、利用者が端末に表示されている所定の参照先指示情報をアクセスすると、その参照先指示情報とリンクしている対応のオブジェクトがサーバ側から端末にダウンロードされ端末に表示される。
【０００３】
なお、上述した従来技術は、出願人が出願時点で知る限りにおいて文献公知ではない。
また、出願人は、出願時までに本発明に関連する先行技術文献を発見することができなかった。よって、先行技術文献情報を開示していない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来においては、サーバ側に蓄積されている参照先である複数の文書、および画像・動画・音声を含むオブジェクトはその状態変化が不変であることから、こうしたオブジェクトは、テキストや静止画或いはアニメーションＧＩＦ等の固定の参照先指示情報により指示されている。しかしながら、オブジェクトがリアルタイムで変化するような場合には、従来の固定の参照先指示情報では、そのオブジェクトの内容を直感的に理解することができないという問題があった。
【０００５】
本発明は、このような問題点に鑑みてなされたものであり、その目的とするところは、参照対象のオブジェクトがリアルタイムで変化するような場合にそのオブジェクトの内容を反映可能な参照先指示情報を生成することにある。
【課題を解決するための手段】
【０００６】
このような課題を解決するために本発明は、少なくとも映像及び音声を含む情報をオブジェクトとしてサーバに記憶するとともに、前記オブジェクトを参照先として指し示す参照先指示情報に前記オブジェクトの情報を反映させる参照先指示システムであって、任意の対象物のリアルタイムの変化を順次検出するセンサ手段を備え、前記サーバに、センサ手段により順次検出された時系列信号をオブジェクトとして記憶する記憶手段と、記憶手段に記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する抽出手段とを備え、前記サーバ又は前記サーバとネットワークを介して接続される端末のいずれか一方に、抽出手段により抽出された特徴量に基づいて参照先指示情報を生成する生成手段と、生成手段により生成された参照先指示情報の出力を制御する制御手段とを備えたものである。
【０００７】
この場合、生成手段は特徴量が反映されたシンボル画像を参照先指示情報として生成し、制御手段は、ネットワークを介して前記サーバと接続された端末にシンボル画像を表示させるものである。なお、制御手段はシンボル画像等の参照先指示情報をサーバの表示部に出力し表示させるようにしても良い。
また、生成手段は特徴量が反映されたシンボル音を参照先指示情報として生成し、制御手段は端末からこのシンボル音を出力させるものである。
また、生成手段は特徴量が反映された動作パターンを参照先指示情報として生成し、制御手段は、端末をこの動作パターンで動作させるものである。
【０００８】
ここで、抽出手段は、センサ手段により順次検出された各検出信号の差分を特徴量として抽出するものである。なお、抽出手段は、センサ手段により検出された検出信号そのものを特徴量として抽出することもできる。
また、抽出手段は、センサ手段により順次検出された各検出信号の変化を最小二乗法により直線とし、その直線の勾配を特徴量として抽出するものである。
【０００９】
さらに、生成手段は、抽出手段により抽出された特徴量の大小に応じて、シンボル画像の大きさ、形、及び色の少なくとも１つを変えるものである。
また、生成手段は、抽出手段により抽出された特徴量の大小に応じて、シンボル音の音量及び音色の少なくとも１つを変えるものである。
また、生成手段は、抽出手段により抽出された特徴量の大小に応じて、前記動作パターンの１つである振動パターンの振動数を変えるものである。
【００１０】
また、本発明は、対象物のリアルタイムの変化を順次検出する第１のステップと、第１のステップの処理に基づき順次検出された映像及び音声を含む時系列信号をオブジェクトとしてサーバに記憶する第２のステップと、第２のステップの処理に基づきサーバに記憶されたオブジェクトからこのオブジェクトの特徴量を抽出する第３のステップと、第３のステップの処理に基づき抽出された特徴量に基づいて、前記オブジェクトを参照先として指示するためのシンボル画像を含む参照先指示情報を生成する第４のステップと、第４のステップの処理に基づき生成された参照先指示情報を端末に出力し表示させる第５のステップとを有することを特徴とする方法である。
【発明の効果】
【００１１】
以上説明したように、本発明は、対象物のリアルタイムの変化をセンサ手段により順次検出し、検出された時系列信号をオブジェクトとして記憶するとともに、記憶したオブジェクトからこのオブジェクトの特徴量を抽出し、抽出した特徴量に基づいて前記オブジェクトを指し示す参照先指示情報を生成するようにしたので、参照対象のオブジェクトがリアルタイムで変化するような場合にそのオブジェクトの内容を参照先指示情報に反映することができ、これにより利用者は、この参照先指示情報からオブジェクトの内容を直感的に理解できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明について図面を参照して説明する。
図１は本発明を適用したシステムの構成を示すブロック図である。本システムは、インターネット等のネットワーク２に接続されるとともに、複数の文書、および画像・動画・音声を含むオブジェクトが記憶されたサーバ１００と、サーバ１００に接続されたセンサ装置３と、ネットワーク２に接続されネットワーク２を介してサーバ１００の前記オブジェクトの閲覧が可能な端末１０とから構成される。
【００１３】
ここで、端末１０は、図２に示すように、制御部１１と、ネットワーク２を介して通信を行う通信Ｉ／Ｆ１２と、メモリ１３と、表示部１４と、スピーカ１５と、操作部１６とから構成される。
【００１４】
また、サーバ１００は、図３に示すように、制御部１１０と、センサ装置３により検出された対象１の映像及び音声を含むオブジェクトを記憶する第１記憶部１２０と、第１記憶部１２０に記憶されたオブジェクトを指示するための参照先指示情報を記憶する第２記憶部１３０と、ネットワーク２を介して通信を行う通信Ｉ／Ｆ１５０とから構成される。
【００１５】
図４は、センサ装置３及びサーバ１００の制御部１１０の詳細な構成を示すブロック図である。図４において、センサ装置３は複数のセンサ３Ａ１，…３Ａｎ，３Ｂ１，…，３Ｂｎを備えており、制御部１１０は、センサ装置３の各センサにより検出された映像及び音声を含むオブジェクトから特徴量を抽出するための複数の抽出部１１Ａ１，…，１１Ａｎ，１１Ｂ１，…，１１Ｂｎを有する特徴量抽出部１１１と、特徴量抽出部１１１により抽出された特徴量からシンボル画像等を生成するシンボル生成部１１２と、入出力部１１３とを備えている。
【００１６】
（第１の実施の形態）
センサ装置３は、例えば人間や動物などの対象１を撮影するカメラ及び対象１の発声する音声を検出するマイクを含むものであるが、ここで、図４において、対象１Ａを例えば動物とし、センサ３Ａ１を、対象１Ａの映像を撮影するカメラ、センサ３Ａｎを、対象１Ａの発声する音声を検出するマイクとする。
【００１７】
このように構成した場合、カメラであるセンサ３Ａ１により順次撮影された対象１Ａの映像信号は、図４に示されるような時系列映像信号Ａ１１，Ａ１２，…，Ａ１ｍとして制御部１１０に出力される。制御部１１０では入出力部１１３を介してこの時系列映像信号Ａ１１，Ａ１２，…，Ａ１ｍを入力すると、対象１Ａの映像を示すオブジェクトとして第１記憶部１２０に記憶する。また、このときマイクであるセンサ３Ａｎに順次より検出される対象１Ａの発声する音声信号は、図４に示されるよう時系列音声信号Ａｎ１，Ａｎ２，…，Ａｎｍとして制御部１１０に出力される。制御部１１０では入出力部１１３を介してこの時系列音声信号Ａｎ１，Ａｎ２，…，Ａｎｍを入力すると、この時系列音声信号を対象１Ａの音声を示すオブジェクトとして第１記憶部１２０に記憶する。このようにして、対象１Ａの映像信号及び音声信号が対象１Ａのオブジェクトとして順次第１記憶部１２０に記憶される。
【００１８】
ここで、制御部１１０の特徴量抽出部１１１は、第１記憶部１２０に記憶された、対象１Ａの時系列映像信号Ａ１１，Ａ１２，…，Ａ１ｍを読み出し、抽出部１１Ａ１によりその時系列映像信号Ａ１１，Ａ１２，…，Ａ１ｍの中から対象１Ａの映像の特徴を表す特徴量を抽出させてシンボル生成部１１２に出力させる一方、第１記憶部１２０に記憶された対象１Ａの時系列音声信号Ａｎ１，Ａｎ２，…，Ａｎｍを読み出し、抽出部１１Ａｎによりその時系列音声信号Ａｎ１，Ａｎ２，…，Ａｎｍの中から対象１Ａの音声の特徴を表す特徴量を抽出させてシンボル生成部１１２に出力させる。
【００１９】
制御部１１０のシンボル生成部１１２は、抽出部１１Ａ１からの対象１Ａの映像特徴量を入力すると、この映像特徴量を反映した例えば図５（ｇ）に示されるようなシンボル画像（動的シンボル）５０を生成し、生成したシンボル画像５０を対象１Ａのオブジェクトに関連づけて第２記憶部１３０に記憶する。また、シンボル生成部１１２は、抽出部１１Ａｎからの対象１Ａの音声特徴量を入力すると、この音声特徴量を反映したシンボル音（動的シンボル）を生成し、生成したシンボル音を対象１Ａのオブジェクトに関連づけて第２記憶部１３０に記憶する。
【００２０】
このようにして、サーバ１００の第１記憶部１２０に、対象１Ａの映像，音声についてのオブジェクトが記憶され、かつ、サーバ１００の第２記憶部１３０に、対象１Ａの前記オブジェクトを参照先として指示するための参照先指示情報として、対象１Ａのオブジェクトの特徴量が反映されたシンボル画像とシンボル音がそれぞれ記憶された後、端末１０からのアクセスによりサーバ１００と端末１０とがネットワーク２を介して接続されると、サーバ１００の制御部１１０は、第２記憶部１３０に記憶されている前記参照先指示情報を読み出して、通信Ｉ／Ｆ部１４０へ送り、通信Ｉ／Ｆ部１４０からネットワーク２を介して端末１０にダウンロードさせる。なお、サーバ１００の制御部１１０は、シンボル画像とシンボル音がそれぞれ参照先指示情報として第２記憶部１３０に記憶されると、直ちに第２記憶部１３０の前記参照先指示情報を読み出して、端末１０に送信することもできる。
【００２１】
すなわち、サーバ１００の制御部１１０は、第２記憶部１３０に記憶されている前記参照先指示情報、つまり対象１Ａのオブジェクトの特徴量が反映されたシンボル画像とシンボル音を読み出して通信Ｉ／Ｆ部１４０へ送り、通信Ｉ／Ｆ部１４０からネットワーク２を介して端末１０にダウンロードし、端末１０の表示部１４にそのシンボル画像を表示させるとともに、端末１０のスピーカ１５からそのシンボル音を送出させる。図６はサーバ１００からダウンロードされ端末１０の表示部１４に表示されたシンボル画像と、端末１０のスピーカから送出されるシンボル音の一例を示している。
【００２２】
ここで、利用者がこの端末１０の表示部１４に表示されたシンボル画像をマウスなどの操作部１６によりクリックすると、そのクリック情報が制御部１１により検出されて通信Ｉ／Ｆ部１２に送られ、通信Ｉ／Ｆ部１２からネットワーク２を介してサーバ１００側へ送信される。サーバ１００の制御部１１０はそのクリック情報を通信Ｉ／Ｆ部１４０を介して受信すると、第１記憶部１２０に記憶されている対応の対象１Ａの映像及び音声であるオブジェクトを読み出して、通信Ｉ／Ｆ部１４０に送り、通信Ｉ／Ｆ部１４０からネットワーク２を介して端末１０側にダウンロードし、端末１０の表示部１４に対象１Ａの映像を表示させるとともに端末１０のスピーカ１５から対象１Ａの音声を送出させる。
【００２３】
このようにリアルタイムで変化する対象１の映像を撮影して時系列映像信号に変換し、この時系列映像信号から特徴量を抽出してその特徴量に基づきシンボル画像を生成するとともに、対象１の発声する音声から特徴量を抽出して、その特徴量に基づくシンボル音を生成し、生成した前記シンボル画像及びシンボル音を、対象１のオブジェクトを指示するための参照先指示情報としたので、リアルタイムで変化する対象１の映像，音声であるオブジェクトの内容が参照先指示情報に反映されて端末１０に表示され、これにより、端末１０の利用者は、この参照先指示情報から対象１のオブジェクトの内容を一目瞭然に識別できる。
【００２４】
図７は、特徴量抽出部１１１による映像信号などの特徴量抽出の例を示す図である。図７（ａ）の場合は、リアルタイムで変化する対象１の各時点間の映像信号の差分を特徴量として抽出する例である。図７（ａ）において三角状のものを樹木５１などの静止物、円状のものをリアルタイムで動く動物などの対象１とすると、カメラであるセンサ３Ａ１により各時点ｔ１，ｔ２，ｔ３で撮影された時系列の映像信号を入力した場合、特徴量抽出部１１１は、時点ｔ１，ｔ２間の映像信号の差分（図７（ａ−４）の斜線部分）、時点ｔ２，ｔ３間の映像信号の差分（図７（ａ−５）の斜線部分）を特徴量として抽出する。なお、音声信号の特徴量を抽出する場合も、各時点で検出された音声信号の差分を特徴量として抽出することができる。
【００２５】
また、図７（ｂ）の場合は、テンプレート５２を利用して映像信号の特徴量を抽出する例である。一例として日本地図のようなテンプレート５２（図７（ｂ−１））を用意し、特徴量抽出部１１１は、センサ装置３により検知された時々刻々変化する雨雲である対象１の映像を各時点ｔ１，ｔ２，ｔ３で入力した場合、それらの時点ｔ１，ｔ２，ｔ３では、それぞれ、テンプレートである日本地図の陸地部分に、雨雲である対象１が重複した部分を特徴量として抽出する。なお、音声信号の特徴量を抽出する場合も、基準となるテンプレートを利用して特徴量を検出できる。
また、図７（ｃ）は、センサ装置３の温度センサにより例えば各時点ｔ１〜ｔ７で検出された温度データを、最小二乗法を用いて直線ｙ＝αｘ＋βとして表し、その直線の勾配αを特徴量として抽出する例である。
【００２６】
図８は、シンボル生成部１１２によるシンボル画像５０の生成状況を示す図である。
例えば、前述の図７（ａ）に示す特徴量抽出方法により特徴量が抽出された場合、本実施の形態では、変化の大きい特徴量に応じて、順次図８（ａ）〜図８（ｄ）のように、シンボル画像の大きさを大きくするか、或いはシンボル画像の形を変えるか、さらにはシンボル画像の濃淡の度合いを淡から濃側に変える。なお、シンボル生成部１１２がシンボル音を生成する場合も、変化の大きい特徴量に応じて、そのシンボル音の音量が大きくなるように生成するか、或いはシンボル音の音色を変える。また、センサ装置３の１つのセンサ（３Ａ１）により検出された時系列信号の中から抽出された特徴量の変化に応じてシンボル画像の例えば大きさを変え、センサ装置３のもう１つのセンサ（３Ａ２）により検出された時系列信号の中から抽出された特徴量の変化に応じてシンボル画像の例えば形を変え、センサ装置３のさらにもう１つのセンサ（３Ａ３）により検出された時系列信号の中から抽出された特徴量の変化に応じてシンボル画像の例えば濃淡を変えるように構成することもできる。
【００２７】
（第２の実施の形態）
第２の実施の形態はセンサ装置３をビル内の温度を検知するセンサとした場合の例である。ここで、図４において、センサ３Ａ１を、ビル内の温度を検知するセンサとする。
【００２８】
このように構成した場合、温度センサであるセンサ３Ａ１により順次検出された対象ビルの温度データは、図４に示されるようなデジタルの時系列温度データＡ１１，Ａ１２，…，Ａ１ｍとして制御部１１０に出力される。制御部１１０では入出力部１１３を介してこの時系列温度データＡ１１，Ａ１２，…，Ａ１ｍを入力すると、対象ビルの温度を示すオブジェクトとして第１記憶部１２０に記憶する。
【００２９】
ここで、制御部１１０の特徴量抽出部１１１は、第１記憶部１２０に記憶された、対象ビルの時系列温度データＡ１１，Ａ１２，…，Ａ１ｍを読み出し、抽出部１１Ａ１によりその時系列温度データＡ１１，Ａ１２，…，Ａ１ｍの中から対象ビルの温度データの特徴を表す特徴量を抽出させてシンボル生成部１１２に出力させる。
【００３０】
すなわち、特徴量抽出部１１１は、時系列温度データを入力すると、これらの時系列温度データを、前述した図７（ｃ）に示すように、最小二乗法により直線ｙ＝αｘ＋βとして表し、その温度直線の勾配αを特徴量として抽出する。
【００３１】
制御部１１０のシンボル生成部１１２は、抽出部１１Ａ１からの対象ビルの温度特徴量を入力すると、この温度特徴量を反映したシンボル画像（すなわち、前述の図７（ｃ）に示す温度直線の勾配αの大小に応じてシンボル画像の例えば大きさを変えた画像）を生成し、生成したシンボル画像を対象ビルのオブジェクト（対象ビルの温度データ）に関連づけて第２記憶部１３０に記憶する。なお、この場合、シンボル生成部１１２は図９に示すように、温度センサ３Ａ２の検出データを直接特徴量として入力し、その特徴量の大小に応じてシンボル画像の大きさ等を変えることもできる。
【００３２】
このようにして、サーバ１００の第１記憶部１２０に、対象ビルの温度についてのオブジェクトが記憶され、かつ、サーバ１００の第２記憶部１３０に、対象ビルの前記オブジェクトを参照先として指示するための参照先指示情報として、対象ビルのオブジェクトの温度特徴量が反映されたシンボル画像がそれぞれ記憶された後、端末１０からのアクセスによりサーバ１００と端末１０とがネットワーク２を介して接続されると、サーバ１１０の制御部１１０は、第２記憶部１３０に記憶されている前記参照先指示情報、すなわち対象ビルの温度データであるオブジェクトの特徴量が反映されたシンボル画像を読み出して、通信Ｉ／Ｆ部１４０へ送り、通信Ｉ／Ｆ部１４０からネットワーク２を介して端末１０にダウンロードさせる。
【００３３】
このように、時々刻々変化する対象ビルの温度を検出して時系列温度信号とし、この時系列温度信号から特徴量を抽出してその特徴量に基づきシンボル画像を生成するとともに、生成した前記シンボル画像を、対象ビルのオブジェクトを指示するための参照先指示情報としたので、時々刻々変化するビル内の温度であるオブジェクトの内容が参照先指示情報に反映されて端末１０に表示され、これにより、端末１０の利用者は、この参照先指示情報から、時々刻々変化する対象ビルの温度状況を一目瞭然に識別できる。
【００３４】
（第３の実施の形態）
図１０は第３の実施の形態を示す図である。第３の実施の形態は、センサ装置３の各センサを、ビル内の各フロアに設置されたカメラとし、端末１０においてビルの各フロアの状況を監視する場合の例である。
【００３５】
次に、以上のように構成されたシステムの動作を説明する。
カメラであるセンサ装置３の各センサにより撮影された各フロア内の時系列映像信号はビル内に配置されたサーバ１００の制御部１１０に出力される。制御部１１０では入出力部１１３を介してこの時系列映像信号を入力すると、各フロアの映像を示すオブジェクトとして第１記憶部１２０に記憶するとともに、端末１０側へ送信し、図１０に示すように、端末１０の表示部１４内に各フロア１Ｆ〜１６Ｆに対応してそれぞれ設けられた第１表示部１４１に表示させる。なお、端末１０の表示部１４内には、図１０に示すように各第１表示部１４１に対応してシンボル画像を表示するための第２表示部１４２が設けられている。
【００３６】
ここで、制御部１１０の特徴量抽出部１１１は、第１記憶部１２０に記憶された、各フロア毎の時系列映像信号を読み出し、特徴量抽出部１１１により各フロア毎にその時系列映像信号の中から特徴量を抽出させてシンボル生成部１１２に出力させる。
【００３７】
ここで、特徴量抽出部１１１は、前述した例えば図７（ａ）に示される特徴量抽出方法を用いて、各フロア毎に映像信号の特徴量を抽出する。シンボル生成部１１２は、抽出された各フロアの特徴量の中で、変化の大きい特徴量のフロアのシンボル画像を大きくするか、或いはそのシンボル画像の色を青から赤に変えて第２記憶部１３０に記憶する。サーバ１１０の制御部１１０は、第２記憶部１３０に記憶された参照先指示情報としてのシンボル画像を端末１０にダウンロードし、該当フロアに対応する第２表示部１４２に表示させる。このように構成することにより、端末１０の表示部１４上で各フロアの映像を監視する監視者は、変化のあったフロアの映像を一目瞭然に識別できる。
【００３８】
（第４実施の形態）
第４の実施の形態は、端末１０として携帯端末を用い、センサ装置３として、その携帯端末の利用者宅の玄関に設置されたカメラと、前記利用者宅の玄関ドアの開閉を検出するドアセンサと、前記利用者宅内の温度を検出する温度センサと、前記利用者宅内の音声を含む音を検出するマイクと、前記利用者宅の電気メータを検出するセンサとを設けるとともに、前記利用者宅内にサーバ１００を設置した例である。
【００３９】
次に、以上のように構成されたシステムの動作を説明する。
センサ装置３に含まれるカメラ及びマイク、さらにはドアセンサなどの各センサにより検出された時系列信号はサーバ１００の第１記憶部１２０に順次記憶されるとともに、特徴量抽出部１１１は、第１記憶部１２０に記憶された時系列信号の中から特徴量を抽出する。
【００４０】
ここで、特徴量抽出部１１１は前述の図７（ａ）に示す抽出方法で特徴量を抽出する。シンボル生成部１１２は、カメラにより撮影された映像信号及びドアセンサの検出信号以外の検出信号については、特徴量抽出部１１１により抽出した特徴量に応じたシンボル画像を生成して第２記憶部１３０に記憶する。なお、特徴量抽出部１１１は、カメラにより撮影された映像信号については、所定のしきい値より変化が大きい映像信号を特徴量として抽出し、シンボル生成部１１２に出力する。この場合、シンボル生成部１１２は振動データを生成し第２記憶部１３０に記憶する。また、特徴量抽出部１１１は、ドアセンサにより検出された検出信号についても所定のしきい値より変化が大きい検出信号（すなわち、ドアの開放による検出信号）を特徴量として抽出しシンボル生成部１１２に出力する。この場合、シンボル生成部１１２はトーンデータとして第２記憶部１３０に記憶する。
【００４１】
そして、サーバ１１０の制御部１１０は、第２記憶部１３０に記憶されている参照先指示情報としてのシンボル画像、振動データ及びトーンデータを端末１０（携帯端末）にダウンロードする。この場合、端末１０の制御部１１はダウンロードされたシンボル画像を表示部１４に表示するとともに、振動データがダウンロードされるとバイブレータ１７を振動させ、トーンデータがダウンロードされるとスピーカ１５からトーンを送出させる。この結果、例えば不審者などが携帯端末１０の利用者宅の玄関ドアを開放して内部に侵入したような、その携帯端末１０の利用者宅に異変が生じた場合にはこの旨を携帯端末１０に報知できる。
【００４２】
なお、特徴量抽出部１１１により抽出されたカメラの映像特徴量が大きい場合は、高速振動数の振動データとして携帯端末１０にダウンロードされ、この場合携帯端末１０はバイブレータ１７を高速で振動させる。また、特徴量抽出部１１１により抽出されたカメラの映像特徴量が小さい場合は、低速振動数の振動データとして携帯端末１０にダウンロードされ、この場合携帯端末１０はバイブレータ１７を低速で振動させる。
【００４３】
（第５の実施の形態）
図１１は第５の実施の形態を示す図である。第５の実施の形態は、センサ装置３の例えばセンサ３Ａ１を、有料駐車場に駐車している車６０を撮影するカメラとし、センサ３Ａ２を、車６０の駐車中に点灯しているランプ６２を検出するためのセンサとするとともに、駐車場の管理室にサーバ１００及び端末１０を配置したものである。
【００４４】
次に、以上のように構成されたシステムの動作を説明する。
カメラ（センサ３Ａ１）により撮影された駐車中の車６０の映像は時系列映像信号としてサーバ１００の第１記憶部１２０に順次記憶されるとともに、センサ３Ａ２の検出信号も時系列信号として第１記憶部１２０に記憶される。特徴量抽出部１１１は、第１記憶部１２０に記憶された時系列信号の中から特徴量を抽出する。
【００４５】
ここで、車６０の駐車中には前述したようにランプ６２が点灯し、駐車中の車６０の出車を阻止するための阻止部６１は図１１（ｂ）の符号６１Ａで示すような、車６０が出車できないような状態となっている。そして、利用者が駐車料金を支払うと、阻止部６１は図１１（ｂ）の符号６１Ｂで示すような状態（点線で示す状態）となり車６０の出車が可能になるとともに、このときランプ６２が消灯する。
【００４６】
特徴量抽出部１１１では、図１２に示すように、抽出部１１Ａ１により、車６０の時系列映像信号の中から特徴量を抽出する。また、特徴量抽出部１１１の抽出部１１Ａ３は、センサ３Ａ２で検出された時系列信号の中から特徴量を抽出する。シンボル生成部１１２は、抽出部１１Ａ１，１１Ａ３により抽出された特徴量に基づいてシンボルを生成し第２記憶部１３０に記憶する。
【００４７】
ここで、シンボル生成部１１２は、カメラ（センサ３Ａ１）からの車の映像信号が無くなることによって、抽出部１１Ａ１で変化の大きい特徴量が抽出され、このときランプ６２が依然として点灯状態を維持することによって、抽出部１１Ａ３で特徴量が抽出されない場合は、その車６０の利用者が何らかの手段により阻止部６１を不正に出車可能な状態にし駐車料金を支払わずに駐車場から出車したものとして、動作パターンとしてサーバ１００に接続されたパトランプを回転させる信号を生成するとともに、シンボル音としてアラーム音を生成し、第２記憶部１３０に記憶する。制御部１１０は、第２記憶部１３０のアラーム画像及びアラーム音を端末１０にダウンロードし、端末１０の表示部１４にアラーム画像を表示させるとともに、スピーカ１５からアラーム音を送出させる。これにより、駐車場の管理人は、有料駐車場から料金を支払わないで出車する違法な車を容易に認識することができ、この場合、駐車場の出口ゲートを閉めるなどしてその違法な車の利用者に料金を支払わせることができる。
【００４８】
なお、以上の例では、特徴量抽出部１１１の抽出部１１Ａ１がカメラ（センサ３Ａ１）の映像信号の中から特徴量を抽出し、特徴量抽出部１１１の抽出部１１Ａ３がセンサ３Ａ２の検出信号の中から特徴量を抽出しているが、図１２に示すように、特徴量抽出部１１１の抽出部１１Ａ２が、カメラ（センサ３Ａ１）からの映像信号及びセンサ３Ａ２の検出信号を入力してこれらの信号の中から１つの特徴量を抽出することもできる。すなわち、特徴量抽出部１１１の抽出部１１Ａ２は、カメラ（センサ３Ａ１）からの映像信号及びセンサ３Ａ２の検出信号を入力すると、カメラ（センサ３Ａ１）からの映像信号が大きく変化し（すなわち、その映像信号に含まれる車の映像が消滅し）、センサ３Ａ２の検出信号が変化しない場合を１つの特徴量として抽出する。この場合、シンボル生成部１１２はシンボル音として前述のアラーム音を生成するか、或いは、複数のシンボル（すなわち、シンボル画像としてのアラーム画像及びシンボル音としてのアラーム音）を生成する。
【００４９】
なお、図１３（ａ）に示すように、センサ装置３の１つのセンサ３Ａ１により検出された時系列信号を、特徴量抽出部１１１の２つの抽出部１１Ａ１，１１Ａ２が入力し、各抽出部１１Ａ１，１１Ａ２がそれぞれ異なる特徴量を抽出することもできる、
また、図１３（ｂ）に示すように、センサ装置３の１つのセンサ３Ａ１により検出された時系列信号を特徴量抽出部１１１の１つの抽出部１１Ａ１が入力し、この抽出部１１Ａ１が異なる特徴量を抽出しシンボル生成部１１２に出力することもできる。
【００５０】
なお、本実施の形態では、シンボル生成部１１２をサーバ１００に配置し、サーバ１００側でシンボル画像等を生成しているが、サーバ１００側で時系列信号から特徴量を抽出してその特徴量に応じたパターンデータを端末１０に送信し、端末１０でそのパターンデータに基づいてシンボル画像等を生成し表示するようにしても良い。
また、本実施の形態では、サーバ１００と端末１０とをそれぞれ別々の装置として構成しているが、サーバ１００に表示部を設け、サーバ１００のシンボル生成部１１２で生成されたシンボル画像等を制御部１１０が表示部に出力し表示させるようにしても良い。この場合、端末１０を省略することができる。
また、本実施の形態では、センサ装置３とサーバ１００と端末１０とをそれぞれ別々の装置として構成しているが、サーバ１００内にセンサと表示部とを設け、サーバ１００では対象物を自身のセンサで検出するとともに、特徴量抽出部１１１はセンサにより検出された時系列信号の中から特徴量を抽出し、シンボル生成部１１２はその抽出された特徴量を反映したシンボル画像等を生成し、制御部１１０は生成されたシンボル画像等を表示部に出力して表示させるように構成することもできる。この場合、センサ装置３と端末１０を省略することができる。
また、本実施の形態では、ｍ個の時系列信号から特徴量を抽出しているが、任意の数の時系列信号から特徴量の抽出が可能なことは勿論である。
【００５１】
図１４は、リアルタイムで変化するオブジェクトの数と、オブジェクトの状態を把握する把握時間との関係を示す図である。従来では、オブジェクトを参照先として指示するための参照先指示情報がテキスト等で表されていることから、実際にオブジェクトにアクセスしてはじめてその状態が把握できるため、こうしたオブジェクトの数が増加するとオブジェクトの状態を把握する把握時間は増加する。これに対して、本実施の形態では、リアルタイムで変化するオブジェクトの状態がシンボル画像又はシンボル音として参照先指示情報に反映されるため、オブジェクトをアクセスする必要が無く、したがって、オブジェクトの数が増加してもその状態を把握する把握時間はほとんど増加しない。
【図面の簡単な説明】
【００５２】
【図１】本発明を適用したシステムの構成を示すブロック図である。
【図２】上記システムを構成する端末のブロック図である。
【図３】上記システムを構成するサーバのブロック図である。
【図４】上記システムを構成するセンサ装置と上記サーバの制御部の詳細構成を示すブロック図である。
【図５】上記制御部内のシンボル生成部により生成されたシンボル画像の例を示す図である。
【図６】端末の参照先指示情報の表示例を示す図である。
【図７】上記制御部内の特徴量抽出部による特徴量抽出の例を示す図である。
【図８】上記シンボル生成部によるシンボル画像の生成状況を示す図である。
【図９】上記シンボル生成部がセンサ装置の検出信号からシンボル画像等を生成する場合の例を示す図である。
【図１０】上記システムをビル内の各フロアの状態を監視する監視システムに適用した場合の例を示す図である。
【図１１】上記システムを駐車場の車を監視する監視システムに適用した場合の例を示す図である。
【図１２】２つのセンサにより検出された時系列信号の中から１つの特徴量を検出する例を示す図である。
【図１３】１つのセンサにより検出された時系列信号を２つの抽出部が入力して２つの異なる特徴量を抽出する例を示す図（図１３（ａ））及び１つのセンサにより検出された時系列信号を１つの抽出部が入力して２つの異なる特徴量を抽出する例を示す図（図１３（ｂ））である。
【図１４】オブジェクトの数とその状態の把握時間との関係を、従来の方法と本発明の方法とで比較した結果を示す図である。
【符号の説明】
【００５３】
１…対象、２…ネットワーク、３…センサ装置、１０…端末、１１，１１０…制御部、１２，１４０…通信Ｉ／Ｆ部、１３…メモリ、１４…表示部、１５…スピーカ、１６…操作部、１７…バイブレータ、１１１…特徴量抽出部、１１２…シンボル生成部、１２０…第１記憶部、１３０…第２記憶部。
【図１】
2006154978.tif 000003
【図２】
2006154978.tif 000004
【図３】
2006154978.tif 000005
【図４】
2006154978.tif 000006
【図５】
2006154978.tif 000007
【図６】
2006154978.tif 000008
【図７】
2006154978.tif 000009
【図８】
2006154978.tif 000010
【図９】
2006154978.tif 000011
【図１０】
2006154978.tif 000012
【図１１】
2006154978.tif 000013
【図１２】
2006154978.tif 000014
【図１３】
2006154978.tif 000015
【図１４】
2006154978.tif 000016