(57)【要約】【課題】実世界のオブジェクトに関する情報として、少なくとも識別情報および位置情報を含む情報をサイバー世界を構成するコンピュータシステムにより認識する。【解決手段】対象領域に存在するオブジェクトに付帯され、自身を識別する情報を含むオブジェクトの関連情報を送出する付帯素子、インターネット並びに電話網を介して接続されるオブジェクト管理システムおよび情報利用装置を有する通信システムにおいて、オブジェクト管理システムが、付帯素子識別情報、各オブジェクト並びに各付帯素子に係る映像情報を少なくとも用いて生成した一次情報を送信し、この一次情報を受信した情報利用装置が、利用者によって選択されたオブジェクト情報を送信し、このオブジェクト情報を受信したオブジェクト管理システムが二次情報を生成し、この二次情報を受信した情報利用装置が、その虹情報に含まれるオブジェクト識別情報を表示する。【選択図】図１
2005157877.tif 000002
【特許請求の範囲】
【請求項１】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続され、前記オブジェクトに関する情報を利用する情報利用装置に対して通信可能なオブジェクト管理システムであって、
前記対象領域内に存在するオブジェクトに付帯される付帯素子から送出される付帯素子識別情報を少なくとも検出する付帯素子情報検出手段と、
前記対象領域内の各オブジェクトおよび各オブジェクトが付帯する付帯素子に係る映像情報を撮像する撮像手段と、
前記対象領域内の各オブジェクトから発せられる音声を収集する集音手段と、
前記付帯素子情報検出手段、前記撮像手段、および前記集音手段でそれぞれ収集した情報を用いて前記情報利用装置に送信する一次情報を生成すると共に、前記情報利用装置から受信する情報に基づいて再度情報利用装置へ送信する二次情報を生成する情報制御手段と、
オブジェクトを識別するオブジェクト識別情報および付帯素子識別情報を対応付けて蓄積管理する識別情報蓄積管理手段と、
前記情報利用装置から受信する情報に含まれる前記情報利用装置の利用者が選択したオブジェクトの位置情報を抽出して前記情報制御手段に送出する選択位置情報抽出手段と
を備えたことを特徴とするオブジェクト管理システム。
【請求項２】
前記情報制御手段は、前記付帯素子識別情報を、前記撮像手段で撮像した映像情報および前記集音手段で集音した音声情報の少なくともいずれか一方に重畳することによって前記情報利用装置へ送信する情報を生成することを特徴とする請求項１記載のオブジェクト管理システム。
【請求項３】
前記情報制御手段は、前記付帯素子識別情報をパケットとして前記情報利用装置へ送信する情報を生成することを特徴とする請求項１記載のオブジェクト管理システム。
【請求項４】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続されるオブジェクトおよび該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能な情報利用装置であって、
前記オブジェクト管理システムから受信する情報に含まれる映像情報および音声情報の少なくともいずれか一方を抽出して出力する情報制御手段と、
この情報制御手段で抽出した映像情報を少なくとも表示する表示手段と、
この表示手段で表示されるオブジェクの中から利用者がオブジェクトを選択、決定する指示を入力する入力手段と、
少なくとも前記オブジェクト管理システムから受信した情報の中からオブジェクトに付帯される付帯素子の位置情報を抽出して当該位置を算出する一方、前記入力手段を用いて利用者が選択するオブジェクトの位置を算出する位置情報算出手段と、
この位置情報算出手段で算出したオブジェクトの位置情報を用いて前記オブジェクト管理システムに送信する情報を作成する送信情報作成手段と
を備えたことを特徴とする情報利用装置。
【請求項５】
前記オブジェクト管理システムに送信する情報は、前記選択されたオブジェクトの位置情報が映像または音声に合成されて成ることを特徴とする請求項４記載の情報利用装置。
【請求項６】
前記オブジェクト管理システムに送信する情報は、前記選択されたオブジェクトの位置情報がパケット化されて成ることを特徴とする請求項４記載の情報利用装置。
【請求項７】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続され、前記オブジェクトに関する情報を利用する情報利用装置に対して通信可能であるとともに、オブジェクトを識別するオブジェクト識別情報および付帯素子識別情報を対応付けて蓄積管理する識別情報蓄積管理手段を備えたオブジェクト管理システムが行うオブジェクト管理方法であって、
前記対象領域内に存在するオブジェクトに付帯される付帯素子から送出される付帯素子識別情報を少なくとも検出して前記識別情報記憶手段に格納するステップと、
このステップで検出した付帯素子識別情報を前記識別情報記憶手段から読み出し、この読み出した付帯素子識別情報、前記対象領域内の各オブジェクト並びに各オブジェクトが付帯する付帯素子に係る映像情報、および前記対象領域内の各オブジェクトから発せられる音声情報を用いて前記情報利用装置に送信する一次情報を生成するステップと、
このステップで生成した一次情報を前記情報利用装置に送信するステップと、
前記情報利用装置の利用者が選択したオブジェクトの選択位置情報を含む情報を受信するステップと、
このステップで受信した情報に含まれる前記選択位置情報を抽出するステップと、
このステップで抽出した選択位置情報を前記一次情報に合成して前記情報利用装置に送信する二次情報を生成するステップと、
このステップ生成した二次情報を前記情報利用装置に送信するステップと
を有することを特徴とするオブジェクト管理方法。
【請求項８】
前記一次情報は、前記付帯素子識別情報が前記映像情報および前記音声情報の少なくともいずれか一方に重畳されて成ることを特徴とする請求項７記載のオブジェクト管理方法。
【請求項９】
前記一次情報は、前記付帯素子識別情報がパケット化されて成ることを特徴とする請求項７記載のオブジェクト管理方法。
【請求項１０】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続されるオブジェクトおよび該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能な情報利用装置が行う情報利用方法であって、
前記オブジェクト管理システムから受信した一次情報の中からオブジェクトに付帯される付帯素子の位置情報を読み出して当該付帯素子の位置情報を算出するステップと、
このステップで算出した付帯素子の位置情報を用いて前記一次情報に少なくとも含まれる映像情報を抽出して出力するステップと、
利用者から前記対象領域内のオブジェクトの中から所望のオブジェクトを選択、決定する指示入力を受け、この入力によって選択されたオブジェクトの位置情報を算出するステップと、
このステップで算出したオブジェクトの位置情報を用いて前記オブジェクト管理システムに送信する情報を作成するステップと、
このステップで作成した情報を前記オブジェクト管理システムに送信するステップと、
前記選択されたオブジェクトの位置情報、当該オブジェクトの識別情報、および前記一次情報を用いて生成される二次情報を前記オブジェクト管理システムから受信するステップと、
このステップで受信した二次情報から前記利用者が選択したオブジェクトに関連するオブジェクト識別情報を少なくとも含む映像情報を抽出して出力するステップと
を有することを特徴とする情報利用方法。
【請求項１１】
前記オブジェクト管理システムに送信する情報は、前記選択されたオブジェクトの位置情報が映像または音声に合成されて成ることを特徴とする請求項１０記載の情報利用方法。
【請求項１２】
前記オブジェクト管理システムに送信する情報は、前記選択されたオブジェクトの位置情報がパケット化されて成ることを特徴とする請求項１０記載の情報利用方法。
【請求項１３】
請求項７乃至９のいずれか１項記載のオブジェクト管理方法をコンピュータに実行させることを特徴とするオブジェクト管理用プログラム。
【請求項１４】
請求項１０乃至１２のいずれか１項記載の情報利用方法をコンピュータに実行させることを特徴とする情報利用プログラム。
【請求項１５】
請求項１３または１４に記載のプログラムを記録したことを特徴とするプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実世界のオブジェクトに関する情報である実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムによって認識するためのオブジェクト管理システム、情報利用装置、オブジェクト管理方法、情報利用方法、オブジェクト管理用プログラム、情報利用プログラム、およびプログラム記録媒体に関する。
【背景技術】
【０００２】
近年、コンピュータが通信ネットワークを介して相互に接続されるだけでなく、デジタルＴＶなどのデジタル家電からセンサやアクチュエータ群に至るまでもが通信ネットワークを介して相互に接続されるようになってきており、これらを用いた多種多様なサービスが開発され、広範な分野で利用される可能性がある。
【０００３】
そのようなサービスの実行においては、通信ネットワークで相互に接続されたコンピュータ内の実行状態のプログラムが互いに通信し合いながらサービスを実現するために協調動作を行っている。その一例として、分散オブジェクト環境で利用されているＪａｖａ（登録商標）言語や分散オブジェクトシステムを実現するために不可欠なオブジェクト指向ネットワーク基盤であるＣＯＲＢＡ（Common Object Request Broker Architecture）などを用いたシステムが主流になりつつある。
【０００４】
このシステムの特徴は、現実の世界（実世界）を「モノ」ベースでモデル化したオブジェクトを導入し、「モノ」が自然に備えている構造、データ、動作、関係、機能などの性質をオブジェクトの特性として記述することにより、システム上の仮想世界（サイバー世界）で実現すべき機能を自然な発想で明確化できる。
【０００５】
ここで、実世界のオブジェクトをサイバー世界上のオブジェクトとして該サイバー世界に結合する方法論の必要性について説明する。
【０００６】
上述したように、コンピュータが通信ネットワークにより相互に接続され、こうしたコンピュータ・ネットワーク上の仮想世界で様々なサービスを提供する試みがなされているが、このようなサービスで直接動かせるものは、データとしてネットワークという仮想世界に予め取り込んでおいたものに過ぎない。換言すれば、現在、世界的に期待されている通信ネットワークを活用したユビキタスサービスは、日常空間の情報化であると言われているが、通信ネットワークを活用した日々の日常生活空間の情報化はまだ取り残されている状態である。すなわち、現実世界の「モノ」や「ヒト」が日常生活「環境」で引き起こす様々な出来事は、殆どネットワークにデータとして取り込まれていない。
【０００７】
実際のところ、例えば、家庭内の資産や重要書類の所在探索、冷蔵庫の中の食品の鮮度、賞味期限、在庫管理、老人の健康管理と介護補助、留守宅のセキュリティ管理と遠隔監視、常時健康モニタリング、ショッピングモール内での購買者の購買行動トラッキングとダイナミックなマーケティングなど、極めて大きな潜在的なビジネス市場があるが、これらの分野は未開拓なままの状態といっても過言ではない。
【０００８】
このようなサービスを実現するには、コンピュータにおいて、実世界のどのオブジェクトが「何時」、「何処で」、「如何なる状態で」いるかを常に認識し、あたかも我々が実際に観察しているかのように、その認識結果が現実世界と写像の関係にある仮想世界の認識モデル変化にリアルタイムで反映する仕組みを確立することが不可欠である。
【０００９】
換言するなら、実世界のオブジェクトの状態変化が仮想世界の認識モデルを構成するオブジェクトのプロパティの変化にリアルタイムで反映する仕組み、すなわち、実世界のオブジェクトをコンピュータ上のサイバー世界にリアルタイムで反映（結合）させる認識方法の確立が待望されている。
【００１０】
このような認識方法の一例として、「モノ」の管理という視点から、実世界の「モノ」と通信ネットワークを結びつける技術、より具体的にはＲＦＩＤ（Radio Frequency Identification）タグを用いた技術をあげることができる（例えば非特許文献１参照）。
【００１１】
このＲＦＩＤタグは、小さな無線通信ＩＣ（Integration Circuit）を内蔵しており、基本機能はＩＣのメモリに格納した識別ＩＤ番号等を発信するだけである。このＲＦＩＤタグを管理対象オブジェクトに付帯させると、非接触でその識別ＩＤをＲＦＩＤリーダで読み込むことができ、物流管理の現場等で現在利用されている。
【非特許文献１】ＮＥ日経エレクトロニクス  ｎｏ．８１６、特集「発信源はゴマ粒チップ」、日経ＢＰ社、２００２年２月２５日、ｐ．１０９−１３７
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したＲＦＩＤタグを用いる技術では、実世界オブジェクト情報として得られる情報は、特定の識別ＩＤのみであった。このため、実世界オブジェクト情報として識別ＩＤのみの情報しか得られず、例えば、どのオブジェクトが、「何時」、「何処で」、「如何なる状態で」いるかを常に認識し、実世界オブジェクト情報をコンピュータ上のサイバー世界に対して十分に反映させることが難しかった。
【００１３】
本発明は、このような事情に鑑みてなされたもので、その目的は、実世界のオブジェクトに関する情報として、少なくとも識別情報および位置情報を含む情報をサイバー世界を構成するコンピュータシステムにより認識することを可能にするオブジェクト管理システム、情報利用装置、オブジェクト管理方法、情報利用方法、オブジェクト管理用プログラム、情報利用プログラム、およびプログラム記録媒体を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、請求項１記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続され、前記オブジェクトに関する情報を利用する情報利用装置に対して通信可能なオブジェクト管理システムであって、前記対象領域内に存在するオブジェクトに付帯される付帯素子から送出される付帯素子識別情報を少なくとも検出する付帯素子情報検出手段と、前記対象領域内の各オブジェクトおよび各オブジェクトが付帯する付帯素子に係る映像情報を撮像する撮像手段と、前記対象領域内の各オブジェクトから発せられる音声を収集する集音手段と、前記付帯素子情報検出手段、前記撮像手段、および前記集音手段でそれぞれ収集した情報を用いて前記情報利用装置に送信する一次情報を生成すると共に、前記情報利用装置から受信する情報に基づいて再度情報利用装置へ送信する二次情報を生成する情報制御手段と、オブジェクトを識別するオブジェクト識別情報および付帯素子識別情報を対応付けて蓄積管理する識別情報蓄積管理手段と、前記情報利用装置から受信する情報に含まれる前記情報利用装置の利用者が選択したオブジェクトの位置情報を抽出して前記情報制御手段に送出する選択位置情報抽出手段とを備えたことを特徴とする。
【００１５】
請求項２記載の発明は、請求項１記載の発明において、前記情報制御手段は、前記付帯素子識別情報を、前記撮像手段で撮像した映像情報および前記集音手段で集音した音声情報の少なくともいずれか一方に重畳することによって前記情報利用装置へ送信する情報を生成することを特徴とする。
【００１６】
請求項３記載の発明は、請求項１記載の発明において、前記情報制御手段は、前記付帯素子識別情報をパケットとして前記情報利用装置へ送信する情報を生成することを特徴とする。
【００１７】
請求項４記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続されるオブジェクトおよび該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能な情報利用装置であって、前記オブジェクト管理システムから受信する情報に含まれる映像情報および音声情報の少なくともいずれか一方を抽出して出力する情報制御手段と、この情報制御手段で抽出した映像情報を少なくとも表示する表示手段と、この表示手段で表示されるオブジェクの中から利用者がオブジェクトを選択、決定する指示を入力する入力手段と、少なくとも前記オブジェクト管理システムから受信した情報の中からオブジェクトに付帯される付帯素子の位置情報を抽出して当該位置を算出する一方、前記入力手段を用いて利用者が選択するオブジェクトの位置を算出する位置情報算出手段と、この位置情報算出手段で算出したオブジェクトの位置情報を用いて前記オブジェクト管理システムに送信する情報を作成する送信情報作成手段とを備えたことを特徴とする。
【００１８】
請求項５記載の発明は、請求項４記載の発明において、前記選択されたオブジェクトの位置情報が映像または音声に合成されて成ることを特徴とする。
【００１９】
請求項６記載の発明は、請求項４記載の発明において、前記オブジェクト管理システムに送信する情報は、前記選択されたオブジェクトの位置情報がパケット化されて成ることを特徴とする。
【００２０】
請求項７記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続され、前記オブジェクトに関する情報を利用する情報利用装置に対して通信可能であるとともに、オブジェクトを識別するオブジェクト識別情報および付帯素子識別情報を対応付けて蓄積管理する識別情報蓄積管理手段を備えたオブジェクト管理システムが行うオブジェクト管理方法であって、前記対象領域内に存在するオブジェクトに付帯される付帯素子から送出される付帯素子識別情報を少なくとも検出して前記識別情報記憶手段に格納するステップと、このステップで検出した付帯素子識別情報を前記識別情報記憶手段から読み出し、この読み出した付帯素子識別情報、前記対象領域内の各オブジェクト並びに各オブジェクトが付帯する付帯素子に係る映像情報、および前記対象領域内の各オブジェクトから発せられる音声情報を用いて前記情報利用装置に送信する一次情報を生成するステップと、このステップで生成した一次情報を前記情報利用装置に送信するステップと、前記情報利用装置の利用者が選択したオブジェクトの選択位置情報を含む情報を受信するステップと、このステップで受信した情報に含まれる前記選択位置情報を抽出するステップと、このステップで抽出した選択位置情報を前記一次情報に合成して前記情報利用装置に送信する二次情報を生成するステップと、このステップ生成した二次情報を前記情報利用装置に送信するステップとを有することを特徴とする。
【００２１】
請求項８記載の発明は、請求項７記載の発明において、前記一次情報は、前記付帯素子識別情報が前記映像情報および前記音声情報の少なくともいずれか一方に重畳されて成ることを特徴とする。
【００２２】
請求項９記載の発明は、請求項７記載の発明において、前記一次情報は、前記付帯素子識別情報がパケット化されて成ることを特徴とする。
【００２３】
請求項１０記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、およびインターネット並びに電話網を介して接続されるオブジェクトおよび該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能な情報利用装置が行う情報利用方法であって、前記オブジェクト管理システムから受信した一次情報の中からオブジェクトに付帯される付帯素子の位置情報を読み出して当該付帯素子の位置情報を算出するステップと、このステップで算出した付帯素子の位置情報を用いて前記一次情報に少なくとも含まれる映像情報を抽出して出力するステップと、利用者から前記対象領域内のオブジェクトの中から所望のオブジェクトを選択、決定する指示入力を受け、この入力によって選択されたオブジェクトの位置情報を算出するステップと、このステップで算出したオブジェクトの位置情報を用いて前記オブジェクト管理システムに送信する情報を作成するステップと、このステップで作成した情報を前記オブジェクト管理システムに送信するステップと、前記選択されたオブジェクトの位置情報、当該オブジェクトの識別情報、および前記一次情報を用いて生成される二次情報を前記オブジェクト管理システムから受信するステップと、このステップで受信した二次情報から前記利用者が選択したオブジェクトに関連するオブジェクト識別情報を少なくとも含む映像情報を抽出して出力するステップとを有することを特徴とする。
【００２４】
請求項１１記載の発明は、請求項１０記載の発明において、前記選択されたオブジェクトの位置情報が映像または音声に合成されて成ることを特徴とする。
【００２５】
請求項１２記載の発明は、請求項１０記載の発明において、前記選択されたオブジェクトの位置情報がパケット化されて成ることを特徴とする。
【００２６】
請求項１３記載の発明は、請求項７乃至９のいずれか１項記載のオブジェクト管理方法をコンピュータに実行させることを特徴とするオブジェクト管理用プログラムである。
【００２７】
請求項１４記載の発明は、請求項１０乃至１２のいずれか１項記載の情報利用方法をコンピュータに実行させることを特徴とする情報利用プログラムである。
【００２８】
請求項１５記載の発明は、請求項１３または１４に記載のプログラムを記録したことを特徴とするプログラム記録媒体である。
【発明の効果】
【００２９】
本発明によれば、オブジェクト管理システムが、付帯素子識別情報、対象領域内の各オブジェクト並びに各オブジェクトが付帯する付帯素子に係る映像情報、および対象領域内の各オブジェクトから発せられる音声情報を用いて一次情報を生成し、インターネットおよび電話網を介して情報利用装置に送信し、この一次情報に含まれる映像情報によって情報利用装置の利用者がオブジェクトを選択し、この選択した情報を用いてオブジェクト管理システムが二次情報を生成し、この二次情報が情報利用装置に送信されてオブジェクト識別情報が表示されることにより、実世界のオブジェクトに関する情報として、少なくとも識別情報および位置情報を含む情報をサイバー世界を構成するコンピュータシステムにより認識することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００３１】
図１は、本発明の一実施形態に係る通信システムの構成を示す説明図である。同図に示す通信システム１００は、所定の認識対象領域内に存在する実世界オブジェクトの情報を、サイバー世界を構成するコンピュータシステムに認識させることにより、実世界オブジェクト情報をサイバー世界に認識し、この二つの世界の結合または融合を実現させるものである。以後の記載においては、実世界オブジェクトのことを単に「オブジェクト」と呼び、認識対象領域のことを「対象領域Ｒ」と呼ぶことにする。
【００３２】
対象領域Ｒには、離れた場所にいる利用者が通信を行う対象となり得る一または複数のオブジェクトＯ1、Ｏ2、・・・、Ｏn（ｎは正の整数）が存在している。本実施形態におけるオブジェクトとしては、人が想定されるが、人以外の有体物、例えば動物、植物や物品などでもよい。図１では、対象領域Ｒには二つのオブジェクトが存在（実在）しており、このうちのオブジェクトＯ1が「人」であり、オブジェクトＯ2が「かばん」である場合を例示している。
【００３３】
これらのオブジェクトＯk（ｋ＝１，２，・・・，ｎ）は、個々に識別可能な情報であるオブジェクト識別情報を有している。例えばオブジェクトが人である場合には、その人の氏名、所属、肩書き等の文字情報、および顔写真等の画像情報などを用いることにによってオブジェクト識別情報が構成される。他方、オブジェクトが物品である場合には、物品名、材質、価格等などからオブジェクト識別情報が構成される。
【００３４】
オブジェクトＯkは、付帯素子３−ｋを付帯している。この付帯素子３−ｋは、各々を一意に識別することのできる識別情報（付帯素子識別情報）を少なくとも有しており、付帯元のオブジェクトＯkと一対一に対応付けられている。なお、ここでいう「付帯」の具体的な形態としては、「取付」、「貼付」、「装着」、「設置」、「携帯」などが含まれる。
【００３５】
対象領域Ｒの近傍には、その対象領域Ｒ内に存在するオブジェクトを検知し、各オブジェクトおよび該オブジェクトに関連する情報を管理するためのオブジェクト管理システム１が設置されている。このオブジェクト管理システム１は、インターネット４１、映像通信規格のプロトコル変換（インターネットと電話網の伝送方式変換）を行うゲートウェイ４３、および電話網４５を介して情報利用装置５と通信可能である。
【００３６】
図２は、オブジェクト管理システム１の機能構成を示すブロック図である。同図に示すオブジェクト管理システム１は、対象領域Ｒ内に存在するオブジェクトＯkに付帯される付帯素子３−ｋから送出される付帯素子識別情報を少なくとも検出する識別情報検出手段１１、対象領域Ｒ内の各オブジェクトおよび各オブジェクトが付帯する付帯素子に係る映像情報を撮像する撮像手段１２、オブジェクトＯkから発せられる音声を収集するマイク等の集音手段１３、情報利用装置５に送信する情報（一次情報）を、付帯素子情報検出手段１１、撮像手段１２、および集音手段１３でそれぞれ収集した情報を適宜合成することによって生成すると共に、情報利用装置５から受信した情報に基づいて再度情報利用装置５へ送信する情報（二次情報）を生成する情報制御手段１４、オブジェクト識別情報および付帯素子識別情報を対応付けて蓄積管理する識別情報蓄積管理手段１５、情報制御手段１４で生成した情報を情報利用装置５に対して送信する送信手段１６、情報利用装置５から送信されてくる情報を少なくとも受信する受信手段１７、この受信手段１７で受信した情報に重畳（合成）されてくる利用者が選択したオブジェクトの位置情報（選択位置情報）を抽出して情報制御手段１４に送出する選択位置情報抽出手段１８を備えている。
【００３７】
以上の構成を有するオブジェクト管理システム１は、インターネット４１に対して通信する機能と付帯素子３−１〜３−ｎに対する無線通信機能とを有するインタフェース部、このインタフェース部に通信可能に接続されたコンピュータ、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disk）等の外部メモリをコンピュータが読取可能に装着できる外部記憶装置、映像情報や付帯素子情報蓄積用のハードディスク等の大容量記憶装置、およびコンピュータのワークエリアとしての機能を有する内部メモリをそれぞれ含むコンピュータシステムと、このコンピュータシステムに電気的に接続されており、コンピュータからの指示により動作するハードウェア機器（例えば、撮像手段の一部であるカメラ／赤外線カメラ等）とから構成されている。そして、このようなハードウェア構成により、上記各機能構成手段が具体的に実現される。
【００３８】
オブジェクト管理システム１近傍の対象領域Ｒ内のオブジェクトＯkに付帯される付帯素子３−ｋは、図３に示すように、自身の付帯素子識別情報等を記憶するメモリ等の識別情報記憶手段３１−ｋ、および識別情報記憶手段３１−ｋから読み出した付帯素子識別情報等を送出する識別情報送出手段３２−ｋを備えている。なお、本実施形態において、「オブジェクト管理システム１の近傍」とは、オブジェクト管理システム１が具備する撮像手段１２がオブジェクトを撮像可能な範囲を意味するものとする。このような付帯素子３−ｋとして、例えばＩＣ（Integration Circuit）タグやＲＦＩＤ（Radio Frequency Identification）タグなどを用いることができる。
【００３９】
より具体的な識別情報送出手段３２−ｋとして、付帯素子３−ｋが発光素子を有している場合には、その発光素子が発光することによって付帯素子識別情報が送出される。この発光素子から発せられる光は、可視光でもよいし、赤外光でもよい。発光素子として赤外線ＬＥＤ（Light Emitting Diode）を用いる場合には、撮像手段１２として、対象領域Ｒの実像を撮影する通常のカメラに加えて、赤外線を検知可能な赤外線カメラが必要となる。発光素子は、他にも、発光ダイオード（ＬＥＤ）、レーザダイオード、ＥＬ（Electro Luminescence）素子、液晶素子、反射光を利用するミラー、光を放射する素子などから構成することも可能である。
【００４０】
付帯素子３−ｋは、付帯素子識別情報を送出可能な素子、および例えば１チップ化された無線通信機能を有する電子回路を搭載しており、この搭載素子および電子回路により、上述した各機能構成手段を実現する。
【００４１】
情報利用装置５は、オブジェクト管理システム１から送信される情報を受信する受信手段５１、受信した情報を加工して映像情報および音声情報として出力する情報制御手段５２、少なくともオブジェクト管理システム１から受信する映像情報を表示する表示手段５３、少なくともオブジェクト管理システム１から受信する音声を出力する音出力手段５４、利用者が所望のオブジェクトを選択する際にポインタＰを移動したり確定（クリック）したりするためのポインティングデバイスである入力手段５５、受信した情報の中からオブジェクトに付帯される付帯素子の位置情報を取り出してその位置を算出すると共に、利用者による入力手段５５からの入力によって表示画面上でのポインタの位置を算出する位置情報算出手段５６、オブジェクト管理システム１に送信する情報を作成する送信情報作成手段５７、この送信情報作成手段５７で作成した送信情報をオブジェクト管理システム１に対して送信する送信手段５８を備えている。
【００４２】
このような情報利用装置５は、映像情報等表示用の表示手段であるディスプレイ、このディスプレイに表示された映像情報等を同じくディスプレイに表示されるマーカ等により指定可能なマウス等のポインティングデバイス、およびテキスト情報を入力可能なキーボード等を含む操作入力部、演算処理を実行するＣＰＵ（Central Processing Unit）、コンピュータのワークエリアを構成するメモリ、電話網との間の通信インタフェース機能を有する通信インタフェース部を有する装置であり、電話網からゲートウェイを介してインターネットと通信可能な装置である。より具体的には、携帯電話、ＰＨＳ（Personal Handyphone System）等の携帯電話機、または音声以外の情報送信機能を備えた固定電話機等の映像送受信機能付き電話機である。したがって、本実施形態における電話網４５は映像情報の送受信が可能なもの、すなわちテレビ電話が使用可能な電話網であれば如何なるものであってもよく、例えば、加入者電話網等の固定電話網であってもよいし、携帯電話やＰＨＳ等の移動電話網であってもよい。この点は、本発明の全ての実施形態に共通する事項である。
【００４３】
図５は、以上の構成を有する通信システム１００全体の動作を説明する処理フロー図である。
【００４４】
まず、対象領域Ｒ内に存在する付帯素子３−ｋは、付帯素子識別情報を送出する（ステップＳ１）。ここで送出する付帯素子識別情報としては、付帯素子に個別に設定される識別ＩＤや付帯素子の現在位置を表す位置情報などが想定される。なお、付帯素子識別情報の送出に際しては、オブジェクト管理システム１または情報利用装置５からの動作指示命令に基づいて送出を行ってもよいし、予め定められた周期で送出を行ってもよい。
【００４５】
オブジェクト管理システム１は、識別情報検出手段１１において付帯素子３−ｋから送られてくる付帯素子識別情報を検出し、識別情報蓄積管理手段１５に格納する（ステップＳ２）。
【００４６】
情報制御手段１４では、検出した付帯素子識別情報を、撮像手段１２で撮像する映像情報、および集音手段１３で収集する音声のうち少なくともいずれかに重畳、合成し、この合成した情報（一次情報）を情報利用装置５に送信する（ステップＳ３）。なお、本実施形態においては、撮像手段１２および集音手段１３は、対象領域Ｒの映像および音声を常に収録しているとの前提に立っているが、少なくとも付帯素子３−ｋが付帯素子識別情報を送出した時点から所定時間経過する範囲内の映像および音声があれば十分なので、そのような時間だけ映像及び音声を収録するような構成にすることも可能である。
【００４７】
一次情報を受信した情報利用装置５は、その一次情報のうちの映像情報にポインタＰを合成して表示手段５３に表示する（ステップＳ４）。ここでのポインタＰの位置は、上述した位置情報算出手段５６で算出され、この結果が情報制御手段５２に送られて表示画面に合成される。また、一次情報の中に含まれる付帯素子３−ｋの位置についても同様である。
【００４８】
図６は、表示手段５３における表示例を示す説明図である。同図に示す場合、オブジェクトＯ1（人）には付帯素子３−１の位置にマーカＭ1が表示される一方、オブジェクトＯ2（かばん）には付帯素子３−２の位置にマーカＭ2が表示される。表示手段５３にはポインタＰが表示されている。このポインタＰは、利用者によって画面上を移動自在である。また、ポインタＰをマーカ領域またはマーカを含む近傍領域に移動すると、当該領域がクリック可能領域となっており、利用者が決定ボタンを押下するなどして所望のオブジェクトを指定または選択することが可能となっている。
【００４９】
利用者が、入力手段５５によりポインタＰを移動させ、所望のオブジェクトＯkの付帯素子のマーカＭk近傍のクリック可能な領域に合わせ、入力手段５５の操作（例えばボタンの押下等）によって選択、決定すると、このときの画面上での選択位置を位置情報算出手段５６で算出する（ステップＳ５）。ここで算出される位置情報は、例えば画面を二次元平面とみなし、適当な位置を原点とする座標系に基づいて算出することができる。なお、ポインタＰの移動および所望オブジェクトの決定の際には、上記の如くボタンを移動または押下によって行う以外に、予め登録された音声の発話認識によって行うようにしてもよい。この場合、入力手段５５はポインティングデバイスの代わりにマイク等から構成されることになる。
【００５０】
加えて、情報利用装置５における選択位置情報は、映像情報または音声情報と合成するのではなく、パケット交換網を用いることにより、映像情報または音声情報と別に送信してもよい。この場合には、電話網４５からゲートウェイ４３を介してインターネット４１を経由する経路の他に、情報利用装置５から直接インターネット等のパケット交換網を経由してオブジェクト管理システム１に接続する経路も用いることになる。
【００５１】
次のステップＳ６では、ステップＳ５で算出した選択位置の座標を選択位置情報として送信情報作成手段５７により映像情報に合成する。ここでの位置情報の送信すべき情報への合成に際しては、例えば電子透かし等の技術を用いる。
【００５２】
その後、この合成した選択位置合成情報をオブジェクト管理システム１に送信する（ステップＳ７）。合成した選択位置合成情報は、電話網４５からゲートウェイ４３、インターネット４１を順次介してオブジェクト管理システム１に送信されることはいうまでもない。
【００５３】
オブジェクト管理システム１は、情報利用装置５から選択位置合成情報を受信し、この受信した選択位置合成情報の中から選択位置情報を抽出する（ステップＳ８）。このステップにおいて、選択位置情報抽出手段１８が行う選択位置情報の抽出処理も、電子透かし技術などを適用することができる。
【００５４】
その後、情報制御手段１４では、抽出した選択位置情報に関連するオブジェクト、すなわち利用者が情報利用装置５の表示手段５３で選択したオブジェクトのオブジェクト識別情報を識別情報蓄積管理手段１５から読み出し、この読み出したオブジェクト識別情報を一次情報に合成した情報（二次情報）を再び情報利用装置５に送信する（ステップＳ９）。
【００５５】
この二次情報を受信した情報利用装置５では、利用者が選択したオブジェクトのオブジェクト識別情報が表示手段５３に表示される（ステップＳ１０）。例えば、図６においてオブジェクトＯ1（人）が選択された場合には、表示画面の適当な場所にその人の氏名、年齢、連絡先等の個人情報が出力される。また、図６でオブジェクトＯ2（かばん）が選択された場合、そのかばんの種類、製造元、材質、値段、製造年等の情報が表示される。
【００５６】
以上で対象領域Ｒ内のオブジェクトを情報利用装置５が認識し、この認識結果（実世界とサイバー世界の結合）に基づいて、利用者が所望のオブジェクトを選択し、この選択したオブジェクトの識別情報を入手するまでの一連の処理が終了する。
【００５７】
ところで、以上説明した通信システム１００においては、オブジェクト位置情報とオブジェクト識別情報は、送信前にカメラ映像と合成してから送信しているが、情報表示の制御を情報利用装置５側で行うようにしてもよい。
【００５８】
なお、通信システム１００におけるオブジェクトの位置情報とオブジェクト関連情報は、カメラ映像と重畳する代わりに対象領域Ｒ内の音声と重畳して送信してもよい。
【００５９】
また、オブジェクト位置情報とオブジェクト関連情報は、カメラ映像または音声と合成せずに、パケット化したものを送信情報作成手段５７で生成し、パケット交換網を利用することによってカメラ映像や音声とは別に送信することも可能である。
【００６０】
さらに、オブジェクトの位置情報および関連情報を映像情報のみに重畳する場合には、オブジェクト管理システム１の集音手段１３および情報利用装置５の音出力手段５４は必須ではない。これは、オブジェクト管理システム１から情報利用装置５に送信される一次情報および二次情報ともに音声情報を用いずに構成することができるからである。
【００６１】
以上説明した本発明の一実施形態によれば、通信システム１００において、オブジェクト管理システム１が、付帯素子識別情報、対象領域内の各オブジェクト並びに各オブジェクトが付帯する付帯素子に係る映像情報、および対象領域内の各オブジェクトから発せられる音声情報を用いて一次情報を生成し、この一次情報をインターネット４１、ゲートウェイ４３、および電話網４５を介して情報利用装置５に送信し、この一次情報に含まれる映像情報によって情報利用装置５の利用者がオブジェクトを選択し、この選択したオブジェクトに関する情報を用いてオブジェクト管理システム１が二次情報を生成し、この二次情報が情報利用装置５に送信されてオブジェクト識別情報が表示手段５３で表示されることにより、実世界のオブジェクトに関する情報として、少なくとも識別情報および位置情報を含む情報をサイバー世界を構成するコンピュータシステムにより認識することが可能となる。
【００６２】
さらに、本実施形態によれば、情報利用装置５として映像対応の電話機を用いてオブジェクトを認識することができるので、このような電話機さえあれば、コンピュータネットワークを活用した様々な日常生活に密着したサービスをどこにいても享受することができる。
【００６３】
特に、このような映像対応の電話機として携帯電話やＰＨＳ等を用いる場合には、利用者は移動しながらでもオブジェクトを認識することが可能となり、より手軽にサービスを受けることができる。
【００６４】
加えて、本実施形態によれば、付帯素子から発せられた識別情報および該付帯素子の位置を表す位置情報を受信してコンピュータシステム（実世界オブジェクト認識装置）において認識することができるため、人、物、環境などの実世界のオブジェクトの少なくとも位置をリアルタイムにサイバー世界に結合でき様々な日常生活に密着したサービスを創生することができる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係る通信システムの構成を示す説明図である。
【図２】本発明の一実施形態に係るオブジェクト管理システムの機能構成を示すブロック図である。
【図３】本発明の一実施形態に係る付帯素子の機能構成を示すブロック図である。
【図４】本発明の一実施形態に係る情報利用装置の機能構成を示すブロック図である。
【図５】本発明の一実施形態に係る通信システム全体の動作を示す処理フロー図である。
【図６】本発明の一実施形態に係る情報処理装置の表示手段における表示例を示す図である。
【符号の説明】
【００６６】
１  オブジェクト管理システム
３−１、３−２、・・・、３−ｎ  付帯素子
５  情報利用装置
１１  識別情報検出手段
１２  撮像手段
１３  集音手段
１４、５２  情報制御手段
１５  識別情報記憶手段
１６、５８  送信手段
１７、５１  受信手段
１８  選択位置情報抽出手段
３１−１、３１−２、・・・、３１−ｎ  識別情報記憶手段
３２−１、３２−２、・・・、３２−ｎ  識別情報送出手段
４１  インターネット
４３  ゲートウェイ
４５  電話網
５３  表示手段
５４  音出力手段
５５  入力手段
５６  位置情報算出手段
５７  送信情報作成手段
１００  通信システム
Ｏ1、Ｏ2、・・・、Ｏk  オブジェクト
Ｍ1、Ｍ2  マーカ
Ｐ  ポインタ
Ｒ  対象領域
【図１】
2005157877.tif 000003
【図２】
2005157877.tif 000004
【図３】
2005157877.tif 000005
【図４】
2005157877.tif 000006
【図５】
2005157877.tif 000007
【図６】
2005157877.tif 000008