(57)【要約】【課題】実世界オブジェクト情報をコンピュータ上のサイバー世界により正確に反映させる。【解決手段】通信対象となる対象領域に存在する一または複数のオブジェクトに付帯される付帯素子、および通信ネットワークを介して接続されるオブジェクトおよび該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能な情報利用装置において、前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信し、この受信したオブジェクト位置情報を順次所定の記憶領域に格納したうちの少なくとも一つと最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成し、このマーカを最新の映像情報に合成して表示手段で表示する。【選択図】図１
2005157915.tif 000002
【特許請求の範囲】
【請求項１】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記オブジェクトに関連する情報を利用する情報利用装置において、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示するときのマーカ表示方法であって、
前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信する受信ステップと、
この受信ステップで受信したオブジェクト位置情報を順次所定の記憶領域に格納する格納ステップと、
前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記記憶領域から読み出した少なくとも一つのオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成ステップと、
このマーカ生成ステップ生成したマーカを前記受信ステップで受信した最新の映像情報に合成するマーカ合成ステップと、
このマーカ合成ステップで合成したマーカおよび映像情報を前記表示手段で表示する表示ステップと
を有することを特徴とするマーカ表示方法。
【請求項２】
前記マーカ生成ステップでは、
前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報と前記記憶領域から読み出した少なくとも一つのオブジェクト位置情報との差分または平均を求め、この求めた演算結果と前記最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成すること
を特徴とする請求項１記載のマーカ表示方法。
【請求項３】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記オブジェクトに関連する情報を利用する情報利用装置において、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示するときのマーカ表示方法であって、
前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報、および前記対象領域の映像情報を撮像するために前記オブジェクト管理システムに具備される位置検出手段または撮像手段の振動状態を所定間隔ごとに順次受信する受信ステップと、
この受信ステップで受信した前記位置検出手段または前記撮像手段の振動状態を判定する振動判定ステップと、
前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記振動判定ステップにおける振動状態の判定結果を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成ステップと、
このマーカ生成ステップで生成したマーカを前記受信ステップで受信した最新の映像情報に合成するマーカ合成ステップと、
このマーカ合成ステップで合成したマーカおよび映像情報を前記表示手段で表示する表示ステップと
を有することを特徴とするマーカ表示方法。
【請求項４】
請求項１乃至３のいずれか１項記載のマーカ表示方法をコンピュータに実行させることを特徴とするマーカ表示用プログラム。
【請求項５】
請求項４記載のマーカ表示用プログラムを記録したことを特徴とするプログラム記録媒体。
【請求項６】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示可能な表示手段を備えた情報利用装置において、
前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信する受信手段と、
この受信手段で受信したオブジェクト位置情報を順次記憶する記憶手段と、
前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記記憶手段で記憶した少なくとも一つのオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成手段と、
このマーカ生成手段で生成したマーカを前記受信手段で受信した最新の映像情報に合成するマーカ合成手段と
を備えたことを特徴とする情報利用装置。
【請求項７】
前記マーカ生成手段は、
前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報と前記記憶手段で記憶した少なくとも一つのオブジェクト位置情報との差分または平均を求め、この求めた演算結果と前記最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成すること
を特徴とする請求項６記載の情報利用装置。
【請求項８】
通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示可能な表示手段を備えた情報利用装置において、
前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報、および前記対象領域の映像情報を撮像するために前記オブジェクト管理システムに具備される位置検出手段または撮像手段の振動状態を所定間隔ごとに順次受信する受信手段と、
この受信手段で受信した前記位置検出手段または前記撮像手段の振動状態を判定する振動判定手段と、
前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記振動判定手段で判定した振動状態の判定結果を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成手段と、
このマーカ生成手段で生成したマーカを前記受信手段で受信した最新の映像情報に合成するマーカ合成手段と
を備えたことを特徴とする情報利用装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実世界のオブジェクトに関する情報である実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムによって認識するためのマーカ表示方法、マーカ表示用プログラム、プログラム記録媒体、および情報利用装置に関する。
【背景技術】
【０００２】
近年、コンピュータが通信ネットワークを介して相互に接続されるだけでなく、デジタルＴＶなどのデジタル家電からセンサやアクチュエータ群に至るまでもが通信ネットワークを介して相互に接続されるようになってきており、これらを用いた多種多様なサービスが開発され、広範な分野で利用される可能性がある。
【０００３】
そのようなサービスの実行においては、通信ネットワークで相互に接続されたコンピュータ内の実行状態のプログラムが互いに通信し合いながらサービスを実現するために協調動作を行っている。その一例として、分散オブジェクト環境で利用されているＪａｖａ（登録商標）言語や分散オブジェクトシステムを実現するために不可欠なオブジェクト指向ネットワーク基盤であるＣＯＲＢＡ（Common Object Request Broker Architecture）などを用いたシステムが主流になりつつある。
【０００４】
このシステムの特徴は、現実の世界（実世界）を「モノ」ベースでモデル化したオブジェクトを導入し、「モノ」が自然に備えている構造、データ、動作、関係、機能などの性質をオブジェクトの特性として記述することにより、システム上の仮想世界（サイバー世界）で実現すべき機能を自然な発想で明確化できる。
【０００５】
ここで、実世界のオブジェクトをサイバー世界上のオブジェクトとして該サイバー世界に結合する方法論の必要性について説明する。
【０００６】
上述したように、コンピュータが通信ネットワークにより相互に接続され、こうしたコンピュータ・ネットワーク上の仮想世界で様々なサービスを提供する試みがなされているが、このようなサービスで直接動かせるものは、データとしてネットワークという仮想世界に予め取り込んでおいたものに過ぎない。換言すれば、現在、世界的に期待されている通信ネットワークを活用したユビキタスサービスは、日常空間の情報化であると言われているが、通信ネットワークを活用した日々の日常生活空間の情報化はまだ取り残されている状態である。すなわち、現実世界の「モノ」や「ヒト」が日常生活「環境」で引き起こす様々な出来事は、殆どネットワークにデータとして取り込まれていない。
【０００７】
実際のところ、例えば、家庭内の資産や重要書類の所在探索、冷蔵庫の中の食品の鮮度、賞味期限、在庫管理、老人の健康管理と介護補助、留守宅のセキュリティ管理と遠隔監視、常時健康モニタリング、ショッピングモール内での購買者の購買行動トラッキングとダイナミックなマーケティングなど、極めて大きな潜在的なビジネス市場があるが、これらの分野は未開拓なままの状態といっても過言ではない。
【０００８】
このようなサービスを実現するには、コンピュータにおいて、実世界のどのオブジェクトが「何時」、「何処で」、「如何なる状態で」いるかを常に認識し、あたかも我々が実際に観察しているかのように、その認識結果が現実世界と写像の関係にある仮想世界の認識モデル変化にリアルタイムで反映する仕組みを確立することが不可欠である。
【０００９】
換言するなら、実世界のオブジェクトの状態変化が仮想世界の認識モデルを構成するオブジェクトのプロパティの変化にリアルタイムで反映する仕組み、すなわち、実世界のオブジェクトをコンピュータ上のサイバー世界にリアルタイムで反映（結合）させる認識方法の確立が待望されている。
【００１０】
このような認識方法の一例として、「モノ」の管理という視点から、実世界の「モノ」と通信ネットワークを結びつける技術、より具体的にはＲＦＩＤ（Radio Frequency Identification）タグを用いた技術をあげることができる（例えば非特許文献１参照）。
【００１１】
このＲＦＩＤタグは、小さな無線通信ＩＣ（Integration Circuit）を内蔵しており、基本機能はＩＣのメモリに格納した識別ＩＤ番号等を発信するだけである。このＲＦＩＤタグを管理対象オブジェクトに付帯させると、非接触でその識別ＩＤをＲＦＩＤリーダで読み込むことができ、物流管理の現場等で現在利用されている。
【非特許文献１】ＮＥ日経エレクトロニクス  ｎｏ．８１６、特集「発信源はゴマ粒チップ」、日経ＢＰ社、２００２年２月２５日、ｐ．１０９−１３７
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したＲＦＩＤタグを用いる技術では、実世界オブジェクト情報として得られる情報は、特定の識別ＩＤのみであった。このため、実世界オブジェクト情報として識別ＩＤのみの情報しか得られず、例えば、どのオブジェクトが、「何時」、「何処で」、「如何なる状態で」いるかを常に認識し、実世界オブジェクト情報をコンピュータ上のサイバー世界に対して十分に反映させることが難しかった。
【００１３】
本発明は、このような事情に鑑みてなされたもので、その目的は、実世界オブジェクト情報をコンピュータ上のサイバー世界に対してより正確に反映させることのできるマーカ表示方法、マーカ表示用プログラム、プログラム記録媒体、および情報利用装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、請求項１記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記オブジェクトに関連する情報を利用する情報利用装置において、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示するときのマーカ表示方法であって、前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信する受信ステップと、この受信ステップで受信したオブジェクト位置情報を順次所定の記憶領域に格納する格納ステップと、前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記記憶領域から読み出した少なくとも一つのオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成ステップと、このマーカ生成ステップ生成したマーカを前記受信ステップで受信した最新の映像情報に合成する合成ステップと、この合成ステップで合成したマーカおよび映像情報を前記表示手段で表示する表示ステップとを有することを特徴とする。
【００１５】
請求項２記載の発明は、請求項１記載の発明において、前記マーカ生成ステップでは、前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報と前記記憶領域から読み出した少なくとも一つのオブジェクト位置情報との差分または平均を求め、この求めた演算結果と前記最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成することを特徴とする。
【００１６】
請求項３記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記オブジェクトに関連する情報を利用する情報利用装置において、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示するときのマーカ表示方法であって、前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報、および前記対象領域の映像情報を撮像するために前記オブジェクト管理システムに具備される位置検出手段または撮像手段の振動状態を所定間隔ごとに順次受信する受信ステップと、この受信ステップで受信した前記位置検出手段または前記撮像手段の振動状態を判定する振動判定ステップと、前記受信ステップで受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記振動判定ステップにおける振動状態の判定結果を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成ステップと、このマーカ生成ステップで生成したマーカを前記受信ステップで受信した最新の映像情報に合成するマーカ合成ステップと、このマーカ合成ステップで合成したマーカおよび映像情報を前記表示手段で表示する表示ステップとを有することを特徴とする。
【００１７】
請求項４記載の発明は、請求項１乃至３のいずれか１項記載のマーカ表示方法をコンピュータに実行させることを特徴とするマーカ表示用プログラムである。
【００１８】
請求項５記載の発明は、請求項４記載のマーカ表示用プログラムを記録したことを特徴とするプログラム記録媒体である。
【００１９】
請求項６記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示可能な表示手段を備えた情報利用装置において、前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信する受信手段と、この受信手段で受信したオブジェクト位置情報を順次記憶する記憶手段と、前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記記憶手段で記憶した少なくとも一つのオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成手段と、このマーカ生成手段で生成したマーカを前記受信手段で受信した最新の映像情報に合成するマーカ合成手段とを備えたことを特徴とする。
【００２０】
請求項７記載の発明は、請求項６記載の発明において、前記マーカ生成手段は、前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報と前記記憶手段で記憶した少なくとも一つのオブジェクト位置情報との差分または平均を求め、この求めた演算結果と前記最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成することを特徴とする。
【００２１】
請求項８記載の発明は、通信対象となる対象領域に存在する一または複数のオブジェクトに付帯され、自身を識別する情報を含む前記オブジェクトに関連する情報を送出する機能を備えた付帯素子、および前記オブジェクト並びに該オブジェクトに関連する情報を管理するオブジェクト管理システムに対して通信可能であり、前記対象領域に存在するオブジェクトを表示する表示手段で当該オブジェクトに対応して生成され、利用者がオブジェクトの選択を行う際に当該選択を入力するための指標となるマーカを表示可能な表示手段を備えた情報利用装置において、前記対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報、および前記対象領域の映像情報を撮像するために前記オブジェクト管理システムに具備される位置検出手段または撮像手段の振動状態を所定間隔ごとに順次受信する受信手段と、この受信手段で受信した前記位置検出手段または前記撮像手段の振動状態を判定する振動判定手段と、前記受信手段で受信するオブジェクト位置情報のうち最新のオブジェクト位置情報、および前記振動判定手段で判定した振動状態の判定結果を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成するマーカ生成手段と、このマーカ生成手段で生成したマーカを前記受信手段で受信した最新の映像情報に合成するマーカ合成手段とを備えたことを特徴とする。
【発明の効果】
【００２２】
本発明によれば、情報利用装置において、対象領域の映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信し、この受信したオブジェクト位置情報を順次所定の記憶領域に格納したうちの少なくとも一つと最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成し、このマーカを最新の映像情報に合成して表示手段で表示することにより、実世界オブジェクト情報をコンピュータ上のサイバー世界に対してより正確に反映させることが可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００２４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報利用装置の適用が想定される通信システムの全体構成を示す説明図である。同図に示す通信システム１００は、所定の認識対象領域内に存在する実世界オブジェクトの情報を、サイバー世界を構成するコンピュータシステムに認識させることにより、実世界オブジェクト情報をサイバー世界に認識し、この二つの世界の結合または融合を実現させるものである。以後の記載においては、実世界オブジェクトのことを単に「オブジェクト」と呼び、認識対象領域のことを「対象領域Ｒ」と呼ぶことにする。
【００２５】
対象領域Ｒには、離れた場所にいる利用者が通信を行う対象となり得る一または複数のオブジェクトＯ1、Ｏ2、・・・、Ｏn（ｎは正の整数）が存在している。本実施形態におけるオブジェクトとしては、人が想定されるが、人以外の有体物、例えば動物、植物や物品などでもよい。図１では、対象領域Ｒには二つのオブジェクトが存在（実在）しており、このうちのオブジェクトＯ1が「人」であり、オブジェクトＯ2が「かばん」である場合を例示している。
【００２６】
これらのオブジェクトＯk（ｋ＝１，２，・・・，ｎ）は、個々に識別可能な情報であるオブジェクト識別情報を有している。例えばオブジェクトが人である場合には、その人の氏名、所属、肩書き等の文字情報、および顔写真等の画像情報などを用いることにによってオブジェクト識別情報が構成される。他方、オブジェクトが物品である場合には、物品名、材質、価格等などからオブジェクト識別情報が構成される。
【００２７】
オブジェクトＯkは、付帯素子３−ｋを付帯している。この付帯素子３−ｋは、各々を一意に識別することのできる識別情報（付帯素子識別情報）を少なくとも有しており、付帯元のオブジェクトＯkと一対一に対応付けられている。なお、ここでいう「付帯」の具体的な形態としては、「取付」、「貼付」、「装着」、「設置」、「携帯」などが含まれる。
【００２８】
対象領域Ｒの近傍には、その対象領域Ｒ内に存在するオブジェクトを検知し、各オブジェクトおよび該オブジェクトに関連する情報を管理するためのオブジェクト管理システム１が設置されている。このオブジェクト管理システム１は、通信ネットワークＮを介して情報利用装置５と通信可能である。
【００２９】
通信システム１００の各構成要素について説明する。
【００３０】
オブジェクト管理システム１は、対象領域Ｒ内に存在するオブジェクトＯkに付帯される付帯素子３−ｋから送出される付帯素子識別情報を少なくとも検出するすると共に、対象領域Ｒ内の各オブジェクトおよび各オブジェクトが付帯する付帯素子に係る映像情報を撮像する手段（カメラ等）、およびオブジェクトＯkから発せられる音声を収集する手段（マイク等）を具備している。加えて、対象領域Ｒ内に存在するオブジェクトＯkの位置を算出し、この位置情報を情報利用装置５に送出する機能を有している。
【００３１】
このようなオブジェクト管理システム１は、通信ネットワークＮに対して通信する機能と付帯素子３−１〜３−ｎに対する無線通信機能とを有するインタフェース部、このインタフェース部に通信可能に接続されたコンピュータ、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disk）等の外部メモリ（プログラム記録媒体）をコンピュータが読取可能に装着できる外部記憶装置、映像情報や付帯素子情報蓄積用のハードディスク等の大容量記憶装置、およびコンピュータのワークエリアとしての機能を有する内部メモリをそれぞれ含むコンピュータシステムと、このコンピュータシステムに電気的に接続されており、コンピュータからの指示により動作するハードウェア機器（例えば、撮像手段の一部であるカメラ／赤外線カメラ等）とから構成されている。そして、このようなハードウェア構成により、上記各機能構成手段が具体的に実現される。
【００３２】
オブジェクト管理システム１近傍の対象領域Ｒ内のオブジェクトＯkに付帯される付帯素子３−ｋは、自身の付帯素子識別情報等を記憶する機能、および付帯素子識別情報等を送出する機能を備えている。なお、本実施形態において、「オブジェクト管理システム１の近傍」とは、オブジェクト管理システム１が具備するカメラ等の映像情報取得手段がオブジェクトを撮像可能な範囲を意味するものとする。このような付帯素子３−ｋとして、例えばＩＣ（Integration Circuit）タグやＲＦＩＤ（Radio Frequency Identification）タグなどを用いることができる。
【００３３】
より具体的な識別情報の送出例としては、付帯素子３−ｋが発光素子を有している場合がある。この場合、発光素子が発光することによって付帯素子識別情報が送出される。発光素子から発せられる光は、可視光でもよいし、赤外光でもよい。発光素子として赤外線ＬＥＤ（Light Emitting Diode）を用いる場合には、対象領域Ｒの実像を撮影する通常のカメラに加えて、赤外線を検知可能な赤外線カメラが必要となる。発光素子は、他にも、発光ダイオード（ＬＥＤ）、レーザダイオード、ＥＬ（Electro Luminescence）素子、液晶素子、反射光を利用するミラー、光を放射する素子などから構成することも可能である。
【００３４】
付帯素子３−ｋは、付帯素子識別情報を送出可能な素子、および例えば１チップ化された無線通信機能を有する電子回路を搭載しており、この搭載素子および電子回路により、上述した各機能構成手段を実現する。
【００３５】
通信ネットワークＮは、インターネット、電話網、パケット網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、専用網等、どのようなものでもよい。また、二つのオブジェクト管理システム１と情報利用装置５を直結するケーブル等でもよい。
【００３６】
本実施形態に係る情報利用装置５は、図２の機能ブロック図にその概略構成を示すように、上記オブジェクト管理システム１の位置情報送信部１２、映像情報送信部１４、および識別情報送信部１６からそれぞれ送信される対象領域Ｒ内のオブジェクトの位置情報、映像情報、および識別情報をそれぞれ受信する位置情報受信部５１、映像情報受信部５２、識別情報受信部５３を有している。
【００３７】
更に、情報利用装置５は、受信した位置情報を少なくとも所定時間記憶する位置情報記憶部５４、受信した位置情報に対応する位置に所定サイズのクリッカブル・マーカ（以後、単にマーカと称する）を生成するマーカ生成部５５、このマーカ生成部５５で生成されたマーカＭと映像情報受信部５２で受信した映像情報を少なくとも合成するマーカ合成部５６、このマーカ合成部５６で合成した映像情報を出力する表示部５７を有する。
【００３８】
加えて、情報利用装置５は、利用者からの指示を入力する入力部５８、この入力部５８からの信号に基づいてオブジェクト管理システム１に送信する情報である指定情報（利用者が指定するオブジェクトの識別情報や該オブジェクトが付帯する付帯素子に対して設定される動作指示情報）を生成する指定情報生成部５９、指定情報生成部５９で生成された指定情報をオブジェクト管理システム１に送信する指定情報送信部６０を有している。
【００３９】
以上の構成を有する情報利用装置５は、映像情報等表示用の表示手段であるディスプレイ、このディスプレイに表示された映像情報等を同じくディスプレイに表示されるマーカ等により指定可能なマウス、タッチパネル等のポインティングデバイス、およびテキスト情報を入力可能なキーボード等を含む操作入力部、演算処理を実行するＣＰＵ（Central Processing Unit）、コンピュータのワークエリアを構成するメモリ、通信ネットワークＮとの間の通信インタフェース機能を有する通信インタフェース部、およびハードディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＤＶＤ（Digital Versatile Disc）等の外部メモリをコンピュータが読取可能に装着できる外部記憶装置等をそれぞれ含むコンピュータシステムから構成されており、利用者が利用可能なコンピュータシステムであれば、携帯型およびデスクトップ型の何れの形態でもよく、複数のコンピュータを利用して構成するものであっても構わない。また、通信ネットワークＮとして電話網を含めたネットワークを用いる場合には、携帯電話およびＰＨＳ（Personal Handyphone System）でもよいし、映像機能付の固定電話を用いることも可能である。
【００４０】
ところで、図２においては、オブジェクト管理システム１についても一部機能を機能ブロック図により示しているが、これは本実施形態に必要な機能のみを記載しているものであり、同図に示す機能ブロック図が、オブジェクト管理システム１の全ての機能を示しているわけでないことはいうまでもない。
【００４１】
次に、情報利用装置５が行うマーカ表示方法の処理について、図２および図３のフローチャートを用いて説明する。
【００４２】
情報利用装置５は、オブジェクト管理システム１から位置情報、映像情報、および識別情報を受信する（ステップＳ１１）。これらの情報は、オブジェクト管理システム１で周期的に発信されるように設定しておいてもよいし、情報利用装置５からの指示に応じてオブジェクト管理システム１が送信するようにしてもよい。
【００４３】
この後、受信した各種情報のうち、位置情報は位置情報記憶部５４に格納される（ステップＳ１２）。この位置情報記憶部５４では、所定時間経過する間、格納した位置情報を記憶しておく記憶領域が少なくとも確保されていればよい。場合によっては位置情報の履歴を取ることも想定されるので、そのような場合には位置情報記憶部５４をデータベースとして位置情報を記憶しておくことも可能である。
【００４４】
次に、位置情報受信部５１で受信する位置情報と位置情報記憶部５４で記憶する位置情報を用いて、映像情報に合成して表示するマーカを生成する（ステップＳ１３）。具体的には、リアルタイムで受信した最新のオブジェクト位置情報、および位置情報記憶部５４に記憶した少なくとも一つの位置情報がそれぞれマーカ生成部５５に入力され、複数のマーカ（「現在マーカ」と少なくとも一つの「過去マーカ」）を生成する。
【００４５】
その後、マーカ合成部５６において、ステップＳ１３生成したマーカをステップＳ１１で受信した映像情報に合成し、表示部５７で表示する（ステップＳ１４）
本実施形態においては、表示部５７における表示法として、さまざまなバリエーションを考えることができる。以後、そのような表示法の例を説明する。
【００４６】
図７に示す場合、マーカ生成部５５では、一定間隔ごとのオブジェクトＯ1の位置情報を位置情報記憶部５４で記憶しておき、マーカを生成する。図７では、オブジェクト（人）Ｏ1は表示部５７の画面右上から左下の方向に向かって歩いている。３つのマーカＭ1、Ｍ2、Ｍ3は、記載順に時系列的に一定間隔を置いてオブジェクトＯ1が通過した位置を表示している。このときに利用者が入力部５８を用いて入力可能となる領域（マウスを用いる場合にはクリック可能領域）は、各マーカの全てでもよいし、さらには各マーカの近傍を含む領域でもよい。これにより、画面上を動いているオブジェクトについても、リアルタイムのマーカのみを追いかける必要がなくなり、クリックがしやすくなるという利点がある。
【００４７】
なお、図７および後述する画面例においては、オブジェクトおよびマーカに適宜引込み線を挿入して符号を付してあるが、これは説明の便宜上のものであり、実際の画面上にこれらが表示されないことはいうまでもない。
【００４８】
図８に示す場合には、マーカの表示間隔は図７の場合と同様であるが、更に矢印を用いてオブジェクトＯ1の軌跡を記載している。これにより、情報利用装置５の利用者は、表示部５７の画面上において、オブジェクトＯ1がどのように移動しているのかを把握することができる。この場合には、軌跡の近傍をすべてクリック可能領域とすることもできる。
【００４９】
ところで、図９に示す場合のように、複数のオブジェクトＯ1およびＯ3が同時に表示部５７に映し出される、すなわち複数のオブジェクトが同時に対象領域Ｒ内に存在する場合には、過去の履歴まで画面上に表示すると、オブジェクトとマーカの対応が分かりにくくなる恐れがある。そこで、図９に示す場合には、二つのオブジェクトにそれぞれ対応するマーカの種類を変更することによって、オブジェクトとマーカの対応関係がわかりやすくなるようにしている。具体的には、オブジェクトＯ1のマーカＭ1の形状が丸、オブジェクトＯ3のマーカｍkの形状が三角というように形状で区別可能に表示している。
【００５０】
これ以外にも、例えばマーカの色を替えて表示することも可能であるし、さらには図１０に示すように、マーカにオブジェクトまたは付帯素子を識別する識別番号を付して区別しやすく表示することも可能である。
【００５１】
図１１は、表示部５７上の対象領域Ｒの映像に重ねて表示されるマーカとは別に、同じディスプレイの異なる領域または別のディスプレイである表示部５７−２に固定表示するマーカを設けた場合を示している。例えば、位置をリアルタイムで反映する表示部５７条の可動マーカ群と対応する固定マーカを同じ形または色にしたり、オブジェクトまたは付帯素子の識別ＩＤを添字にしたりすることにより、利用者は用意にオブジェクトの区別をすることができ、クリックするのも簡単になる。また、表示部５７上の可動マーカ群によりクリックすべきオブジェクトを認識（この形のマーカをクリックすればいいのか、と利用者に認識させる）させ、実際には表示部５７−２の固定マーカを用いてクリックさせる構成にすることもできる。この場合、表示部５７の方はクリック可能領域としてもよいし、しなくてもよい。
【００５２】
図１２は、図１１の例にさらに別の機能を付加したものである。より具体的には、オブジェクトＯ1が存在する実空間はＤ１〜Ｄ４の４つの領域に分けられる。ちなみに、ここでは、位置を検出するために付帯素子３−１が発する光信号を受光するためのカメラ（例えば光が赤外線の場合には赤外線カメラ）、および実際の映像を撮影するためのカメラ（可視カメラ）があり、また、付帯素子から送出される識別情報等を検知するためのＲＦ（Radio Frequency）通信手段の具備を前提としている。この場合、４つの領域は、具体的には次のように分類される：
領域Ｄ１：全てのカメラが視野内であり、なおかつＲＦ通信領域内、
領域Ｄ２：受光カメラは視野内、可視カメラは視野外、ＲＦは通信領域内、
領域Ｄ３：全てのカメラが視野外だが、ＲＦ通信領域内、
領域Ｄ４：全てのカメラが視野外であり、なおかつＲＦ通信領域外。
【００５３】
図１３は、各領域において、可動マーカ群Ａと固定マーカＢが表示部５７に表示されるパターンを定めたものである（表２００）。同図に示す場合、マーカが視野外であっても、ＲＦ通信領域内にあるなどして付帯素子情報の検出が可能な場合には、固定マーカＢを出現させることができる。例えば、オブジェクトＯ1が向きを替えてしまい、画面の奥側を向く場合等、付帯素子を画面上で見通せなくなった場合であっても、ＲＦ通信領域内であれば、少なくとも固定マーカＢを表示し続けることができ、利用者がそのオブジェクトＯ1を指定することが可能となる。
【００５４】
この後、利用者が入力部５８を用いて指定した信号により、指定情報生成部５９では、どのオブジェクトに係るマーカがクリックされたのかをオブジェクト識別情報等を用いて解釈し、選択されたオブジェクトが付帯する付帯素子への動作指示情報を含む指定情報を生成し、この生成した指定情報をオブジェクト管理システム１に送信する（ステップＳ１５、Ｓ１６）。
【００５５】
この指定情報を受信したオブジェクト管理システム１では、指定情報に基づいて情報利用装置５の利用者によって選択されたオブジェクト識別情報を他の映像情報等とともに情報利用装置５に送信する。
【００５６】
これにより、情報利用装置５では、表示部５７に利用者が選択したオブジェクトに関連したオブジェクト識別情報が表示される。すなわち、実際の処理においては、利用者からのオブジェクトの指定情報（ステップＳ１６）を受信してから、オブジェクト識別情報がオブジェクト管理システム１から情報利用装置５へ送信されることが想定される。
【００５７】
以上説明した本発明の第１の実施形態によれば、情報利用装置５において、対象領域Ｒの映像情報および当該対象領域に存在するオブジェクトの位置を示すオブジェクト位置情報を所定間隔ごとに順次受信し、この受信したオブジェクト位置情報を順次位置情報記憶部５４に格納したうちの少なくとも一つと最新のオブジェクト位置情報を用いて前記対象領域内に存在するオブジェクトに対応して表示するマーカを生成し、このマーカを最新の映像情報に合成して表示手段で表示することにより対象領域Ｒ内に存在するオブジェクトの情報をより正確に反映させることが可能になる。
【００５８】
また、本実施形態によれば、位置情報記憶部に少なくとも一定時間位置情報を記憶しておき、この記憶した位置情報と現在の位置情報を用いて人のように動きのあるオブジェクトの画面上（実空間の対象領域）での履歴をマーカで表示することにより、仮に動きが速くても、過去マーカや固定マーカをクリックすればよいため、利用者にとってクリックが容易になり、情報を得るための煩わしさをこれまで以上に感じずに済む。
【００５９】
さらに、本実施形態によれば、一時的にオブジェクトの付帯素子が見通し外となり、リアルタイムなマーカが消えた場合にも、過去マーカまたは固定マーカをクリックして所望の情報を得ることができる。
【００６０】
＜変形例＞
図４は、本発明の第１の実施形態の変形例に係る情報利用装置の構成を示すブロック図である。同図に示す情報利用装置５は、第１の実施形態の情報利用装置５の構成に加えて、リアルタイムの最新座標情報と記憶された座標情報の差分を比較する差分抽出部６１を有することを特徴とする。この差分抽出部６１以外の情報利用装置５の構成は第１の実施形態と同じなので、同一の符号を付す。
【００６１】
また、通信システム１００の全体構成は、図１に示す場合と同様である。この点は、本発明の他の実施形態においても共通する事項である。
【００６２】
本実施形態のマーカ表示方法は、上記図３のステップＳ３において、最新の位置情報とすでに記憶している位置情報の間で差分を取る点が第１の実施形態と異なる点である。より具体的には、差分抽出部６１において、最新の位置情報と過去の少なくとも一つの位置情報の間で差分をとる。過去の位置情報が複数の場合には、例えば複数の差分の平均値をとる。この結果、差分抽出部６１で得られた値に基づく制御信号が、マーカ生成部５５に出力される。そして、この制御信号は、マーカのクリック可能領域のサイズ（大きさ）の決定に利用される。例えば、差分値が大きいということは、対象となるオブジェクトの動きが激しいことを意味するので、マーカ自体の表示面積またはクリック可能領域の面積を大きくして、利用者がクリックしやすくなるようにする。
【００６３】
なお、差分抽出部６１において差分または差分の平均値を取る代わりに、位置情報の平均自体を求めることによって制御信号を送出することも可能である。これにより、例えばオブジェクトが所定時間内に動く範囲の大小に応じてマーカの表示面積の大小を決定することができる。
【００６４】
図１４は、本実施形態のマーカ表示方法によって表示部５７に出力された画面例を示す説明図である。同図に示す場合、画面右下に存在するオブジェクトＯ5は、画面左上に存在するオブジェクトＯ1よりもマーカ自体が大きい。これは、オブジェクトＯ5の方が移動速度が大きいことを意味している。この図１４のように、目に見える形でマーカの大きさを変更する場合以外にも、例えばマーカ自身のサイズは同じにしておいて、クリックできる領域を広げるようにしてもよい。また、第１の実施形態で説明した画面表示例（図６〜ッ図１１を参照）を適宜組み合わせてもよいことはいうまでもない。
【００６５】
以上説明した本発明の第１の実施形態の変形例によれば、第１の実施形態と同じ効果を得ることが出来る。
【００６６】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る情報利用装置の構成を示すブロック図である。同図に示す情報利用装置５は、オブジェクト管理システム１が有する撮像部１３としてのカメラ／赤外線カメラのぶれ等の振動を、オブジェクト管理システム１に設けられる振動センサ等の振動検出部１８が検知した結果を受信して、振動の度合いに応じたオブジェクトの位置を適宜補正する機能を備えたことを特徴とするものである。
【００６７】
これ以外の情報利用装置５の構成については、位置情報記憶部５４および差分抽出部６１を必須の構成要件とはしない点を除いて、上記第１の実施形態およびその変形例と同様である。
【００６８】
本実施形態のマーカ生成方法について、図６に示すフローチャート図を用いて説明する。
【００６９】
情報利用装置５は、オブジェクト管理システム１から位置情報、映像情報、識別情報、および撮像部１３の振動状態情報を受信する（ステップＳ２１）。このうち振動状態情報は、オブジェクト管理システム１の撮像部１３に取り付けられる振動センサ等の振動検出部１８で検出され、振動送信部１９で信号として送信されてくる。なお、振動検出部１８は撮像部１３の振動を検知できるものであればよく、必ずしも撮像部１３に取り付ける必要はない。例えば、付帯素子３−ｋが発光素子を有し、この発光素子から赤外光が送出される場合、撮像部１３の一部をなす赤外線カメラは位置情報検出部１１の機能も兼ね備える。この例を挙げるまでもなく、振動検出部１８は、撮像部１３の振動を検出する場合だけでなく、位置情報検出部１１の微小な振動等を検出する場合も想定される。
【００７０】
ちなみに、ステップＳ２１において受信する各種情報は、オブジェクト管理システム１で周期的に発信されるように設定しておいてもよいし、情報利用装置５からの指示に応じてオブジェクト管理システム１が送信するようにしてもよい。
【００７１】
続くステップＳ２２では、振動判定部６２において、受信した振動状態情報に基づいて振動の程度を判定し、その判定結果に応じた制御信号をマーカ生成部５５に送出する。なお、振動検出部１８が位置情報検出部１１の微小な振動等を検出する場合には、位置情報受信部５１で受信した位置情報に対して時系列的に所定数の位置情報の平均値を算出し、この算出結果に相当する位置にマーカを生成する制御信号を送出する。したがって、このような場合には、第１の実施形態で説明した位置情報記憶部５４を具備させることも必要である。
【００７２】
その後、マーカ生成部５５において、受信する位置情報および振動検出部からの制御信号に基づいてマーカまたはクリック可能領域の大きさ（面積）を決定し、映像情報に合成して表示するマーカを生成する（ステップＳ２３）。
【００７３】
以後のステップＳ２４（マーカと映像情報を合成して表示）、Ｓ２５（指定情報の生成）およびＳ２６（指定情報の送信）の処理は、上記第１の実施形態におけるステップＳ１４、Ｓ１５およびＳ１６の処理とそれぞれ同じである。
【００７４】
図１５は、本実施形態に係るマーカ表示方法によって表示部５７に表示される画面例を示す図である。同図に示す場合、振動が大きいほどクリック可能領域Ａ1（破線で記載した円）の面積（範囲）が広がる。これにより、撮像部１３が外部からの振動等に起因して撮像対象の対象領域Ｒ内を正確に撮像できず、ぶれが生じる場合でも、利用者がクリックしにくくなることはない。
【００７５】
以上説明した本発明の第２の実施形態も、本質的には上記第１の実施形態と同様の効果を奏する。
【００７６】
ここまでの説明では、本発明の特徴を抽出するために上記二つの実施形態を個別に説明してきたが、本発明においては、上記各実施形態を適宜組み合わせることによって構成することも勿論可能である。
【００７７】
このように、本発明は、上記実施形態に限定されるものではなく、本発明を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施の形態に係る情報利用装置が適用される通信システムの概略構成を示す図である。
【図２】本発明の第１の実施形態に係る情報利用装置の機能構成を示すブロック図である。
【図３】本発明の第１の実施形態に係るマーカ表示方法の処理の流れを示すフローチャート図である。
【図４】本発明の第１の実施形態の変形例に係る情報利用装置の機能構成を示すブロック図である。
【図５】本発明の第２の実施形態に係る情報利用装置の機能構成を示すブロック図である。
【図６】本発明の第２の実施形態に係るマーカ表示方法の処理の流れを示すフローチャート図である。
【図７】表示部におけるマーカの表示例を示す説明図である。
【図８】表示部におけるマーカの表示例（第２例）を示す説明図である。
【図９】表示部におけるマーカの表示例（第３例）を示す説明図である。
【図１０】表示部におけるマーカの表示例（第４例）を示す説明図である。
【図１１】表示部におけるマーカの表示例（第５例）を示す説明図である。
【図１２】表示部におけるマーカの表示例（第６例）を示す説明図である。
【図１３】マーカの表示と領域の関係を示す図である。
【図１４】表示部におけるマーカの表示例（第７例）を示す説明図である。
【図１５】表示部におけるマーカの表示例（第８例）を示す説明図である。
【符号の説明】
【００７９】
１  オブジェクト管理システム
３−１、３−２、・・・、３−ｎ  付帯素子
５  情報利用装置
１１  位置情報検出部
１２  位置情報送信部
１３  撮像部
１４  映像情報送信部
１５  識別情報記憶部
１６  識別情報送信部
１７  指定情報受信部
１８  振動検出部
１９  振動送信部
５１  位置情報受信部（受信手段の一部）
５２  映像情報受信部（受信手段の一部）
５３  識別情報受信部（受信手段の一部）
５４  位置情報記憶部（記憶手段の一部）
５５  マーカ生成部（マーカ生成手段）
５６  マーカ合成部（マーカ合成手段）
５７  表示部（表示手段）
５８  入力部
５９  指定情報生成部
６０  指定情報送信部
６１  差分抽出部
６２  振動判定部（振動判定手段）
１００  通信システム
Ｄ１、Ｄ２、Ｄ３、Ｄ４  領域
Ｏ1、Ｏ2、・・・、Ｏk  オブジェクト
Ｍ1、Ｍ2、Ｍ3、Ｍ5、ｍ1    マーカ
Ｎ  通信ネットワーク
Ｒ  対象領域
【図１】
2005157915.tif 000003
【図２】
2005157915.tif 000004
【図３】
2005157915.tif 000005
【図４】
2005157915.tif 000006
【図５】
2005157915.tif 000007
【図６】
2005157915.tif 000008
【図７】
2005157915.tif 000009
【図８】
2005157915.tif 000010
【図９】
2005157915.tif 000011
【図１０】
2005157915.tif 000012
【図１１】
2005157915.tif 000013
【図１２】
2005157915.tif 000014
【図１３】
2005157915.tif 000015
【図１４】
2005157915.tif 000016
【図１５】
2005157915.tif 000017