(57)【特許請求の範囲】
【請求項１】
実世界オブジェクトに付帯され、一意の識別情報が割り当てられるとともに発光指示命令に応答して発光する発光素子を備えた付帯素子と、前記実世界オブジェクトを含む所定の撮像視野領域を有し、前記付帯素子の発光を撮像する第１の撮像装置と、前記第１の撮像装置と略同一の撮像視野領域を有し、前記実世界オブジェクトを撮像する第２の撮像装置と、前記第１及び第２の撮像装置の撮像画像に基づき前記実世界オブジェクトの位置を含む実世界オブジェクト情報を認識する実世界オブジェクト認識装置とからなるシステムにおける実世界オブジェクト認識方法であって、
前記実世界オブジェクト認識装置が、前記付帯素子を特定する識別情報を含めた発光指示命令を送信する送信ステップと、
前記付帯素子が、前記発光指示命令を受信し、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記発光素子を発光させる発光ステップと、
前記実世界オブジェクト認識装置が、前記第１の撮像装置から、前記付帯素子の発光を撮像した画像を取得する受信ステップと、
前記実世界オブジェクト認識装置が、前記第２の撮像装置から、前記付帯素子が付帯されている実世界オブジェクトを撮像した画像を取得する画像取得ステップと、
前記実世界オブジェクト認識装置が、前記発光指示命令に含めた識別情報および前記第１の撮像装置による前記付帯素子の発光の撮像画像から特定した前記付帯素子の発光の位置情報を前記第２の撮像装置による前記実世界オブジェクトの撮像画像に関連付け、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を認識する認識ステップと、を備え、
前記認識ステップは、
前記実世界オブジェクト認識装置が、前記実世界オブジェクトの付帯する付帯素子の過去の発光による認識位置から推定される領域を優先して発光点を認識するステップと、
前記実世界オブジェクト認識装置が、前記第２の撮像装置による撮像画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、前記付帯素子の発光が認識できない間は、前記第２の撮像素子の撮像画像から前記オブジェクトの輪郭の移動を追跡することにより、前記付帯素子の一時的穏蔽を補間するステップと、を含む
ことを特徴とする実世界オブジェクト認識方法。
【請求項２】
前記付帯素子は、当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を送信する感知手段を有しており、
前記実世界オブジェクト認識装置が、前記付帯素子を特定する識別情報を含めたセンシング指示命令を送信するステップと、
前記付帯素子が、前記センシング指示命令を受信し、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記センシング情報を送信するステップと、
前記実世界オブジェクト認識装置が、前記付帯素子のセンシング情報を受信するステップと、をさらに備え、
前記認識ステップは、前記センシング指示命令に含めた識別情報に前記センシング情報を関連付けるステップを含む
ことを特徴とする請求項１記載の実世界オブジェクト認識方法。
【請求項３】
前記付帯素子は、所定の動作を実行する作用素子を有しており、
前記実世界オブジェクト認識装置が、前記付帯素子を特定する識別情報を含めた作用素子作動命令を送信するステップと、
前記付帯素子が、前記作用素子作動命令を受信し、該作用素子作動命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記所定の動作を実行するとともに、該所定の動作に関する動作関連情報を送信するステップと、
前記実世界オブジェクト認識装置が、前記動作関連情報を受信するステップと、をさらに備え、
前記認識ステップは、前記作用素子作動命令に含めた識別情報に前記動作関連情報を関連付けるステップを含む
ことを特徴とする請求項１記載の実世界オブジェクト認識方法。
【請求項４】
実世界オブジェクトに付帯され、一意の識別情報が割り当てられるとともに発光指示命令に応答して発光する発光素子を備えた付帯素子と、前記実世界オブジェクトを含む所定の撮像視野領域を有し、前記付帯素子の発光を撮像する第１の撮像装置と、前記第１の撮像装置と略同一の撮像視野領域を有し、前記実世界オブジェクトを撮像する第２の撮像装置と、前記第１及び第２の撮像装置の撮像画像に基づき前記実世界オブジェクトの位置を含む実世界オブジェクト情報を認識する実世界オブジェクト認識装置とからなる実世界オブジェクト認識システムであって、
前記実世界オブジェクト認識装置は、
前記付帯素子を特定する識別情報を含めた発光指示命令を送信する送信手段と、
前記第１の撮像装置から、前記付帯素子の発光を撮像した画像を取得する受信手段と、
前記第２の撮像装置から、前記付帯素子が付帯されている実世界オブジェクトを撮像した画像を取得する画像取得手段と、
前記発光指示命令に含めた識別情報および前記第１の撮像装置による前記付帯素子の発光の撮像画像から特定した前記付帯素子の発光の位置情報を前記第２の撮像装置による前記実世界オブジェクトの撮像画像に関連付け、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を認識する認識手段と、を備え、
前記付帯素子は、
前記発光指示命令を受信し、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記発光素子を発光させる手段を備え、
前記認識手段は、
前記実世界オブジェクトの付帯する付帯素子の過去の発光による認識位置から推定される領域を優先して発光点を認識する手段と、
前記第２の撮像装置による撮像画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、前記付帯素子の発光が認識できない間は、前記第２の撮像装置の撮像画像から前記オブジェクトの輪郭の移動を追跡することにより、前記付帯素子の一時的穏蔽を補間する手段と、を含む
ことを特徴とする実世界オブジェクト認識システム。
【請求項５】
前記付帯素子は、
当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を送信する感知手段を有しており、
前記実世界オブジェクト認識装置は、
前記付帯素子を特定する識別情報を含めたセンシング指示命令を送信する手段と、
前記付帯素子のセンシング情報を受信する手段と、をさらに備え、
前記感知手段は、
前記センシング指示命令を受信し、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記センシング情報を送信する手段を含み、
前記認識手段は、
前記センシング指示命令に含めた識別情報に前記センシング情報を関連付ける手段を含む
ことを特徴とする請求項４記載の実世界オブジェクト認識システム。
【請求項６】
前記付帯素子は、
所定の動作を実行する作用素子と、
前記作用素子により実行された所定の動作に関する動作関連情報を送信する手段と、を有しており、
前記実世界オブジェクト認識装置は、
前記付帯素子を特定する識別情報を含めた作用素子作動命令を送信する手段と、
前記付帯素子の動作関連情報を受信する手段と、をさらに備え、
前記動作関連情報を送信する手段は、
前記作用素子作動命令を受信し、該作用素子作動命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記所定の動作を実行するとともに、前記動作関連情報を送信する手段を含み、
前記認識手段は、
前記作用素子作動命令に含めた識別情報に前記動作関連情報を関連付ける手段を含む
ことを特徴とする請求項４記載の実世界オブジェクト認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実世界のオブジェクトに関する情報である実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法および実世界オブジェクト認識システムに関する。
【背景技術】
【０００２】
近年、コンピュータが通信ネットワークにより相互に接続され、更にデジタルＴＶなどのデジタル家電からセンサやアクチュエータ群に至るまでもネットワークを介して相互に接続され、これらを用いた広範な分野で多種多様なサービスが開発され、利用される可能性がある。
【０００３】
このようなサービスの実行には、通信ネットワークで相互に接続されたコンピュータ内の実行状態のプログラムが互いに通信し合いながらサービスを達成するために協調動作を行っている。このようなサービスを実行するソフトウエアの開発では、分散オブジェクト環境で利用されているＪａｖａ（登録商標）言語や分散オブジェクトシステムを実現するために不可欠なオブジェクト指向ネットワーク基盤であるＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅｃｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）などのオブジェクト指向のシステムが主流になりつつある。
【０００４】
すなわち、実世界を「モノ」ベースでモデル化してオブジェクトとし、「モノ」が自然に備えている構造、データ、動作、関係、機能などの性質をオブジェクトの特性として記述することにより、システムで実現すべき機能を自然な発想で明確化できる。
【０００５】
ここで、実世界のオブジェクトをサイバー世界｛コンピュータシステム（単独、あるいは複数のシステム）上の仮想世界｝のオブジェクトとしてそのサイバー世界に結合する方法論の必要性について説明する。
【０００６】
近年、コンピュータが通信ネットワークにより相互に接続され、こうしたコンピュータ・ネットワーク上の仮想世界で様々なサービスを提供する試みが成されている。インターネットに代表されるように電子メールやＷＷＷの閲覧に止まらず、インターネット電話、ファックス、放送型情報サービス、映像や音声の配信、通信事業や放送事業、更には電子商取引などのようにネットワーク上の世界では様々なサービスが始まっている。
【０００７】
しかしながら、このようなサービスで直接動かせるものは、データとしてネットワークという仮想世界に予め取り込んでおいたものに過ぎない。現実世界の「モノ」や「ヒト」が日常生活「環境」で引き起こす様々な出来事は、殆どネットワークにデータとして取り込まれていない。これらをリアルタイムにコンピュータ・ネットワーク上の仮想世界に反映する手段は従来ほとんどないといってもよい状態である。
【０００８】
すなわち、現在、世界的に期待されているネットワークを活用したユビキタスサービスとは、日常空間の情報化であると言われながらも、ネットワークを活用した日々の日常生活空間の情報化はまだ取り残されている状態である。
【０００９】
例えば、家庭内の資産や重要書類の所在探索、冷蔵庫の中の食品の鮮度、賞味期限、在庫管理、老人の健康管理と介護補助、留守宅のセキュリティ管理と遠隔監視、常時健康モニタリング、ショッピングモール内での購買者の購買行動トラッキングとダイナミックなマーケティングなど極めて大きな潜在的なビジネス市場があるが、未開拓なままである。
【００１０】
このようなサービスを実現するには、我々が実際に観察しているかのようにコンピュータが実世界のどのオブジェクトが何時、何処で、どんな状態でいるかを常に認識し、その認識結果が現実世界と写像の関係にある仮想世界の認識モデル変化にリアルタイムで反映する仕組みを確立することが不可欠である。
【００１１】
換言すると、イベントの形をとって、実世界のオブジェクトの状態変化が仮想世界の認識モデルを構成するオブジェクトのプロパティの変化にリアルタイムで反映する仕組み、すなわち、実世界のオブジェクトをコンピュータ上のサイバー世界にリアルタイムで反映（結合）させる方法の確立が待望されていた。
【００１２】
このような実世界とコンピュータ上の仮想世界であるサイバー世界のオブジェクトを結合する方法の第１の従来技術の代表として、Ｃａｍｂｒｉｄｇｅ大学のＳｅｎｔｉｅｎｔ Ｃｏｍｐｕｔｉｎｇの例がある。Ｓｅｎｔｉｅｎｔ Ｃｏｍｐｕｔｉｎｇはコンピュータ・ネットワーク・システムが実世界を感じることで強化できるという手段として定義される。センサ群と遠隔計測は、実世界のオブジェクトである「ヒト」、「モノ」についての場所、その特定、性質をアプリケーション・ソフトウエアに提供することで、例えば、日常の生活空間の環境モデルを維持するために使われる。
【００１３】
先ず、実世界オブジェクトの位置とその識別ＩＤを検出することが出発点となるため、超音波を使った位置特定システムを採用している。１０００平米のビル内で、約３ｃｍの位置精度でオブジェクトの位置を特定するため、一辺１．２ｍのグリッドに１個の超音波センサを７２０台天井に埋め込んでいる。オブジェクトに付帯する長さ８ｃｍのデバイスは電波送受信機と超音波発信器を内蔵しており、識別ＩＤが割り振られている。中央コントローラから電波チャネルでその識別ＩＤを送り、同時に天井の超音波センサネットワークの各カウンタをリセットする。一方、自分のＩＤを電波で受け取ったデバイスは超音波の短パルスを発信し、天井のセンサのいくつかがそれを受信して、伝播遅延時間の差から三角法により位置を算出する。システム全体は中央コントローラや超音波センサネットワークを制御するコントローラを含めてタイミングクロックにより同期して動作している。これにより、電波による識別ＩＤ送信時点から、ある超音波センサが超音波の短パルスを検知した時点までの時間差を算出する根拠を与えている。このシステムで、毎秒７５個のオブジェクトを認識して、位置を特定できるとしている。
【００１４】
このセンサシステムに分散オブジェクト指向モデルで、ビル内の全ての「ヒト」を含むオブジェクトの位置とリソースデータをインテグレートし、ヒトに自然に感じられるオブジェクト間の空間的相関関係をアプリケーション・ソフトウエアに提示することで、抽象化構成できる空間モニタリングシステムとなっている。各オブジェクトの位置と状態データはＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅａｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）のオブジェクトセットで表現される。ＣＯＲＢＡは分散オブジェクトシステムを実現するために必要となるオブジェクト指向ネットワーク基盤の標準である。例えば、実世界の各オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応する。４０余りのオブジェクトの種類があり、例えば、オフィスのヒト、パソコン、マウス、カメラ、プリンター、電話などの実オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応し、実世界のオブジェクトの現在のプロパティをもち、実世界のオブジェクトの制御インターフェイスとなる。例えば、プリンターは、それに対応するプリンターオブジェクトを経由して、アプリケーション・ソフトウエアが実際のプリンターを作動させる。こうした永続的なＣＯＲＢＡのオブジェクトの全セットがアプリケーション・ソフトウエアから見える世界モデルを形成する。このオブジェクト自体がトランザクション、システムダウン時の代替処理、セッション管理、イベント分散、あるいは大規模な分散システムの陰にある多くの項目の面倒を見て、アプリケーションに単一のプログラミングインターフェイスを提供している。
【００１５】
このシステムは超音波センサ群やセンサ制御コントローラなどを天井や床などに埋め込み、システム設計が必要なため、大きなオフィスビルや病院など、移動性の高い人々が情報の生成、情報へのアクセス、異種の機器や相互のコミニュケーションを交わす必要のある状況への適用で効果を発揮する。
【００１６】
また、第２の従来技術としては、モノの管理という視点から、実世界の「モノ」とネットワークを結びつける技術として＜ＲＦ−ＩＤタグ＞がある。ＲＦ−ＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグは小さな無線通信ＩＣを内蔵しており、基本機能はメモリに格納したＩＤ番号等を発信するだけである。主に物流管理を目的としており、管理対象オブジェクトに付帯させると非接触でその識別ＩＤをリーダで読むことができる（ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．２．２５ ｐｐ．１０９−１３７）。
【００１７】
しかし、現実世界で起きていることをリアルタイムでネットワーク上の仮想世界に反映させ、様々なサービスを提供するためには、どのオブジェクトが、何時、何処で、どんな状態でいるかを常に認識しておく機能が必須である。
【００１８】
更に、第３の従来技術として、赤外発光する実世界のオブジェクトを赤外センサや赤外カメラで認識する技術がある。これは、シーンとＩＤを同時に取得可能なイメージセンサ（電子情報通信学会・信学技報、ＩＴ２００１−９２，ｐｐ．１０５−１１０）からなるＩＤカメラを使用し、現実の空間と仮想の空間をリンクする狙いで開発され、デジタルビデオカメラに写る複数の被写体のＩＤを認識できるシステムである（ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．４．８ ｐ．３５）。先ず、実世界のオブジェクト（被写体）にビーコンと呼ばれるマイコンで点滅が制御される発光ダイオード（ＬＥＤ）を搭載、ＩＤを割り当てる。ビーコンはそのＩＤに基づいて点滅を繰り返す。このシステム用に独自に開発されたデジタルビデオカメラ（ＩＤカメラ）でその点滅パターンを検知・解析して、ＩＤを認識する。認識したＩＤは被写体の画像に重ねて表示する。赤外線リモコンに例えてみれば、ビーコンは赤外線リモコンの送信機であり、ＩＤカメラはリモコン受信機をアレイ状に配置したアレイセンサ（ＣＭＯＳイメージセンサ）である。ＩＤカメラは普通のカメラとしてシーンを撮像する（シーンモード）だけでなく、ビーコンを撮像した画像上の座標とビーコンが送信するＩＤデータを組にして出力する（ＩＤモード）。ＩＤモードでは、ＩＤカメラは１２ｋＨｚのサンプリングを２００回繰り返し、ビーコンが送信するキャリア周波数４ｋＨｚの８ビットのＩＤを１９２×１２４画素全てにおいてデコードし、１５ｆｐｓでＩＤ画像を作成する。このＩＤを介してサイバー世界の（インターネット上の）情報とリンクさせることが可能なので、ユーザはそのＩＤを手がかりにオブジェクトに関する情報を入手することができる。ＩＤのビット数は８ビットであり、これを４ｋＨｚのキャリアでマンチェスター符号化し、２２ビットのパケット単位でＩＤデータを送受信する。
【００１９】
第４の従来技術として、２次元マトリックスコードを利用した拡張現実感の構成手法（Ｃｙｂｅｒ Ｃｏｄｅ）がある。これは、実世界のオブジェクトの表面に２次元マトリックスコードを貼り付け、これをビデオカメラで撮影する。撮影画像の処理によって、マトリックスコードを認識する。これにより、ビデオカメラ映像で見ている対象から、認識したマトリックスコードを介して、ネットワーク上の関連情報にアクセスしたり、仮想世界のオブジェクトを展開することができる。
【００２０】
また、第５の従来技術として、実オブジェクトを特別なデジタルビデオカメラで撮影し、クリック可能としたい対象が写っている領域と、そのリンク先ＵＲＬや撮影時刻など、関連する情報も同時に取得・記録する提案がある。これも、実オブジェクトと仮想世界の関連する情報とを結合する方法論の提案である。実オブジェクトに赤外付帯素子を埋め込み、これを赤外領域に感度のある複数台のＣＣＤカメラで撮影する。複数の実オブジェクトを識別する手段は埋め込んだ赤外付帯素子の波長差を利用している。この目的のため、発光中心波長が８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８７５ｎｍ、９００ｎｍの赤外付帯素子と感知可能波長領域の異なる（中心波長が８００ｎｍ、８５０ｎｍ、９００ｎｍの赤外パスフィルタをＣＣＤカメラに装着している）ＣＣＤカメラを３台準備している。これにより、区別できる実オブジェクトの数は最大５個である。
【００２１】
更に、第６の従来技術として、５個のＬＥＤで構成されるＢａｌｌｏｏｎ Ｔａｇと呼ぶタグを実オブジェクトに取り付け、ビデオカメラで撮影する方法がある。そして、このビデオカメラの映像を解析して、タグ情報の読み取りと映像中の位置計算を行う。Ｂａｌｌｏｏｎ Ｔａｇの５個のＬＥＤの内、周辺部の４個は同じタイミングで点灯と消灯を繰り返し、クロック信号の役割を果たし、中央のＬＥＤはクロック信号の点滅から１／４位相遅れて点滅し、データ信号を送る。カメラがとらえた画像は、先ず明るい画素だけ抜き出される。次にこの過程で抽出された画素を領域結合して、領域の面積を計算する。面積が一定値以上の領域はＢａｌｌｏｏｎ Ｔａｇ光源ではないと判定して除去する。この除去は白い壁の明るい部分や蛍光灯光源そのものなどを判定対象から取り除くために行う。
【００２２】
次にこの様にして選択された複数の領域の中でクロック信号と推定できる組み合わせを探索する。Ｂａｌｌｏｏｎ Ｔａｇのクロック信号は画像中でほぼひし形の領域として写るので４領域の全ての組み合わせの中で４頂点のなす角度に制限を加えることでクロック信号源を選び出すことができる。クロック信号源のひし形が選ばれると、直近の映像フレームでひし形があった領域を対応付け、Ｂａｌｌｏｏｎ Ｔａｇがどのように移動しているのかを解析する。
【００２３】
次にクロック信号が点灯した際、あるいは消灯した際には、そのひし形の中央付近にＬＥＤが発見できるか否かを調査し、データビットとして「１」又は「０」を読み取る。コンピュータのフレーム処理速度が１０Ｈｚであり、クロックとデータの位相差を考慮すると送信速度は５Ｈｚ以下の任意速度をとり得る。そこで、タグの送信速度を４Ｈｚとしている。
【００２４】
第７の従来技術として、米国、カリフォルニア大学バークレー校で開発が進められている”Ｓｍａｒｔ Ｄｕｓｔ”と呼ぶ超小型の無線センサノードがある。
【００２５】
ここで検討している無線通信技術は光通信技術であり、基地局のレーザー光源から届いた光を無線センサノード上に形成した超小型反射ミラーで入射した光軸と平行な方向に戻すか、外すかによって、光信号として返す方式を採用している。
【００２６】
基地局に設置したレーザーから、無線センサノード群が散在している領域にレーザー・ビームを照射する。この際、上記の照射光は、無線センサノードをスリープモードから起動するコマンドやセンシング情報を要求するコマンドなどを含む、データを送るために変調することができる。一方、無線センサノードは変調されていないビームを受けた時は、超小型反射ミラーを動かして、反射光を基地局に向けて平行に返すか、外すかによって、反射ビームを変調することにより、基地局にデータを返すことができる。ポイントは超小型反射ミラーが、立方体のコーナー部の内側に形成される互いに垂直な３面を反射鏡としていることである。
【００２７】
この３面反射鏡に入射した光ビームは入射した光軸と平行に反射されるため、基本的に特別なアライメントが無くても、各無線センサノードから反射されてきた反射ビームは、基地局に戻ってくる。予め、センサノード群が分布している全領域からの反射ビームがＣＣＤイメージセンサアレイ上に結像するようにレンズ系を設計しておけば、各ノードからの変調ビームはその空間位置に対応して、上記センサアレイの上の特定位置のピクセルで受信することができる。
【００２８】
言い換えると、空間分割多重の光通信は実現できる。空間分解能はＣＭＯＳイメージセンサのピクセルアレイの数によりが、１７ｍ角のエリアにノードが分布しているときに、２５６×２５６のピクセルアレイで受光した場合、各ピクセルは６．６Ｃｍ２の空間領域に対応する。タバコの箱位の距離だけ離れていれば、別のノードからの信号として認識できる。また、転送信号速度はＣＣＤセンサのフレーム周期に依存することになる。
【非特許文献１】松下伸行他著「ＩＤ Ｃａｍ： シーンとＩＤを同時に取得可能なイメージセンサ」信学技報、ＩＴ２００１−９２，ｐｐ．１０５−１３７
【非特許文献２】Ｊｕｎ Ｒｅｋｉｍｏｔｏ， Ｙｕｊｉ Ａｙａｔｓｕｋａ著「ＣｙｂｅｒＣｏｄｅ： Ｄｅｓｉｇｎｉｎｇ Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖｉｓｕａｌ Ｔａｇｓ」
【非特許文献３】ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．４．８， ｐ．３５「ＬＥＤが仮想空間の入り口 デジカメで光を検知」
【非特許文献４】菅原俊治他著「クリッカブルオブジェクトの撮影」，ＷＩＳＳ２００１，ｐｐ．１６７−１７２
【非特許文献５】青木亘著「カメラで読みとる赤外線タグとその応用」，ＷＩＳＳ２０００，ｐｐ．１３１−１３６
【非特許文献６】Ｂｒｅｔｔ Ｗａｒｎｅｋｅ 他著「Ｓｍａｒｔ Ｄｕｓｔ： Ｃｏｍｍｕｎｉｃａｔｉｎｇ ｗｉｔｈ ａ Ｃｕｂｉｃ−Ｍｉｌｌｉｍｅｔｅｒ Ｃｏｍｐｕｔｅｒ」，ＩＥＥＥ，Ｃｏｍｐｕｔｅｒ， Ｊａｎ． ２００１
【非特許文献７】Ｊｏｓｅｐｈ Ｍ． Ｋａｈｎ 他著「Ｅｍｅｒｇｉｎｇ Ｃｈａｌｌｅｎｇｅｓ： Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋｉｎｇ ｆｏｒ ”Ｓｍａｒｔ Ｄｕｓｔ”」， ２０００ ＫＩＣＳ
【発明の開示】
【発明が解決しようとする課題】
【００２９】
上述した第１の従来技術は、ホーム、商店、狭いオフィスなどの日常生活空間へ適用する観点からは、埋め込み工事が必要となり、費用対効果の観点から困難である。また、適用する空間の広さ、２次元平面形状などによって、超音波センサ群の配置方法や配置間隔を変え、三角法で位置を同定するためにシステム全体を調整する必要が生ずる。まして、一般人はこのシステムを購入して、自らが取り付け、配置、調整、維持をするのは到底困難である。
【００３０】
また、第２の従来技術のＲＦ−ＩＤタグを実オブジェクトに付帯させても、特定の識別ＩＤを付帯させたオブジェクトの位置を特定する機能が無い。位置を特定するためには、専用リーダを接近させて捜すしかない。しかも、電波規制のため日本における通信距離は高々２ｍ程度であるため、任意の識別ＩＤを付帯したオブジェクトが何時、何処にあるかをリアルタイムで認識するシステムを構築することはできない。一方、ＮＴＴは屋内において１０ｍ程度の通信が可能な通信機能をもつＲＦ−ＩＤタグと複数の基地局とを使って、ＩＤ発信時に各基地局が受信した電波強度から、発信したＲＦ−ＩＤタグの位置を同定する技術を開発した。このシステムでは３００ＭＨｚ帯の微弱無線を用いているが、位置の特定精度は±２ｍ程度であるため、同一の部屋の中にある、オブジェクトの位置を特定するまでの精度が無い。即ち、位置に関してはどの部屋にあるかを特定する程度の位置精度しかない。一般に、広範囲にあるＲＦ−ＩＤの位置を認識するのは難しい。基地局から近い位置にあるＲＦ−ＩＤの影響で、遠くにあるＲＦ−ＩＤの信号を受信するのが困難であるからである。
【００３１】
更に、第３の従来技術では、ビーコンはそのＩＤに基づいて点滅を繰り返し、受信側システムと同期させない方法を採用している。そのため、ビーコンは何時ＩＤカメラで撮影するかわからないので、常に点滅を繰り返している必要がある。ＬＥＤの消費電力は小さくないので、ビーコンを小型化して、実環境のあらゆるオブジェクトに貼り付ける用途には向かない。省電力目的で、間欠動作をさせた場合には、ＩＤカメラで認識されない可能性が出てくる。また、調歩同期（非同期方式、文字の前後にスタートビットとストップビットを挿入）等のアルゴリズムが必要になるため、複数同時発光となるとカメラ側の処理量が大幅に増えて、時間がかかり過ぎるため動体の認識が困難である。
【００３２】
第４の従来技術において、ビジュアルコードを用いて実環境でシステムを動作させるためには、遍在する実オブジェクトの表面に、遠くからでも認識可能とするため、遍在する実オブジェクトの表面に巨大なコードを貼り付けておく必要がある。このため、認識可能な実オブジェクトの形状に制限がついている。また、斜めの角度からや、近傍と遠方の両方に遍在する２次元マトリックスコードを見分けるためには、画像精度と画像処理能力の大幅な向上が必要となるため、実環境下で遍在する１００個程度のオブジェクトを認識したり、動くオブジェクトの認識が困難である。
【００３３】
また、第５の従来技術の光源の波長差を利用した方法では明らかに、識別可能なオブジェクト数は数個程度に限られてしまう。また、赤外ＣＣＤカメラの出力である赤外画像から輝度の明るい点を抽出するだけの手法であるため、電球やその反射光が赤外光源の背後にあると、赤外付帯素子を検出できなくなり実環境においては実用にならない。
【００３４】
更に、第６の従来技術の欠点はデータ転送速度が遅いことである。受信側のシステムと同期せずに、点滅するＬＥＤを普通のカメラで撮影してＩＤを識別するシステムのため、４Ｈｚという極めて低速なデータ速度でしか送信できない。１０文字を送るためには２０秒はフレーム内にいなければならない。従って、カメラの被写体となっているオブジェクトのＩＤ番号を認識するだけで、８ビットの場合は２秒要する。この様に、認識速度が非常に低速であるため、動体のオブジェクト認識は困難である。また、１０個以上の多数のオブジェクトを扱うことができない。またＢａｌｌｏｏｎ Ｔａｇは５個のＬＥＤを必要とし、タグの小型化に適さない。
【００３５】
本発明は、上記に鑑みてなされたもので、その目的とするところは、実世界のオブジェクトに対してサイバー世界を構成するコンピュータシステムで実世界オブジェクトに対応して定義されるサイバー世界のオブジェクトを適確に結合する実世界とサイバー世界のオブジェクト結合方法を提供することにある。
【課題を解決するための手段】
【００３６】
上記目的を達成するための第１の態様に係る本発明は、実世界オブジェクトに付帯され、一意の識別情報が割り当てられるとともに発光指示命令に応答して発光する発光素子を備えた付帯素子と、前記実世界オブジェクトを含む所定の撮像視野領域を有し、前記付帯素子の発光を撮像する第１の撮像装置と、前記第１の撮像装置と略同一の撮像視野領域を有し、前記実世界オブジェクトを撮像する第２の撮像装置と、前記第１及び第２の撮像装置の撮像画像に基づき前記実世界オブジェクトの位置を含む実世界オブジェクト情報を認識する実世界オブジェクト認識装置とからなるシステムにおける実世界オブジェクト認識方法であって、前記実世界オブジェクト認識装置が、前記付帯素子を特定する識別情報を含めた発光指示命令を送信する送信ステップと、前記付帯素子が、前記発光指示命令を受信し、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記発光素子を発光させる発光ステップと、前記実世界オブジェクト認識装置が、前記第１の撮像装置から、前記付帯素子の発光を撮像した画像を取得する受信ステップと、前記実世界オブジェクト認識装置が、前記第２の撮像装置から、前記付帯素子が付帯されている実世界オブジェクトを撮像した画像を取得する画像取得ステップと、前記実世界オブジェクト認識装置が、前記発光指示命令に含めた識別情報および前記第１の撮像装置による前記付帯素子の発光の撮像画像から特定した前記付帯素子の発光の位置情報を前記第２の撮像装置による前記実世界オブジェクトの撮像画像に関連付け、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を認識する認識ステップと、を備え、前記認識ステップは、前記実世界オブジェクト認識装置が、前記実世界オブジェクトの付帯する付帯素子の過去の発光による認識位置から推定される領域を優先して発光点を認識するステップと、前記実世界オブジェクト認識装置が、前記第２の撮像装置による撮像画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、前記付帯素子の発光が認識できない間は、前記第２の撮像画像から前記オブジェクトの輪郭の移動を追跡することにより、前記付帯素子の撮像素子の一時的穏蔽を補間するステップとを備えている。
【００３７】
上記目的を達成するための第２の態様に係る本発明は、実世界オブジェクトに付帯され、一意の識別情報が割り当てられるとともに発光指示命令に応答して発光する発光素子を備えた付帯素子と、前記実世界オブジェクトを含む所定の撮像視野領域を有し、前記付帯素子の発光を撮像する第１の撮像装置と、前記第１の撮像装置と略同一の撮像視野領域を有し、前記実世界オブジェクトを撮像する第２の撮像装置と、前記第１及び第２の撮像装置の撮像画像に基づき前記実世界オブジェクトの位置を含む実世界オブジェクト情報を認識する実世界オブジェクト認識装置とからなる実世界オブジェクト認識システムであって、前記実世界オブジェクト認識装置は、前記付帯素子を特定する識別情報を含めた発光指示命令を送信する送信手段と、前記第１の撮像装置から、前記付帯素子の発光を撮像した画像を取得する受信手段と、前記第２の撮像装置から、前記付帯素子が付帯されている実世界オブジェクトを撮像した画像を取得する画像取得手段と、前記発光指示命令に含めた識別情報および前記第１の撮像装置による前記付帯素子の発光の撮像画像から特定した前記付帯素子の発光の位置情報を前記第２の撮像装置による前記実世界オブジェクトの撮像画像に関連付け、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を認識する認識手段と、を備え、前記付帯素子は、前記発光指示命令を受信し、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に、前記発光素子を発光させる手段を備え、前記認識手段は、前記実世界オブジェクトの付帯する付帯素子の過去の発光による認識位置から推定される領域を優先して発光点を認識する手段と、前記第２の撮像装置による撮像画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、前記付帯素子の発光が認識できない間は、前記第２の撮像装置の撮像画像から前記オブジェクトの輪郭の移動を追跡することにより、前記付帯素子の一時的穏蔽を補間する手段とを備えている。
【発明の効果】
【００３８】
以上説明したように、本発明によれば、付帯素子から発せられた識別情報および該付帯素子の位置を表す位置情報を受信してコンピュータシステム（実世界オブジェクト認識装置）において認識することができるため、人、物、環境などの実世界のオブジェクトの少なくとも位置をリアルタイムにサイバー世界に結合でき様々な日常生活に密着したサービスを創生することができる。
【００３９】
特に、本発明によれば、実世界のオブジェクトに付帯された付帯素子が発光指示命令を受信して識別情報が一致した場合に発光し、この発光をシステム側の撮像手段で撮像して発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置を識別情報で特定されるサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
【００４０】
更に、本発明によれば、発光指示命令に応答して発光する付帯素子を実世界のオブジェクトに付帯させ、発光指示命令を受信した場合の付帯素子の発光を第１の撮像手段で撮像し、同じ撮像視野を有する第２の撮像手段で当該付帯素子の付帯されている実世界のオブジェクトの画像を撮像し、第１の撮像手段で撮像した発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置、識別情報を第２の撮像手段で撮像した実世界オブジェクトの画像に関連付け、この実世界オブジェクトの画像および位置を識別情報で特定されるサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合できるとともに、またサイバー世界においてコンピュータシステムが認識している情報を人間が観察している実世界オブジェクトの映像を重ねたり、相関を持ってモニタリング表示でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
【００４１】
更に、本発明によれば、過去の発光による認識位置から推定される領域を優先して発光点を認識し、第２の撮像手段の撮影画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、発光が認識できない間は、第２の撮像手段の撮影画像からオブジェクトの輪郭の移動を追跡して付帯素子の一時的穏蔽を補完するため、付帯素子の発光強度が弱くなったり、発光が一時的に隠蔽されても、継続的に実世界オブジェクトの位置をトラッキングすることができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明に係る実世界オブジェクト認識方法および実世界オブジェクト認識システムの実施の形態について図面を参照して説明する。
【００４３】
図１は、本発明の実施の形態に係る実世界オブジェクト認識方法および実世界オブジェクト認識用付帯素子を含む実世界オブジェクト認識システム１の概略構成を示す図である。
【００４４】
図１に示すように、実世界オブジェクト認識システム１は、実世界における所定の認識対象領域（例えば、室内空間、屋外空間等）に存在する実世界オブジェクト（以下、単にオブジェクトとする）の情報（実世界オブジェクト情報）を、サイバー世界を構成するコンピュータシステム（実世界オブジェクト認識装置に対応）２に認識させることにより、上記実世界オブジェクト情報をコンピュータシステム（サイバー世界）２に結合（融合）させるシステムである。
【００４５】
実世界オブジェクトＯとしては、後掲図２に示すように、植木鉢に植えられた植木であって環境を構成するオブジェクトＯａ、ヒトであるところのオブジェクトＯｂ、かばんなどのモノであるオブジェクトＯｃが一例として挙げられる。
【００４６】
図１に示すように、実世界オブジェクト認識システム１は、上記実世界オブジェクトの情報を認識するコンピュータシステム２と、実世界オブジェクトに付帯されており、付帯元のオブジェクトに関連する情報を発することができる付帯素子１１とを備えている。
【００４７】
付帯素子１１は、自付帯素子を一意に識別する識別ＩＤ等の識別情報を有し、この識別情報を記憶する例えばメモリ等の識別情報記憶手段１４を備えている。
【００４８】
なお、付帯素子１１は、ＩＣ（Integration Circuit）タグやＲＦＩＤ（Radio Frequency ID）タグ等を備えることが可能である。
【００４９】
さらに、付帯素子１１は、その機能として、コンピュータシステム２から送信されてきた発光指示命令に応じて上記実世界オブジェクト情報としての自付帯素子の位置情報（付帯元オブジェクトの位置情報）を例えば発光情報として出力する位置情報出力部１５と、コンピュータシステム２から送信されてきた作動命令に応じて、予め搭載された作用素子（アクチュエータ等）１６ａを作動させる作動部１６と、コンピュータシステム２から送信されてきたセンシング指示に応じて、予め搭載された感知手段（センサ）１７ａにより感知情報を検出してコンピュータシステム２に送信するセンシング部１７とを備えている。なお、付帯素子１１は、少なくとも位置情報出力部１５を搭載していればよい。
【００５０】
一方、コンピュータシステム２は、図１に示すように、上記付帯素子１１、すなわち付帯素子１１が付帯されたオブジェクトＯを識別するための識別情報を生成する識別情報生成手段２０と、生成された識別情報に対応する発光命令（例えば、「生成識別情報に対応する付帯素子は発光せよ」という内容の命令）を送信する発光指示命令送信手段２１とを備えている。
【００５１】
また、コンピュータシステム２は、上記認識対象領域を撮像視野として撮像する例えば動画カメラ等の第１の撮像手段２２と、第１の撮像手段２２により撮像された映像情報に含まれるノイズを低減する処理を行うノイズ処理手段２３と、第１の撮像手段２２により撮像された映像情報（ノイズ処理された映像情報）および識別情報生成手段２０により生成された識別情報に基づいて、映像情報に含まれる発光点の位置座標および識別情報を対応付けする発光点位置座標／識別情報対応付け手段２５とを備えている。
【００５２】
さらに、コンピュータシステム２は、対応付け手段２５により得られた”識別情報＋位置情報”から、例えばディスプレイ等の映像表示手段２６の表示画面上の対応する位置に識別マーカを生成して表示する処理を実行するマーカ情報生成手段２７と、第１の撮像手段２２と例えば同一の撮像視野（上記認識対象領域）を撮像する例えば動画カメラ等の第２の撮像手段３０を備えており、この第２の撮像手段３０により撮像された映像情報は映像表示手段２６に送られて該映像表示手段２６により表示される。なお、上記識別マーカが生成されていれば、そのマーカ情報は映像情報に重畳して表示される。
【００５３】
コンピュータシステム２は、そのコンピュータシステムを利用できるユーザに対するインタフェース（ＩＦ）用のユーザＩＦ部３１を備えており、このユーザＩＦ部３１は、映像表示手段２６および入力手段３２と共にグラフィカルユーザインタフェース機能を実現するようになっている。
【００５４】
このユーザＩＦ部３１は、コンピュータシステム２と一体に設けていてもよく、また、コンピュータシステム２に対して遠隔に配置され、電話回線、専用線等の通信回線を介してコンピュータシステム２と通信可能な通信端末（例えば、ユーザが利用できるパーソナルコンピュータや携帯端末等）であってもよい。
【００５５】
すなわち、ユーザは、入力手段３２を操作して映像表示手段２７に表示された映像情報の所定位置をクリックして指定したり、所定の要求をユーザＩＦ部３１を介してコンピュータシステム２に対して送ることができる。
【００５６】
例えば、映像表示手段２７に表示された映像情報上において、上述した識別マーカが表示されている場合には、ユーザは、入力手段３２を操作して上記識別マーカをクリックして指定することができる。
【００５７】
コンピュータシステム２は、さらにユーザＩＦ部３１における入力手段３２を介した入力に応じて、その入力が「１」どの識別情報の付帯素子に対して「２」何を要求するのかを判断するための識別情報決定／要求決定手段３５を備えている。
【００５８】
例えば、ユーザが、入力手段３２を操作して複数の位置をクリック（指定）したり、クリック回数を変えたり、階層的にクリックすることにより、複数の要求を識別情報決定／要求決定手段３５に対して入力することができる。
【００５９】
そして、コンピュータシステム２は、識別情報決定／要求決定手段３５により指定された指定付帯素子に対するセンシング指示が決定された場合、その指定付帯素子の識別情報を含むセンシング指示を送信するセンシング指示送信手段４０と、送信されたセンシング指示情報に応じて、指定付帯素子１１のセンシング部１７から送信されてきたセンシング情報を受信するセンシング情報受信手段４１とを備えている。
【００６０】
また、コンピュータシステム２は、識別情報決定／要求決定手段３５により指定された指定付帯素子に搭載された作用素子１６ａに対する作動命令が決定された場合、その指定付帯素子の識別情報を含む作動命令を送信する作動命令送信手段４５と、送信された作動命令に応じて、指定付帯素子１１の作動部１６から送信されてきた作用実行通知／作動命令受信確認信号受信手段（受信手段）４６とを備えている。
【００６１】
そして、コンピュータシステム２は、対応付け手段２５により取得された識別情報および発光点位置座標、センシング情報受信手段４１により受信されたセンシング情報および対応する識別情報、ならびに受信手段４６により受信された作用実行通知／作動命令受信確認信号に基づく作動履歴情報および対応する識別情報の内の少なくとも何れか２つの情報を、何らかの形でリンク（関連付け）して蓄積する情報関連付け・情報蓄積手段（関連付け蓄積手段）４７を備えている。
【００６２】
このコンピュータシステム２は、付帯素子１１に対する無線通信機能を有するインタフェース部、このインタフェース部に通信可能に接続されたコンピュータ、ＣＤ（Compact Disk）−ＲＯＭ（Read Only memory）、ＤＶＤ（Digital Versatile Disk）等の外部メモリをコンピュータが読取可能にセットできる外部記憶装置、映像情報および付帯素子情報（位置情報、センシング情報および作動履歴情報の内の少なくとも１つ）を蓄積するためのハードディスク等の大容量記憶装置およびコンピュータのワークエリアとしての機能を有する内部メモリ等を有するコンピュータ本体２ａ（後掲図２参照）と、コンピュータの映像入出力端子・制御端子にそれぞれ接続された第１および第２の動画カメラ等とから構成されており、このハードウェア構成により、上記各機能構成手段が具体的に実現される。
【００６３】
一方、付帯素子１１の位置情報出力部１５は、図１に示すように、発光指示命令を受信する発光指示命令受信手段１５ａと、この発光指示命令受信手段１５ａにより受信された発光指示命令に含まれる識別情報と識別情報記憶手段１４に記憶された識別情報とを比較する識別情報比較手段１５ｂと、発光素子１５ｃと、識別情報比較手段１５ｂの比較結果に応じて発光素子１５ｃに対して発光動作させる発光制御手段１５ｄと、識別情報記憶手段１４に記憶された識別情報を読み出してコンピュータシステム２に対して送信する識別情報送信手段１５ｅとを備えている。
【００６４】
また、付帯素子１１の作動部１６は、図１に示すように、作動命令を受信する作動命令受信手段１６ｂと、この作動命令受信手段１６ｂにより受信された作動命令に含まれる識別情報と識別情報記憶部１４に記憶された識別情報とを比較し、その比較結果に応じて作用素子１６ａを動作させる識別情報比較手段１６ｃと、識別情報比較手段１６ｃの比較結果に応じて作動命令受信確認信号および／または作用素子１６ａの実行結果を表す作用実行通知をコンピュータシステム２の受信手段４６へ送信する送信手段１６ｄとを備えている。
【００６５】
さらに、付帯素子１１のセンシング部１７は、図１に示すように、センシング指示を受信するセンシング指示受信手段１７ｂと、このセンシング指示受信手段１７ｂにより受信されたセンシング指示に含まれる識別情報と識別情報記憶部１４に記憶された識別情報とを比較し、その比較結果に応じて感知手段１７ａにより感知動作（センシング動作）を実行させる識別情報比較手段１７ｃと、感知手段１７ａの感知結果（センシング結果）を感知情報（センシング情報）としてコンピュータシステム２のセンシング情報受信手段４１へ送信する感知情報送信手段１７ｄとを備えている。
【００６６】
なお、付帯素子１１は、発光素子１５ｃ、作用素子１６ａおよび感知手段（センサ）１７ａの内の少なくとも１つの素子（機器）および例えば１チップ化された無線通信機能を有するコンピュータ回路をそれぞれ搭載しており、この搭載素子およびコンピュータ回路により、上述した各機能を実現するようになっている。
【００６７】
以下、図１に示す実世界オブジェクト認識システム１の全体動作について、さらに具体的に説明する。
【００６８】
図２に示すように、実世界オブジェクト認識システム１において、複数の実世界オブジェクトＯａ〜Ｏｃに対してサイバー世界を構成するコンピュータシステム２には、第１の撮像手段２２である動画カメラ１０３と、この動画カメラ１０３に取り付けられ、オブジェクトＯａ〜Ｏｃに向けて発光指示命令を例えばＩＲ光として送信する発光指示命令装置１０５（発光指示命令送信手段２１に相当）とが設けられており、動画カメラ１０３および発光指示命令装置１０５は、それぞれコンピュータ本体２ａに接続されている。
【００６９】
なお、本実施形態では、発光指示命令送信手段２１である発光指示命令装置１０５は動画カメラ１０３に取り付けられているが、これに限定されるものでなく、動画カメラ１０３とは別の所に設けられていてもよいものである。
【００７０】
各オブジェクトＯａ〜Ｏｃには、それぞれ識別情報である識別ＩＤ（ｍ−１、ｍ、ｍ＋１）の割り当てられた付帯素子１１（１１ａ、１１ｂ、１１ｃ）がそれぞれ付帯されている。各付帯素子１１ａ、１１ｂ、１１ｃは、以下に説明するように発光指示命令装置５からの発光指示命令を受信でき、この発光指示命令に応答して出力される発光を動画カメラ１０３が撮像し得るように付帯されているものである。
【００７１】
各オブジェクトＯに付帯されている付帯素子１１は、発光指示命令装置５からの発光指示命令を受信する通信手段（発光指示命令受信手段１５ａ）と発光指示命令に応答して発光する発光素子１５ｃを有する。通信手段は、例えばＲＦ受信器、赤外線受光器、ＲＦ送受信器、赤外線送受信器などで構成され、また発光素子１５ｃは、例えば発光ダイオード（ＬＥＤ）、レーザダイオード、ＥＬ（エレクトロルミネッセンス）素子、液晶素子、反射光を利用するミラー、光を放射する素子などで構成される。本実施形態では、通信手段としては赤外線受光器を利用し、発光素子としては赤外線ＬＥＤを利用している。なお、各付帯素子１１ａ、１１ｂ、１１ｃにそれぞれ割り当てられている識別ＩＤ（ｍ−１、ｍ、ｍ＋１）は、各付帯素子１１を特定するための番号として使用されるが、実際には付帯素子１１を付帯している実世界の各オブジェクトを特定するためのＩＤとしても使用できるものである。
【００７２】
動画カメラ１０３は、付帯素子１１の発光素子から出力される発光波長に対する感度を有し、この動画カメラ１０３で撮像した当該動画カメラの視野領域１０９の内部に存在する付帯素子１１の映像、具体的には後述するように付帯素子１１の発光素子からの発光像の映像を出力フレーム単位で出力する機能を有する。具体的には、動画カメラ１０３は、ある定められた時間、カメラ内の撮像素子が光を感知し、１フレームの静止画として出力する。この１フレームの静止画としての出力動作を高速で連続的に繰り返しながら１フレームの静止画を時系列に順次生成することにより映像を撮像して出力することができる。この場合のフレーム番号として、本実施形態では図１の上部にフレーム周期毎のフレーム画像を図示するようにｎ−１、ｎ、ｎ＋１が割り当てられている。
【００７３】
本実施形態のコンピュータシステム２では、図２の上部に示すように周期的に繰り返し生成される各フレーム（…ｎ−１、ｎ、ｎ＋１…）の開始時点に相当する時刻…Ｔｍ−１、Ｔｍ、Ｔｍ＋１…に同期して、発光指示命令装置１０５から付帯素子１１の識別ＩＤ（ｍ−１、ｍ、ｍ＋１）を含む発光指示命令をオブジェクトＯの付帯素子１１に向けて送信するようになっている。この発光指示命令を受信した付帯素子１１は、当該発光指示命令に含まれている識別ＩＤを自分に割り当てられた識別ＩＤと比較し、識別ＩＤが一致する場合には、自分の発光素子を発光させろという命令であると解釈し、自分の発光素子を所定の持続時間だけ発光させる。なお、識別ＩＤが自分に割り当てられた識別ＩＤと異なる場合には、発光させない。
【００７４】
すなわち、図３に示すように、まずフレーム（ｎ−１）の開始時点に相当する時刻Ｔｍ−１において識別ＩＤ（ｍ−１）を含む発光指示命令（ＩＤ＝ｍ−１）がコンピュータシステム２の発光指示命令装置１０５から送信されると（図４；ステップＳ１）、この発光指示命令（ＩＤ＝ｍ−１）に対して識別ＩＤ（ｍ−１）の付帯素子１１ａがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ａの発光素子１５ｃは、図示のように、上記発光指示命令に基づくＩＤ＝ｍ−１に対応付けられて設定された発光持続時間（ＩＤ＝ｍ−１発光持続時間）だけ発光する（ステップＳ２）。
【００７５】
次のフレーム（ｎ）が開始すると、この開始時点に相当する時刻Ｔｍにおいて識別ＩＤ（ｍ）を含む発光指示命令（ＩＤ＝ｍ）が発光指示命令装置１０５から送信され（ステップＳ３）、この発光指示命令（ＩＤ＝ｍ）に対して識別ＩＤ（ｍ）の付帯素子１１ｂがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ｂの発光素子１５ｃは図示のように、上記発光指示命令に基づくＩＤ＝ｍに対応付けられて設定された発光持続時間（ＩＤ＝ｍ発光持続時間）だけ発光する（ステップＳ４）。
【００７６】
更に次のフレーム（ｎ＋１）が開始すると、この開始時点に相当する時刻Ｔｍ＋１において識別ＩＤ（ｍ＋１）を含む発光指示命令（ＩＤ＝ｍ＋１）が発光指示命令装置１０５から送信され（ステップＳ５）、この発光指示命令（ＩＤ＝ｍ＋１）に対して識別ＩＤ（ｍ＋１）の付帯素子１１ｃがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ｃの発光素子１５ｃは図示のように、上記発光指示命令に基づくＩＤ＝ｍ＋１に対応付けられて設定された発光持続時間（
ＩＤ＝ｍ＋１発光持続時間）だけ発光する（ステップＳ６）。
【００７７】
なお、本実施形態では、各付帯素子１１の発光素子による発光は、発光開始フレームの始めから次のフレームの始めに僅かに食い込んで重複してから終了し、各フレームの始めにおいては、前のフレームの発光と次のフレームの発光とが重複している。
【００７８】
また、上記各付帯素子の発光素子による発光は、予め設定された発光持続時間において発光するのではなく、全ての発光素子が同一の発光持続時間により発光してもよく、それぞれの付帯素子毎に任意の時間で発光してもよい。
【００７９】
以上の動作を繰り返すことにより、各付帯素子１１の発光素子は発光指示命令装置１０５から順次送信される発光指示命令に応答して順次発光することになり、この各付帯素子１１の発光素子からの発光は、動画カメラ１０３で受信される（ステップＳ７）。すなわち、動画カメラ１０３は、付帯素子１１の発光素子からの発光の波長に感度を有しているため、その発光像を撮像することができ、その結果を出力フレーム画像として出力することができる。従って、コンピュータシステム２においては、この各フレーム毎に動画カメラ１０３から出力される出力フレーム画像上の各画素での信号強度を調べることにより、発光指示命令に含ませて指定された識別ＩＤの付帯素子１１の発光素子のカメラ視野内での位置（位置座標）を知ること、すなわち特定することができる（ステップＳ８）。
【００８０】
具体的には、コンピュータシステム２は、動画カメラ１０３、発光指示命令装置１０５および対応付け手段２５による協調動作により、発光指示命令装置１０５が発光指示命令で指定した付帯素子１１の識別ＩＤを知ることができるため、この識別ＩＤと動画カメラ１０３の出力フレーム画像のフレーム番号との対応を取ることにより出力フレーム画像のフレーム番号から対応する識別ＩＤの付帯素子１１の発光位置を知ることができる。
【００８１】
そして、上述したように特定された付帯素子１１の位置から当該付帯素子１１が付帯されているオブジェクトＯの位置を知ることができ、このオブジェクトＯの位置を、サイバー世界を構成するコンピュータシステム２において認識、すなわち上記位置を有するオブジェクトＯとしてサイバー世界に結合させることができる。
【００８２】
上記実施形態では、実世界の各オブジェクトＯに付帯素子１１を付帯させ、付帯素子１１が発光指示命令装置１０５からの発光指示命令を受信して、識別ＩＤが一致した場合に発光し、この発光を動画カメラ１０３で撮像して発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置を識別ＩＤで特定されるコンピュータシステム２（サイバー世界）のオブジェクトに結合している。従って、例えば人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
【００８３】
本実施形態のオブジェクト結合方法では、例えば家庭、商店、オフィスの一角などの一辺が例えば１０ｍ程度以内の空間である日常の生活空間において人間が目で認識できる速さで動くオブジェクトも含めて認識することができ、かつサイバー世界を構成するコンピュータシステムが認識している状態は人間が観察している実世界のオブジェクトの映像と相関を持ってモニタリング表示でき、オブジェクトの識別ＩＤと位置認識時点は映像から派生する映像ベースのコンテンツと時間的に同期しているものである。また、オブジェクトＯに付帯する付帯素子１１は、小型で、消費電力が小さく、安価なものである。
【００８４】
図３は、図２に示した実施形態において各付帯素子１１の発光素子からの発光像を撮像した動画カメラ１０３の出力フレーム画像（フレーム毎の画像データ）を図示しているものである。なお、図３において、発光指示命令装置１０５からの発光指示命令の出力タイミング、各付帯素子１１の発光素子からの発光持続時間などは図１と同じである。
【００８５】
図３において、発光指示命令装置１０５からフレーム（ｎ−１）の開始時点に同期して時刻Ｔｍ−１に出力される発光指示命令（ＩＤ＝ｍ−１）に応答して付帯素子１１ａの発光素子から出力される発光は、動画カメラ１０３で撮像され、同図においてフレーム画像ｎ−１として出力される。この動画カメラ１０３から出力されたフレーム画像ｎ−１には、付帯素子１１ａの発光素子からの発光像が符号Ｉ３ａで示すように円形で示されている。なお、このフレーム画像における発光像Ｉ３ａの円形の大きさは、基本的には動画カメラ１０３が受光した発光のエネルギ（強度）の時間的な積分値を表わしていて、具体的には発光が強いほど、また時間が長くあたっているほど、円形の直径が大きくなるように図示している。
【００８６】
同様にして、発光指示命令装置５からフレーム（ｎ）の開始時点に同期して時刻Ｔｍに出力される発光指示命令（ＩＤ＝ｍ）に応答して付帯素子１１ｂの発光素子から出力される発光は、動画カメラ１０３で撮像され、フレーム画像ｎに発光像Ｉｂとして出力されるが、このフレーム画像ｎには付帯素子１１ｂの発光素子からの発光に対応する発光像Ｉｂの他に、このフレーム（ｎ）の始めに僅かに重複して発光している付帯素子１１ａの発光素子からの発光に対応する発光像Ｉａ´も小さい円形で図示されている。これは、付帯素子１１ｂの発光素子からの発光がフレーム（ｎ）の全期間にわたって発生しているのに対して、付帯素子１１ａの発光素子からの発光はフレーム（ｎ）の始めに重複して僅かな時間だけ発光しているから、発光像Ｉａ´が小さく、発光像Ｉｂが大きくなっているのである。なお、この発光像Ｉａ´は、発光像Ｉｂに対してはノイズとなっているものである。
【００８７】
同様に、発光指示命令装置１０５からフレーム（ｎ＋１）の開始時点に同期して時刻Ｔｍ＋１に出力される発光指示命令（ＩＤ＝ｍ＋１）に応答して付帯素子１１ｃの発光素子から出力される発光は、動画カメラ１０３で撮像され、フレーム画像ｎ＋１に発光像Ｉｃとして出力されるが、このフレーム画像ｎ＋１には付帯素子１１ｃの発光素子からの発光に対応する発光像Ｉｃの他に、このフレーム（ｎ＋１）の始めに僅かに重複して発光している付帯素子１１ｂの発光素子からの発光に対応する発光像Ｉｂ´も小さい円形で図示されている。なお、この発光像Ｉｂ´は、発光像Ｉｃに対してはノイズとなっているものである。
【００８８】
図５は、図３に示したように動画カメラ１０３のフレーム画像にノイズとして現れた発光像Ｉ３ａ´、Ｉ３ｂ´を１つ前のフレーム画像との減算（差分）処理により除去する差分処理を説明するための図である。
【００８９】
図５に示すフレーム画像ｎ、ｎ＋１には、図３で説明したように、ノイズとなる発光像Ｉ３ａ´、１３ｂ´が現れているが、このノイズとなる発光像を除去するために、コンピュータシステム２は、図５における例では、１つ前のフレーム画像との減算処理を行なっている。
【００９０】
例えば、識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置を同定するためのフレーム画像ｎにノイズとして現れている発光像Ｉ３ａ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎから１つ前のフレーム画像ｎ−１を減算し（図６；ステップＳ１０）、この減算結果として残っている所定値以下の画素信号をゼロ、すなわち無信号にし（ステップＳ１１）、これにより識別ＩＤ＝ｍの付帯素子の発光素子からの発光像Ｉｂのみが存在する識別ＩＤ＝ｍのオブジェクトに関する差分画像１２１ａｂを得ているものである。従って、この差分画像１２１ａｂから識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置をノイズに影響されることなく適確に特定することができる。
【００９１】
同様に、識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置を同定するためのフレーム画像ｎ＋１にノイズとして現れている発光像Ｉｂ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎ＋１から１つ前のフレーム画像ｎ減算し（ステップＳ１２）、この減算結果として残っている所定値以下の画素信号を無信号にし（ステップＳ１３）、これにより識別ＩＤ＝ｍ＋１の付帯素子の発光素子からの発光像Ｉｃのみが存在する識別ＩＤ＝ｍ＋１のオブジェクトに関する差分画像１２１ｂｃを得ているものである。従って、この差分画像１２１ｂｃから識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置をノイズに影響されることなく適確に特定することができる。
【００９２】
以上の説明では差分処理の対象としてフレーム画像信号強度を１：１としたが、任意の強度比率での差分処理も有効であるのは言うまでもない。
【００９３】
図７は、図３に示したように動画カメラ１０３のフレーム画像にノイズとして現れた発光像Ｉ３ａ´、Ｉ３ｂ´を図５とは別の減算処理により除去する差分処理を説明するための図である。
【００９４】
図７に示す減算処理として、コンピュータシステム２は、付帯素子１１の位置を特定しようとする注目フレーム画像の信号強度を２倍し、この２倍したフレーム画像から前後のフレーム画像を減算するものである。
【００９５】
具体的には、コンピュータシステム２は、識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置を同定するためのフレーム画像ｎにノイズとして現れている発光像Ｉ３ａ´を除去するために、ノイズ処理手段２３により、当該フレーム画像ｎを２倍してから１つ前のフレーム画像ｎ−１と１つ後のフレーム画像ｎ＋１を減算（図８；ステップＳ２０）、すなわち注目フレーム画像（ｎ）×２−｛前フレーム画像（ｎ−１）＋（後フレーム画像（ｎ＋１）｝なる減算を行い、この減算結果として残っている所定値以下の画素信号をゼロ、すなわち無信号にし（ステップＳ２１）、これにより識別ＩＤ＝ｍの付帯素子の発光素子からの発光像Ｉ３ｂのみが存在する識別ＩＤ＝ｍのオブジェクトに関する差分画像１２１ａｂｃを得ている。
【００９６】
従って、この差分画像１２１ａｂｃから識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置をノイズに影響されることなく適確に特定することができる。
【００９７】
同様に、識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置を同定するためのフレーム画像ｎ＋１にノイズとして現れている発光像Ｉｂ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎ＋１の信号強度を２倍してから１つ前のフレーム画像ｎと１つ後のフレーム画像ｎ＋２を減算し、すなわち注目フレーム画像（ｎ＋１）×２−（前フレーム画像（ｎ）＋（後フレーム画像（ｎ＋２））なる減算を行い、この減算結果として残っている所定値以下の画素信号を無信号にし、これにより識別ＩＤ＝ｍ＋１の付帯素子の発光素子からの発光像Ｉｂのみが存在する識別ＩＤ＝ｍ＋１のオブジェクトに関する差分画像１２１ｂｃｄを得ている（ステップＳ２２〜Ｓ２３参照）。
【００９８】
従って、この差分画像１２１ｂｃｄから識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置をノイズに影響されることなく適確に特定することができる。以上の説明では両側差分処理の対象となるフレーム画像に対して注目フレーム画像対隣接フレーム画像の信号強度比率を２：１とした例を示したが、任意の強度比率でも有効である事は言うまでもない。
【００９９】
上述した図５および図７に示した減算処理は、所望の識別ＩＤの付帯素子からの発光の影響を除去するものとして説明したが、当該減算処理は、このような発光の影響を除去するためだけでなく、様々なノイズ源からのノイズなどを除去するために有効なものである。例えば、太陽光などの自然光や最近数が急速に増えた電子機器類のリモコン装置などからのリモコン信号などもノイズとして現れた場合、これらを除去するのに有効である。
【０１００】
図９は、図５および図７で行われた差分処理でも付帯素子１１の発光素子の発光信号以外に例えば太陽光、照明などの発光源からのノイズ信号が残ってしまった場合、このようなノイズ信号を除去する固定空間フィルタ処理を説明するための図である。
【０１０１】
すなわち、図９の空間フィルタ処理においては、コンピュータシステム２は、図５および図７で得られた差分処理後フレーム画像ｎに対して空間フィルタ処理を施す例を示している。
【０１０２】
この空間フィルタ処理では、コンピュータシステム２は、ノイズ処理手段２３により、差分処理後フレーム画像ｎの左上隅にフィルタサイズを示す四角形の被フィルタリング範囲１２６の中の全画素の信号強度値をすべて加算し（図１０；ステップＳ３０）、その加算した和を画素数で割ることにより、この被フィルタリング範囲１２６内の平均値を被フィルタリング範囲１２６内の各画素の信号強度とし（ステップＳ３１）、被フィルタリング範囲１２６を矢印１２５で示す方向に移動させながらステップＳ３０〜Ｓ３１の処理を差分処理後フレーム画像ｎの全領域について実行する（ステップＳ３２）。なお、この場合の空間フィルタ処理では、フィルターサイズを越えて広く分布する画像の信号強度は低減される。
【０１０３】
このような空間フィルタ処理の結果、空間フィルタ処理後フレーム画像ｎ１２４が得られるが、この空間フィルタ処理後フレーム画像ｎ１２４では、もともと局所的に強度が大きかった付帯素子１１の発光素子の発光信号が強調され、広く分布し強くないノイズ信号が弱められる。この結果、コンピュータシステム２は、所望の発光素子の発光信号とノイズ信号との強度差が広がるため、その強度に応じて優先順位をつけることが可能となる。
【０１０４】
図９に示す例では、付帯素子１１の発光素子の発光信号が優先順位１位、右下隅のノイズが優先順位２位、中央のノイズが優先順位３位と決められる。そこで、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ３３）。
【０１０５】
図１１は、図９で説明した空間フィルタ処理の代わりにパターンマッチング処理を利用して、図５および図７で行った差分処理後においても付帯素子１１の発光素子の発光信号以外に残っていた例えば太陽光、照明などの発光源からのノイズ信号を除去するパターンマッチング処理，詳しくは、円錐形定義パターンマッチング処理を説明するための図である。
【０１０６】
すなわち、図１１のパターンマッチング処理では、図５および図７で得られた差分処理後フレーム画像ｎ１２７に対してパターンマッチング処理を施す例を示している。
【０１０７】
このパターンマッチング処理では、コンピュータシステム２は、ノイズ処理手段２３により、差分処理後フレーム画像ｎの左上隅に示す四角形の被パターンマッチング領域１３１内の全画素の画像パターンに対して発光素子の発光パターンと類似する定義パターンとの相関を得るためのパターンマッチング処理を行なう（図１２；ステップＳ４０）。この被パターンマッチング領域１３１内の定義パターンは、付帯素子１１の発光素子の発光パターンを示すように中央の強度が最も大きく、この中央から周辺に向かうにつれて強度が弱くなるような円錐形の定義パターンとなっている。
【０１０８】
そして、コンピュータシステム２は、被パケットマッチング領域１３１を矢印１２９で示すように差分処理後フレーム画像ｎの全領域にわたって順次移動しながら、被パケットマッチング領域１３１内の画素パターンを定義パターンと照合してパターンマッチング処理を行い、それぞれの座標でのマッチング結果を得る（ステップＳ４１）。
【０１０９】
このマッチング結果として、パターンマッチング処理後フレーム画像ｎ１２８が得られる。このパターンマッチング処理後フレーム画像ｎ１２８では、付帯素子１１の発光素子の発光信号の部分ではパターンマッチング値が大きくなり、他のノイズ部分では強度が強くても、発光像の形状が異なるため、パターンマッチング値は小さくなる。この結果、所望の発光素子の発光信号とノイズ信号との強度差が広がるため、その強度に応じて優先順位をつけることが可能となる。図１１に示す例では、付帯素子１１の発光素子の発光信号が優先順位１位、右下隅のノイズが優先順位２位となり、中央のノイズは除去される。そこで、優先順位の高いものを付帯素子１１の発光素子からの発光信号と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ４２）。
【０１１０】
図１３は、図９における空間フィルタ処理後フレーム画像ｎ１２４と図１１におけるパターンマッチング処理後フレーム画像ｎ１２８とに基づいて優先順位を比較して最終的な優先順位を決定し、検出すべき付帯素子１１の発光素子の発光点を識別するオブジェクト抽出処理を説明するための図である。
【０１１１】
すなわち、図１３に示すように、コンピュータシステム２は、ノイズ処理手段２３により、図９の空間フィルタ処理後フレーム画像ｎ１２４と図１１のパターンマッチング処理後フレーム画像ｎ１２８とを比較し(図１３ステップＳ５０）、例えば両処理後に共に抽出された信号のみを抽出すると、下の図に示すように、空間フィルタ処理後フレーム画像ｎ１２４における優先順位３位の信号は除去され、優先順位１位と２位の信号のみが残る。このように残った両信号の強度に着目して、所定の閾値を設定し、この閾値と優先順位１位と２位の両信号と比較し、閾値以上の信号のみを抽出する（ステップＳ５１）。なお、閾値は検出した信号中の最大値から決めるかまたは予め設定した値とする。この結果、閾値以上の信号は左上の信号のみとなり、この信号が優先順位１位の信号として最終的に決定され、この信号を検出すべき付帯素子１１の発光素子の発光点を識別することができる。
【０１１２】
なお、上述したように、図９の空間フィルタ処理後フレーム画像ｎ１２４と図１１のパターンマッチング処理後フレーム画像ｎ１２８とから最終的な優先順位を決定する方法には種々の方法が適用できる。例えば、いずれか一方の結果をそのまま採用する方法、または両者を合成する方法などがある。どのような方法を採用すべきかはどのような用途に使用するかにより判断すべきことである。
【０１１３】
また、上述した閾値との比較において、複数の信号が閾値を超える場合には、閾値を変えて再度比較することも考えられるし、更には再度何らかの画像処理を施すことも考えられるが、どのような用途に使用するかにより判断すべきである。
【０１１４】
図１４は、上述した図１〜図１３の処理を総合した結果を示す図である。
【０１１５】
すなわち、図２および図１４に示すように、コンピュータシステム２は、まず発光指示命令装置１０５が指定する識別ＩＤを含む発光指示命令を各付帯素子１１に向けて送信して、識別ＩＤの一致する付帯素子１１の発光素子を発光させ（ステップＳ１〜Ｓ６参照）、次にこの発光を動画カメラ１０３で撮像して（ステップＳ７参照）、その発光点を含む出力画像フレームとして出力する。
【０１１６】
次にコンピュータシステム２は、ノイズ処理手段２３により、出力した画像フレームと隣接画像フレームとの差分処理を施してノイズを除去し（ステップＳ１０〜Ｓ１３参照）、続いて差分処理された画像に対して空間フィルタ処理およびパターンマッチング処理を施して、差分処理後も残っているノイズを更に除去する（ステップＳ３０〜Ｓ３３および／またはステップＳ４０〜Ｓ４２）。
【０１１７】
次いで、コンピュータシステム２は、空間フィルタ処理後およびパターンマッチング処理後のそれぞれのフレーム画像に対して優先順位の比較を行ってフレーム内の信号間に優先順位を決定し、この決定された優先順位の信号を所定の閾値と比較し、最終的に優先順位１位の発光点を決定しているものである（ステップＳ５７）。
【０１１８】
図１５は、図１３において決定された優先順位１位の発光点とオブジェクトに付帯された付帯素子１１の位置情報を対応付け、そのフレーム画像内座標を付帯素子１１の位置情報とすることを示す説明図である。
【０１１９】
すなわち、コンピュータシステム２は、対応付け手段２５により、発光指示命令装置１０５が例えば識別ＩＤ＝ｍを含む発光指示命令を命じた時の時間をＴｍとし、その発光を撮像した出力画像フレームｎにおいて優先順位１位となった信号のフレーム画像内座標を図１５の１３４ａに示すように（Ｘｍ，Ｙｍ）として抽出することができる（ステップＳ６０）。このとき、優先順位１位となった信号の位置は、上述した説明から識別ＩＤ＝ｍの付帯素子１１からの発光を示すものであるため、この優先順位１位のフレーム画像内座標（Ｘｍ，Ｙｍ）を時間Ｔｍにおける付帯素子１１の位置とすることができる。同様に、識別ＩＤ＝ｍ＋１を含む発光指示命令を命じた時間Ｔｍ＋１に対する出力画像フレームｎ＋１に対しては、フレーム画像内座標は図９の３４ｂに示すように（Ｘｍ＋１，Ｙｍ＋１）として抽出される（ステップＳ６１）。
【０１２０】
図１６は、図１５に示したように抽出されたオブジェクトの識別ＩＤ＝ｍ、ｍ＋１、…、発光指示命令を送信した時間Ｔｍ、Ｔｍ＋１、…、当該オブジェクトのフレーム画像内座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を関連付けたファイル、すなわち各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を生成する処理を示している図である。
【０１２１】
すなわち、コンピュータシステム２は、対応付け手段２５により、各時間（Ｔｍ、Ｔｍ＋１、…）とそれに対応する出力フレーム（ｎ、ｎ＋１、…）から抽出された各識別ＩＤ（ｍ、ｍ＋１、…）のフレーム画像内位置座標の対応付けを行い（ステップＳ６５、ステップＳ６６）、次いで対応付けられた各識別ＩＤ（ｍ、ｍ＋１、…）とフレーム画像内位置座標とに基づいて、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を生成する（ステップＳ６７）。
【０１２２】
すなわち、このフレーム画像内位置データ抽出ファイル１３５は、各オブジェクトＩＤ（ｍ、ｍ＋１、…）に対応して各時間（Ｔｍ、Ｔｍ＋１、…）および画面座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を互いに対応付けて登録している。
【０１２３】
図１７は、図１６に示した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を予めコンピュータシステム２内の情報ファイルと結合して、オブジェクトデータベース１４１として構成して扱うことを説明している図である。このコンピュータシステム２内の情報ファイルの一例としては、オブジェクト名に関するデータファイル１３７が図示されている。
【０１２４】
このオブジェクト名に関するデータファイル１３７は、予め別ファイルとして、オブジェクトに関する情報（本実施形態では、各オブジェクトに付随するキーワード）を蓄積したファイルである。
【０１２５】
図１７におけるコンピュータシステム２内の情報との結合では、対応付け手段２５により、リレーショナルデータベース的な考え方で、共通のオブジェクトＩＤによって各オブジェクトのフレーム画像内位置データ抽出ファイル１３５とオブジェクト名に関するデータファイル１３７とを結合している（ステップＳ７０）。この結合前には、時間Ｔｍに識別ＩＤ＝ｍとして付帯された付帯素子１１の位置は、フレーム画像内座標である画面座標（Ｘｍ，Ｙｍ）であるとしか分からなかったが、本例のようにオブジェクト名に関するデータファイル３７と結合することにより、時間Ｔｍに名称Ａというものが座標（Ｘｍ，Ｙｍ）にあるというようにより人間に分かり易い情報として得られるオブジェクトデータベース１４１を構築することができる。
【０１２６】
なお、ファイル間の結合は、コンピュータシステム２のハードディスク等の外部記憶装置の記憶領域内のファイル同士であってもよいし、または図示しないネットワークを経由して異なる複数のコンピュータシステム間の記憶領域内のファイル同士の結合であってもよい。
【０１２７】
図１８は、図１７で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５とオブジェクト名に関するデータファイル１３７をオブジェクトＩＤで結合したオブジェクトデータベース１４１のオブジェクト名に関するデータファイル１３７に対して他の項目であるキーワードを共通キーとして情報ファイル１３８をコンピュータシステム２の対応付け手段２５により結合して情報データベース１４３を構成する（ステップＳ７１参照）ことを示す図である。
【０１２８】
情報ファイル１３８は、キーワードに対応して趣味、購買履歴、色、値段、ＵＲＬ−Ｂなどの情報を登録しており、このＵＲＬ−Ｂは、情報データベース１４３がＩＰ（Internet Protocol）網１５１上に存在するウェブサイトにアクセスして、このウェブサイトから情報を取得し得ることを示している。
【０１２９】
図１８に示すように、複数のファイルを共通のキーで結合することにより、複数のデータベースを構成することができ、提供する情報の付加価値を高めることができる。例えば、本例では、時間Ｔｍに座標（Ｘｍ，Ｙｍ）にあった名称Ａの購買履歴はＸＸであるというような付加価値の高い情報にすることができる。更に、上述したように付加情報としてＩＰ網上でのファイルの存在場所を表すＵＲＬ(Uniform Resource Locator）を付け加えれば、指定されたＵＲＬのサイトから情報を引き出し、前記情報に付加情報として付け加えることも可能である。
【０１３０】
なお、ファイル間の結合は、コンピュータシステム２のハードディスク等の外部記憶装置の記憶領域内のファイル同士であってもよいし、または図示しないネットワークを経由して異なる複数のコンピュータシステム間の記憶領域内のファイル同士の結合であってもよいことは上述した場合と同じである。
【０１３１】
図１９は、前記オブジェクトのフレーム画像内位置データ抽出ファイル１３５をコンピュータシステム２により構築されるサイバー空間（コンピュータシステム２、あるいはネットワークに接続された複数のコンピュータシステムとそのコンピュータシステムに蓄積された情報とから構築された空間）でのオブジェクト管理に関連付けて、実世界とサイバー世界のオブジェクト管理データベース１４５を構築することを示している図である。
【０１３２】
更に詳しくは、コンピュータシステム２は、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５をサイバー世界上のオブジェクトリスト１３９と両者の共通の項目である識別ＩＤをキーとして対応付け手段２５により結合して、実世界とサイバー世界のオブジェクト管理データベース１４５を構成している（ステップＳ７３）。サイバー上のオブジェクトリスト１３９は、項目として識別ＩＤ、位置、時間、属性、センシング情報、αなどを有する。
【０１３３】
サイバー世界において、実世界にあるモノを仮想的にオブジェクトとして管理するということは、そのプロパティを管理することを意味し、そのプロパティを構成するものは、通常予め補足が可能な固定的な情報に限られている。例えば、本であれば、ページ数、出版社などである。本例では、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５のようにリアルタイムで実世界のオブジェクトの位置情報を認識し、それを識別ＩＤと関連させて、他のファイルに対して提供できるような仕組みを提供するため、サイバー上のオブジェクトリスト１３９の項目として実世界での位置情報をリアルタイムに追加することができる。このように従来固定的であったサイバー上のオブジェクト情報を実世界の変化に即して自動的に変更することができる。すなわち、実世界に即してサイバーオブジェクトを管理して、実世界に密にサイバーオブジェクトを実現し、実世界とサイバー世界を結合することができる。
【０１３４】
図２０は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図である。
【０１３５】
図２０に示す実施形態において、コンピュータシステム２は、発光指示命令装置１０５と動画カメラ１０３との協調動作により、発光指示命令に応答して発光する付帯素子１１の発光を動画カメラ１０３のフレーム周期に同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内にしている点が異なるものであり、その他の構成および作用は同じであり、同じ構成要素には同じ符号を付してその説明を省略する。
【０１３６】
図２１は、図２０に示す実施形態において各付帯素子１１の発光素子からの発光像を撮像した動画カメラ１０３の出力フレーム画像（フレーム毎の画像データ）を図示しているものである。
【０１３７】
本実施形態では、図２０に示したように、コンピュータシステム２の発光指示命令装置１０５と動画カメラ１０３との協調動作により、発光指示命令装置１０５からの発光指示命令に応答して発光する付帯素子１１の発光時点を動画カメラ１０３のフレーム周期に同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内に設定している。
【０１３８】
この結果、図２１に示すように、動画カメラ１０３から出力されたフレーム画像ｎおよびｎ＋１には、付帯素子１１ｂ、１１ｃの発光素子からの発光像Ｉ３ｂ、Ｉ３ｃのみが現れ、図３に示したように他の付帯素子１１からの発光像の一部がノイズとして現れないようになっている。従って、付帯素子１１の位置の認識を正しく行うことができる。また、認識が１フレーム毎に終了するため、動画カメラ１０３のフレーム周期と同じ高速な周期でオブジェクトの認識が可能となる。
【０１３９】
図２２は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図である。
【０１４０】
図２２に示すように、本実施の形態においては、特に、実世界のオブジェクトＯに付帯させられる各付帯素子１１の発光素子１５ｃが、発光制御手段１５ｄの制御に応じて、動画カメラ１０３のフレームに同期することなく自発的かつ所定の周期で繰り返し発光するものである。
【０１４１】
また、各付帯素子１１は、自発的かつ所定の周期の繰り返し発光に同期して、例えば送信手段１６ｄ等により、自素子に予め割り当てられている識別ＩＤをコンピュータシステム２に向けて送信するようになっている。この識別ＩＤは、発光に含ませてコンピュータシステム２に送信してもよいし、別の通信路を経由してコンピュータシステム２に送信してもよく、任意の手段を取り得るものである。
【０１４２】
このとき、コンピュータシステム２は、図４に示したように、動画カメラ１０３で付帯素子１１の発光を撮像するとともに、この発光に同期して送信される識別ＩＤを受信し、この撮像した発光点の位置を上述したと同様にして実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置をサイバー世界を構成するコンピュータシステム２において認識、すなわち識別情報に対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
【０１４３】
図２３は、図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図であり、特に各付帯素子１１の発光素子１５ｃは、その発光制御手段１５ｄの制御に応じて、動画カメラ１０３のフレームに同期することなく自発的であるも周期的でなく、ランダムな長さのガード時間の後繰り返し発光する。
【０１４４】
図２３に示す実施形態では、付帯素子１１は、例えば送信手段１６ｄにより、動画カメラ１０３のフレームに同期することなく自発的であるも周期的でなく、ランダムな長さのガード時間の後繰り返し行われる発光に同期して、図２２と同様に、自分に予め割り当てられている識別ＩＤをコンピュータシステムに向けて送信するようになっている。この識別ＩＤは、発光に含ませてコンピュータシステムに送信してもよいし、別の通信路を経由してコンピュータシステムに送信してもよく、任意の手段を取り得るものである。
【０１４５】
付帯素子１１は、動画カメラ１０３のフレームに同期することなく非周期的にランダムな長さのガード時間の後繰り返し発光するとともに、この発光に同期して識別ＩＤをコンピュータシステムに向けて送信しているため、コンピュータシステム２は動画カメラ１０３で付帯素子の発光を撮像するとともに、この発光に同期して送信される識別ＩＤを受信し、この撮像した発光点の位置を上述したと同様にして実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置をサイバー世界を構成するコンピュータシステム２において認識、すなわち識別情報に対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
【０１４６】
図２４は、本発明の更に別の実施形態に係わる実世界オブジェクト認識システム１の全体動作を説明するための図であり、特にオブジェクトＯに付帯される付帯素子１１が発光指示命令装置１０５からの発光指示命令に応答して所定時間、所定の周期で繰り返し発光するものである。
【０１４７】
本実施形態では、図２４に示すように、例えば付帯素子１１ａの発光素子１５ｃは、発光制御手段１５ｄの制御に応じて、時刻Ｔｍ−１にコンピュータシステム２の有する発光指示命令装置１０５から一回出力される発光指示命令に応答すると、所定の周期Ｔで繰り返し自発的に所定時間、発光するようになっている。また、付帯素子１１ｂ、１１ｃも、同様に、時刻Ｔｍ、Ｔｍ＋１に一回出力される発光指示命令に応答すると、所定の周期Ｔで繰り返し自発的に所定時間発光するようになっている。このように一回の発光指示命令により所定時間、所定の周期Ｔで繰り返し発光することにより、発光指示命令の出力回数を低減することができ、発光指示命令装置１０５と付帯素子１１の受光手段間の通信頻度を低減でき、かつ動作頻度も低減でき、消費エネルギを低減することができる。
【０１４８】
すなわち、本実施形態では、実世界のオブジェクトＯに付帯され、予め識別ＩＤを割り当てられている付帯素子１１は、サイバー世界を構成するコンピュータシステム２から識別ＩＤを含む発光指示命令を１回受信すると、この発光指示命令に含まれる識別情報が自分に割り当てられた識別情報である場合、この１回の発光指示命令に応答して所定時間、所定の周期で繰り返し発光する。
【０１４９】
そして、コンピュータシステム２においては、付帯素子１１の発光を動画カメラ１０３で撮像し、この撮像した発光点の位置を実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置を識別ＩＤに対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
【０１５０】
図２５は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態に係わるの全体動作を説明するための図であり、特に図２４の実施形態において発光指示命令に応答して発光する付帯素子１１の発光を動画カメラ１０３のフレーム周期Ｔｆに同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内にしているものである。本実施形態は、その他の構成、作用、効果は図２４の実施形態と同じであり、同じ構成要素には同じ符号を付してその説明を省略する。
【０１５１】
図２６は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０１５２】
同図に示す実施形態に係る実世界オブジェクト認識システム１は、図２に示した実施形態において、第１の撮像手段２２である第１の動画カメラ１０３ａに加えて、その第１の動画カメラ１０３ａと同じ撮像視野（視野領域１０９）を有する第２の撮像手段３０である第２の動画カメラ１０３ｂを備えており、この第２の動画カメラ１０３ｂは、付帯素子１１の付帯されている実世界のオブジェクトＯの画像を撮像し、この撮像した実世界オブジェクトに関する画像と第１の動画カメラ１０３ａにより撮像された画像により得られたオブジェクトの位置とをサイバー世界であるコンピュータシステム２上において結合するようにしている点が異なるものであり、その他の構成、作用、効果は同じであり、同じ構成要素には同じ符号を付し、その説明を省略する。
【０１５３】
第２の動画カメラ１０３ｂは、所謂一般のデジタルビデオカメラなどであり、可視画像を撮像し得るものであるが、動画カメラである必要はなく、静止画カメラでもよいものである。
【０１５４】
第１の動画カメラ１０３ａおよび第２の動画カメラ１０３ｂを有するコンピュータシステム２においては付帯素子１１の発光を第１の動画カメラ１０３ａで撮像するとともに、第２の動画カメラ１０３ｂで付帯素子１１の付帯されている実世界のオブジェクトＯの画像そのものを図２６において右下隅にオブジェクトの画像１５１（Ｔｍ）｛発光時刻Ｔｍにて撮像｝、１５１（Ｔｍ＋１）｛発光時刻Ｔｍ＋１にて撮像｝等として示すように撮像する。
【０１５５】
このように構成される本実施形態では、実世界のオブジェクトＯに付帯させられている付帯素子１１は識別ＩＤを割り当てられ、発光指示命令装置１０５からの発光指示命令に応答して発光するように構成されていることは図２の実施形態と同じである。ここでコンピュータシステム２の発光指示命令装置１０５から付帯素子１１を特定する識別ＩＤを含む発光指示命令を付帯素子１１が受信すると、付帯素子１１は発光指示命令に含まれる識別情報が自分に割り当てられた識別情報である場合に発光する。
【０１５６】
コンピュータシステム２においては、付帯素子１１の発光を第１の動画カメラ１０３ａで撮像するとともに、第２の動画カメラ１０３ｂで付帯素子１１の付帯されている実世界のオブジェクトＯの画像を撮像し、第１の動画カメラ１０３ａで撮像した発光点の位置を実世界オブジェクトＯの位置として特定し、この特定した実世界オブジェクトＯの位置および識別ＩＤを第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像に関連付け、この関連付けられた実世界オブジェクトＯの画像および位置をサイバー世界（コンピュータシステム２）上で結合するようになっている。
【０１５７】
図２７は、図２６で説明したように第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合または関連付けを説明するための図である。
【０１５８】
図２７に示すように、コンピュータシステム２は、対応付け手段２５により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトＯｂの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１ａとを結合する（図２８；ステップＳ８０）。
【０１５９】
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトＯｂの識別ＩＤ＝ｍ＋１の符号１３４（Ｔｍ＋１）で示す付帯素子１１ｃの発光点の位置座標（座標データ）（Ｘｍ＋１， Ｙｍ＋１）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｃの画像１５１ｂを結合する（ステップＳ８１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯの画像および位置をコンピュータシステム２上で結合することができる。
【０１６０】
図２９は、図２７で説明した第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との関連付けにおいて、第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置座標に該当する第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像上に可視マーカを重ねて表示した図である。
【０１６１】
すなわち、コンピュータシステム２は、対応付け手段２５およびマーカ情報生成手段２７により、発光時刻Ｔｍにおいて、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）における、第１の動画カメラ１０３ａで撮像した画像により得られた付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）上にユーザが視認できる所定形状の可視マーカ（マーカデータ）Ｍｂを重畳する（図３０；ステップＳ９０）。
【０１６２】
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）における、第１の動画カメラ１０３ａで撮像した画像により得られた付帯素子１１ｂの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）上にユーザが視認できる所定形状の可視マーカ（マーカデータ）Ｍｂを重畳する（ステップＳ９１）。なお、オブジェクトＯｃについても同様に、オブジェクトＯｃ（付帯素子１１ｃ）のＴｍおよびＴｍ＋１の位置に応じて可視マーカＭｃが表示される。
【０１６３】
この結果、図２９に示すように、第２の動画カメラ１０３ｂで発光時刻Ｔｍにおいて撮像した実世界オブジェクトＯｂ、Ｏｃの画像１５１（Ｔｍ）と、発光時刻Ｔｍ＋１で撮像した実世界オブジェクトＯｂ、Ｏｃの画像１５１（Ｔｍ＋１）との上に、オブジェクトＯｂ、Ｏｃに対応する可視マーカＭｂ、Ｍｃが重畳した状態で表示されている。
【０１６４】
このように可視マーカ表示を行うことにより、画像を閲覧するユーザは、本システムにより認識されている実世界オブジェクトを容易に確認することができる。
【０１６５】
例えば、このようにマーカ表示された画像をコンピュータシステム２の映像表示手段２６におけるディスプレイに表示し、そのマーカの位置をユーザが入力手段３２における例えばマウスで指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２に、例えば発光時刻Ｔｍに当該マーカの位置に存在した付帯素子１１が付帯されたオブジェクトＯのプロパティ情報を得ること等の所望の動作を実行させることが可能である。
【０１６６】
このように、本実施形態では、ユーザの入力手段３２におけるマウス操作による可視マーカクリックに応じてコンピュータシステム２に所望（予めプログラムされた）動作を実行させることができるため、ヒューマンインタフェースの使い勝手を大幅に向上させることができる。なお、マウスのクリックの代わりに例えばディスプレイとしてタッチパネルディスプレイを使用することにより、ステンシルや指で画面上に表示されたマーカ部分を触れて、同様にコンピュータシステム２に所望の動作（対応するオブジェクトＯのプロパティ情報取得動作等）を実行させることができる。
【０１６７】
図３１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０１６８】
本実施形態においては、特に図２６に示した実施形態の第１の動画カメラ１０３ａ、第２の動画カメラ１０３ｂの視野領域１０９の一方または両方を最終的にユーザに提供する画像コンテンツ枠よりも大きくし、画像コンテンツ枠外に存在する実世界オブジェクトの脇待機状態を第１の動画カメラ１０３ａ、第２の動画カメラ１０３ｂの一方または両方で撮像して把握し、この把握した実世界オブジェクトの識別情報、発光位置、発光時点を認識するようにしたものである。
【０１６９】
すなわち、図３１に示すように、コンピュータシステム２における映像表示手段２６により、最終的にユーザである受給者に提供される画像コンテンツ枠は１６１で示すように小さく設定され、この画像コンテンツ枠１６１の外側には第２の動画カメラ１０３ｂの視野範囲が１６２で示すように設定される。
【０１７０】
更にコンピュータシステム２における映像表示手段２６により、第２の動画カメラ１０３ｂの視野範囲１６２の外側に第１の動画カメラ１０３ａの視野範囲が１６３で示すように設定されている。そして、第２の動画カメラ１０３ｂの視野範囲１６２と第１の動画カメラ１０３ａの視野範囲１６３が周辺領域の実オブジェクトの脇待機状態の認識領域となり、更にその外側の画面枠外近傍領域が第１および第２の動画カメラ１０３ａおよび１０３ｂの視野外となる。なお、図３１では、各実オブジェクトＯ（Ｏａ〜Ｏｇ）に白丸をつけて、各実オブジェクトＯａ〜Ｏｇに付帯している付帯素子１１（に対応するマーカ）を示している。
【０１７１】
すなわち、本実施形態では、画像コンテンツ枠外に存在する実世界オブジェクトＯｄ〜Ｏｇの内、第１の動画カメラ１０３ａおよび／または第２の動画カメラ１０３ｂの視野領域に対応するオブジェクトＯｄ〜Ｏｇの状態（脇待機状態）を、第１の動画カメラ１０３ａの映像に基づく位置座標および／または第２の動画カメラ１０３ｂによる映像としてコンピュータシステム２が認識することができる。
【０１７２】
このため、例えば画像コンテンツ枠外に存在した実世界オブジェクト（例えば、実オブジェクトＯｄ、Ｏｆ）が第２の動画カメラ１０３ｂの視野領域および／または第１の動画カメラ１０３ａの視野領域に入った場合でも、コンピュータシステム２は、予め脇待機状態として把握していた位置座標および映像情報を利用して、対応する実世界オブジェクトをスムーズに認識することができる。
【０１７３】
図３２は、図３１の実施形態において、第１の動画カメラ１０３ａの視野領域と第２の動画カメラ１０３ｂの視野領域とを符号１６４で示すように同一した図であり、その他の構成および作用は図３１と同様である。
【０１７４】
図３３は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０１７５】
なお、上述した全ての実施形態において、付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５のみを有していればよい。
【０１７６】
そして、本実施形態における付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５およびセンシング部１７を備えている。
【０１７７】
すなわち、図３３に示す実施形態では、図１に示したように、識別ＩＤを割り当てられ、実世界のオブジェクトＯに付帯された付帯素子１１は、図２に示す構成において、さらに付帯素子１１を付帯する実世界オブジェクトＯの状態または実世界オブジェクトＯの近傍の状態または両方を感知し、この感知した実世界オブジェクトＯに関するセンシング情報をコンピュータシステム２のセンシング指示送信手段４０およびセンシング情報受信手段４１を構成する発光指示命令／信号受信部２１０に対して送信するセンシング部１７を備えている。
【０１７８】
発光指示命令／信号受信部２１０は、付帯素子１１のセンサからの実世界オブジェクトＯに関するセンシング情報を受信するようになっており、コンピュータシステム２は、実世界オブジェクトＯに関するセンシング情報を必要により図２の実施形態で特定した実世界オブジェクトＯの位置とともに前記識別情報で特定されるオブジェクトＯ、オブジェクトＯに関連する情報または情報処理機能に関連付けて認識するようになっている。
【０１７９】
また、図３３において、発光指示命令／信号受信部２１０は付帯素子１１を特定する識別ＩＤが含まれた例えばＲＦ信号等からなるセンシング指示命令を付帯素子１１に向けて送信するように構成されている。なお、その他の構成については、図２に示す構成と略同等であるため、その説明は省略または簡略化する。
【０１８０】
付帯素子１１は、発光指示命令／信号受信部２１０からのセンシング指示命令をセンシング指示受信手段１７ｂで受信し、識別情報比較手段１７ｃにより、受信したセンシング指示命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、前記感知した実世界オブジェクトＯに関するセンシング情報を感知情報送信手段１７ｄから例えばＲＦ信号として発光指示命令／信号受信部２１０に向けて送信する。
【０１８１】
このとき、発光指示命令／信号受信部２１０は、このセンシング情報を受信するようになっている。
【０１８２】
また更に別の構成として、付帯素子１１は、感知情報送信手段１７ｄにより、前記感知した実世界オブジェクトに関するセンシング情報を自分に割り当てられた識別ＩＤとともに自発的に発光指示命令／信号受信部２１０に向けて送信し、発光指示命令／信号受信部２１０はこのセンシング情報および識別ＩＤを受信し、受信した識別ＩＤから、センシング情報発信元の付帯素子１１を識別するようになっている。
【０１８３】
これは、例えば倉庫などに置かれている製品にセンサ１７ａとして加速度センサ付きの付帯素子を取り付けておき、その製品が動かされたら、その動きを加速度センサで感知し、そのセンシング情報を発光指示命令／信号受信部２１０に送信し、例えば何らかの警報を発生するようなアプリケーションに適用したり、またはセンサ１７ａとして温度センサが付帯素子１１に搭載され、その温度センサにより所定時間毎に発光指示命令／信号受信部２１０に温度を通知するようなアプリケーションに適用し得るものである。
【０１８４】
センシング情報の送信のきっかけ（トリガ）は、上述した加速度センサの例では例えばセンサの出力がある閾値を超えた場合であり、温度センサの例では例えば所定の時間になった場合であり、これらの場合にセンシング情報が付帯素子１１から発光指示命令／信号受信部２１０に送信される。発光指示命令／信号受信部２１０は、このセンシング情報とともに付帯素子１１から送信されてくる識別ＩＤを受信し、この識別ＩＤに基づきどの実世界オブジェクトのセンシング情報であるかを識別することができる。
【０１８５】
なお、センサ１７ａで感知する付帯素子１１を付帯する実世界オブジェクトＯの状態や実世界オブジェクトＯの近傍の状態とは、例えばオブジェクト自身の温度、振動、加速度、動き、傾き、圧力、場所などといったものや、オブジェクトを取り巻く環境の温度、湿度、騒音，ＣＯ２濃度、花粉の多さなどといったものである。
【０１８６】
図３４に示すように、コンピュータシステム２は、関連付け蓄積手段４７により、図３３で取得したセンシング情報を、図１８で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５およびオブジェクト名に関するデータファイル１３７が識別ＩＤで結合されたオブジェクトデータベース１４１に対して結合して各オブジェクトの位置およびセンシングデータが関連付けられた位置・センシングデータ抽出ファイル１８１を生成し（ステップＳ１００）、この各オブジェクトの位置・センシングデータ抽出ファイル１８１に対して識別ＩＤを共通項としてコンピュータシステム２上に予め登録済みの各オブジェクトの属性情報ファイル１８３を結合してオブジェクト管理データベース１８５を構成することを示す図である。
【０１８７】
図３４において、位置・センシングデータ抽出ファイル１８１は、図１６で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５に対して識別ＩＤを共通項として付帯素子１１のセンサから出力されるセンシング情報を追加したものである。また、コンピュータシステム２上に予め登録済みの各オブジェクトの属性情報ファイル１８３は、図１７で説明したオブジェクト名に関するデータファイル１３７に対してセンサで得られるセンシング情報の属性も１つの属性情報として予め登録しておいたものである。この予め登録済みのセンシング情報の属性情報としては、図示のように温度、湿度、照度、体温、心拍、位置、内容物などがある。
【０１８８】
図３４に示すオブジェクト管理データベース１８５の例では、例えば識別ＩＤ＝ｍに対応する実世界オブジェクトでは、体温、心拍などがセンシング情報として登録され、また識別ＩＤ＝ｍ−１に対応する実世界オブジェクトでは、温度、湿度、照度などがセンシング情報として得られることが予めファイル上に登録されている。そして、この登録済みのセンシング情報に対して図３３の実施形態で取得したセンシング情報を対応させ、この対応付けをオブジェクト管理データベース１８５でオブジェクト情報を管理し提供するものである。
【０１８９】
図３５は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０１９０】
図３５に示すように、コンピュータシステム２は、その関連付け蓄積手段４７により、図３４に示した位置・センシングデータ抽出ファイル１８１をインターネットであるＩＰ網１５１上に配置されているセンシング情報データベース１８７に登録されているインターネット上に予め登録済みの各オブジェクトの属性情報ファイル１８４に対して識別ＩＤを共通項として結合（リンク）してオブジェクト管理データベース１８５を構成している（ステップＳ１１０）。
【０１９１】
図３６は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０１９２】
図３６に示すように、コンピュータシステム２は、図１９に示した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５に図３５で取得されたセンシング情報を加えて位置・センシングデータ抽出ファイル１８２を構成し、この位置・センシングデータ抽出ファイル１８２をコンピュータシステム２上のオブジェクトリストファイル１３９に関連付けてオブジェクト管理データベース１４５を構築している（ステップＳ１２０）。
【０１９３】
サイバー上のオブジェクトリストファイル１３９においてサイバー世界（コンピュータシステム２上）で管理するオブジェクトのプロパティとしては、更にセンシング情報も提供できるようにしている。
【０１９４】
図３７は、図２６に示す実施形態において各付帯素子１１にセンシング部１７を図３３に示すように備えるとともに、またコンピュータシステム２においては、発光指示命令装置５の代わりに送受信装置１９０を備え、この送受信装置１９０（発光指示命令送信手段２１、センシング指示送信手段４０およびセンシング情報受信手段４１に対応）は、センシング指示命令を付帯素子１１に送信し、付帯素子１１からセンシング情報を受信するように構成した図である。従って、その他の構成および作用は図２６および図３３と同じであり、その説明は省略する。
【０１９５】
図３８は、図２７に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合において付帯素子１１の情報として更にセンシングデータを加えた図である。
【０１９６】
すなわち、コンピュータシステム２は、関連付け蓄積手段４７により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）および上記発光時刻ＴｍにおいてセンシングされたセンシングデータＤｍ（符号１９１ａで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）とを結合する（図３９；ステップＳ１３０）。
【０１９７】
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍ＋１の符号１３４（Ｔｍ＋１）で示す付帯素子１１ｃの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）および上記発光時刻Ｔｍ＋１においてセンシングされたセンシングデータＤｍ＋１（符号１９１ｂで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）を結合する（ステップＳ１３１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯの画像、位置およびセンシングデータをコンピュータシステム２上で結合することができる。
【０１９８】
この結果、コンピュータシステム２は、結合された実世界オブジェクトＯの画像、位置およびセンシングデータに基づいて、所望のタイミング（例えば、受信に応じて、あるいはユーザからの指示に応じて）において、上記実世界オブジェクトＯの画像上における例えば発光点の位置座標（オブジェクトＯｂの位置座標）上に対し、対応する付帯素子１１ｂで得られたセンシングデータを所定の表示形態に加工して重畳表示することができる。
【０１９９】
例えば、オブジェクトとしてのヒトＯｂに付帯された付帯素子１１ｂが例えばオブジェクト（ヒト）Ｏｂのバイタルデータ（生体情報：血圧、脈拍、体温等のデータ）を検出できるバイタルデータ感知センサ１７ａを有している場合、検出されたバイタルデータを数値（バイタル値）として対応するオブジェクトＯｂ上に重畳表示することもできる。
【０２００】
この結果、例えばヒトのオブジェクトＯｂの移動に応じて位置が変わる毎に、その移動に応じてバイタル値の表示位置が連動するため、ユーザは、オブジェクトＯｂの移動位置毎のバイタル値の移り変わりを視認することができる。
【０２０１】
また、例えば、複数のオブジェクトそれぞれに付帯された付帯素子１１が例えばその周囲の温度を検出する温度データ感知センサ１７ａを有している場合、複数の付帯素子１１それぞれにより検出された複数の温度を数値（バイタル値）およびドットとして対応する複数の付帯素子１１それぞれの上に重畳表示し、かつ各ドットを線分で結んで折れ線グラフとして表示することもできる。
【０２０２】
図４０は、図２９に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯｂの画像との関連付けにおいて実世界オブジェクトＯｂの画像｛１５１（Ｔｍ）、１５１（Ｔｍ＋１）｝上に可視マーカＭｂを重ねて表示したものに更に付帯素子１１の情報としてセンシングデータＤｍ、Ｄｍ＋１（図３８および図３９参照）を加えた図である。その他の構成および作用は同じであり、その説明は省略する。
【０２０３】
この結果、ユーザが上記オブジェクトＯｂに付帯された付帯素子１１ｂのセンシングデータを視認したいと考えた際に、入力手段３２における例えばマウスで対応する可視マーカＭｂを指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２は、クリックされた可視マーカＭｂに対応する付帯素子１１ｂにより感知されたセンシングデータを、例えば可視マーカＭｂの表示位置上、あるいはその近傍に表示することができ、ユーザは、表示されたセンシングデータを視認することができる。
【０２０４】
図４１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０２０５】
本実施形態における付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５および作動部１６を備えている。
【０２０６】
作動部１６における作用素子１６ａは、例えばアクチュエータであり、このアクチュエータは、例えば電気的入力に応答して実世界上に何らかの力学的な作用を施すもの（例えばバイブレータ、モータ、スピーカ、ＬＥＤ等）に加えて、搭載されているコンピュータに対して所定の動作を指示するプログラム等も含まれる。
【０２０７】
すなわち、本構成において、発光指示命令／信号受信部２１０は、付帯素子１１を特定する識別情報を含む作動命令を例えばＲＦ信号により送信する。
【０２０８】
このとき、各付帯素子１１は、その作動命令を作動命令受信手段１６ｂで受信し、識別情報比較手段１６ｃにより、受信した作動命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、作用素子であるアクチュエータ１６ａにより所定の動作を実行するようになっている。
【０２０９】
また、付帯素子１１は、その送信手段１６ｄにより、必要に応じてアクチュエータ作動命令受信確認信号および／またはアクチュエータの実行結果(作動結果）を含むアクチュエータ実行通知信号を発光指示命令／信号受信部２１０に送信する。
【０２１０】
発光指示命令／信号受信部２１０は、付帯素子１１からアクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を受信し、その受信結果に基づくアクチュエータの作動機能に関する情報を、対応するオブジェクトＯの識別情報、オブジェクトＯに関連する情報または情報処理機能に関連付けて認識するようになっている。
【０２１１】
図４２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
【０２１２】
図４２は、図２６に示す実施形態において各付帯素子１１に作動部１６を図４１に示すように備えるとともに、またコンピュータシステム２における発光指示命令／信号受信部１９０（発光指示命令送信手段２１、作動命令送信手段４５および受信手段４６に対応）は、作動命令を付帯素子１１に送信し、付帯素子１１から作用実行通知および／または作動命令受信確認信号を受信するように構成した図である。従って、その他の構成および作用は図２６および図４１と同じであり、その説明は省略する。
【０２１３】
図４３は、図２７に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合において付帯素子１１の情報として更にアクチュエータ作動機能に関する情報を加えた図である。
【０２１４】
すなわち、コンピュータシステム２は、関連付け蓄積手段４７により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）および上記発光時刻Ｔｍにおいて動作されたアクチュエータ１６ａの作動機能を表す情報Ａｍ（符号２０１ａで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）とを結合する（図４４；ステップＳ１４０）。
【０２１５】
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍ＋１の符号１３４ｂで示す付帯素子１１ｃの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）および上記発光時刻Ｔｍ＋１において動作されたアクチュエータ１６ａの作動機能に関する情報Ａｍ＋１（符号２０１ｂで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）を結合する（ステップＳ１４１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯｂの画像、位置およびアクチュエータの作動機能に関する情報をコンピュータシステム２上で結合することができる。
【０２１６】
この結果、コンピュータシステム２は、結合された実世界オブジェクトＯの画像、位置およびアクチュエータの作動機能に関する情報に基づいて、所望のタイミング（例えば、受信に応じて、あるいはユーザからの指示に応じて）において、上記実世界オブジェクトＯの画像上における例えば発光点の位置座標（オブジェクトＯｂの位置座標）上に対し、対応する付帯素子１１ｂのアクチュエータの例えば作動結果を表す情報を所定の表示形態（数値、アニメーション等）に加工して重畳表示することができる。
【０２１７】
図４４は、図２９に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯｂの画像との関連付けにおいて実世界オブジェクトＯｂの画像｛１５１（Ｔｍ）、１５１（Ｔｍ＋１）｝上に可視マーカＭｂを重ねて表示したものに更に付帯素子１１の情報としてアクチュエータの作動機能に関する情報Ａｍ、Ａｍ＋１（図４３および図４４参照）を加えた図である。その他の構成および作用は同じであり、その説明は省略する。
【０２１８】
この結果、ユーザが上記オブジェクトＯｂに付帯された付帯素子１１ｂの作動機能に係る情報を視認したいと考えた際に、入力手段３２における例えばマウスで対応する可視マーカＭｂを指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２は、クリックされた可視マーカＭｂに対応する付帯素子１１ｂのアクチュエータの例えば作動結果を表す情報を、例えば可視マーカＭｂの表示位置上、あるいはその近傍に表示することができ、ユーザは、表示された作動結果情報を視認することができる。
【０２１９】
図４５は、図４１に示した実施形態においてアクチュエータとして可視光発光素子１６ａを使用した場合の図であり、その他の構成および作用は図４１と同じである。なお、付帯素子１１は、発光指示命令／信号受部２１０からの発光指示命令に応答して発光する発光素子１５ｃとして、上述したように赤外付帯素子を備えているが、この赤外の付帯素子に加えてアクチュエータとして可視光発光素子を備えているものである。
【０２２０】
すなわち、図４５において、付帯素子１１にアクチュエータとして備えられている可視光発光素子に対して発光指示命令／信号受信部２１０が可視光発光指示命令を送信すると、付帯素子１１の作動命令受信手段１６ｂは、この可視光発光指示命令を受信し、識別情報比較手段１６ｃにより、受信した可視光発光指示命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、この可視光発光指示命令に従って可視光発光素子１６ａを作動させて、可視光発光指示命令への応答信号を発光指示命令／信号受信部２１０に送信する。
【０２２１】
発光指示命令／信号受信部２１０は、付帯素子１１から可視光発光指示命令への応答信号を受信し、付帯素子１１の可視光発光素子１６ａが作動したことを知ることができる。
【０２２２】
図４６は、図４５に示したように付帯素子１１にアクチュエータとして可視光発光素子１６ａを有する場合において、図２６に示した第２の動画カメラ１０３ｂを設けた場合の図であり、その他の構成および作用は図４５および図２６と同じである。
【０２２３】
図４７は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラの視野内へのオブジェクトの登場処理を説明するための図である。
【０２２４】
図４７に示す実施形態では、付帯素子１１ｂを付帯した実世界のオブジェクトＯｂが動画カメラ１０３の視野内に登場する場合の処理を示している。すなわち、図４７（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ディスプレイ、カバンであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｃ、１１ｄを付帯する３つのオブジェクトＯａ、Ｏｃ、Ｏｄが認識されている状況において、図４７（ｂ）に示すように、時刻Ｔ＝ｔ２において新たに付帯素子を有する付帯素子１１ｂを付帯したヒトであるオブジェクトＯｂが動画カメラ１０３の視野内に登場したとする。
【０２２５】
このとき、コンピュータシステム２は、対応付け手段２５により、所定の時定数ΔＴの間に、そのオブジェクトＯｂの識別ＩＤと付帯素子１１ｂの発光点を図４７（ｂ）に示すように認識したとき（図４８；ステップＳ１５０）、その識別ＩＤのオブジェクトＯｂが新たに登場したとコンピュータシステム２は認識する（ステップＳ１５１）。
【０２２６】
なお、必要があれば、オブジェクトへの発光指示命令の頻度を可変とし、登場判定をした後に、低下させていたオブジェクトＯｂへの発光指示命令の頻度を既に認識している他のオブジェクトと同じ頻度と同じレベルに戻すことができる。
【０２２７】
図４９は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラの視野外へのオブジェクトの退場処理を説明するための図である。
【０２２８】
図４９に示す実施形態では、付帯素子１１を付帯した実世界のオブジェクトＯが動画カメラ１０３の視野外に退場する場合の処理を示している。すなわち、図４９（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ヒト、カバン、ディスプレイであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｂ、１１ｃ、１１ｄを付帯する４つのオブジェクトＯａ、Ｏｂ、Ｏｃ、Ｏｄが認識されている況において、図４９（ｂ）に示すように、時刻Ｔ＝ｔ２においてオブジェクトＯｂが矢印１９１で示すように動画カメラ１０３の視野外に退場したとする。
【０２２９】
このようなオブジェクトＯｂが動画カメラ１０３の視野領域外に退場した場合に、コンピュータシステム２は、所定の時定数ΔＴの間に、そのオブジェクトＯｂの識別ＩＤと付帯素子１１ｂの付帯素子からの発光点とが認識できないとき（図５０；ステップＳ１６０）、その識別ＩＤのオブジェクトＯｂが視野領域１０９から退場したものと認識する（ステップＳ１６１）。
【０２３０】
このように退場したと認識した後は、オブジェクトＯｂへの発光指示命令の頻度を低下させて、無用な通信の頻度を低下させると共に、退場したオブジェクトＯｂの付帯素子１１ｂの付帯素子からの無駄な発光による消費電力を削減することができる。
【０２３１】
図５１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラを複数台設けて、立体測量を行う処理を説明するための図である。
【０２３２】
図５１に示す実施形態では、オブジェクトＯに付帯されている付帯素子１１の付帯素子からの発光を認識する動画カメラを複数台（図４０では、Ｘ、Ｙ，Ｚ軸に対応させた３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚを設け、各動画カメラから得られる発光点座標に基づく三角測量から得られる実空間オブジェクトの空間位置情報を取得するものである。なお、本実施形態では、３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚのレンズ系の光軸がＸ、Ｙ、Ｚ軸として直交するように配置した例を示しているが、動画カメラからの２次元フレーム画像信号から抽出される座標から、三角測量で当該オブジェクトＯに付帯する付帯素子１１の付帯素子の発光点座標を計算できる配置であれば、任意の配置でよいものである。また、複数台の動画カメラのフレームは同期しているものとする。
【０２３３】
図５１の実施形態では、前掲図４のステップＳ８において、コンピュータシステム２は、Ｘ、Ｙ、Ｚ軸として直交する光軸をもつ３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚから抽出され、同期している各フレーム画像内での発光座標（Ｘｍ、Ｙｍ）、（Ｚｍ、Ｙｍ）、（Ｘｍ、Ｚｍ）から３次元実空間での座標（Ｘｍ、Ｙｍ、Ｚｍ）を計算する。この３次元実空間での位置座標とオブジェクトの識別ＩＤと同期している注目フレーム時間Ｔｍとを予め取り込まれていたコンピュータシステム２上の情報、オブジェクト、任意の情報処理機能等と関連付ける。
【０２３４】
図５２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に他の物などにより隠蔽されるオブジェクトのトラッキング処理を説明するための図である。
【０２３５】
本実施形態では、図５２（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ヒト、カバン、ディスプレイであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｂ、１１ｃ、１１ｄを付帯する４つのオブジェクトＯａ、Ｏｂ、Ｏｃ、Ｏｄが認識されている状況において、図５２（ｂ）に示すように、時刻Ｔ＝ｔ２においてオブジェクトＯｂが移動することにより、その付帯素子１１ｂの発光が別のオブジェクトＯｄにより隠蔽されたとする。
【０２３６】
このように付帯素子１１ｂの発光が別のオブジェクトＯｄにより隠蔽されたとすると、動画カメラ１０３ａはオブジェクトＯｂの付帯素子１１ｂの発光を認識できなくなる。
【０２３７】
このとき、コンピュータシステム２は、時刻Ｔ＝ｔ２において認識していたオブジェクトＯｂの付帯素子１１ｂの発光が認識できない場合（図５３；ステップＳ１７０→ＹＥＳ）、コンピュータシステム２は、過去の時刻Ｔ＝ｔ１における第２の動画カメラ１０３ｂの撮影画像から、過去の発光点を含むオブジェクトＯｂの輪郭を捕捉する処理を行う(ステップＳ１７１）。なお、ここではオブジェクトＯｂは人であるから、人の輪郭を画像処理によって抽出する。
【０２３８】
そして、コンピュータシステム２は、捕捉されたオブジェクトＯｂの輪郭に基づいて、付帯素子１１ｂの発光が認識できない間は、第２の動画カメラ１０３ｂの撮影画像からオブジェクトＯｂの輪郭の移動を追跡することにより、図５２（ｃ）に示すように、オブジェクトＯｂの付帯する付帯素子１１ｂの発光の一時的穏蔽を補完し、オブジェクトＯｂ（付帯素子１１ｂ）の位置を予測する（ステップＳ１７２）。
【０２３９】
ステップＳ１７１〜Ｓ１７２の捕捉追跡処理以外の処理として、コンピュータシステム２は、隠蔽される直前の隣接フレーム画像（例えば、ｔ＝ｔ０、ｔ１における第２の動画カメラ１０３ｂの撮影画像）に基づいて、例えば画素値の相関状態によりオブジェクトＯｂの移動方向および移動距離に基づく動きベクトルを算出し（図５４；ステップＳ１８０）、算出した動きベクトルから次に発光を認識できるであろう位置を推定し（ステップＳ１８１）、その領域を優先して発光点を捜す（ステップＳ１８２）こともできる。
【０２４０】
本実施形態の例では、ステップＳ１７１〜Ｓ１７２の処理、あるいはステップＳ１８０〜Ｓ１８２の処理により、隠蔽されたオブジェクトＯｂの移動位置が推定・捕捉されているため、図５２（ｄ）に示すように、ある時刻Ｔ＝ｔ３において、オブジェクトＯｂが隠蔽状態から脱して、再度、その付帯素子１１ｂの発光が認識された状態において、迅速にオブジェクトＯｂ（付帯素子１１ｂ）を検出することができる。
【０２４１】
図５５は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特にオブジェクトの付帯する付帯素子からの発光点を認識するための発光パターンのテンプレートに対して付帯素子の過去の発光部分画像を反映して、過去の発光部分画像と相似したテンプレートを使用した処理を示す図である。
【０２４２】
本実施形態において、コンピュータシステム２は、認識すべき実オブジェクトの発光を確実に認識するために、前掲図６や図８で説明した差分処理を実行して得られたフレーム画像ｎ２２７に対して、過去の付帯素子１１の発光部分画像と相似したテンプレート２３１ａを用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ１９０）。
【０２４３】
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８を取得する（ステップＳ１９１）。
【０２４４】
この結果、得られた認識距離分布２２８における距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
【０２４５】
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ１９２）。
【０２４６】
図５６は、図５５に示した実施形態において過去の発光部分画像をテンプレートとして使用した処理を示す図である。
【０２４７】
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、差分処理後のフレーム画像ｎ２２７に対して、過去の付帯素子１１の発光部分画像をテンプレート２３１ｂとして用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う(ステップＳ２００）。
【０２４８】
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ａを取得する（ステップＳ２０１）。
【０２４９】
この結果、得られた認識距離分布２２８ａにおける距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
【０２５０】
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２０２）。
【０２５１】
図５７は、図５５に示した実施形態において過去の付帯素子の発光点位置認識に使ったテンプレートを使用した処理を示す図である。
【０２５２】
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られたフレーム画像ｎ２２７に対して、過去の付帯素子の発光点位置認識に使ったテンプレート２３１ｃを用いながら差分処理後のフレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ２１０）。
【０２５３】
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ｂを取得する（ステップＳ２１１）。
【０２５４】
この結果、得られた認識距離分布２２８における距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
【０２５５】
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２１２）。
【０２５６】
図５８は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光を撮像する撮像手段の撮影条件の変更中処理を示す図である。
【０２５７】
本実施形態では、動画カメラ１０３の撮影条件変更中において、コンピュータシステム２は、その撮影条件変更間に出力したフレーム画像信号は無視または廃棄して、付帯素子１１の発光位置の検出処理を中断する（ステップＳ２２０）。
【０２５８】
すなわち、図５８に示すように、フレーム画像（ｎ−１）を動画カメラ１０３で撮像した後、フレーム画像（ｎ）の時刻において矢印２５１で示す動画カメラ１０３の撮影条件が変更（変更中）となった場合には、コンピュータシステム２は、点線で囲んで示すように、フレーム画像（ｎ）を無視または破棄し、位置検出処理を中断するようにしている。
【０２５９】
また同様に、付帯素子１１の付帯されている実世界のオブジェクトＯの画像そのものを撮像するための第２の動画カメラ１０３ｂの撮影条件変更中も、第１の動画カメラ１０３ａが出力したフレーム画像信号を廃棄して、付帯素子の発光位置の検出処理を中断するようにする。
【０２６０】
図５９は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に衝突時の処理を説明するための図である。
【０２６１】
本実施形態では、複数の発光認識があった時は、その時点で抽出した発光位置情報を廃棄する。
【０２６２】
すなわち、図５９に示すように、コンピュータシステム２は、前掲図６または図８で説明した差分処理により得られた差分処理後のフレーム画像信号ｎ２２４に対して前掲図１０および図１２で説明した空間フィルタ処理後およびパターンマッチング処理をそれぞれ施し、その結果得られた空間フィルタ処理後のフレーム画像ｎ２２４およびパータンマッチング処理後のフレーム画像ｎ２２８について、前掲図１３に示した優先順位の比較処理（ステップＳ２３０およびステップＳ５０参照）を実行した結果においても、最終的に優先順位１位の発光点が２３２で示すように複数存在した場合（ステップＳ２３１）、このフレーム画像時点での抽出位置座標は廃棄する（ステップＳ２３２）。
【０２６３】
図６０は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光パターンに関する処理を説明するための図である。
【０２６４】
本実施形態では、付帯素子１１の複数回の発光パターンを照合確認した上で、付帯する実世界のオブジェクトの位置として認識するものである。
【０２６５】
図６０では、付帯素子１１は、自素子１１により自発的、あるいは発光指示命令装置１０５の命令に応じて、発光制御手段１５ｄにより、動画カメラ１０３のフレームに同期させながら、５フレームで１つのの発光パターンＰ（発光、発光、非発光、発光、非発光）のように変化させながら発光素子１５ｃを発光させる。そして、この発光パターンＰは、例えば付帯素子１１の識別ＩＤ（付帯している実オブジェクトの識別ＩＤ）に対応させることができる。
【０２６６】
具体的には、認識ＩＤが例えば５ビット（１１０１０）で表されているとすれば、付帯素子１１は、発光パターンを図６０に示すように対応ビットが１の時は発光させ、対応ビットが０の時は非発光として出力し、コンピュータシステム２の映像カメラ１０３が、対応する５フレームの間でこの発光パターンを認識するものである。
【０２６７】
このとき、コンピュータシステム２は、認識結果から、この発光が識別ＩＤ＝ｍ（１１０１０）のオブジェクトであることを確認できた際に、各フレーム画像信号で抽出していた発光位置座標を認識ＩＤ＝ｍのオブジェクトの位置として認識する（ステップＳ２４０）。ここでは、５ビットの例で示したが、必要であれば、識別ＩＤに対応した任意のビット数と発光パターンの組み合わせでも良い。
【０２６８】
図６１は、テンプレートとして付帯素子の中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレートを使用することを示す図である。
【０２６９】
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られた差分処理後のフレーム画像ｎ２２７に対して付帯素子中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレート２３１ｘを用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ２５０）。
【０２７０】
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ｘを取得する（ステップＳ２５１）。
【０２７１】
この結果、得られた認識距離分布２２８ｘにおける距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
【０２７２】
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２５２）。
【０２７３】
図６２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に発光する光の波長が異なる複数の発光素子をそれぞれ備えた複数の付帯素子をオブジェクトに付帯させる場合の処理を示す図である。
【０２７４】
本実施形態では、実世界の各オブジェクトＯａ、Ｏｂ、Ｏｃの付帯する付帯素子１１ａ、１１ｂ、１１ｃにそれぞれ発光波長の異なる複数（本実施形態では２個）の発光素子１１１ａ、１１１ｂを設け、各波長に対する減衰量の異なるフィルタを動画カメラ３３０に備える。実世界の各オブジェクトＯに発光波長がλ１とλ２の２個の発光素子１１１ａ、１１１ｂを有する付帯素子１１ａ、１１ｂを付帯させて発光させ、これに対して動画カメラ３３０のフィルタ特性図に示すように減衰量がλ２の波長よりもλ１の波長の方が大きいフィルタを動画カメラ３３０に備え付ける。
【０２７５】
この結果、動画カメラ３３０が捉えた出力フレーム画像は、図に示すようにλ２の発光波長の発光素子を有する付帯素子の発光強度がλ１の発光波長の発光素子を有する付帯素子の発光強度より大きくなって認識される。これによって、実世界オブジェクトが付帯している付帯素子からの発光パターンは特徴的なパターンとなるため、他のノイズ発光源との識別が容易になり、誤認識の確率を低減することができる。この例では、２つの発光波長の例を示したが、これに限定されるものでなく、３つ以上の波長の組み合わせや、任意の波長特性をもつフィルターとを組み合わせることが可能である。
【０２７６】
図６３は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光の光強度を可変とした処理を説明するための図である。
【０２７７】
本実施形態では、オブジェクトＯに付帯される付帯素子１１の発光強度を強および弱の組み合わせで変調して、変調パターンを照合確認した上で、付帯する実世界のオブジェクトＯの位置として認識するものである。
【０２７８】
すなわち、図６３において、付帯素子１１は、自素子１１により自発的、あるいは発光指示命令装置１０５の命令に応じて、動画カメラ１０３のフレームに同期させながら、例えば５フレームで１つのオブジェクトの発光強度変調パターンＰ１で発光素子１５ｃを発光させる。そして、この発光強度変調パターンＰ１は、例えば付帯素子１１の識別ＩＤ（付帯している実オブジェクトの識別ＩＤ）に対応させることができる。
【０２７９】
例えば、識別ＩＤが５ビット（１１０１０）で表されているとすれば、付帯素子１１は、発光変調パターンを同図に示すように対応ビットが１の時は発光強度を強くさせ、対応ビットが０の時は発光強度を弱くして出力すれば良い。
【０２８０】
このとき、コンピュータシステム２の映像カメラ１０３は、対応する５フレームの間でこの発光変調パターンＰ１を認識する。
【０２８１】
そして、コンピュータシステム２は、認識結果から、この発光が識別ＩＤ＝ｍ（（１１０１０）＝（強、強、弱、強、弱））のオブジェクトであることを確認できた際に、各フレーム画像信号で抽出していた発光位置座標を識別ＩＤ＝ｍのオブジェクトの位置として認識する（ステップＳ２６０）。なお、本実施形態では、５ビットの例について説明したが、これに限定いされるものでなく、識別ＩＤに対応した任意のビット数で発光強度を変調しても良い。
【０２８２】
図６４は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特にオブジェクトに付帯する付帯素子を複数設けた場合の処理を示す図である。
【０２８３】
本実施形態では、実世界のオブジェクトＯに付帯させる付帯素子１１の発光素子を複数設け、その発光素子数で光強度を可変とするものである。具体的には、同図に示すように、４個の発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄを有する付帯素子１１をオブジェクトＯに付帯させ、この４個の発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄの発光数を０から４個の間で可変とすることにより、実効的に動画カメラ１０３で撮影した時の発光強度を可変とするものである。
【０２８４】
なお、各発光素子１１１ａ〜１１１ｄは、十分に近接して配置することが好ましい。
【０２８５】
例えば、発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄの発光強度を変調して、変調パターンを照合確認した上で、付帯する実世界のオブジェクトＯの位置として認識するなどの機能を実現することができる。あるいは、太陽光や照明などの外乱の有無により、発光強度を可変として、オブジェクトの誤認識率を低下させることも可能である。
【０２８６】
図６５は、本発明の他の実施形態に係わる図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に受光強度が所定値以上の領域を内包する最小矩形の中の発光面積率が所定値以上であった領域を発光認識対象とする処理を説明するための図である。
【０２８７】
本実施形態では、認識すべき実世界オブジェクトの発光を確実に認識して、他の外乱光源の誤認識を避けるために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られた例えば差分処理後のフレーム画像ｎのうち、受光強度が所定値以上の領域を内包する最小矩形の中の発光面積率が所定値以上であった領域を探し（ステップＳ２７０）、その発光面積率が所定値以上の領域を主たる発光認識対象とする（ステップＳ２７１）。
【０２８８】
例えば、本実施形態では、実世界オブジェクトの付帯素子の発光パターンを内包する最小矩形の中の発光面積率が７０％以上である場合を示しており。例えば７０％以上の発光パターンの認識優先順位を上位とし、７０％以下の発光パターンは外乱光源として、認識優先順位付けから外すなどしている。
【０２８９】
この結果、外乱光源からの発光点を付帯素子の発光点としてご認識する可能性を大幅に低減することができる。
【０２９０】
なお、上述した各実施の形態では、付帯素子１１の位置情報を発する機能として、発光素子を用いたが、上記発光素子の代わり、あるいは発光素子と併用してＧＰＳ（Global Positioning System）等のような自付帯素子の位置情報を検出して自発的、あるいはコンピュータシステム２からの位置情報送信指令に応じて送信する機能を有していても良い。
【０２９１】
また、性能の優劣を問わず機能を実現するだけであれば、従来の技術に記載の位置検出方法の適用も可能である。例えば、付帯素子の位置情報を取得するために、超音波を使った三角測量に基づく位置特定システムを用いることも可能である。
【０２９２】
その一例として、１０００平米のビル内で、約３ｃｍの位置精度でオブジェクトの位置を特定するため、一辺１．２ｍのグリッドに１個の超音波センサを７２０台天井に埋め込んでいる。そして、オブジェクトに付帯する長さ８ｃｍのデバイスは電波送受信機と超音波発信器を内蔵しており、識別ＩＤが割り振られている。
【０２９３】
そして、中央コントローラから電波チャネルでその識別ＩＤを送り、同時に天井の超音波センサネットワークの各カウンタをリセットする。一方、自分のＩＤを電波で受け取ったデバイスは超音波の短パルスを発信し、天井のセンサのいくつかがそれを受信して、伝播遅延時間の差から三角法により位置を算出する。
【０２９４】
システム全体は中央コントローラや超音波センサネットワークを制御するコントローラを含めてタイミングクロックにより同期して動作している。これにより、電波による識別ＩＤ送信時点から、ある超音波センサが超音波の短パルスを検知した時点までの時間差を算出する根拠を与えている。このシステムにより、毎秒７５個のオブジェクトを認識して、位置を特定できるとしている。
【０２９５】
このセンサシステムに分散オブジェクト指向モデルで、ビル内の全ての「ヒト」を含むオブジェクトの位置とリソースデータをインテグレートし、ヒトに自然に感じられるオブジェクト間の空間的相関関係をアプリケーション・ソフトウエアに提示することで、抽象化構成できる空間モニタリングシステムとなっている。
【０２９６】
各オブジェクトの位置と状態データはＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅａｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）のオブジェクトセットで表現される。ＣＯＲＢＡは分散オブジェクトシステムを実現するために必要となるオブジェクト指向ネットワーク基盤の標準である。例えば、実世界の各オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応する。４０余りのオブジェクトの種類があり、例えば、オフィスのヒト、パソコン、マウス、カメラ、プリンター、電話などの実オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応し、実世界のオブジェクトの現在のプロパティをもち、実世界のオブジェクトの制御インターフェイスなる。例えば、プリンターは、それに対応するプリンターオブジェクトを経由して、アプリケーション・ソフトウエアが実際のプリンターを作動させる。こうした永続的なＣＯＲＢＡのオブジェクトの全セットがアプリケーション・ソフトウエアから見える世界モデルを形成する。このオブジェクト自体がトランザクション、システムダウン時の代替処理、セッション管理、イベント分散、あるいは大規模な分散システムの陰にある多くの項目の面倒を見て、アプリに単一のプログラミングインターフェイスを提供している。
【０２９７】
以上具体的に述べた超音波を使った位置特定システムを用いた場合には、超音波センサ群やセンサ制御コントローラなどを天井や床などに埋め込みこと、およびシステム設計をすることが要求されるため、大きなオフィスビルや病院など、移動性の高い人々が情報の生成、情報へのアクセス、異種の機器や相互のコミニュケーションを交わす必要のある状況への適用で効果を発揮する。
【０２９８】
さらに、付帯素子の位置情報を取得するために、赤外発光する実世界のオブジェクトを赤外センサや赤外カメラで認識する技術として、シーンとＩＤを同時に取得可能なイメージセンサからなるＩＤカメラを使用することも可能である。
【０２９９】
例えば、実世界のオブジェクト（被写体）に付帯素子としてビーコンと呼ばれるマイコンで点滅が制御される発光ダイオード（ＬＥＤ）を搭載、ＩＤを割り当てておく。ビーコンはそのＩＤに基づいて点滅を繰り返す。このとき、デジタルビデオカメラ（ＩＤカメラ）でその点滅パターンを検知・解析して、ＩＤを認識する。認識したＩＤは被写体の画像に重ねて表示する。赤外線リモコンに例えてみれば、ビーコンは赤外線リモコンの送信機であり、ＩＤカメラはリモコン受信機をアレイ状に配置したアレイセンサ（ＣＭＯＳイメージセンサ）である。
【０３００】
ＩＤカメラは普通のカメラとしてシーンを撮像する（シーンモード）だけでなく、ビーコンを撮像した画像上の座標とビーコンが送信するＩＤデータを組にして出力する（ＩＤモード）。ＩＤモードでは、ＩＤカメラは１２ｋＨｚのサンプリングを２００回繰り返し、ビーコンが送信するキャリア周波数４ｋＨｚの８ビットのＩＤを１９２×１２４画素全てにおいてデコードし、１５ｆｐｓでＩＤ画像を作成する。このＩＤを介してサイバー世界の（インターネット上の）情報とリンクさせることが可能なので、ユーザはそのＩＤを手がかりにオブジェクトに関する情報を入手することができる。ＩＤのビット数は８ビットであり、これを４ｋＨｚのキャリアでマンチェスター符号化し、２２ビットのパケット単位でＩＤデータを送受信することができる。
【０３０１】
そして、付帯素子として、実世界のオブジェクトの表面に２次元マトリックスコードを貼り付け、これをビデオカメラで撮影する。撮影画像の処理によって、マトリックスコードを認識する。これにより、ビデオカメラ映像で見ている対象から、認識したマトリックスコードを介して、ネットワーク上の関連情報にアクセスしたり、仮想世界のオブジェクトを展開することができる。
【０３０２】
さらに、実オブジェクトに付帯された付帯素子を識別する手段として、実オブジェクトに赤外付帯素子を埋め込み、この赤外付帯素子を赤外領域に感度のある複数台のＣＣＤカメラで撮影することにより、埋め込んだ赤外付帯素子の波長差を利用して複数の付帯素子を識別することも可能である。
【０３０３】
例えば、発光中心波長が８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８７５ｎｍ、９００ｎｍの赤外付帯素子と感知可能波長領域の異なる（中心波長が８００ｎｍ、８５０ｎｍ、９００ｎｍの赤外パスフィルタをＣＣＤカメラに装着している）ＣＣＤカメラ複数台とを用いて赤外付帯素子を識別することができる。
【０３０４】
さらに、付帯素子（オブジェクト）識別技術として、例えば５個のＬＥＤで構成されるタグを実オブジェクトに取り付け、ビデオカメラで撮影する方法もある。
【０３０５】
この方法では、得られたビデオカメラの映像を解析して、タグ情報の読み取りと映像中の位置計算を行う。タグの５個のＬＥＤの内、周辺部の４個は同じタイミングで点灯と消灯を繰り返し、クロック信号の役割を果たし、中央のＬＥＤはクロック信号の点滅から１／４位相遅れて点滅し、データ信号を送る。
【０３０６】
このとき、映像カメラがとらえた画像は、先ず明るい画素だけ抜き出される。次に、上記過程で抽出された画素を領域結合して、領域の面積を計算する。面積が一定値以上の領域はタグ光源ではないと判定して除去する。この除去は白い壁の明るい部分や蛍光灯光源そのものなどを判定対象から取り除くために行う。
【０３０７】
次にこの様にして選択された複数の領域の中でクロック信号と推定できる組み合わせを探索する。タグのクロック信号は画像中で略ひし形の領域として写るので４領域の全ての組み合わせの中で４頂点のなす角度に制限を加えることでクロック信号源を選び出すことができる。クロック信号源のひし形が選ばれると、直近の映像フレームでひし形があった領域を対応付け、タグがどのように移動しているのかを解析する。次にクロック信号が点灯した際、あるいは消灯した際には、そのひし形の中央付近にＬＥＤが発見できるか否かを調査し、データビットとして「１」又は「０」を読み取る。コンピュータのフレーム処理速度が１０Ｈｚであり、クロックとデータの位相差を考慮すると送信速度は５Ｈｚ以下の任意速度をとり得る。そこで、タグの送信速度を４Ｈｚとしている。
【０３０８】
また、付帯素子として、光通信技術を用いた超小型の無線センサノードを用いることもできる。
【０３０９】
この無線センサノードを用いたシステムにおいて検討されている無線通信技術は光通信技術であり、例えば、基地局のレーザー光源から届いた光を無線センサノード上に形成した超小型反射ミラーで入射した光軸と平行な方向に戻すか、外すかによって、光信号として返す方式を採用している。
【０３１０】
すなわち、基地局に設置したレーザーから、無線センサノード群が散在している領域にレーザー・ビームを照射する。この際、上記の照射光は、無線センサノードをスリープモードから起動するコマンドやセンシング情報を要求するコマンドなどを含み、データを送るために変調することができる。一方、無線センサノードは変調されていないビームを受けた時は、超小型反射ミラーを動かして、反射光を基地局に向けて平行に返すか、外すかによって、反射ビームを変調することにより、基地局にデータを返すことができる。
【０３１１】
このとき、超小型反射ミラーを、立方体のコーナー部の内側に形成される互いに垂直な３面を反射鏡として構成している。
【０３１２】
すなわち、３面反射鏡に入射した光ビームは入射した光軸と平行に反射さるため、基本的に特別なアライメントが無くても、各無線センサノードから反射されてきた反射ビームは、基地局に戻ってくる。予め、センサノード群が分布している全領域からの反射ビームがＣＣＤイメージセンサアレイ上に結像するようにレンズ系を設計しておけば、各ノードからの変調ビームはその空間位置に対応して、上記センサアレイの上の特定位置のピクセルで受信することができる。
【０３１３】
言い換えると、空間分割多重の光通信を実現することができる。空間分解能はＣＭＯＳイメージセンサのピクセルアレイの数によるが、１７ｍ角のエリアにノードが分布しているときに、２５６×２５６のピクセルアレイで受光した場合、各ピクセルは６．６Ｃｍ２の空間領域に対応する。タバコの箱位の距離だけ離れていれば、別のセンサノードからの信号として認識できる。なお、転送信号速度はＣＣＤセンサのフレーム周期に依存することになる。
【０３１４】
本発明は、上述した実施の形態、実施例および変形例に限定されるものではなく、本発明に属する範囲内において、上記実施の形態、実施例および変形例を様々に変形して実施することが可能である。
【図面の簡単な説明】
【０３１５】
【図１】本発明の実施の形態に係る実世界オブジェクト認識システムの概略構成を示す図である。
【図２】本発明の一実施形態に係わる実世界とサイバー世界のオブジェクト結合方法を説明するための図である。
【図３】図１に示した実施形態において各付帯素子の発光素子からの発光像を撮像した動画カメラの出力フレーム画像（フレーム毎の画像データ）を図示しているものである。
【図４】図１および図２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図５】動画カメラのフレーム画像にノイズとして現れた発光像を前フレーム画像との減算（差分）処理により除去する処理を説明するための図である。
【図６】図１および図５に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図７】動画カメラのフレーム画像にノイズとして現れた発光像を図５とは別の減算処理により除去する処理を説明するための図である。
【図８】図１および図７に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図９】差分処理でもまだ残っている太陽光、照明などの発光源からのノイズ信号を除去する固定空間フィルタ処理を説明するための図である。
【図１０】図１および図９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図１１】空間フィルタ処理の代わりにパターンマッチング処理を利用して、差分処理でも付帯素子の発光素子の発光信号以外に残っている例えば太陽光、照明などの発光源からのノイズ信号を除去する円錐形定義パターンマッチング処理を説明するための図である。
【図１２】図１および図１１に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図１３】空間フィルタ処理後フレーム画像とパターンマッチング処理後フレーム画像から優先順位を比較して最終的な優先順位を決定し、検出すべき付帯素子の発光素子の発光点を識別するオブジェクト抽出処理を説明するための図である。
【図１４】上述した図２〜図１３の処理を総合した結果を示す図である。
【図１５】決定された優先順位１位の発光点とオブジェクトに付帯された付帯素子の位置情報を対応付け、そのフレーム内座標を付帯素子の位置情報とすることを示す説明図である。
【図１６】図１５に示したように抽出されたオブジェクトの識別ＩＤ＝ｍ、ｍ＋１、…、発光指示命令を送信した時間Ｔｍ、Ｔｍ＋１、…、当該オブジェクトのフレーム画像内座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を関連付けたファイル、すなわち各オブジェクトのフレーム画像内位置データ抽出ファイルを生成する処理を示している図である。
【図１７】図１６に示した各オブジェクトのフレーム画像内位置データ抽出ファイル３５を予め取り込まれているサイバー上の情報ファイルと結合して、オブジェクトデータベース４１として構成して扱うことを説明している図である。
【図１８】図１７で説明した各オブジェクトのフレーム画像内位置データ抽出ファイルとオブジェクト名に関するデータファイルをオブジェクトＩＤで結合したオブジェクトデータベースのオブジェクト名に関するデータファイルに対して他の項目であるキーワードを共通キーとして情報ファイルを結合して情報データベースを構成していることを示す図である。
【図１９】オブジェクトのフレーム画像内位置データ抽出ファイルをサイバー空間上（ネットワークに接続された計算機群と蓄積された情報からなる空間）でのオブジェクト管理に関連付けて、実世界とサイバー世界のオブジェクト管理データベースを構築することを示している図である。
【図２０】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２１】図２０に示す実施形態において各付帯素子の発光素子からの発光像を撮像した動画カメラの出力フレーム画像（フレーム毎の画像データ）を図示しているものである。
【図２２】本発明の別の実施形態に係わる本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２３】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２４】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２５】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２６】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図２７】第１の動画カメラで撮像した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合または関連付けを説明するための図である。
【図２８】図１および図２６に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図２９】第１の動画カメラで撮像した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との関連付けにおいて、第１の動画カメラで撮像した付帯素子の発光点の位置座標に該当する第２の動画カメラで撮像した実世界オブジェクトの画像上に可視マーカを重ねて表示した図である。
【図３０】図１および図２９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図３１】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図３２】図３１の実施形態において第１の動画カメラの視野範囲と第２の動画カメラの視野範囲を同じにした図である。
【図３３】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図３４】オブジェクト管理データベースの生成処理を説明するための図である。
【図３５】オブジェクト管理データベースを構成するための処理を説明するための図である。
【図３６】オブジェクト管理データベースを構成するための処理を説明するための図である。
【図３７】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図３８】図２７に示した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合において付帯素子の情報として更にセンシングデータを加えた図である。
【図３９】図２９に示した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との関連付けにおいて実世界オブジェクトの画像上に可視マーカを重ねて表示したものに更に付帯素子の情報として更にセンシングデータを加えた図である。
【図４０】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図４１】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図４２】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図４３】アクチュエータ作動命令を付帯素子に送信し、付帯素子から必要によりアクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を受信するように構成した図である。
【図４４】付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合において付帯素子の情報として更にアクチュエータ作動機能に関する情報を加えた図である。
【図４５】実世界オブジェクトの画像上に可視マーカを重ねて表示したものに更に付帯素子の情報としてアクチュエータ作動機能に関する情報を加えた図である。
【図４６】図４１に示した実施形態においてアクチュエータとして可視光発光素子を使用した場合の図である。
【図４７】図４５に示したように付帯素子にアクチュエータとして可視光発光素子を有する場合において図２６に示した第２の動画カメラを設けた場合の図である。
【図４８】図１および図２９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図４９】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図５０】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図５１】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図５２】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図５３】図１および図５２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図５４】図１および図５２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。
【図５５】特にオブジェクトの付帯する付帯素子の付帯素子からの発光点を認識するための発光パターンのテンプレートに対して付帯素子の過去の発光部分画像を反映して、過去の発光部分画像と相似したテンプレートを使用した処理を示す図である。
【図５６】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図５７】実施形態において過去の付帯素子の発光点位置認識に使ったテンプレートを使って処理を示す図である。
【図５８】本発明の別の実施形態において、付帯素子の発光を撮像する撮像手段の撮影条件の変更中処理を示す図である。
【図５９】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。
【図６０】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
【図６１】テンプレートとして付帯素子の中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレートを使用することを示す図である。
【図６２】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
【図６３】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
【図６４】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
【図６５】本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
【符号の説明】
【０３１６】
１…実世界オブジェクト認識システム
２…コンピュータシステム
２ａ…コンピュータ本体
５…発光指示命令装置
６…指示命令／センサ応答受信装置
８…発光指示命令／信号受信装置
１１…付帯素子
１１ａ〜１１ｃ…付帯素子
１４…識別情報記憶部
１５…位置情報出力部
１５ａ…発光指示命令受信手段
１５ｂ…識別情報比較手段
１５ｃ…発光素子
１５ｄ…発光制御手段
１５ｅ…識別情報送信手段
１６…作動部
１６ａ…作用素子
１６ｂ…作動命令受信手段
１６ｃ…識別情報比較手段
１６ｄ…送信手段
１７…センシング部
１７ａ…感知手段
１７ｂ…センシング指示受信手段
１７ｃ…識別情報比較手段
１７ｄ…感知情報送信手段
２０…識別情報生成手段
２１…発光指示命令送信手段
２２…第１の撮像手段
２３…ノイズ処理手段
２５…対応付け手段
２６…映像表示手段
２７…マーカ情報生成手段
３０…第２の撮像手段
３１…ユーザＩＦ部
３２…入力手段
３５…識別情報決定／要求決定手段
４０…センシング指示送信手段
４１…センシング情報受信手段
４５…作動命令送信手段
４６…受信手段
４７…関連付け蓄積手段
１０３…動画カメラ
１０３…映像カメラ
１０３ａ…第１の動画カメラ
１０３ｂ…第２の動画カメラ
１０３ｘ…動画カメラ
１０５…発光指示命令装置
１０９…視野領域
１１１ａ〜１１１ｄ…発光素子
１１２ａ〜１１２ｄ…発光素子
３３０…動画カメラ
【図１】
0004423302.tif 000002
【図２】
0004423302.tif 000003
【図３】
0004423302.tif 000004
【図４】
0004423302.tif 000005
【図５】
0004423302.tif 000006
【図６】
0004423302.tif 000007
【図７】
0004423302.tif 000008
【図８】
0004423302.tif 000009
【図９】
0004423302.tif 000010
【図１０】
0004423302.tif 000011
【図１１】
0004423302.tif 000012
【図１２】
0004423302.tif 000013
【図１３】
0004423302.tif 000014
【図１４】
0004423302.tif 000015
【図１５】
0004423302.tif 000016
【図１６】
0004423302.tif 000017
【図１７】
0004423302.tif 000018
【図１８】
0004423302.tif 000019
【図１９】
0004423302.tif 000020
【図２０】
0004423302.tif 000021
【図２１】
0004423302.tif 000022
【図２２】
0004423302.tif 000023
【図２３】
0004423302.tif 000024
【図２４】
0004423302.tif 000025
【図２５】
0004423302.tif 000026
【図２６】
0004423302.tif 000027
【図２７】
0004423302.tif 000028
【図２８】
0004423302.tif 000029
【図２９】
0004423302.tif 000030
【図３０】
0004423302.tif 000031
【図３１】
0004423302.tif 000032
【図３２】
0004423302.tif 000033
【図３３】
0004423302.tif 000034
【図３４】
0004423302.tif 000035
【図３５】
0004423302.tif 000036
【図３６】
0004423302.tif 000037
【図３７】
0004423302.tif 000038
【図３８】
0004423302.tif 000039
【図３９】
0004423302.tif 000040
【図４０】
0004423302.tif 000041
【図４１】
0004423302.tif 000042
【図４２】
0004423302.tif 000043
【図４３】
0004423302.tif 000044
【図４４】
0004423302.tif 000045
【図４５】
0004423302.tif 000046
【図４６】
0004423302.tif 000047
【図４７】
0004423302.tif 000048
【図４８】
0004423302.tif 000049
【図４９】
0004423302.tif 000050
【図５０】
0004423302.tif 000051
【図５１】
0004423302.tif 000052
【図５２】
0004423302.tif 000053
【図５３】
0004423302.tif 000054
【図５４】
0004423302.tif 000055
【図５５】
0004423302.tif 000056
【図５６】
0004423302.tif 000057
【図５７】
0004423302.tif 000058
【図５８】
0004423302.tif 000059
【図５９】
0004423302.tif 000060
【図６０】
0004423302.tif 000061
【図６１】
0004423302.tif 000062
【図６２】
0004423302.tif 000063
【図６３】
0004423302.tif 000064
【図６４】
0004423302.tif 000065
【図６５】
0004423302.tif 000066