(57)【要約】【課題】位置または位置姿勢の推定を必要とする利用者が広範囲に分散した撮像装置のどれを利用するかを選択することを不要とし、位置計測システムの利便性を向上させる。【解決手段】計測対象物体の位置または位置姿勢を検出する位置計測システムは、計測対象物体を撮影して撮影画像上における当該物体の位置を表す検出情報を生成する複数の撮像装置と、複数の撮像装置を登録する調停装置と、複数の撮像装置のうちの１つ以上の撮像装置から受信した検出情報に基づいて計測対象物体の位置または位置姿勢を推定する推定装置とを備える。調停装置は、推定装置から計測対象物体の推定された現在位置を取得し、取得された現在位置に基づいて計測対象物体の撮影に用いるべき撮像装置を選択し、選択された撮像装置に対して上記推定装置を検出情報の送信先として通知する。複数の撮像装置の各々は、通知された送信先へ検出情報を送信する。【選択図】  図１
2010271949.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物体の位置または位置姿勢を検出する位置計測システムであって、
計測対象物体を撮影して、撮影画像上における前記計測対象物体の位置を表す検出情報を生成する複数の撮像装置と、
前記複数の撮像装置を登録する調停装置と、
前記複数の撮像装置のうちの１つ以上の撮像装置から受信した前記検出情報に基づいて前記計測対象物体の位置または位置姿勢を推定する推定装置とを備え、
前記調停装置は、
前記推定装置から前記計測対象物体の推定された現在位置を取得する取得手段と、
前記取得手段で取得された現在位置に基づいて、前記複数の撮像装置から前記計測対象物体の撮影に用いるべき撮像装置を選択する選択手段と、
前記選択手段で選択された撮像装置に対して、前記推定装置を前記検出情報の送信先として通知する通知手段とを備え、
前記複数の撮像装置の各々は、前記通知手段によって通知された送信先へ、前記検出情報を送信する送信手段を備えることを特徴とする位置計測システム。
【請求項２】
前記送信手段は、データの送達確認を行わない通信手順を用いて前記検出情報を送信することを特徴とする請求項１に記載の位置計測システム。
【請求項３】
前記調停装置は、前記複数の撮像装置の各々について、位置及び姿勢を含む設定パラメータを登録しており、
前記推定装置は、受信した検出情報を送信した撮像装置の位置及び姿勢を前記調停装置から取得し、受信した検出情報と取得した位置及び姿勢に基づいて前記計測対象物体の位置または位置姿勢を推定することを特徴とする請求項１に記載の位置計測システム。
【請求項４】
前記選択手段は、前記取得手段で取得された現在位置と、前記複数の撮像装置の各々の位置及び姿勢とに基づいて、前記複数の撮像装置から前記計測対象物体の撮影が可能な撮像装置を選択することを特徴とする請求項３に記載の位置計測システム。
【請求項５】
前記計測対象物体には、赤外線波長を有する発光手段を有する指標が設けられており、
前記撮像装置は、赤外線透過フィルタを介して撮影を行うことにより前記指標の撮影画像上における位置を検出し、検出された位置に基づいて前記検出情報を生成することを特徴とする請求項１に記載の位置計測システム。
【請求項６】
計測対象物体を撮影して、撮影画像上における前記計測対象物体の位置を表す検出情報を生成する複数の撮像装置と、
前記複数の撮像装置を登録する調停装置と、
前記複数の撮像装置のうちの１つ以上の撮像装置から受信した前記検出情報に基づいて前記計測対象物体の位置または位置姿勢を推定する推定装置とを備え、計測対象物体の位置または位置姿勢を検出する位置計測システムの制御方法であって、
取得手段が、前記調停装置が、前記推定装置から前記計測対象物体の推定された現在位置を取得する取得工程と、
選択手段が、前記調停装置が、前記取得工程で取得された現在位置に基づいて、前記複数の撮像装置から前記計測対象物体の撮影に用いるべき撮像装置を選択する選択工程と、
通知手段が、前記調停装置が、前記選択工程で選択された撮像装置に対して、前記推定装置を前記検出情報の送信先として通知する通知工程と、
送信手段が、前記複数の撮像装置の各々が、前記通知工程で通知された送信先へ、前記検出情報を送信する送信工程とを有することを特徴とする位置計測システムの制御方法。
【請求項７】
計測対象物体を撮影して撮影画像上における前記計測対象物体の位置を表す検出情報を生成する複数の撮像装置と、前記複数の撮像装置のうちの１つ以上の撮像装置から受信した前記検出情報に基づいて前記計測対象物体の位置または位置姿勢を推定する推定装置と通信が可能な調停装置であって、
前記複数の撮像装置を登録する登録手段と、
前記推定装置から前記計測対象物体の推定された現在位置を取得する取得手段と、
前記取得手段で取得された現在位置に基づいて、前記複数の撮像装置から前記計測対象物体の撮影に用いるべき撮像装置を選択する選択手段と、
前記選択手段で選択された撮像装置に対して、前記推定装置を前記検出情報の送信先として通知する通知手段とを備えることを特徴とする調停装置。
【請求項８】
計測対象物体を撮影して撮影画像上における前記計測対象物体の位置を表す検出情報を生成する複数の撮像装置と、前記複数の撮像装置のうちの１つ以上の撮像装置から受信した前記検出情報に基づいて前記計測対象物体の位置または位置姿勢を推定する推定装置と通信が可能な調停装置の制御方法であって、
登録手段が、前記複数の撮像装置を登録する登録工程と、
取得手段が、前記推定装置から前記計測対象物体の推定された現在位置を取得する取得工程と、
選択手段が、前記取得工程で取得された現在位置に基づいて、前記複数の撮像装置から前記計測対象物体の撮影に用いるべき撮像装置を選択する選択工程と、
通知手段が、前記選択工程で選択された撮像装置に対して、前記推定装置を前記検出情報の送信先として通知する通知工程とを備えることを特徴とする調停装置の制御方法。
【請求項９】
請求項８に記載の調停装置の制御方法をコンピュータに実行させるプログラム。
【請求項１０】
請求項８に記載の調停装置の制御方法をコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像モジュールにより計測対象物体の位置または位置姿勢を計測する位置姿勢計測システム及び方法に関する。
【背景技術】
【０００２】
計測対象物体の位置・姿勢を計測する技術は、例えば人の運動解析、利用者の位置に応じて情報を提示する複合現実感技術において必要となる技術である。
【０００３】
光学式モーショントラッキングによる対象物の位置姿勢計測では、複数の撮像装置（客観撮像モジュールともいう）により撮像された対象物体に貼付した指標の画像中の位置を検出する。そして、その検出結果をエピポーラ拘束などの幾何学的な拘束条件を利用して３次元位置に変換することを基本としている。
【０００４】
上記の光学式モーショントラッキングでは、撮像装置は計測範囲を囲むように配置されており、それぞれの撮像装置のパラメータなどは固定されている。さらに、全ての撮像装置の検出結果を１つの処理装置が受信して、３次元位置の算出を行っている。
【０００５】
また、広範囲で移動しながら自分の位置を計測するシステムにおいて、複数台のカメラの情報を全て用いるのではなく、特定のカメラをアプリケーションでユーザが選択できるようにして切り換える仕組みが非特許文献１に記載されている。カメラの位置姿勢やセンサのパラメータなどの情報は、ＣＯＲＢＡという通信による分散オブジェクト化技術を利用して実装されている。
【０００６】
また、特許文献１には、各々の客観撮像モジュールに設定されているセンサのパラメータ値を受信し、利用する場所に依存する客観撮像モジュールと通信して、パラメータ値を受信する仕組みが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第６９２２６３２号明細書
【非特許文献】
【０００８】
【非特許文献１】Klinker, Gudrunand Reicher, Thomasand Bruegge, Bernd, “Distributed User Tracking Concepts for Augmented Reality,”Proceedings of The First IEEE and ACM International Symposium on AugmentedReality (ISAR 2000)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
広範囲に設置された複数の客観撮像モジュールに対して、複数の位置姿勢推定モジュールが対応づけられた客観撮像モジュールと通信し、滞りなく位置姿勢を取得するには、通信の開始の手続きや輻輳による通信の遅延などの課題を解決しなくてはならない。
【００１０】
光学式モーショントラッキングの仕組みでは、全ての撮像装置から連続した情報を１カ所で受信し、３次元の位置を計算するが、台数が増えるにつれて受信する際のオーバーヘッドが急増し、結果として更新頻度が低下することが課題とされている。この課題を解決するためには、高価な通信装置を用意し、高負荷な通信にも耐えられるネットワーク機器を用いる必要があるため、広範囲にわたる位置姿勢計測で実現するには多額の設備投資が必要である。
【００１１】
また、非特許文献１で述べられているオブジェクト分散化によるデータの送受信の方法では、位置姿勢を計測するために必要なセンサを利用者が選択する手間が煩雑であり、客観撮像モジュールに関する事前の知識が利用者に必要とされる。さらに、非特許文献１は、複数のセンサ情報からの連続的なデータ転送は行っておらず、単一のセンサからの送受信を基本としている。この点において、多くの利用者が同時に通信を利用した場合のネットワークの輻輳や、センサが切り替わるときの手続きの煩雑さ、などの課題には対処していない。
【００１２】
特許文献１では、客観撮像モジュールに関するパラメータを客観撮像モジュールと通信して取得し、ネットワークを構成する仕組みが開示されている。しかし、特許文献１は、ナビゲーションを目的としているため、センサの設置情報などの精度は高精度でなく、複数の客観撮像モジュールと同時に通信することも想定されていない。さらに、センサを利用する環境に設置する際に、機器に設定パラメータを書き込む処理が必要となるが、多数のセンサを取り付ける際や、それらのパラメータの変更を行う場合には、機器への設定を間違う人為的なミスを誘発しやすい。
【００１３】
結果として、利用者が自由にセンサモジュールを選択できるという側面は、実際の利用者にとっては煩雑な選択手続きを必要とし、利便性を低下させる要因となる。
【００１４】
つまり、これまでに開示されている技術において、広範囲で複数の客観撮像モジュールを適応的に利用することが困難であり、以下のような課題が解決されていない。
（１）多数の客観撮像モジュールの情報を１箇所に集中して受信すると、通信機器のコストが高くなる。
（２）オブジェクト分散化による通信は、事前のセンサに関する情報が必要で、クライアントの台数が増加すると輻輳により速度が低下する。
（３）客観撮像モジュールへのパラメータ書き込み、読み込みを現場で行うのは煩雑である。
（４）広範囲に分散した客観撮像モジュールのどれを使用すれば良いかの事前知識が必要とされる。
【００１５】
本発明は上記の課題に鑑みてなされたものであり、位置または位置姿勢の推定を必要とする利用者が、広範囲に分散した撮像装置のどれを利用するかを選択することを不要とし、位置計測システムの利便性を向上させることを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成するための本発明の一態様による位置計測システムは以下の構成を備える。すなわち、
計測対象物体の位置または位置姿勢を検出する位置計測システムであって、
計測対象物体を撮影して、前記計測対象物体の撮影画像上における位置を表す検出情報を生成する複数の撮像装置と、
前記複数の撮像装置を登録する調停装置と、
前記複数の撮像装置のうちの１つ以上の撮像装置から受信した前記検出情報に基づいて前記計測対象物体の位置または位置姿勢を推定する推定装置とを備え、
前記調停装置は、
前記推定装置から前記計測対象物体の推定された現在位置を取得する取得手段と、
前記取得手段で取得された現在位置に基づいて、前記複数の撮像装置から前記計測対象物体の撮影に用いるべき撮像装置を選択する選択手段と、
前記選択手段で選択された撮像装置に対して、前記推定装置を前記検出情報の送信先として通知する通知手段とを備え、
前記複数の撮像装置の各々は、前記通知手段によって通知された送信先へ、前記検出情報を送信する送信手段を備える。
【発明の効果】
【００１７】
本発明によれば、位置または位置姿勢の推定を必要とする利用者が、広範囲に分散した撮像装置のどれを利用するかを選択することが不要となり、位置計測システムの利便性が向上する。
【図面の簡単な説明】
【００１８】
【図１】一実施形態に係る客観撮像モジュールと位置姿勢推定モジュールと調停モジュールを複合現実感システムに適用したときの概要を示す図。
【図２】客観撮像モジュールの構成例を示したブロック図。
【図３】客観撮像モジュールの内部処理を説明したフローチャート。
【図４】客観撮像モジュール、調停モジュール、位置姿勢推定モジュールの動作シーケンスの一例を示す図。
【図５】複数の客観撮像モジュールと位置姿勢推定モジュール、そして調停モジュールの関係を示した図。
【発明を実施するための形態】
【００１９】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００２０】
本実施形態による位置計測システムは、複数のセンサを用いて計測対象物体の位置もしくは位置姿勢を計測することを目的としたシステムである。以下では、計測対象物体の位置姿勢を計測するシステムを説明するため、当該システムを位置姿勢計測システムと称する。複数のセンサとしては、２次元のセンサを用いるものとする。より具体的には、ＣＣＤ、ＣＭＯＳなどの光−電気変換素子を基本とした複数の撮像装置（客観撮像モジュール）を用いる。
【００２１】
図１は本実施形態による位置姿勢計測システムを示す図である。本システムの基本構成は、計測対象物体に貼付した指標４００と、その位置姿勢を計測するためのシステムで構成されている。位置姿勢を計測するためのシステムは、
・ネットワーク上に設置された複数の客観撮像モジュール２００、
・各客観撮像モジュール２００の検出結果を用いて計測対象物体の指標４００の位置姿勢を推定する位置姿勢推定モジュール３００、そして
・客観撮像モジュール２００と位置姿勢推定モジュール３００との通信の調停・管理を行う調停モジュール１００を具備する。
【００２２】
ここでは、複合現実感技術を広範囲で利用するために本発明を適用した例を示す。
【００２３】
図１の位置姿勢計測システムでは、複合現実感により生成した画像を提示するためのヘッドマウントディスプレイの位置姿勢を計測することを目的としている。
【００２４】
ヘッドマウントディスプレイに付した指標４００を検出するためには、客観撮像モジュール２００が画像処理により検出した複数の検出結果の中から対応する指標を選択する必要がある。その方法については、例えば特開２００７−０４０９８０号公報に記載されている方法を用いることが挙げられる。本実施形態では、より多くの客観撮像モジュール２００が利用できる広範囲での実利用における課題を解決することを目的としているため、限られた範囲の少ない客観撮像モジュール２００を利用する状況では、従来技術を用いれば良い。以上のように、客観撮像モジュール２００は、計測対象物体を撮影して、当該計測対象物体の撮影画像上における位置を表す検出情報を生成する。
【００２５】
本実施形態において、計測対象物体の指標４００には、赤外線波長を有する光を発光する赤外線発光ＬＥＤを用いる。その指標４００を赤外線透過カメラにより撮像することで指標のみを撮像することが可能である。
【００２６】
なお、指標４００としては、赤外線発光ＬＥＤに限られるものではなく、画像処理により検出が可能な指標であればよい。例えば、背景と計測対象物体の識別が可能な色を塗布した球体を用いても構わない。また、幾何学的な特徴を有する特徴を用いても構わない。さらに、光学式モーションキャプチャで用いられているように、指標と再帰性反射素材を貼付した球体を用いて、赤外線を撮像装置の光軸方向に投光して反射した像を検出するようにしても構わない。
【００２７】
客観撮像モジュール２００において赤外線の領域のみを検出するには、赤外線透過フィルタをカメラレンズ、もしくは撮像素子の前面に設置すれば良い。また、客観撮像モジュール２００において色の指標を検出するには、その色を検出できるようにしたカラーフィルタをＣＣＤなどの撮像素子の前面に設置すれば良い。撮像画像から指標の領域を抽出する処理には、画像処理で一般的なラベリング処理を用いれば良い。計測対象物体の指標のタイプに応じて、それを撮像画像から検出できる客観撮像モジュールを用いれば、本実施形態における効果を得ることができる。
【００２８】
図２は、本実施形態による客観撮像モジュール２００の構成例を示すブロック図である。客観撮像モジュール２００の撮像系は、赤外線透過フィルタ２１０およびレンズ２１１、２次元撮像素子であるＣＣＤ、ＣＭＯＳなどのエリアセンサ２１２を有する。また、客観撮像モジュール２００の情報処理系は、各種処理を実行するＣＰＵ２１４、情報を保持するＲＡＭなどの補助記憶部２１３、検出結果をネットワークに送信するネットワークコントローラ２１５を有する。なお、ＣＰＵ２１４は、エリアセンサ２１２の画像を取得して、指標の領域部分を検出する処理を行う。また、ネットワークコントローラ２１５はEthernet（登録商標）に接続ができるように、機器固有識別番号（ＭＡＣアドレス）を事前に設定しているものとする。
【００２９】
複数の客観撮像モジュール２００はネットワークに接続されているものとする。専用の信号線を用いることも可能だが、広範囲に設置する場合には、既に敷設されているEthernet(登録商標)を利用することで敷設に係る費用を削減することができる。さらに、ＰｏＥ（Power on Ethernet(登録商標)）を用いることで、電源確保も可能である。なお、ネットワークは有線であっても無線であっても構わない。無線ネットワークでのEthernet(登録商標)プロトコルを用いるにはＷｉＦｉなどの通信機器を用いれば容易に利用することができる。
【００３０】
客観撮像モジュール２００は、画像を圧縮して送信するように構成することも可能だが、指標４００の位置・姿勢を計測するために必要な情報は、撮像画像上での指標４００の検出位置である。圧縮画像の送信には多くの通信パケットを必要とし、画像の圧縮・展開処理の遅延が位置合わせの推定処理の遅延になる。そこで、本実施形態では、客観撮像モジュール２００は、撮像画像から指標４００を検出し、その検出位置を位置姿勢推定モジュール３００に送信するように構成される。
【００３１】
本実施形態の客観撮像モジュール２００のＣＰＵ２１４での内部処理について図３を参照して説明する。ステップＳ２２１において、ＣＰＵ２１４は、エリアセンサ２１２の撮像した画像を画素ごとに読み出し、補助記憶部２１３に格納する、画像取得処理を行う。次に、ステップＳ２２２において、ＣＰＵ２１４は、補助記憶部２１３に格納された撮像画像を逐次読み出し、しきい値による２値化を行う。ステップＳ２２３において、ＣＰＵ２１４は、ステップＳ２２２の２値化で輝度が高いと判定された画素に対してラベリング処理を行う。ステップＳ２２４において、ＣＰＵ２１４は、ステップＳ２２３のラベリング処理によって検出された独立した画素領域の画像位置を横方向、縦方向に平均した重心位置を計算する（領域の重心値計算）。
【００３２】
更に、ステップＳ２２５において、ＣＰＵ２１４は、登録された位置姿勢モジュールへステップＳ２２４で計算された重心位置を、指標の検出位置として送信する。ここで、ＣＰＵ２１４は、ネットワークコントローラ２１５のバッファへ検出位置の情報を書き込む。ネットワークコントローラ２１５は、送信宛先として指定された位置姿勢推定モジュール３００に対して例えばＵＤＰのような、データの送達確認等を行わない通信手順を使って検出位置を送信する。なお、ＵＤＰとは、User Datagram Protocolであり、データの送達確認等を行わない通信プロトコルである。このように、客観撮像モジュール２００から位置姿勢推定モジュール３００への検出位置の通信には、送信相手との接続を確認しない無手順な送信方式が採用される。これにより、ネットワークの相手に到達したかどうかをチェックするための輻輳を発生せずに、簡略化した高速な送信が可能となる。
【００３３】
設置された複数の客観撮像モジュールの、使用しているレンズ・撮像素子、そして取り付け位置・姿勢は、それぞれ異なっている。これらの設定パラメータは、ステレオ視による３次元の位置を求める際に必要となる。位置姿勢推定モジュール３００は、各客観撮像モジュール２００のパラメータを元に計測対象物体の指標４００の３次元位置を推定する。より、具体的には、２つの客観撮像モジュール２００を利用した場合は、ステレオ視となり、公知の多眼ステレオ計測による方法を用いれば容易に対象の位置を求めることができる。ここでは、計測対象物体の位置を求める方法は、どのような方法であっても良い。
【００３４】
さらに、計測対象物体の３つ以上の指標を用いることで、計測対象物体の姿勢も求めることができる。計測対象物体の指標の位置が事前に校正により求められていれば、それらの重心からの方向と、検出した指標群の重心からの方向とを一致させるような回転を求めることで姿勢に対応付けすることができる。
【００３５】
指標と客観撮像モジュールの個数が少ない限定された環境においては、それぞれの設定パラメータを固定して利用することが可能である。しかし、広域で不特定多数の利用者が、その位置姿勢システムを利用する場面を想定すると、固定された設定環境では、利用するまでの手続きが煩雑で、利便性を低下させることとなる。
【００３６】
そこで、本実施形態では、１つ以上の客観撮像モジュール２００と１つ以上の位置姿勢推定モジュール３００の通信を制御・調整することを目的として調停モジュール１００をシステムに導入する。調停モジュール１００の基本的な機能は、以下のとおりである。
（１）複数の客観撮像モジュール２００を登録し、各客観撮像モジュールの設定パラメータを保持管理する。なお、設定パラメータとは、客観撮像モジュールの参照座標における位置及び姿勢を示す情報を含む。
（２）位置姿勢推定モジュール３００と客観撮像モジュール２００の通信組み合わせを決定する。
（３）客観撮像モジュール２００に対して、どの位置姿勢推定モジュール３００と通信するかを通知する。
【００３７】
ここで、（１）の客観撮像モジュール２００の設定パラメータとしては、少なくとも客観撮像モジュール２００が設置されている参照座標上での位置および姿勢とする。また、付加的なパラメータとしては、撮像素子の画素数、レンズの歪みパラメータがある。（２）の通信組み合わせを決定する方法については、ある判断基準が必要だが、決定する方法自体は計測対象物体の移動速度や移動範囲に左右されるので、決定に必要なパラメータを調整すれば良い。例えば、計測対象物体の存在可能な範囲を部分範囲に分け、各部分範囲毎に使用する客観撮像モジュール２００の組み合わせを登録しておき、計測対象物体の現在位置に応じて通信組み合わせを決定する方法が挙げられる。より具体的には、位置姿勢推定モジュール３００から計測対象物体の推定された現在位置を取得する。そして、その現在位置に基づいて当該計測対象物体を撮影するのに用いるべき客観撮像モジュールを選択することで、位置姿勢推定モジュール３００と客観撮像モジュール２００の通信組み合わせを決定する。
【００３８】
（３）では、調停モジュール１００が、（２）で選択された客観撮像モジュールに対して、位置姿勢推定モジュール３００を検出情報の送信先とするよう通知する。（３）の処理における通知の頻度は、少なくとも計測対象物体がセンサ（客観撮像モジュール２００）の視野に入る時と出る時である。但し、計測対象物体の移動速度が速い場合は、事前に通知しても構わない。この通知を受けた客観撮像モジュール２００は、検出情報の送信先として通知された位置姿勢推定モジュール３００を登録する。そして、ステップＳ２２５に関して上述したように、客観撮像モジュール２００は、登録された位置姿勢推定モジュールへ検出情報（たとえば重心位置）を送信する。
【００３９】
次に、本実施形態の各モジュールの動作シーケンスを図４を用いて説明する。
【００４０】
ここでは、説明をわかりやすくするため、客観撮像モジュール２００と調停モジュール１００と位置姿勢推定モジュール３００がそれぞれ１つずつネットワークにより接続されているものとする。なお、調停モジュール１００は、ネットワークインターフェースを有する一般的なコンピュータ装置が、所定のソフトウエアを実行することによって実現されるものであってもよい。
【００４１】
最初の状態では、調停モジュール１００が既に各客観撮像モジュール２００のパラメータを、外部補助記録装置から用いて読み込んで立ち上がっているものとする。客観撮像モジュール２００は、ステップＳ３００において初期化を完了する。この初期化プロセスでは、使用するメモリ領域の初期化やエリアセンサからデータを取得するためのレジスタのセットなどが行われる。初期化終了後、ステップＳ３０１において、客観撮像モジュール２００は、起動通知ブロードキャストをＵＤＰブロードキャストを用いて送信する。ＵＤＰブロードキャストは、サブネットに属するネットワーク機器に一斉にＵＤＰパケットを送信できる仕組みである。ネットワークアドレスが異なる場合は、ＵＤＰマルチキャストを使うことができる。なお、図４において、破線の横矢印はＵＤＰによる送信を、実線の矢印はＴＣＰ／ＩＰによる通信を意味している。
【００４２】
ステップＳ３０１で送信された起動通知ブロードキャストを受信した調停モジュール１００は、登録パラメータとの照合を行う（ステップＳ３０２）。登録パラメータは、上述の調停モジュール１００の外部補助記憶装置に保存されている客観撮像モジュール２００に関する設定パラメータである。本実施形態では、設定パラメータには、客観撮像モジュール２００のＭＡＣアドレスが登録されており、それをキーとして照合が行われる。
【００４３】
ステップＳ３０３において、調停モジュール１００は、照合された客観撮像モジュールを利用できる客観撮像モジュールとして、これを客観撮像モジュール利用テーブルに追加する。これにより、ネットワークで利用ができる客観撮像モジュールのみを調停モジュール１００の制御の対象とすることができる。
【００４４】
この後、客観撮像モジュール２００は画像処理を用いてエリアセンサにより撮像した指標の座標を送信する手続きを画像の取得タイミングに合わせて実行するものとする（ステップＳ４００）。
【００４５】
次に、位置姿勢推定モジュール３００がステップＣ４００において初期化が行われたとする。位置姿勢推定モジュール３００の初期化としては、使用するレジスタの初期化などがある。初期化後に、位置姿勢推定モジュール３００は、ステップＣ４０１において起動通知ブロードキャスト（ＵＤＰブロードキャスト）を行う。調停モジュール１００は、そのブロードキャストを受信して、当該位置姿勢推定モジュール３００を送信先テーブルに追加する（ステップＣ４０２）。さらに、位置姿勢推定モジュール３００は、現在の概略の位置を、ステップＣ４０３において調停モジュール１００に送信する。ここでの概略位置とは、参照座標における計測対象物体の概略位置である。
【００４６】
概略位置の求め方としては、ヘッドマウントディスプレイに付した撮像装置が検出した結果を利用することができる。特開２００７−０４０９８０号公報においては、計測対象物体に付した撮像装置により撮像した指標の情報を用いて、該計測対象物体に付した指標の位置を決定する方法が開示されている。本実施形態においては、どの方法で計測対象物体の概略位置を取得しても良く、その概略位置を撮像している可能性のある客観撮像モジュールが選択される。
【００４７】
ステップＣ４０４において、調停モジュール１００は、利用可能な客観撮像モジュールのリストである客観撮像モジュール利用テーブルから、ステップＣ４０３で受信した概略位置を撮像している客観撮像モジュールを検索する。また、その概略位置をこれから撮像しそうな客観撮像モジュールや、その概略撮像位置をこれまで撮像していたが撮像領域から外れてしまいそうな客観撮像モジュールを検索するようにしてもよい。
【００４８】
その結果、先ほど登録された客観撮像モジュール２００が、ステップＣ４０３で受信した概略位置の指標を撮像していると判定された場合は、その位置姿勢推定モジュール３００に対応する宛先を客観撮像モジュール２００に送信する（ステップＳ３００）。ここで、宛先とは、ＩＰアドレスとポート番号を含む情報である。
【００４９】
ステップＳ３０５において、客観撮像モジュール２００は、自身の宛先テーブルに、受信した位置姿勢推定モジュール３００の宛先を追加する。
【００５０】
客観撮像モジュール２００では、ステップＳ４００，Ｓ４０１，Ｓ４０２において指標検出の画像処理を行っている。図４の例では、ステップＳ４０２における指標検出の後、ステップＳ３０６において、宛先テーブルに登録された宛先に対して、検出された撮像画像上の指標の座標値を、ＵＤＰを使って位置姿勢推定モジュール３００に送信する。
【００５１】
位置姿勢推定モジュール３００は、受信した客観撮像モジュール２００が既に使われているか否かを判定するためにステップＣ４０５において照合する。もし、既に利用されているもので無い場合は、その客観撮像モジュール２００のパラメータを問い合わせるために、調停モジュール１００に客観撮像モジュール２００の情報を付加して送信する（ステップＣ４０６）。既に問い合わせ済みで、客観撮像モジュールの設定パラメータを取得している場合は、ステップＣ４０５の処理からステップＣ４０９の３次元位置計算処理へ移行する。
【００５２】
一方、パラメータの問い合わせを受けた調停モジュール１００は、客観撮像モジュール利用テーブルから検索を行う（ステップＣ４０７）。そして、それが現在利用できる客観撮像モジュールである場合は、その設定パラメータ（或いは少なくとも設定パラメータに含まれる位置及び姿勢の情報）を位置姿勢推定モジュール３００に送信する（ステップＣ４０８）。こうして、複数の客観撮像モジュールからの検出情報がそろった場合は、上述した３次元位置を求める計算を行い（ステップＣ４０９）、その結果を他の装置に送出する（ステップＣ４１０）。
【００５３】
なお、新たな客観撮像モジュールがシステムに追加されても、上述の手続きを同様に実行すれば利用可能な客観撮像モジュールとして登録・利用される。
【００５４】
この調停モジュール１００を利用する通信の仕組みでは、客観撮像モジュール２００の情報を初期段階において位置姿勢推定モジュール３００が知っておく必要がない。即ち、調停モジュール１００が仲介役として機能することにより、位置姿勢推定モジュール３００が、利用可能な客観撮像モジュール２００からの情報を取得できるようになっている点が、従来技術とは大きく異なる点である。さらに、連続して画像処理して検出される指標の結果情報が連続的に送信されても、ＵＤＰを用いることで、輻輳によるネットワークへの悪影響を抑制することができる。さらに、調停モジュール１００が全ての客観撮像モジュール２００の情報を把握しているため、客観撮像モジュール２００の登録情報の追加・更新・削除などを一元管理することができる。
【００５５】
［変形例１］
図５は、複数の客観撮像モジュールと、複数の位置姿勢推定モジュールが存在するときの調停モジュール１００の接続関係を示した図である。図５のように多量の客観撮像モジュールが存在していても、調停モジュール１００は指標の位置に応じて客観撮像モジュールを選択して、位置姿勢推定モジュールに検出データを送信するように調整する。これにより、位置姿勢推定モジュールは客観撮像モジュールの知識が無くても指標の検出情報を取得できる。また、通信の輻輳を抑えられるので、位置姿勢推定モジュールは効率的に位置姿勢を取得することができる。
【００５６】
［変形例２］
上記実施形態では、位置姿勢推定モジュール３００が概略位置を調停モジュール１００に送信することで、それを捕捉するエリアセンサ（客観撮像モジュール）を選択して、検出結果を送信するように制御している。しかしながら、必ずしも位置姿勢推定モジュール３００がその概略位置を調停モジュール１００に送信しなくても構わない。例えば、幾何学的な特徴を有する指標や、色相などが特徴的な色を塗布した指標など、そのシステムにおいてユニークな指標を用いている場合は、その特徴を位置姿勢推定モジュールが調停モジュール１００に送信しても良い。
【００５７】
その場合、調停モジュール１００は、利用可能な客観撮像モジュール２００に対して、その特徴を通知する。客観撮像モジュール２００は、画像処理において検出された指標の特徴と一致する場合は、調停モジュール１００に指標が検出されたことを通知する。
【００５８】
調停モジュール１００は、客観撮像モジュールの指標検出の通知を受けて、該当する客観撮像モジュール２００と撮像領域が重複する客観撮像モジュール２００に対して、位置姿勢推定モジュールの宛先情報を送信する。以後の処理は、上記実施形態と同様に行えば良い。
【００５９】
［変形例３］
上記実施形態では、１台の調停モジュール１００を用いたが、複数の調停モジュール１００を利用することも可能である。この場合、複数の調停モジュールに対して優先順位を決めておき、起動通知のＵＤＰブロードキャストを優先順位の最も高い調停モジュールが処理を行う。そして例えば、優先順位の最も高い調停モジュールから一定期間応答がなければ、次に優先順位が高い調停モジュールが処理を実行する。この方法により、該当する調停モジュールが使用不可の状態になっても、次に優先順位が高い調停モジュールが代行する仕組みにより、安定したシステムを構築できる。
【００６０】
また、ＵＤＰブロードキャストは、同一のネットマスクを有する機器にのみ送信できるので、サブネットごとに調停モジュールを設置しても良い。サブネットと建物の構造などが一致している場合などは、物理的な客観撮像モジュールとの対応が取りやすくなり有利である。なお、その際には、他の調停モジュールの情報は、互いに調停モジュール同士が通信することで共有することができる。この場合の調停モジュール間の通信は、調停モジュールの担当範囲を越える時に発生する程度なので、通信の負荷は大きくない。
【００６１】
以上説明したように、上記各実施形態、変形例によれば、客観撮像モジュールを制御する際の通信方法と、客観撮像モジュールが検出した結果を連続的に送信する際の通信方法を分けることで、輻輳による通信速度の低下を回避することができる。
【００６２】
また、調停モジュール１００によって客観撮像モジュールの設定パラメータが一元管理されることで、客観撮像モジュールの位置姿勢の修正や、追加などの手続きを容易に行える。
【００６３】
また、位置姿勢推定を必要とする利用者が、広範囲に分散した客観撮像モジュールのどれを利用するかを選択する必要がなくなり、利便性が向上する。
【００６４】
［その他の実施形態］
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【００６５】
また、コンピュータが、コンピュータ読み取り可能な記憶媒体から読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図１】
2010271949.tif 000003
【図２】
2010271949.tif 000004
【図３】
2010271949.tif 000005
【図４】
2010271949.tif 000006
【図５】
2010271949.tif 000007