(57)【要約】【課題】簡便な方法により正確でかつ動的に位置情報の取得を行う位置情報取得システムを提供することを目的とする。【解決手段】位置表示タグ２００は、自身の位置情報を取得し図形により表示する。また、位置情報取得装置１０１は、撮像手段（カメラ）１０２により外界の景観を撮影し撮像を取得する。画像処理手段１０３は、撮像手段１０２で取得した撮像を画像処理し、位置表示タグ２００の検出と表示情報を取得する。そして、位置算出手段１０４により、位置表示タグ２００の表示情報を基に、撮像手段１０２の位置及び撮影方向の情報を算出する。また、移動検出手段（加速度センサ）１０５及び相対位置算出手段１０６から得られた撮像手段１０２の位置及び撮影方向の情報を、前記位置表示タグ２００を基にして位置算出手段１０４により得られた情報で補正する。【選択図】  図１
2004257872.tif 000002
【特許請求の範囲】
【請求項１】
配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムであって、
前記位置表示タグには、
位置表示タグ自身の位置情報を取得するための位置情報取得手段と、
前記位置情報を基に文字列または図形による位置表示情報を生成するための位置表示情報生成手段と、
前記位置表示情報を表示するための位置情報表示手段と
を備え、
前記位置情報取得装置には、
外界の景観を撮影し撮像を取得するための撮像手段と、
前記撮像手段で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手段と、
前記画像処理手段で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手段と
を備えることを特徴とする位置情報取得システム。
【請求項２】
前記位置情報取得装置には、
前記撮像手段の移動を検出する移動検出手段と、
前記移動検出手段で検出した情報を基に、前記撮像手段の初期位置からの相対的な移動量を算出し、前記撮像手段の現在の位置及び撮影方向を算出するための相対位置算出手段と
をさらに備えることを特徴とする請求項１に記載の位置情報取得システム。
【請求項３】
前記相対位置算出手段により算出された前記撮像手段の現在の位置及び撮影方向の情報を、前記位置算出手段により算出された前記撮像手段の現在の位置及び撮影方向の情報により補正するための位置情報補正手段を
さらに備えることを特徴とする請求項２に記載の位置情報取得システム。
【請求項４】
前記位置表示タグには、
位置表示タグの姿勢を検出する姿勢検出手段と、
位置表示タグの位置情報とともに前記姿勢情報を表示する手段と
をさらに備えることを特徴とする請求項１から３のいずれかに記載の位置情報取得システム。
【請求項５】
前記位置情報取得装置が、透過型または非透過型の仮想画像表示装置であることを特徴とする請求項１から４のいずれかに記載の位置情報取得システム。
【請求項６】
前記位置表示タグで表示される情報が、文字列、バーコード、ＱＲコードまたはそれらの組み合わせで表示されること
を特徴とする請求項１から５のいずれかに記載の位置情報取得システム。
【請求項７】
配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムにおける前記位置情報取得装置であって、
外界の景観を撮影し撮像を取得するための撮像手段と、
前記撮像手段で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手段と、
前記画像処理手段で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手段と
を備えることを特徴とする位置情報取得装置。
【請求項８】
配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムおける位置情報取得方法であって、
前記位置表示タグにより、
位置表示タグ自身の位置情報を取得するための位置情報取得手順と、
前記位置情報を基に文字列または図形による位置表示情報を生成するための位置表示情報生成手順と、
前記位置表示情報を表示するための位置情報表示手順と
が行われ、
前記位置情報取得装置により、
外界の景観を撮影する撮像手段により撮像を取得するための撮像手順と、
前記撮像手順で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手順と、
前記画像処理手順で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手順と
が行われることを特徴とする位置情報取得方法。
【請求項９】
配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムおける前記位置情報取得装置内のコンピュータに、
外界の景観を撮影する撮像手段により撮像を取得するための撮像手順と、
前記撮像手順で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手順と、
前記画像処理手順で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、位置情報取得システムに関し、特に、撮像から位置情報を取得する、位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラムに関する。
【０００２】
【従来の技術】
バーチャルリアリティ技術を用いて、実写映像に重ね合わす形で仮想情報を重合表示するシステムが実現されているが、この際、カメラ側の位置情報を正確に把握することが非常に重要となってくる。正確な位置情報が取得できない場合は、重合情報として表示された映像中の仮想情報がシステムの意図どおりにはならず、表示ずれ等の問題を生じる。
【０００３】
特に、ヘッドマウントディスプレイ（頭部装着型画像表示装置）などを用いたシステムでは、カメラは頭部に装着されており、人の移動や頭部の動きなどによりカメラ位置がリアルタイムに変化するので、いったん正確な位置合わせが行えたとしても、時間の経過とともに誤差が生じ、正確な位置情報を常に把握するためには何らかの補正手段が必要になってくる。
【０００４】
従来からある手法としては、カメラ側にセンサ類（加速度センサ、ジャイロセンサ）を用意することで、最初の位置合わせ以降はセンサから得られる相対的な位置情報を用いて現在位置を算出する方法があるが、この場合にはセンサ自体の誤差により時間経過と伴に累積誤差が非常に大きくなってしまうという問題がある。
【０００５】
また、例えば、特許文献１に開示された発明があり、カメラ映像の画像認識で、予め位置情報が登録されている標識となるオブジェクト（マーカ、物、建物など）を認識することで現在位置の取得及び補正を行う手法もあるが、標識となるオブジェクトは位置が既知の固定物であり、自由に移動できるものではなく利便性に欠ける。さらに、カメラ側又はそのネットワーク背後にオブジェクト位置の管理マップデータを持つ必要が生じ、システムが肥大化してしまうという問題がある。
【０００６】
【特許文献１】
特開２００１−２１１４０３号公報
【０００７】
【発明が解決しようとする課題】
本発明はこのような問題を解決するためになされたもので、本発明は、上記従来例の持つ問題点を解決し、簡便な方法により正確でかつ動的に位置情報を取得することができる、位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の位置情報取得システムは、配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムであって、前記位置表示タグには、位置表示タグ自身の位置情報を取得するための位置情報取得手段と、前記位置情報を基に文字列または図形による位置表示情報を生成するための位置表示情報生成手段と、前記位置表示情報を表示するための位置情報表示手段とを備え、前記位置情報取得装置には、外界の景観を撮影し撮像を取得するための撮像手段と、前記撮像手段で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手段と、前記画像処理手段で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手段とを備えることを特徴とする。
このような構成であれば、位置表示タグでは、位置取得手段により、位置表示タグ自身の位置情報を取得し、位置表示情報生成手段により、文字列または図形による位置表示情報を生成する。そして、位置情報表示手段により、図形などによる位置表示情報を表示する。また、位置情報取得装置では、カメラなどの撮像手段により、外界の景観を撮影し撮像を取得する。そして、画像処理手段により、撮像を画像処理し、位置表示タグの検出を行い、位置表示タグの情報を取得する。次に、位置算出手段により、位置表示タグの情報を基に、位置表示タグと撮像手段との相対距離と方角を算出し、撮像手段の位置及び撮影方向の情報を算出する。
これにより、撮像手段（カメラなど）の位置及び撮影方向の情報の取得が、人手を介さずに正確かつ動的に行える。また、位置表示タグは移動でき、任意の場所に配置できる。また、位置情報取得装置側（カメラ側）は、従来のように標識となるオブジェクトの位置の管理マップデータなどを持つ必要がなく、システムが肥大化しない構成にできる。
【０００９】
また、本発明の位置情報取得システムは、前記位置情報取得装置には、前記撮像手段の移動を検出する移動検出手段と、前記移動検出手段で検出した情報を基に、前記撮像手段の初期位置からの相対的な移動量を算出し、前記撮像手段の現在の位置及び撮影方向を算出するための相対位置算出手段とをさらに備えることを特徴とする。
このような構成であれば、加速度センサやジャイロなどを用いた移動検出手段により、撮像手段の移動を検出し、相対位置算出手段により、初期位置からの相対的な移動量を算出し、カメラなどの撮像手段の現在の位置及び撮影方向を算出する。
これにより、位置表示タグの表示情報が取得できない場合（撮像から位置表示タグがフレームアウトした場合）にも、撮像手段の現在位置及び撮影方向の情報を取得できる。
【００１０】
また、本発明の位置情報取得システムは、前記相対位置算出手段により算出された前記撮像手段の現在の位置及び撮影方向の情報を、前記位置算出手段により算出された前記撮像手段の現在の位置及び撮影方向の情報により補正するための位置情報補正手段をさらに備えることを特徴とする。
このような構成であれば、加速度センサなどを使用して算出された撮像手段（カメラなど）の現在の位置及び撮影方向の情報を、位置表示タグの撮像を基に算出された撮像手段の現在の位置及び撮影方向の情報により補正する。
これにより、撮像手段側（カメラ側）の加速度センサなどで算出した位置及び撮影方向の情報の累積誤差を補正することができる。
【００１１】
また、本発明の位置情報取得システムは、前記位置表示タグには、位置表示タグの姿勢を検出する姿勢検出手段と、位置表示タグの位置情報とともに前記姿勢情報を表示する手段とをさらに備えることを特徴とする。
このような構成であれば、位置表示タグでは、位置情報と共に、例えば、位置表示タグ表示平面の法線方向の情報（位置表示タグ姿勢情報）を表示する。
これにより、仮想画像表示装置側（カメラ側）では、１つの位置表示タグを撮影できれば、ズーム情報を基に位置表示タグとの相対距離を算出し、また位置表示タグの位置情報と姿勢情報、位置表示タグ形状の扁平具合から、撮像手段（カメラなど）の位置及び撮影方向を算出することができる。
【００１２】
また、本発明の位置情報取得システムは、前記位置情報取得装置が、透過型または非透過型の仮想画像表示装置であることを特徴とする。
このような構成であれば、仮想画像表示装置に設備された撮像手段（カメラなど）の位置及び撮影方向の情報を、本発明の位置情報取得方法により取得する。
これにより、仮想画像表示装置に設備された撮像手段（カメラなど）の位置及び撮影方向の情報の取得が人手を介さずに正確にかつ動的に行える。また、仮想画像表示装置側は、従来のように標識となるオブジェクトの位置の管理マップデータなどを持つ必要がなく、システムが肥大化しない構成にできる。
【００１３】
また、本発明の位置情報取得システムは、前記位置表示タグで表示される情報が、文字列、バーコード、ＱＲコードまたはそれらの組み合わせで表示されることを特徴とする。
このような構成であれば、位置表示タグでは、位置表示タグの位置情報や姿勢情報を、通常よく使用される文字列、バーコード、ＱＲコード（（Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ）コード）により表示する。
これにより、位置情報取得装置側（カメラ側）では、位置表示タグの表示情報を、汎用の読み取り技術を使用して、容易に読み取りことができる。
【００１４】
また、本発明の位置情報取得装置は、配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムにおける前記位置情報取得装置であって、外界の景観を撮影し撮像を取得するための撮像手段と、前記撮像手段で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手段と、前記画像処理手段で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手段とを備えることを特徴とする。
このような構成であれば、位置情報取得装置では、カメラなどの撮像手段により、外界の景観を撮影し撮像を取得する。そして、画像処理手段により、撮像を画像処理し、位置表示タグの検出を行い、位置表示タグの情報を取得する。次に、位置算出手段により、位置表示タグの情報を基に、位置表示タグと撮像手段（カメラなど）との相対距離と方角を算出し、撮像手段の位置及び撮影方向の情報を算出する。
これにより、撮像手段（カメラなど）の位置及び撮影方向の情報の取得が、人手を介さずに正確かつ動的に行える。また、位置表示タグは移動でき、任意の場所に配置できる。また、位置情報取得装置側（カメラ側）は、従来のように標識となるオブジェクトの位置の管理マップデータなどを持つ必要がなく、システムが肥大化しない構成にできる。
【００１５】
また、本発明の位置情報取得方法は、配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムおける位置情報取得方法であって、前記位置表示タグにより、位置表示タグ自身の位置情報を取得するための位置情報取得手順と、前記位置情報を基に文字列または図形による位置表示情報を生成するための位置表示情報生成手順と、前記位置表示情報を表示するための位置情報表示手順とが行われ、前記位置情報取得装置により、外界の景観を撮影する撮像手段により撮像を取得するための撮像手順と、前記撮像手順で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手順と、前記画像処理手順で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手順とが行われることを特徴とする。
このような手順であれば、位置表示タグでは、位置取得手順により、位置表示タグ自身の位置情報を取得し、位置表示情報生成手順により、文字列または図形による位置表示情報を生成する。そして、位置情報表示手順により、図形などによる位置表示情報を表示する。また、位置情報取得装置では、撮像手順により、カメラなどの撮像手段により外界の景観を撮影し撮像を取得する。そして、画像処理手順により、撮像を画像処理し、位置表示タグの検出を行い、位置表示タグの表示情報を取得する。次に、位置算出手順により、位置表示タグの情報を基に、位置表示タグと撮像手段との相対距離と方角を算出し、撮像手段（カメラ）の位置及び撮影方向の情報を算出する。
これにより、撮像手段（カメラなど）の位置及び撮影方向の情報の取得が、人手を介さずに正確かつ動的に行える。また、位置表示タグは移動でき、任意の場所に配置できる。また、位置情報取得装置側（カメラ側）は、従来のように標識となるオブジェクトの位置の管理マップデータなどを持つ必要がなく、システムが肥大化しない構成にできる。
【００１６】
また、本発明のコンピュータプログラムは、配置場所の位置情報を表示する位置表示タグと、該位置表示タグを撮像して位置情報を取得する位置情報取得装置から構成される位置情報取得システムおける前記位置情報取得装置内のコンピュータに、外界の景観を撮影する撮像手段により撮像を取得するための撮像手順と、前記撮像手順で取得した撮像を画像処理し、前記位置表示タグの検出と、前記位置表示タグの表示情報を取得するための画像処理手順と、前記画像処理手順で取得された位置表示タグの情報を基に、前記撮像手段の位置及び撮影方向の情報を算出するための位置算出手順とを実行させるためのプログラムである。
【００１７】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１８】
図１は、本発明の位置情報取得システム１００における位置情報取得装置１０１が備える手段（機能）の構成例を示す図である。撮像手段１０２は、カメラ、視覚センサなどであり、外界の景観を撮影し、撮像を取得するための手段である。なお、撮像には位置表示タグ２００が含まれる場合と含まれない場合がある。また、撮像手段１０２には、カメラなどのズーム情報が保持される。
【００１９】
画像処理手段１０３は、カメラなどの撮像手段１０２で取得した撮像データを画像処理し、位置表示タグ２００が含まれているかどうかを検出する。撮像データ内に、位置表示タグ２００が含まれている場合は、位置表示タグ２００の表示情報を取得する。そして、取得した位置表示タグ２００の情報を位置算出手段１０４に渡す。
【００２０】
位置算出手段１０４は、画像処理手段１０３で取得された位置表示タグ２００の表示情報を解析する。そして、撮像手段１０２に保持されているズーム情報から（位置表示タグ２００の大きさは固定）、撮像手段（カメラなど）１０２と位置表示タグ２００との相対距離を算出する。また位置表示タグ２００が表示する位置情報と姿勢情報と、撮像内の位置表示タグ形状の扁平具合から、撮像手段（カメラなど）１０２の現在の位置及び撮影方向を算出する。なお、位置表示タグ２００に姿勢情報が表示されない場合もあり、この場合は、３つ以上の位置表示タグ２００に表示された位置情報を同時に解析することで、撮像手段１０２の現在の位置及び撮影方向を算出する（図７参照）。
また、移動検出手段１０５は、加速度センサ、ジャイロセンサなどであり、撮像手段（カメラなど）１０２自身の移動を検出する。移動検出手段１０５で検出されたセンサなどの出力情報は、相対位置算出手段１０６に渡される。
【００２１】
相対位置算出手段１０６は、移動検出手段（加速度センサなど）１０５からの移動検出量の情報を得て、撮像手段１０２の撮像開始時の初期位置からの相対的な移動量を算出し、撮像手段１０２の現在の位置及び撮影方向を算出する。撮像手段１０２により、位置表示タグ２００の表示情報が取得できない場合（位置表示タグがフレームアウトした場合）は、この相対位置算出手段１０６により、撮像手段１０２の現在位置及び撮影方向の情報を算出する。
【００２２】
位置情報補正手段１０７は、位置表示タグ２００の表示情報を基に算出した撮像手段１０２の位置及び撮影方向の情報により、移動検出手段（加速度センサなど）１０５及び相対位置算出手段１０６から得られた撮像手段１０２の位置及び撮影方向の情報を補正する。これにより、撮像手段側（カメラ側）の加速度センサなどで算出した位置及び撮影方向の情報の累積誤差を補正することができる。
【００２３】
また、図２は、位置表示タグ２００が備える手段（機能）の構成例を示す図である。位置情報取得手段２０１は、位置表示タグ２００自身の位置情報を取得するための手段である。例えば、ＵＷＢなどの無線技術を用いた近距離レーダ、ＧＰＳ、光学的なマーカなどにより位置情報を取得する。位置情報取得手段２０１が取得した位置情報は、位置表示情報生成手段２０３に渡される。
【００２４】
また、姿勢検出手段２０２は方位センサやフリージャイロなどであり、位置表示タグ２００の表示平面の法線方向の情報（位置表示タグの姿勢情報）を取得する。姿勢検出手段２０２が検出した姿勢情報は、位置表示情報生成手段２０３に渡される。なお、位置表示タグ２００では、この姿勢検出手段２０２を含む場合と含まない場合の２通りのパターンがある。
【００２５】
位置表示情報生成手段２０３は、位置情報取得手段２０１及び姿勢検出手段２０２で取得した位置及び姿勢の情報から図形情報（文字列、バーコード、ＱＲ（Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ）コードなど）を生成する。位置表示情報生成手段２０３により生成された図形情報は、位置情報表示手段２０４に渡される。位置情報表示手段２０４は、位置表示情報生成手段２０３で生成された図形情報を、例えば、液晶表示パネルなどに表示する。
【００２６】
また、図３は、位置表示タグ２００の外観及び表示形態について説明するための図である。位置表示タグ２００には、アンテナ２１１が設けられ、例えばＧＰＳにより位置情報を取得する場合には、衛星からの電波を受信するために使用される。また、表示画面２１２は、位置表示タグ２００の位置情報及び姿勢情報を表示するための画面であり、例えば、液晶表示パネルなどである。また、表示する図形情報としては、一般的な二次元バーコードを使用するものとする。例えば、ＱＲコード、サイバーコード（例えば、特開２０００−１４８９０４号公報を参照）などが使用できる。なお、位置表示タグ２００の形状は図３に示す方形の形状に限らず種々の形状とすることができる。
【００２７】
また、図４は、本発明を仮想画像表示装置に適用した例を示す図であり、実像に仮想情報を重合して表示する頭部装着型画像表示装置（ヘッドマウントディスプレイ）を用いた仮想画像表示装置に本発明を適用した例を示したものである。図４に示す仮想画像表示装置は、カメラ側システム１１０と位置表示タグ２００とで構成される。なお、図４に示すカメラ側システム１１０は、図１に示す位置情報取得装置１０１（図１）に相当する。
【００２８】
また、カメラ側システム（位置情報取得装置）１１０は、人間が頭部に装着するカメラ付きの透過型または非透過型のヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：頭部装着型画像表示装置）１１１と、カメラ側制御装置１３０で構成される。ヘッドマウントディスプレイ１１１には、デジタルカメラ１１２と、眼鏡式の左右一対の画像表示部１１３、加速度センサ１１４が設けられる。
【００２９】
ヘッドマウントディスプレイ（ＨＭＤ）１１１は、カメラ１１２で撮影した画像（実像）を画像表示部１１３に表示するとともに（透過型ＨＭＤの場合は実像を表示しない）、カメラ１１２の位置及び撮影方向に応じて、カメラ側制御装置１３０に記憶された仮想情報を抽出し、カメラ１１２で撮影した実像に重合して表示する。
【００３０】
例えば、図８は、仮想情報の重合表示の例を示す図であり、図８（ａ）に示すカメラ１１２で撮影した実像（家屋の画像）に、図８（ｂ）に示す仮想情報（○○さんのお宅）を重合して表示する案内システムの例である。このように、本発明を応用した仮想画像表示装置は、カメラ１１２の位置及び撮影方向に応じて仮想情報を適宜選択して重合表示するシステムである。
【００３１】
また、カメラ１１２の位置及び撮影方向の情報については、最初に初期位置の設定情報がカメラ側制御装置１３０に与えられるか、または、カメラ側システム１１０が位置表示タグ２００を撮像することにより得られる。また、ＨＭＤ１１１には、加速度センサ１１４（またはジャイロ）などの移動検出用のセンサが設けられ、ＨＭＤ１１１を装着した人間の移動によるカメラ１１２の相対的な移動量が検出される。そして、初期位置の情報と相対的な移動量を基に、現在のカメラ１１２の位置及び撮影方向を算出し、求めた位置と撮影方向に応じた仮想情報を抽出して重合表示する。このように、ＨＭＤ１１１では、カメラ位置と撮影方向に応じて仮想情報を表示するが、カメラ１１２の位置及び撮影方向の移動量の算出結果には、次第に累積誤差が生じてくる。このため、本発明では、位置表示タグ２００を使用してカメラ位置と撮影方向の情報の補正を行う。
【００３２】
位置表示タグ２００は、前述したごとく、それ自身で位置を検出する機能を有しており、この位置検出には、例えば、ＵＷＢなどの無線技術を用いた近距離レーダ、ＧＰＳ、光学的なマーカなどの技術を使用することができる。さらに、位置表示タグ２００には方位センサやフリージャイロを備えることにより、位置表示タグの表示平面の法線方向の情報（位置表示タグの姿勢情報）を持つことができる。また、位置情報及び姿勢情報を、カメラ側システム１１０が解読可能な図形情報（文字、二次元バーコードなど）に変換して表示し、位置表示タグ２００の位置、姿勢が変更される度にその表示内容が更新される。
【００３３】
なお、図７は、位置表示タグを使用したカメラ位置取得の概念を示す図であり、カメラ１１２が、３つの位置表示タグＡ、Ｂ、Ｃを撮像できる場合の例を示している。カメラ側システムは撮像内にある位置表示タグＡ、Ｂ、Ｃの大きさと、カメラ１１２に保持されているズーム情報から（位置表示タグの大きさは固定）、カメラ１１２と位置表示タグＡ、Ｂ、Ｃとの相対距離を算出する。また位置表示タグ２００が表示する位置情報（例えば、各位置表示タグの緯度、経度、高度）と姿勢情報を解析し、また、撮像内に位置表示タグ形状の扁平具合から、撮像手段１０２の現在の位置及び撮影方向を算出する。なお、本例のように、カメラ１１２側で、少なくとも３つ以上の位置表示タグの表示情報を同時に解析できる場合は、位置表示タグ側に姿勢情報を表示する機能は必ずしも必要ではなく、位置表示タグ側の位置情報の表示だけでカメラ位置及び撮影方向の算出が可能となる。ただし、３つ以上の位置表示タグが１つの直線上に配置されないことが条件となる。すなわち、位置表示タグの表示情報中に姿勢情報が含まれている場合には、位置表示タグを１つ撮像できればカメラ１１２の位置及び撮影方向を算出できるが、位置表示タグの表示情報中に姿勢情報が含まれていない場合は、３つ以上の位置表示タグを同時に撮像する必要がある。
【００３４】
なお、図４に示すように、通常の構成例としては、カメラ側自身に位置情報を取得するための加速度センサ１１４などのセンサ類を備えておき、カメラ側で算出した位置情報の累積誤差の補正手段として、位置表示タグ２００を利用する。ただし、カメラ側で位置表示タグ２００の位置表示画面の情報を常に取得できる場合（常にカメラ側撮像に位置表示タグ側の位置表示画面が入っている場合）には、カメラ側のセンサ類を必要としない構成とすることもできる。この場合は、カメラ側に要求されるリソースを最小限に押さえることができる。
【００３５】
このような、本発明を適用したＨＭＤ１１１を使用することにより、例えば、街角における案内システムを構成することができる。すなわち、利用者がカメラ付きＨＭＤ１１１を装着し、街角を散策するような場合に使用されるシステムであり、街角の案内情報が仮想情報として実像に重合されて表示されるという案内システムである。具体的には地名やビル名などの情報が重合表示される。なお、重合情報は通常は簡易なものを用いるが、広告や標識などへの応用も可能である。また、街角だけでなく、オフィスやホームなどでの利用も当然可能である。なお、カメラ付きヘッドマウントディスプレイは透過型であっても、非透過型でもどちらでも使用できる。
【００３６】
また、図５は、カメラ側システム（位置情報取得装置）の構成例を示す図であり、本発明に直接関係する部分について示したものであり、図４に示すカメラ側システム１１０の構成例を示したものである。
図５において、ヘッドマウントディスプレイ１１１内のＣＣＤ素子などで構成されるデジタルカメラ（撮像手段）１１２は、外界の景観とともに、位置表示タグ２００を撮像するカメラである。画像表示部１１３は、実像と仮想情報を重ね合わせて表示するディスプレイ装置である。加速度センサ（移動検出手段）１１４は、ヘッドマウントディスプレイ１１１の移動検出と移動量の算出を行うためのセンサである。
【００３７】
また、カメラ側制御装置１３０内に設けられた制御部１３１は、ヘッドマウントディスプレイ１１１及びカメラ側制御装置１３０の全体を統括制御するＣＰＵを含む制御部である。仮想情報データベース１３２は、位置と方角に関連づけられた仮想情報を記憶するデータベースである。また、処理プログラム部１４０には、画像処理部（画像処理手段）１４１、位置算出処理部（位置算出手段）１４２、相対位置算出処理部（相対位置算出手段）１４３、位置情報補正処理部（位置情報補正手段）１４４、仮想情報抽出処理部１４５、及び重合画像表示処理部１４６が含まれる。
【００３８】
画像処理部１４１は、カメラ１１２で取得した撮像データを画像処理し、位置表示タグ２００の表示情報を取得するための処理部であり、画像処理部１４１で取得された位置表示タグ２００の表示情報は、位置算出処理部１４２に渡される。
【００３９】
位置算出処理部１４２は、画像処理部１４１で取得された位置表示タグ２００の情報を解析する。そして、カメラ１１２に保持されているズーム情報から（位置表示タグの大きさは固定）、カメラ１１２と位置表示タグ２００との相対距離を算出する。また位置表示タグ２００が表示する位置情報と姿勢情報、撮像内の位置表示タグ形状の扁平具合から、カメラ１１２の現在の位置及び撮影方向を算出する。なお、位置表示タグ２００に姿勢情報が表示されない場合もあり、この場合は、３つ以上の位置表示タグ２００に表示された位置情報を同時に解析することで、カメラ１１２の現在の位置及び撮影方向を算出する（図７参照）。
【００４０】
相対位置算出処理部１４３は、加速度センサ１１４からの移動検出の情報を得て、カメラ１１２の撮像開始時の初期位置からの相対的な移動量を算出し、カメラ１１２の現在の位置及び撮影方向を算出する。カメラ１１２により、位置表示タグ２００の表示情報が取得できない場合（位置表示タグがフレームアウトした場合）は、この相対位置算出処理部１４３より、カメラ１１２の現在の位置及び撮影方向の情報を算出する。
位置情報補正処理部１４４は、位置表示タグ２００の表示情報を基にしたカメラ１１２の位置及び撮影方向の情報により、加速度センサ１１４及び相対位置算出処理部１４３から得られたカメラ１１２の位置及び撮影方向の情報を補正する。
【００４１】
また、仮想情報抽出処理部１４５は、カメラ１１２の現在の位置及び撮影方向の情報（ズーム情報が加わる場合もある）を基に、仮想情報データベース１３２を参照し、ＨＭＤ１１１で重合表示する仮想情報を抽出するための処理部である。また、重合画像表示処理部１４６は、仮想情報データベース１３２から抽出した仮想情報を実像に重ねて表示するための処理部である。
【００４２】
また、図６は、図５に示す位置表示タグ２００とカメラ側システム１１０における処理フロー示す図である。以下、図６（及び図５）を参照して、位置表示タグ２００とカメラ側システム（位置情報取得装置）１１０が位置表示タグ２００を撮像して、カメラ（撮像手段）１１２の位置及び撮影方向の情報の取得及び補正を行う動作の流れについて説明する。なお、この例では、位置表示タグ２００が位置情報のみを表示し（姿勢情報は表示しない）、３つ以上の位置表示タグが撮像することができる場合の処理の流れについて示している。
【００４３】
まず、位置表示タグ２００側の処理については、位置情報を取得し（ステップＳ１）、取得した位置情報に応じた図形情報を生成して表示する（ステップＳ２）。この表示情報は位置表示タグの位置が変更される度に更新される。また、位置表示タグ２００の位置情報取得方法は、前述したように、通常の位置検出技術（ＵＷＢやＧＰＳなどによる位置検出技術）を利用するものとし、位置情報として、緯度、経度、高度を用いる。また、位置情報の図形情報への変換方法についても一般的な技術を利用するものとする。また、図形情報には、単なる文字列という場合も含まれる。
【００４４】
次に、カメラ側システム１１０側のカメラ１１２での撮像処理となる（ステップＳ１１）。カメラ１１２で取得された撮像は、画像処理部１４１（図５）により、位置表示タグ２００の表示部分の切り出しが行われる（ステップＳ１２）。撮像内に位置表示タグ２００が検出された場合は（ステップＳ１３）、得られた位置表示タグの表示情報を位置算出処理部１４２（図５）に渡す処理が行われる。撮像内に位置表示タグ２００が検出されない場合はステップＳ１６に進む。なお、このシステムでは、一度位置表示タグ表示を認識しないと、仮想情報の重合表示処理は開始されないシステム構成としている。
【００４５】
位置表示タグ２００の表示情報が位置算出処理部１４２に渡されると、位置算出処理部１４２では、カメラ１１２の現在のズーム状態、撮像内の各位置表示タグ形状のサイズから各位置表示タグ２００とカメラ１１２との相対距離を算出し、また、位置表示タグ２００の表示情報の解析処理を行い、カメラ１１２の現在の位置及び撮影方向を算出する（ステップＳ１４）。
【００４６】
次に、位置情報補正処理部１４４（図５）により、位置算出処理部１４２により得られたカメラ１１２の位置及び撮影方向の情報を基に、現在のカメラ位置及び撮影方向の情報の補正が行われる（ステップＳ１５）。すなわち、仮想画像表示装置内の加速度センサ１１４及び相対位置算出処理部１４３（図５）で算出しカメラ位置及び撮影方向の情報を、位置表示タグ２００の表示情報を基にして得られたカメラ位置及び撮影方向の情報に置き換える。
【００４７】
次に、仮想情報抽出処理部１４５（図５）により、現在のカメラ位置、カメラ撮影方向、及びズーム状態の情報に基づき、現在の撮像フレーム内に重合表示が必要な仮想情報が存在するかどうかを、仮想情報データベース１３２を参照して確認する。仮想情報データベース１３２内に対応する情報がある場合に仮想情報の抽出を行う（ステップＳ１７）。それから、重合画像表示処理部１４６により、仮想情報の重合表示を行う（ステップＳ１８）。なお、仮想情報がない場合には表示処理は行わない。
【００４８】
また、人の移動、視線変更により、カメラ位置、撮影方向が変更された場合（ステップＳ１９）には、撮像処理（ステップＳ１１）からの流れを繰り返し実行することになる。なお、この変更の検出は、カメラ１１２側に設けられている加速度センサ１１４からの情報により行われる。また、カメラ１１２が位置表示タグ２００の表示情報が取得できなかった場合（位置表示タグがフレームアウトした場合）は、加速度センサ１１４からの情報を基に、相対位置算出処理部１４３により、カメラ１１２の現在の位置及び撮影方向が算出される（ステップＳ１６）。
【００４９】
以上、本発明の実施の形態について説明したが、図５に示すカメラ側制御装置１３０内の処理プログラム部１４０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００５０】
また、図５に示すカメラ側システム（位置情報取得装置）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明のカメラ側システム（位置情報取得装置）に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５１】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５２】
以上、本発明の位置情報取得システムの実施の形態として、ヘッドマウントディスプレイを用いたバーチャルリアリティシステムへの応用例を示したが、これに限らず、例えば、以下の用途へ応用することもできる。
・移動型ロボットにおける現在位置の把握システムへの応用
・放送用バーチャルスタジオへの応用
・カメラマンが携帯する移動カメラに広告情報を重合表示する用途、例えば、スポーツ中継時の勝利者インタビューの際でも、仮想的な広告情報を背景に表示することができる。また、ヘッドマウントディスプレイの場合には、さらにヘッドホンを装備し、仮想情報に合わせて、音声、楽曲の情報を流すようにすることもできる。
【００５３】
以上、本発明の実施の形態について説明したが、本発明の位置情報取得システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図１】位置情報取得装置が備える手段の構成例を示す図。
【図２】位置表示タグが備える手段の構成例を示す図。
【図３】位置表示タグの外観及び表示形態について説明するための図。
【図４】仮想画像表示装置に本発明を応用した例を示す図。
【図５】カメラ側システム（位置情報取得装置）の構成例を示す図。
【図６】位置表示タグとカメラ側システムにおける処理フロー示す図。
【図７】位置表示タグを使用したカメラ位置取得の概念を示す図。
【図８】仮想情報の重合表示の例を示す図。
【符号の説明】
１００  位置情報取得システム、１０１  位置情報取得装置
１０２  撮像手段、１０３  画像処理手段、１０４  位置算出手段
１０５  移動検出手段、１０６  相対位置算出手段、１０７  位置情報補正手段
２００  位置表示タグ、２０１  位置情報取得手段、２０２  姿勢検出手段
２０３  位置表示情報生成手段、２０４  位置情報表示手段
【図１】
2004257872.tif 000003
【図２】
2004257872.tif 000004
【図３】
2004257872.tif 000005
【図４】
2004257872.tif 000006
【図５】
2004257872.tif 000007
【図６】
2004257872.tif 000008
【図７】
2004257872.tif 000009
【図８】
2004257872.tif 000010