(57)【要約】【課題】  人間には分かりやすい見た目を有すると共に、精度良く、短時間で、安定して識別できる指標、及びこの指標を用いた応用技術を提供すること。【解決手段】  指標は、第１の層と、第１の層が透視可能なように第１の層に重ね合わされる第２の層とを有しており、第１の層には可視可能な情報が記されており、第２の層は赤外光を反射する素材で構成されており、指標に関する情報が記されている。【選択図】  図３
2008146108.tif 000002
【特許請求の範囲】
【請求項１】
現実空間中に配置される指標であって、
前記指標は、第１の層と、当該第１の層が透視可能なように当該第１の層に重ね合わされる第２の層とを有しており、
前記第１の層には可視可能な情報が記されており、
前記第２の層は赤外光を反射する素材で構成されており、前記指標に関する情報が記されていることを特徴とする指標。
【請求項２】
前記指標に関する情報は、前記指標を識別する為の情報であることを特徴とする請求項１に記載の指標。
【請求項３】
請求項１又は２に記載の指標が配置された現実空間を、赤外光が撮像可能な第１の撮像装置によって撮像することで得られる、第１の画像を取得する第１の取得手段と、
前記第１の画像中に位置する前記指標を識別する識別手段と、
前記識別手段が識別した指標の前記第１の画像中における位置と、予め当該指標について測定した現実空間中における位置とを用いて、前記現実空間の観察者の視点の位置姿勢を求める計算手段と、
前記計算手段が計算した位置姿勢に基づいて仮想空間画像を生成する生成手段と、
前記仮想空間画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項４】
更に、
赤外光は撮像不可能な第２の撮像装置により前記現実空間を撮像することで得られる、第２の画像を取得する第２の取得手段を備え、
前記計算手段は、前記識別手段が識別した指標の前記第１の画像中における位置と、予め当該指標について測定した現実空間中における位置とを用いて、前記視点の位置姿勢を求め、
前記出力手段は、前記仮想空間画像に前記第２の画像を合成してから出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の撮像装置と前記視点との間の位置姿勢関係は既知であることを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
請求項１又は２に記載の指標が配置された現実空間を、赤外光が撮像可能な第１の撮像装置によって撮像することで得られる、第１の画像を取得する第１の取得工程と、
前記第１の画像中に位置する前記指標を識別する識別工程と、
前記識別工程で識別した指標の前記第１の画像中における位置と、予め当該指標について測定した現実空間中における位置とを用いて、前記現実空間の観察者の視点の位置姿勢を求める計算工程と、
前記計算工程で計算した位置姿勢に基づいて仮想空間画像を生成する生成工程と、
前記仮想空間画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータに請求項６に記載の画像処理方法を実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指標を撮像する撮像装置の位置姿勢を求める為の技術に関するものである。
【背景技術】
【０００２】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感（以下、「ＭＲ」（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。
【０００３】
ＭＲとは、現実空間画像に仮想空間画像を重ね合わせて、ＭＲを体験するユーザの頭部に装着されたＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）に提示する技術のことである。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがある。
【０００４】
このＭＲの実現において、もっとも重要な課題となっているのが、現実空間画像と仮想空間画像の位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。そして、カメラ等でリアルタイムに撮影した現実空間画像とＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）等の仮想空間画像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のＭＲの場合には、撮影視点の位置姿勢を求める問題となる。そして、ＨＭＤに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間画像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のＭＲの場合には、観察者視点の位置姿勢を求める問題となる。
【０００５】
撮影視点、もしくは、観察者視点の位置および姿勢を求める方法の一つには、撮影視点画像、もしくは、観察者視点付近から撮影した画像を利用するものがある。これは従来からコンピュータビジョンの分野で研究されている方法である。即ち、現実空間上にある指標等の画像特徴が投影される領域を撮影画像から抽出・識別し、画像特徴の現実空間座標と撮影画像上に投影されている画像特徴の画像座標の関係を満たすような撮影視点の位置および姿勢を得るものである。原理的には、現実空間座標が既知である３つの画像特徴が撮影されていれば、非線形方程式を解くことで解析的に６自由度の位置と姿勢を求めることができる。また、次のような方法もある。即ち何らかの方法で、例えばセンサを利用して、初期値となる撮影視点の位置と姿勢を得てからその初期値に従って投影される画像特徴の画像座標と、実際に投影されている画像特徴の画像座標との誤差が最小になる撮影視点位置・姿勢を、数値計算的に求める。
【０００６】
上述した方法における現実空間上にある画像特徴の識別に関しては、特徴の色や形状などを利用する技術が、非特許文献１や非特許文献２等に開示されている。色や形状には、扱いやすいという利点がある。特に非特許文献２では、人間が見てわかる「図」を、個々の指標を識別する識別子（以下ID）としているため、指標をアイコン的に利用できる。例えば非特許文献２によれば、ユーザはエイリアンのＣＧが重畳された四角形指標とＵＦＯのＣＧが重畳された四角形指標を隣接させる。これにより、エイリアンのＣＧとＵＦＯのＣＧを混合させてエイリアンをＵＦＯに乗せる、というシステムに対するインタラクションを実行することができる。また、非特許文献５では、様々な機能を割り当てた指標を、タンジブルユーザインターフェースとして利用している。一方で、このように色や形状をIDとした指標には、精度良く／短時間で／安定して識別できる種類に限りがあるという欠点がある。特に、シーン内に撮影される指標が増えると、指標認識に時間がかかり、インタラクションの応答速度に問題がでてくる。そのため、観察範囲を狭い領域に限定して少ない種類の画像特徴識別ができれば良いようにしたり、色や形状からだけでなくセンサなどを利用して得た初期値や直前の観察位置算出結果も利用して画像特徴識別を行ったりする工夫が必要となる。
【０００７】
より多くの種類が識別できる画像特徴としては、情報がコーディングされた画像パターンを含む画像特徴（コード指標）が良く知られている。例えば、２次元コードを含む画像特徴を利用して観察視点の位置および姿勢を求める方法が、非特許文献３で開示されている。より広い範囲を観察対象にしたい場合や、より多くの仮想物体を選択的に重畳表示したい場合などに、コード指標が利用されている。ただし、コードは人間にとって識別が困難であるため、コード指標には、扱いづらいという問題がある。そのため、特許文献１では、何を意味するコードなのかを人間が判読できるマーク（文字など）を、コードの周囲に記載している。このような指標は、多くの情報が表現される画像パターンを含むために、比較的広い面積を占めることになる。
【０００８】
しかし、ＡＲアプリケーションにおいては指標をたくさん配置することは景観を損なう恐れがあることから、人間からは指標が観測されないことが望ましい。非特許文献４では、半透明の再帰性反射素材で作られた四角形指標を提案している。再帰性反射素材で作成された指標は、赤外光を照射すると、人間の目には見ることができないが、赤外カメラには指標として認識できる。
【非特許文献１】Ｙ．Ｃｈｏ  ａｎｄ  Ｕ．Ｎｅｕｍａｎｎ：“Ｍｕｌｔｉ−ｒｉｎｇ  ｃｏｌｏｒ  ｆｉｄｕｃｉａｌ  ｓｙｓｔｅｍｓ  ｆｏｒ  ｓｃａｌａｂｌｅ  ｆｉｄｕｃｉａｌ  ｔｒａｃｋｉｎｇ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ，”Ｐｒｏｃ．ＶＲＡＩＳ‘９８，ｐａｇｅ２１２，Ｍａｒ．１９９８．
【非特許文献２】Ｈ． Ｋａｔｏ， Ｍ． Ｂｉｌｌｉｎｇｈｕｒｓｔ， Ｉ． Ｐｏｕｐｙｒｅｖ， Ｋ． Ｉｍａｍｏｔｏ， Ｋ． Ｔａｃｈｉｂａｎａ：“Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｎ Ａ Ｔａｂｌｅ−Ｔｏｐ ＡＲ Ｅｎｖｉｒｏｎｍｅｎｔ， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，”ＩＳＡＲ ２０００，ｐｐ．１１１−１１９．
【非特許文献３】暦本純一：“２次元マトリックスコードを利用した拡張現実感システムの構成手法，インタラクティブシステムとソフトウェアＩＶ，近代科学社”，ｐｐ．１９９−２０８，Ｄｅｃ．１９９６．
【非特許文献４】中里祐介，神原誠之，横矢直和：“再帰性反射マーカと赤外線カメラを用いた位置姿勢同定システム”，情報科学技術フォーラム（ＦＩＴ），２００４．
【非特許文献５】Ｇ． Ａ． Ｌｅｅ， Ｃ． ＮＥＬＬＥＳ， Ｍ． Ｂｉｌｌｉｎｇｈｕｒｓｔ， ａｎｄ Ｇ． Ｊ． Ｋｉｍ：“Ｉｍｍｅｒｓｉｖｅ Ａｕｔｈｏｒｉｎｇ ｏｆ Ｔａｎｇｉｂｌｅ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＳＭＡＲ２００４．
【特許文献１】特開２０００−０８２１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ＡＲアプリケーションにおいては、人間には分かりやすい見た目を持つ指標や、人の目に目立たない指標など、自由に作成した多数の指標を、精度良く、短時間で、安定して識別できる指標が望まれていた。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、人間には分かりやすい見た目を有すると共に、精度良く、短時間で、安定して識別できる指標、及びこの指標を用いた応用技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、例えば、本発明の指標は以下の構成を備える。
【００１２】
即ち、現実空間中に配置される指標であって、
前記指標は、第１の層と、当該第１の層が透視可能なように当該第１の層に重ね合わされる第２の層とを有しており、
前記第１の層には可視可能な情報が記されており、
前記第２の層は赤外光を反射する素材で構成されており、前記指標に関する情報が記されていることを特徴とする。
【００１３】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１４】
即ち、上記指標が配置された現実空間を、赤外光が撮像可能な第１の撮像装置によって撮像することで得られる、第１の画像を取得する第１の取得手段と、
前記第１の画像中に位置する前記指標を識別する識別手段と、
前記識別手段が識別した指標の前記第１の画像中における位置と、予め当該指標について測定した現実空間中における位置とを用いて、前記現実空間の観察者の視点の位置姿勢を求める計算手段と、
前記計算手段が計算した位置姿勢に基づいて仮想空間画像を生成する生成手段と、
前記仮想空間画像を出力する出力手段と
を備えることを特徴とする。
【００１５】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１６】
即ち、上記指標が配置された現実空間を、赤外光が撮像可能な第１の撮像装置によって撮像することで得られる、第１の画像を取得する第１の取得工程と、
前記第１の画像中に位置する前記指標を識別する識別工程と、
前記識別工程で識別した指標の前記第１の画像中における位置と、予め当該指標について測定した現実空間中における位置とを用いて、前記現実空間の観察者の視点の位置姿勢を求める計算工程と、
前記計算工程で計算した位置姿勢に基づいて仮想空間画像を生成する生成工程と、
前記仮想空間画像を出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００１７】
本発明の構成により、人間には分かりやすい見た目を有すると共に、精度良く、短時間で、安定して識別できる指標、及びこの指標を用いた応用技術を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
【００１９】
［第１の実施形態］
本実施形態では、複数の指標が配された現実空間を撮像する撮像装置の位置姿勢を求め、求めた位置姿勢に基づいた仮想空間画像を生成し、生成した仮想空間画像と、この撮像装置が撮像した現実空間画像とを合成した合成画像をユーザに提示する。
【００２０】
その際、用いる指標には、一般の人が可視可能な情報（画像情報、図形情報、文字情報等）が記されている。更にこの指標には、一般の人には見えず、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像したときに得られる撮像画像上でしか現れない情報（指標の識別子、属性、付加情報等をコード化したもの）も記されている。
【００２１】
先ず、図３を用いて、本実施形態で用いる指標について説明する。図３は、本実施形態で用いる指標３００の一例を示す図である。
【００２２】
図３（ａ）は、一般の人が見た場合の指標３００を示している。同図では、指標３００には、ライオンの画像が、可視可能な情報として記されている。図３（ｂ）は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標３００を撮像した場合に得られる、この指標３００の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００２３】
即ち、図３に示した指標３００は、第１の層と、第１の層が透視可能なように第１の層の上に重ね合わされる第２の層とを有している。第１の層とは、例えば１枚の紙である。第２の層とは、例えば、赤外光を反射する素材で構成された、第１の層のサイズ以下の板である。そして第１の層には可視可能な情報が記されており、第２の層には、指標３００に関する情報（同図では２次元バーコード）が記されている。図３の場合、第１の層には、図３（ａ）に示したライオンの画像が記されており、第２の層には、図３（ｂ）に示した２次元バーコードが記されている。
【００２４】
このように指標３００を構成することで、一般の人がこの指標３００を見ると、第１の層に記されたライオンの画像しか見えないが、赤外線撮像装置がこの指標３００を撮像すると、２次元バーコードが撮像されることになる。このように、２次元バーコードを一般の人には見えないように、指標上に記すことができる。もちろん、２次元バーコード以外の手段を用いて、指標３００に関する情報を表現しても同じである。
【００２５】
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、ＨＭＤ（ヘッドマウントディスプレイ）１２０、コンピュータ１９０により構成されている。
【００２６】
先ず、ＨＭＤ１２０について説明する。ＨＭＤ１２０は同図に示す如く、赤外画像撮影部１０１、可視画像撮影部１０４、ＭＲ空間画像表示部１１０、センサ部１０５により構成されている。
【００２７】
赤外画像撮影部１０１は、赤外光が撮像可能な撮像装置であり、上記第２の層に記された情報を撮像することができる。撮像した画像は、後述する指標抽出部１０２に出力する。
【００２８】
可視画像撮影部１０４は、現実空間の動画像を撮像する、所謂一般のビデオカメラであり、赤外画像撮影部１０１のように、赤外光は撮像できない。可視画像撮影部１０４は、ＨＭＤ１２０を装着した観察者の視点（目）の位置近傍からの現実空間の動画像を撮像するために、観察者の視点の位置近傍に位置するようにＨＭＤ１２０に取り付けられている。
【００２９】
可視画像撮影部１０４により撮像された各フレームの画像（現実空間画像）は、後述するＭＲ空間画像生成部１０９に出力する。本実施形態では、ＨＭＤ１２０はビデオシースルー型のものを用いるものとして説明するが、光学シースルー型のものを用いる場合には、この可視画像撮影部１０４は省略することになる。
【００３０】
ＭＲ空間画像表示部１１０は、例えば液晶画面により構成されており、ＭＲ空間画像生成部１０９から出力された画像（ＭＲ空間）を表示する。係るＭＲ空間画像表示部１１０は、ＨＭＤ１２０を頭部に装着した観察者の眼前に位置するようにＨＭＤ１２０に取り付けられたものである。係る構成により、ＨＭＤ１２０を頭部に装着した観察者の眼前には、ＭＲ空間画像生成部１０９が生成した画像が表示されることになる。
【００３１】
なお、ＨＭＤ１２０が光学シースルー型である場合、ＭＲ空間画像表示部１１０は、ＨＭＤ１２０を頭部に装着した観察者の視点から現実空間が透過可能に構成されていると共に、ＭＲ空間画像生成部１０９から出力された画像が表示可能に構成されている。
【００３２】
センサ部１０５は、自身の位置姿勢を計測するものであり、例えば、磁気センサや超音波センサ等で構成されている。係るセンサを用いて自身の位置姿勢を計測するための技術については周知の技術であるので、これについての説明は省略する。センサ部１０５は、ＨＭＤ１２０上の所定の位置に取り付けられている。
【００３３】
センサ部１０５によって計測された自身の位置姿勢を示すデータは、後述する視点位置姿勢算出部１０７に出力され、この出力されたデータは、視点位置姿勢算出部１０７が視点の位置姿勢を算出するための初期値として用いられる。なお、センサ部１０５は必須なものではなく、省略しても良い。
【００３４】
次に、コンピュータ１９０について説明する。コンピュータ１９０は、一般のＰＣ（パーソナルコンピュータ）や、専用の処理ボードで構成されるものである。コンピュータ１９０は、指標抽出部１０２、指標識別部１０３、指標情報記憶部１０６、視点位置姿勢算出部１０７、ＭＲ空間画像生成部１０９、データ記憶部１０８により構成されている。
【００３５】
指標抽出部１０２は、赤外画像撮影部１０１から入力された画像（赤外画像）中に撮影されている指標の領域を抽出する処理を行う。指標の領域を抽出する処理については様々なものが考えられるが、一例を挙げると次のようなものがある。
【００３６】
例えば、指標の第２の層に、この指標に関する情報が記されていると共に、係る情報が記された領域を囲むように四角形が記されている場合、指標抽出部１０２は先ず、赤外画像の勾配やラプラシアンに基づいて赤外画像中のエッジを検出する。そして、閉じたエッジによって分割される領域のうち、４本の線によって囲まれる領域を抽出する。
【００３７】
このように、赤外画像から１以上の指標の領域を抽出すると、係る領域の画像（指標領域画像）と共に、係る画像の赤外画像上における位置情報（例えば赤外画像上における指標領域画像の左上隅の座標位置情報）を後段の指標識別部１０３に出力する。
【００３８】
指標識別部１０３は、指標抽出部１０２から入力された指標領域画像に対して変換処理を施し、指標に対して法線方向から観察した時に得られる画像（指標正規化画像）を生成する。係る生成処理では既知である指標の形状情報を利用するが、係る生成処理には様々なものが考えられ、本実施形態では、特定の生成処理に限定するものではない。
【００３９】
次に指標識別部１０３は、指標正規化画像から、係る指標についての情報を読み取る処理を行う。例えば、指標における第２の層に、この指標に固有のＩＤが２次元バーコードの形態でもって記されている場合、指標識別部１０３は、指標正規化画像からこの２次元バーコードを読み取る。そして、読み取った２次元バーコードを解析することで、指標のＩＤを読み出す処理を行う。もちろん、第２の層に記す情報はＩＤに限定するものではなく、指標を個別に識別することができる情報であれば、如何なるものを記しても良い。また、この情報の表現方法は２次元バーコードに限定するものではない。
【００４０】
指標識別部１０３は、指標正規化画像から読み取ったＩＤと、この指標正規化画像の生成元の指標領域画像について指標抽出部１０２から受けた位置情報とをセットにして後段の視点位置姿勢算出部１０７に出力する。
【００４１】
指標情報記憶部１０６には、現実空間中に配されているそれぞれの指標について、予め測定した現実空間中における位置情報と、ＩＤと、が格納されている。なお、指標情報記憶部１０６は、現実空間中に固定して配置されている指標（固定指標）と、現実空間中で特に固定されていない指標（非固定指標）とをＩＤなどで区別して管理している。従って、指標情報記憶部１０６は、固定指標については位置情報は管理しているものの、非固定指標については位置情報は管理していない。
【００４２】
視点位置姿勢算出部１０７は、観察者の視点の位置姿勢を求め、求めた視点の位置姿勢を示すデータを後段のＭＲ空間画像生成部１０９に出力する。係る処理を行うために視点位置姿勢算出部１０７は先ず、指標識別部１０３からＩＤを受けると、指標情報記憶部１０６から、このＩＤを有する指標の位置情報を取り出す。もちろん、このＩＤに対応する位置情報が存在しない場合には、取り出す処理は行わない。
【００４３】
位置情報を取り出すと、この取り出した位置情報と、指標識別部１０３からこのＩＤと共に受けた位置情報とを用いて周知の計算処理を行い、赤外画像撮影部１０１の位置姿勢を求める。なお、観察者の視点と赤外画像撮影部１０１との位置姿勢関係が予め測定されている場合には、視点位置姿勢算出部１０７が求めた赤外画像撮影部１０１の位置姿勢に、この位置姿勢関係を加算すれば、観察者の視点の位置姿勢を求めることができる。そして求めた視点の位置姿勢を示すデータは、後段のＭＲ空間画像生成部１０９に出力する。
【００４４】
尚、先にも述べたように、センサ部１０５によって計測された位置姿勢のデータを、センサ部１０５から受けた場合には、受けたこのデータが示す位置姿勢を初期値とし、視点の位置姿勢を求めるようにしても良い。
【００４５】
なお、指標識別部１０３から受けたＩＤに対応する位置情報が指標情報記憶部１０６には存在しない場合、即ち、このＩＤを有する指標が非固定指標である場合、視点位置姿勢算出部１０７は以下のような処理を行う。
【００４６】
視点位置姿勢算出部１０７は、このＩＤと共に指標識別部１０３から受けた位置情報に基づいて、このＩＤを有する指標の赤外画像撮影部１０１に対する位置情報を算出する。そして、そしてこの位置情報に、上記位置姿勢関係を加算することで、視点に対する指標の位置情報を算出する。非固定指標の視点に対する位置情報は、後段のＭＲ空間画像生成部１０９に出力する。またこの時に、視点位置姿勢算出部１０７は、指標識別部１０３から受け取ったＩＤも、ＭＲ空間画像生成部１０９へと送出してもよい。
【００４７】
データ記憶部１０８には、仮想空間を構成する各仮想物体に関するデータ、仮想空間を管理するためのデータ等が保存されている。例えば、仮想物体がポリゴンでもって構成されている場合には、各ポリゴンの法線ベクトルデータ、ポリゴンカラーデータ、ポリゴンを構成する各頂点の座標位置データ、テクスチャマップデータ等が保存されている。また、仮想空間を照射する光源の位置姿勢のデータ、光の種類や色を規定する属性データ等も保存されている。
【００４８】
ＭＲ空間画像生成部１０９は、データ記憶部１０８に格納されているデータを用いて、仮想空間を構築する。そして、視点位置姿勢算出部１０７が算出した視点の位置姿勢に基づいて、この視点から見た仮想空間の画像を生成する。一方で、ＭＲ空間画像生成部１０９には可視画像撮影部１０４から現実空間画像が入力されるので、ＭＲ空間画像生成部１０９はこの現実空間画像上に、仮想空間の画像を描画する。これにより、それぞれの画像を合成した合成画像（ＭＲ画像）を生成することができる。なお、ＭＲ画像の生成方法については様々な方法があり、何れかに限定するものではない。
【００４９】
そしてＭＲ空間画像生成部１０９は生成したＭＲ画像をＨＭＤ１２０が有するＭＲ空間画像表示部１１０に出力する。これにより、ＭＲ空間画像表示部１１０の表示画面上には、ＭＲ画像が表示されることになる。
【００５０】
なお、ＨＭＤ１２０が光学シースルー型のものである場合、可視画像撮影部１０４は存在しないので、ＭＲ空間画像生成部１０９は、仮想空間の画像を生成した後、この仮想空間の画像をＭＲ空間画像表示部１１０に出力する。
【００５１】
図８は、上記コンピュータ１９０のハードウェア構成を示すブロック図である。
【００５２】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているプログラムやデータを用いて、本コンピュータ１９０全体の制御を行うと共に、上記コンピュータ１９０が行うものとして説明した各処理を実行する。
【００５３】
ＲＡＭ８０２は、外部記憶装置８０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。
【００５４】
ＲＯＭ８０３は、ブートプログラムや本コンピュータ１９０の設定データなどを格納する。
【００５５】
操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータ１９０の操作者が操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００５６】
表示部８０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。
【００５７】
外部記憶装置８０６は、ハードディスクに代表される大容量情報記憶装置であり、ここにはＯＳ（オペレーティングシステム）や、コンピュータ１９０が行うものとして上述した各処理をＣＰＵ８０１に実行させるためのプログラムやデータ等が保存されている。
【００５８】
例えば、図１に示した指標抽出部１０２、指標識別部１０３、視点位置姿勢算出部１０７、ＭＲ空間画像生成部１０９が行うものとして上述した上記処理をＣＰＵ８０１に実行させるためのプログラムやデータは外部記憶装置８０６に保存されている。また、指標情報記憶部１０６、データ記憶部１０８が記憶するものとして上述した各種のデータも外部記憶装置８０６に保存されている。また、上述の説明において、既知のものとして説明した情報についてもこの外部記憶装置８０６に保存されている。
【００５９】
外部記憶装置８０６に保存されているプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１はこのロードされたプログラムやデータを用いて処理を実行する。これにより、コンピュータ１９０は図１を用いて説明した上記各処理を実行することになる。
【００６０】
Ｉ／Ｆ８０７には、上記センサ部１０５や可視画像撮影部１０４、赤外画像撮影部１０１が接続され、コンピュータ１９０はこのＩ／Ｆ８０７を介してセンサ部１０５、可視画像撮影部１０４、赤外画像撮影部１０１との通信を行う。なお、センサ部１０５、可視画像撮影部１０４、赤外画像撮影部１０１のそれぞれに１つずつＩ／Ｆを設けるようにしても良い。
【００６１】
８０８は上述の各部を繋ぐバスである。
【００６２】
図２は、複数の指標が配された現実空間を撮像する撮像装置の位置姿勢に基づいた仮想空間画像を生成し、生成した仮想空間画像と、この撮像装置が撮像した現実空間画像とを合成した合成画像をユーザに提示する為の処理のフローチャートである。
【００６３】
なお、同図のフローチャートに従った処理をＣＰＵ８０１に実行させるためのプログラムやデータは外部記憶装置８０６に保存されている。係るプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１はこのロードされたプログラムやデータを用いて処理を実行する。これにより、コンピュータ１９０は、図２のフローチャートに従った各処理を実行する。
【００６４】
先ず、ステップＳ２００では、赤外画像撮影部１０１が撮像した赤外画像、可視画像撮影部１０４が撮像した現実空間画像をＩ／Ｆ８０７を介してＲＡＭ８０２、若しくは外部記憶装置８０６に取得する。
【００６５】
次にステップＳ２０１では、赤外画像中に撮影されている指標の領域を抽出する処理を行う。
【００６６】
次にステップＳ２０２では、ステップＳ２０１で抽出した領域の画像である指標領域画像に対して変換処理を施し、指標に対して法線方向から観察した時に得られる画像（指標正規化画像）を生成する。そして、指標正規化画像から係る指標のＩＤを読み取る。
【００６７】
ステップＳ２０３では先ず、ステップＳ２０２で読み取ったＩＤに対応する指標が固定指標であるのかを、外部記憶装置８０６内を検索することで特定する。その結果、このＩＤを有する指標が固定指標である場合には、この指標の位置情報を外部記憶装置８０６から取り出す。次に、この取り出した位置情報と、ステップＳ２０１で抽出した指標領域画像の赤外画像上における位置情報とを用いて周知の計算処理を行い、赤外画像撮影部１０１の位置姿勢を求める。そして、赤外画像撮影部１０１の位置姿勢に、上記位置姿勢関係を加算することで、観察者の視点の位置姿勢を求める。
【００６８】
尚、先にも述べたように、センサ部１０５によって計測された位置姿勢のデータを、センサ部１０５から受けた場合には、受けたこのデータが示す位置姿勢を初期値とし、視点の位置姿勢を求めるようにしても良い。
【００６９】
ステップＳ２０２で読み取ったＩＤに対応する指標が非固定指標である場合、ステップＳ２０４では、上述の処理により、このＩＤを有する指標の赤外画像撮影部１０１に対する位置情報を算出する。そして、そしてこの位置情報に、上記位置姿勢関係を加算することで、視点に対する指標の位置情報を算出する。
【００７０】
次にステップＳ２０５では、ステップＳ２０３で求めた視点の位置姿勢に基づいて、この視点から見た仮想空間の画像を生成する。そして、ステップＳ２００で取得した現実空間画像上に、仮想空間の画像を描画することで、ＭＲ画像を生成する。そして、生成したＭＲ画像をＨＭＤ１２０が有するＭＲ空間画像表示部１１０に出力する。
【００７１】
次に、本コンピュータ１９０の操作者により操作部８０４を用いて処理の終了指示が入力されたこと、若しくは処理の終了条件が満たされたことをＣＰＵ８０１が検知した場合には本処理を終了させる。一方、何れも検知しなかった場合には処理をステップＳ２０６を介してステップＳ２００に戻し、以降の処理を行う。
【００７２】
以上の説明により、人が見て認識するためのアイコンとしての可視光指標（認識処理しない）に、赤外カメラ用指標としてIDを有する赤外光指標を重ね合わせることで、人が見て認識やすい指標を任意に作成できる。また、指標識別も、精度良く／短時間で／安定して識別できる。
【００７３】
［第２の実施形態］
第１の実施形態では、可視画像撮影部１０４、赤外画像撮影部１０１は何れもＨＭＤ１２０に搭載されていた。本実施形態では、赤外画像撮影部１０１は、ＨＭＤ１２０には搭載せず、現実空間中の所定の位置姿勢に固定する。そして、移動可能な物体や観察者に第１の実施形態で用いた指標を張り付け、この赤外画像撮影部１０１でもってこの指標を撮像することで、観察者や物体の位置姿勢を求める。
【００７４】
また、本実施形態では、赤外画像撮影部１０１から指標を撮像する場合に、観察者が指標を覆ってしまうことがないように、観察者に対して注意を呼びかける旨の情報を指標の第１の層に記しておく。
【００７５】
図４、５は何れも、本実施形態に適用可能な指標の一例を示す図である。
【００７６】
図４（ａ）、図５（ａ）は、一般の人が見た場合の指標を示している。同図では、指標には、この指標を踏まないように注意を呼びかける旨が、可視可能な情報として記されている。図４（ｂ）、図５（ｂ）は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像した場合に得られる、この指標の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００７７】
また、指標を配置する位置等、指標を配置の際の補助情報をこの指標に可視情報として第１の層に書き込むようにしても良い。図６は、補助情報が記された指標の一例を示す図である。図６（ａ）は、一般の人が見た場合の指標を示しており、指標のコードが第１の層に記されている。図６（ｂ）は、一般の人が見た場合の指標を示しており、指標の配置場所（同図では机の上）が第１の層に記されている。図６（ｃ）は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像した場合に得られる、この指標の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００７８】
このように、指標を隠さないで欲しいなどの環境への注意や、指標の貼る位置などをユーザに提示した指標を用いることもできる。
【００７９】
［第３の実施形態］
第１，２の実施形態では、指標を現実空間と仮想空間との位置合わせに利用していた。しかし、指標をＭＲ空間におけるインタラクションのユーザインターフェースに利用することも可能である。
【００８０】
例えば、ある機能が割り当てられた指標を観察者が手に保持し、仮想物体の位置近傍に持っていくことで、この仮想物体に対して、この指標に割り当てた機能を実行する。
【００８１】
このような場合、観察者が手に保持している指標がどのような機能を有するかを観察者が把握することは重要であり、かつインタラクション性が保たれるよう、指標認識速度を確保することが必要である。
【００８２】
図７は、指標に割り当てた機能が第１の層に記された指標の一例を示す図である。
【００８３】
図７（ａ）において左側は、一般の人が見た場合の指標を示しており、ヘルプを表示する機能を有する旨が第１の層に記されている。図７（ａ）において右側は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像した場合に得られる、この指標の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００８４】
図７（ｂ）において左側は、一般の人が見た場合の指標を示しており、ゴミ箱の機能を有する旨が第１の層に記されている。図７（ｂ）において右側は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像した場合に得られる、この指標の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００８５】
図７（ｃ）において左側は、一般の人が見た場合の指標を示しており、コピーの機能を有する旨が第１の層に記されている。図７（ｃ）において右側は、赤外光が撮像可能な撮像装置（赤外線撮像装置）がこの指標を撮像した場合に得られる、この指標の画像を示している。同図では、２次元バーコードが、一般の人には不可視の情報として記されている。
【００８６】
このように、観察者が手に保持している指標がどのような機能を有するかを観察者に把握させることができる。
【００８７】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００８８】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。
【図２】複数の指標が配された現実空間を撮像する撮像装置の位置姿勢に基づいた仮想空間画像を生成し、生成した仮想空間画像と、この撮像装置が撮像した現実空間画像とを合成した合成画像をユーザに提示する為の処理のフローチャートである。
【図３】本発明の第１の実施形態で用いる指標３００の一例を示す図である。
【図４】本発明の第２の実施形態に適用可能な指標の一例を示す図である。
【図５】本発明の第２の実施形態に適用可能な指標の一例を示す図である。
【図６】補助情報が記された指標の一例を示す図である。
【図７】指標に割り当てた機能が第１の層に記された指標の一例を示す図である。
【図８】コンピュータ１９０のハードウェア構成を示すブロック図である。
【図１】
2008146108.tif 000003
【図２】
2008146108.tif 000004
【図３】
2008146108.tif 000005
【図４】
2008146108.tif 000006
【図５】
2008146108.tif 000007
【図６】
2008146108.tif 000008
【図７】
2008146108.tif 000009
【図８】
2008146108.tif 000010