(57)【特許請求の範囲】
【請求項１】
ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する画像表示装置であって、
センサ座標系における自身の姿勢計測値を出力する姿勢センサと、
メモリに予め格納された所定の姿勢情報に基づいて前記仮想画像を生成し、表示画面に表示させる第１表示手段と、
前記視点の姿勢と前記所定の姿勢情報が示す姿勢とが一致したことを示す通知に応じた前記姿勢センサからの姿勢計測値と前記所定の姿勢情報とに基づいて補正情報を算出する算出手段と、
前記姿勢センサから得られた姿勢計測値と前記補正情報とを用いて得られた視点の姿勢情報に基づいて仮想画像を生成し、前記表示画面に表示させる第２表示手段と、
前記第２表示手段によって仮想画像を表示しながら、所定の操作に応じて前記補正情報を修正する修正手段とを有し、
前記補正情報は、前記姿勢センサ自身の姿勢を前記視点の姿勢に変換する第１の座標変換情報と、前記センサ座標系における姿勢を世界座標系における姿勢へ変換する第２の座標変換情報とを含み、
前記修正手段は、前記第１の座標変換情報のうちの方位角に関する変換情報と前記第２の座標変換情報のうちの方位角に関する変換情報とを同時に修正することを特徴とする画像表示装置。
【請求項２】
前記第１及び第２表示手段は、前記表示画面に現実空間の像を光学的に投影させつつ、当該表示画面上に仮想空間の画像を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記第１及び第２表示手段は、前記表示画面上に撮像装置によって撮像された実画像に、前記仮想画像を重畳して表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記算出手段は、前記通知が入力された時点及び／または該時点の前後における前記姿勢計測値と、前記所定の姿勢情報に基づいて前記補正情報を算出することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
通常モードと補正情報算出モードとの切替えを行う切替え手段をさらに有し、
前記通常モードにおいては、前記第２表示手段と前記修正手段を機能させ、
前記補正値算出モードでは、前記第１表示手段と前記算出手段を機能させることを特徴とする請求項１乃至４のいずれかに記載の画像表示装置。
【請求項６】
センサ座標系における自身の姿勢計測値を出力する姿勢センサからの姿勢計測値を用いて、表示画面を観察するユーザの視点の姿勢に応じた仮想画像を、現実画像と合成してユーザに提示する情報処理方法であって、
メモリに予め格納された所定の姿勢情報に基づいて前記仮想画像を生成して、これを前記表示画面に表示させる第１表示工程と、
前記視点の姿勢と前記所定の姿勢情報が示す姿勢とが一致したことを示す通知に応じた前記姿勢センサからの姿勢計測値と前記所定の姿勢情報とに基づいて補正情報を算出する算出工程と、
前記姿勢センサから得られた姿勢計測値と前記補正情報とを用いて得られた視点の姿勢情報に基づいて仮想画像を生成して、これを前記表示画面に表示させる第２表示工程と、
前記第２表示工程によって仮想画像を表示しながら、所定の操作に応じて前記補正情報を修正する修正工程とを有し、
前記補正情報は、前記姿勢センサ自身の姿勢を前記視点の姿勢に変換する第１の座標変換情報と、前記センサ座標系における姿勢を世界座標系における姿勢へ変換する第２の座標変換情報とを含み、
前記修正工程は、前記第１の座標変換情報のうちの方位角に関する変換情報と前記第２の座標変換情報のうちの方位角に関する変換情報とを同時に修正することを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項８】
請求項６に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、姿勢センサの出力値に基づいて実空間に融合した仮想空間の画像を表示させる画像表示装置及び方法に関する。更に詳しくは、撮像装置によって撮像された実画像に仮想空間の画像を重畳した重畳画像を生成し、これを表示画面に表示する画像表示装置、あるいは、表示画面に現実空間を光学的に透過させつつ当該表示画面に仮想空間の画像を表示する画像表示装置、及びそれらの方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感（以下、“ＭＲ”（Mixed Reality）と称す）に関する研究が盛んに行われている。ＭＲには、ビデオカメラなどの撮影装置で撮影された現実空間の画像に仮想空間（たとえばコンピュータグラフィックス（以下、ＣＧと称す）により描画された仮想物体や文字情報など）の画像を重畳して表示するビデオシースルー方式と、表示装置の表示画面に現実空間を光学的に透過させつつ、その表示画面に仮想空間の画像を重畳表示する光学シースルー方式がある。
【０００３】
このようなＭＲの応用としては、現実の街中において建物等にその名称や案内を重畳表示するナビゲーションや、ビルの建設予定地に建設予定のビルのＣＧ映像を重畳表示する景観シミュレーションなど、今までのバーチャルリアリティとは質的に全く異なった新たな分野が期待されている。これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかにして正確に行うかということであり、従来から多くの取り組みが行われてきた。
【０００４】
ビデオシースルー方式のＭＲにおける位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮影装置の視点の３次元位置姿勢を求める問題に帰結される。また光学シースルー方式のＭＲにおける位置合わせの問題は、同様に世界座標系におけるユーザの視点の３次元位置姿勢を求める問題といえる。
【０００５】
これらの問題を解決する方法として、磁気センサや超音波センサなどの３次元位置姿勢センサを利用して、世界座標系における撮影装置やユーザの視点（以下、単に視点と呼ぶ）の３次元位置姿勢を取得することが一般的に行われている。
【０００６】
また、屋外において対象までの距離が十分離れている場合のように、視点の位置については固定値を用いても差し支えのない状況下では、ジャイロセンサや加速度計の組み合わせによって構成される３次元姿勢センサを用いて視点の３次元姿勢を得て、それを元に視点の３次元位置姿勢を取得することが一般的に行われている。
【０００７】
３次元姿勢センサが出力する出力値は、例えば（株）トキメック製の姿勢センサTISS-5-40を例にとると、重力の逆方向をＹ軸、このＹ軸によって定められるＸ−Ｚ平面上でのセンサ起動時のセンサの正面方向を−Ｚ軸として定義される座標系であるところのセンサ座標系におけるセンサ自身の３次元姿勢である。このように、３次元姿勢センサが出力する出力値は、計測対象である世界座標系における視点の３次元姿勢ではないのが一般的である。すなわち、センサ出力値をそのまま世界座標系における視点の３次元姿勢として用いることはできず、何らかの座標変換を行う必要がある。具体的には、センサ自身の姿勢を視点の姿勢に変換する座標変換と、センサ座標系における姿勢を世界座標系における姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値と世界座標系における視点の３次元姿勢との間の座標変換を行うためのデータを補正情報と呼ぶこととする。
【０００８】
図１は、光学シースルー方式の複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。
【０００９】
表示画面１１０はシースルー型であり、姿勢センサ１２０と共に頭部装着部１００に固定されている。不図示のユーザが、表示画面１１０が眼前に位置するように頭部装着部１００を装着すると、表示画面１１０の光学系（第１図には不図示）を通して表示画面の前方の現実空間を観察することができる。姿勢センサ１２０は、センサ座標系におけるセンサ自身の姿勢を計測し、３自由度の姿勢計測値を出力する。なお、姿勢センサ１２０は地球の重力方向を計測可能な傾斜計（不図示）を内部に有しており、上述したように、センサ座標系の１つの軸（本例ではＹ軸とする）は重力の逆方向に設定される。
【００１０】
姿勢情報出力部１３０は、メモリ１４０が保持する補正情報に従って、姿勢センサ１２０より入力した計測値に変換を加え、世界座標系におけるユーザの視点の姿勢を算出しこれを姿勢情報として出力する。画像生成部１５０は、姿勢情報出力部１３０より入力した姿勢情報に従ってユーザの視点の姿勢に対応した仮想画像を生成し、これを出力する。表示画面１１０は、画像生成部１５０より仮想画像を入力しこれを表示する。以上の構成により、不図示のユーザは、表示画面１１０を通した現実空間の像に重ねて、表示画面１１０に表示された仮想画像を見ることとなる。
【００１１】
次に、図２を用いて、姿勢情報出力部１３０において、世界座標系におけるユーザの視点の姿勢を算出する方法を説明する。
【００１２】
同図において、世界座標系２００におけるセンサ座標系２１０の姿勢をＲTW、センサ座標系２１０における姿勢センサ１２０の姿勢をＲST、姿勢センサ１２０からみたユーザの視点２２０の相対的な姿勢をＲVS、世界座標系２００におけるユーザの視点２２０の姿勢をＲVWとする。
【００１３】
ここで、Ｒは４×４の行列であって、ＲBAはある座標系Ａにおける対象Ｂの姿勢を記述する。これは言い換えれば、座標系Ａから対象Ｂが定義する座標系Ｂへの座標変換行列であり、座標系Ａにおける座標ＰA＝（ＸA，ＹA，ＺA，１）Tを座標系Ｂにおける座標ＰB＝（ＸB，ＹB，ＺB，１）Tに変換する変換式、ＰB＝ＲBAＰAを定義するものである。すなわち、世界座標系２００におけるユーザの視点２２０の姿勢ＲVWは、世界座標系２００における座標ＰW＝（ＸW，ＹW，ＺW，１）Tをユーザの視点座標系２３０における座標ＰV＝（ＸV，ＹV，ＺV，１）Tに変換するための座標変換行列（ＰV＝ＲVWＰW）と言い換えることもできる。
【００１４】
また行列Ｒは、Ｘ軸まわりの回転角θによって定義される回転行列Ｒｘ、Ｙ軸まわりの回転角（方位角）φによって定義される回転行列Ｒｙ、Ｚ軸まわりの回転角ψによって定義される回転行列Ｒｚの積により構成されており、Ｒ＝ＲｚＲｘＲｙの関係が成立している。これらの行列はそれぞれ次のように表される。
【００１５】
【数１】
0003840171.tif 000002
このときＲVWは、
ＲVW＝ＲVS・ＲST・ＲTW  …  （式Ａ）
によって示すことができる。
【００１６】
ここで、センサ座標系２１０のＹ軸は重力の逆方向に設定されているので、世界座標系２００のＹ軸を地表面と垂直に定義することにより、世界座標系２００とセンサ座標系２１０のＹ軸の方向を一致させることができる。このとき、ＲTWのＸ軸およびＺ軸まわりの成分であるＲｘTWおよびＲｚTWはそれぞれ単位行列となり、ＲTWは、Ｙ軸まわりの回転角φTWによって定義される回転行列ＲｙTWと等価となる。したがって、上記の（式Ａ）は、
ＲVW＝ＲVS・ＲST・ＲｙTW  …  （式Ｂ）
に変形される。
【００１７】
このうち、ＲSTが姿勢センサ１２０から姿勢情報出力部１３０への入力、ＲVWが姿勢情報出力部１３０から画像生成部１５０への出力であり、ＲVS及びＲｙTW（言い換えると、ＲVSを定義する３軸まわりの回転角θVS，φVS，ψVS及びＲｙTWを定義する回転角φTW）が、ＲSTをＲVWに変換するために必要な補正情報に相当する。姿勢情報出力部１３０は、姿勢センサ１２０から入力されるＲSTと、メモリ１４０に保持されているＲVS及びＲｙTWとを用いて、（式Ｂ）に基づいてＲVWを算出し、これを画像生成部１５０へと出力する。
【００１８】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ１４０に正確な補正情報が設定される必要がある。正確な補正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【００１９】
補正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介してメモリ１４０に格納されたθVS，φVS，ψVS及びφTWの各値を対話的に増減し、正確な位置合わせが達成されるまで各値の調整を試行錯誤的に行うという方法がある。
【００２０】
しかしこの方法では、４つのパラメータを同時に調整する必要があるため、作業が煩雑であり調整に時間がかかるという問題点があった。
【００２１】
【発明が解決しようとする課題】
この煩雑さを軽減する一つの方法として、本出願人による特願２００１−０５０９９０号により提案された方法がある。以下では、この補正情報設定手法について説明する。
【００２２】
図３は、図１の画像表示装置にこの補正情報設定方法を組込んだ際の画像表示装置の構成を示すブロック図である。同図に示したように、本構成は、図１の構成に、補正情報算出部３１０、指示情報入力部３２０及び切替え部３３０が追加された構成となる。また、本画像表示装置における図１の姿勢情報出力部１３０及びメモリ１４０に相当する構成要素はその機能が第１図の画像表示装置とは異なるため、図３の画像表示装置ではこれを姿勢情報出力部１３０’及びメモリ１４０’と表記する。
【００２３】
補正情報の算出は、ユーザの視点２２０の姿勢を、世界座標系におけるある予め定めた姿勢であって、地平面と水平な視軸を持つ姿勢Ｒｙ0VWに移動させて、その時点での姿勢センサ１２０の出力Ｒ0STを取得することで行われる。メモリ１４０’は、補正情報の他に、上記の予め定めた視点の姿勢Ｒｙ0VW（あるいはそれを定義するＹ軸まわりの回転角φ0VW）を保持している。
【００２４】
切替え部３３０は、ユーザあるいはオペレータ（いずれも第３図には不図示）からの入力を受け、姿勢情報出力部１３０’のモードを通常モードあるいは補正情報算出モードに設定する。
【００２５】
姿勢情報出力部１３０’は、モードが通常モードの場合には、図１で説明した姿勢情報出力部１３０と同様に、姿勢センサ１２０から入力されるＲSTから補正情報を用いてＲVWを算出し、これを姿勢情報として画像生成部１５０へと出力する。
【００２６】
一方、モードが補正情報算出モードの場合には、メモリ１４０’からＲｙ0VWを入力し、これを姿勢情報として画像生成部１５０へと出力する。指示情報入力部３２０は、ユーザあるいはオペレータからの入力を受け、補正情報算出処理実行の指示を補正情報算出部３１０へと送信する。より具体的には、ユーザあるいはオペレータは、補正情報算出モードにおいて、表示画面１１０に表示された仮想画像と、表示画面１１０を光学的に透過して観察される現実空間の像が正しい位置関係になるように視点２２０の姿勢を調整する。そして、両画像が十分に重なり合っていると判断した時点（すなわち、視点２２０が姿勢Ｒｙ0VWに位置していると判断された時点）で、例えば特定のキーを押すことにより指示情報入力部３２０への入力を行う。
【００２７】
補正情報算出部３１０は、補正情報算出処理実行の指示を指示情報入力部３２０から入力し、その時点（すなわち、視点２２０が姿勢Ｒｙ0VWに位置しているとユーザあるいはオペレータが判断した時点）における姿勢センサ１２０の出力Ｒ0STを入力し、姿勢Ｒｙ0VWと姿勢Ｒ0STに基づいて補正情報の算出を行う。
【００２８】
上記の方法では、補正情報の１つである姿勢ＲVSのうち、その逆行列ＲSV（ユーザの視点から見た姿勢センサの相対的な姿勢を表わす）のｙ軸まわりの回転成分ＲｙSV（あるいはそれを定義するＹ軸まわりの回転角φSV）が何らかの方法によって既知であり、すでにメモリ１４０’に記憶されている必要がある。
【００２９】
このとき、補正情報算出部３１０で処理されるデータの間には、（式Ｂ）より、
Ｒｙ0VW＝ＲVS・Ｒ0ST・ＲｙTW  …  （式Ｃ）
の関係が成立する。ここで、（式Ｃ）を変形すると、
Ｒｙ0VW＝（ＲｚSVＲｘSVＲｙSV）-１Ｒ0STＲｙTW  …  （式Ｄ）
となる。
【００３０】
補正情報算出部３１０は、メモリ１４０’よりＲｙ0VWおよびＲｙSVを、センサ１２０よりＲ0STを入力し、（式Ｄ）に基づいて未知の補正情報ＲｚSV，ＲｘSV，ＲｙTWを算出する。以下にその手順を示す。
【００３１】
（式Ｄ）をさらに変形すると、
ＲｚSVＲｘSVＲｙSVＲｙ0VW＝Ｒｚ0STＲｘ0STＲｙ0STＲｙTW  …  （式Ｅ）
となる。ここで、（式Ｅ）の左辺および右辺のそれぞれがＺ、Ｘ、Ｙ軸周りの回転成分の積となっているので、Ｚ、Ｘ、Ｙ軸周りの回転成分毎に恒等式が成立する。
【００３２】
まず、Ｚ、Ｘ軸周りの回転成分の恒等式は以下の通りとなる。すなわち、
ＲｚSV＝Ｒｚ0ST  …  （式Ｆ）
ＲｘSV＝Ｒｘ0ST   …  （式Ｇ）
これより、ＲｚSVおよびＲｘSVを求めることができる。
【００３３】
一方、Ｙ軸周りの回転成分の恒等式は以下の通りとなる。すなわち、
ＲｙSVＲｙ0VW＝Ｒｙ0STＲｙTW
これより、
ＲｙTW＝ＲｙSVＲｙ0VWＲｙ0ST-1  …  （式Ｈ）
となり、ＲｙTWを求めることができる。
【００３４】
補正情報算出部３１０は、上記の処理によって補正情報ＲｚSV，ＲｘSV，ＲｙTWの算出を行い、これらの値からさらにＲVS（＝（ＲｚSVＲ×SVＲｙSV）-1）を算出して、ＲVSおよびＲｙTW（あるいはそれらを定義する回転角θSV，ψSV及びφTW）をメモリ１４０’へと出力する。
【００３５】
なお、ＲｙSVの導出は分度器等の計測値を手掛りに試行錯誤的に行ってもよいし、他のいずれの計測手段を用いて行ってもよい。
【００３６】
以上によって、補正情報のうちのＲｙSVのみを予め求めておけば、他の未知な補正情報を容易に導出することができ、正確な位置合わせを実現することが可能となる。
【００３７】
しかし、補正情報ＲｙSVを予め正確に計測しておくことは一般には困難である。従って、実際には、ＲｙSVの大まかな設定、他の補正情報の導出処理、ＲｙSVの微調整、他の補正情報の導出処理、ＲｙSVの微調整、…という作業を、正しい位置合わせが実現されるまで繰り返し行わなくてはならず、補正情報の取得に煩雑な操作と時間を要するという問題があった。
【００３８】
本発明は以上の問題に鑑みてなされたものであり、センサ計測値を世界座標系における視点の姿勢に変換するための補正情報をより簡便に取得することを目的とする。
【００３９】
【課題を解決するための手段】
上記の目的を達成する為に、例えば本発明の画像表示装置は以下の構成を備える。すなわち、
ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する画像表示装置であって、
センサ座標系における自身の姿勢計測値を出力する姿勢センサと、
メモリに予め格納された所定の姿勢情報に基づいて前記仮想画像を生成し、表示画面に表示させる第１表示手段と、
前記視点の姿勢と前記所定の姿勢情報が示す姿勢とが一致したことを示す通知に応じた前記姿勢センサからの姿勢計測値と前記所定の姿勢情報とに基づいて補正情報を算出する算出手段と、
前記姿勢センサから得られた姿勢計測値と前記補正情報とを用いて得られた視点の姿勢情報に基づいて仮想画像を生成し、前記表示画面に表示させる第２表示手段と、
前記第２表示手段によって仮想画像を表示しながら、所定の操作に応じて前記補正情報を修正する修正手段とを有し、
前記補正情報は、前記姿勢センサ自身の姿勢を前記視点の姿勢に変換する第１の座標変換情報と、前記センサ座標系における姿勢を世界座標系における姿勢へ変換する第２の座標変換情報とを含み、
前記修正手段は、前記第１の座標変換情報のうちの方位角に関する変換情報と前記第２の座標変換情報のうちの方位角に関する変換情報とを同時に修正する。
【００４０】
また、上記の目的を達成するための、本発明の情報処理方法は、
センサ座標系における自身の姿勢計測値を出力する姿勢センサからの姿勢計測値を用いて、表示画面を観察するユーザの視点の姿勢に応じた仮想画像を、現実画像と合成してユーザに提示する情報処理方法であって、
メモリに予め格納された所定の姿勢情報に基づいて前記仮想画像を生成して、これを前記表示画面に表示させる第１表示工程と、
前記視点の姿勢と前記所定の姿勢情報が示す姿勢とが一致したことを示す通知に応じた前記姿勢センサからの姿勢計測値と前記所定の姿勢情報とに基づいて補正情報を算出する算出工程と、
前記姿勢センサから得られた姿勢計測値と前記補正情報とを用いて得られた視点の姿勢情報に基づいて仮想画像を生成して、これを前記表示画面に表示させる第２表示工程と、
前記第２表示工程によって仮想画像を表示しながら、所定の操作に応じて前記補正情報を修正する修正工程とを有し、
前記補正情報は、前記姿勢センサ自身の姿勢を前記視点の姿勢に変換する第１の座標変換情報と、前記センサ座標系における姿勢を世界座標系における姿勢へ変換する第２の座標変換情報とを含み、
前記修正工程は、前記第１の座標変換情報のうちの方位角に関する変換情報と前記第２の座標変換情報のうちの方位角に関する変換情報とを同時に修正する。
【００４１】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態を詳細に説明する。
【００４２】
以下の実施形態では、本発明の画像表示装置及びその方法を、建設予定のビルの景観シミュレーションを行うシミュレーション装置及びその方法に適用した場合を説明する。
【００４３】
図４は、本実施形態のシミュレーション装置の装置構成を示している。同図に示したように、本実施形態の装置構成は、図３に示した画像表示装置の構成に、補正情報修正部４００および修正情報入力部４１０が追加された構成となっている。また、画像生成部１５０’は、仮想画像として建設予定のビルのＣＧ画像を生成する機能を有しているものとする。尚、頭部装着部１００、表示画面１１０、姿勢センサ１２０、姿勢情報出力部１３０’、メモリ１４０’、補正情報算出部３１０、指示情報入力部３２０および切替え部３３０の各動作は、図３に示した画像表示装置と同様であるので、それらの詳細な説明は省略する。
【００４４】
本実施形態においては、メモリ１４０’に予め保持される補正情報φSVは正確な値である必要がない。本実施形態における補正情報の獲得処理の概要を説明すると、
（１）まず、大まかに設定された補正情報φSVに基づいて、図２及び図３で説明した補正情報算出方法によって補正情報ＲVSおよびＲｙTW（あるいはそれらを定義する回転角θSV，ψSV及びφTW）の算出を行い、
（２）その後に、不確定な補正情報であるＲｙSVおよびＲｙTW（あるいはそれらを定義する回転角φSV及びφTW）の微調整を以下に述べる方法によって行うことで実現される。
【００４５】
回転角φSV及びφTWの微調整について説明する。修正情報入力部４１０は、ユーザあるいはオペレータ（いずれも不図示）の入力により、補正情報φSVの値を一定値増加させるコマンド（増加コマンド）か、あるいは、補正情報φSVの値を一定値減少させるコマンド（減少コマンド）を補正情報修正部４００へと出力する。
【００４６】
補正情報修正部４００は、メモリ１４０’から補正情報φSVおよびφTWの値を入力し、修正情報入力部４１０から送信される増加／減少コマンドに従って、これらの補正情報に以下に述べる修正を加え、その結果をメモリ１４０’へと出力する。
【００４７】
すなわち、増加コマンドを入力した場合は、φSVの値を一定値Δφだけ増加させ、φTWの値もΔφだけ増加させる。
φSV ← φSV＋Δφ
φTW ← φTW＋Δφ  …（式Ｉ）
【００４８】
同様に、減少コマンドを入力した場合は、φSVの値をΔφだけ減少させ、φTWの値もΔφだけ減少させる。
φSV ← φSV−Δφ
φTW ← φTW−Δφ  …（式Ｊ）
【００４９】
ここで、補正情報φSVおよびφTWの値を同量の値だけ操作するのは、これらの値の間に、（式Ｈ）より、
φTW＝φSV＋φ0VW−φ0ST  …（式Ｋ）
の関係が成立しているためである。
【００５０】
図５は、本実施形態による画像表示装置の処理手順を説明するフローチャートである。なお、同フローチャートに従ったプログラムコードは本実施形態の装置内の不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００５１】
まず、ステップＳ１０１０において、現在のモードが補正情報算出モードかどうかの判定を行う。モードの切り替えは、切替え部３３０によって行われる。例えば、切替え部３３０は、所定のキー操作を検出して、補正情報算出モードか通常モードのいずれが指示されたかを判定し、その判定結果を姿勢情報出力部１３０’及び補正情報算出部３１０へ通知する。
【００５２】
モードが補正情報算出モードの場合、ステップＳ１１４０において、補正情報算出部３１０は指示情報入力部３２０から指示情報が入力されているかどうかを判定する。指示情報が入力されていない場合、補正情報算出部３１０はステップＳ１１５０〜Ｓ１１８０で示される処理の実行はしない。そして、処理はステップＳ１１９０へスキップし、姿勢情報出力部１３０’は、メモリ１４０’から予め定めた姿勢情報を入力する。そして、ステップＳ１０９０において、これを視点の姿勢情報として画像生成部１５０’へ出力する。
【００５３】
ステップ１１００では、画像生成部１５０’が姿勢情報出力部１３０’から視点の姿勢情報を入力し、これを仮想物体の描画パラメータとして設定する。さらに、ステップＳ１１１０において、設定された描画パラメータを用いて仮想物体の描画を行い、ＣＧ画像を生成する。そして、ステップ１１２０において、生成されたＣＧ画像を表示画面１１０へと出力する。これにより、予め定めた姿勢にしたがった仮想物体が表示画面１１０上へと表示される。この処理は、補正情報算出モードの間繰り返し行われる。
【００５４】
一方、ユーザあるいはオペレータは、表示画面１１０に表示された仮想物体が現実空間と正しい位置関係になるように頭部の姿勢を調整し、一致した時点で指示情報入力部３２０により指示情報の入力を行う。これは、例えば指示情報入力３２０がユーザによる所定のキー操作を検出し、その旨を補正情報算出部３１０に通知するものである。
【００５５】
指示情報が入力された場合、補正情報算出部３１０は、ステップＳ１１５０において、姿勢センサ１２０から計測値を入力する。次に、ステップＳ１１６０において、予め定めた姿勢および補正情報ＲｙSV（あるいはそれを定義する回転角φSV）をメモリ１４０’から入力する。そして、ステップＳ１１７０において、上述の（式Ｆ），（式Ｇ）および（式Ｈ）に従って未知の補正情報を算出し、ステップＳ１１８０において、算出した補正情報をメモリ１４０’へと出力する。
【００５６】
その後、切替え部３３０により通常モードを設定し、不確定な補正情報であるＲｙSVおよびＲｙTW（あるいはそれらを定義する回転角φSV及びφTW）の微調整を行なう。以下、このような微調整が可能な通常モードについて説明する。
【００５７】
切替え部３３０によってモードが通常モードに設定された場合、処理はステップＳ１０１０からステップＳ１０２０へ進む。ステップＳ１０２０においては、修正情報入力部４１０から修正情報が入力されているかどうかの判定が行われる。
【００５８】
修正情報が入力されていない場合、処理はステップＳ１０６０へ進み、姿勢情報出力部１３０’が、姿勢センサ１２０から計測値を入力するとともに、ステップＳ１０７０において、メモリ１４０’から補正情報を入力する。ステップＳ１０８０では、姿勢情報出力部１３０’は、入力された計測値と補正情報に基づいて、視点の姿勢を算出する。その後、ステップＳ１０９０において、これを視点の姿勢情報として画像生成部１５０’へと出力する。
【００５９】
画像生成部１５０’は、ステップＳ１１００において姿勢情報出力部１３０’から視点の姿勢情報を入力し、ステップＳ１１１０においてこの姿勢情報に基づいて仮想物体の描画を行ってＣＧ画像を生成し、ステップ１１２０において生成したＣＧ画像を表示画面１１０へと出力する。これにより、視点の姿勢にしたがった仮想物体が表示画面１１０上へと表示される。この処理は、通常モードの間繰り返し行われる。
【００６０】
ユーザあるいはオペレータは、頭部の姿勢を変更した際に、表示画面１１０に表示された仮想物体と現実空間とが正しく位置合わせされているかどうかを確認し、姿勢の変化によって位置ずれが生じる場合には、修正情報入力部４１０によって修正情報を入力し、補正情報の微調整を行う。
【００６１】
修正情報が入力された場合、補正情報修正部４００は以下のステップＳ１０３０〜Ｓ１０５０を実行する。
【００６２】
まず、ステップＳ１０３０において、補正情報ＲｙSVおよびＲｙTW（あるいはそれらを定義する回転角φSVおよびφTW）をメモリ１４０’から入力する。次に、ステップＳ１０４０において、上記の（式Ｉ）および（式Ｊ）に従って補正情報の修正を行い、ステップＳ１０５０において、修正した補正情報をメモリ１４０’へと出力する。修正された補正情報は姿勢情報出力部１３０’における姿勢の算出に直ちに反映されるので、ユーザあるいはオペレータは、現実空間の画像と仮想空間の画像との融合の結果を見ながら、対話的に修正情報を入力することが可能である。このため、正しい位置合わせが実現されるように補正情報の微調整を、容易に行うことができる。なお、修正情報は、所定量を増加或は減少させるコマンドとしたが、増加量或は減少量を指示できるようにしてもよい。
【００６３】
尚、姿勢情報出力部１３０’，メモリ１４０’，画像生成部１５０’，補正情報算出部３１０，指示情報入力部３２０，切替え部３３０，補正情報修正部４００，および修正情報入力部４１０は、例えば１台の汎用コンピュータ（ノート型コンピュータ等）により構成することが可能である。また、本実施形態では、姿勢センサ１２０は例えばトキメック（株）の姿勢センサTISS-5-40を含んで構成したが、他の姿勢センサでももちろんかまわない。
【００６４】
尚、切替え部３３０，指示情報入力部３２０，および修正情報入力部４１０による入力は、同一のユーザインターフェイスを介して行われることが望ましく、例えば、キーボードや、コントロールパッドを用いることができる。
【００６５】
なお、上記実施形態は光学シースルー方式のＭＲを実現するためのものであったが、光学シースルー方式に限定されるものではなく、ビデオシースルー方式のＭＲにも適用可能である。その場合、上述の実施形態ではユーザの視点２２０であった姿勢の計測対象が、撮像装置（例えばビデオカメラ）の視点となる。また、ビデオシースルー方式の場合、画像生成部１５０’は、撮像装置が撮影した現実空間の画像にＣＧ画像を重畳描画し、これを表示画面１１０へと表示する。
【００６６】
＜変形例１＞
上記実施形態は、位置合わせの手掛りとして表示対象である仮想物体のＣＧ画像を用いたが、仮想空間と現実空間の位置合わせがなされていることを確認するための視覚的なキューとなる幾何情報であれば、いずれの幾何情報を用いてもよい。例えば地形や現実のビルの形状のモデリングを行い、現実空間の同位置にそのワイヤーフレームモデルを重畳描画するようにして位置合わせを行なってもよい。なお、現実物体のワイヤーフレームモデルと表示対象である仮想物体とを組み合わせて表示することが可能あることは言うまでもない。
【００６７】
＜変形例２＞
また、上記実施形態は、本発明の画像表示装置及びその方法を、景観シミュレーションに適用したものであったが、言うまでもなく景観シミュレーション以外のＭＲシステムにも適応可能である。また、ＭＲシステムに限らず、姿勢センサを用いて視点の位置姿勢を計測する種々の用途に用いることも可能である。
【００６８】
＜変形例３＞
上記実施形態では、姿勢センサとしてトキメック（株）の姿勢センサTISS-5-40を使用しているが、このセンサの適用に限られるものではない。センサ座標系の１つの軸が世界座標系に関連づけて設定される姿勢センサであれば、いずれのセンサに対しても適用可能である。
【００６９】
＜変形例４＞
上記実施形態では、補正情報算出部３１０は、指示情報が入力された時点における姿勢センサ１２０の出力をＲ0STとして入力し、これを補正情報の算出に用いた（ステップＳ１１７０）が、必ずしも指示情報が入力された時点の姿勢センサ１２０の出力をＲ0STとしなくてもよい。例えば、該指示情報が入力された時点の前後における姿勢センサ１２０の計測値（例えばそれらの平均値）を用いるようにしてもよい。或は、視点２２０を姿勢Ｒｙ0VWに一定時間静止させておき、その間の姿勢センサ１２０の出力の平均値を元にＲ0STを求めても良いし、視点２２０が姿勢Ｒｙ0VWに位置している際の姿勢センサ１２０の出力を得ることが出来れば、いずれの方法でＲ0STを取得してもよい。
【００７０】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図５に示す）フローチャートに対応するプログラムコードが格納されることになる。
【発明の効果】
以上説明したように本発明によれば、センサ座標系におけるセンサの姿勢を世界座標系における計測対象の姿勢に変換するための補正情報を容易に取得することができる。
【図面の簡単な説明】
【図１】光学シースルー方式の複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。
【図２】姿勢情報出力部１３０において、世界座標系２００におけるユーザの視点２２０の姿勢を算出する方法を説明する図である。
【図３】補正情報算出部を備えた画像表示装置の構成を示す図である。
【図４】本発明の実施形態における画像表示装置の構成を示したブロック図である。
【図５】本発明の実施形態による画像表示装置における制御を説明するフローチャートである。
【図１】
0003840171.tif 000003
【図２】
0003840171.tif 000004
【図３】
0003840171.tif 000005
【図４】
0003840171.tif 000006
【図５】
0003840171.tif 000007