(57)【特許請求の範囲】
【請求項１】
三次元立体画像を表示装置に表示する画像表示方法において、
表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、視野内に置かれた基準物体を観測し、その位置と姿勢を計測する三次元情報入力装置と、座標変換装置と、表示画像合成装置と、シースルー機能を有する表示装置とを備えて、
計測された基準物体の位置姿勢から、基準物体に固定された座標から前記三次元情報入力装置に固定された座標へ変換する変換行列を計算し、それにもとづき、基準物体に固定された座標に基づいて定義された表示対象の三次元立体画像の基準物体に固定された座標から前記三次元情報入力装置に固定された座標への座標変換を前記座標変換装置により行い、
座標変換された三次元画像の左右の目の位置から見える二次元画像を前記表示画像合成装置により計算して、前記シースルー機能を有する表示装置に使用者の両眼用にわずかに異なった合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示する、
ことから成る画像表示方法。
【請求項２】
三次元立体画像を表示装置に表示する画像表示システムにおいて、
表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、
視野内に置かれた基準物体を観測し、その位置と姿勢を計測する三次元情報入力装置と、
計測された基準物体の位置姿勢から、基準物体に固定された座標から前記三次元情報入力装置に固定された座標へ変換する変換行列を計算し、それにもとづき、基準物体に固定された座標に基づいて定義された表示対象の三次元立体画像の基準物体に固定された座標から前記三次元情報入力装置に固定された座標への座標変換を行う座標変換装置と、
座標変換された三次元画像の左右の目の位置から見える二次元画像を計算する表示画像合成装置と、
使用者の両眼用にわずかに異なった合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能を有する表示装置と、
から成る画像表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、三次元情報入力装置を用いて基準物体の表示装置に対する相対的な位置姿勢を計測し、基準物体に対して固定した座標系に基づいて三次元立体画像を計算し、表示装置に表示する画像表示方法及びシステムに関する。
【０００２】
【従来の技術】
従来、よく用いられる三次元画像を表示するための装置は劇場の固定されたスクリーンに左右の目のための画像を表示し、それを偏光や色などによって分解する眼鏡によって見る方法が主であった。この方法だと実際に画面を表示するための大きなスクリーンが必要になり、携帯には不向きである。また、観客が自由な向きから物体を見たりすることができない。
【０００３】
コンピュータディスプレイで同様の機能を実現したものもあるが、物体の向きを変えたりするときには、ダイヤルのついたパッドやキーボード、あるいは手の動きを計測するデータグローブなどの装置で扱う必要があった。パッドやキーボードは特別な操作が必要であり、現実の物体を取り扱うようには操作できない。データグローブというのは、バーチャルリアリティでよく使われる入力装置で、手袋の形をしており、手の位置や姿勢、そして指の曲げ角をリアルタイムに計測するものである。データグローブはかなり現実的な操作を可能にするが、計測するのは位置のみで物理的な力を再現できないため、操作にはなれが必要である。また、当然のことながら対象物体はコンピュータディスプレイ上の小さな物体に限られ、大きな三次元画像を回り込むような見方はできない。
【０００４】
また、仮想現実においては磁場などを使用した位置計測装置を用いて、使用者の頭に装着した表示装置や操作のためのデータグローブなどの位置を測定し、それを仮想の三次元空間に投影する方法が主であった（図１１）。この図では、使用者は顔に表示装置(HMD=Head Mount Display)を装着し、手にデータグローブをはめている。HMDおよびデータグローブの部屋の座標を基準にした両者の位置姿勢が計測されて合成画像の表示に利用される。これもまた、動作空間全体で顔や手の位置計測を必要とするため、部屋全体の大掛かりな装置が必要であり、小型の装置は存在しない。また、この方法もまた、ハンドリングするときには手の位置のみを計測するので、現実の操作感とは異なり、使用者のなれが必要である。
【０００５】
【発明が解決しようとする課題】
本発明は、係る問題点を解決して、従来必要とされたような巨大な三次元計測装置を不要にし、また、手自体の測定を不要にして、視点に依存しない三次元立体画像を表示装置に表示する画像表示方法及びシステムを提供することを目的としている。
また、本発明は、操作においても現実感があり使用者の慣れを必要としない画像表示方法及びシステムを提供することを目的としている。
また、本発明は、部屋や建物のサイズの三次元画像の中を歩いたりすることも可能にすることを目的としている。
【０００６】
【課題を解決するための手段】
図３は、本発明システムの基本構成を例示する図である。本発明システムは、基準物体、三次元情報入力装置、座標変換装置、表示画像合成装置、表示装置によって構成される。また、必要に応じて、表示データ記録装置、通信装置を含めることができる。
基準物体とは、表示しようとする立体画像を表示するときの基準となる座標系を与える物体である。それを三次元情報入力装置で測定したときに一意に座標が計算できるものならば何でもよい。具体的には、手でもてるサイズの矩形のフレームなどがありうる。表示する三次元画像が大きなものの場合、基準物体は互いに区別可能な複数のパターンであってもよい。
【０００７】
表示装置とは、使用者の両眼に合成した立体像を見せる装置で、小型のディスプレイを二つつなげたものである。このディスプレイは、両眼にわずかに異なった合成映像を表示し、使用者に計算された三次元映像を見せる。それと同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能が必要である。この現実部分は、ディスプレイの素子そのものが透明で素通ししてもよいし、カメラで撮影した前方の画像を表示するものであってもよい。
【０００８】
三次元情報入力装置は、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する装置である。現在このような目的で使用できるものには、二台のカメラを用いるステレオビジョンシステムが存在する。この三次元情報入力装置は、表示装置に固定されている必要がある（ステレオビジョンとは、二つ以上のテレビカメラの映像のずれから対称物体の輪郭の三次元座標を計算する手法である）。
【０００９】
座標変換装置は、計測された基準物体の位置姿勢（これは三次元情報入力装置および表示装置に対する相対的な座標）から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元画像の座標変換を行う。
表示画像合成装置は、座標変換された三次元画像の左右の目の位置から見える二次元画像を計算する計算装置である。
【００１０】
【発明の実施の形態】
以下、本発明の複合現実感を実現する三次元表示を行う方法及びシステムを例示に基づき説明する。図１は、図３に例示した本発明システムを具体化する例を示している。
この例では、装置は眼鏡状のステレオ画像表示装置１と二つのカメラ２、そして演算装置３によって構成されている。また、必要な付属品として基準座標を与える対象物４が必要である。この図では、PDAのような大きさの矩形の板を使っている。
【００１１】
表示装置１は装着者が実際に見る現実の風景と合成画像を重ねて表示することができる。両眼で別々の映像を重ねることで立体的な合成画像を表示することができる。ステレオ立体視は人間が両眼で日常的に行っている立体視である。眼鏡をかけて立体映像を表示するしかけとして一般的なのは、大型のスクリーンに両眼の映像を重ね合わせたり時間的にずらして表示し、それを眼鏡の色フィルター、液晶シャッターや偏光フィルターなどにより分離する方法である。ここで用いる装置では、そのような巨大な装置は使わず、直接眼鏡の表面に映像を合成する。
【００１２】
カメラ２は小型のビデオカメラである。これらは動画像を電子的に入力できるもので、現在だとほとんどがＣＣＤ画像素子を使ったものになる。撮影間隔は、通常、ＮＴＳＣであれば３０分の１秒／フレームである。しかし、物体の追跡を行うという目的からは、なるべくフレームごとの移動量が少ない方が認識のミスが減るので望ましい。最近は高速度撮影可能な市販カメラも出始めている。「物体の追跡」とは、三次元物体空間を移動する物体の位置姿勢をリアルタイムに入力することであり、毎回ステレオ画像処理することもできるが、通常は画面ごとの移動量は小さいため、画像全体から対象物（この場合は基準物体）を探すよりも、画面内の前の位置の近くを探すようにして計算量を減らすことで高速な演算が可能になる。
【００１３】
本発明は、二つ以上のカメラから撮った画像から三次元物体の形状を復元するためにステレオ画像処理をする。基本的には三角測量の原理で、左右のカメラに写った同一の特徴点の三次元座標をカメラの配置から計算する。しかし、実際には（１）一般的な物体を対象にすると特徴点が画像上にきれいに出ない（２）特徴点と似た形状の図形があると誤対応となり、三次元形状が正確に計算できないなどの実装上の困難な点がある。対象物体が既知の形状を持っているときには、点の対応だけでなく、境界線やそれの組み合わせなどの大局的な情報を使えるようになるので、対応点探索がよりスムーズにかつ正確に行えるようになる。本発明の場合、基準物体にステレオ画像処理に適した形状を持たせたり、特徴を強調する機械的な仕掛け（ＬＥＤをつけるなど）をつけたりする工夫で誤対応の確率をさらに下げることが可能である。
【００１４】
演算装置３は画像処理、座標変換、表示などを行う計算機である。具体的にはコンピュータである。座標変換に特化すれば、専用のハードウェアを用いることで小型化、高速化が可能である。
基準物体４は基準座標を与える指標となる物体である。形態は、三次元計測において位置や姿勢が精度良く計算できる形である物体であればよい。大きさは小さくても構わないが、あまり小さなものだと計測時の誤差が影響して姿勢の精度が落ち、基準座標が不安定になる可能性がある。また、あまり大きいと、三次元計測をするカメラの視野に入らなくなり、この場合も問題があるので、カメラの視野に入り、かつ小さすぎない大きさが適当である。また、画像処理によって三次元計測をするため、周囲と見分けやすい色や形が望ましい。
【００１５】
次に、図１に例示したシステム例の動作を説明する。
（１）図１２に示すように、二台のカメラ２を用いて基準物体４の映像を入力し、演算装置３において三次元計測し、カメラの座標系Ｃ２からみた相対的な基準物体４の位置と姿勢を計測する。物体４の形状や色などはあらかじめデータとして蓄えておき、視野に他の物体があっても間違わないようにする。
【００１６】
（２）図１３に示すように、物体４の位置姿勢の情報から、物体４上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換行列Ｒ42を計算する。
（３）また、図１３に示すように、カメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換行列Ｒ21もあらかじめ計算しておく。カメラと表示装置は固定されているので、これは一度キャリブレーションを行えば変更はしない。
（４）合成する立体画像のデータは座標系Ｃ４上に定義して用意される。これを（２）で計算した変換行列Ｒ42によって座標系Ｃ２のものに変換し、さらに（３）の変換行列Ｒ21によって座標系Ｃ１のものに変換する。
【００１７】
（５）このように変換された三次元データから使用者の両眼から見える映像を作成し、それを表示装置１のそれぞれの表示装置において表示する。
以上の処理によって、使用者は、物体４の移動や回転に追従する三次元の立体画像を見ることができる。三次元画像は静止画である必要はなく、演算装置の能力が許せば動画像でも可能である。
【００１８】
図４は、図３とは別の本発明の第２のシステムを例示する図である。図３では、映像を表示するために使う三次元データを演算装置内部に記録しているが、図４ではそれを外部に持ち、通信によって取得する。図２は、図４に例示したシステムを具体化する例を示している。図２に示すように、基準物体にボタン類を付加して、基準物体とシステムの間で通信することによって表示の操作が可能となる。ここで可能となる操作とは、例えば、動画像の三次元映像を表示する場合に、再生、停止、早送り、巻き戻しなどの画像の再生速度をビデオのように行うものが考えられる。また、静止した三次元映像でも拡大、縮小、色の変更などの操作が考えられる。このように、ボタンを使えば、基準物体によって可能な物体の位置姿勢の変化以外の操作を三次元映像に行うことができる。これにより、動画像の再生、停止などの操作やゲームのインターフェースとしても利用可能である。
【００１９】
図５は、三次元画像を表示し、それを自由に移動して角度を変えて見るための表示装置に、本発明を応用した第１の応用例を示す図である。基準物体は手でもてるサイズのフレームであり、複数の使用者がいても、同一の基準物体には同一の基準座標が定義されるので、三次元画像を前にしたディスカッションが可能となる。
【００２０】
図６は、携帯電話に付随して移動する仮想大画面ディスプレイに、本発明を応用した第２の応用例を示す図である。基準物体は携帯電話あるいはそこから突き出したアンテナである。
【００２１】
図７は、卓上の仮想大画面ディスプレイに、本発明を応用した第３の応用例を示す図である。基準物体はキーボードに付属したフレームである。
【００２２】
図８は、本発明を応用した第４の応用例を示す図である。この例において、卓上全体がコンピュータの仮想ディスプレイになる。基準物体は机に置かれたパターンである。
【００２３】
図９は、本発明を応用した第５の応用例を示す図である。洋服や自動車に動画像の広告などを表示することができる。基準物体は洋服や自動車に描かれた固定パターンである。この場合、表示する三次元画像のデータは基準物体が描かれている衣服を着た人あるいは自動車側にあり、それを通信で近くの装着者に送るようになる。
【００２４】
図１０は、本発明を応用した第６の応用例を示す図である。舞台における服装、着ぐるみなどの立体的装飾を可能にする。基準物体は体に固定されたパターンである。この図では、演技者は体に多数の基準物体をはりつけており、それぞれは区別可能で、四肢のそれぞれの座標に対して表示された合成画像を重ねることで、観察者にはパンダが歩いているように見える。
【００２５】
【発明の効果】
本発明では、顔に取り付けられた視覚による三次元計測装置によって、基準物体の位置と姿勢を計測し、表示系と物体系の相対的な位置関係を顔の座標を基準にしてリアルタイムで測定することで、上記の従来技術において必要な巨大な三次元計測装置を不要にすることができる。また、表示された三次元物体を手で持って裏側を見るような動作も、本発明では実際に手で移動された基準物体を測定するので、手自体の測定は不要であり、また、操作においても現実感があり使用者の慣れは必要ない。また、基準物体のひとつが三次元測定装置の視野に入っている限り座標変換は可能であるので、部屋や建物のサイズの三次元画像の中を歩いたりすることも可能である。
【図面の簡単な説明】
【図１】図３に例示した本発明システムを具体化する例を示している。
【図２】図４に例示したシステムを具体化する例を示している。
【図３】本発明システムの基本構成を例示する図である。
【図４】図３とは別の本発明の第２のシステムを例示する図である。
【図５】本発明を応用した第１の応用例を示す図である。
【図６】本発明を応用した第２の応用例を示す図である。
【図７】本発明を応用した第３の応用例を示す図である。
【図８】本発明を応用した第４の応用例を示す図である。
【図９】本発明を応用した第５の応用例を示す図である。
【図１０】本発明を応用した第６の応用例を示す図である。
【図１１】従来技術に基づき、仮想の三次元空間に投影する方法を説明するための図である。
【図１２】二台のカメラを用いて基準物体の映像を入力し、その位置と姿勢を計測する方法を説明するための図である。
【図１３】物体上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換行列Ｒ42、及びカメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換行列Ｒ21の計算を説明するための図である。
【符号の説明】
１  眼鏡状のステレオ画像表示装置
２  カメラ
３  演算装置
４  対象物
【図１】
0003834615.tif 000002
【図２】
0003834615.tif 000003
【図３】
0003834615.tif 000004
【図４】
0003834615.tif 000005
【図５】
0003834615.tif 000006
【図６】
0003834615.tif 000007
【図７】
0003834615.tif 000008
【図８】
0003834615.tif 000009
【図９】
0003834615.tif 000010
【図１０】
0003834615.tif 000011
【図１１】
0003834615.tif 000012
【図１２】
0003834615.tif 000013
【図１３】
0003834615.tif 000014