(57)【要約】【課題】  表示用の画像を片方の眼のものとすることで、両眼に立体画像を表示する手法よりも簡便にする。【解決手段】  本発明は、表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する三次元情報入力装置とを備える。計測された基準物体の位置姿勢から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元立体画像の座標変換を行う。座標変換された三次元画像の片方の目の位置から見える二次元画像を計算して、シースルー機能を有する表示装置に合成画像を表示し、使用者に計算された三次元画像を見せる。合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示する。【選択図】図１
2005128901.tif 000002
【特許請求の範囲】
【請求項１】
三次元立体画像を表示装置に表示する画像表示方法において、表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する三次元情報入力装置とを備えて、計測された基準物体の位置姿勢から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元立体画像の座標変換を行い、座標変換された三次元画像の左右いずれかの目の位置から見える二次元画像を計算して、
シースルー機能を有する表示装置に合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示する、ことから成る画像表示方法。
【請求項２】
三次元立体画像を表示装置に表示する画像表示システムにおいて、表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する三次元情報入力装置と、計測された基準物体の位置姿勢から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元立体画像の座標変換を行う座標変換装置と、座標変換された三次元画像の左右いずれかの目の位置から見える二次元画像を計算する表示画像合成装置と、合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能を有する表示装置と、から成る画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元情報入力装置を用いて基準物体の表示装置に対する相対的な位置姿勢を計測し、基準物体に対して固定した座標系に基づいて三次元立体画像を計算し、表示装置に表示する画像表示方法及びシステムに関する。
【背景技術】
【０００２】
従来、よく用いられる三次元画像を表示するための装置は劇場の固定されたスクリーンに左右の目のための画像を表示し、それを偏光や色などによって分解する眼鏡によって見る方法が主であった。この方法だと実際に画面を表示するための大きなスクリーンが必要になり、携帯には不向きである。また、観客が自由な向きから物体を見たりすることができない。
【０００３】
コンピュータディスプレイで同様の機能を実現したものもあるが、物体の向きを変えたりするときには、ダイヤルのついたパッドやキーボード、あるいは手の動きを計測するデータグローブなどの装置で扱う必要があった。パッドやキーボードは特別な操作が必要であり、現実の物体を取り扱うようには操作できない。データグローブというのは、バーチャルリアリティでよく使われる入力装置で、手袋の形をしており、手の位置や姿勢、そして指の曲げ角をリアルタイムに計測するものである。データグローブはかなり現実的な操作を可能にするが、計測するのは位置のみで物理的な力を再現できないため、操作にはなれが必要である。また、当然のことながら対象物体はコンピュータディスプレイ上の小さな物体に限られ、大きな三次元画像を回り込むような見方はできない。
【０００４】
また、仮想現実においては磁場などを使用した位置計測装置を用いて、使用者の頭に装着した表示装置や操作のためのデータグローブなどの位置を測定し、それを仮想の三次元空間に投影する方法が主であった（図１１）。この図では、使用者は顔に表示装置(HMD=Head Mount Display)を装着し、手にデータグローブをはめている。HMDおよびデータグローブの部屋の座標を基準にした両者の位置姿勢が計測されて合成画像の表示に利用される。これもまた、動作空間全体で顔や手の位置計測を必要とするため、部屋全体の大掛かりな装置が必要であり、小型の装置は存在しない。また、この方法もまた、ハンドリングするときには手の位置のみを計測するので、現実の操作感とは異なり、使用者のなれが必要である。
【０００５】
このような問題を解決するために、先に本発明者は、従来必要とされたような巨大な三次元計測装置を不要にし、また、手自体の測定を不要にして、視点に依存しない三次元立体画像を表示装置に表示すると共に、操作においても現実感があり使用者の慣れを必要としない画像表示方法及びシステムを提案した（特許文献１参照）。しかし、この提案技術は、使用者に計算された三次元画像を見せるために、左右それぞれの目のための二次元画像を計算する。
【０００６】
この提案技術は、両眼用の表示装置の座標系と計測用の三次元入力装置の座標系との相対的位置関係を表す座標変換行列を計測し、使用者の視界で三次元的なずれを生じないようにするために複雑な初期校正を必要とする。
【特許文献１】特開２００３−１４１５７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、係る問題点を解決して、表示用の画像を片方の眼のものとすることで、両眼に立体画像を表示する手法よりも簡便にすることを目的としている。
また、本発明は、従来必要とされたような巨大な三次元計測装置を不要にし、また、手自体の測定を不要にして、視点に依存しない三次元立体画像を表示装置に表示すると共に、操作においても現実感があり使用者の慣れを必要としない画像表示方法及びシステムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
図３は、本発明システムの基本構成を例示する図である。本発明システムは、基準物体、三次元情報入力装置、座標変換装置、表示画像合成装置、表示装置によって構成される。また、必要に応じて、表示データ記録装置、通信装置を含めることができる。基準物体とは、表示しようとする立体画像を表示するときの基準となる座標系を与える物体である。それを三次元情報入力装置で測定したときに一意に座標が計算できるものならば何でもよい。具体的には、手でもてるサイズの矩形のフレームなどがありうる。表示する三次元画像が大きなものの場合、基準物体は互いに区別可能な複数のパターンであってもよい。
【０００９】
表示装置とは、使用者の片目に合成した立体像を見せる装置で、小型のディスプレイである。このディスプレイは、合成映像を表示し、使用者に計算された三次元映像を見せる。それと同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能が必要である。この現実部分は、ディスプレイの素子そのものが透明で素通ししてもよいし、カメラで撮影した前方の画像を表示するものであってもよい。
【００１０】
三次元情報入力装置は、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する装置である。現在このような目的で使用できるものには、二台のカメラを用いるステレオビジョンシステムが存在する。この三次元情報入力装置は、表示装置に固定されている必要がある（ステレオビジョンとは、二つ以上のテレビカメラの映像のずれから対称物体の輪郭の三次元座標を計算する手法である）。
【００１１】
座標変換装置は、計測された基準物体の位置姿勢（これは三次元情報入力装置および表示装置に対する相対的な座標）から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元画像の座標変換を行う。表示画像合成装置は、座標変換された三次元画像の表示装置を装着した目の位置から見える二次元画像を計算する計算装置である。
【発明の効果】
【００１２】
本発明によれば、表示用の画像を片方の眼のものとすることで、両眼に立体画像を表示する手法よりも簡便にすることができる。
また、本発明では、顔に取り付けられた視覚による三次元計測装置によって、基準物体の位置と姿勢を計測し、表示系と物体系の相対的な位置関係を顔の座標を基準にしてリアルタイムで測定することで、上記の従来技術において必要な巨大な三次元計測装置を不要にすることができる。また、表示された三次元物体を手で持って裏側を見るような動作も、本発明では実際に手で移動された基準物体を測定するので、手自体の測定は不要であり、また、操作においても現実感があり使用者の慣れは必要ない。また、基準物体のひとつが三次元測定装置の視野に入っている限り座標変換は可能であるので、部屋や建物のサイズの三次元画像の中を歩いたりすることも可能である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の複合現実感を実現する三次元表示を行う方法及びシステムを例示に基づき説明する。図１は、図３に例示した本発明システムを具体化する例を示している。この例では、装置は眼鏡状のステレオ画像表示装置１と二つのカメラ２、て構成されている。また、必要な付属品として基準座標を与える対象物４が必要である。この図では、PDAのような大きさの矩形の板を使っている。
【００１４】
表示装置１は装着者が実際に見る現実の風景と合成画像を重ねて表示することができる。表示装置を装着した目の位置から見える立体感のある合成画像を表示することができる。ステレオ立体視は人間が両眼で日常的に行っている立体視である。眼鏡をかけて立体映像を表示するしかけとして一般的なのは、大型のスクリーンに両眼の映像を重ね合わせたり時間的にずらして表示し、それを眼鏡の色フィルター、液晶シャッターや偏光フィルターなどにより分離する方法である。ここで用いる装置では、そのような巨大な装置は使わず、直接眼鏡の表面に映像を合成する。
【００１５】
また、通常の立体映像の表示装置と異なり、片方の眼にのみ合成画像を表示して立体感のある画像を表示する。人間は、通常の立体視においては物体の左右の目における画像によって立体の形状を認識するが、すべての物体が両目で見えている必要はなく、一部片方の眼から見て隠れている物体であっても立体物として認識できる。したがって両目で見える現実の物体と片目のディスプレイに表示した合成画像を使用者に見せる光学系を使って表示すると、現実の物体と仮想物体との位置関係さえ固定されていれば、片目のみに表示した仮想物体であっても脳が見えない画像を補って距離感が得られる。本発明においては、この現実物体と仮想物体との位置関係の固定するために三次元情報入力装置を使って基準物体の座標を計測する。
【００１６】
カメラ２は小型のビデオカメラである。これらは動画像を電子的に入力できるもので、現在だとほとんどがＣＣＤ画像素子を使ったものになる。撮影間隔は、通常、ＮＴＳＣであれば３０分の１秒／フレームである。しかし、物体の追跡を行うという目的からは、なるべくフレームごとの移動量が少ない方が認識のミスが減るので望ましい。最近は高速度撮影可能な市販カメラも出始めている。「物体の追跡」とは、三次元物体空間を移動する物体の位置姿勢をリアルタイムに入力することであり、毎回ステレオ画像処理することもできるが、通常は画面ごとの移動量は小さいため、画像全体から対象物（この場合は基準物体）を探すよりも、画面内の前の位置の近くを探すようにして計算量を減らすことで高速な演算が可能になる。
【００１７】
本発明は、二つ以上のカメラから撮った画像から三次元物体の形状を復元するためにステレオ画像処理をする。基本的には三角測量の原理で、左右のカメラに写った同一の特徴点の三次元座標をカメラの配置から計算する。しかし、実際には（１）一般的な物体を対象にすると特徴点が画像上にきれいに出ない、（２）特徴点と似た形状の図形があると誤対応となり、三次元形状が正確に計算できないなどの実装上の困難な点がある。対象物体が既知の形状を持っているときには、点の対応だけでなく、境界線やそれの組み合わせなどの大局的な情報を使えるようになるので、対応点探索がよりスムーズにかつ正確に行えるようになる。本発明の場合、基準物体にステレオ画像処理に適した形状を持たせたり、特徴を強調する機械的な仕掛け（ＬＥＤをつけるなど）をつけたりする工夫で誤対応の確率をさらに下げることが可能である。
【００１８】
計算装置は画像処理、座標変換、表示などを行う計算機である。具体的にはコンピュータである。座標変換に特化すれば、専用のハードウェアを用いることで小型化、高速化が可能である。基準物体４は基準座標を与える指標となる物体である。形態は、三次元計測において位置や姿勢が精度良く計算できる形である物体であればよい。大きさは小さくても構わないが、あまり小さなものだと計測時の誤差が影響して姿勢の精度が落ち、基準座標が不安定になる可能性がある。また、あまり大きいと、三次元計測をするカメラの視野に入らなくなり、この場合も問題があるので、カメラの視野に入り、かつ小さすぎない大きさが適当である。また、画像処理によって三次元計測をするため、周囲と見分けやすい色や形が望ましい。
【００１９】
次に、図１に例示したシステム例の動作を説明する。
（１）図１２に示すように、二台のカメラ２を用いて基準物体４の映像を入力し、計算装置において三次元計測し、カメラの座標系Ｃ２からみた相対的な基準物体４の位置と姿勢を計測する。物体４の形状や色などはあらかじめデータとして蓄えておき、視野に他の物体があっても間違わないようにする。
【００２０】
（２）図１４に示すように、物体４の位置姿勢の情報から、物体４上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換行列Ｒ42を計算する。
（３）また、図１３に示すように、カメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換行列Ｒ21もあらかじめ計算しておく。カメラと表示装置は固定されているので、これは一度キャリブレーションを行えば変更はしない。
（４）合成する立体画像のデータは座標系Ｃ４上に定義して用意される。これを（２）で計算した変換行列Ｒ42によって座標系Ｃ２のものに変換し、さらに（３）の変換行列Ｒ21によって座標系Ｃ１のものに変換する。
【００２１】
（５）このように変換された三次元データから使用者の眼から見える映像を作成し、それを表示装置１のそれぞれの表示装置において表示する。
以上の処理によって、使用者は、物体４の移動や回転に追従する三次元の立体的な画像を見ることができる。三次元画像は静止画である必要はなく、演算装置の能力が許せば動画像でも可能である。
【００２２】
図４は、図３とは別の本発明の第２のシステムを例示する図である。図３では、映像を表示するために使う三次元データを演算装置内部に記録しているが、図４ではそれを外部に持ち、通信によって取得する。図２は、図４に例示したシステムを具体化する例を示している。図２に示すように、基準物体にボタン類を付加して、基準物体とシステムの間で通信することによって表示の操作が可能となる。ここで可能となる操作とは、例えば、動画像の三次元映像を表示する場合に、再生、停止、早送り、巻き戻しなどの画像の再生速度をビデオのように行うものが考えられる。また、静止した三次元映像でも拡大、縮小、色の変更などの操作が考えられる。このように、ボタンを使えば、基準物体によって可能な物体の位置姿勢の変化以外の操作を三次元映像に行うことができる。これにより、動画像の再生、停止などの操作やゲームのインターフェースとしても利用可能である。
【００２３】
図５は、三次元画像を表示し、それを自由に移動して角度を変えて見るための表示装置に、本発明を応用した第１の応用例を示す図である。基準物体は手でもてるサイズのフレームであり、複数の使用者がいても、同一の基準物体には同一の基準座標が定義されるので、三次元画像を前にしたディスカッションが可能となる。
【００２４】
図６は、携帯電話に付随して移動する仮想大画面ディスプレイに、本発明を応用した第２の応用例を示す図である。基準物体は携帯電話あるいはそこから突き出したアンテナである。
【００２５】
図７は、卓上の仮想大画面ディスプレイに、本発明を応用した第３の応用例を示す図である。基準物体はキーボードに付属したフレームである。
【００２６】
図８は、本発明を応用した第４の応用例を示す図である。この例において、卓上全体がコンピュータの仮想ディスプレイになる。基準物体は机に置かれたパターンである。
【００２７】
図９は、本発明を応用した第５の応用例を示す図である。洋服や自動車に動画像の広告などを表示することができる。基準物体は洋服や自動車に描かれた固定パターンである。この場合、表示する三次元画像のデータは基準物体が描かれている衣服を着た人あるいは自動車側にあり、それを通信で近くの装着者に送るようになる。
【００２８】
図１０は、本発明を応用した第６の応用例を示す図である。舞台における服装、着ぐるみなどの立体的装飾を可能にする。基準物体は体に固定されたパターンである。この図では、演技者は体に多数の基準物体をはりつけており、それぞれは区別可能で、四肢のそれぞれの座標に対して表示された合成画像を重ねることで、観察者にはパンダが歩いているように見える。
【図面の簡単な説明】
【００２９】
【図１】図３に例示した本発明システムを具体化する例を示している。
【図２】図４に例示したシステムを具体化する例を示している。
【図３】本発明システムの基本構成を例示する図である。
【図４】図３とは別の本発明の第２のシステムを例示する図である。
【図５】本発明を応用した第１の応用例を示す図である。
【図６】本発明を応用した第２の応用例を示す図である。
【図７】本発明を応用した第３の応用例を示す図である。
【図８】本発明を応用した第４の応用例を示す図である。
【図９】本発明を応用した第５の応用例を示す図である。
【図１０】本発明を応用した第６の応用例を示す図である。
【図１１】従来技術に基づき、仮想の三次元空間に投影する方法を説明するための図である。
【図１２】二台のカメラを用いて基準物体の映像を入力し、その位置と姿勢を計測する方法を説明するための図である。
【図１３】カメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換を説明するための図である。
【図１４】物体上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換を説明する図である。
【符号の説明】
【００３０】
１ 眼鏡状のステレオ画像表示装置
２ カメラ
４ 対象物
【図１】
2005128901.tif 000003
【図２】
2005128901.tif 000004
【図３】
2005128901.tif 000005
【図４】
2005128901.tif 000006
【図５】
2005128901.tif 000007
【図６】
2005128901.tif 000008
【図７】
2005128901.tif 000009
【図８】
2005128901.tif 000010
【図９】
2005128901.tif 000011
【図１０】
2005128901.tif 000012
【図１１】
2005128901.tif 000013
【図１２】
2005128901.tif 000014
【図１３】
2005128901.tif 000015
【図１４】
2005128901.tif 000016