1(57)【特許請求の範囲】【請求項１】 互いに異なる複数方向から投影した３次元の対象物体の各２次元映像を得る手段と、
前記対象物体に対する各投影位置及び姿勢と任意に設定された仮想座標系内における前記各投影位置及び姿勢との間の各変換情報を求める仮想地図作成手段と、任意に設けられる仮想視点の前記仮想座標系内における位置及び姿勢を求める仮想視点算出手段と、
前記対象物体を前記仮想座標系内に位置させたと想定して、前記各変換情報を用いて、前記仮想座標系内におけ 10
る各投影位置から同じく仮想座標系内の前記対象物体を見た場合の各透視変換作用前映像を求める手段と、この求められた各透視変換作用前映像を用いて、前記仮想座標系内の仮想視点から前記対象物体を見た場合の透視変換作用前映像を求める手段と、

2
この求められた透視変換作用前映像を２次元映像に透視変換する手段と、
この変換された２次元映像を表示する２次元表示装置とを備えた３次元映像処理装置。
【請求項２】 ３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得る複数台の撮影装置と、この各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における前記各撮影装置の位置及び姿勢との間の各変換情報を求める仮想地図作成手段と、任意に設けられる仮想視点の前記仮想座標系内における位置及び姿勢を求める仮想視点算出手段と、
前記対象物体を前記仮想座標系内に位置させたと想定して、前記各変換情報を用いて、前記仮想座標系内における各撮影装置から同じく仮想座標系内の前記対象物体を(2)3
見た場合の各透視変換作用前映像を求める手段と、この求められた各透視変換作用前映像を用いて、前記仮想座標系内の仮想視点から前記対象物体を見た場合の透視変換作用前映像を求める手段と、この求められた透視変換作用前映像を２次元映像に透視変換する手段と、
この変換された２次元映像を表示する２次元表示装置とを備えた３次元映像処理装置。
【請求項３】 前記各撮影装置はそれぞれ所定の焦点距離を有した集光機構が組込まれたカメラであり、前記透視変換作用前映像を求める手段は前記焦点距離が組込まれた透視変換情報を用いることを特徴とする請求項２記載の３次元映像処理装置。
【請求項４】 前記任意の仮想視点の前記仮想座標系内の位置及び姿勢は、前記２次元表示装置の観察者に取付けられこの観察者の視野方向を計測する計測装置の出力と、前記観察者が自己の移動情報を入力する入力装置の出力とで定まることを特徴とする請求項２又は３記載の３次元映像処理装置。
【請求項５】 ３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得る複数台の撮影装置と、この各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における前記各撮影装置の位置及び姿勢との間の各変換情報を求める仮想地図作成手段と、観察者に取付けられ、この観察者の両眼の各視野にそれぞれ入る一対の２次元表示装置が組込まれたＨＭＤ（ヘット・マンテッド・デイスプレイ）と、
前記観察者に取付けられ、この観察者の視野方向を計測する計測装置の出力と前記観察者が自己の移動情報を入力する入力装置の出力とから前記仮想座標系内における前記観察者の両眼を示す各仮想視点の各位置及び各姿勢を求める仮想視点算出手段と、
前記対象物体を前記仮想座標系内に位置させたと想定して、前記各変換情報を用いて、前記仮想座標系内における各撮影装置から同じく仮想座標系内の前記対象物体を見た場合の各透視変換作用前映像を求める手段と、この求められた各透視変換作用前映像を用いて、前記仮想座標系内の一対の仮想視点から前記対象物体を見た場
合の一対の透視変換作用前映像を求める手段と、この求められた一対の透視変換作用前映像をそれぞれ２次元映像に透視変換する手段と、
この変換された一対の２次元映像を前記一対の２次元表
示装置へ表示する表示制御手段とを備えた３次元映像処
理装置。
【請求項６】 前記仮想地図作成手段で得られる各変換
情報は予め不揮発性メモリに書込まれていることを特徴とする請求項２又は３記載の３次元映像処理装置。
【請求項７】 複数台の撮影装置で３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得

10

20

30

40

50

特許３２５１７７４
4て、
前記各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における前記各撮影装置の位置及び姿勢との間の各変換情報を求め、任意に設けられる仮想視点の前記仮想座標系内における位置及び姿勢を求め、
前記対象物体を前記仮想座標系内に位置させたと想定して、前記各変換情報を用いて、前記仮想座標系内における各撮影装置から同じく仮想座標系内の前記対象物体を見た場合の各透視変換作用前映像を求め、この求められた各透視変換作用前映像を用いて、前記仮想座標系内の仮想視点から前記対象物体を見た場合の透視変換作用前映像を求め、この求められた透視変換作用前映像を２次元映像に透視変換し、この変換された２次元映像を２次元表示装置に表示する
３次元映像処理方法。
【発明の詳細な説明】【０００１】【産業上の利用分野】本発明は、バーチャルリアリティの映像を得るための３次元映像処理装置及び３次元映像処理方法に関する。
【０００２】【従来の技術】一般に、バーチャルリアリティの映像を得るためには、対象物体をコンピュータグラフッイクスを利用したＣＡＤ等を用いて３次元モデル化し、この３次元モデル（ＣＡＤモデル）を仮想座標系内に配置させる。そして、この仮想座標系内の任意位置に仮想視点を設け、この仮想視点から前記ＣＡＤモデルを見た場合の２次元影像を作成して、表示装置に２次元表示する。
【０００３】観察者は２次元表示された対象物体を観察しながら仮想座標系内の仮想視点を任意位置へ移動させることが可能である。よって、観察者は３次元の対象物
体を任意の方向から見ることができる。なお、仮想視点
を目の間隔だけ離れて２か所設けて、それぞれの２次元画像を異なる画面に表示して、各画面をそれぞれの眼で見ることによって、対象物体の３次元立体画像を観察できる。
【０００４】【発明が解決しようとする課題】しかし、上述したＣＡ
Ｄを用いて３次元モデル化した映像は、実際の対象物体と比較すると精度が悪く、リアリティの低いものであった。さらに、このように、たとえ精度の低いモデルでも、複雑な対象物体をＣＡＤでモデル化するには膨大な時間と労力が必要である。
【０００５】また、３次元のＣＡＤモデルを自動で作成する手法として、実際の対象物体の周囲を光切断手法を用いて、カメラで順番に撮影していき、距離情報を求めて、３次元ＣＡＤモデルを構築する手法がある。しかし、この手法においても、結局はコンピュータグラフィ

(3)5クスによるモデル構築手法であるので、やはり、リアリ
ティが低いものである。
【０００６】本発明はこのような事情に鑑みてなされたものであり、３次元の対象物体の互いに異なる複数方向からみた２次元画像を得るのみで、簡単に任意の仮想視
点から対象物体に対する透視変換作用前映像が得られ、従来のＣＡＤモデルを用いた手法に比較して、観察すべ
き対象物を簡単に変更でき、操作性を大幅に向上でき、かつ仮想視点を迅速に移動でき、さらに実画像による３次元映像処理装置及び３次元映像処理方法を提供することを目的とする。
【０００７】【課題を解決するための手段】上記課題を解消するために本発明の３次元映像処理装置においては、互いに異なる複数方向から投影した３次元の対象物体の各２次元映像を得る手段と、対象物体に対する各投影位置及び姿勢と任意に設定された仮想座標系内における各投影位置及
び姿勢との間の各変換情報を求める仮想地図作成手段と、任意に設けられる仮想視点の仮想座標系内における位置及び姿勢を求める仮想視点算出手段と、対象物体を
仮想座標系内に位置させたと想定して、各変換情報を用いて、仮想座標系内における各投影位置から同じく仮想座標系内の対象物体を見た場合の各透視変換作用前映像
を求める手段と、この求められた各透視変換作用前映像
を用いて、仮想座標系内の仮想視点から対象物体を見た
場合の透視変換作用前映像を求める手段と、この求められた透視変換作用前映像を２次元映像に透視変換する手段と、この変換された２次元映像を表示する２次元表示装置とを備えている。
【０００８】また、請求項２の発明の３次元映像処理装置においては、３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得る複数台の撮影装置と、この各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における各撮影装置の位置及び姿勢との間の各変換情報を求める仮想地図作成手段と、任意に設けられる仮想視点の仮想座標系内における位置及び姿勢を求める仮想視点算出手段と、対象物体を仮想座標系
内に位置させたと想定して、各変換情報を用いて、仮想座標系内における各撮影装置から同じく仮想座標系内の対象物体を見た場合の各透視変換作用前映像を求める手段と、この求められた各透視変換作用前映像を用いて、仮想座標系内の仮想視点から対象物体を見た場合の透視変換作用前映像を求める手段と、この求められた透視変換作用前映像を２次元映像に透視変換する手段と、この変換された２次元映像を表示する２次元表示装置とを備えたものである。
【０００９】また、請求項３の発明においては、上述した３次元映像処理装置における各撮影装置を、それぞれ所定の焦点距離を有した集光機構が組込まれたカメラで構成している。これに伴って、透視変換作用前映像を求

10

20

30

40

50

特許３２５１７７４
6
める場合に焦点距離が組込まれた透視変換情報を用いる。
【００１０】請求項４の発明においては、上述した任意の仮想視点の仮想座標系内の位置及び姿勢は、２次元表
示装置の観察者に取付けられこの観察者の視野方向を計測する計測装置の出力と、観察者が自己の移動情報を入力する入力装置の出力とで決定している。
【００１１】さらに、請求項５の３次元映像処理装置においては、３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得る複数台の撮影装置と、この各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における各撮影装置の位置及び姿勢との間の各変換情報を求める仮想地図作成手段と、観察者に取付けられ、この観察者の両眼の各視野にそれぞれ入る一対の２次元表示装置が組込まれたＨＭＤ（ヘット・マン
テッド・デイスプレイ）と、観察者に取付けられ、この観察者の視野方向を計測する計測装置の出力と観察者が自己の移動情報を入力する入力装置の出力とから仮想座
標系内における観察者の両眼を示す各仮想視点の各位置
及び各姿勢を求める仮想視点算出手段と、対象物体を仮想座標系内に位置させたと想定して、各変換情報を用いて、仮想座標系内における各撮影装置から同じく仮想座
標系内の対象物体を見た場合の各透視変換作用前映像を求める手段と、この求められた各透視変換作用前映像を用いて、仮想座標系内の一対の仮想視点から対象物体を見た場合の一対の透視変換作用前映像を求める手段と、この求められた一対の透視変換作用前映像をそれぞれ２次元映像に透視変換する手段と、この変換された一対の２次元映像を一対の２次元表示装置へ表示する表示制御
手段とを備えたものである。
【００１２】請求項６の発明においては、仮想地図作成
手段で得られる各変換情報を予め不揮発性メモリに書込まれている。さらに、請求項７の３次元画像処理方法においては、複数台の撮影装置で３次元の対象物体を互いに異なる方向から撮影してそれぞれ２次元映像を得て、各撮影装置の設置位置及び姿勢と任意に設定された仮想座標系内における各撮影装置の位置及び姿勢との間の各変換情報を求め、任意に設けられる仮想視点の仮想座標
系内における位置及び姿勢を求め、対象物体を仮想座標系内に位置させたと想定して、各変換情報を用いて、仮想座標系内における各撮影装置から同じく仮想座標系内の対象物体を見た場合の各透視変換作用前映像を求め、この求められた各透視変換作用前映像を用いて、仮想座
標系内の仮想視点から対象物体を見た場合の透視変換作
用前映像を求め、この求められた透視変換作用前映像を２次元映像に透視変換し、この変換された２次元映像を
２次元表示装置に表示するようにしている。
【００１３】【作用】このように構成された３次元映像装置及び３次
元映像処理方法においては、一つの対象物体に対して互(4)7いに異なる複数方向から見た複数枚の２次元映像が得られる。
【００１４】一般に、一つの対象物体に対して異なる方向から見た２枚の２次元映像を得て、対象物体における任意部位の各２次元映像上における座標の相互関係が得られれば、これらの２次元映像から任意に設定された仮想座標系内における座標で示される対象物体の３次元映像が定まる。
【００１５】なお、上記対象物体の２次元映像又は３次
元映像を実際に特定する場合においては、対象物体を構成する各部位の２次元座標系又は３次元座標系におけるそれぞれの２次元座標又は３次元座標を特定する必要があるが、この明細書においては、説明を簡単にするために、これら一群の２次元座標又は３次元座標を便宜的に一つの２次元映像又は３次元映像と表記する。
【００１６】仮想座標系内における対象物体の３次元映像が特定できれば、この仮想座標系内における任意の仮想視点からこの対象物体の３次元映像を見た場合における透視変換作用前映像が得られる筈である。しかし、この場合、一旦、対象物体の３次元映像を作成して、その後に任意の仮想視点からの透視変換作用前映像を得るので、演算処理量が増大する。
【００１７】そこで、本願の請求項１，２，７の発明においては、予め、仮想座標作成手段によって対象物体に対して３方向から見た場合の各２次元映像Ｐi （i=1,2,3)を、この対象物体を仮想座標系内に設置させた場合の３次元映像Ｐ0 から各２次元映像Ｐi までの各変
換情報Ｍi を算出しておく。
【００１８】そして、対象物体の３次元映像Ｐ0 が未知数の状態で、仮想座標系内で３次元映像Ｐ0 を前記
３方向から見た場合における各透視変換作用前映像Ｐiv を、各２次元映像Ｐi から各変換情報Ｍi を用いて複数の方程式の形で求める。前述したように、３次元映像Ｐ0 は２枚の２次元映像Ｐi で一義的に求まる
ので、複数の方程式から対象物体の３次元映像Ｐ0 を消去することによって、前記各透視変換作用前映像Ｐ
iv を複数枚の２次元映像Ｐi から算出できる。
【００１９】さらに、任意の仮想視点からの対象物体の透視変換作用前映像Ｐnv が前記各３次透視変換作用前
映像Ｐiv から算出される。そして、実際に得られた仮想視点の透視変換作用前映像Ｐnv から同仮想視点の２次元映像Ｐn が求められて、２次元表示装置に表示される。
【００２０】請求項３の発明においては、対象物体を複数方向から見て２次元映像を得る手段として、それぞれ所定の焦点距離を有した集光機構が組込まれたカメラが用いられている。したがって、焦点距離λの存在によって発生する遠近効果を考慮するために、各透視変換作用
前映像Ｐiv を求める場合に、焦点距離λが組込まれた透視情報Ｓi を用いる。

10

20

30

40

50

特許３２５１７７４
8【００２１】よって、通常のカメラで撮影した２次元画
像Ｐi をそのまま使用しても、仮想視点から見た正確な２次元画像Ｐn が得られる。請求項４の発明においては、前記仮想視点の位置を２次元映像Ｐn の観察者の視野方向及び観察者が指定する移動情報に連動して自動的に変更するようにしている。
【００２２】したがって、観察者は仮想座標系内の対象
物体を任意の方向から見ることができる。さらに、請求項５の３次元映像処理装置においては、観察者が装着する一対の２次元表示装置が組込まれたＨＭＤを設け、仮想視点を観察者の両眼に対応させて２つ設定し、各仮想視点毎に、透視変換作用前映像Ｐnv 及び２次元映像
Ｐn を得て、ＨＭＤの各２次元表示装置に表示させている。
【００２３】したがって、観察者は、両眼でもって対象
物体の３次元映像を見ることができる。さらに、請求項６においては、仮想地図作成手段で得られる各変換情報を予め不揮発性メモリに書込まれている。すなわち、各
撮影装置の位置が固定されていた場合は、仮想地図作成
手段で作成される変換情報も変化しないのでこれを不揮
発性メモリに記憶しておくことによって、この３次元映像処理装置における稼働前の初期処理が簡素化される。
【００２４】【実施例】以下本発明の一実施例を図面を用いて説明する。図１は実施例の３次元映像処理装置の概略構成を示すブロック図である、対象物体１は互い異なる方向から３台の撮影装置としてのカメラ２ａ，２ｂ，２ｃにて撮影される。それぞれ有限の焦点距離λi を有する集光レンズが組込まれた各カメラ２ａ，２ｂ，２ｃから出力された対象物体１の各２次元映像Ｐi （i=1,2,3 ）を示
す信号はＡ／Ｄ変換器３でデジタル値に変換されて入力
バッファ４に記憶される。入力バッファ４に記憶され対象物体１の各２次元映像Ｐi （i=1,2,3 ）は画像間対
応付け部９を介して画像変換部５へ送出される。
【００２５】また、各カメラ２ａ，２ｂ，２ｃで仮想地
図作成用のテストパターンや図５に示す３次元モデルを撮影した場合に得られる校正用の２次元映像Ｐi （i=1,2,3 ）は仮想地図作成部６へ送出される。
【００２６】仮想地図作成部６には、操作者がカメラパ
ラメータの校正用の各２次元映像Ｐi （i=1,2,3 ）を観察し、操作するためのＣＲＴ表示装置７が接続されている。 さらに、画像間対応付け部９には、キーボードやマウス等て操作者が画像間の対応付け等の各種情報を入力するためのＣＲＴ表示装置８が接続されている。
【００２７】仮想地図作成部６は、カメラ校正用のテス
トパターンを用いて、一つの３次元の仮想座標系内における各カメラ２ａ．２ｂ．２ｃの位置と姿勢の関係の情報を示す仮想地図１０を作成する。そして、仮想座標系
内における任意位置の３次元映像Ｐ0 をカメラ座標系
で見た場合の映像Ｐi （i=1,2,3 ）に変換する場合の(5)9
各カメラ２ａ，２ｂ，２ｃ毎の変換情報としての各変換
変換行列Ｍi （i=1,2,3 ）を算出して映像変換部５へ送出する。
【００２８】また、仮想地図作成部６は各カメラ２ａ，２ｂ，２ｃの各焦点距離λi （i=1,2,3 ）を測定して映像変換部５へ送出する。一方、この３次元映像処理装置
を用いて対象物体１を観察する視点を移動させるための
例えば観察者１１の頭部には複数の２次元表示装置としての一対の小型ディスプレイが組込まれたＨＭＤ１２を装着する。さらに、観察者１１の頭部にはこの観察者１１の視野方向を定量的に検出するための計測装置１３が取付けられている。また、観察者１１の前方位置には観察者１１自身が移動する方向と移動量を手動で入力する
ためのジョイステックやデータグローブ等からなる入力
装置１４が設けられている。
【００２９】なお、ジョイステックにより視点を移動させ、単眼としてＣＲＴ表示装置に２次元映像を表示させることも可能である。計測装置１３は、観察者１１の頭部を中心とする動きを、頭部の位置と姿勢を６自由度の情報として検出する。また入力装置１４は、観察者１１の進行方向の３自由度の情報と目の基準の高さを１自由度の情報として検出する。計測装置１３及び入力装置１４で得られた合計１０自由度の情報はＡ／Ｄ変換器１５でデジタル値に変換されて仮想視点算出部１６へ送出される。
【００３０】仮想視点算出部１６は、合計１０自由度の情報から、仮想地図１０内における観察者１１の左右の各眼に対応する一対の仮想視点の各座標及び各姿勢等から、前述した各カメラ２ａ，２ｂ，２ｃと同様に、仮想座標系内における任意の３次元映像Ｐ0 を各仮想視点の視野座標系で見た場合の２次元映像Ｐn （n =1,2)に変換する場合の各仮想視点毎の変換変換行列Ｍn を算出して、映像変換部５へ送出する。
【００３１】映像変換部５はカメラ毎透視変換作用前映
像算出部１７と仮想視点透視変換作用前映像算出部１８と２次元映像算出部１９とで構成されている。カメラ毎透視変換作用前映像算出部１７は、入力バッファ４から
画像間対応付け部９を介して入力された対象物体１の各
２次元映像Ｐi に対して仮想地図作成部６で作成された各カメラ２ａ，２ｂ，２ｃの各変換行列Ｍi 及び各
カメラ２ａ，２ｂ，２ｃの焦点距離λi （i=1,2,3 ）を用いて透視逆変換に相当する処理を実行する。すなわ
ち、対象物体１が仮想座座標系内に存在したと見なした場合における各カメラ２ａ，２ｂ，２ｃから該当対象物
体１を見た場合の各透視変換作用前映像Ｐiv （i=1,2,3 ）を算出して、次の仮想視点透視変換作用前映像算出
部１８へ送出する。
【００３２】仮想視点透視変換作用前映算出部１８は、各カメラ２ａ，２ｂ，２ｃの各変換行列Ｍi （i=1,2,
3 ）と各仮想視点の各変換行列Ｍn （n=1,2 ）とを用

10

20

30

40

50

特許３２５１７７４
10
いて、カメラ毎透視変換作用前映像算出部１７から入力された各カメラ２ａ，２ｂ，２ｃ位置における対象物体
１の各透視変換作用前映像Ｐiv （i=1,2,3 ）から各仮
想視点位置におけるそれぞれの透視変換作用前映像Ｐ
nv （n=1,2)を算出する。算出した各透視変換作用前映像
Ｐnv （n=1,2)を次の２次元映像算出部１９へ送出する。
【００３３】２次元映像算出部１９は入力された各仮想視点における透視変換作用前映像Ｐnv （n=1,2)に対して透視変換演算を行ってそれぞれ２次元映像Ｐn （n=1,2)を得る。そして、算出した各２次元映像Ｐn （n=1,2)を出力バッファ２０へ一旦書込む。
【００３４】出力バッファ２０に書込まれた一対の２次
元映像Ｐn （n=1,2)はＤ／Ａ変換器２１でアナログの映像信号に変換されて、観察者１１の頭部に取付けられたＨＭＤ１２内の各小型ディスプレイにそれぞれ個別に表示される。
【００３５】よって、観察者１１は、ＨＭＤ１２の各小型ティスプレイを左右の眼で見ることによって、対象物
体１の仮想視点からの３次元映像を見ることができる。
次に、このように構成された３次元映像処理装置の各部の詳細動作を図２〜図１２を参照しながら説明する。
【００３６】仮想地図作成部６は、図２に示すよううに、テストパターン測定部６ａ，仮想座標指定部６ｂ，
焦点距離算出部６ｃ及びカメラ位置，姿勢演算部６ｄとで構成されている。そして、仮想地図作成部６は、対象物体１に対する撮影を開始する前に、仮想座標系（ｘ，ｙ，ｚ）内における各カメラ２ａ，２ｂ，２ｃの相互の位置関係（ｘi ，ｙi ，ｚi ）及び姿勢（αi ，βi ）を決定して例えば図４に示す仮想地図１０を作成する機能を有する。
【００３７】具体的には図３の流れ図に従ってカメラ校
正処理を実行して仮想地図１０を作成する。流れ図が開始されると、テストパターン測定部６ａによって、対象
物体１の代りに、一松模様のテストパターンが描かれた用紙、又は図８（ａ）に示す簡単な３次元モデルを各カ
メラ２ａ，２ｂ，２ｃで撮影して、入力バッファ４を介して３つの２次元映像Ｐi （i=1,2,3 ）を得る（ステップＳ３１）。
【００３８】この３つの２次元映像Ｐi （i=1,2,3 ）とテストパターンとの対応付けが必要になる。そのために、まず、仮想座標設定部６ｂが起動して、操作者がＣ
ＲＴ表示装置８に付随する操作部を操作して、図４に示す（ｘ，ｙ，ｚ）の直交座標系の仮想座標を指定する（Ｓ３２）。次に、この仮想座標系上におけるテストパ
ターンと２次元映像Ｐ1 ，Ｐ2 ，Ｐ3 の対応付け演算処理を行う（Ｓ３３）。すなわち、３台のカメラによる
３つの２次元映像Ｐi は異なった方向から同一対象物体を撮影しているので、それぞれの対応付けが必要とな
る。

(6)

特許３２５１７７４

11
12【００３９】次に各カメラ２ａ，２ｂ，２ｃの焦点距離＊ にｘ−ｙ座標を定義し、光軸方向に＋ｚ軸を定義する
λi の算出処理を行う（Ｓ３４）。この焦点距離λi のと、図６に示すように仮想地図１０の仮想座標系から各算出処理の具体的手法を図７およぴ図８を用いて説明す
カメラ座標への変換により、各カメラ２ａ，２ｂ，２ｃる。図７の流れ図に示すように、先ず、図８（ａ）に示の姿勢が規定できる。具体的には、カメラ光軸のｙ軸とす予め一辺の寸法ｈが既知である立方体形状の３次元サの回転角αi 、ｘ軸との回転角βi で定義される。
ンプル６ｊを準備して、図８（ｂ）に示すようように、【００４３】よって、パラメータ演算部６ｃによって、
カメラ２ａ，２ｂ，２ｃの前方位置において、カメラ２
各カメラ２ａ，２ｂ，２ｃの仮想座標系における位置
ａ，２ｂ，２ｃでその２次元映像を撮影する。そして、（ｘi ，ｙi ，ｚi ）及び姿勢αi 、βi からなるパラ
レンズ位置から焦点距離λだけ離れた位置に結像する画メータが得られた。
像面６ｋ上における寸法ｒを測定する。
10 【００４４】すなわち、計算機の内部に、図４のよう【００４０】次に、３次元サンプル６ｊの位置を距離ｄに、各カメラ２ａ〜２ｃ自身の設置，姿勢を含めた仮想だけカメラ２ａ，２ｂ，２ｃ側へ移動させる。そして、
地図１０が作成される。この仮想地図１０内には、実際この状態で画像面６ｋ上における寸法ｒ´を測定する。
の測定時には、対象物体１と置換わる３次元モデルに対すると、簡単な幾何学的考察によって、カメラ２ａ，２する各カメラ２ａ〜２ｃの位置、方向が３次元の形で明ｂ，２ｃの各焦点距離λが次式で求まる。
確に設定されている。図中の太い矢印は各カメラ２ａ，【００４１】
２ｂ，２ｃの光軸方向を示す。
λ＝（ｄ／ｈ）／［（１／ｒ´）−１／ｒ）］【００４５】次に、Ｓ３６にて、カメラ位置算出部６ｄ
図３のＳ３４にて各カメラ２ａ，２ｂ，２ｃの焦点距離を起動させて、各パラメータｘi ，ｙi ，ｚi ，αi 、λi が算出されると、Ｓ３５にて、図４に示す仮想座標βi から各カメラ２ａ，２ｂ，２ｃ毎の変換行列Ｍi系上における各カメラ２ａ，２ｂ，２ｃの位置（座標） 20 （i=1,2,3 ）を算出する。
ｘi ，ｙi ，ｚi （i=1,2,3 ）及び姿勢を示す各回転角【００４６】図６に示すように、カメラ光軸のｙ軸とのαi 、βi を算出する（Ｓ３５）。具体的には、非線形
回転角をαi とし、ｘ軸との回転角をβi とし、撮像中の方程式を作成して逐次演算手法によって各カメラ２
心の座標を（ｘi ，ｙi ，ｚi ）とすると各カメラ２ａ，２ｂ，２ｃの位置（座標）ｘi ，ｙi ，ｚi （i=1,ａ，２ｂ，２ｃの姿勢は(1) 式に示す行列Ｍi （i=1,2,3 ）と姿勢αi 、βi を算出する。
2,3 ）で定義される。
【００４２】すなわち、各カメラ２ａ，２ｂ，２ｃで得【００４７】
られた各２次元映像Ｐi （i=1,2,3 ）の撮像面の中心＊
Ｍi ＝Ｔi ・Ｒiy ・Ｒix…(1)
したがって、ある任意の点の仮想座標系内での表現を※ 記のような関係が成立する。
Ｐ0 、カメラ座標系内での表現をＰi とすると、下※30 【００４８】
Ｐi ＝Ｐ0 ・Ｍi…(2)(2) 式は仮想座標系内の３次元映像Ｐ0 に行列Ｍi転を示し、行列Ｒix はＸ軸回りの回転を示す。そしを掛算すればカメラ座標系内から見た３次元映像Ｐ0て、各行列はそれぞれ(3)(4)(5) 式に示すように定義さの３次元映像Ｐi が得られることを示し、行列Ｍiれる。
は仮想座標系からカメラ座標系への変換行列となる。
【００５０】【００４９】但し、行列Ｔi はｘ，ｙ，ｚ軸方向の平【数１】
行移動を示し（i=1,2,3 ）、行列Ｒiy はＹ軸回りの回

(7)
13

特許３２５１７７４
14【００５１】但し、(3)(4)(5) 式の最終列は座標変換に＊ 【００５３】すなわち、カメラ２ａ，２ｂ，２ｃの場合おける平行移動の変数もこの行列に含めるための同次座と同様に、視軸のｙ軸との回転角をαn 、ｘ軸との回転標の成分である。次に、図１における仮想視点算出部１ 20 角をβn 、撮像中心の座標を（ｘn ，ｙn ，ｚn ）とす
６で算出する仮想視点における変換行列Ｍn （n=1,2)
ると、目の中心座標がＴn で、視線方向は［Ｒny ・ついて検討する。
Ｒnx ］となる。すなわち、カメラ２ａ，２ｂ，２ｃの【００５２】すなわち、図４の仮想地図１０内における場合と同様に下記(6) 式の変換行列Ｍn で定義され仮想視点２２の位置，姿勢を示す変換行列Ｍn は、上る。
述した各カメラ２ａ，２ｂ，２ｃの変換行列Ｍi の算【００５４】
出手法と同様な手法にて求められる。
＊
Ｍn ＝Ｔn ・Ｒny ・Ｒnx…(6)
なお、Ｔn ，Ｒny ，Ｒnx の各行列は上述した (3)へ入力され、この画像間対応付け部９によって互いに対(4)(5)式に示す各カメラ２ａ，２ｂ．２ｃの場合と同様応付けられた後に、映像変換部５へ入力される。
である。
30 【００５８】この画像間対応付け部９による座標対応付【００５５】なお、実際の装置においては、この仮想視処理は、例えば、動的計画法などを用いて計算機で自動点２２位置は観察者１１の動きによって仮想地図１０上
的に対応付けることできるが、操作者が手動で行う場合
を任意に移動するので、この３次元画像処理装置を稼働は、例えば図５に示すように、ＣＲＴ表示装置８に表示
する前に、観察者１１は計測装置１３及び入力装置１４されたそれぞれの２次元映像Ｐ1 ，Ｐ2 ，Ｐ3 のを操作して、仮想視点２２の位置，姿勢を、固定されて絵の中の対応する頂点を、例えばライトペン等で表示画いる３つのカメラ２ａ，２ｂ，２ｃのうちのいずれか一面より指定させて対応付けすることも可能である。
つのカメラに一致させて、前記仮想視点２２の変換行列【００５９】次に映像変換部５の各部１７，１８，１９
Ｍn を一致させたカメラの変換行列Ｍi に初期設定の動作を順番に説明する。カメラ毎透視変換作用前映像する。
算出部１７は、図９に示すように、透視逆変換相当処理【００５６】変換行列Ｍn の初期設定が終了すると、 40 部１７ａ，拘束式作成部１７ｂ，変換未知数算出部１７
仮想視点算出部１６は、計測装置１３及び入力装置１４ｃ及び透視変換作用前映像算出部１７ｄとで構成されてから入力される移動量（偏差量）Δｘ，Δｙ，Δｚ，Δいる。そして、カメラ毎透視変換作用前映像算出部１７
α，Δβを取込んで、前記初期値を変更していくのみ
は、前述したように、入力バッファ４から画像間対応付で、常時正しい変換行列Ｍn を得ている。観察者１１
け部９を介して入力された対象物体１の各２次元映像の動作に応じて時々刻々変化する仮想視点２２の各変換
Ｐi に対して仮想地図作成部６で作成された各カメラ
行列Ｍn （n=1,2)は映像変換部５へ送出される。
２ａ，２ｂ，２ｃの各変換行列Ｍi 及び各カメラ２【００５７】以上の初期処理が終了すると、各カメラ２ａ，２ｂ，２ｃの焦点距離λi （i=1,2,3 ）を用いて透ａ，２ｂ，２ｃで実際の対象物１を撮影する。各カメラ
視逆変換に相当する処理を実行して、各透視変換作用前
２ａ，２ｂ，２ｃで撮影された各２次元映像Ｐi （i=映像Ｐiv （i=1,2,3 ）を得る。
1,2,3 ）は入力バッファ４を介して画像間対応付け部９ 50 【００６０】具体的には図１０の流れ図に沿って各透視

(8)

特許３２５１７７４1516
変換作用前映像Ｐiv （i=1,2,3 ）が算出される。流れ＊ 【００６１】すなわち、各カメラ２ａ，２ｂ，２ｃの透図が開始されると、透視逆変換相当処理部１７ａが起動
視変換行列Ｓi （i=1,2,3)及び前述した各カメラ２され、仮想地図作成部６から入力した各カメラ２ａ，２ａ，２ｂ，２ｃの変換行列Ｍi を用いると、ある任意ｂ，２ｃの各焦点距離λi （i=1,2,3)を用いて各カメラの点の仮想座標系内での表現をＰ0 、カメラ撮影後の２ａ，２ｂ，２ｃの透視変換情報としての各透視変換行
２次元映像Ｐi （i=1,2,3)は、
列Ｓi の作成処理を実行する（Ｓ４１）。
＊
Ｐi ＝Ｐ0 ・Ｍi ・Ｓi…(7)より求まる。すなわち、この(7) は前述した(2) 式
Ｐi ´＝Ｐ0 ・Ｍi…(2)に実際のカメラ２ａ，２ｂ，２ｃを用いる事による遠近 10※ れる。
効果を示す以下に示す透視変換行列Ｓi を付加したも【００６２】のである。ここで、透視変換行列Ｓi は(8) 式で示さ※【数２】【００６３】(8) 式の透視変換行列Ｓi （i=1,2,3)の★ Ｐi （i=1,2,3)及び仮想地図作成部６からの変換行列作成処理が終了すると、Ｓ４３にて、(7) 式の（Ｐi20 Ｍi （i=1,2,3)を取込む。(7) 式に(1) 式の変換行列‑1Ｓi）に相当する透視変換作用前の点Ｐiv を求め
Ｍi を代入すると、(9) 式となる。
るため、入力バッファ４からの対象物体１の２次元映像★
【００６４】
Ｐi ＝Ｐ0 ・Ｔi ・Ｒiy ・Ｒix ・Ｓi…(9)‑1
カメラ座標系（カメラ撮像面）の各点に透視変換作用の☆ できるので、Ｐiv ＝（Ｐi Ｓi）式は(10)式と各点の座標を示す透視変換作用前映像Ｐiv は、平行移なる。
動を示す行列Ｔi ，各回転を示す行列Ｒiy, Ｒix【００６５】の同次座標表現時における特徴から、透視変換前の平行【数３】
移動，回転移動後の座標は、（ａ，ｂ，ｃ，１）と表現☆

ここで、対象物体１の２次元映像Ｐi （i=1,2,3)の座◆ 【００６６】標（ｘi ，ｙi ）との関係は次のようになる。
◆
ｘi ＝ａi ／（１＋ｃi ／λi ）ｙi ＝ｂi ／（１＋ｃi ／λi ）…(11)
したがって、(11)式を(10)式に代入することによって、 40＊ ことに相当する点の映像、すなわち透視変換作用前映像
各カメラ２ａ，２ｂ，２ｃのカメラ座標系の２次元映像
Ｐiv が(12)式で得られる。
‑1
Ｐi に透視変換行例Ｓi の逆行列Ｓiを掛けた＊【００６７】
Ｐiv ＝（ｘ（１＋ｃi ／λi ），ｙ（１＋ｃi ／λi ），ｃi ，１）…(12)(12)式において未知数はｃi （i=1,2,3)のみとなる。
※ ２ａ．２ｂ，２ｃ相互間における、ｉ番目のカメラｉの【００６８】以上の透視逆変換相当処理部１７ａの処理
カメラ座標系の座標原点を仮想座標系の原点と見なしが終了すると、Ｓ４３へ進み、拘束式作成部１７ｂを起て、他の各カメラｊへの座標変換を示す変換行列Ｕij
動して、拘束式を作成する。すなわち、各カメラ２ａ，より、次の拘束条件が得られる。
２ｂ，２ｃの個々の位置は当然既知であるので、カメラ※【００６９】
Ｐjv ＝Ｐiv ・Ｕij
…(13)

(9)

特許３２５１７７４

1718
ここで、カメラ相互間の座標変換行列Ｕij は(14)式で＊ ＊ 表現できる。
‑1
Ｕij ＝Ｕi0 ・Ｕ0j ＝Ｕ0i ・Ｕ0j
‑1
＝Ｍi
・Ｍj
…(14)
なお、変換行列Ｕ0k は仮想座標系の原点ｏからみた、※ 行列成部１８ａと，行列ＮＭn 関連行列Ａ算出部１８ｂ
カメラｋへの変換行列である。すなわち、(10)式はカメと、要素演算部１８ｃとで構成されている。仮想視点透
ラ２ａ，２ｂ，２ｃが図１に示すように３台存在すると視変換作用前映像算出部１８は、前述したように、各カ
きは、３個の未知数ｃ1 ，ｃ2 ，ｃ3 に対して、拘束式
メラ２ａ，２ｂ，２ｃ位置における各透視変換作用前映が６個存在することになり、一般逆行列演算を行って、像Ｐiv （i=1,2,3)から、各仮想視点２２から仮想座標
３個の未知数ｃ1 ，ｃ2 ，ｃ3 の解を得ることが可能で系内に位置する対象物体１を見た各透視変換作用前映像ある。
10 Ｐnv （n=1,2)を算出する。
【００７０】以上の拘束式の作成処理が終了すると、Ｓ【００７３】具体的には図１２の流れ図に沿って各透視
４４へ進み、未知数算出部１７ｃを起動して、各未知数
変換作用前映像Ｐnv （n=1,2)が算出される。これは、
ｃ1 ，ｃ2 ，ｃ3 を算出する。３個の未知数ｃ1 ，ｃUllman et alが提唱したアルゴリズムをＺ座標まて拡張
2 ，ｃ3 が得られると、Ｓ４５にて透視変換作用前映像
することにより可能である。（ Recognition by Linea
算出部１７ｄを起動して、(12)式から各透視変換作用前r Combinations of Models :IEEE Transactions on Pa
映像Ｐiv （i=1,2,3)を算出する。
ttern Analysis and Machine Intelligence. Vol,13,N【００７１】このように、カメラ毎透視変換作用前映像
o.10.October 1991 ）
算出部１７において、各２次元映像Ｐi から各カメラ
流れ図が開始されると、Ｓ１２１において、カメラ位置
２ａ，２ｂ，２ｃ位置から仮想座標系内に位置する対象
関係行列成部１８ａが起動され、カメラ２ａ，２ｂ，２
物体１の各透視変換作用前映像Ｐiv （i=1,2,3)が算出 20 ｃの位置関係を示す位置関係行列Ｎが作成される。先され、仮想視点透視変換作用前映像算出部１８へ送出さず、各カメラ２ａ，２ｂ，２ｃの変換行列Ｍi は前述れる。
した(1) 式から(15)式に示すように展開することが可能【００７２】次に、仮想視点透視変換作用前映像算出部
である。
１８の処理動作を説明する。仮想視点透視変換作用前映【００７４】
像算出部１８は、図１１に示すように、カメラ位置関係※【数４】【００７５】ここで、カメラ２ａ，２ｂ，２ｃの各変換★ カメラ２ｂの２次元映像からｘを、カメラ２ｃの２次元
行列Ｍ1 ，Ｍ2 ，Ｍ3 から適当な列ベクトルを抜映像からｙを抽出している。
き出して(16)式に示す位置関係行列Ｎを作成する。具【００７６】
体的には、カメラ２ａの２次元映像から（ｘ，ｙ）を、★
Ｎ＝（ｎ1 ，ｎ2 ，ｎ3 ，ｎ4 ）＝（ｍ11 ，ｍ21 ，ｍ12 ，ｍ13 ）…(16)
次にＳ１２２において、仮想視点位置の変換行列Ｍn
一意に表現できる。すなわち、係数をａij とする行列と各カメラ２ａ，２ｂ，２ｃ位置の変換行列Ｍi とのＡを定義すると、変換行列Ｍn は次に示すように簡関係を求める。
略される。
【００７７】すなわち、仮想視点２２における各変換行【００７８】
列Ｍn の各列ベクトルは、 det（Ｎ）≠０（一次独【数５】立）の時、位置関係行列Ｎの列ベクトルの線形結合で

(10)
19

特許３２５１７７４
20【００７９】したがって、係数αij を示す行列Ａは(1＊ ＊ 8)式となる。
‑1
Ａ＝Ｎ ・Ｍn…(18)
各カメラ点から見た対象物体１の透視変換作用前映像※ 【００８０】
Ｐiv は定義により(19)式に示される。
※
Ｐiv ＝（ｘiv ，ｙiv ，ｚiv ，１）＝Ｐ0 ・Ｍi ＝Ｐ0 ・（ｍ1i ，ｍ2i ，ｍ3i ，ｍ4i ）…(19)
同様に、仮想視点２２から見た対象物体１に対する透視★ る。
変換作用前映像Ｐnv に対しても、下記(20)式が成立す★
【００８１】
Ｐnv ＝（ｘnv ，ｙnv ，ｚnv ，１）＝Ｐ0 ・Ｍn＝（Ｐ0 ・ｍ1n ，Ｐ0 ・ｍ2n ，Ｐ0 ・ｍ3n ，Ｐ0 ・ｍ4n ）…(20)
位置関係行列Ｎ及び各透視変換作用前映像Ｐiv ，☆ 要素ｘnv ，ｙnv ，ｚnv の算出処理を実行する。
Ｐnv が求まると、Ｓ１２３にて要素算出部１８ｃを起【００８２】例えば、一つの要素ｘnv について計算する
動して、仮想視点２２の変換行列Ｍn と位置関係行列と(20)式から(21)式が得られる。
Ｎを用いて、(20)式の透視変換作用前映像Ｐnv の各☆
ｘnv ＝Ｐ0 ・ｍ1n…(21)
この(21)式に(17)式を代入することによって(22)式が得◆ 【００８３】られる。
◆
ｘnv ＝Ｐ0 ・（ａ11 ・ｎ1 ＋ａ21 ・ｎ2 ＋ａ31 ・ｎ3 ＋ａ41 ・ｎ4 ）＝ａ11 Ｐ0 ｎ1 ＋ａ21 Ｐ0 ｎ2 ＋ａ31 Ｐ0 ｎ3 ＋ａ41 Ｐ0 ｎ4…(22)
この(22)式のｎ1 ，ｎ2 ，ｎ3 ，ｎ4 は(16)式から＊ (23)式を得る。
ｍ11 ，ｍ21 ，ｍ12 ，ｍ13 に等しいので、これを代入して＊【００８４】
ｘnv ＝ａ11 Ｐ0 ｍ11 ＋ａ21 Ｐ0 ｍ21 ＋ａ31 Ｐ0 ｍ12 ＋ａ41 Ｐ0 ｍ13…(23)
さらに、(19)式から(24)式が導かれるので、
Ｐ0 ｍ11 ＝ｘ1v
Ｐ0 ｍ21 ＝ｙ1v
Ｐ0 ｍ12 ＝ｘ2v
Ｐ0 ｍ13 ＝ｘ3v…（２４）
最終的に求める一つの要素ｘｎｖ は(25)式となる。
※ ※ 【００８５】
ｘnv ＝ａ11 ・ｘ1v ＋ａ21 ・ｙ1v ＋ａ31 ・ｘ2v ＋ａ41 ・ｘ3v…(25)
同様に、他の要素ｙnv ，ｚnv も(26)(27)式に示すように★ 【００８６】求まる。
★
ｙnv ＝ａ12 ・ｘ1v ＋ａ22 ・ｙ1v ＋ａ32 ・ｘ2v ＋ａ42 ・ｘ3v…(26)
ｚnv ＝ａ13 ・ｘ1v ＋ａ23 ・ｙ1v ＋ａ33 ・ｘ2v ＋ａ43 ・ｘ3v

(11)

特許３２５１７７４

21

22
…(27)
(25)(26)(27)式より各要素ｘnv ，ｙnv ，ｚnv の算出処理＊ nv を２次元映像Ｐn に透視変換する。具体的には図１が終了すると、Ｓ１２５にて、透視変換作用前映像Ｐ
３の流れ図に沿って各２次元透映像Ｐn （n=1,2)が算
nv ＝（ｘnv ，ｙnv ，ｚnv ，１）を算出する。
出される。
【００８７】このように、この仮想視点透視変換作用前【００８９】流れ図が開始されると、Ｓ１３１におい映像算出部１８において、各仮想視点２２から仮想座標て、仮想視点透視変換作用前映像算出部１８から出力さ系内に位置する対象物体１を見た場合における各透視変れた仮想視点２２から見た仮想座標系内の対象物体１の換作用前映像Ｐnv ＝（ｘnv ，ｙnv ，ｚnv ，１）が、各透視変換作用前映像Ｐnv ＝（ｘnv ，ｙnv ，ｚnv ，１）
カメラ２ａ，２ｂ，２ｃ位置から仮想座標系内に位置すを取込む。そして、Ｓ１３２で透視変換処理を実行する対象物体１を見た場合の各透視変換作用前像ＰiV ＝ 10 る。
（ｘiv ，ｙiv ，ｚiv ，１）から一義的に算出される。算【００９０】すなわち、先に求めた透視変換作用前映像
出された各透視変換作用前映像Ｐnv は次の２次元映像
Ｐnv ＝（ｘnv ，ｙnv ，ｚnv ，１）に(8) 式で得られる算出部９へ送出される（Ｓ１２４）。
透視変換行列Ｓn を掛けることにより、求めたい仮想【００８８】次に、２次元映像算出部１９の動作を説明
視点２２位置の２次元座標上に展開された対象物体１のする。２次元映像算出部１９は、前述したように、仮想
任意の方向から見た各２次元映像Ｐn ＝（ｘn ，ｙ
視点２２における対象物体１の透視変換作用前映像Ｐ＊n ，）（n=1,2)が得られる。
Ｐn ´＝Ｐnv ・Ｓn…(28)(28)式を展開すると、(29)式が得られる。
※ 【数６】【００９１】※【００９２】したがって、
ｘn ＝ｘnv ´／ｗn ´
ｙn ＝ｙnv ´／ｗn ´が得られる。
【００９３】そして、Ｓ１２３において、各仮想視点２
２から見た対象物体１の各２次元映像Ｐn ＝（ｘn ，ｙn ）（n=1,2)を作成する。作成された各２次元映像
Ｐn は次の出力バッファ２０へ送出される。
【００９４】すなわち、映像変換部５において、既存のカメラ２ａ，２ｂ，２ｃにて得られた３つの２次元映像
Ｐi を仮想座標系内に設定した任意の仮想視点２２から対象物体１を見た場合の２つの２次元映像Ｐn （n= 401,2)に変換できた。
【００９５】このように構成された３次元映像処理装置
においては、図１６に示すように、３台のカメラ２ａ，２ｂ，２ｃで得られた３枚の２次元映像Ｐ1 ．Ｐ
2 ．Ｐ3 から各カメラ２ａ，２ｂ，２ｃ位置における各透視変換作用前映像Ｐiv が得られる。一方、観察者
１１に取付けられた測定装置１３及び入力装置１４から観察者１１の両眼の視野方向およぴ３次元位置を示す一対の仮想視点２２が仮想視点算出部１６で検出される。
そして、映像変換部５でもって、各仮想視点２２から対 50

…(30)
…(31)
象物体１を見た場合の各２次元映像Ｐn1 ，Ｐn2 が得
られて、これらがＨＭＤ１２の各小型ディスプレイに表示される。
【００９６】よって、観察者１１は両眼で各小型ディスプレイに表示された対象物体１の３次元画像を見ることができる。さらに、観察者１１は３次元表示された対象
物体１の見たい方向に通常の感覚で頭部を向け、かつ入力装置１４を操作して自己の位置を移動させることによって、対象物体１を任意の方向から観察することができる。
【００９７】また、このような構成の３次元映像処理装置においては、予め各カメラ２ａ，２ｂ，２ｃの位置が固定されている場合においては、仮想地図作成部６で作成される各カメラ２ａ，２ｂ，２ｃ毎の変換行列Ｍi
及び各焦点距離λi を例えばＲＯＭ等の不揮発性メモリに予め書込んでおくことによって、各種初期設定処理が簡素化できる。
【００９８】具体的には、図１４に示すように、各カメ
ラ２ａ，２ｂ，２ｃから得られた２次元映像Ｐi を、

(12)
23
ＣＤ−ＲＯＭ３１に記憶された変換行列Ｍi 及び各焦点距離λi を用いて、例えばジョイステック３２で指定された仮想視点から見た２次元映像Ｐn を自動的に算出してＣＲＴ表示装置３２に表示する。
【００９９】したがって、各カメラ２ａ，２ｂ，２ｃ毎の変換行列Ｍi 及び各焦点距離λi を記憶したＣＤ−
ＲＯＭ３１を準備するのみで、各固定カメラ２ａ，２ｂ，２ｃで得られる各２次元画像から任意の方向から見た実画像をＣＲＴ表示装置３２の表示画面上に再現できる。さらに、ＣＲＴ表示装置３２の代りに、監視者１１にＭＨＤ１２を装着させることによって、ジョイステッ
ク３２を用いた立体感のある映像シュミレーシヨンが可能である。
【０１００】さらに、このような３次元映像処理装置における対象物体１を、図１５に示すように、プラントにおける監視員の定期的な安全巡回の巡回経路１ａとして、巡回経路１ａを見渡す位置に３台のカメラ２ａ，２ｂ，２ｃを設置する。さらに、観察者１１を監視員１１ａとすると、この３次元映像処理装置はウォーク・スル
ー・シミュレータとなる。
【０１０１】このようなウォーク・スルー・シミュレー
タにおいては、監視員１１ａは、実際に安全巡回を行わなかったとしても、点検の要所要所に各カメラ２ａ，２ｂ，２ｃを設置するのみで、管制室に座ったままで、実際に高低差のある所や狭い通路などを通っていく必要がないので、肉体的疲労及び精神的疲労が大幅に軽減される。よって、安全巡回が可能になり、プラントの維持管理の作業能率を大幅に向上できる。
【０１０２】図１７は本発明の他の実施例に係わる３次
元映像処理装置の概略構成を示すブロック図である。対象物体を３台のカメラ２ａ，２ｂ，２ｃで撮影して、撮影された各２次元映像Ｐ1 ．Ｐ2 ．Ｐ3 をＡ／Ｄ
変換器３ａ，３ｂ，３ｃでデジタル値に変換して、ＮＣ
Ｕ２３を介して、ＬＡＮ２４へ出力する。対象物体から遠方に設置された管理センター２４にＬＡＮ２４を介してこの各２次元映像が送信される。
【０１０３】管理センター２５内に入力された各２次元
映像Ｐ1 ．Ｐ2 ．Ｐ3 はＮＣＵ２６を介して図１に示す仮想地図作成部６，仮想視点算出部１６，及び映像変換部５へ入力される。そして、この管理センター２５内において、観察者１１の視野方向及び位置から各仮想視点を得て、この仮想視点から遠方に存在する対象物
体を任意の方向から観察する。
【０１０４】このように、ＬＡＮ２４を用いて各２次元映像を送信することによって、例えば山間部のダム現場等の監視員が簡単に赴くことができない場合であっても、都市の管理センター２５において詳細に巡回ができる。
【０１０５】図１８は本発明のさらに別の実施例に係わる３次元映像処理装置の概略構成を示すブロック図であ

10

20

30

40

50

特許３２５１７７４
24る。この実施例装置においては、テレビジョンの放送局
２７内において、複数のカメラ２ａ，２ｂ，２ｃで撮影された複数の２次元画像から各カメラ２ａ，２ｂ，２ｃ
位置における各透視変換作用前映像ＰiV を算出して、送信装置２８を介して電波送出する。
【０１０６】各家庭２９に設けられたテレビジョンセッ
ト３０内に、仮想視点算出部１６，映像変換部５の仮想視点透視変換作用前映像算出部１８，２次元映像算出部
１９を設け、テレビジョンセット３０の外部に入力装置
１４を設置することによって、ＴＶの視聴者がＴＶ画面に表示されている対象物体１の見る方向を任意に設定できる。
【０１０７】したがって、より楽しくＴＶ番組を観賞できる。また、必要あれば、視聴者自信がＨＭＶ１２を装着することによって、３次元画像表示されたＴＶ番組を楽しむことが可能である。
【０１０８】なお、本発明は上述した各実施例に限定されるものではない。例えば、実施例装置においては、対象物体１の３方向から見た各２次元映像を有限の焦点距
離λを有するレンズ等の集光機構が組込まれてカメラ２
ａ，２ｂ，２ｃで撮影することによって得たが、ＣＡＤ等で描いた無限の焦点距離を有する２次元影像を用いることも可能である。この場合においては、この各２次元
映像には遠近効果が含まれないので、前述した透視変換
行列を用いる必要がない。
【０１０９】また、３次元の立体映像を、３枚程度の２次元画像から再生することができるので、情報の圧縮装置として使用することができる。ホログラフィなどの立体映像再生方法と同様な位置づけとなるが、さらに簡単化された手軽な方法として使用できる。
【０１１０】【発明の効果】以上説明したように、本発明の３次元映像処理装置及び３次元映像処理方法においては、必要な箇所に複数台の撮影装置を設置するのみで、簡単に任意仮想視点からの対象物体に対する２次元映像又は透視変換作用前映像が得られる。したがって、従来の３次元のＣＡＤモデルを用いた手法に比較して、対象物体をコン
ビュータを用いてモデル化する必要がないので、観察すべき対象物体を簡単に変更できる。
【０１１１】さらに、プラント監視におけるウォーク・
スルー・シミュレータに用いることによって、監視員の仮想視点を簡単に移動でき、移動に対する応答特性が高く、さらに実画像のために、リアリティの高い映像が得られる。
【図面の簡単な説明】【図１】 本発明の一実施例に係わる３次元映像処理装置の概略構成を示すブロック図【図２】 同実施例装置の仮想地図作成部におけるカメ
ラパラメータ算出機能を示すブロック図【図３】 同仮想地図作成部のカメラパラメータ算出動(13)

特許３２５１７７４

25
26
作を示す流れ図＊ の応用例を示す模式図【図４】 同仮想地図作成部で作成された仮想地図を示【図１５】 仮想座標系内における仮想視点と各カメラ
す模式図
位置との関係を示す図【図５】 各カメラで撮影された各２次元映像を示す図【図１６】 各カメラで撮影された各２次元映像と最終【図６】 カメラの姿勢と仮想座標との関係を示す図
的に得られる各仮想視点における各２次元映像との関係【図７】 前記仮想地図作成部の焦点距離算出動作を示
を示す図
す流れ図
【図１７】 本発明の他の実施例に係わる３次元映像処【図８】 同焦点距離算出機能における算出方法を説明
理装置の概略構成を示すブロック図するための説明図【図１８】 本発明のさらに別の実施例に係わる３次元【図９】 同実施例装置のカメラ毎透視変換作用前映像 10 映像処理装置の概略構成を示すブロック図
算出部の概略構成を示すブロック図【符号の説明】【図１０】 同カメラ毎透視変換作用前映像算出部の動１…対象物体、２ａ，２ｂ，２ｃ…カメラ、４…入力バ
作を示す流れ図ッファ、５…映像変換部、６…仮想地図作成部、９…対【図１１】 同実施例装置の仮想視点透視変換作用前映
応付け部、１０…仮想地図、１１…観察者、１２…ＨＭ
像算出部の概略構成を示すブロック図
Ｄ、１３…計測装置、１４…入力装置、１６…仮想視点【図１２】 同仮想視点透視変換作用前映像算出部の動算出部、１７…カメラ毎透視変換作用前映像算出部、１作を示す流れ図
８…仮想視点透視変換作用前映像算出部、１９…２次元【図１３】 同実施例装置の２次元映像算出部の動作を
映像算出部、２０…出力バッファ、２２…仮想視点、２
示す流れ図
４…ＬＡＮ、２５…管理センター、２８…放送局、２９【図１４】 同実施例装置の仮想地図作成部で作成され 20 …家庭る変換行列及び各焦点距離を予めＲＯＭに書込んだ場合＊
【図１】

【図７】

【図１３】

(14)

【図２】

【図４】

特許３２５１７７４

【図３】

【図５】

【図６】

【図８】

(15)

【図９】

特許３２５１７７４

【図１０】

【図１１】

【図１２】

(16)

【図１４】

【図１６】

特許３２５１７７４

【図１５】

【図１７】

(17)

特許３２５１７７４【図１８】─────────────────────────────────────────────────────
フロントページの続き(56)参考文献

特開 平５−12413（ＪＰ，Ａ)
特開 平５−37965（ＪＰ，Ａ)
特開 平５−324799（ＪＰ，Ａ)
両眼立体視による視覚機能研究のための３次元ＣＧ装置 ，テレビジョン学
会技術報告，1991年７月18日，Ｖｏｌ.
15，Ｎｏ．42，ｐ．15−20
人工現実感を用いた図形入力システ
ム ，テレビジョン学会技術報告，1993
年１月22日，Ｖｏｌ．17，Ｎｏ．４,
ｐ．33−407(58)調査した分野(Int.Cl. ，ＤＢ名)
G06T 17/40
G06T 15/00
G06F 17/50
ＣＳＤＢ（日本国特許庁)