(57)【特許請求の範囲】
【請求項１】
所定の方向に進行する車両と、
撮影すべき領域が全て含まれるように、前記所定の方向に平行な直線沿いに前記所定の方向に対して互いに相違する角度で前記車両に配置された複数のカメラと、
前記複数のカメラが同一地点を通過する時間を、前記車両が前記所定の方向に進行する速度に基づいてそれぞれ取得する手段と、
前記複数のカメラによってそれぞれ撮影された、光学中心が一致する同一地点の複数の画像を、前記複数のカメラが同一地点を通過する時間に基づいてそれぞれ取得する手段と、
前記複数の画像を統合して１枚の画像を形成する手段とを具えることを特徴とする画像生成装置。
【請求項２】
前記カメラの各々が、所定のデータと同期をとりながら撮影を行うことを特徴とする請求項１記載の画像生成装置。
【請求項３】
前記所定のデータを、ＧＰＳ、ジャイロセンサ及び車速センサのうちの少なくとも一つを用いて取得することを特徴とする請求項２記載の画像生成装置。
【請求項４】
撮影すべき領域が全て含まれるように、所定の方向に平行な直線沿いに前記所定の方向に対して互いに相違する角度で複数のカメラを配置した車両を、所定の方向に進行させるステップと、
前記複数のカメラが同一地点を通過する時間を、前記車両が前記所定の方向に進行する速度に基づいてそれぞれ取得するステップと、
前記複数のカメラによってそれぞれ撮影された、光学中心が一致する同一地点の複数の画像を、前記複数のカメラが同一地点を通過する時間に基づいてそれぞれ取得するステップと、
前記複数の画像を統合して１枚の画像を形成するステップとを具えることを特徴とする画像生成方法。
【請求項５】
前記カメラの各々が、所定のデータと同期をとりながら撮影を行うことを特徴とする請求項４記載の画像生成方法。
【請求項６】
前記所定のデータを、ＧＰＳ、ジャイロセンサ及び車速センサのうちの少なくとも一つを用いて取得することを特徴とする請求項５記載の画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カーナビゲーションのようなＩＴＳ(Intelligent Transport System)分野、仮想都市のようなバーチャルリアリティ（ＶＲ）分野、３次元モデリングのような３次元コンピュータグラフィック（３ＤＣＧ）の分野等で利用される画像生成装置及び方法に関する。
【０００２】
【従来の技術】
近年、市街地のような大規模な環境のテクスチャ画像（以下、単に「画像」という。）を、カメラやレンジセンサを用いてコンピュータに取り込み、ＩＴＳ分野やＶＲ分野（例えば、非特許文献１参照）に利用することが、盛んに行われている。
【０００３】
この際、画像を効率的にコンピュータに取り込んで取得する手法が検討されている。これまで、画像の取得を主に人手に頼っていたが、人手による画像の取得には、労力的な限界がある。したがって、画像の取得を自動化する手法として、航空写真による手法、全方位カメラを用いる手法（例えば、非特許文献２参照）、複数のカメラを組み合わせて用いる手法等が提案されている。
【０００４】
また、画像の取得を自動化する手法に関連して、ＩＢＲ(Image-Based Rendering)と呼ばれる手法（例えば、非特許文献３，４参照）や、ＥＰＩ(Epipolar Plane Image)と称される画像（例えば、非特許文献５参照）を形成することが提案されている。
【０００５】
【非特許文献１】
M. Hirose and E. Takaaki. Building a virtual world from the real world.  In Proceedings of International Symposium on Mixed Reality, pages 183-197, Mar. 1999
【非特許文献２】
Y. Onoue, K. Yamasawa, H. Takemura, and N. Yokoya.  Telepresence by real-time view-dependent image generation from omnidirectional video streams.  Computer Vision and Image Understanding, 71(2):154-165, Aug. 1998.
【非特許文献３】
0003728508.tif 000002
【非特許文献４】
T. Takahashi, H. Kawasaki, K. Ikeuchi, and M. Sakauchi.  Arbitrary view position and direction rendering for large-scale scenes. In Computer Vision and Pattern Recognition, volume 2, pages 296-303, June 2000.
【非特許文献５】
R. Bolles, H. Baker, and D. Marimont.  Epipolar plane image analysis: an approach to determining structure from motion. Int. J. of Computer Vision, 1:7-55, 1987.
【０００６】
【発明が解決しようとする課題】
しかしながら、航空写真による手法及び全方位カメラを用いる手法の場合、画像の解像度、撮像できるテクスチャの方向等に制限がある。一方、複数のカメラを組み合わせて用いる手法の場合には、航空写真による手法及び全方位カメラを用いる手法の場合の制限がないが、複数の画像を統合して１枚の画像を生成するのが困難であり、奥行き情報などの形状の情報（補正）なしで大規模な環境の画像をほとんど歪なく取得するのが困難である。
【０００７】
本発明の目的は、大規模な環境の画像をほとんど歪みなく容易に取得することができる画像生成装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明による画像生成装置は、
所定の方向に進行する車両と、
撮影すべき領域が全て含まれるように、前記所定の方向に平行な直線沿いに前記所定の方向に対して互いに相違する角度で前記車両に配置された複数のカメラと、
前記複数のカメラが同一地点を通過する時間を、前記車両が前記所定の方向に進行する速度に基づいてそれぞれ取得する手段と、
前記複数のカメラによってそれぞれ撮影された、光学中心が一致する同一地点の複数の画像を、前記複数のカメラが同一地点を通過する時間に基づいてそれぞれ取得する手段と、
前記複数の画像を統合して１枚の画像を形成する手段とを具えることを特徴とする。
【０００９】
本発明による画像生成方法は、
撮影すべき領域が全て含まれるように、所定の方向に平行な直線沿いに前記所定の方向に対して互いに相違する角度で複数のカメラを配置した車両を、所定の方向に進行させるステップと、
前記複数のカメラが同一地点を通過する時間を、前記車両が前記所定の方向に進行する速度に基づいてそれぞれ取得するステップと、
前記複数のカメラによってそれぞれ撮影された、光学中心が一致する同一地点の複数の画像を、前記複数のカメラが同一地点を通過する時間に基づいてそれぞれ取得するステップと、
前記複数の画像を統合して１枚の画像を形成するステップとを具えることを特徴とする。
【００１０】
複数のカメラを組み合わせて用いる従来の手法の場合には、通常のカメラでは光学中心がカメラの内部にあるためにこれらの光学中心を一致させるのが困難であり、その結果、光学中心が外部にある特殊なカメラを用いない限り、複数の画像を統合して１枚の歪みのない画像を生成するのが困難であり、大規模な環境の画像を奥行き情報などの補正なしでほとんど歪なく取得するのが困難となっている。
【００１１】
本発明による画像生成装置及び方法によれば、撮影すべき領域が全て含まれるように、所定の方向に平行な直線沿いに、所定の方向に対して互いに相違する角度で複数のカメラを配置した車両を、所定の方向に進行させる。次いで、複数のカメラが同一地点を通過する時間を、車両が所定の方向に進行する速度に基づいてそれぞれ取得する。次いで、複数のカメラによってそれぞれ撮影された、光学中心が一致する同一地点の複数の画像を、複数のカメラが同一地点を通過する時間に基づいてそれぞれ取得する。次いで、複数の画像を統合して１枚の画像を形成する。したがって、光学中心が内部にある通常のカメラを用いたとしても、これらの光学中心を容易に一致させることができ、その結果、複数の画像を統合した１枚の画像を容易に生成することができ、大規模な環境の画像を、奥行き情報などの補正なしでほとんど歪なく容易に取得することができる。
【００１２】
好適には、前記カメラの各々が、所定のデータと同期をとりながら撮影を行うことができ、前記所定のデータを、例えば、ＧＰＳ、ジャイロセンサ及び車速センサのうちの少なくとも一つを用いて取得する。また、前記車両が等速直線運動を行い、前記カメラによって撮影された画像間の所定の特徴のあるパターンをマッチングすることもできる。さらに、前記画像生成装置及び方法に対して、ＩＢＲに基づく画像手法を適用することによって、仮想空間内を自由に移動できるシステムを構築することができる。
【００１３】
【発明の実施の形態】
本発明による画像生成装置及び方法の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による画像生成装置の実施の形態及びその一部を示す図である。この画像生成装置は、車両１と、ビデオカメラ２−１〜２−６と、ビデオカメラ２−１〜２−６の設置台３と、車両１内に設けられたパーソナルコンピュータ（図示せず）とを具える。
【００１４】
車両１は、車両１に乗車した運転者の操縦によってレール上を車輪を介して矢印ａの方向に進行する。ビデオカメラ２−１〜２−６は、撮影すべき領域が全てカバーされるように、矢印ａの方向に平行な直線沿いに矢印の方向に対して互いに相違する角度で、車両１上に設けられた設置台３に配置される（図１（ｂ）参照）。ビデオカメラ２−１〜２−６は、全て同一性能（例えば、型番号）を有し、非常に密度の高いデータを取得できるようにする。パーソナルコンピュータは、ビデオカメラ２−１〜２−６によってそれぞれ撮影された同一地点の画像を統合して、１枚の画像を形成する。
【００１５】
先ず、ビデオカメラによって撮影された画像を統合して１枚の画像を形成する手法を、図２を参照して説明する。なお、図２において、説明の簡単のために、車両１１に３台のビデオカメラ１２−１〜１２〜３を配置した場合について説明する。
【００１６】
図２（ａ）に示すように、時間Ｔ１において、車両１１の先頭のビデオカメラ１２−１は、所定の地点に存在し、撮影を行う。車両１１は走行しているので、時間Ｔ２において、車両１１は図２（ｂ）に示すような位置まで進行する。この際、車両１１の中央のビデオカメラ１２−２は、時間Ｔ１において先頭のビデオカメラ１２−１が存在した地点と同一の地点に存在し、撮影を行う。同様に、時間Ｔ３において、車両１１は図２（ｃ）に示すような位置まで進行し、この際、車両１１の最後尾のビデオカメラ１２−３は、時間Ｔ１において先頭のビデオカメラ１２−１が存在した地点と同一の地点に存在し、撮影を行う。
【００１７】
このように、ビデオカメラ１２−１〜１２−３の撮影時間を時間Ｔ１〜Ｔ３の間でずらすことによって、複数のビデオカメラ１２−１〜１２−３が存在する場合でも、同一位置で周囲の環境を撮影したような画像を取得することができる。また、このように取得した画像は、撮影位置が同一であるため、ビデオカメラ１２−１〜１２−３の向きに関係なく光学中心が一致する。したがって、これらの画像を用いることによって、複数のビデオカメラ１２−１〜１２−３を用いてもこれらの光学中心が一致し、その結果、これらビデオカメラ１２−１〜１２−３で撮影された画像を統合しても、奥行き情報などの形状の情報（補正）なしで、大規模な環境の１枚の画像を、ほとんど歪なく取得することができる。
【００１８】
ビデオカメラ１２−１〜１２−３の各々は、所定のデータとしての時間Ｔ１〜Ｔ３と同期をとりながら撮影を行うが、これら時間Ｔｎ（ｎ＝１，２，３）を、ＧＰＳ(global positioning system)、ジャイロセンサ及び車速センサのうちの少なくとも一つを用いて取得することができるが、これらを用いることなく時間Ｔｎを取得することもできる。
【００１９】
等速直線運動をしているビデオカメラによって進行方向に対して垂直な方向を撮影した画像から、ＥＰＩと称される画像を形成することができる。ＥＰＩ上では、特徴点が直線パターンとして検出される。したがって、複数のビデオカメラからＥＰＩをそれぞれ生成し、そのＥＰＩ間の直線パターンをマッチングすることによって、時間Ｔｎを取得することができる。複数のビデオカメラからのＥＰＩを生成し、そのＥＰＩ間の直線パターンをマッチングする手法について、図３を用いて詳細に説明する。
【００２０】
この場合、図３（ａ）に示すように、時間Ｔ１１において、前方のビデオカメラ２１−１が位置ｘ２において撮影を行うとともに、後方のビデオカメラ２１−２が位置ｘ１において撮影を行い、時間Ｔ１２において、前方のビデオカメラ２１−１が位置ｘ３において撮影を行うとともに、後方のビデオカメラ２１−２が位置ｘ２において撮影を行う。なお、車両２２の進行方向ｘに対して、距離ｄｏだけ離間した位置に建物のようなオブジェクト２３が存在し、距離ｄｉだけ離間した位置に像平面２４が形成される。
【００２１】
簡単のために、ビデオカメラ２１−１，２１−２によって撮影された画像の同期がとれているものと仮定すると、ビデオカメラ２１−１，２１−２によって撮影されたＥＰＩは、同一画像平面２４上において、図３（ｂ）に示すようになる。それぞれのＥＰＩが円滑に重なり合うよう右側のＥＰＩを横方向にｕ１だけ動かすと、図３（ｃ）に示すようになる。しかしながら、この場合、ビデオカメラ２１−１，２１−２の光学中心が一致していないので、奥行きの違う建物などが存在すると、ＥＰＩ上のパターン全てを円滑に重ね合わせることができない。したがって、図３（ｄ）に示すように、ＥＰＩを縦方向及び横方向にそれぞれｚ及びｕ２だけ動かすことによって、ビデオカメラ２１−１，２１−２の光学中心を正確に一致させることができ、ＥＰＩを滑らかに重ね合わせることができる。なお、この場合、ビデオカメラ２１−１，２１−２の同期を予めとっておく必要がない。
【００２２】
図３を用いて説明した手法では、車両２２が等速直線運動をしている場合を仮定しているが、車両２２が等速直線運動しない場合であっても、車両２２の速度変化や進行方向の変化が緩やかであるので、簡単な速度センサ、ＧＰＳ又はジャイロセンサを用いて補正することもできる。また、車両２２の速度を、画像処理によって比較的安定に推定することもできる。
【００２３】
車両が街を自由に走行し、図３を用いて説明した手法を用いることによって取得した画像は、図４（ａ）〜４（ｆ）に示すようになり、これらの画像を統合することによって、図４（ｇ）に示すような大規模な環境の画像を、ほとんど歪みなく簡単に形成することができる。
【００２４】
さらに、本発明による画像生成装置及び方法に対して、ＩＢＲに基づく画像生成手法を適用することもでき、これによって、車両が大規模な仮想環境内を自由に動き回るシステムを構築することができる。図５は、ＩＢＲに基づく画像生成手法を、本発明による画像生成装置及び方法に適用した場合を説明するための図である。図５において、図５（ａ）〜（ｃ）は、仮想視点Ａ〜Ｃから生成した画像を示し、図５（ｄ）は、撮影経路と仮想視点Ａ〜Ｃとの位置関係を示す図であり、図５（ｅ）は、実際に撮影した画像を示し、図５（ｆ）は、３台のビデオカメラで撮影した画像を示す。
【００２５】
図５（ａ）〜５（ｄ）に示すように、視点がＡからＣに近づくに従って、窓３１が建物３２に隠れたり、建物３２と街路樹３３との位置関係が変化したりして、視差が正確に描写されていることが確認できる。また、ＩＢＲに本発明による画像統合を適用しない場合には、図５（ｆ）に示すように、描写されない部分が生じるが、ＩＢＲに本発明による画像統合を適用した場合、図５（ｆ）に示すような描写されない部分が生じない。
【００２６】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態において、車両を、レール上を車輪によって移動するものについて説明したが、モノレール上を移動するリニアモータによって移動するものや、道路上を車輪によって移動するもの等、任意の種類の車両とすることができ、無線操縦等の任意の駆動方法によって駆動することができる。
【００２７】
また、ビデオカメラの個数を、撮影すべき領域が全て含まれるように任意の個数とすることができ、ビデオカメラの性能が互いに相違するようにしてもよい。上記実施の形態では、ビデオカメラを用いたが、静止画像を撮影するカメラを用いることもできる。
【００２８】
上記実施の形態では、カメラの設置台を設けた場合について説明したが、カメラを車両に直接設けることもできる。さらに、パーソナルコンピュータを、車両の外部に設けることもでき，画像間の直線パターンのマッチングを、ＥＰＩ以外の画像について適用することもでき、コーナのような所定の特徴のあるパターンのマッチングを画像間で行うこともできる。
【図面の簡単な説明】
【図１】  本発明による画像生成装置の実施の形態及びその一部を示す図である。
【図２】  本発明による画像生成装置の実施の形態を説明するための図である。
【図３】  複数のビデオカメラからのＥＰＩを生成し、そのＥＰＩ間の直線パターンをマッチングする手法を説明するための図である。
【図４】  図３に示す手法を用いて得られた撮影画像及びこれらを統合した画像を示す図ある。
【図５】  ＩＢＲに基づく画像生成手法を、本発明による画像生成装置及び方法に適用した場合を説明するための図である。
【符号の説明】
１，１１，２２  車両
２−１，２−２，２−３，２−４，２−５，２−６，１２−１，１２−２，１２−３，２１−１，２１−２  ビデオカメラ
３  設置台
２３  オブジェクト
２４  像平面
Ａ，Ｂ，Ｃ  視点
ａ  矢印
Ｔ１，Ｔ２，Ｔ３，Ｔ１１，Ｔ１２  時間
ｘ  進行方向
【図１】
0003728508.tif 000003
【図２】
0003728508.tif 000004
【図３】
0003728508.tif 000005
【図４】
0003728508.tif 000006
【図５】
0003728508.tif 000007