(57)【特許請求の範囲】
【請求項１】
複数の個々の画像からモザイク画像を作成するためのシステムであって、該システムは、
１つの画像の中に、その画像内の垂直アンカー上の２つのポイント、および少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイントに関連する四辺形領域を画定するように構成された、四辺形領域画定モジュールと、
該四辺形領域を矩形領域に変形させるように構成された変形モジュールと、
前記モザイク画像に前記四辺形領域をモザイキングするように構成されたモザイキングモジュールと、を備え、
前記四辺形領域画定モジュールは、
前記１つの画像内の垂直アンカーの上２つのポイントを識別するように構成された第１垂直アンカーポイント識別モジュールと、
前記少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像へマッピングされた前記１つの画像内の２つのポイントを識別するように構成された第２垂直アンカーポイント識別モジュールと、
前記少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像へマッピングされた前記１つの画像内の２つのポイントの間の線分を決定するように構成された第１線分決定モジュールと、および、
該第１線分により画定された線に沿って第２線分を決定するように構成された第２線分決定モジュールであって、該第２線分は、その線分の長さが前記第１線分の長さと一致し、かつ、前記第２線分の中心点が該１つの画像の垂直方向の中心線と交わるような前記第２線分決定モジュールと、を含み、
前記四辺形領域は、前記１つの画像内の垂直アンカー上の２つのポイントおよび前記第２線分のエンドポイントに対応することを特徴とする、複数の個々の画像からモザイク画像を作成するためのシステム。
【請求項２】
前記他の画像のために作成された矩形領域のためのモザイキング工程で使用するためのオフセット値を生成するように構成された垂直オフセット値生成モジュールを更に含むことを特徴とする、請求項１に記載のシステム。
【請求項３】
複数の個々の画像からモザイク画像を作成するためのシステムであって、該システムは、
１つの画像の中に、その画像内の垂直アンカー上の２つのポイント、および少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイントに関連する四辺形領域を画定するように構成された、四辺形領域画定モジュールと、
該四辺形領域を矩形領域に変形させるように構成された変形モジュールと、
前記モザイク画像に前記四辺形領域をモザイキングするように構成されたモザイキングモジュールと、を備え、
前記四辺形領域画定モジュールは、前記垂直アンカーの両側に２つの前記四辺形領域を画定するように構成され、これらの前記四辺形領域の各々は、少なくとも２つの他の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像にマッピングされたポイントに関連しており、さらに、
左側の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像にマッピングされたポイント、および前記１つの画像の中心と、前記左側画像の中心が該１つの画像にマッピングされたものと、の間の垂直オフセットに関連して垂直にシフトさせた前記１つの画像内の前記垂直アンカー上の２つのポイント、に関連して左側四辺形領域を画定するように構成されることを特徴とする、複数の個々の画像からモザイク画像を作成するためのシステム。
【請求項４】
前記四辺形領域画定モジュールは、
左側の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイント、および
前記１つの画像内の垂直アンカー上の前記２つのポイント、に関連して、右側四辺形領域を画定するように構成されることを特徴とする、請求項３記載のシステム。
【請求項５】
複数の個々の画像からモザイク画像を作成するための方法であって、該方法は、
１つの画像の中に、四辺形領域が、前記１つの画像内の垂直アンカー上の２つのポイント、および少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイントに関連して画定される、四辺形領域画定工程と、
該四辺形領域を矩形領域に変形させる変形工程と、および、
前記モザイク画像に前記四辺形領域をモザイキングするモザイキング工程と、を含み、
前記四辺形領域画定工程は
前記１つの画像内の前記垂直アンカー上の２つのポイントを識別する工程と、
前記少なくとも１つの他の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像へマッピングされた前記１つの画像内の２つのポイントを識別する工程と、
前記少なくとも１つの他の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像へマッピングされた前記１つの画像内の２つのポイントの間の線分を決定する工程と、
該第１線分により画定された線に沿って第２線分を決定する工程であって、該第２線分は、その線分の長さが前記第１線分の長さと一致し、かつ、前記第２線分の中心点が該１つの画像の垂直方向の中心線と交わるような第２線分決定工程と、を含み、
前記四辺形領域は、前記１つの画像内の前記垂直アンカー上の２つのポイントおよび前記第２線分のエンドポイントに対応することを特徴とする、複数の個々の画像からモザイク画像を作成するための方法。
【請求項６】
前記他の画像のために作成された矩形領域のためのモザイキング工程で使用するためのオフセット値を生成するためのオフセット値作生成工程を更に含むことを特徴とする、請求項５記載の方法。
【請求項７】
複数の個々の画像からモザイク画像を作成するための方法であって、該方法は、
１つの画像の中に、四辺形領域が、前記１つの画像内の垂直アンカー上の２つのポイント、および少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイントに関連して画定される、四辺形領域画定工程と、
該四辺形領域を矩形領域に変形させる変形工程と、
前記モザイク画像に前記四辺形領域をモザイキングするモザイキング工程と、を含み、
前記四辺形領域画定工程は、前記垂直アンカーの両側に２つの四辺形領域を画定する工程を含み、これらの前記四辺形領域の各々は、少なくとも２つの他の画像内の垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイントに関連しているとともに、
前記２つの四辺形領域を画定する工程は、
左側の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイント、および
前記１つの画像の中心と前記左側画像の中心の前記１つの画像内へのマッピングとの間の垂直オフセットに関連して垂直方向にシフトされた、前記１つの画像内の前記垂直アンカー上の２つのポイント、に関連して左側四辺形領域が画定される、左側四辺形領域画定工程を含むことを特徴とする、複数の個々の画像からモザイク画像を作成するための方法。
【請求項８】
前記２つの四辺形領域を画定する工程は、左側の画像内の前記垂直アンカー上の２つのポイントが前記１つの画像内にマッピングされたポイント、および前記１つの画像内の前記垂直アンカー上の前記２つのポイント、に関連して右側四辺形領域を画定する右側四辺形領域画定工程を含むことを特徴とする、請求項７記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般にはモザイク画像を作成する分野、より詳細には移動カメラにより記録された一連の画像からの修正モザイク画像の作成に関する。
【０００２】
【従来の技術】
画像のモザイキングでは、まず１つのシーンの複数のオーバーラップする画像がカメラにより記録される。これらの画像がオーバーラップする領域の情報を用いて、例えば、その他の方法で可能な視野よりも広い視野のシーンを有する１つの画像が作成される。一般的に、モザイク画像は、固定光軸を中心に回転するカメラにより記録される複数の個々の画像に関連して作成される。そのようなモザイク画像は光軸を中心としたパノラマ光景を提供する。更に、モザイク画像は、例えば、シーンに対して平行に移動する航空カメラ等により記録された画像から作成され、その光軸はシーンおよびカメラの移動方向に対して垂直である。
【０００３】
【発明が解決しようとする課題】
しかし、光軸が移動するカメラ、つまり特定の経路に沿って移動しおよび／またはある軸を中心として回転するカメラにより記録された画像から作成されるモザイク画像に関連して、特に、シーンの異なる部分がカメラから異なる距離に位置している場合に、問題が生じる。シーンの異なる部分がカメラから異なる距離に位置している場合に、これらの異なる部分は、画像毎に異なる速度で移動すると思われる。即ち、カメラが１つの画像が記録される位置から次の画像が記録される位置に移動するときに、そのシーンの中でカメラの近くにあるオブジェクトは、カメラからさらに遠くにあるオブジェクトよりも画像中で大きく動く。同様に、カメラが、１つの画像が記録される１つの角度方向から、もう１つの画像が記録されるもう１つの角度方向へ回転するときに、そのシーンの中でその視察方向が回転軸に対してより大きい角度をなすオブジェクトは、そのシーンの中でその視察方向が回転軸に対してより小さい角度をなすオブジェクトよりも画像の中で大きく動く。どちらの場合も、画像がモザイキングされるとき、対応するポイントが連続画像の中に配置されてそれらの間にモザイクを形成するように画像が位置合わせされる場合、画像は互いに対して不正確な角度でモザイキングされるため、カーブしたモザイク画像となる。
【０００４】
他の問題は、例えば、カメラの視察方向が移動方向に対してほぼ垂直方向に向けられず、これに対して傾けられているときに発生する。この場合、例えば、カメラが右に動き、カメラがある程度移動方向に向けられていると仮定すると、見える所にあるオブジェクトにカメラが近づくときに、画像内容は一般にフレーム毎に拡張する。第２画像が、対応するポイントが第１画像と整合（match）するように変形される場合に、第２画像のサイズが縮むため、モザイクは左から右に向かって先細りした形になる。同様に、カメラが移動方向から後方に向けられる場合に、画像の内容は一般にフレーム毎に縮小する。第２画像が、対応するポイントが第１画像と整合するように変形される場合に、第２画像のサイズは大きくなるので、モザイクの寸法は左から右に向かって増大する。
【０００５】
【課題を解決するための手段】
本発明は、移動カメラにより記録された一連の画像から修正モザイク画像を作成するための新しく改良されたシステムおよび方法を提供する。
【０００６】
簡単に要約すると、１つの態様において、本発明は、複数の個々の画像から修正されたモザイク画像を作成するためのシステムを提供する。このシステムは、四辺形領域画定モジュール、変形モジュールおよびモザイキングモジュールを含む。四辺形領域画定モジュールは、１つの画像の中に、その画像内の垂直アンカー上の２つのポイント、および少なくとも１つの他の画像内の垂直アンカー上の２つのポイントが該１つの画像内にマッピングされたポイントに関連する四辺形領域を画定するように構成される。変形モジュールは、該四辺形領域を矩形領域に変形させるように構成される。モザイキングモジュールは、該四辺形領域をモザイク画像にモザイキングするように構成される。
【０００７】
もう１つの態様において、本発明は、複数のパノラマ画像からモザイクを作成するためのシステムを提供する。このシステムは、移動量決定モジュール、正規化モジュール、ストリップ選択モジュールおよびモザイキングモジュールを含む。移動量決定モジュールは、２つのパノラマ画像間の画像移動量を決定するように構成される。正規化モジュールは、選択されたカラムの画像移動量に対するパノラマ画像の画像移動量の比率に関連してそのパノラマ画像内の各カラムを正規化することによって、正規化されたパノラマ画像を作成するように、構成される。ストリップ選択モジュールは、正規化されたパノラマ画像のストリップを選択するように構成される。モザイキングモジュールは、選択したストリップをモザイキングにより貼り付けるように構成される。
【０００８】
本発明は、特許請求の範囲においてその特徴が示される。本発明の上記および下記の利点は、添付の図面に関連して以下の説明を参照することにより更に理解を深めることができる。
【０００９】
【発明の実施の形態】
図１は、本発明により構成された移動カメラにより記録された一連の画像からモザイク画像を作成するためのシステム１０を示す概略図である。図１を参照すると、システム１０は装置１２に搭載されたカメラ１１を含む。カメラ１１は、フィルム、電荷結合素子（CCD）等の電子媒体、または画像記録が可能な他のすべての媒体等を含む任意のタイプの記録媒体に画像を記録するためのいかなるタイプのカメラでもよい。装置１２は、シーン１３の画像の記録を容易にするために、カメラ１１のシーン１３へのポインティングを容易にする。装置１２は、カメラ１１を移動するために構成された移動制御部１４を含む。カメラ１１の移動時に、該移動制御部はカメラ１１を移動させたり、その軸の周りで回転させたり、または、これらの動作を組合わせることができる。１つの実施形態では、移動制御部１４は、カメラ１１を経路１６に沿って移動させることができ、移動中にカメラを回転させることができると仮定される。カメラ１１は、移動している間、経路１６に沿う一連の連続的位置からシーン１３の画像２０（１）、…、２０（Ｉ）（参照符号２０（ｉ）で一般的に示す）を記録することができる。連続的位置で記録された個々の画像は、図２に関して概して記載するように、単一のモザイク画像へと処理するための画像処理装置１７に提供される。好適には、連続画像２０（ｉ）はオーバーラップし、これにより下記記載のようにモザイク画像の作成が容易となる。
【００１０】
上記のように、画像処理装置１７は単一モザイク画像を作成するために、一連の個々の画像を処理する。この動作に関して画像処理装置１７により実行される作業を図２に関して一般に記載する。図２を参照すると、画像処理装置１７は、初めに２つ以上の画像２０（ｉ）を受け取る。その後、画像処理装置１７は、例えば、画像２０（１）および２０（２）の２つの個々の画像を処理して、各画像２０（１）および２０（２）の概ね右側および左側のそのシーンのオーバーラップ部分２１（１）および２１（２）をそれぞれ探し出し、画像２０（１）および２０（２）を位置合わせするために、それらの対応するオーバーラップ部分２１（１）および２１（２）を使用する。位置合わせすると、画像２０（１）および２０（２）の中にオーバーラップ部分２１（１）および２１（２）を画定することができ、これらを組合わせてモザイク画像２２の一部を形成することができる。その後、そのシリーズの中の次画像２０（３）ならびに画像２０（１）および２０（２）を使用して作成されたモザイク画像２２の一部に関して同様の作業を行い、該モザイク画像２２を更に拡張する。これらの作業は、画像２０（ｉ）のすべてが使用されてそのモザイクが作成されるまで、残りの画像２０（４）以降に関して実行することができる。
【００１１】
上記のように、モザイク画像２２の作成に関して、いくつかの問題が発生する。図３(Ａ)〜図３(Ｄ)に関して１つのこのような問題を説明する。上記のとおり、画像処理装置１７は、２つの連続する個々の画像２０（１）および２０（２）または、個々の画像２０（ｉ）（ｉ＞２）および先に作成されたモザイク画像２２をモザイキングにより貼り付ける際に、それぞれの画像２０（１）および２０（２）を位置合わせするためにオーバーラップ部分を使用する。個々の画像を位置合わせするために使用される特徴が均一な画像移動量を持たない場合に、図３(Ａ)〜図３(Ｄ)に関して説明された問題が発生する。この問題は、例えば、カメラ１１に対して傾斜する平面、例えば、該平面はカメラ移動に沿う経路１６に平行であるが、該平面の下部はカメラ１１に近く且つ該平面の上部はカメラ１１から遠くになるように傾斜している平面に関して説明することができる。モザイク画像が作成される時に、連続的な個々の画像を位置合わせするための情報を提供するために、該平面は一連の等距離の垂直線で提供される。
【００１２】
この場合、各々の個々の画像は、図３(Ａ)に示す画像３０（ｉ）として現れ、垂直線は傾斜線３１（１）〜３１（Ｓ）（参照符号３０（ｓ）で一般に示す）として現れる。画像３０（ｉ）の下部は該平面のうちカメラ１１に近い部分のものであり、および画像３０（ｉ）の上部は該平面のうちカメラ１１から遠い部分であるため、該平面上の垂直線は、傾斜線３１（ｓ）として記録される。平面の傾斜による遠近感により、画像３０（ｉ）の中心から左側の線は右方向に傾斜し、画像３０（ｉ）の中心から右側の線は左方向に傾斜している。画像３０（ｉ）、３０（ｉ＋１）が記録される経路１６沿いの位置間の距離は、その画像の中に記録されたシーンの一部を、例えば、画像３０（ｉ＋１）中の傾斜線３１（Ｓ−１）が画像３０（ｉ）中の傾斜線３１（２）に対応するように重ね合わせることができる。言い換えると、画像３０（ｉ）から３０（ｉ＋１）までの連続する画像内の画像移動量またはオブジェクトの移動量が、画像３０（ｉ）内の線３１（Ｓ−１）が画像３０（ｉ−１）内の線３１（２）に対応するようなものである。
【００１３】
従来、上記のように、モザイク画像３４が上記のように画像３０（ｉ）を使用して作成される際に、図３(Ｂ)に示すように、連続画像３０（ｉ）からのストリップ３３（ｉ）が使用される。画像３０（ｉ）内の線３１（Ｓ−１）はその次の画像３０（ｉ＋１）内の線３１（２）に対応するので、従来どおり、各画像３０（ｉ）内において、モザイクで使用するための画像３０（ｉ）から得たストリップ３３（ｉ）は、画像３０（ｉ）内の線３１（２）および３１（Ｓ−１）によって画定され得る。従って、２つの画像３０（ｉ）および３０（ｉ＋１）から得たストリップ３３（ｉ）および３３（ｉ＋１）は、図３(Ｂ)に示すように、モザイクを形成するために位置合わせされる際に、結果として、モザイクはカーブ状となる。カーブ強度は、回転カメラの場合は視察方向と回転軸との間の角度の関数、移動カメラの場合は平面がカメラ１１の画像平面に対して傾斜する角度の関数である。
【００１４】
より詳細を下記に説明すると、図３(Ａ)および図３(Ｂ)に関する上記の問題は、連続する矩形ストリップ３５（ｉ）を提供するために図３(Ｃ)に示すストリップ３３（ｉ）を修正することにより修正することができ、これらを図３(Ｄ)に示すように、モザイキングにより貼り付けて修正モザイク画像３６を提供することができる。一般的に、カメラ１１の画像平面に対する平面の向きは未知であるが、この向きから生じる歪み量は、もしあったとしても、オプティカル・フローつまり連続画像間としての各垂直線の位置および配置の変化から決定することができる。歪み量が決定された後、画像処理装置１７はモザイクに統合する前に、歪みを修正するために各々の個々の画像を処理することができる。
【００１５】
もう１つの問題を図４(Ａ)〜図４(Ｄ)に関して説明する。図４に関して説明する状態では、カメラ１１は垂直平面に平行に左から右に動いており、前方に傾斜、つまり、該平面に対して右に傾斜している。この場合、該平面には、垂直および水平に通る線が提供されており、カメラは右方向を向くように平面に対して傾斜している。従って、図４(Ａ)に関しては、カメラによって記録された画像５０（ｉ）、垂直線５１（１）、５１（２）、…は垂直なままであるが、画像５０（ｉ）の水平線中心より上の水平線５２（１）、５２（２）、…は、左から右に向かって下方向に傾斜し、一方、画像５０（ｉ）の水平線中心より下の水平線５２（Ｈ）、５２（Ｈ−１）、…は、左から右に向かって上方向に傾斜する。画像３０（ｉ）（図３(Ａ)）に関するケースと同じように、画像５０（ｉ）内の線５１（Ｓ−１）は画像５１（ｉ＋１）内の線５１（２）に対応する。このように、画像５０（ｉ）からストリップ５３（ｉ）をモザイキングする場合、ストリップは、左側と右側の垂直線５１（２）および５１（Ｓ−１）によって、ならびに、例えば、各画像５０（ｉ）、５０（ｉ＋１）…においては、一番上と一番下の線５２（１）および５２（Ｈ）等により画定することができる。画像５０（ｉ＋１）のストリップ５３（ｉ＋１）をその前の画像５０（ｉ）のストリップ５３（ｉ）の右端に合わせる場合に、ストリップ５３（ｉ）の右端に沿った各水平線５２（１）、５２（２）、…、５２（Ｈ−１）、５２（Ｈ）がストリップ５３（ｉ＋１）の左端に沿った同じ線５２（１）、５２（２）、…、５２（Ｈ−１）、５２（Ｈ）に合わさるように、ストリップ５３（ｉ＋１）が変形されることを理解されたい。従って、連続するストリップから形成されたモザイク画像５４は、左から右へ先細りした形になる。図４(Ｃ)に示すように、画像処理装置１７は、矩形ストリップ５５（ｉ）、５５（ｉ＋１）を形成するために各ストリップ５３（ｉ）、５３（ｉ＋１）、…を修正することでこの歪みを修正する。この修正は、線５２（１）、５２（２）、…、５２（Ｈ−１）、５２（Ｈ）を水平方向に戻し、およびモザイク画像５６を形成するために矩形ストリップをモザイキングにより貼り付けるものである（図４(Ｄ)）。
【００１６】
第３の問題は、概して、図３(Ａ)〜図３(Ｄ)および図４(Ａ)〜図４(Ｄ)に関する上記記載の問題の組合せであり、図５(Ａ)〜図５(Ｄ)に関して説明される。図５(Ａ)〜図５(Ｄ)に関して説明する問題においては、シーンを含む平面およびそのシーンの画像を記録するカメラ１１の両方が傾斜している場合がある。図４(Ａ)〜４Ｄに関する上記記載の平面と同様に、この場合において、平面は複数の垂直線と水平線を含む。この場合、図５(Ａ)に示すように、カメラにより記録された各画像６０（ｉ）は、垂直線６１（１）、…、６１（Ｖ）（参照符号６１（ｖ）で一般に示す）により包摂（subsum）される、（図３(Ａ)〜図３(Ｄ)に関する上記記載の例の場合と同様に）底部から頂部に向かって垂直方向に先細りしている領域、および、水平線６２（１）、…、６２（Ｈ）（参照符号６２（ｈ）により一般に示す）により包摂される、左から右に向かって水平方向に先細りしている領域を有する。画像処理装置１７が、連続画像６０（ｉ）、６０（ｉ＋１）…からストリップをモザイキングする時に、連続画像６０（ｉ）、６０（ｉ＋１）…間のようなカメラ１１の移動量が、画像６０（ｉ）内の垂直線６１（Ｖ−１）がそのシーン１２内の同じ線（画像６０（ｉ＋１）内の線６１（２）等）に対応するようなものであるならば、画像処理装置は、垂直線６１（１）と６１（２）および水平線６２（１）と６２（Ｈ）により縁取られた各画像の領域をストリップとして選択することができる。この場合、モザイク画像６４のためのストリップ６３（ｉ）（図５(Ｂ)参照）を画像６０（ｉ）から得るならば、画像６０（ｉ＋１）からのストリップ６３（ｉ＋１）は、その左端の長さがストリップ６３（ｉ）の右端の長さに対応するように変形されるので、モザイク画像６４内でストリップ６３（ｉ＋１）はストリップ６３（ｉ）よりも比例して小さく、また違う角度に配置される。後続する各ストリップ６３（ｉ＋２）、…、もまた、その前のストリップ６３（ｉ＋１）、…、よりも比例して小さくなり、またこれに対応する角度に配置されるので、得られるモザイク画像６４は、左から右へ向かうにつれカーブし、かつ先細りされた形となる。画像処理装置１７は、モザイク画像６５にストリップをモザイキングする（図５(Ｄ)参照）前に、各ストリップ６３（ｉ）を水平方向および垂直方向に修正することによりこの歪みを修正して矩形ストリップ６４（ｉ）を形成する（図５(Ｃ)参照）ことができる。
【００１７】
画像処理装置１７が一般的に連続画像の見かけ移動量からの情報を使って歪みを修正する方法の詳細を、図６〜図８に関して示す。一般的に、上記から明白であるように、モザイク画像７１内の各ストリップ…、７０（ｉ−１）、７０（ｉ）、７０（ｉ＋１）、…は、カメラ１１により記録された連続画像…、７３（ｉ−１）、７３（ｉ）、７３（ｉ＋１）、…内の各ストリップ…、７２（ｉ−１）、７２（ｉ）、７２（ｉ＋１）、…から得られる。修正のために使用される変換を完全に定義するため、画像処理装置１７は、モザイク画像７１内の各ストリップ７０（ｉ）の境界、各ストリップ７２（ｉ）を構成する各画像７３（ｉ）内の領域の境界、およびストリップ７２（ｉ）からストリップ７０（ｉ）へのマッピング変換を定義する必要がある。これを遂行するために、連続するペア画像７３（ｉ−１）と７３（ｉ）、および７３（ｉ）と７３（ｉ＋１）の間の画像移動量が決定される。一般的に、画像７３（ｉ）に対し、画像処理装置１７は以下の３つの条件を満たすためのストリップ７２（ｉ）を構成する領域を画定する、すなわち：
（ｉ）この領域の１つの境界７４（ｉ）（１）は、その前の画像７３（ｉ−１）内のストリップ７２（ｉ−１）を構成することになる画像７３（ｉ−１）の領域の境界７４（ｉ−１）に整合しなければならない。この境界７４（ｉ−１）は、モザイク画像７１内のストリップ７０（ｉ−１）と７０（ｉ）との間の境界７５（ｉ−１）にマッピングしたものである；
（ｉｉ）７２（ｉ）を構成することになる領域の境界７４（ｉ）（２）は、モザイク画像７１内のストリップ７０（ｉ）と７０（ｉ＋１）との間の境界７５（ｉ）にマッピングされているものであり、２つの境界の７４（ｉ）（１）と７４（ｉ）（２）との間の距離が各境界位置の画像移動量に比例するように選択されること。；これにより、モザイク画像７１が曲がりのない直線で構成されるようにする。
（ｉｉｉ）ストリップ７２（ｉ）を構成することになるモザイク画像７３（ｉ）の領域の上側と下側の境界７６（ｉ）と７７（ｉ）は、画像７３（ｉ）の中心の垂直カラム、例えば画像７３（ｉ）内のある垂直カラムの上端と下端を通過しなければいけない；これにより、ストリップ７０（ｉ）がモザイク画像７１で膨張したり収縮したりするのを防ぐ。
【００１８】
モザイク７１内の矩形ストリップ…、７０（ｉ−１）、７０（ｉ）、７０（ｉ＋１）、…は、均一な高さのモザイク画像７１を提供するため、およびモザイク画像７１が垂直方向に伸縮することを防止するために、同一の高さを有する。しかし、モザイク画像７１内のストリップ７０（ｉ）の垂直位置は、カメラ１１の垂直移動または傾斜によって変化する。ストリップ７０（ｉ）の幅は、画像から画像へのシーン１２の移動量により決まる。
【００１９】
平面を含むシーンを記録した画像、または、傾斜した回転カメラにより記録された画像の場合、モザイク画像７１の作成に使用されるストリップ７０（ｉ）を作成する際に１つの実施形態において画像処理装置１７により実行される作業を、図７および図８のフローチャートに関して説明する。概して、図７および図８に関して説明する実施形態で、画像処理装置１７は、垂直アンカーの片側に画定された該ストリップを得る。垂直アンカーとは、画像内のストリップをモザイク内のストリップに変形する変換において不変である画像内の垂直特徴である。アンカーを不変のまま維持する変換だけが、画像内のストリップをモザイク内のストリップに変形するために考慮される。垂直アンカーは、画像７３（ｉ）のあらゆる場所、例として、中央、左側境界、または他のカラムにあってもよい。図７および図８に関して記載する実施形態では、垂直アンカーは画像７３（ｉ）の左側境界に選択され、この垂直アンカーは、ストリップ７０（ｉ）の左側境界も形成する。ストリップが垂直アンカーの両側に画定されている他の実施形態を図９および図１０に関して以下に記載する。
【００２０】
図７および図８に関して、最初に画像処理装置１７は画像７３（ｉ）の中の垂直アンカーを位置付けし（ステップ１００）、該アンカーが画像７３（ｉ）の上側および下側の境界と交わるポイントＰｋおよびＱｋ（指数“ｋ”は指数“ｉ”と同値である）を識別する（ステップ１０１）。また、画像７３（ｉ＋１）と画像７３（ｉ）との間のホモグラフィーＨｋ−１を使用して、画像処理装置は、画像７３（ｉ＋１）の中のポイントＰｋ＋１およびＱｋ＋１をそれぞれポイントＰ〜ｋおよびＱ〜ｋとして画像７３（ｉ）にマッピングする（ステップ１０２）。ポイントＰｋ＋１およびＱｋ＋１は、画像７３（ｉ＋１）内のアンカー即ち画像７３（ｉ）の左側境界が画像７３（ｉ＋１）の上辺および底辺と交わるポイント、つまり、Ｐ〜ｋ＝Ｈｋ−１（Ｐｋ＋１）およびＱ〜ｋ＝Ｈｋ−１（Ｑｋ＋１）であることが分かるであろう。
【００２１】
画像処理装置１７は、ポイントＰ〜ｋおよびＱ〜ｋを位置付けした後、それらを通過する線Ｌｋを識別し（ステップ１０３）、そして、該線上のポイント間の距離がポイントＰ〜ｋとＱ〜ｋとの間の距離と同じであり、二点を結んだ線分Ｌｋの画像の垂直方向の中心線と交わるような、線Ｌｋに沿う２つのポイントＰ’ｋおよびＱ’ｋを識別する（ステップ１０４）。画像処理装置は、ポイントＰ’ｋ、Ｑ’ｋ、ＱｋおよびＰｋにより画定される四辺形のストリップ７２（ｉ）として使用されるべき画像７３（ｉ）内の領域を決定し（ステップ１０５）、該ストリップを、それらのポイント座標のなめらかな（例えば、双線形の）補間を用いて矩形に変形することにより、ストリップ７０（ｉ）を生成する（ステップ１０６）。補間を用いるということは実際の変換を良く分からないまま近似するということではあるが、ストリップ７２（ｉ）が比較的狭い場合には、近似で十分である。その後、画像処理装置１７はストリップ７０（ｉ）を、（もしあれば）先に作成されたモザイク画像７１にモザイキングすることができる。（ステップ１０７）。
【００２２】
更に、画像処理装置１７は次のストリップ７０（ｉ＋１）のために使用される垂直オフセットを決定する（ステップ１０８）。この作業では、画像処理装置は垂直オフセットを下記のように決定する。
【数１】
0004372382.tif 000002
ここで、‖Ａ−Ｂ‖は２つのポイントＡとＢとの間の距離を示し、“ｈ”は画像の高さを示す。
【００２３】
上記のように、垂直アンカーの両側にストリップが画定される第２の実施形態を図９および図１０に関して説明する。垂直アンカーは画像７３（ｉ）内の任意のカラムであって良い；レンズの歪みを減らすために、１つの実施形態では、中央のカラムに選択される。この実施形態では、画像処理装置は、中央カラムの両側にほぼ対称な２つの領域を識別し、この２つの領域はいずれも変形され、モザイク画像７１内に使用されるストリップ７０（ｉ）のそれぞれの部分を形成する。図９および図１０に関して、画像処理装置１７は、最初に画像７３（ｉ）の中の垂直アンカーを識別し（ステップ１２０）、該アンカーが画像７３（ｉ）の上側および下側の境界と交わるポイントＰｋおよびＱｋを識別する（ステップ１２１）。その後、画像処理装置１７は、“ｄ”の値、つまり画像７３（ｉ−１）の中心をなすポイントＯｋ−１及びＯｋ間の垂直オフセット、つまり画像７３内のポイントＯｋ−１の射影、つまり、Ｈｋ−１（Ｏｋ−１）（ここでＨｋ‐１は画像７３（ｉ−１）と画像７３（ｉ）との間のホモグラフィー）を決定し（ステップ１２２）、値“ｄ”に対応する量だけ垂直方向にシフトしたポイントＰｋおよびＱｋに対応する２つのポイントＰ’ｋおよびＱ’ｋを識別する（ステップ１２３）。画像処理装置１７は、画像７３（ｉ）と画像７３（ｉ＋１）との間でこれらの間のホモグラフィーＨｋを使用してステップ１２２および１２３と同様の作業を実行する（ステップ１２４）。
【００２４】
更に、画像処理装置１７は、ホモグラフィーＨｋ−１を使用してポイントＰｋ−１およびＱｋ−１を画像７３（ｉ）内にそれぞれポイントＨｋ−１（ＰＫ−１）およびＨｋ−１（Ｑｋ−１）としてマッピングし（ステップ１２５）、ホモグラフィーＨｋ−１を使用してポイントＰｋ＋１およびＱｋ＋１を画像７３（ｉ）に各々ポイントＨ−１ｋ（Ｐｋ＋１）およびＨ−１ｋ（Ｑｋ＋１）としてマッピングする（ステップ１２６）。ポイントＨｋ−１（Ｐｋ−１）、Ｐ’ｋ、Ｑ’ｋおよびＨｋ−１（Ｑｋ−１）は左側の四辺形領域８０（ｉ）（Ｌ）を画定し、ポイントＰｋ、Ｈ−１ｋ（Ｐｋ＋１）、Ｈ−１ｋ（Ｑｋ−１）およびＱｋは右側の四辺形領域８０（ｉ）（Ｒ）を画定し、これらの領域の各々の一部はモザイク画像７１の中で画像７３（ｉ）のためのストリップとして共に使用されるそれぞれの矩形部分７０（ｉ）（Ｌ）および７０（ｉ）（Ｒ）を作成するのに使用される。本来、モザイク画像７１の中の矩形領域８１（ｊ）に関連して、左側の四辺形領域８０（ｉ）（Ｌ）を、前の画像７３（ｉ−１）に関連する右側の四辺形領域８０（ｉ−１）（Ｒ）と共に使用するのが望ましい。同様に、モザイク画像７１の中の次の矩形領域８１（ｊ＋１）に関連して、右側の四辺形領域８０（ｉ）（Ｒ）を、次の画像７３（ｉ＋１）に関連する左側の四辺形領域８０（ｉ＋１）（Ｌ）と共に使用するのが望ましい。それぞれの矩形領域の大きさおよび形は、ある程度任意である。画像７３（ｉ−１）および画像７３（ｉ）は両方とも、矩形領域８１（ｊ）内で使用される画像の半分を提供するために使用されるので、左側の四辺形領域８０（ｉ）（Ｌ）を画定するポイントＨｋ−１（Ｐｋ−１）、Ｐ’ｋ、Ｑ’ｋおよびＨｋ−１（Ｑｋ−１）もまた、矩形領域８１（ｊ）の角を画定するポイントに関係すること、ならびに矩形領域８１（ｊ）の上側および下側の中心点にそれぞれ関係するポイントＡ１１およびＡ２１を探す必要があることを理解されたい。従って、ストリップ７０（ｉ）の右側部分に関連して使用される四辺形領域８０（ｉ）（Ｌ）の部分は、ポイントＡ１１、Ｐ’ｋ、Ｑ’ｋおよびＡ２１によって画定される四辺形領域８２（ｉ）である。同様に、右側の四辺形領域８０（ｉ）（Ｒ）を画定するポイントＰｋ、Ｈ−１ｋ（Ｐｋ＋１）、Ｈ−１ｋ（Ｑｋ−１）およびＱｋもまた、矩形領域８１（ｊ＋１）の角を画定するポイントに関係し、矩形領域８１（ｊ＋１）の上側および下側の中心点にそれぞれ関係するポイントＡ１２およびＡ２２を探す必要がある。従って、ストリップ７０（ｉ）の左部分に関連して使用される四辺形領域８０（ｉ）（Ｒ）の部分は、ポイントＰｋ、Ａ１２、Ａ２２およびＱｋにより画定される四辺形領域８３（ｉ）である。矩形領域８１（ｊ）および８１（ｊ＋１）はどちらもポイントＵＶＷＸにより画定され、ポイントＵおよびＶはそれぞれ左上角および右上角を画定し、ポイントＷおよびＸはそれぞれ右下角および左下角を画定する。この場合、左側の四辺形領域８０（ｉ）（Ｌ）と右側の四辺形領域８０（ｉ）（Ｒ）との関係は、それぞれのホモグラフィーＦＬおよびＦＲにより画定される。
【００２５】
従って、下記のステップ１２６で、画像処理装置１７はポイントＡ１１、Ａ２１、Ａ１２、およびＡ２２を以下の式として識別し（ステップ１２７）、
【数２】
0004372382.tif 000003
ポイントＡ１１、Ｐ’ｋ、Ｑ’ｋ、およびＡ２１により画定される四辺形領域の部分を矩形領域８１（ｊ）の右側部分に、およびポイントＡ１２、Ｐｋ、Ｑｋ、およびＡ２２により画定される四辺形領域の部分を矩形領域８１（ｊ＋１）の左側部分に、なめらかな（例えば、双線形の）補間により変形することによって、画像７３（ｉ）に関連するストリップ７０（ｉ）のそれぞれの各矩形部７０（ｉ）（Ｌ）および７０（ｉ）（Ｒ）を提供し、矩形部７０（ｉ）（Ｒ）はステップ１２２で決定された値“ｄ”だけ矩形部７０（ｉ）（Ｌ）から垂直方向にオフセットされる（ステップ１２８）。
【００２６】
図１〜図１０に関して記載した上記のシステム１０は、カメラ１１が特定の方向に画像を記録するものであった。本発明の更なる態様は、画像処理装置１７が、複数のパノラマ画像のモザイクを作成することもできるものである。一般的には、パノラマ画像は共通軸を中心に複数の角度方向から記録される複数の画像から作成されており、該複数の画像は、該軸の周りのシーンの１つのパノラマ画像を提供するようにモザイキングにより貼り付けされる。そのように作成されたパノラマ画像は、一般的には該軸を囲む３６０度の円、またはその大部分である。パノラマ画像の作成に使用される画像は、必要な複数の角度方向からの画像の記録を容易にするために該軸周辺を中心に回転する１つのカメラ、または、必要な角度方向に配置された複数のカメラによって記録されてもよい。またパノラマ画像は、非常に広角なレンズ、レンズとミラーの組合せ、または、当業者に自明であるような他のアレンジにより提供され得る非常に視野の広い１つのカメラにより得ることもできる。パノラマ画像は、円筒であってもよいし、または平らであってもよい。本発明のこの態様によると、画像は、該軸に沿った連続的位置で記録された複数のパノラマ画像の作成を容易にするように記録され、該パノラマ画像は、画像処理装置１７が軸の方向に沿ってこれらをモザイキングにより貼り付けることができるようにオーバーラップしている。
【００２７】
この態様について図１１(Ａ)〜図１２に関連してより詳しく説明する。図１１(Ａ)に関して、この図は左側壁面９１、右側壁面９２、路床９３および天井９４を有する鉄道トンネルを示す概略図である。左側壁面９１、右側壁面９２および路床９３は平面であり、天井９４はアーチ状である。列車（図示せず）がトンネルを縦断するのを容易にするために一対の軌道９５が路床上に配置されている。例えば、トンネルの長手方向に概ね平行に伸びる共通軸９７の周りに配置された複数の個々のカメラで構成されるパノラマカメラ９６は、複数の角度方向から該軸に沿って画像を記録する。カメラ９６は、軸９７に沿った一連のパノラマ画像を作成する際の元となる画像の記録を容易にするように軸９７に沿って移動し、該一連の画像は図１１に関連して下記に記載するように処理され、処理されたパノラマ画像１００（１）、１００（２）、…は１つのモザイクパノラマ画像１００を形成するためにモザイキングにより貼り付けられる（図１１(Ｃ)）。
【００２８】
上記のように、トンネル９０は左側壁面９１、右側壁面９２、路床９３および天井９４を含む。以下では、天井９４の表面は軸９７に対応する軸を持つ円筒形であると仮定する。更に、軸９７から左側壁面９１、右側壁面９２および路床９３へのそれぞれの距離は左側壁面、右側壁面および路床の中心において最も短く、コーナー部において最も長いと仮定される。この場合、画像移動量、つまりパノラマ画像間等の画像内の特徴およびオブジェクトの見かけ移動量は、図１１(Ｂ)のグラフで示すとおりである。図１１(Ｂ)に関して、左側壁面９１、右側壁面９２および路床９３の各々に対する軸９７からの距離は中心から２つのコーナーへ向かって増加するため、図１１(Ｂ)の左側壁面のグラフセグメント１０１、路床のグラフセグメント１０２、および右側壁面のグラフセグメント１０３で示すように、画像移動量は中心から２つのコーナーへ向かって減少する。一方、天井９４の場合、軸からの距離は一定であるため、図１１(Ｂ)の上面のグラフセグメント１０４に示すように画像移動量もまた一定である。カメラ９６の内部パラメータが分かっている場合、トンネル９０の形は、一定の縮尺比で、画像移動量を使用してたやすく決定することができることは明らかである。更に、軸９７から軌道９５までの距離等のある種の他の情報が与えられていれば、倍率もまた決定することができる。
【００２９】
画像処理装置１７は、個々のパノラマ画像１００（１）、１００（２）、…からモザイクパノラマ画像１００を作成する際に、画像移動量の差を修正するために個々のパノラマ画像を処理する。モザイクパノラマ画像１００を作成する際に画像処理装置１７により実行される作業を、図１２のフローチャートに関連して説明する。図１２に関して、画像処理装置１７がモザイキングにより貼り付けされる２つの連続パノラマ画像１００（ｉ）、１００（ｉ＋１）を作成または得た後（ステップ１５０）、各カラムに関して２つのパノラマ画像間の画像移動量を決定する（ステップ１５１）。画像処理装置１７により決定された画像移動量は、図１１に関連して上記に記載した同様のモーション・プロファイルを有し、カメラに比較的近い領域の画像移動量は比較的高く、カメラからさらに遠い領域の画像移動量は比較的低い。
【００３０】
従って、画像処理装置１７は、そのカラムに関連する画像移動量と先に選択されたカラムの画像移動量との比に関連して、各パノラマ画像１００（ｉ）、１００（ｉ＋１）内の各カラムを引き伸ばすことにより正規化し（ステップ１５２）、各カラムは、軸９７に平行な方向に一連の画像要素を含む。先に選択されたカラムは、そのパノラマ画像内の最大移動量を有するカラム、または他の選択されたカラムであり得る。好適には、ステップ１５２を実行する場合に、画像処理装置１７は少なくとも１つのロウまたは１対のカラムを変化させないで残す。例えば、画像処理装置１７が路床９３に関するパノラマ画像の部分のカラムを正規化しなければ、得られたモザイクパノラマ画像の中で路床は平らに現れ、天井９４はカーブして現れることになる。一方、画像処理装置１７が天井９４に関するパノラマ画像の部分のカラムを正規化しなければ、得られるモザイクパノラマ画像の中で、天井は平らに現れ、路床はカーブして現れることになる。同様に、画像処理装置１７が左側壁面および／または右側壁面に関するパノラマ画像の部分のカラムを正規化しなければ、得られるモザイクパノラマ画像の中で左側壁面および／または右側壁面が平らに現れ、天井と路床はカーブして現れる。
【００３１】
画像処理装置１７は、各パノラマ画像１００（ｉ）、１００（ｉ＋１）を正規化した後（ステップ１５２）、該画像中の平行なストリップを選択し（ステップ１５３）、平行なストリップをモザイク画像１００にモザイキングする（ステップ１５４）。
【００３２】
システム１０は、多くの利点を提供する。１つの態様において、システムはそのシーンに対してほぼ横から向けられた移動カメラを使用して傾斜面を含むシーンのモザイク画像を作成することができる配置を提供する。この態様では、カメラは傾斜面に平行な方向に移動し、傾斜面に直接向けられる、つまり移動方向に対し垂直に向けられる（図３(Ａ)〜図３(Ｄ)参照）。あるいは、より一般的には、カメラは移動方向に対して傾斜する方向に向けられる（図７〜図１０参照）。
【００３３】
他の態様では、システム１０は、パノラマ画像のモザイクを作成することができ（図１１(Ａ)〜図１２参照）、それに関連して、該モザイク画像内の表面の形を決定することができる。この態様に関連して、システム１０は鉄道トンネルのパノラマ画像のモザイクを作成するものとして説明されるが、該システムは、水道管、下水管、廊下または玄関等を含む（ただしこれらに限定されない）様々なシーンのモザイクパノラマ画像を作成できることを理解されたい。
【００３４】
上記のように、システム１０に多くの修正をなし得ることを理解されたい。例えば、カメラ１１が移動する場合、シーン１３に対して任意の方向に移動し得ることを理解されたい。更に、システム１０は垂直線および／または水平線を持つシーン１３に関連する作業の実行に関して説明したが、作業はそのような線に沿って現れるポイントのパターンまたはセットに関連して実行されることを理解されたい。
【００３５】
本発明に関するシステムは、専門的なハードウエア、汎用コンピュータシステム、それらの組合せ、または、適切なプログラムにより制御されるそれらの一部分から全てまたは部分的に構成されることを理解されたい。任意のプログラムの一部または全ては、従来のように該システムの一部を成すまたは該システムに格納されることができる。或いは、プログラムの一部または全ては、従来のように情報を伝えるためのネットワークまたは他の機構を介して該システムに提供され得る。更に、該システムは、そのシステムに直接接続しているかまたは従来のように情報を伝えるためのネットワークまたは他の機構を介して該システムに情報を伝えるオペレータ入力要素を使用するオペレータにより提供される情報により操作および／または制御され得る（図示せず）ことを理解されたい。
【００３６】
前記記載は本発明の具体的実施形態に限定されている。しかしながら、本発明の幾つかまたは全ての利点を達成するために、本発明に様々な変更および修正がなされ得ることを理解されたい。特許請求項の目的は、これら、ならびに本発明の真の精神および範囲内に含まれる他のこのような変更および修正を包含することである。
【図面の簡単な説明】
【図１】  本発明により構成された移動カメラにより記録された一連の画像から修正モザイク画像を作成するためのシステムを示す概略図。
【図２】  一連の個々の画像からのモザイク画像の作成に関連して実行される作業を示す概略図。
【図３】  図３(Ａ)〜図３(Ｄ)は、移動カメラを用いてあるシーンの複数の画像からモザイク画像を生成する際に生じ得る問題を説明するのに役立つ図。
【図４】  図４(Ａ)〜図４(Ｄ)は、移動カメラを用いてあるシーンの複数の画像からモザイク画像を作成する際に生じ得る第２の問題を説明するのに役立つ図。
【図５】  図５(Ａ)〜図５(Ｄ)は、移動カメラを用いてあるシーンの複数の画像からモザイク画像を作成する際に生じ得る第３の問題を説明するのに役立つ図。
【図６】  図５(Ａ)〜図５(Ｄ)に関して記載される問題の訂正に関して図１に示すシステムによって用いられる１つの方法論を理解するのに役立つ図。
【図７】  図５(Ａ)〜図５(Ｄ)に関して記載される問題の訂正に関して図１に示すシステムによって用いられる１つの方法論を理解するのに役立つ図。
【図８】  図６および図７に関して記載される方法論に関してシステムにより実行される作業を示すフローチャート。
【図９】  図５(Ａ)〜図５(Ｄ)に関して記載される問題の訂正に関して図１に示すシステムによって用いられる第２の方法論を理解するのに役立つ図。
【図１０】  図９に関して記載される方法論に関してシステムにより実行される作業を示すフローチャート。
【図１１】  図１１(Ａ)〜図１１(Ｃ)は、パノラマ画像のモザイクの作成に関してシステムにより実行される作業に関して役立つ図。
【図１２】  モザイクパノラマ画像の作成に関してシステムにより実行される作業を示すフローチャート。
【図１】
0004372382.tif 000004
【図２】
0004372382.tif 000005
【図３】
0004372382.tif 000006
【図４】
0004372382.tif 000007
【図５】
0004372382.tif 000008
【図６】
0004372382.tif 000009
【図７】
0004372382.tif 000010
【図８】
0004372382.tif 000011
【図９】
0004372382.tif 000012
【図１０】
0004372382.tif 000013
【図１１】
0004372382.tif 000014
【図１２】
0004372382.tif 000015