(57)【特許請求の範囲】
【請求項１】
少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力手段と、
前記複数の画像のうち隣接する画像同士の位置関係から得られる座標空間変換パラメータを生成するパラメータ生成手段と、
前記座標空間変換パラメータをメモリに保持する保持手段と、
ユーザの操作に応答して、写像方式を複数の写像方式の中で切り替える切り替え手段と、
前記切り替えられた写像方式に対応して、前記複数の画像を合成する際に用いられる座標変換式を変更する変更手段と、
前記メモリに予め保持された座標空間変換パラメータと前記変更された座標変換式とを用いて前記複数の画像を合成する画像合成手段とを備えた事を特徴とする画像合成装置。
【請求項２】
前記パラメータ生成手段は前記複数の画像を合成する際の基準位置を任意に設定する設定手段を備え、前記基準位置に応じて、前記座標空間変換パラメータを生成することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記パラメータ生成手段は、前記隣接する画像同士の階調を一致させる階調補正パラメータもさらに生成することを特徴とする請求項１または２に記載の画像合成装置。
【請求項４】
前記座標空間変換パラメータを用いて前記隣接する画像同士のつなぎ目位置を設定するつなぎ目位置設定手段をさらに備えたことを特徴とする請求項１乃至３のいずれか一項に記載の画像合成装置。
【請求項５】
少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力工程と、
前記複数の画像のうち隣接する画像同士の位置関係から得られる座標空間変換パラメータを生成するパラメータ生成工程と、
前記座標空間変換パラメータをメモリに保持する保持工程と、
ユーザの操作に応答して、写像方式を複数の写像方式の中で切り替える切り替え工程と、
前記切り替えられた写像方式に対応して、前記複数の画像を合成する際に用いられる座標変換式を変更する変更工程と、
前記メモリに予め保持された座標空間変換パラメータと前記変更された座標変換式とを用いて前記複数の画像を合成する画像合成工程とを備えた事を特徴とする画像合成方法。
【請求項６】
少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力工程と、
前記複数の画像のうち隣接する画像同士の位置関係から得られる座標空間変換パラメータを生成するパラメータ生成工程と、
前記座標空間変換パラメータをメモリに保持する保持工程と、
ユーザの操作に応答して、写像方式を複数の写像方式の中で切り替える切り替え工程と、
前記切り替えられた写像方式に対応して、前記複数の画像を合成する際に用いられる座標変換式を変更する変更工程と、
前記メモリに予め保持された座標空間変換パラメータと前記変更された座標変換式とを用いて前記複数の画像を合成する画像合成工程とを備えた事を特徴とする画像合成方法をコンピュータに実行させるためのプログラムをコンピュータ読出し可能に記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、隣接する画像が共通の被写体領域を有するような複数の画像を任意の写像に変換して合成する画像合成方法、画像合成装置および記録媒体に関する。
【０００２】
【従来の技術】
従来より、複数の画像を合成する場合に、予め設定された写像方式により、入力された画像を写像変換して合成するものが知られている。この写像方式としては、例えば第４図（ａ）のように、原点Ｏを中心に各センサ面の画像を平面４０１に投影する平面写像や、第４図（ｂ）のように、原点Ｏを中心に各センサ面の画像を円筒４０２に投影する円筒写像や、第４図（ｃ）のように、原点Ｏを中心に各センサ面の画像を球面４０３に投影する球面写像がある。
【０００３】
従来のパノラマ画像合成方法では、合成処理に必要なパラメータを生成する前に適切な写像方法を選択・設定し、この写像方法で入力画像を写像変換した後に、複数の画像同士の位置関係を示すパラメータ（座標空間変換パラメータに相当する）を対応点情報から生成し、合成していた。
【０００４】
【発明が解決しようとする課題】
しかし、例えば写像方法を変更して合成画像を作ろうとした場合、改めて複数の画像を入力し、別の写像方法で写像変換を行って、複雑な画像合成処理を繰り返し実行していた。つまり、パラメータ生成のための処理を最初から再実行しなければならないため、時間がかかり、非常に効率が悪かった。
【０００５】
また、合成した後の画像に関して写像を変換して表示するものもあるが、これは一旦合成した後の画像をもとにして、再度変換処理するものである。つまり、オリジナルの画像に対して少なくとも２度の画像変換処理を実行しているので、写像を変更した画像の画質が劣化してしまうという問題があった。
【０００６】
上記の課題を鑑みて、本出願に係る発明の目的は、写像方式を変更して合成画像を作ろうとした場合に処理時間を短縮し、画質も良好な合成画像を得られるようにすることである。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本出願に係る発明の画像合成装置は、少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力手段と、前記複数の画像のうち隣接する画像同士の位置関係から得られる座標空間変換パラメータを生成するパラメータ生成手段と、前記座標空間変換パラメータをメモリに保持する保持手段と、ユーザの操作に応答して、写像方式を複数の写像方式の中で切り替える切り替え手段と、前記切り替えられた写像方式に対応して、前記複数の画像を合成する際に用いられる座標変換式を変更する変更手段と、前記メモリに予め保持された座標空間変換パラメータと前記変更された座標変換式とを用いて前記複数の画像を合成する画像合成手段とを備えた事を特徴とする。
【００１２】
【発明の実施の形態】
（第１の実施例）
本実施例に係るパノラマ画像合成方法及び装置に用いられる画像は、図２に示すように、撮影者が任意の位置で回転しながら状態１で撮影領域１の画像を入力し、状態２で撮影領域２の画像を入力し、さらに状態３で撮影領域３の画像を入力することにより得られるものである。
【００１３】
回転する方向として、図２のＹ軸回り（以下パン）あるいはＸ軸回り（以下チルト）がある。図２に示すように画像を入力して合成処理することにより、任意の画角をカバーするパノラマ画像を得ることができる。
【００１４】
ここで、パノラマ画像と写像の関係について説明する。図３は、図２の各撮影状態のＹ＝０における断面図である。原点Ｏと、座標軸XYZは撮影状態１を基準に設定している。ｆは撮影焦点距離であり、φ１２及びφ２３はパン角度を表わす。また、３０１、３０２及び３０３はカメラのセンサ面（結像面）である。
【００１５】
異なる方向を向いて撮影された複数の画像を合成して、１つの画像として表現するためには、ある１つの面に画像を写像する必要がある。その写像方法としては、例えば図３に示すように各センサ面の画像を円筒面３１０に投影する円筒写像や平面３２０に投影する平面写像等がある。
【００１６】
図４を用いて、上記の写像の方式の概略を示す。
【００１７】
図４（ａ）は平面写像であり、原点Ｏを中心に各センサ面の画像を平面４０１に投影するものである。
【００１８】
平面写像は、広角のレンズで撮影した場合と同様の合成画像が得られ、被写体の直線部は合成画像においても直線として表現される。但し、表現できる画角の範囲は１８０°未満に限定され、また１８０°未満であっても、画角が大きくなるに従い周辺部における歪みが増大し画質が劣化する。従って、合成画像の画角としては１２０°程度までにするのが適当であるといえる。
【００１９】
図４（ｂ）は円筒写像であり、各センサ面の画像を、中心線が原点Ｏを通る円筒４０２に投影するものである。
【００２０】
円筒の側面を展開して得られる画像の水平方向は、角度φで表わされ、３６０°全周を表現することができる。但し、垂直方向は平面写像と同様であるので、１８０°未満の画角のみ表わすことができるが、平面写像と同様に、画角が大きくなるに従い周辺部における歪みが増大し画質が劣化する。円筒写像では、被写体の直線部は画像の位置に応じて歪曲する。
【００２１】
また、円筒写像は回転軸としてＸ軸回りの円筒とＹ軸回りの円筒があるので、撮影条件、即ちパン撮影の場合はＹ軸回りの円筒（縦円筒）を用い、チルト撮影の場合はＸ軸回りの円筒（横円筒）を用いるというように、回転軸を選択することが有効である。
【００２２】
図４（ｃ）は球面写像であり、原点Ｏを中心に各センサ面の画像を球面４０３に投影するものである。
【００２３】
球面写像により得られる画像は、水平方向及び垂直方向とも角度を表わす。従って全周のパノラマ画像を表わすことができる。球面写像では、被写体の直線部は画像の位置に応じて歪曲する。
【００２４】
球面写像は、パン及びチルト撮影が混在している画像を合成した場合の表現方式として有効である。
【００２５】
このように、画像合成する際の写像方式は種々のものがあり、被写体の種類や撮影条件により選択することが有効である。
【００２６】
図１に本実施例に係るパノラマ画像合成方式及び装置の概略を示す。
【００２７】
図１において７０１は画像入力部であり合成に用いる画像を入力するものである。画像は不図示の記録媒体に記録されているものを読み込むことにより入力しても良いし、不図示のメモリ等に保持されているものを入力することもできる。また、デジタルカメラ等の撮像素子より得られる映像信号をデジタル化して入力するものであっても構わない。
【００２８】
７０２はメモリであり、画像情報、合成処理に用いる各種パラメータ等の各種情報を保持するものである。
【００２９】
７０３はＭＰＵであり、合成処理全体を制御し、また各種演算処理を行うものである。
【００３０】
７０４は、合成パラメータ生成部であり、隣接する画像同士の位置関係を示す座標空間変換パラメータを生成したり、階調変換パラメータ、隣接画像のつなぎ目位置を算出したりすることによって、合成画像を生成するために必要な各種合成パラメータを生成する。合成パラメータ生成部７０４は、メモリ７０２やMPU７０３と接続されており、メモリ７０２とは画像データや、各種合成パラメータ等の情報が入出力されている。なお、MPU７０３に対しては主に制御情報の入出力を行っている。
【００３１】
７０５は、画像合成変換部であり、与えられた写像方式に応じた座標変換パラメータと、合成パラメータ生成部７０４で生成された、座標空間変換パラメータ等の合成パラメータを用いて、複数枚の画像を合成する。具体的には、MPU７０３からの制御情報に基づいて、メモリ７０２にアクセスして、画像データや、座標空間変換パラメータ等の各種合成パラメータを読み込み、座標変換処理とうを行って、合成画像を生成する。また、得られた合成画像をメモリ７０２に書込む。
【００３２】
７０６はフロッピーディスク等の記録媒体であり、合成したパノラマ画像を記録するものである。
【００３３】
７０７は操作部であり、焦点距離の設定、写像方式の選択等の操作を行うものである。具体的な操作は、マウス等を用いてGUIベースで行ってもよいし、キーボードによるコマンドの直接入力により行ってもよい。
【００３４】
７０８は表示部であり、パノラマ合成された画像、写像変換された画像あるいはＧＵＩ等を表示するためのものである。
【００３５】
次に、第１の実施例のパノラマ画像合成処理の動作について説明する。
【００３６】
隣接する画像の一部が重複した画像を、画像入力部７０１により入力しメモリ７０２に保持する。入力する画像は表示部７０８に表示された候補画像から操作部７０７による指示により選択することもできる。また、画像ファイルの属性を基に自動的に１セットのパノラマ画像を選択して入力するようにしても良い。
【００３７】
合成処理に用いる画像の撮影焦点距離ｆは、操作部７０７において設定する。設定方法としては、焦点距離の値を入力するもの、複数の候補の中から選択するもの等がある。また、メモリに保持した画像の属性として撮影焦点距離が予め設定されている場合は、その値を用いることも可能である。
【００３８】
画像情報及び撮影焦点距離が設定されると、合成パラメータ生成部７０４において隣接する画像を合成するためのパラメータを生成する処理が実行される。
【００３９】
図５に、合成パラメータ生成のフローを示す。
【００４０】
Ｓ５０１では、合成パラメータ設定に用いる２つの画像を設定する。Ｓ５０２では、設定した２つの画像間の重複領域内で対応点の抽出処理を行う。対応点の抽出には、テンプレートマッチング法、相互相関法等の公知の技術を用いればよい。
【００４１】
また、処理の効率化のために、公知のCoarse-to-Fineによる階層的な対応点抽出処理を行うことも有効である。
【００４２】
Ｓ５０３においては、抽出した対応点情報を基に画像間の座標空間変換パラメータの算出を行う。例として第６図を用いて座標空間変換パラメータ算出の概略を示す。
【００４３】
図６は図２におけるパン撮影においてＹ＝０のＸＺ断面を示したものである。６０１及び６０２は隣接する撮影画像に対応したセンサ面を示している。センサ面６０１に対応したＸＹＺ座標の原点をＯ、センサ面６０２に対応したＸ’Ｙ’Ｚ’座標の原点をＯ’とすると、座標空間変換パラメータは座標系ＸＹＺと座標系Ｘ’Ｙ’Ｚ’の関係を表わすものである。Ｓ５０２の対応点抽出処理により得られた対応点を点Ｐ及び点Ｐ’とすると、この２点間の関係は図６の回転パラメータＲ及び並進パラメータＴにより
Ｐ′＝Ｒ・Ｐ＋Ｔ    ・・・（１）
となる。ここで、Ｒは各軸回りの回転成分（θ，φ，ψ）により得られる回転マトリクスであり、以下のように表される。
【００４４】
【外１】
0004346742.tif 000002
【００４５】
回転マトリクスＲ及び並進マトリクスＴの合成マトリクスＭは、以下のように表される。
【００４６】
【外２】
0004346742.tif 000003
【００４７】
合成マトリクスＭは、対応点抽出処理により得られる複数個の対応点情報を基に非線形最小自乗法等を用いて算出することができる。パラメータ算出の方式としては、他の公知技術を用いることも可能である。
【００４８】
このように、座標系ＸＹＺと座標系Ｘ'Ｙ'Ｚ'の関係を計算しておくことにより、例えばＰ（ｘ，ｙ，ｚ）に対応するX'Y'Z'座標上の点がどこなのかを容易に知る手がかりとなる。
【００４９】
具体例は後に示すが、この座標空間変換パラメータとして、合成マトリクスＭを求めることは、画像間の各点の対応関係を示しており、言い換えれば、任意に入力した2次元の画像情報から、それらを撮影したときの空間的な位置関係を表現しているのである。
【００５０】
したがって、あとはこれらの画像を適切な共通面に写像することによって、適切な合成画像を得ることが出来る。
【００５１】
Ｓ５０４においては、隣接する画像間の階調を一致させるための補正パラメータを生成する。補正パラメータの生成方式は特開平０９−３２１９７２の技術を適応する。
【００５２】
Ｓ５０５においては、生成した座標空間変換パラメータあるいは階調補正パラメータを用いて隣接する画像間のつなぎ目位置の設定を行う。つなぎ目位置は、座標空間変換パラメータを基にリサンプリングした画素間の差分あるいは相関値を用いて設定する。
【００５３】
Ｓ５０６において、隣接する画像間のパラメータ生成がすべて完了したかを判別して、完了していなければ次に合成すべき２画像をＳ５０１において再び設定し、合成操作を続ける。
【００５４】
完了している場合は、Ｓ５０７において全画像を合成する際の基準位置を設定する。
【００５５】
Ｓ５０８では、設定した基準位置を基に、既に得られている座標空間変換パラメータを変換する。
【００５６】
以上の処理により、第１図の７０４において合成パラメータが生成され、メモリ７０２に保持される。
【００５７】
合成パラメータが生成されると、画像変換部７０５において選択されている写像方式によりパノラマ合成画像が生成される。画像変換部７０５における処理の概略を図７により説明する。
【００５８】
図７は、合成画像を円筒写像変換して生成する場合を示している。図７（ａ）において７１０は、円筒写像によるパノラマ合成画像である。ここで、７１０上の画素Ｉｋを生成する処理により、画像変換部７０５における処理の概略を示す。図７（ｂ）は、各撮影位置でのセンサ面７１２及び７１３間の関係を模式的に示したもので、７１１は合成画像７１０をＹ＝Ｙｋ断面により表したものである。なお、簡単に考える為に、前述の並進成分Ｔは無い図となっている。
【００５９】
図７（ｂ）において、７１１面上の点Ik（φｋ，Ｙｋ）を、ＸＹＺ座標の点Ｐ（x,y,z）として座標変換するときは、以下の式で表すことができる。
【００６０】
ｘ＝ｆ・ｓｉｎ（φk）
ｙ＝Ｙk               ―（４）
ｚ＝ｆ・ｃｏｓ（φk）
【００６１】
点ＰをＸ’Ｙ’Ｚ’座標系の点Ｐ’（ｘ’、ｙ’、ｚ’）で表すとすると、点Ｐと点Ｐ’間の変換は、合成パラメータ生成部７０４において生成された式（３）の座標空間変換パラメータである合成マトリクスＭを用いればよく、次式により表すことができる。
【００６２】
【外３】
0004346742.tif 000004
【００６３】
次に、点Ｐ'に対応するセンサ面７１３上の座標Ｐ''を次式により求める。
【００６４】
【外４】
0004346742.tif 000005
【００６５】
上記（６）式により、センサ面７１３（z"=f）上の座標（x'',y''）の画素を参照すれば、合成画像７１０上の画素Ikの値を知ることが出来る。
【００６６】
以上の処理を合成画像７１０の各画素に対して施すことにより、円筒写像変換された合成画像を生成することができる。
【００６７】
合成された画像はメモリ７０２に保持されると共に、表示部７０８に表示される。また、必要に応じて記録媒体７０６に記録される。
【００６８】
以下においては、写像方式の変更と、この時の変換処理について示す。
【００６９】
操作部７０７において、ユーザーが任意の写像方式を選択して、写像方式の変更指示をすると、ＭＰＵは選択された写像方式に対応した座標変換処理を設定し、前述と同様の処理により７０５において画像変換処理を実行する。
【００７０】
写像方式が変更されると、前述の式（４）を用いた座標変換処理が、選択された新たな写像方式に対応したものに置き換えられる。
【００７１】
例えば平面写像に変更した場合は、合成画像の各画素はセンサ面の座標と一致するので、生成する画素Ik(Ｘｋ，Ｙｋ)に対応する式（４）の座標変換式は以下となる。
【００７２】
ｘ＝Ｘk
ｙ＝Ｙk      ―（７）
ｚ＝ｆ
【００７３】
球面写像の場合は、水平及び垂直方向共に等角度ピッチとなるようにサンプリングするので画素Ik(Φｋ，θｋ)に対応する座標変換は次式となる。
【００７４】
ｘ＝ｆ・ｃｏｓ（θk）ｓｉｎ（φk）
ｙ＝ｆ・ｃｏｓ（θk）                  ―（８）
ｚ＝ｆ・ｃｏｓ（θk）ｃｏｓ（φk）
【００７５】
従って、画像間の関係を表わす座標空間変換パラメータである合成マトリクスＭは、いずれの写像方式においても同一のものを用い、選択された写像の種類に応じて（４）式、（７）式及び（８）式の各座標変換式を切り換えることにより、任意の写像による合成画像を得ることが可能となるのである。
【００７６】
従来は、写像方式が変更される度に、写像方式に基づいた計算式に、対応点の座標を代入して、合成パラメータ生成処理を実行し、これに基づいて、すべての画素を座標変換していた。
【００７７】
これに対して、本実施例のパノラマ画像合成方法では、まず座標空間変換パラメータとして、画像間の各点の対応関係を求めておき、あとは座標変換処理を写像方式に対応して切り換えるだけで合成処理が完了する。したがって、写像方式の切り替えのときには、既に計算した座標空間変換パラメータと、各写像方式に対応して記憶している座標変換処理を用い、入力画像そのものに対して写像変換するだけでよく、つまり新たなパラメータ計算をする必要が無いので、非常に効率良く種々の写像方式による合成画像を得ることが可能となっている。特に写像方式変更時の処理時間を、大幅に短縮することが可能である。同時に、合成した画像に対して変換処理を行わないので、画質も良好な合成画像を得ることが出来るのである。
【００７８】
（第２の実施例）
第２の実施例のパノラマ画像合成処理は、以下の特徴を有する。
１） 基準位置をユーザーが任意に変更可能で、変更された基準位置により合成画像が変換される。
２） つなぎ目の修正処理ができる。
３） 以前の合成結果に戻ることができる。
【００７９】
以下、上記の特徴を有するパノラマ画像合成方法及び装置の動作について説明する。尚、全体の構成としては図１と同様である。また、予め設定された写像方式により合成画像が生成され、表示部に表示される過程までは、第1実施例と同様であるので説明を省略する。
【００８０】
本実施例に係る基準位置の変更の概略を図８及び図９に示す。図８（ａ）は、平面写像により合成結果が表示されている場合である。図８の合成画像８０１は、建物を垂直方向にチルトしながら撮影した画像を合成したものである。合成画像は上部が縮小し台形状になっている。８０２は、基準位置である。
【００８１】
図８（ｂ）は、撮影時の被写体とセンサ面との関係を示したものである。８０３は、被写体の建物であり、８０４〜８０６はチルトしながら撮影した各状態でのセンサ面であり、８０７は合成画像を表わす投影面で、８０８は合成画像の基準位置である。
【００８２】
基準位置の変更は、図１の操作部７０７によりマウス等により図８（ａ）の基準位置８０２を移動させる。基準位置の移動は、キーボードにより移動先の座標を指定することもできるし、矢印キー等により移動させても良い。
【００８３】
変更された位置はＭＰＵ７０３に送られる。ＭＰＵ７０３は、移動情報を画像変換部７０５に出力する。画像変換部７０５においては、移動情報を基に合成画像を修正するための修正マトリクスＭ'を生成する。
【００８４】
画像変換部においては、すべての画像の座標空間変換パラメータである合成マトリクスＭをＭ’により
Ｍ２＝Ｍ・Ｍ’・・・（９）
と修正して、合成変換のためのマトリクスＭ２を生成する。
【００８５】
以下、第１実施例と同様に選択されている写像方式を用いて合成画像を生成して、メモリ７０２に保持し、また表示部７０８に表示する。
【００８６】
図９（ａ）は基準位置を移動し、合成画像を変換した結果である。９０１は、合成画像であり、９０２は現在の基準位置を表わす。
【００８７】
図９（ｂ）は被写体とセンサ面との関係である。
【００８８】
基準位置を９０８に移動して、基準位置と基に設定される合成画像の投影面９０７を用いて合成画像を生成する。
【００８９】
投影面９０７は、被写体の側面９０９と並行であるので、歪みの無い合成画像９０１を得ることができる。
【００９０】
従来においても、投影面８０７や９０７に対応する基準平面を任意に設定し、この平面状に合成画像を形成するものは見られるが、その場合においても、基準平面の変更に伴って、合成パラメータの算出をはじめからやり直す必要が有り、使い勝手が悪かった。
【００９１】
しかし本願では、基準位置に対応した座標空間変更パラメータを、既に計算した座標空間変換パラメータに適用して計算するだけであるので、使い勝手が格段に向上する。そして、合成画像を生成する際の基準位置をユーザーの意図する位置に設定することが可能となり、あおり補正等の幾何学補正に柔軟に対応することができる。
【００９２】
次に、つなぎ目の修正処理について説明する。図１０（ａ）は、画像の一部が重複するように撮像した画像１０１及び１０２である。また図１０（ｂ）は、画像１０１及び画像１０２を合成した合成画像である。合成画像１０３において点線はつなぎ目位置を表わす。
【００９３】
合成画像１０３では、つなぎ目付近の画像にずれが生じている。合成画像において、上記のようなずれが生じている場合、本実施例のパノラマ画像合成方法及び装置は図１１（ａ）及び図１１（ｂ）に示す修正処理により対応することができる。
【００９４】
図１１（ａ）においては、図１の操作部７０７により撮像した２つの画像１０１及び１０２を移動させて、２つの画像の重複部がおおむね一致するように位置合わせする。位置合わせした情報はＭＰＵ７０３に与えられ、ＭＰＵ７０３は、合成パラメータ生成部７０４に位置合わせ情報を与えることにより、合成パラメータ生成部における対応点抽出処理のための情報として用いる。
【００９５】
合成パラメータ生成部においては、予めある程度の位置合わせがなされた状態から対応点抽出することができるので、抽出精度及び信頼性を向上することが可能となる。
【００９６】
図１１（ｂ）においては、図１の操作部７０７により、撮像した画像１０１及び１０２の被写体上の点を対応点として直接設定する。図１１（ｂ）においては、点１１２Ａ−点１１２Ｂと点１１３Ａ―点１１３Ｂが対応点ペアとして設定されている。
【００９７】
ＭＰＵ７０３は、前記対応点ペアの情報を取得し、合成パラメータ生成部７０４に与える。
【００９８】
合成パラメータ生成部７０４においては、取得した対応点ペアの情報を用いて座標空間変換パラメータを推定することができる。また、取得した対応点ペアは手動で位置合わせされているので、対応点ペアの近傍でのみテンプレートマッチングあるいは相互相関処理を実行して、対応点ペアの精度を向上させて座標変換パラメータの推定に用いても良い。
【００９９】
図１１（ｃ）は修正後の合成画像１１４である。画像１０３と比較してつなぎ目の位置合わせのが滑らかになっている。この修正処理は、ユーザーの欲する結果となるまで繰り返し実行することができる。
【０１００】
上述の写像方式の変更処理やつなぎ目の修正処理により、結果的に得られた合成画像が良好となった場合は問題ないが、場合によっては修正前の結果の方が好ましい場合も起こり得る。このような場合に対応するために、本実施例に係るパノラマ画像合成方法では、合成画像が生成されるたびに、合成パラメータ及び合成結果の画像情報を一連の合成処理がすべて終了するまでメモリ７０２に保持している。
【０１０１】
例えば図１０（ｂ）に示す合成結果１０３を最初の合成結果として合成カウンタをＣｓ１=１、Ｃｓ２=１にセットすると共に、各種合成パラメータ及び合成画像を合成カウンタＣｓ１＝１、Ｃｓ２=１に対応したメモリ位置に保持する。ここでCs1は、変更・修正処理が繰り替えされるたびに1つずつ増大するカウンタで、Cs2は、現在の状態から、1段階前の状態に戻った上で、新たに変更・修正処理が行われたときに１つずつ増大するカウンタである。
【０１０２】
次に、変更・修正処理により合成画像１１４が得られると、合成カウンタをＣｓ１=２、Ｃｓ２=１にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１=２、Ｃｓ２=１に対応したメモリ位置に保持する。
【０１０３】
さらに、変更・修正処理により図１２に示すような合成画像１２０が得られると、合成カウンタをＣｓ１＝３、Ｃｓ２＝１にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１＝３、Ｃｓ２＝１に対応したメモリ位置に保持する。
【０１０４】
ここで、ユーザーが操作部７０７により”戻る”操作を行った場合は、Ｃｓ１を現在の位置から１減じてＣｖ１=２として、合成カウンタＣｓ１=２、Ｃｓ２=１に対応した合成パラメータ及び合成結果画像をメモリ７０２から読み出し、合成画像を表示部７０８に表示すると共に、読み出したパラメータを現時点のパラメータとして置き換える。
【０１０５】
この時点では図１３の合成画像１３１が表示されている。ここで、変更・修正処理を行った場合は、Csカウンタを一つ進めて、合成カウンタをＣｓ１＝２、Ｃｓ２=２にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１=２、Ｃｓ２=２に対応したメモリ位置に保持する。この状態では図１３の合成画像１３３が表示されている。
【０１０６】
さらに修正した場合は、合成画像１３４が表示され、合成カウンタはＣｓ１=２、Ｃｓ２=３となる。
【０１０７】
上記の処理をＭＰＵ７０３・メモリ７０２において実行することにより、変更・修正で生成されたすべての画像をメモリに記憶しているので、ユーザーはこれまでに生成した任意の合成画像の状態に、簡単に移行することが可能となる。
【０１０８】
尚、操作部７０７においては、左矢印（←）と右矢印（→）により”戻る”方向を指定する。
【０１０９】
但し、方向の指定方法は他の公知の方法を利用できることは言うまでもない。
【０１１０】
例えば、カウンタＣｓ１・Ｃｓ２の値をそれぞれ入力することによって、これまでに生成した任意の合成画像に移行することも可能である。
【０１１１】
さらに、上記の場合は合成パラメータと合成画像を保持しているが、合成画像が大きいあるいは多い場合には、メモリの容量を圧迫する可能性もあるので、合成パラメータのみを保持して、画像は合成パラメータを用いて逐次生成するようにする方式も有効である。
【０１１２】
本実施例のパノラマ画像合成方法及び装置によれば、合成画像のあおり等の補正を柔軟に行うことが可能となり、また修正作業を効率良く実行することができる。
【０１１３】
なお、上記実施例は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、または一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【０１１４】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１１５】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１１６】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１１７】
またコンピュータが、供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードが、コンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１１８】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１１９】
【発明の効果】
以上説明したように、本出願に係る発明によれば、写像方式の切り替えのときには、既に計算した座標空間変換パラメータと、各写像方式に対応して記憶している座標変換処理を用い、入力画像そのものに対して写像変換するだけでよく、つまり新たなパラメータ計算をする必要が無いので、非常に効率良く種々の写像方式による合成画像を得ることが可能となっている。特に写像方式変更時の処理時間を、大幅に短縮することが可能である。同時に、合成した画像に対して変換処理を行わないので、画質も良好な合成画像を得ることが出来るのである。
【図面の簡単な説明】
【図１】パノラマ画像合成処理のブロック図。
【図２】パノラマ撮影の概略図。
【図３】写像変換の概略図。
【図４】写像方式を説明する図。
【図５】合成パラメータ生成処理のフロー。
【図６】合成変換処理の概略図。
【図７】画像合成の説明図。
【図８】画像変換の前記略図。
【図９】画像変換の前記略図。
【図１０】撮像画像の概略図。
【図１１】修正処理の概略図。
【図１２】合成画像の概略図。
【図１３】処理シーケンスの概略図。
【符号の説明】
７０１  画像入力部
７０２  メモリ
７０３  ＭＰＵ
７０４  合成パラメータ生成部
７０５  画像合成変換部
７０６  記録媒体
７０７  操作部
７０８  表示部
【図１】
0004346742.tif 000006
【図２】
0004346742.tif 000007
【図３】
0004346742.tif 000008
【図４】
0004346742.tif 000009
【図５】
0004346742.tif 000010
【図６】
0004346742.tif 000011
【図７】
0004346742.tif 000012
【図８】
0004346742.tif 000013
【図９】
0004346742.tif 000014
【図１０】
0004346742.tif 000015
【図１１】
0004346742.tif 000016
【図１２】
0004346742.tif 000017
【図１３】
0004346742.tif 000018