(57)【特許請求の範囲】
【請求項１】
同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の画像を合成するための座標変換方法であって、
同一地点から異なった任意の方位を撮影した隣り合った２画像に共通のパターンを複数組抽出する第１のステップ、
前記第１のステップで抽出された前記２画像の複数組の共通パターンの代表点の座標を、それぞれの画像に固有の座標系の方位角度座標に変換する第２のステップ、
前記２画像の複数組の共通パターンの代表点の、それぞれの画像の固有の座標系での方位角度座標に基づいて、前記２画像の固有の座標系間の対応関係を３軸まわりの回転として推定し、推定した対応関係に従って、前記２画像のうちの一方の画像の固有の座標系での方位角度座標を、他方の画像の固有の座標系での方位角度座標へ変換するための座標変換行列を求める第３のステップ、及び、
前記２画像のうちの前記一方の画像の固有の座標系での方位角度座標で表現された画素の座標に対し、前記第３のステップで求められた座標変換行列を用いて座標変換を施すことにより、前記２画像の画素の座標を共通の座標系での方位角度座標で表現する第４のステップを有することを特徴とする座標変換方法。
【請求項２】
請求項１記載の座標変換方法において、前記第３のステップで推定に用いられる方位角度座標、及び、前記第４のステップで座標変換が施される前の方位角度座標はそれぞれ予め歪曲収差が補正されたものであることを特徴とする座標変換方法。
【請求項３】
同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の要素画像の合成画像を生成する画像合成方法であって、
同一地点から異なった任意の方位を撮影した、基準となる要素画像と隣り合った他の要素画像との２要素画像に共通のパターンを複数組抽出する第１のステップ、
前記第１のステップで抽出された前記２要素画像の複数組の共通パターンの代表点の座標を、それぞれの要素画像に固有の座標系の方位角度座標に変換する第２のステップ、
前記２要素画像の複数組の共通パターンの代表点の、それぞれの要素画像の固有の座標系での方位角度座標に基づいて、前記２要素画像の固有の座標系間の対応関係を３軸まわりの回転として推定し、推定した対応関係に従って、前記他の要素画像の固有の座標系での方位角度座標を前記基準となる要素画像の座標系での方位角度座標に変換するための座標変換行列を求める第３のステップ、及び、
合成画像上の各画素の値を決定するための処理ステップからなり、
前記処理ステップは、合成画像上の一つの画素を注目画素として選択する第４のステップ、一つの要素画像を注目要素画像として選択する第５のステップ、該注目画素の位置を、該注目要素画像に対して前記第３のステップで求められた座標変換行列を用いて、該注目要素画像上の位置に変換する第６のステップ、該第６のステップにより変換された位置が該注目要素画像の範囲内にあるか判定する第７のステップ、及び、該第７のステップで該変換された位置が該注目要素画像の範囲内にあると判定されたときに、該注目要素画像上の該変換された位置の周りの画素の値に基づいて該注目画素の値を計算する第８のステップを含み、該第８のステップの後に該第４のステップに戻り該合成画像上の別の画素を注目画素として選択し、該第７のステップで該変換された位置が該注目要素画像の範囲内にないと判定されたときに該第５のステップに戻り別の要素画素を注目要素画像として選択することを特徴とする画像合成方法。
【請求項４】
同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の要素画像の合成画像を生成する画像合成方法であって、
同一地点から異なった方位を撮影した、基準となる要素画像と隣り合った他の要素画像との２要素画像に共通のパターンを複数組抽出する第１のステップ、
前記第１のステップで抽出された共通パターンの代表点の撮像レンズ系の光軸に対する角度に基づいて該撮像レンズ系の歪曲収差係数を推定する第２のステップ、
前記第２のステップで推定された歪曲収差係数を用いて前記第１のステップで抽出された共通パターンの代表点の撮像レンズ系の光軸に対する角度を補正する第３のステップ、
前記第３のステップで補正後の共通パターンの代表点の撮像レンズ系の光軸に対する角度を各要素画像の固有の座標系での方位角度座標へ変換する第４のステップ、
前記第４のステップで変換された共通パターンの代表点の方位角度座標に基づいて、前記２要素画像の固有の座標系間の対応関係を３軸まわりの回転として推定し、推定した対応関係に従って、前記他の要素画像の固有の座標系での方位角度座標を前記基準となる要素画像の固有の座標系での方位角度座標に変換するための座標変換行列を求める第５のステップ、及び、
合成画像上の各画素の値を決定するための処理ステップからなり、
前記処理ステップは、合成画像上の一つの画素を注目画素として選択する第６のステップ、一つの要素画像を注目要素画像として選択する第７のステップ、該注目画素の位置を、該注目要素画像に対して該第５ステップで求められた座標変換行列及び前記第２のステップで推定された歪曲収差係数を用いて、該注目要素画像上の位置に変換する第８のステップ、該第８のステップにより変換された位置が該注目要素画像の範囲内にあるか判定する第９のステップ、及び、該第９のステップで該変換された位置が該注目要素画像の範囲内にあると判定されたときに、該注目要素画像上の該変換された位置の周りの画素の値に基づいて該注目画素の値を計算する第１０のステップを含み、該第１０のステップの後に該第６のステップに戻り該合成画像上の別の画素を注目画素として選択し、該第９のステップで該変換された位置が該注目要素画像の範囲内にないと判定されたときに該第７のステップに戻り別の要素画像を注目要素画像として選択することを特徴とする画像合成方法。
【請求項５】
同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の要素画像を入力するステップ、該ステップにより入力された複数の要素画像に関して、請求項３又は４記載の各ステップをコンピュータに実行させるためのプログラムを記録した機械読み取り可能な情報記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子的に表現された画像の合成技術に係り、特に、デジタルカメラ等を用いて同一地点より異なった任意の方位を撮影した複数枚の画像の繋ぎ合わせ合成及びそのための座標変換の技術に関する。
【０００２】
【従来の技術】
画像を電子的に撮影するデジタルカメラ等の機器の普及により、撮影画像の使われ方も大きく変わってきている。その例が、パノラマ写真に代表されるような、異なった方位を撮影した複数枚の画像の繋ぎ合わせ合成である。この場合、各画像を撮影する際のデジタルカメラ等のレンズ中心は不動であることが前提である。しかし、複数枚の画像を単純に繋ぎ合わせたのでは、不自然な合成画像しか得られない。その理由について図１を参照して説明する。
【０００３】
図１において、１は撮影に用いられるカメラのレンズ、２は撮像用のＣＣＤ、３は被写体である。ａｏが光軸となる方位で被写体３を撮影した時に、被写体３の点ｂ，ｃはＣＣＤ２上の点ｐ１，ｐ２に結像され、ｃｑが光軸となる方位で被写体３を撮影した時に（１’と２’はそれぞれ、この時のレンズ１とＣＣＤ２の位置を表す）、同じ被写体３の点ｂ，ｃはＣＣＤ２上の点ｒ，ｑに結像されるとする。このように、同じ被写体３上の区間「ｂｃ」は、異なった方位で撮影した画像上では長さの異なる区間「ｐ１ｐ２」と区間「ｑｒ」として表現される。この例から明らかなように、レンズの歪みがなくとも、撮影方位によって画像上の被写体像の大きさが変わってしまう。したがって、方位の異なる画像の単純な繋ぎ合わせでは良質な合成画像を得られない。
【０００４】
良質な合成画像を得るためには、合成しようとする個々の画像の修正が必要であるだけでなく、その繋ぎ合わせ位置の調整が必要となる。しかし、このような修正と繋ぎ合わせ合成、上下左右、任意の方位に任意角度だけずらして撮影された複数の画像について高精度に行うための実用的な手法は、これまで知られていない。
【０００５】
例えば、２つの撮像装置で２方向を撮影した２つの画像、あるいは１つの撮像装置である方向を撮影した画像と、その撮像装置を水平にある角度だけ回転させて撮影した画像とを合成し、単一始点から見た場合と同様の超広角度画像を得ようとする画像合成装置が特開平７−１３５６０５公報に述べられている。しかし、これは予め撮影方向、レンズ特性などから座標変換のためのパラメータを求めて記録しておく必要があるため、異なった任意の方位を撮影した複数の画像を合成する目的には適用できない。
【０００６】
また、Ｓhenchang Ｅric Ｃhen，”ＱuickＴime ＶＲ−Ａn Ｉmage−Ｂased Ａpproach to Ｖirtuaul Ｅnvironment Ｎavigation，”Ｃomputer Ｇraphics Ｐroceedings，Ａnnual Ｃonference Ｓeries，１９９５ pp．２９−３８は、カメラをその垂直軸周りに一方向にほぼ等角度だけ振って撮影した、部分的にオーバーラップした複数の画像を合成するプロセスに言及している。このプロセスは、その詳細は述べられていないが、記述内容から判断する限りでは、同一地点からカメラを上下左右、任意の方向に任意の角度ずらせて撮影した複数の画像を合成する目的に適用できない。
【０００７】
なお、天体写真に関連してであるが、全天を１枚の画像に納めることはできないので、全天のパノラマが必要なときには、個々の天体を撮影した多数の画像を用意する必要がある。各画像の撮影方位は知れているため、その撮影方位から個々の天体の方位角度座標を測定できるので、この方位角度座標をベースにすれば、有限個の天体を方位的に正確に表したパノラマ表現は不可能ではない。しかし、このような手法は、被写体を予め特定できず撮影方位も解らない一般的な画像の合成の目的に、そのまま適用できる方法ではない。
【０００８】
【発明の解決しようとする課題】
本発明の目的は、同じ地点から異なった任意の方位を撮影した、部分的にオーバーラップした複数の画像を高精度に合成する方法及びそのための座標変換方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明によれば、同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の画像を合成するための座標変換方法であって、
同一地点から異なった任意の方位を撮影した隣り合った２画像に共通のパターンを複数組抽出する第１のステップ、
前記第１のステップで抽出された前記２画像の複数組の共通パターンの代表点の座標を、それぞれの画像に固有の座標系の方位角度座標に変換する第２のステップ、
前記２画像の複数組の共通パターンの代表点の、それぞれの画像の固有の座標系での方位角度座標に基づいて、前記２画像の固有の座標系間の対応関係を３軸まわりの回転として推定し、推定した対応関係に従って、前記２画像のうちの一方の画像の固有の座標系での方位角度座標を、他方の画像の固有の座標系での方位角度座標へ変換するための座標変換行列を求める第３のステップ、及び、
前記２画像のうちの前記一方の画像の固有の座標系での方位角度座標で表現された画素の座標に対し、前記第３のステップで求められた座標変換行列を用いて座標変換を施すことにより、前記２画像の画素の座標を共通の座標系での方位角度座標で表現する第４のステップを有することにある。
この方法の好ましい態様では、前記第３のステップで推定に用いられる方位角度座標、及び、前記第４のステップで座標変換が施される前の方位角度座標はそれぞれ予め歪曲収差が補正されたものである。
【００１０】
本発明によれば、同一地点から異なった任意の方位を撮影した部分的にオーバーラップした複数の要素画像の合成画像を生成する画像合成方法であって、
同一地点から異なった任意の方位を撮影した、基準となる要素画像と隣り合った他の要素画像との２要素画像に共通のパターンを複数組抽出する第１のステップ、
前記第１のステップで抽出された前記２要素画像の複数組の共通パターンの代表点の座標を、それぞれの要素画像に固有の座標系の方位角度座標に変換する第２のステップ、
前記２要素画像の複数組の共通パターンの代表点の、それぞれの要素画像の固有の座標系での方位角度座標に基づいて、前記２要素画像の固有の座標系間の対応関係を３軸まわりの回転として推定し、推定した対応関係に従って、前記他の要素画像の固有の座標系での方位角度座標を前記基準となる要素画像の座標系での方位角度座標に変換するための座標変換行列を求める第３のステップ、及び、
合成画像上の各画素の値を決定するための処理ステップからなり、
前記処理ステップは、合成画像上の一つの画素を注目画素として選択する第４のステップ、一つの要素画像を注目要素画像として選択する第５のステップ、該注目画素の位置を、該注目要素画像に対して前記第３のステップで求められた座標変換行列を用いて、該注目要素画像上の位置に変換する第６のステップ、該第６のステップにより変換された位置が該注目要素画像の範囲内にあるか判定する第７のステップ、及び、該第７のステップで該変換された位置が該注目要素画像の範囲内にあると判定されたときに、該注目要素画像上の該変換された位置の周りの画素の値に基づいて該注目画素の値を計算する第８のステップを含み、該第８のステップの後に該第４のステップに戻り該合成画像上の別の画素を注目画素として選択し、該第７のステップで該変換された位置が該注目要素画像の範囲内にないと判定されたときに該第５のステップに戻り別の要素画素を注目要素画像として選択することにある。
この方法の好ましい態様では、共通パターンの代表点の撮像レンズ系の光軸に対する角度に基づいて該撮像レンズ系の歪曲収差係数を推定し、推定した歪曲収差係数を用いて共通パターンの代表点の撮像レンズ系の光軸に対する角度を補正し、この補正後の、共通パターンの代表点の撮像レンズ系の光軸に対する角度を各要素画像の固有の座標系での方位角度座標へ変換する。このようにして歪曲収差が補正された方位角度座標を前記第３のステップで利用する。また、前記第６のステップでの位置の変換の際に、撮像レンズ系の歪曲収差を補正するために上記歪曲収差係数を用いる。
【００１１】
【発明の実施の形態】
以下、本発明の実施例を説明する。図２は本発明の一実施例による画像合成のための座標変換処理全体の流れを示している。図２において、左側の列は角度座標系での処理を表し、右側の列は直交座標系での処理を表している。
【００１２】
座標変換処理では、共通（同一）のパターンを含む、つまり部分的にオーバーラップさせるように撮影された異なった方位の二つの画像に注目する。ここでは、注目した各画像は図１に示したような撮像系によって同一地点より撮影され、その撮像素子はＣＣＤであるとする。ＣＣＤの光センサーは通常、直交した方向に一定のピッチｘ0，ｙ0で配列されている。そして、各画像上の画素の位置は、光軸と画像面との交点（普通、画像の中心）を原点とした整数座標（ｉ，ｊ）で表される。高精度の変換処理を実行するには、整数座標は演算精度の面で適当でない。そこで、本実施例では、ステップＳ１において、整数座標（ｉ，ｊ）が実数座標（ｉx，ｊy）に変換される（ｉx ＝ｉ×ｘ0 ，ｊy＝ｊ×ｙ0）。
【００１３】
次のステップＳ２において、二つの画像に共通するパターンが複数組抽出される。このパターンの抽出は、一方の画像上の適当なサイズのブロックと同じものを、他方の画像上でサーチする方法によって容易に実現できる。この時、両画像より抽出された共通パターンの代表点（中心画素又は重心画素など）の座標が対応付けられて保存される。
【００１４】
レンズに角度θで入射した光は、光軸に対しθ' の角度でレンズから出る。次のステップＳ３において、各画像上の各画素の光軸からの実測方位角度、すなわちθ' を次式により算出し保存する。ただし、Ｒはレンズの中心と撮像面（ＣＣＤ）の距離である。
【００１５】
【数１】
0003993672.tif 000002
【００１６】
レンズに入射する光は光軸からの角度に依存して歪曲し（歪曲収差）、次の２式の関係が成立する。
【００１７】
【数２】
0003993672.tif 000003
【００１８】
【数３】
0003993672.tif 000004
【００１９】
（３）式を（２）式に代入すると次式が得られる。
【００２０】
【数４】
0003993672.tif 000005
【００２１】
（３）式は歪曲収差関数である。その２次，４次の歪曲係数Ａ，Ｂが決まれば、(２）式によってθ'からθを計算することができる。ステップＳ４においては、２つの画像の共通パターンのペアをキーとして、Ａ，Ｂを推定する。この推定は特願平８−２７３２９４号特許出願に添付の明細書に詳述されているような手順によればよいので、その詳細な説明は割愛するが、手順の概略は次のとおりである。
【００２２】
まず、ペアをなす共通パターンの代表点（中心画素、重心画素など）の方位角度をθi'，θj'、もう一つのペアをなす共通パターンの代表点の方位角度をθi"，θj"とする。Ｂ＝０とし、Ａを初期値Ａ0 から小さな値ΔＡずつ増加させながら、θi'，θj'，θi"，θj"をそれぞれ（４）式のθ' に代入し解θを求める。その解をθio'，θjo'，θio"，θjo"とし、次式の誤差評価値が収束するＡの値を求める。
【００２３】
【数５】
0003993672.tif 000006
【００２４】
次に、Ｂを初期値Ｂ0 から小さな値ΔＢずつ増加させながら、上のＡ推定に用いたペア又は別のペアをなす共通パターンの代表点の方位角度を（４）式のθ' に代入し、その解を用いて（５）式により計算される誤差評価値の収束を調べ、収束した時のＢの値を求める。
【００２５】
次のステップＳ５において、前ステップＳ４で推定された歪曲係数Ａ，Ｂの値を用い（２）式を解くことにより、各画像上の各画素の実測方位角度θ' に対する真の角度θを求める。次のステップＳ６において、前ステップで求められたθを次の２式によって方位角度座標（経度、緯度）に変換する。
【００２６】
【数６】
0003993672.tif 000007
【００２７】
【数７】
0003993672.tif 000008
【００２８】
（６）式、（７）式の方位角度座標は、二つの画像それぞれに固有の座標系の方位角度座標である。ここで得られた画素（共通パターンの代表点も含む）の方位角度座標はレンズの歪曲収差を補正されたものである。
【００２９】
次に、両画像の方位角度座標を統一した座標系の方位角度座標に変換するための変換行列を求める。本実施例では、一方の画像の座標系を基準とし、その座標系の方位角度座標に他方の画像の方位角度座標を変換する方法をとる。これについて図３及び図４を参照して説明する。
【００３０】
図３は異なる方位を撮影した二つの画像３１，３２の関係を示している。被写体は無限遠に存在し、カメラのレンズ中心Ｏは不動であるとする。θ0 はカメラより画像３１，３２の中心（光軸方向）Ｐ１，Ｐ２を見込む角度であり、γは画像３１，３２の傾き角度である。各画像に写された被写体は、その画像に固有の座標系に基づく方位角度座標（経度、緯度）で表現されているとする。画像３１と画像３２の重なる斜線領域（オーバーラップ領域）３３内には同じ被写体が重複して写されているが、同一の被写体であっても、画像３１においては画像３１固有の座標系での方位角度座標を持ち、画像３２においては画像３２固有の座標系での方位角度座標を持っている。つまり、画像３１，３２に共通した被写体、言い換えれば二つの画像上の共通パターンは、二通りの方位角度座標を持っている。この共通パターンは本来は同一方位にある同一の被写体を写したものであるから、各座標系上の共通パターンの方位角度座標をキーとして、二つの画像３１，３２を統一した座標系に変換するための変換式を導くことができる。
【００３１】
図４は、座標変換を説明するために図３を描き直した図である。なお、画像３１，３２は部分的に重なっているが、図４においては図の煩雑さを避けるため画像３１と画像３２は分離した状態で表されている。
【００３２】
図４において、画像３１の座標系は（ｘ1,ｙ1,ｚ1）で表され、画像３２の座標系は（ｘ2,ｙ2,ｚ2）で表され、また両座標系の（ｘ，ｙ）平面の共通軸はξで表されている。αはｘ1 軸と共通軸ξの角度、βはｘ2 軸と共通軸ξの角度、γはｚ1 軸とｚ2 軸の角度（画像の傾き）である。座標系（ｘ1,ｙ1,ｚ1）を基準とした座標変換処理式を次に示す。
【００３３】
【数８】
0003993672.tif 000009
【００３４】
座標系（ｘ2,ｙ2,ｚ2）の方向余弦を（ｌ，ｍ，ｎ）、座標系（ｘ1,ｙ1,ｚ1）の方向余弦を（Ｌ，Ｍ，Ｎ）と置き、（８）式の変換行列をＡで表すと次式のように表すことができる。
【００３５】
【数９】
0003993672.tif 000010
【００３６】
ここで、
ｌ＝cos(φy）cos（φx），ｍ＝cos（φy）sin（φx），ｎ＝sin（φy）
Ｌ＝cos(ψy）cos（ψx），ｍ＝cos（ψy）sin（ψx），ｎ＝sin（ψy）
である。ただし、（φx，φy）と（ψx，ψy）はそれぞれ画像３２と画像３１についてステップＳ６で得られた方位角度座標（経度，緯度）である。よって(９)式は次のよう表すことができる。
【００３７】
【数１０】
0003993672.tif 000011
【００３８】
二つの画像３１，３２の共通パターンは、それぞれの座標系での二通りの方位角度座標を持つが、本来は一つの方位角度座標で表されるべきものである。したがって、共通パターンの代表点のすべての組（ｊ）について次式を解くことによりα，β，γが定まり、よって変換行列Ａが定まる。ステップＳ７では、このようにして変換行列Ａを定め、次のステップＳ８で、この変換行列Ａを用いて一方の画像の座標系で表された方位角度座標を、基準となる他方の画像の座標系での方位角度座標へ変換する処理を行う。
【００３９】
【数１１】
0003993672.tif 000012
【００４０】
これで、共通パターンを含む二つの画像上の各画素は共通の座標系の方位角度座標で表現された。つまり、座標変換後の二つの画像上の画素の座標を同じメモリ空間にプロットすれば、二つの画像を忠実に合成できるわけある。ただし、この段階では各画素の座標だけを扱っており、画素値は割り当てられていないので、合成画像を表示できる形にはなっていない。
【００４１】
二枚の画像の合成画像を表示するためには、画素値を割り当てた画素を表示面へ投影しなければならない。ステップＳ９はその処理を行う。一般的な表示装置の表示面は平面である。平面に投影する場合、その平面の直交座標を（ｕ，ｖ）、方位度角度座標を（ψｘ，ψｙ）とすれば、
ｕ＝tan（ψx／Ｒ），ｖ＝tan（ψy／Ｒ）
で（ｕ，ｖ）を求めることができる。
【００４２】
一般的な表示装置は画素のピッチが一定であるが、ステップＳ９で得られる画像の画素は通常、等間隔にならない。そこで、次のステップＳ１０において、ステップＳ９で得られた画像を、表示装置に合致した一定のサンプリングピッチの画像（等画素ピッチの画像）に変換する。この変換は線形補間法によればよい。平面の表示面の場合、画素ピッチをｐx，ｐyとすると、座標（ｕ，ｖ）の画素値を座標（ｕ／ｐx，ｖ／ｐy）の画素値とし、それら画素の間の画素値は周囲の画素値をもとに線形補間する。
【００４３】
ここまでは、二つの画像の座標変換と合成について述べたが、座標変換した二つの画像に、その隣の画像を同様に座標変換する操作を繰り返すことにより、多数の画像を統一した座標系で表現し精密に合成することが可能であることは、以上の説明から明らかであろう。
【００４４】
以上に述べた本発明による座標変換及び画像合成は、専用ハードウェアによって実施することも一般的なコンピュータを利用して実施することも可能である。
【００４５】
本発明による座標変換及び画像合成をプログラムによって実施するためのコンピュータシステムの一例を図５に示す。また、そのためのプログラムの一例の概略フローチャートを図６及び図７に示す。
【００４６】
図５に示すコンピュータシステムは、プログラムに従ってデータ処理や各部の制御を実行するＣＰＵ５０、ＣＰＵ５０に実行されるプログラムを格納するプログラムメモリ５２、各種データを格納するためのデータメモリ５４、ハードディスク装置等の補助記憶装置５６、画像表示のためのディスプレイ装置５８、デジタルカメラ６４のような画像入力装置からの情報入力のための外部インターフェース部６０やＩＣカードリーダー６２、さらに図示しないが、プログラムやデータが記録されたＣＤ−ＲＯＭやフロッピーディスク等の情報記録媒体の記録再生のためのドライブや等をシステムバス６８で接続したものである。
【００４７】
本発明による座標変換及び画像合成の処理の対象となる画像のデータは、例えばデジタルカメラ６４によって取得され、外部インターフェース部６０を介して取り込まれ、補助記憶装置５６に保存される。あるいは、デジタルカメラ６４から取り外されたＩＣメモリカードをＩＣカードリーダー６２に挿入し、ＩＣメモリカードより画像データが読み込まれ補助記憶装置５６に保存される。本発明による座標変換及び画像合成のためのプログラムは、例えばＣＤ−ＲＯＭ等の情報記録媒体から読み取られて予め補助記憶装置５６に格納される。本発明による処理の実行時に、補助記憶装置５６内のプログラムや処理の対象となる画像等のデータがそれぞれプログラムメモリ５２又はデータメモリ５４に読み込まれる。
【００４８】
以下、このコンピュータシステムの構成を適宜参照しながら、図６及び図７に示したプログラムによる処理内容を説明する。なお、図６はこのプログラム７２の座標変換行列を決定するまでの部分の処理フローを示しており、図７は決定された座標変換行列を用いて画像合成を行って出力する部分の処理フローを示している。
【００４９】
図５に示すように、本発明の処理を実行するためのプログラム７２は予めプログラムメモリ５２にロードされており、また、デジタルカメラ６４によって同一地点から撮影方位を例えば左右上下にずらしながら連続的に撮影された複数枚の画像（要素画像）のデータ群７０が前述のようにして予め補助記憶装置５６に格納されている。これらの要素画像のデータには画素値のほかに、その撮影時におけるデジタルカメラ６４のレンズの中心と撮像面との距離Ｒ、及び１枚１枚の画像の連続性を表す情報も含まれている。
【００５０】
プログラム７２が起動されると、図６の最初のステップＳ１において、補助記憶装置５６内の要素画像データ群７０中の隣り合う２枚の要素画像７０ａ，７０ｂのデータがデータメモリ５４に読み込まれる。ここでは、一方の要素画像７０ａを基準側の要素画像とする。
【００５１】
次のステップＳ２２において、２つの要素画像７０ａ，７０ｂを縦横に複数のブロックに分割する。１つのブロックは例えば１６×１６画素の大きさに選ばれる。次のステップＳ２３において、基準側要素画像７０ａ上のブロックと、それとある一定距離範囲内にある要素画像７０ｂ上のブロックとのパターンマッチングが行われ、一定以上の類似度が認められたブロックのペアが両要素画像の共通パターンとして認識される。次のステップＳ２４において、前ステップで共通パターンと認識されたブロックのペアに関して、それぞれのブロックの代表点（中心画素又は重心画素など）の座標が前記（１）式に従って方位角度に変換され、対応付けられてデータメモリ５４上に一時的に保存される。ステップ２３及びステップ２４の処理は、全てのブロックについて処理されたとステップＳ２５で判定されるまで繰り返される。
【００５２】
共通パターンの抽出とその代表点座標の方位角度への変換が終わると、次のステップＳ２６において、保存されている代表点の方位角度を用い、前述した手順に従い歪曲収差係数Ａ，Ｂが推定される。
【００５３】
次のステップＳ２７において、保存されているブロックの代表点の方位角度が前記（２）式に従って歪曲収差のない方位角度に変換された後、さらに前記(６)式及び前記（７）式に従って方位角度座標に変換されてデータメモリ２４に一時的に保存される。この処理は共通パターンとして抽出された全てのブロックに関して行われる。この変換処理の終了がステップＳ２８で判定されると、次のステップＳ２９において、ステップＳ２７で得られた方位角度座標を用いて前述した手順に従い要素画像７０ａ，７０ｂ間の座標変換行列が決定される。
【００５４】
ここまでの処理は、前述した図２のステップＳ２〜Ｓ７に対応する処理である。次に図２のステップＳ８〜Ｓ１０に対応する処理を図７を参照して説明する。なお、ここでは、基準となる要素画像を含む任意のＮ個（Ｎ≧２）の要素画像の合成画像を生成するものとする。それぞれの要素画像に対する座標変換行列は前述の方法によって既に求められており、また各要素画像のデータはデータメモリ５４に読み込まれているものとする。
【００５５】
まずステップ５０において、合成画像の大きさが決定される。例えば、各要素画像の四隅の座標位置を合成画像面に投影して投影後の各要素画像の位置を求め、投影された要素画像が全て含まれれるように合成画像の位置と大きさを決定する。そして、ステップ５１において、前ステップで決定された大きさに従い合成画像の画素値を保持するための合成画像メモリ７４がデータメモリ５４上に確保され、その全ての画素位置が初期値、例えば黒に初期化される。しかる後、ステップＳ５２〜Ｓ６０によって、合成画像の各画素値を１画素ずつ順に求めて合成画像メモリ７４に書き込まれる。
【００５６】
まずステップ５２において合成画像上の１つの画素が注目画素として選択され、ステップ５３で１つの要素画像が選択される。ステップ５４において、ステップＳ５２で選択された画素（注目画素）の合成画像上の位置が、ステップ５３で選択された要素画像の座標変換行列及び歪曲収差係数Ａ，Ｂを使い、当該要素画像上の座標値（浮動小数点数）に変換される。ただし、選択された要素画像が基準要素画像であるときは、歪曲収差係数Ａ，Ｂによる座標補正だけが行われる。ステップＳ５５において、ステップＳ５４で変換された座標値と、選択された要素画像のサイズ（幅、高さ）とが比較され、当該変換座標値が当該要素画像の範囲内にあるか判定される。当該変換座標値が当該要素画像の範囲内にあると判定された場合、当該変換座標値の位置は一般に画像の格子点からずれているので、ステップＳ５９において、当該要素画像上の当該変換座標値の位置の周囲の数画素の画素値から、線形補間により当該注目画素の画素値が計算され、この画素値が合成画像上の注目画素の画素値として合成画像メモリに書き込まれる。そして、ステップＳ５８で合成画像上の別の１つの画素が注目画素として選択され、ステップＳ５３以下の処理の対象となる。
【００５７】
ステップＳ５２又はＳ５８で選択された注目画素のステップＳ５４で変換された座標値が、ステップＳ５３で選択された要素画像の範囲内にないとステップＳ５４において判定された場合、ステップＳ５７で別の要素画像が選択される。そして、当該要素画像の座標変換行列及び歪曲収差係数を使って、ステップＳ５２又はＳ５８で選択された注目画素の位置が当該要素画像の座標値に変換され、ステップＳ５５で、この変換座標値が当該要素画像の範囲内にあるか否か判定される。当該要素画像の範囲内にないと判定された場合には、ステップＳ５７で別の要素画像が選択され、この要素画像に関してステップＳ５４の座標変換とステップＳ５５の判定が行われる。もし、同じ注目画素に関し、Ｎ個の要素画像の全てを選択してもステップＳ５５で要素画像の範囲内にないと判定された場合、つまりステップＳ５７で全ての要素画像が選択されたと判定された場合、当該注目画素は撮影されてないということであるので、その画素値計算も合成画像メモリ上の画素値の書き換えも行われず（初期値のままにされる）、ステップＳ５８で合成画像上の別の１つの画素が注目画素として選択され、この注目画素について同様の処理が行われる。
【００５８】
以上の処理は、合成画像上の全ての画素位置について終了したとステップＳ６０で判定されるまで繰り返される。全画素について処理を終了すると、合成画像が合成画像メモリ７４に生成されたので、ステップ６１で、この合成画像のデータはディスプレイ装置５８に画像出力され、あるいは補助記憶装置５６に格納される。
【００５９】
【発明の効果】
以上の詳細な説明から明らかなように、本発明によれば、同一地点から異なった方位を撮影した、部分的にオーバーラップした複数の画像上の画素を統一した座標系の方位角度座標で表現することができるため、撮影方位の違う複数の画像を高精度に合成することができ、統一座標系の方位角度座標で表現された画素を表示装置の表示面に投影することにより、高精度な合成画像を表示させることができる。しかも、隣り合う画像を適当量オーバーラップさせて撮影する限り、カメラを上下左右に任意の方向に任意の角度だけ振って撮影した画像の高精度合成が可能であり、例えばカメラを水平方向に予め決めた角度だけ振って画像を撮影しなければならないというような、画像の撮影方位や隣り合う画像の撮影方位のずれ角度等の撮影条件を予め指定して厳しく制限する必要がない。また、予め、撮影方位やレンズ特性等から座標変換パラメータを求めて設定しておく必要もない。また、デジタルカメラ等のレンズの歪曲収差は比較的大きく、最近の多機能なデジタルカメラでは歪曲収差が７％にもなることがあるが、本発明によれば、そのような歪曲収差の大きなデジタルカメラ等によって撮影された画像についても、画像の情報から歪曲収差係数を求めて歪曲収差補正を行うことにより、歪みの少ない高精度な合成画像を得ることができ、また、一般的なコンピュータを利用してそのような高精度画像合成を実施でする等の効果を得られる。
【図面の簡単な説明】
【図１】同一地点からカメラの方位を変えて同一被写体を撮影した場合の像間の位置関係を説明するための図である。
【図２】本発明の一実施例による処理の流れを示す図である。
【図３】異なる方位を撮影した二つの画像の関係を説明するための図である。
【図４】座標変換の説明のために図３を描き直した図である。
【図５】本発明の一実施例に利用されるコンピュータシステムの一例を簡略化して示すブロック図である。
【図６】本発明の一実施例によるプログラムの座標変換行列の決定に関する部分の処理内容を示す概略フローチャートである。
【図７】本発明の一実施例によるプログラムの座標変換と画像合成に関する部分の処理内容を示す概略フローチャートである。
【符号の説明】
１（１’）    レンズ
２（２’）    ＣＣＤ
３            被写体
３１，３２    撮影方位の異なる画像
５０  ＣＰＵ
５２  プログラムメモリ
５４  データメモリ
５６  補助記憶装置
５８  ディスプレイ装置
６０  外部インターフェイス部
６２  ＩＣカードリーダー
６４  デジタルカメラ
７０ａ，７０ｂ  撮影方位の異なる要素画像
７２  座標変換及び画像合成のためのプログラム
【図１】
0003993672.tif 000013
【図２】
0003993672.tif 000014
【図３】
0003993672.tif 000015
【図４】
0003993672.tif 000016
【図５】
0003993672.tif 000017
【図６】
0003993672.tif 000018
【図７】
0003993672.tif 000019