(57)【要約】      （修正有）【課題】ソース画像の系列からパノラマ画像を作成するシステム及び方法。【解決手段】上記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップを含んでいる。隣接する画像の各対の間の変換が、上記共通の特徴を用いて評価される。各画像が上記系列における指定された画像へ、上記画像に関連すると共に上記各画像と上記指定された画像との間の画像に関連する評価された変換を用いて投影される。投影された画像の重なり合う部分が結合されて、パノラマ画像が形成される。【選択図】 図１
2005100407.tif 000002
【特許請求の範囲】
【請求項１】
ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するステップと、
各画像を前記系列における指定された画像へ、当該画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を有していることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記位置合わせするステップの間に、隣接する画像における一致する角部が決定されることを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記変換が射影変換であることを特徴とする方法。
【請求項４】
請求項２に記載の方法において、前記評価するステップの後に、前記変換が、前記隣接する画像の対における前記投影するステップ前に移動しないピクセルを用いて再評価されることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
【請求項６】
請求項４に記載の方法において、前記一致する角部による位置合わせが、前記投影するステップのエラーを補正するために使用されることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
【請求項８】
請求項７に記載の方法において、前記評価するステップの間に、射影、アフィン及び平行移動変換のうちの１つが評価されることを特徴とする方法。
【請求項９】
請求項１に記載の方法において、隣接する画像Ｉ及びＩ’の各対を位置合わせするステップが、
前記画像Ｉ及びＩ’の各々における高曲率点に対応する特徴を抽出するステップと、
前記特徴に隣接する角部を決定するステップと、
画像Ｉの前記角部を画像Ｉ’の対応する角部に一致させ、これにより前記画像Ｉ及びＩ’を位置合わせするステップと、
を有していることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記決定するステップの間において、前記特徴を囲む近傍内の角部が検出されることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記決定するステップが、閾数の角部が検出されるまで実行されることを特徴とする方法。
【請求項１２】
請求項１１に記載の方法において、前記一致させるステップの間において、画像Ｉ’における検出された各角部を画像Ｉにおける検出された各角部と比較して、前記画像Ｉ及びＩ’における一致する角部を決定することを特徴とする方法。
【請求項１３】
請求項１２に記載の方法において、前記比較するステップが、画像Ｉ’における検出された各角部と画像Ｉにおける検出された各角部との間の相関を決定して、画像Ｉ内の各角部が画像Ｉ’内の候補となる一致する角部の群を有するような角部のリストを生じさせるステップと、
前記群における前記候補となる一致する角部の各々が画像Ｉ内の関連する角部に対応する確度を測定するステップと、
前記群における前記候補となる一致する角部の１つを選択するステップと、
を含むことを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、前記相関を決定するステップの間において、画像Ｉ’内の検出された各角部と画像Ｉ内の検出された各角部との間の相関の点数を計算するために正規化された相互相関が使用され、閾レベルより高い相関点数が候補となる一致する角部を意味することを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、前記相関を決定するステップが閾数の候補となる一致する角部が決定されるまで実行され、これにより前記群が形成されることを特徴とする方法。
【請求項１６】
請求項１５に記載の方法において、前記測定するステップの間において、前記群の候補となる一致する角部の各々が画像Ｉの関連する角部と対応する確度を測定するために、一致されている角部を囲む近傍内の他の一致する角部の対に基づく一致の点数が使用されることを特徴とする方法。
【請求項１７】
請求項９に記載の方法において、前記評価するステップが、
Ｎ対の一致する角部を選択するステップと、
前記変換をモデル化する一群の線形方程式を解くことにより、前記一致する角部の間の変換操作を詳述する変換を評価するステップと、
を含んでいることを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、前記評価するステップが、
前記評価された変換を一致する角部の選択されていない対に適用して、該変換の精度を評価するステップと、
前記選択し、解き及び適用するステップの反復を繰り返して最も正確な変換を決定するステップと、
を更に含んでいることを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、前記評価するステップの間において、射影、アフィン及び平行移動変換のうちの１つが評価されることを特徴とする方法。
【請求項２０】
請求項１９に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つアフィン変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
【請求項２１】
請求項１９に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つ射影変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
【請求項２２】
請求項１７に記載の方法において、前記隣接する各画像対に関する前記変換の評価に続いて、前記変換が、前記隣接する画像対における移動しないピクセルのみを用いて再評価されることを特徴とする方法。
【請求項２３】
請求項２２に記載の方法において、前記投影するステップの間に、各画像が、前記各画像に関連すると共に該各画像と前記指定された画像との間の画像に関連する前記変換の積から導出される射影行列を用いて前記指定された画像に投影され、前記射影行列が前記一致する角部の位置合わせを用いてエラー補正されることを特徴とする方法。
【請求項２４】
請求項２３に記載の方法において、前記結合するステップの間に、前記画像の重なり合う部分が周波数混合されることを特徴とする方法。
【請求項２５】
請求項２４に記載の方法において、前記周波数混合の間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
【請求項２６】
ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
を有していることを特徴とする方法。
【請求項２７】
請求項２６に記載の方法において、前記周波数混合するステップの間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
【請求項２８】
請求項２６に記載の方法において、前記評価する及び再評価するステップの間に、射影変換が評価されることを特徴とする方法。
【請求項２９】
請求項２８に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
【請求項３０】
請求項２６に記載の方法において、前記評価する及び再評価するステップの間に、アフィン変換が評価されることを特徴とする方法。
【請求項３１】
請求項３０に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
【請求項３２】
ソース画像の系列からパノラマ画像を作成するデジタル画像編集ツールにおいて、
前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
を有していることを特徴とするデジタル画像編集ツール。
【請求項３３】
請求項３２に記載のデジタル画像編集ツールにおいて、前記位置合わせする手段は、画像の隣接する対における角部を一致させることを特徴とするデジタル画像編集ツール。
【請求項３４】
請求項３３に記載のデジタル画像編集ツールにおいて、前記評価する手段は、各変換を前記画像の隣接する対における移動しないピクセルを用いて再評価することを特徴とするデジタル画像編集ツール。
【請求項３５】
請求項３４に記載のデジタル画像編集ツールにおいて、前記結合する手段は、前記投影された画像の重なり合う部分を周波数混合することを特徴とするデジタル画像編集ツール。
【請求項３６】
請求項３５に記載のデジタル画像編集ツールにおいて、前記評価する手段は、射影、アフィン及び平行移動変換のうちの１つを評価することを特徴とするデジタル画像編集ツール。
【請求項３７】
ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
を有していることを特徴とするコンピュータ読み取り可能な媒体。
【請求項３８】
ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
を有していることを特徴とするコンピュータ読み取り可能な媒体。
【請求項３９】
ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
各画像を前記系列における指定された画像へ投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を備え、
前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合され、
当該周波数混合の間に、前記重なり合う部分の異なる周波数内容が、異なる重み関数で混合されることを特徴とする方法。
【請求項４０】
請求項３９に記載の方法において、前記重なり合う部分の周波数内容が低い周波数帯域の場合には混合領域を広くし、前記重なり合う部分の周波数内容が高い周波数帯域の場合には混合領域を狭くすることを特徴とする方法。
【請求項４１】
ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
前記再評価された前記変換を用いて、前記パノラマ画像を生じさせるステップと、
を有していることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くは画像処理に係り、更に詳細には複数のソース画像からパノラマ画像を作成するシステム及び方法に関する。
【背景技術】
【０００２】
デジタルカメラは益々普及してきており、結果として写真撮影者がデジタル画像を編集するのを可能にするような画像処理ソフトウェアに対する需要が存在する。多くの場合、写真撮影者にとってはデジタル画像内に所望の全体の情景を捕捉すると共に所望の品質及びズームを維持することは困難であるか又は不可能である。結果として、写真撮影者は、しばしば、情景の一連の重なり合う画像を撮影し、次いで斯かる重なり合う画像を一緒に繋ぎ合わせてパノラマ画像を形成する必要がある。
【０００３】
一連の重なり合う画像からパノラマ画像を作成する多くの技術が考察されている。例えば、Cokの米国特許第5,185,808号は重なり合う縁のアーチファクトを除去するような画像を併合する方法を開示している。重なり合う画像を境界において徐々に混合するために、重なり合う画像の混合割合を決定するような修正マスクが使用される。
【０００４】
Burt他の米国特許第5,649,032号、第5,999662号及び第6,393,163号は画像を自動的に整列させてモザイク画像を形成するシステムを開示している。画像は隣り合う／隣接する画像に対して先ず粗く整列されて、各画像に対する複数の整列パラメータを生じさせる。粗整列は、最初は低解像度で、次いで、各画像に対して計算されたラプラシアン画像ピラミッドを用いて、より高い解像度で実行される。
【０００５】
Szeliski他の米国特許第6,044,181号は、パノラマモザイク画像の構築のための焦点距離推定方法及び装置を開示している。画像の各重なり合う対の間で平面透視変換が計算され、当該対における各画像の焦点距離が上記変換に従って計算される。画像間の位置合わせ誤差は、当該画像の対の一方の回転変換を漸増的に変形させることにより低減される。画像は、ジッタ及び光学的捻れによる位置合わせの間の平行移動的運動に対して、水平の及び垂直の平行移動を推定することにより調整される。２つの画像の間の輝度誤差は、最小二乗計算を用いて最小化される。大きな初期変位は、粗／精細最適化により処理される。
【０００６】
Herman他の米国特許第6,075,905号は、画像の整列が隣接する位置合わせというよりは同時に実行されるような、モザイク画像構築のための方法及び装置を開示している。画像は自動的に又は手動により選択され、整列は、斯かる選択された画像を共通の座標系に移動させるような幾何学的変換を用いて実行される。重なり合う整列される画像の領域は、隣接する画像の間の適切な切断線を見つけることにより、当該モザイクに含めるよう選択され、これら画像は隣接するものに対して類似するように向上される。次いで、斯かる画像は併合され、結果としてのモザイクがフォーマットされると共にユーザに対して出力される。
【０００７】
Ejiri他の米国特許第6,104,840号は、複数の軸に沿ってとられた部分的に重なり合う隣接する画像から、合成画像を発生させる方法及びシステムを開示している。重なり合う画像の間の角度的関係が、これら画像の重なり合う部分における共通のパターンに基づいて決定される。
【０００８】
Hashimotoの米国特許第6,249,616号は、デジタル画像をソース画像データ組間の三次元的関係に基づいて結合する方法を開示している。整列は、画像輝度相互相関及びラプラシアンピラミッド画像レベルを使用して実行される。コンピュータが、画像データ組間の三次元的関係を決定すると共に、これら画像データ組を該三次元的関係に基づいて単一の出力画像に結合する。
【０００９】
Teoの米国特許第6,349,153号及び第6,385,349号は、重なり合う領域を持つデジタル画像を結合する方法を開示している。画像は互いに整列され、位置合わせされる。垂直方向の整列は、これら画像の１つの他のものに対する当該重なり合う領域における垂直方向のねじれを計算することにより更に改善される。この結果、当該ねじれた画像に関する２次元の垂直方向歪マップが得られ、該マップが該画像を他の画像と整列させるために使用される。次いで、重なり合う領域における当該ねじれ線に沿って残された歪空間は線形補間により充填される。
【００１０】
Xiongの米国特許第6,359,617号は、仮想現実環境に使用するための、複数の重なり合う画像から完全な３６０度パノラマを作成する方法を開示している。上記の重なり合う画像は、階調（gradient）に基づく最適化方法と相関に基づく線形検索との組み合わせを用いて位置合わせされる。これら画像のパラメータが全体の最適化を介して校正され、重なり合う領域における全体としての画像の矛盾点を最小化する。次いで、これら画像はパノラマに投影され、整列誤りを除去するためにグラスファイヤ変換（grassfire
transform）を用いて発生されたガウス混合マスクによるラプラシアンピラミッド混合法を用いて混合される。
【００１１】
上述した文献は画像を一緒に縫い合わせてパノラマ画像を形成する技術を開示しているが、勿論、改善が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従って、本発明の目的は、複数のソース画像からパノラマ画像を作成する新規なシステム及び方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の一態様によれば、ソース画像の系列からパノラマ画像を作成する方法であって、
前記系列における画像の隣接する対を、該画像の隣接する対内の共通の特徴（feature）に基づいて位置合わせするステップと、
画像の各隣接する対の間の変換を前記共通の特徴を用いて評価するステップと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を有するような方法が提供される。
【００１４】
好ましくは、前記位置合わせするステップの間に、隣接する画像における一致する角部が決定される。また、前記評価するステップの後に、前記変換が、前記隣接する画像の対における移動しないピクセルを用いて再評価されることが好ましい。前記結合するステップの間においては、前記投影された画像の重なり合う部分が周波数混合されることが好ましい。
【００１５】
本発明の他の態様によれば、ソース画像の系列からパノラマ画像を作成する方法であって、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
を有するような方法が提供される。
【００１６】
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するデジタル画像編集ツールであって、
前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
を有するようなデジタル画像編集ツールが提供される。
【００１７】
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムが、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
【００１８】
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムが、
前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
【００１９】
本発明は、各画像を指定された画像に関連させる変換を自動的に計算し、各画像を共通の二次元面上に投影し、これら画像の重なり合う部分を継ぎ目のない態様で混合することにより、複数の重なり合う画像が一緒に継ぎ合わされて、継ぎ目のないパノラマ画像を形成するという利点を提供する。更に、本発明は、変換が位置合わせパラメータの強固な組を生じさせる高速且つ効率的な態様で計算されるという利点を提供する。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施例を、添付図面を参照して更に詳細に説明する。
【００２１】
本発明は、広くは、複数の重なり合うソース画像の系列を一緒に繋ぎ合わせて単一の継ぎ目のないパノラマ画像を作成するシステム及び方法に関するものである。当該方法において、ユーザにより、関連し且つ重なり合うソース画像の系列が選択され、左から右へ又は右から左に並べられる。画像の隣接する対の間の最初の位置合わせは、特徴（フィーチャ）に基づく位置合わせ方法を用いて実施され、各画像に関する変換が評価される。最初の変換評価の後、各対の画像が動きに関して解析され、各画像対における動かない画像ピクセルのみを用いて各画像に関する変換が再評価される。次いで、該再評価された変換が使用されて、各画像を当該系列における指定された画像上に投影される。次いで、投影された画像の重なり合う部分が結合及び混合されて、コラージュ又はパノラマ画像を形成し、該パノラマ画像がユーザに対して表示される。
【００２２】
本発明は、好ましくは、パーソナルコンピュータ等の処理ユニットにより実行されるソフトウェアアプリケーションとして実施化される。該ソフトウェアアプリケーションは、独立したデジタル画像編集ツールとして動作することができるか、又は他の利用可能なデジタル画像編集アプリケーションに組み込まれて斯かるデジタル画像編集アプリケーションに強化された機能を提供することもできる。以下、本発明の好ましい実施例を図１ないし５を参照して更に詳細に説明する。
【００２３】
図１を参照すると、本発明によるソース画像の系列からパノラマ画像を作成する方法を示すフローチャートが図示されている。図示されているように、最初にユーザは、グラフィックユーザインターフェースを介して、パーソナルコンピュータのハードドライブ等のメモリに記憶された関連する重なり合うデジタル画像の系列を表示するために選択する（ステップ１００）。一旦選択されたら、ユーザは、これらデジタル画像の系列を、隣接する画像の各対が重なり合う部分を含むように、左から右へ又は右から左への順序に配置する（ステップ１０２）。画像の並び替えに続いて、画像の位置合わせ及び投影処理が実行されて、当該系列における画像の隣接する対を位置合わせする一方、当該系列における画像の隣接する対の間の変換操作を詳細に記述すると共に当該系列における各画像が該系列の中央画像上に投影されるのを可能にするような変換を計算する（ステップ１０４）。該画像位置合わせ及び投影処理が一旦完了すると、画像混合処理が実行されて、重なり合う画像を結合すると共に、当該重なり合う画像領域における複数の入力ピクセルから単一のピクセル値を計算する（ステップ１０６）。画像混合が完了すると、パノラマ画像が結果として得られ、該パノラマ画像がユーザに対して表示される（ステップ１０８）。
【００２４】
図１ではユーザがデジタル画像の系列を配置する例を挙げて説明しているが、デジタル画像の系列を自動的に配列するようにしても良く、デジタル画像の系列を自動的に配列にした後、ユーザが配列し直すようにしても良い。
【００２５】
ステップ１０４における上記画像位置合わせ及び投影処理の間において、当該系列の“最左端”画像から開始して、各画像Ｉは、順番上右に隣接する画像Ｉ’に、特徴に基づく位置合わせ方法を用いて位置合わせされる（図２のステップ１２０参照）。隣接する画像の対の特徴に基づく位置合わせの間において、これら隣接する画像Ｉ及びＩ’における高曲率点に対応する特徴が抽出されると共に、これら特徴内の角部（corners）が検出される。グレイスケール・ハリス角部検出法が採用され、下記の演算子に基づくものである：
【００２６】
【数１】
2005100407.tif 000003
ここで、
c(x,y)は検出される角部；
ｙ及びｘは、当該画像の左上角が座標(0,0)であると仮定した場合の該画像におけるピクセルの座標；
Ｉｘ及びＩｙは方向導関数を各々示し（隣接画素間の輝度差に関する関数）；
εはオーバーフローを防止するための小さな数であり；
【００２７】
【数２】
2005100407.tif 000004
はＩｘ及びＩｙに対するボックスフィルタ平滑演算である。
なお、以下の手段を講じることで、上記演算の付加を減らすことができる。
【００２８】
７ｘ７のピクセルウインドウが、各特徴を囲む小さな近傍内の閉じた角部をフィルタ除去するために使用される。隣接する画像Ｉ及びＩ’の各々において検出された最初の三百の角部c(x,y)が使用される。隣接する画像Ｉ及びＩ’における検出された角部の数が三百より少ない場合は、検出された角部の全てが使用される。
【００２９】
つまり、狭い領域に複数の角部が存在する場合は、フィルタリングして１つの角部を選択し、隣接する画像Ｉ及びＩ’に三百以上の角部が存在する場合は演算に利用する角部を三百までとすることで、演算対象の角部を減らし、結果的に演算負荷を軽くできる。
画像Ｉにおける各角部ｃに対して、画像Ｉ’における全ての角部ｃ’に対する相関がなされる。これは、画像Ｉの各角部ｃに対して画像Ｉ’全体を検索することと等価である。角部ｃ及びｃ’に中心を合わされたウインドウが、角部ｃ及びｃ’の間の相関を決定するために使用される。画像Ｉにおける角部c(u,v)と画像Ｉ’における角部c’(u’,v’)との間の相関点数を計算するために、正規化された相互相関ＮＣＣが使用される。正規化された相互相関ＮＣＣは：
【００３０】
【数３】
2005100407.tif 000005
のように表される。
【００３１】
相互相関関数ＮＣＣは、角部ｃ、ｃ’の周り１５画素×１５画素範囲内に類似する角部がどれくらい存在するかを示す関数である。
【００３２】
相関点数は、全く類似しない２つの相関ウインドウに対するマイナス１から、同一である２つの相関ウインドウに対する１までの範囲である。一致する角部の対を選択するために閾が適用される。本実施例では、０．６に等しい閾値が使用されるが、特定のアプリケーション毎に、該閾値は変化し得る。最初の角部の一致処理の後、角部のリストが得られ、該リストにおいて画像Ｉの各角部ｃは、画像Ｉ’における候補となる一致する角部ｃ’の群を有する。好ましい実施例においては、候補となる一致角部の許容される最大数が２０に設定されているので、画像Ｉの各角部ｃは、画像Ｉ’において０ないし２０の候補となる一致角部リストが得られる。
【００３３】
以下では、複数の角部候補から１つの角部を選択する手順を記す。
画像Ｉの各角部ｃが画像Ｉ’の候補一致角部の群と一致したら、一致する角部を明確にするために緩和技術が使用される。緩和の目的のために、候補となる一致する角部の対(c,c’)が存在し、ｃは画像Ｉにおける角部であり、ｃ’は画像Ｉ’における角部であると仮定する。ここで、Ψ(c)及びΨ(c’)が、角部ｃ及びｃ’のＮｘＭピクセルの近傍内での近隣の角部であるとする。候補一致角部対(c,c’)が良好な一致であるならば、ｇをΨ(c)の角部とし、ｇ’をΨ(c’)の角部とした場合、角部ｃに対する角部ｇの位置が、角部ｇ’の角部ｃ’に対する位置と類似するような多くの他の一致角部対(g,g’)が当該近傍内で見られるであろう。対照的に、候補一致角部対(c,c’)が良くない一致であるなら、当該近傍内には僅かな一致対しか又は何の一致対も見られないであろう。
【００３４】
一致の点数ＳＭが、
【００３５】
【数４】
2005100407.tif 000006
により、候補となる一致する角部ｃ及びｃ’が実際に同一の角部である確度を測定するために使用される（角部ｃ及びｃ’からの距離の概念が含まれる）。上記式において、
ＮＣＣ(g,g’)は上述した相関点数であり；
Ｋ＝５．０は一定の重みであり；
【００３６】
【数５】
2005100407.tif 000007
ここで、d(c,gi)は角部ｃ及びｇｉの間のユークリッド距離であり、d(c’,g’j)は角部ｃ’及びg’jの間のユークリッド距離であり；
【００３７】
【数６】
2005100407.tif 000008
ここで、
【００３８】
【数７】
2005100407.tif 000009
λ＝０．３は相対距離差に基づく閾である。
【００３９】
画像面内での回転角は６０度未満であると仮定される。ベクトル
【００４０】
【数８】
2005100407.tif 000010
とベクトル
【００４１】
【数９】
2005100407.tif 000011
との間の角度をチェックして該角度が６０度より大きいかを判断し、もし大きいなら、δ(c,c’;g,g’)はゼロなる値をとる（実験の結果導き出された）。当該群における一致の点数ＳＭが最大となる候補一致角部ｃ’が、一致する角部として選択される。
【００４２】
上記緩和技術の実行の後には、画像Ｉの角部ｃが画像Ｉ’の１つの角部ｃ’のみに対応するような曖昧さのない一致する角部のリストが存在することになり、これにより、画像Ｉにおける角部ｃを隣接する画像Ｉ’における対応する角部ｃ’に位置合わせするような各画像Ｉに対する位置合わせ行列（射影変換行列、アフィン変換行列、平行移動変換行列）を生じる。
【００４３】
隣接する画像Ｉ及びＩ’における角部ｃ及びｃ’が位置合わせされると、隣接する画像の各対に対する一致する角部のリストに基づく変換が評価される（ステップ１２２）。特に２つの隣接する画像Ｉ及びＩ’が小さな重なり合う部分しか有さない場合は、多数の誤った角部の一致が存在し得るから、強力な変換評価技術が使用される。
【００４４】
好ましい実施例においては、各対の隣接する画像の間の変換を詳細に記述する変換を評価するために、射影（projective）変換評価ルーチンがデフォルトにより選択される。他の例として、ユーザが当該画像の系列には非投影的動きしか存在しないと信ずる場合は、当該変換を評価するためにアフィン（affine）変換評価ルーチン又は平行移動（translation）評価ルーチンの何れかを選択することもできる。理解されるように、アフィン変換又は平行移動を評価することは容易であり、従って射影的変換を評価するより高速である。
【００４５】
射影変換評価ルーチンの実行の間において、ランダムサンプル一致アルゴリズム（RANSAC）型技術が使用される。最初に、Ｎ対の一致する角部が前記位置合わせ行列から選択され、斯かる一致する角部の間の変換を詳細に記述する射影変換が、該射影変換をモデル化する一群の線形方程式を解くことにより評価される。
線形方程式は以下の通り。
Ｉ’  ＝Ｐ・Ｉ
ベクトルＩ’：  Ｉ’＝（ｘ’，ｙ’）
ベクトルＩ ：  Ｉ＝（ｘ ，ｙ）
射影変換行列Ｐ（２×２の行列、４つの要素で構成）
次いで、該評価された射影変換を用いて、他の対の一致する角部についても評価する。この処理は、他の群のランダムに選択されたＮ対の一致する角部を使用して実行される。最大数の角部の一致を支持する射影変換が選択される。特に、上述した処理は下記の手順に従って実行される：
１．ＭａｘＮ←０
２．Iteration(反復)←０
３．ランダムに選択されたＮ対の一致する角部の各群に対して、ステップ４ないし１０を実行する。
４．Iteration←Iteraton＋１
５．（Iteration>MaxIteration）なら、ステップ１１に進む。
６．適切な群の線形方程式を解くことにより、射影変換を評価する。
７．該射影変換を支持する一致した角部の対の数Ｎを計算する。
８．（Ｎ＞ＭａｘＮ）なら、ステップ９及び１０を実行し、それ以外の場合はステップ３に進む。
９．ＭａｘＮ←Ｎ
１０．最適変換←現在の変換
１１．（ＭａｘＮ＞５）なら、成功で戻り、それ以外では失敗で戻る。
【００４６】
理論的には、射影変換を評価するには(４つの要素を決定するために線形方程式を解くためには)、４対の一致する角部が必要となる。一致する角部の一つの対が従属的（dependent）である可能性があり、これは当該行列を特異にさせる。これを防止するため、成功裏の射影変換評価が決定されるためには少なくとも５対の一致する角部が必要となる。上記線形方程式の群を解くために最小二乗ＬＳＱＲソルバが使用され、発見的制約が適用される。即ち、評価された射影変換行列が発見的制約により満足されない場合は、当該射影変換評価は不良であって、該変換を支持するような一致する角部は存在しないと見なされる（実験により導かれる）。
【００４７】
【数１０】
2005100407.tif 000012
なる形の変換行列Ｍに対しては、Ｍは下記の制約を満足しなければならない：
｜ａ11｜∈(0.5,1.7),｜ａ12｜＜0.8,｜ａ13｜＜Ｗ,
｜ａ21｜＜0.8,｜ａ12｜∈(0.5,1.7),｜ａ23｜＜Ｈ,
｜ａ31｜＜0.1,｜ａ23｜＜0.1
ここで、Ｗ及びＨは、各々、当該画像の幅及び高さである。
【００４８】
反復の最大数（MaxIteration）も、発見的に与えられる（実験により導かれる）。好ましい実施例においては、反復の最大数は、
【００４９】
【数１１】
2005100407.tif 000013
なる式に従い、ここで、
Ｐは正しい解が存在することを保証する確率であり；
Ｘは誤った一致する角部の対の割合であり；
ηは解のために必要な一致する角部の数（アフィンの場合は８、射影の場合は１０）であり、
ｍはランダム反復の最大数である。
【００５０】
当該方法を高速化するために、２段階評価が使用される。最初に、射影変換評価のために２５０なる最大数の反復が実行される。該評価が失敗した場合は、射影変換評価のために２０００の反復が実行される。該評価処理が成功しない場合は、後述するように平行移動を近似しようと試みて平行移動評価ルーチンが実行される。
【００５１】
ユーザがアフィン変換評価ルーチンを選択すると、上述した手順は、アフィン変換をモデル化した線形方程式の適切な組を使用して実行される。理論的には、アフィン変換を評価するためには、３対の一致する角部が必要である。一致する角部の或る対が依存的で、結果として特異行列となるような状況を回避するために、本実施例においては、成功裏のアフィン変換評価が決定されるために少なくとも４対の一致する角部が必要となる。２段階評価方法の間において、最初に、１００なる最大数の反復が実行される。該評価が失敗すると、１０００の反復が実行される。該評価処理が依然として成功しない場合は、平行移動評価ルーチンが実行される。
【００５２】
上述したように、射影又はアフィン変換評価が失敗するか、又はユーザが平行移動評価ルーチンを選択すると、平行移動評価が実行される。該平行移動評価ルーチンの実行の間においては、１対の一致する角部のみを必要とするような２つのパラメータｄｘ及びｄｙを決定する必要がある。多くの誤った角部の一致が存在し得ることを考慮して、平行移動を決定するために以下のルーチンが実行される：
１．ＭａｘＮ←０
２．一致する角部の各対に対して、ステップ２ないし７を実行する。
３．一致した角部の間で平行移動を計算する。
４．該平行移動を支持する一致した角部の対の数Ｎを計算する。
５．Ｎ＞ＭａｘＮなら、ステップ５ないし７を実行し、それ以外なら、ステップ２に進む。
６．ＭａｘＮ←Ｎ
７．最適な平行移動←現在の平行移動
８．ＭａｘＮ＞３なら、成功で戻り、それ以外の場合は、失敗で戻る。
【００５３】
上述した手順は、最大数の一致した角部の対により支持される平行移動を評価する。一致する角部の対は、画像Ｉ’内の平行移動された角部が、画像Ｉ内の対応する角部の３ｘ３ピクセルの近傍内に入る場合、且つ、このような場合にのみ該平行移動を支持する。
【００５４】
以下では、隣接する対の画像Ｉ及びＩ’内に動物が違う姿勢で存在する場合の評価について説明している（画像Ｉと画像Ｉ’で動物が違う姿勢で撮影された場合）。各隣接する対の画像Ｉ及びＩ’の間の変換が決定され、結果として各画像Ｉを隣接する画像Ｉ’へ投影する変換行列が得られると、隣接する画像対が動きに関して解析される（ステップ１２４）。この処理の間において、隣接する画像の間の移動物体を記述するマスクが発生され、パノラマ画像において物体が二重になるのを防止する。整列された画像におけるピクセルは、一般的に、照明の僅かな差を除いて非常に類似しているであろう。隣接する画像の各対に対して、差分画像が発生され、隣接する画像において移動したピクセルを決定するために閾が適用される。該差分画像における黒いピクセルは移動しないピクセルを表し、該差分画像における白いピクセルは移動するピクセルを表す。次いで、各隣接画像の間の変換が、隣接する画像における移動するピクセルを除外して、再評価される（ステップ１２６）。
【００５５】
位置合わせ及び変換行列の決定に続いて、当該画像系列における中央画像が決定され該中央画像に単位行列が割り当てられる（ステップ１２８）。即ち、該中央画像は当該系列におけるint(N/2)位置にあるものとして決定される。次いで、当該系列における各画像Ｉに関して当該画像Ｉを上記中央画像に投影する射影行列が、画像Ｉに関連する位置合わせ行列と、画像Ｉと中央画像との間の画像に関連する変換行列の系列との積内積を計算することにより、決定される（ステップ１３０）。結果としての射影行列は、当該系列における画像Ｉを上記中央画像の面に投影する。この処理の間において、各変換、即ち行列積によりエラーが累積する。順次の隣接する画像を介しての、これら隣接する画像に関連する位置合わせ行列を使用しての角部対角部の一致を、数学的行列計算の結果と比較することにより、エラーを決定することができる。このように、斯かるエラーを考慮するために、上記位置合わせ行列が使用されて、画像を中央画像に投影する結果としての射影行列を修正する（ステップ１３２）。次いで、エラー補正された該射影行列が使用されて、当該系列の画像を、概ねエラーの無い形で、中央画像の面に投影し、結果として位置合わせされた画像の重なり合う系列が得られる（ステップ１３４）。
【００５６】
ステップ１０６における画像混合の間において、上記画像の重なり合う区域が結合される場合、複数の入力ピクセルから単一の出力ピクセルが計算される。これは、位置合わせされた画像の重なり合う領域を周波数混合することにより達成される。
【００５７】
周波数混合は、大きなカラー領域が滑らかに混合され、精細な領域における滑らかな混合を防止することを可能にする。これを達成するために、結合された画像は多数の異なる周波数帯域に分解され（ステップ１４０）、図４に示すように、各周波数帯域に対する狭い領域の混合が実行される。次いで、混合された帯域は加算され、結果としてのパノラマ画像を生じる。即ち、前記結合された画像はローパスフィルタ２００を通過されて、高周波内容が除去されたフィルタ処理された画像を生じる。次いで、該フィルタ処理された画像は元の画像から減算され、重なり合う区域における急速に変化する精細領域を表すような高周波内容を含む差分画像２０２を生じる。次いで、該差分画像は他の異なるローパスフィルタ２０４を通過されて、フィルタ処理された画像を生じる。該フィルタ処理された画像は上記差分画像２０２から減算されて、差分画像２０６を生じる。このような処理は、他の異なるローパスフィルタ２０８を使用してもう一度繰り返され、結果として、各組が異なる周波数内容を含むような３組の差分画像２０３、２０６及び２１０が得られる。これら結果としての差分画像に線形変換を適用して、各周波数帯域における混合を実行し（ステップ１４２）、混合された差分画像が再結合されて、最終的なパノラマ画像を再生する（ステップ１４４）。
【００５８】
各線形変換は、現在考慮中の画像と現在の出力画像との線形結合である。該線形変換の間において、現在の画像と最も最近に合成された画像との重なり合う領域を二分する最長の線が見つけられる。該重なり合う領域における各ピクセルに対して、上記線からの垂直距離が見つけられ、バッファに記憶される。当該混合フェーズの間において、上記バッファの内容を使用して、現在の画像を出力画像と混合する重みを計算する。現在の画像Ｉのピクセルは、出力画像Ｏと、
【００５９】
【数１２】
2005100407.tif 000014
なる形の標準の線形混合方程式を用いて混合される。
重みの値は、現在の画像の外側縁においてゼロに近づくと共に最も最近に合成された画像の外側縁において１に近づくような指数ランプ関数を用いて計算される。下記の式が重み（weight）の値を計算するために使用され：
【００６０】
【数１３】
2005100407.tif 000015
ここで
ｄは上述した最長の線からの距離であり；
Ｐｎは周波数レベルｎに対して当該混合関数を制御するパラメータである。
【００６１】
数１３の重み関数は上述される通り、重みの値は距離ｄが大きくなるにつれ小さな値に遷移していく。周波数レベルが高い（Ｐｎが大きな値）場合は急に遷移し、周波数レベルが低い（Ｐｎが小さな値）場合は緩やかに遷移することが分かる。
【００６２】
レベルｎに対してＰｎの値が大きいと、より急峻な曲線となり、従って当該レベルに対してより狭い混合領域となる。逆に、Ｐｎの値が小さいと、浅い曲線となり、従って、より広い混合領域となる。これは、画像の各周波数帯域が異なる重み関数で一緒に混合されるのを可能にする。好ましい実施例においては、低い周波数帯域に対して浅い曲線が使用され、異なる露出レベルを持つ画像に対して輝度を緩やかに変化させる。高い周波数帯域に対しては急峻な曲線が使用され、かくして、入力画像が完全に整列されなかった場合に発生するであろうゴーストを防止する。
【００６３】
なお、画像Ｉと画像Ｉ’で動物が違う姿勢で撮影されている場合の、画像合成については以下のような処理を施すことで対応できる。
【００６４】
重なり合う領域内に動物が存在する場合は（同じ動物）、画像Ｉ、若しくは画像Ｉ’内に存在する動物のいづれか一方を使用して合成画像を生成する。
【００６５】
上記処理を施すことで、合成画像を生成する際に、重なりあう領域に存在する動物が２重に存在するといった不具合を解消できる。
【００６６】
重なり合う領域内に動物が存在しない場合は、重なりあう領域に対する合成処理は、これまでに述べてきた処理と同様の処理を施す。さらに、重なり合わない領域に存在する動物が同じか否かを判断し、同じと判断した場合は、画像Ｉ、若しくは画像Ｉ’内に存在する動物のいづれか一方を使用して合成画像を生成するようにすれば良い。違うと判断された場合は、画像Ｉ、若しくは画像Ｉ’内に存在する２種の動物を使用して合成画像を生成するようにすれば良い
図５は、当該デジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。図に示すように、グラフィックユーザインターフェース３００は、パノラマ画像を形成するために結合されるべきデジタルソース画像が表示されるパレット３０２を含んでいる。結果としてのパノラマ画像も、該パレット３０２内において上記デジタル画像の系列の上に表示されている。ツールバー３０６が、パレット３０２の上部に沿って延び、多数のユーザ選択可能なボタンを含んでいる。詳細には、ツールバー３０６は、デジタルファイルを開くボタン３１０、デジタル画像セーブボタン３１２、ズームインボタン３１４、ズームアウトボタン３１６、１：１ボタン３１８、パレットに合わせるボタン３２０、画像結合を実行するボタン３２２及びクロッピングボタン３２４を含んでいる。ズームインボタン３１４を選択すると、パレット３０２内に表示されたパノラマ画像が拡大される。ズームアウトボタン３１６を選択すると、パレット３０２に表示されたパノラマ画像が縮小する。パレットに合わせるボタン３２０を選択すると、全体のパノラマ画像がパレット３０２の大きさに合わされる。クロッピングボタン３２４の選択は、ユーザが、パレット３０２内に表示されたパノラマ画像の一部を長方形により輪郭をとり、該長方形の外部の画像を削除するのを可能にする。
【００６７】
理解されるように、本システム及び方法は、パノラマ画像が、ソース画像の系列から高速且つ効率的な態様で高画像品質を維持しながら作成されるのを可能にする。
【００６８】
本発明は、コンピュータ読み取り可能な媒体上に記憶されたコンピュータ読み取り可能なプログラムコードとして具現化することもできる。上記コンピュータ読み取り可能な媒体は、後にコンピュータシステムにより読み取ることができるデータを記憶することが可能な如何なるデータ記憶装置とすることもできる。コンピュータ読み取り可能な媒体の例は、読取専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ及び光学データ記憶装置を含む。上記コンピュータ読み取り可能なプログラムコードは、結合されたコンピュータシステムを含むネットワークを介して分配することもでき、従って、該コンピュータ読み取り可能なプログラムコードは分散態様で記憶及び実行することができる。
【００６９】
以上、本発明の好ましい実施例を説明したが、当業者であれば、添付請求項に記載された本発明の趣旨及び範囲から逸脱すること無しに変形及び変更を行うことができることが分かるであろう。
【図面の簡単な説明】
【００７０】
【図１】図１は、本発明によるパノラマ画像作成処理の間に実行されるステップを示すフローチャートである。
【図２】図２は、画像の位置合わせ及び投影の間に図１のパノラマ画像作成処理により実行されるステップを示すフローチャートである。
【図３】図３は、画像混合の間に図１のパノラマ画像作成処理により実行されるステップを示すフローチャートである。
【図４】図４は、パノラマ画像を形成する結合された画像の周波数混合を示す概念図である。
【図５】図５は、本発明によるデジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。
【符号の説明】
【００７１】
２００  ローパスフィルタ、２０２  差分画像、２０４  ローパスフィルタ
２０６  差分画像、２０８  ローパスフィルタ、２１０  差分画像
３００  グラフィックユーザインターフェース、３０２  パレット、３０６  ツールバー
【図１】
2005100407.tif 000016
【図２】
2005100407.tif 000017
【図３】
2005100407.tif 000018
【図４】
2005100407.tif 000019
【図５】
2005100407.tif 000020