(57)【要約】【課題】魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法を提供する。【解決手段】本発明に係る魚眼レンズ画像補正方法は、画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、前記プロセッサの制御の下に、（ａ）前記画像獲得部が魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む。【選択図】図１
2016535911.tif 000002
【特許請求の範囲】
【請求項１】
画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、
前記プロセッサの制御の下に、
（ａ）前記画像獲得部が、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が、正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記の幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む、ことを特徴とする魚眼レンズ画像補正方法。
【請求項２】
上記（ｂ）段階及び上記（ｃ）段階は、当該補正段階回数が最終補正段階回数を超えるまで、上記拡大率に応じて段階的に遂行されることを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
【請求項３】
上記（ｂ）段階は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐｉ）を計算する段階、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐｍ）とを連結する直線上にあって、上記段階的補償点（ｐｉ）に対応する対応点（ｎｉ）を計算する段階、画像平面（ｉｍａｇｅ  ｐｌａｎｅ）上の光軸と上記対応点（ｎｉ）とを通る放物線方程式の焦点（Ｆｉ）を計算する段階、及び上記焦点（Ｆｉ）を利用して、上記拡大率による上記魚眼レンズ画像の幾何学的歪みを補正する段階を含む、ことを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
【請求項４】
上記焦点（Ｆｉ）は、下記［数３］に示すように計算されることを特徴とする請求項３に記載の魚眼レンズ画像補正方法。
【数３】
2016535911.tif 000011
ここで、上記Ｒは上記原点と画像平面との間の距離を示し、上記ｓは補正段階１回当たりの拡大率を示し、上記ｉは補正段階回数を示し、上記θは上記光軸と上記画像平面上の最終補正段階補償点（ｐｍ）との間の角度を示す。
【請求項５】
上記（ｃ）段階は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行する段階、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して、高周波成分をそれぞれ抽出する段階、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階、及び上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償する段階を含む、ことを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
【請求項６】
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記ウェーブレット変換結果の低周波サブバンドを利用して検索することを特徴とする請求項５に記載の魚眼レンズ画像補正方法。
【請求項７】
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算する段階、及び上記移動ベクトルを上記例題パッチに反映して、最終例題パッチを選択する段階を含むことを特徴とする請求項５に記載の魚眼レンズ画像補正方法。
【請求項８】
請求項１乃至７のいずれか一項に記載の方法を遂行するためのプログラムコードを記録した、ことを特徴とするコンピュータで読み取り可能な記録媒体製品。
【請求項９】
魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する画像獲得部、正射影モデルに基づいて拡大率を適用して段階的に上記魚眼レンズ画像の幾何学的歪みを補正する補正部、及び上記幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する補償部を含む、ことを特徴とする魚眼レンズ画像補正装置。
【請求項１０】
上記補正部及び上記補償部は、当該補正段階回数が最終補正段階回数を超えるまで、上記拡大率に応じて上記補正及び補償過程を繰り返し遂行することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
【請求項１１】
上記補正部は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐｉ）を計算し、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐｍ）とを連結する直線上にあって、上記段階的補償点（ｐｉ）に対応する対応点（ｎｉ）を計算し、画像平面（ｉｍａｇｅ  ｐｌａｎｅ）上の光軸と上記対応点（ｎｉ）とを通る放物線方程式の焦点（Ｆｉ）を計算した後、上記の焦点（Ｆｉ）を利用して、上記拡大率による上記魚眼レンズ画像の幾何学的歪みを補正することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
【請求項１２】
上記の補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行し、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して、高周波成分をそれぞれ抽出し、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索した後、上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
【請求項１３】
上記の補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像に対するウェーブレット変換結果のうち低周波サブバンドを利用して、上記類似した例題パッチを検索することを特徴とする請求項１２に記載の魚眼レンズ画像補正装置。
【請求項１４】
上記の補償部は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算し、上記移動ベクトルを上記例題パッチに反映して上記補正された魚眼レンズ画像のパッチと最も類似した最終例題パッチを選択することを特徴とする請求項１２に記載の魚眼レンズ画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズ画像の幾何学的歪みを補正して復元できる魚眼レンズ画像補正方法及びその装置に関するものである。
【背景技術】
【０００２】
広い画角（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を有する魚眼レンズは、一般のレンズより広い視野を含む画像の獲得が可能なことが利点であって、監視システム、医療画像機器、自動車のリアカメラなど、多様なデジタル画像装置において使用されている。このような魚眼レンズを通じて獲得された画像は、画像の中心から離れるほど深刻な放射状歪みを有するようになる欠点を持っている。
【０００３】
このような魚眼レンズを通じて獲得された画像は、中心において多くの情報を含む高解像度の画像が獲得できる一方、周辺部においては、非線形的な解像度の低下が発生するため、画像の全体的な品質を低下させる原因として作用している。
【０００４】
このような魚眼レンズの放射状歪みの問題を解決するために、多様な歪み補正方法が研究されている。代表的に、Ｂｒｏｗｎは奇数次多項式を使用して放射状歪みを解明しており、ＴｓａｉはＢｒｏｗｎの奇数次多項式を使用して３次元空間においての画像補正方法を提案している。また、Ｚｈａｎｇは多様な距離と方向から撮影された平面パターンを使用して補正する方法を提案しており、Ｈｕｇｈｅｓは歪み画像から消失点（ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔ）を抽出して補正する方法を提案している。
【０００５】
しかし、これらの従来の歪みを補正する方法は線形補間方法を使用するため、画像の中心から離れるほど放射状方向に沿ってエイリアシング（ａｌｉａｓｉｎｇ）現象が増加するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法及びその装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一側面によると、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法が提供される。
【０００８】
本発明の一実施例によると、画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、
前記プロセッサの制御の下に、
（ａ）前記画像獲得部が、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が、正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む魚眼レンズ画像補正方法が提供される。
【０００９】
上記（ｂ）段階及び上記（ｃ）段階は、当該補正段階回数が最終補正段階回数を超えるまで上記拡大率に応じて段階的に遂行され得る。
上記（ｂ）段階は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐｉ）を計算する段階、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐｍ）とを連結する直線上にあって上記段階的補償点（ｐｉ）に対応する対応点（ｎｉ）を計算する段階、画像平面（ｉｍａｇｅ  ｐｌａｎｅ）上の光軸と上記対応点（ｎｉ）とを通る放物線方程式の焦点（Ｆｉ）を計算する段階、及び上記焦点（Ｆｉ）を利用して上記拡大率に応じた上記魚眼レンズ画像の幾何学的歪みを補正する段階を含み得る。
上記焦点（Ｆｉ）は下記［数３］に示すように計算され得る。
【数３】
2016535911.tif 000003
ここで、上記Ｒは上記原点と画像平面との間の距離を示し、上記ｓは補正段階１回当たりの拡大率を示し、上記ｉは補正段階回数を示し、上記θは上記光軸と上記画像平面上の最終補正段階補償点（ｐｍ）との間の角度を示す。
上記（ｃ）段階は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して二重ツリー複素数ウェーブレット変換を遂行する段階、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して高周波成分をそれぞれ抽出する段階、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階、及び上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償する段階を含み得る。
【００１０】
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記ウェーブレット変換結果の低周波サブバンドを利用して検索し得る。
【００１１】
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算する段階、及び上記移動ベクトルを上記例題パッチに反映して最終例題パッチを選択する段階を含み得る。
【００１２】
本発明の他の側面によると、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象を除去できる魚眼レンズ画像補正装置が提供される。
【００１３】
本発明の一実施例によると、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する画像獲得部、正射影モデルに基づいて拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する補正部、及び上記幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する補償部を含む魚眼レンズ画像補正装置が提供される。
【００１４】
上記補正部及び上記補償部は、当該補正段階回数が最終補正段階回数を超えるまで上記拡大率に応じて上記補正及び補償過程を繰り返し遂行し得る。
上記補正部は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐｉ）を計算し、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐｍ）とを連結する直線上にあって、上記段階的補償点（ｐｉ）に対応する対応点（ｎｉ）を計算し、画像平面（ｉｍａｇｅ  ｐｌａｎｅ）上の光軸と上記対応点（ｎｉ）を通る放物線方程式の焦点（Ｆｉ）を計算した後、上記焦点（Ｆｉ）を利用して上記拡大率に応じた上記魚眼レンズ画像の幾何学的歪みを補正し得る。
上記補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行し、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して高周波成分をそれぞれ抽出し、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索した後、上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償し得る。
上記補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像に対するウェーブレット変換結果のうち、低周波サブバンドを利用して上記類似した例題パッチを検索し得る。
上記補償部は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算し、上記移動ベクトルを上記例題パッチに反映して上記補正された魚眼レンズ画像のパッチと最も類似した最終例題パッチを選択し得る。
【発明の効果】
【００１５】
本発明の一実施例による魚眼レンズ画像補正方法乃至その装置は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階乃至補償部を含むので、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象を除去でき、これを通じて高い品質の画像を生成できる利点がある。
【図面の簡単な説明】
【００１６】
【図１】は、本発明の一実施例による魚眼レンズ画像を補正する方法を示したフローチャートである。
【図２】（ａ）は、魚眼レンズを使用して撮影された原画像を例示し、（ｂ）は、従来技術の正射影モデルに基づいた魚眼レンズ画像補正結果を示した図面である。
【図３】は、本発明の一実施例による段階的魚眼レンズ画像補正方法を示したフローチャートである。
【図４】は、本発明の一実施例による段階的魚眼レンズ補正モデルを図示した図面である。
【図５】は、本発明の一実施例によるパッチ単位で補正された魚眼レンズ画像に高周波成分を補償する方法を示したフローチャートである。
【図６】は、本発明の一実施例による二重ツリー複素数ウェーブレット変換を説明するために  図示した図面である。
【図７】は、本発明の一実施例によるパッチ探索の概念を説明するために図示した図面である。
【図８】は、本発明の一実施例による魚眼レンズ画像補正装置の内部構成を概略的に図示したブロック図である。
【図９】（ａ）は原画像を例示し、（ｂ）は従来の正射影モデルに基づいた画像補正結果を示し、（ｃ）は、図８の（ｂ）にパッチ参照方法を適用した結果を示し、（ｄ）は、本発明の一実施例による魚眼レンズ画像補正結果を図示した図面である。
【発明を実施するための形態】
【００１７】
本発明は多様な変換を付加でき、様々な実施例を有し得るところ、特定実施例を図面に例示して詳細な説明において詳細に説明することにする。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものとして理解されなければならない。本発明を説明する際に、関連した公知技術に対する具体的な説明が本発明の要旨を却って不明瞭にする可能性があると判断される場合にはその詳細な説明を省略する。
【００１８】
第１、第２などの用語は、多様な構成要素を説明するために使用できるが、上記構成要素が上記用語によって限定されてはならない。上記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使用される。
【００１９】
本出願で使用している用語は、単に特定の実施例を説明するために使用されており、その用語により本発明を限定しようとする意図はない。単数の表現は、文脈上明らかに異なる意味を有しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものであって、１つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。
【００２０】
以下、本発明の実施例を添付した図面を参照して詳細に説明する。
図１を参照すると、本発明の一実施例による魚眼レンズ画像を補正する方法を示したフローチャートであって、以下、本方法の各段階の動作主体は、図８に示すような魚眼レンズ画像補正装置（１００）に具現されるハードウェアの各構成要素の何れかである。
魚眼レンズ画像補正装置（１００）は構成要素として、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）、及びこれらを制御するプロセッサ（８３０）を含む。これらの構成要素の詳細については、図８を参照して後述する。
【００２１】
段階１１０で、魚眼レンズ画像補正装置（１００）の画像獲得部（８１０）は魚眼レンズ画像を獲得する。
魚眼レンズ画像補正装置（１００）は、魚眼レンズが搭載された画像獲得装置を通じて魚眼レンズ画像を獲得でき、魚眼レンズ画像補正装置（１００）が、その内部に一構成として魚眼レンズが搭載された画像獲得装置を含むことによってこれを通じても魚眼レンズ画像を獲得する。
【００２２】
段階１１５で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、正射影モデルに基づいて拡大率を適用して段階的に魚眼レンズ画像の幾何学的歪みを補正する。
【００２３】
魚眼レンズを使用して撮影された画像は、図２（ａ）に示すように幾何学的に放射状歪みが発生することになる。一般に従来技術を用いて、このような幾何学的歪みをバイキュービック補間法やバイリニア補間法などを利用して補正する場合、図２の（ｂ）に示されたようにぼやけ現象と階段現象（エイリシング現象）が発生することになる。
【００２４】
これに対して本発明に係る実施形態では、本発明の正射影モデルに基づいて指定された拡大率を適用して、段階的に魚眼レンズ画像を拡大して補正する。図３を参照してこれをより詳細に説明する。
【００２５】
段階３１０で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、正射影モデルにおける歪み関数、Ｒ・ｓｉｎ（θ）に拡大率を乗じて拡大率に応じた段階的補償点（ｐｉ）を計算する。
【００２６】
ここで、段階的補償点（ｐｉ）は下記［数１］のように定義される。
［数１］
ｐｉ＝（Ｒ・ｓｉｎ（θ）×ｓｉ，  ０）
ここで、Ｒ・ｓｉｎ（θ）は、正射影モデルにおける歪み関数であり、Ｒは魚眼レンズの原点（ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）Ｃから画像平面（ｉｍａｇｅ  ｐｌａｎｅ）までの距離を示し、拡大率は補正段階回数に応じて変更され、本実施例では、ｓは補正段階１回当たりの拡大率を示し、第ｉ補正段階の拡大率（ｓｉ）は、ｉにより決定され、ｉは０≦ｉ≦ｍの整数（ｍは予め定められた最終補正段階回数）である。たとえば、補正段階１回当たりの拡大率（ｓ）は、１．２５以下に決定される。また、θは、画像平面上の最終補正段階補償点（ｐｍ）及び原点Ｃを結ぶ直線と、画像平面に垂直な光軸（ｏｐｔｉｃａｌ  ａｘｉｓ、ここでは、ｙ軸）とのなす角度を示す。
【００２７】
本発明の一実施例においては、魚眼レンズ画像補正時に類似度が高いパッチを選択するために補正段階１段当たりの拡大率ｓを１．２５以下に決定することを想定しているが、補正段階１段当たりの拡大率ｓが１．２５を超えるように決定できることも当然である。
【００２８】
即ち、各補正段階においての段階的補償点（ｐｉ）は光軸（ｙ）から、上記（ａ）段階において獲得された歪んだ画像平面の点（ｐ０）までの距離に、第ｉ段階拡大率（ｓｉ）を乗じて計算される。
【００２９】
段階的補償点（ｐｉ）の計算が完了すると、段階３１５で魚眼レンズ画像補正装置（１００）の補正部（８１５）は、第ｉ段階的補償点（ｐｉ）を利用して、正射影モデルに基づいて原点Ｃと画像平面上の最終補正段階補償点（ｐｍ）とを連結する直線上にあって、段階的補償点（ｐｉ）（１≦ｉ≦ｍ−１）に対応する対応点（ｎｉ）を計算する。
【００３０】
段階的補償点（ｐｉ）に対応する対応点（ｎｉ）は、下記［数２］を利用して計算される。
【数２】
2016535911.tif 000004
【００３１】
図４を参照すると、段階的補償点（ｐｉ）に対応する対応点（ｎｉ）との関係が明確に図示されている。図４により、より明確に第ｉ段階的補償点（ｐｉ）と対応点（ｎｉ）との関係を理解できる。
このように、原点（Ｃ）と点（ｐｍ）を結ぶ直線上の対応点（ｎｉ）が求められると、段階３２０で、魚眼レンズ画像補正装置（１００）は、画像平面上の光軸（即ち、画像平面と光軸の交点（ｃ））と対応点（ｎｉ）を通る放物線方程式の焦点のｙ座標値、即ち焦点距離（以下、単に「焦点」という）（Ｆｉ）を計算する。
対応点（ｎｉ）を通る放物線方程式の焦点（Ｆｉ）は［数３］のように定義される。
【数３】
2016535911.tif 000005
【００３２】
段階３２５で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、焦点（Ｆｉ）を利用して当該補正段階における拡大率に応じた魚眼レンズ画像の幾何学的歪みを補正する。
【００３３】
このように、魚眼レンズ画像補正装置（１００）は、当該補正段階における拡大率に応じた放物線方程式に基づいて段階的に魚眼レンズ画像を拡大するようにして補正する。
【００３４】
段階１２０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する。
これに関して、図５を参照してより詳細に説明する。
【００３５】
段階５１０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、当該補正段階で幾何学的歪みが補正された魚眼レンズ画像に対して二重ツリー複素数ウェーブレット変換（ＤＴ−ＣＷＴ、ｄｕａｌ−ｔｒｅｅ  ｃｏｍｐｌｅｘ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）を遂行する。
【００３６】
段階５１５で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換を逆変換して、補正された魚眼レンズ画像に対する高周波成分を抽出する。
【００３７】
より詳細に説明すると、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換結果において低周波サブバンド（ＬＬ）を０にした後、逆変換を遂行して当該魚眼レンズ画像に対する多様な方向の高周波成分を抽出する。
【００３８】
図６を参照して説明すると、一般的な離散ウェーブレット変換は、画像を低周波帯域と水平、垂直及び対角方向の高周波成分に分解するので、多様な斜線方向のエッジを表現するときに不連続又は断絶現象が発生する。しかし、ＤＴ−ＣＷＴは、入力画像を二つの低周波サブバンドＬＬ、ＬＬと、６つの方向性（１５度、−１５度、４５度、−４５度、７５度、−７５度）を有する高周波サブバンドに分解するので、離散ウェーブレット変換に比べて細密な（多様な）方向のエッジを不連続又は断絶現象を発生することなく表現できる。
【００３９】
即ち、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、ＤＴ−ＣＷＴを使用して分割された８つのサブバンドのうち二つの低周波サブバンドＬＬ、ＬＬを０にした後、逆変換を遂行して画像の多様な方向の高周波成分を抽出できる。
【００４０】
以前の段階で補正された画像については、以前の段階で高周波成分が抽出されているので、これを抽出する過程については別途の説明を省略する。
【００４１】
段階５２０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、補正された魚眼レンズ画像に対してパッチ単位で以前の段階で補正された画像の例題パッチを検索した後、当該例題パッチの高周波成分をパッチ単位で補償する（図７参照）。
【００４２】
そのため、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、現在の段階で補正された魚眼レンズ画像の中心座標が（ｘＤ、ｙＤ）であるパッチと以前の段階で補正された画像に対応する座標（ｘ’Ｄ、ｙ’Ｄ）周辺の例題パッチを下記［数４］のようにそれぞれ定義する。
【数４】
2016535911.tif 000006
ここで、ａ、ｂは、
−（Ｂ／２）  ≦  ａ、ｂ  ≦  ＋（Ｂ／２）
を満足し、Ｂはパッチのサイズを示し、（ｉ、ｊ）は移動ベクトルを示し、Ｐはパッチを示す。
【００４３】
この時、最適の移動ベクトル  （ｉ０，ｊ０）  は、ベクトル差分の絶対値の和（ＳＡＤ：ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ）が最小値を有するパッチによって決定され、これを数式で表すと、［数５］のようである。
【数５】
2016535911.tif 000007
ここで、
2016535911.tif 000008
二重ツリー複素数ウェーブレット変換結果において低周波サブバンド（ＬＬ  ｓｕｂｂａｎｄ）画像のパッチを示す。
【００４４】
従って、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換結果において低周波サブバンド画像のパッチと最も類似した例題パッチを決定した後、最適の移動ベクトルを反映して以前の段階で補正された画像における最終例題パッチを決定できる。
【００４５】
このように、現在の補正段階で補正された魚眼レンズ画像のパッチと類似度が最も高い以前の段階で補正された画像の例題パッチを選択した後、当該例題パッチの高周波成分を補正された魚眼レンズ画像のパッチに補償して、最終改善された魚眼レンズ画像を［数６］のように獲得する。
【数６】
2016535911.tif 000009
ここで、
2016535911.tif 000010
（１／Ｂ２）  は重なるパッチを正規化させるための項を示す。
【００４６】
図５を用いて説明したように、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償して、最終改善された画像を生成できる。このような過程を繰り返し遂行して最終補正された魚眼レンズ画像を出力する。
【００４７】
再び、図１を参照して、段階１２５で魚眼レンズ画像補正装置（１００）は、補正段階回数が最終補正段階回数以上であるか否かを判断する。
【００４８】
もし、最終補正段階回数以上であれば、魚眼レンズ画像補正装置（１００）は、最終補正された魚眼レンズ画像を出力する。
【００４９】
しかし、もし、現在の補正段階回数が最終補正段階回数未満であれば、段階１３０で魚眼レンズ画像補正装置（１００）は補正段階回数を増加させた後、段階１１５に進行する。
【００５０】
図８は、本発明の一実施例による魚眼レンズ画像補正装置の内部構成を概略的に図示したブロック図である。
図８を参照すると、本発明の一実施例による魚眼レンズ画像補正装置（１００）は、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）及びプロセッサ（８３０）を含んで構成される。
【００５１】
画像獲得部（８１０）は、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する機能を遂行する。
補正部（８１５）は、正射影モデルに基づいて拡大率を適用して段階的に魚眼レンズ画像の幾何学的歪みを補正する機能を遂行する。これについては、図３を参照して説明したものと同一であるので、重複した説明を省略する。
補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する機能を遂行する。これは、図５を参照して説明したものと同一であるので、重複した説明を省略する。
【００５２】
また、補正部（８１５）及び補償部（８２０）は、プロセッサ（８３０）の制御によって複数回繰り返して動作する。即ち、補正部（８１５）及び補償部（８２０）は、プロセッサ（８３０）の制御によって補正段階回数が最終補正段階回数以上になるまで複数回繰り返し遂行する。プロセッサ（８３０）は、補正部（８１５）及び補償部（８２０）が一つの補正段階を遂行するたびに補正段階回数を指定された大きさ（たとえば、１）づつ増加させる。
【００５３】
メモリ（８２５）は、本発明の一実施例による段階的に魚眼レンズを補正する過程において利用される多様なアルゴリズム、当該過程で派生する多様なデータを格納する機能を有する。
プロセッサ（８３０）は、本発明の一実施例による魚眼レンズ画像補正装置（１００）の内部構成要素（例えば、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）等）を制御する機能を遂行する。
【００５４】
図９は、従来と本発明の一実施例による魚眼レンズ画像補正結果を図示した図面である。
図９の（ａ）は原画像を示し、図９の（ｂ）は従来の正射影モデルに基づいた画像補正結果を示し、図９の（ｃ）は、図８の（ｂ）にパッチ参照方法を適用した結果を示し、図９の（ｄ）は、本発明の一実施例による魚眼レンズ画像補正結果を示す。
【００５５】
図９に示したように、段階的魚眼レンズ補正方法を適用して、自己例題パッチを適用して魚眼レンズ画像を補正した結果が、これを適用していない従来に比べて魚眼レンズ補正過程で生じる階段及びぼやけ現象を効果的に除去できることが分かる。
【００５６】
一方、本発明の実施例による魚眼レンズ補正方法は多様な電子的に情報を処理する手段を通じて遂行できるプログラム命令形態で具現されて格納媒体に記録できる。格納媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むことができる。
【００５７】
格納媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、又は、ソフトウェア分野の当業者に公知されて使用可能なものである。格納媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュ（登録商標）メモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラにより作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行可能な高級言語コードを含む。
【００５８】
上述したハードウェア装置は、本発明の動作を遂行するために１つ以上のソフトウェアモジュールとして作動するように構成可能であり、その逆も同様である。
【００５９】
上記においては、本発明の好ましい実施例を参照して説明したが、当該技術分野における通常的な知識を有する者であれば、別途の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更できることが理解できるであろう。
【符号の説明】
【００６０】
１００      魚眼レンズ画像補正装置
８１０      画像獲得部
８１５      補正部
８２０      補償部
８２５      メモリ
８３０      プロセッサ
【図１】
2016535911.tif 000012
【図２】
2016535911.tif 000013
【図３】
2016535911.tif 000014
【図４】
2016535911.tif 000015
【図５】
2016535911.tif 000016
【図６】
2016535911.tif 000017
【図７】
2016535911.tif 000018
【図８】
2016535911.tif 000019
【図９】
2016535911.tif 000020
【国際調査報告】
2016535911.tif 000021
2016535911.tif 000022
2016535911.tif 000023
2016535911.tif 000024