(57)【要約】【課題】時間的に激しい変形劣化が存在する入力画像から、その変形劣化を除去した正確な画像を得る。【解決手段】画像蓄積部１は、入力画像ａの中からＮ枚の画像ｂ１乃至ｂＮを蓄積する。変形計算部２−１乃至２−Ｎは、画像蓄積部１から読み出された画像ｂ１乃至ｂＮと、入力画像ａとから、入力画像ａと画像ｂ１乃至ｂＮとの間の変形ベクトルｃ１乃至ｃＮを求める。変形ベクトル推定部３は、第１乃至第Ｎの変形ベクトルｃ１乃至ｃＮから、入力画像ａの変形のない画像への変形ベクトルｄを推定する。変形補正部４は、変形ベクトルｄを用いて入力画像ａを補正することにより、入力画像ａから変形を除去した変形補正画像ｅを取得する。【選択図】図１
2016161972.tif 000002
【特許請求の範囲】
【請求項１】
逐次入力される入力画像から複数枚を参照画像として取得する参照画像取得手段と、
前記参照画像取得手段により取得された参照画像と前記入力画像とから、前記入力画像と前記参照画像の各画像との間の局所的な変形を検出する変形検出手段と、
前記変形検出手段により検出された前記入力画像と前記参照画像の各画像との間の局所的な変形から、前記入力画像の局所的な変形を推定する変形推定手段と、
前記変形推定手段により推定された前記入力画像の局所的な変形に基づいて、当該変形を除去するように、前記入力画像を補正する画像補正手段と、
を有する画像情報処理装置。
【請求項２】
請求項１に記載された画像情報処理装置において、
前記入力画像に対して、画質向上のための画像処理を施す画像前処理手段を有する、画像情報処理装置。
【請求項３】
請求項１に記載された画像情報処理装置において、
前記参照画像取得手段は、現在入力されている入力画像の前又は後の少なくとも一方の入力画像を連続的または間欠的に参照画像として取得する、画像情報処理装置。
【請求項４】
請求項１に記載された画像情報処理装置において、
前記変形検出手段は、オプティカルフローを用いて、前記入力画像と前記参照画像の各画像との間の局所的な変形を検出する、画像情報処理装置。
【請求項５】
請求項１に記載された画像情報処理装置において、
前記変形検出手段は、近似曲線を用いて、前記入力画像と前記参照画像の各画像との間の局所的な変形を検出する、画像情報処理装置。
【請求項６】
請求項１に記載された画像情報処理装置において、
前記変形推定手段は、前記変形検出手段により検出された、前記入力画像と前記参照画像の各画像との間の局所的な変形を平均化することにより、前記入力画像の局所的な変形を推定する、画像情報処理装置。
【請求項７】
請求項１に記載された画像情報処理装置において、
前記変形推定手段は、前記変形検出手段により検出された、前記入力画像と前記参照画像の各画像との間の局所的な変形の最頻値から、前記入力画像の局所的な変形を推定する、画像情報処理装置。
【請求項８】
画像情報処理装置により実行される画像情報処理方法であって、
参照画像取得手段が、逐次入力される入力画像から複数枚を参照画像として取得する参照画像取得工程と、
変形検出手段が、前記参照画像取得工程により取得された参照画像と前記入力画像とから、前記入力画像と前記参照画像の各画像との間の局所的な変形を検出する変形検出工程と、
変形推定手段が、前記変形検出工程により検出された前記入力画像と前記参照画像の各画像との間の局所的な変形から、前記入力画像の局所的な変形を推定する変形推定工程と、
画像補正手段が、前記変形推定工程により推定された前記入力画像の局所的な変形に基づいて、当該変形を除去するように、前記入力画像を補正する画像補正工程と、
を有する画像情報処理方法。
【請求項９】
コンピュータを請求項１乃至７のいずれかに記載された画像情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報処理装置、画像情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
カメラなどを用いて被写体を撮影した場合に、撮影した画像が陽炎などによって揺らぎ、劣化していたときには画質劣化を改善（画質を復元）して被写体が良好に知覚できるようにする画像処理装置がある（特許文献１）。
【０００３】
図１１は、特許文献１に記載された画像処理装置の内部ブロック図である。図示のように、この画像処理装置は、参照画像推定部２０１、オプティカルフロー計算部２０２、動き補正部２０３から構成されている。
【０００４】
参照画像推定部２０１は、カメラなどの撮像装置から逐次入力される入力画像の指数移動平均を算出することにより、入力画像中の揺らぎなど除去された動きのない画像（参照画像）を推定する。
【０００５】
オプティカルフロー計算部２０２は、入力画像と参照画像とを比較して、入力画像と参照画像との間の局所的な揺らぎ（動きベクトル）の分布を表すオプティカルフローを算出する。ここで、参照画像は揺らぎのない画像であり、入力画像は揺らぎのある画像であるから、２つの画像間のオプティカルフローは、入力画像中の局所的な揺らぎの分布を表すものとなる。
【０００６】
動き補正部２０３は、オプティカルフロー計算部２０２で算出されたオプティカルフローを用いて、入力画像の揺らぎを相殺するように入力画像を補正することにより、陽炎などによる揺らぎが補正された補正画像を出力する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記画像処理装置では、参照画像推定部２０１で推定される参照画像の精度が悪いと、入力画像中に時間的に激しい変形劣化（例えば強いボケや物体の変形）が存在したときに、オプティカルフロー計算部２０２で算出される動きベクトルが上記変形劣化を正確に表したものではなくなる。この結果、動き補正部２０３で補正された補正画像の精度も低くなり、現実の被写体との間に大きな差が発生してしまうという問題がある。
【０００８】
すなわち、上記画像処理装置では、連続して入力される画像から「選択された複数枚の画像」の指数移動平均によって参照画像を生成するため、各選択された画像の揺らぎ（変形）が大きければ大きい程、参照画像はあらゆる方向に大きく変形することになる。例えば、１本の柱の場合、揺らぎが小さければ得られる参照画像は少しだけぼけた現実の１本の柱に近い状態になるが、柱の形状に対して揺らぎが大きいと、得られる参照画像内の柱は大きくぼけて現実の柱よりもかなり太く見えることになると考えられる。
【０００９】
本発明は、このような問題を解決するためになされたものあり、その目的は、時間的に激しい変形劣化が存在する画像から、その変形劣化を除去した正確な画像を得ることである。
【課題を解決するための手段】
【００１０】
本発明に係る画像情報処理装置は、逐次入力される入力画像から複数枚を参照画像として取得する参照画像取得手段と、前記参照画像取得手段により取得された参照画像と前記入力画像とから、前記入力画像と前記参照画像の各画像との間の局所的な変形を検出する変形検出手段と、前記変形検出手段により検出された前記入力画像と前記参照画像の各画像との間の局所的な変形から、前記入力画像の局所的な変形を推定する変形推定手段と、前記変形推定手段により推定された前記入力画像の局所的な変形に基づいて、当該変形を除去するように、前記入力画像を補正する画像補正手段と、を有する画像情報処理装置である。
【発明の効果】
【００１１】
本発明によれば、時間的に激しい変形劣化が存在する画像から、その変形劣化を除去した正確な画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像情報処理装置の機能構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像情報処理装置の機能構成を示すブロック図である。
【図３】本発明の実施形態に係る画像情報処理装置における画像蓄積部に蓄積する画像のフレームの第１の例を示す図である。
【図４】本発明の実施形態に係る画像情報処理装置における画像蓄積部に蓄積する画像のフレームの第２の例を示す図である。
【図５】本発明の実施形態に係る画像情報処理装置における画像蓄積部に蓄積する画像のフレームの第３の例を示す図である。
【図６】本発明の実施形態に係る画像情報処理装置における画像蓄積部に蓄積する画像のフレームの第４の例を示す図である。
【図７】本発明の実施形態に係る画像情報処理装置における変形計算部の動作について説明するための図である。
【図８】本発明の実施形態に係る画像情報処理装置における変形ベクトル推定部の動作について説明するための図である。
【図９】本発明の実施形態に係る画像情報処理装置を実現するコンピュータシステムのハードウェア構成の一例を示す図である。
【図１０】本発明の実施形態に係る画像情報処理装置を含む画像処理システムの４つの構成例を示す図である。
【図１１】従来の画像処理装置の内部ブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して説明する。
〈第１の実施形態に係る画像情報処理装置〉
図１は、本発明の第１の実施形態に係る画像情報処理装置の機能構成を示すブロック図である。後に詳述するように、この画像情報処理装置は、画像情報処理プログラムなどをインストールした汎用のコンピュータシステムにより構成することができる。
【００１４】
図示のように、本実施形態に係る画像情報処理装置は、画像蓄積部１、第１乃至第Ｎの変形計算部２−１乃至２−Ｎ、変形ベクトル推定部３、および変形補正部４を備えている。
【００１５】
参照画像取得手段としての画像蓄積部１は、撮像装置などから逐次供給され、逐次入力される入力画像ａの中からＮ枚（Ｎフレーム）の画像ｂ１乃至ｂＮを参照画像として選択的に蓄積する。図では、Ｎは５以上の任意の整数である。Ｎ枚の画像を選択する手段は、画像蓄積部１が内蔵していてもよいし、別途設けてもよい。なお、Ｎ枚の画像の詳細については後述する。
【００１６】
変形検出手段としての第１乃至第Ｎの変形計算部２−１乃至２−Ｎは、画像蓄積部１から読み出されたＮ枚の参照画像ｂ１乃至ｂＮと、入力画像ａとから、入力画像ａと画像ｂ１乃至ｂＮとの間の第１乃至第Ｎの変形ベクトルｃ１乃至ｃＮを求める。ここで、各変形ベクトルは、オプティカルフローなどのピクセル移動位置計算法により算出することができる。なお、以下の説明では、第１乃至第Ｎの変形計算部２−１乃至２−Ｎを区別しない場合は、変形計算部２とする。
【００１７】
変形推定手段としての変形ベクトル推定部３は、第１乃至第Ｎの変形計算部２−１乃至２−Ｎで算出された第１乃至第Ｎの変形ベクトルｃ１乃至ｃＮから、入力画像ａの変形のない画像への変形ベクトルｄを推定する。ここで、変形ベクトルｄは、例えば第１乃至第Ｎの変形ベクトルｃ１乃至ｃＮの平均として求めることが好適である。
【００１８】
画像補正手段としての変形補正部４は、変形ベクトルｄを用いて入力画像ａを補正することにより、入力画像ａから変形を除去した変形補正画像ｅを生成する。
【００１９】
このように、本実施形態に係る画像情報処理装置では、参照画像を推定するのではなく、選択された複数枚の画像を参照画像とし、入力画像との間の各変形ベクトルを演算する。
【００２０】
すなわち、推定によって現実との相違が起こり得る推定参照画像ではなく、実際に得られた画像との間の変形ベクトルを演算するので、演算結果は精度が高い。この精度の高い各変形演算結果を平均化することにより、より正確な本来の被写体の画像を求めることができ、より正確に入力画像の変形を取り除くことができる。
【００２１】
〈第２の実施形態に係る画像情報処理装置〉
図２は、本発明の第２の実施形態に係る画像情報処理装置の機能構成を示すブロック図である。この図において、図１（第１の実施形態に係る画像情報処理装置）と同一の部分には図１と同じ参照符号を付した。
【００２２】
図示のように、本実施形態に係る画像情報処理装置は、第１の実施形態に係る画像情報処理装置における画像蓄積部１の前段に画像前処理部５を設けたものである。画像前処理部５は、入力画像ａに対して、ノイズ除去などの画質向上処理を行い、前処理済みの入力画像ａ’を出力する。前処理済みの入力画像ａ’に対する処理は第１の実施形態に係る画像情報処理装置における入力画像aに対する処理と同じである。
【００２３】
すなわち、画像蓄積部１は、前処理済みの入力画像ａ’の中からＮ枚（Ｎフレーム）の画像ｂ１’乃至ｂＮ’を参照画像として選択的に蓄積する。また、第１乃至第Ｎの変形計算部２−１乃至２−Ｎは、Ｎ枚の画像ｂ１’乃至ｂＮ’と、入力画像ａ’とから、前処理済みの入力画像ａ’と参照画像ｂ１’乃至ｂＮ’との間の第１乃至第Ｎの変形ベクトルｃ１’乃至ｃＮ’を求める。さらに、変形ベクトル推定部３は、第１乃至第Ｎの変形ベクトルｃ１’乃至ｃＮ’から、入力画像ａ’の変形のない画像への変形ベクトルｄ’を推定する。そして、変形補正部４は、変形ベクトルｄ’を用いて前処理済みの入力画像ａ’を補正することにより、前処理済みの入力画像ａ’から変形を除去した変形補正画像ｅ’を生成する。
【００２４】
本発明の第２の実施形態に係る画像情報処理装置によれば、入力画像と、蓄積される画像の精度が向上するため、第１乃至第Ｎの変形計算部２−１乃至２−Ｎによる計算精度が向上する。したがって、その計算結果を用いて推定される変形ベクトルｄ’の推定精度、および変形ベクトルｄ’による補正精度も向上する。
【００２５】
このように、第１の実施形態に係る画像情報処理装置と第２の実施形態に係る画像情報処理装置とは、前処理の有無のみであり、それ以外は共通であるため、便宜上、以下の説明では両者を区別せず、本発明の実施形態に係る画像情報処理に関するものとする。
【００２６】
〈画像蓄積部に蓄積する画像〉
《蓄積する画像のフレームの第１の例》
図３は、画像蓄積部１に蓄積する画像のフレームの第１の例を示す図である。
入力画像のフレームが時間的に連続しており、フレーム間の時間間隔が十分に短い（例えば３０ｆｐｓのフレームレートの動画像）場合、現在入力される画像のフレームの直前のＮ枚（Ｎフレーム）の画像を連続的に蓄積する処理が考えられる。
【００２７】
入力画像の変形が時間的に変化するので、このように現在の入力画像の直前のＮ枚の画像を蓄積し、現在の入力画像との変形計算を行うことにより、Ｎ個の変形ベクトルｃ１（ｃ１’）乃至ｃＮ（ｃＮ’）が計算できる。そして、このＮ個の変形ベクトルを平均化することにより、平均的な変形位置、つまり変形の中心への変形ベクトルを推定でき、これが入力画像の変形の無い位置への変形ベクトルｄ（ｄ’）となる。
【００２８】
《蓄積する画像のフレームの第２の例》
図４は、画像蓄積部１に蓄積する画像のフレームの第２の例を示す図である。
Ｎ個の変形ベクトルの計算量がシステムにとって多過ぎる場合には、現在の入力画像の直前の連続フレームから適当に（例えば、1枚おきに）間引いて間欠的に蓄積することにより、計算する変形ベクトルの数を「Ｎ／２」個に減らす。この場合、図３よりも変形ベクトルの推定精度が落ち得るが、蓄積した画像のフレームの変形が十分に散らばっていれば、問題なく変形の無い位置への変形ベクトルを推定できる。
【００２９】
《蓄積する画像のフレームの第３の例》
図５は、画像蓄積部１に蓄積する画像のフレームの第３の例を示す図である。
この例は、入力画像のフレームが時間的に連続しており、各フレーム間の時間間隔が十分に短い（例えば３０ｆｐｓのフレームレートの動画像）場合に、現在の入力画像の直前の「Ｎ／２」枚の画像と、直後の「Ｎ／２」枚の画像を蓄積する処理である。この現在の入力画像の前後の計Ｎ枚の画像を用いて、図３と同様に変形ベクトルを推定することができる。
【００３０】
《蓄積する画像のフレームの第４の例》
図６は、画像蓄積部１に蓄積する画像のフレームの第４の例を示す図である。
この例では、図５と同様に現在のフレームの直前および直後のフレームを蓄積する場合において、計算量削減のために、図４と同様に１フレームおきに間引いている。
【００３１】
ここまで、現在のフレームの直前のフレームの画像のみを蓄積する例（第１の例、第２の例）、および直前と直後の双方のフレームの画像を蓄積する例（第３の例、第４の例））を挙げたが、直後のフレームの画像のみを蓄積してもよい。つまり、現在のフレームの直前のフレームまたは直後のフレームの少なくとも一方を蓄積すればよい。入力画像の変形の状態や必要な計算精度、計算速度に合わせてこれらの選択することが好適である。
【００３２】
〈変形計算部の動作〉
図７は、変形計算部２の動作について説明するための図である。ここで、図７Ａは入力画像、図７Ｂは画像蓄積部１に蓄積された参照画像、図７Ｃはオプティカルフローを示している。
【００３３】
オプティカルフローは、２つの画像のフレームの間での局所的な動きの分布を表わすものである。オプティカルフローの計算の方法としては、入力画像の局所的なブロックのパターン（テンプレート）が、参照画像中でどの位置にあるかを２つの画像の注目画素（サンプル点）の周辺の局所領域（例えば、縦１０画素、横１０画素）の類似度に基づいて探す処理（これをテンプレートマッチング処理と言う）に基づくブロックマッチング法や、ある注目画素の輝度レベルの空間的な勾配と２フレームの画像の輝度レベルの差分から、動きベクトルを計算する勾配法などがある。これらの計算により、入力画像全体の局所的な変形（変形ベクトル）の分布が得られる。
【００３４】
これらの方法は、当該技術分野において広く用いられており、例えば、テンプレートマッチング法については非特許文献１の２０２ページから２０４ページ、オプティカルフローについては非特許文献１の２４３ページから２４５ページや非特許文献２に詳しく記載されている。
【００３５】
なお、オプティカルフローに代えて、入力画像中の小領域毎に等間隔で制御点と呼ぶ点を設定したとき、変形後の制御点同士はＢスプライン曲線などの近似曲線で滑らかに結ぶことができることを利用して、下記(i)〜(iii)のように処理することにより、Ｂスプライン曲線などの近似曲線を用いて変形を算出してもよい。
【００３６】
(i)入力画像の小領域毎に格子点を設定する。
(ii)格子点の位置、近似曲線のパラメータを変えて入力画像を変形させ、参照画像の同領域との差分を計算する。
(iii)上記の差分が最小になった時のパラメータを持つ近似曲線を入力画像-参照画像間の変形とする。
【００３７】
これにより、より精度の良い変形位置算出（変形ベクトル算出）ができ、より良い変形位置推定ができるようになる。なお、このような近似曲線を用いた変形の算出については非特許文献３に詳細に記載されている。
【００３８】
〈変形ベクトル推定部の動作〉
図８は、変形ベクトル推定部３の動作について説明するための図である。
入力画像と、画像蓄積部１に蓄積された各参照画像と、ランダムに変形している各参照画像との間の変形ベクトルは、ランダムな変形ベクトルになっているはずである。このランダムな変形ベクトルから、入力画像から変形のない本来の位置への変形ベクトルの推定が可能である。変形計算部２で求めた複数の変形ベクトルが十分にランダムであれば、その平均の位置に本来の位置への変形ベクトルがあると推定できる。
【００３９】
すなわち、図８において、Ｐａが入力画像中のある点、Ｐｂ１乃至Ｐｂ３が画像蓄積部１に蓄積された３枚の参照画像中の対応点であった場合、推定される対応点Ｐｅの本来の位置は、点Ｐａを基準点（原点）とするＰｂ１乃至Ｐｂ３の平均位置として推定できる。
【００４０】
ここで、複数の変形ベクトルの平均の位置に代えて、最頻の位置を用いることにより、外れ値（異常値）を除去し、ランダムな変形の外れ値（異常値）を除外し、最も起こり得る変形から、より精度の良い変形推定を行うように構成することもできる。
【００４１】
〈画像情報処理装置のハードウェア構成〉
図９は、本発明の実施形態に係る画像情報処理装置を実現するコンピュータシステムのハードウェア構成の一例を示す図である。
【００４２】
図示のように、本発明の実施形態に係る画像情報処理装置は汎用のコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、およびＩ／Ｆ（インタフェース）１５がバス１０を介して接続された構成を有し、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）などの表示部１６および操作部１７が接続されている。
【００４３】
ＣＰＵ１１は演算手段であり、コンピュータシステム全体の動作を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ１３は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等が格納されている。Ｉ／Ｆ１５は、バスと各種のハードウェアやネットワーク等を接続し制御する。表示部１６は、ユーザがコンピュータシステムの状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザがコンピュータシステムに情報を入力するためのユーザインタフェースである。
【００４４】
〈画像情報処理装置を含む画像処理システム〉
図１０は、本発明の実施形態に係る画像情報処理装置を含む画像処理システムの４つの構成例を示す図である。
【００４５】
図１０Ａに示す第１の構成例は、撮像装置１０１からの入力画像を本発明の実施形態に係る画像情報処理装置１０２で補正して変形補正画像を生成し、画像出力装置１０３に出力する形態である。
【００４６】
図１０Ｂに示す第２の構成例は、撮像装置１０１からの入力画像を本発明の実施形態に係る画像情報処理装置１０２で補正して変形補正画像を生成し、画像出力装置１０３と画像保存装置１０４に出力する形態である。
【００４７】
図１０Ｃに示す第３の構成例は、画像保存装置１０５からの入力画像を本発明の実施形態に係る画像情報処理装置１０２で補正して変形補正画像を生成し、画像出力装置１０３に出力する形態である。
【００４８】
図１０Ｄに示す第４の構成例では、画像保存装置１０５からの入力画像を本発明の実施形態に係る画像情報処理装置１０２で補正して変形補正画像を生成し、画像出力装置１０３と画像保存装置１０４に出力する形態である。
【００４９】
以上詳細に説明したように、本発明の実施形態に係る画像情報処理装置は、下記（１）乃至（８）の特徴を有する。
（１）入力画像から選択した複数枚の画像を参照画像とし、入力画像と各参照画像との間の各変形ベクトルを演算することで、精度の高い変形ベクトルを算出することができるので、時間的に激しい変形劣化が存在する入力画像から、その変形劣化を除去した正確な画像を取得することができる。
（２）入力画像に前処理を施して、画質を向上させることにより、変形位置算出の精度を向上させることができる。
（３）現在の入力画像の近傍（直前、直後、直前および直後）のある時間分の連続する画像を参照画像として取得することにより、現在の入力画像と同様の環境条件下で起こる別の変形画像を参照画像として取得する。これにより、変形推定精度を良くすることができる。
（４）現在の入力画像の近傍（直前、直後、直前および直後）のある時間分の連続する画像を間引いて取得することにより、現在の入力画像と同様の環境条件下で起こる別の変形画像の取得数を減らす。これにより、変形ベクトル計算の計算量を減らし、高速化を図ることができる。
（５）オプティカルフローを用いて変形ベクトルの算出を行うことにより、マッチングや勾配法を用いた少し大雑把であるが計算量の少ない変形位置算出ができる。
（６）Ｂスプライン曲線を用いた変形位置算出を行うことにより、近似曲線を用いたより精度の良い変形位置算出ができ、より良い変形推定ができる。
（７）入力画像と各参照画像とから計算した複数の変形ベクトルを平均化して本来の位置を推定することにより、ランダムな変形から妥当な本来の位置を推定できる。
（８）入力画像と各参照画像とから計算した複数の変形位置の最頻値を求めて本来の位置を推定することにより、ランダムな変形の外れ値（異常値）を除外し、最も起こり得る変形から、より精度の良い変形推定ができる。
【符号の説明】
【００５０】
１…画像蓄積部、２−１乃至２−Ｎ…変形計算部、３…変形ベクトル推定部、４…変形補正部、５…画像前処理部。
【先行技術文献】
【特許文献】
【００５１】
【特許文献１】特開２０１２−１０４０１８号公報
【非特許文献】
【００５２】
【非特許文献１】奥富正敏（外15名）著、「ディジタル画像処理」、財団法人画像情報教育振興会、2004年、p.202-204、p.243-245
【００５３】
【非特許文献２】Jean-Yves Bouguet著、「Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm」、  OpenCV Reference Manual、［online］、［平成２２年１０月８日検索］、  URL:http://trac.assembla.com/dilz_mgr/export/272/doc/ktl-tracking/algo_tracking.pdf
【００５４】
【非特許文献３】画像電子学会誌、第３７巻、第４号(2008)、「陽炎による遠方物体の不規則な変形を利用した超解像処理」、p.390-392（3.1  非剛体変形モデル、3.2  領域ベース手法による変形パラメータ推定法）
【図１】
2016161972.tif 000003
【図２】
2016161972.tif 000004
【図３】
2016161972.tif 000005
【図４】
2016161972.tif 000006
【図５】
2016161972.tif 000007
【図６】
2016161972.tif 000008
【図７】
2016161972.tif 000009
【図８】
2016161972.tif 000010
【図９】
2016161972.tif 000011
【図１０】
2016161972.tif 000012
【図１１】
2016161972.tif 000013