(57)【特許請求の範囲】
【請求項１】
それぞれが共通する部分領域を有する複数の入力フレームの低解像度画像を位置合わせして高解像度画像を生成する画像処理装置であって、
前記複数の入力フレームの中の１つを選択し、それを基準フレームとする基準フレーム選択部と、
選択された前記基準フレームに部分領域を設定する部分領域選択部と、
前記基準フレーム以外の複数の入力フレームのそれぞれにおいて前記基準フレームの部分領域の画像データとマッチする領域の中心点を求め、前記中心点の動きベクトルよりブレの角度と長さを求めて、ブレＰＳＦ（Point Spread Function）パラメータとしてメモリに記憶するブレＰＳＦ推定部と、
前記複数の入力フレームの中から選択された１つの基準フレームの画像および前記高解像度画像を生成する際に用いられる前記基準フレームの部分領域の位置とブレＰＳＦパラメータを表示させ、前記表示された部分領域の位置の調整に基づいて前記基準フレームの画像の表示内容を更新し、前記調整された部分領域の位置とブレＰＳＦパラメータを前記基準フレームのパラメータとしてメモリに記憶させるとともに、前記基準フレーム以外の複数入力フレームの部分領域の位置とブレＰＳＦパラメータを更新して前記メモリにそれぞれさらに記憶させる基準フレーム調整部と、
前記基準フレーム以外の入力フレームの１つである参照フレームの画像および前記参照フレームの部分領域の位置とブレＰＳＦパラメータを前記参照フレームのパラメータとして表示させ、前記表示された部分領域の位置の調整に基づいて前記参照フレームの画像の表示内容を更新し、前記調整された部分領域の位置とブレＰＳＦパラメータを前記参照フレームのパラメータとしてメモリに記憶させる参照フレーム調整部と、
前記各入力フレームに対して、対応するパラメータを用いて前記入力フレームの部分画像に含まれるブレを除去する処理を行うブレ除去部と、
前記ブレが除去された入力フレームの低解像度画像を位置合わせして高解像度画像を生成する画像生成部と、
を具備する画像処理装置。
【請求項２】
前記ブレＰＳＦ推定部は、前記複数の入力フレームのそれぞれについて、時間方向に前記入力フレームと近接する入力フレームの間で動きベクトルを計算し、前記動きベクトルの長さと方向から前記入力フレームのブレＰＳＦの長さと角度を推定し、
前記基準フレーム調整部は、前記ブレＰＳＦ推定部により推定された前記基準フレームの前記ブレＰＳＦの長さと調整後の前記ブレＰＳＦの長さとの比率を求め、前記基準フレーム以外の前記入力フレームの前記ブレＰＳＦの長さに前記比率を乗じる、
請求項１に記載の画像処理装置。
【請求項３】
前記ブレＰＳＦ推定部は、前記ブレＰＳＦの長さを推定する際に、前記入力フレームそれぞれの画像データから前記ブレＰＳＦの長さを推定し、推定したブレＰＳＦの長さと前記動きベクトルの長さとの比率をフレーム毎に求め、その比率を全フレームにわたって平滑化し、各動きベクトルの長さに平滑化した比率を乗算することにより各フレームのブレＰＳＦの長さを計算する、
請求項２に記載の画像処理装置。
【請求項４】
前記パラメータは、前記各入力フレームに含まれる前記部分領域の位置を示す複数の基準点座標であり、
前記基準フレーム調整部は、前記基準フレームの前記複数の基準点座標を表示させ、前記表示された複数の基準点座標の調整に基づいて前記基準フレームの画像の複数の基準点座標を更新し、前記調整された複数の基準点座標をメモリに記憶させる、
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記部分領域は、前記各入力フレームに含まれるナンバープレートであり、
前記位置合わせ基準点は、前記各入力フレームに含まれる前記ナンバープレートの４隅の位置に調整される、
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項６】
前記部分領域は、顔画像であり、
前記部分領域の位置は、前記各入力フレームに含まれる前記顔画像の複数の顔特徴点の位置であり、
前記基準フレーム調整部は、前記基準フレームの前記顔特徴点の位置および前記顔特徴点間を結ぶメッシュを表示させ、前記表示された顔特徴点の位置の調整に基づいて前記基準フレームの画像の前記顔特徴点の位置を更新し、前記調整された顔特徴点の位置をメモリに記憶させる、
請求項１から３のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、それぞれが共通する部分領域を有する複数の入力フレームの低解像度画像を位置合わせして高解像度画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
同一の被写体を撮影した複数入力フレームの画像に対し、各画像が低解像度で、かつ位置ずれがあれば、それらの画像の位置を合わせて重ね合わせることで、解像度の高い画像を生成することができる。この複数の低解像度画像から高解像度画像を生成する処理は、超解像処理と呼ばれる。
【０００３】
ここで、画像に位置ずれが生ずる撮影とは、静止している被写体に対してカメラを動かしながら撮影する場合、もしくは、動いている被写体を固定したカメラで撮影する場合である。なお、被写体もカメラも完全に静止している場合は、画像を何枚重ね合わせても解像度は上がらない。
【０００４】
また、画像の位置合わせ（マッチング）には、テンプレートマッチングや特徴点マッチングを用いて位置合わせパラメータ（平行移動・回転などの幾何変換行列）を求めるのが一般的である。また、画像の重ね合わせには、再構成法を用いるのが一般的である。再構成法とは、高解像度画像の推定画像を生成し、その推定画像の尤もらしさが最大となるように推定画像の更新・評価を繰り返して、推定画像の収束解を最終出力とするものである。推定画像の尤もらしさとしては、［１］推定画像の位置をずらして解像度を劣化させて得られる低解像度画像がどれだけ元の入力画像に近いか、［２］推定画像において画素値のつながりが自然かどうか、などである。
【０００５】
ところで、画像の位置合わせを自動で行う自動マッチング処理では、複数入力フレームの画像の位置合わせにおいて、基準点を見つけて合わせるという処理が行われるが、基準点の誤検出によるミスマッチは避けられない。特に、動いている被写体を遅いシャッタースピードで撮影すると被写体ブレが生じるため、ミスマッチする可能性が高くなる。
【０００６】
被写体ブレによるミスマッチの可能性を低減させるには、超解像処理を行う前に画像の被写体ブレを除去すればよい。被写体ブレを除去するためには、ブレの無い原画像にブレＰＳＦ（Point Spread Function、点ひろがり関数）を畳み込んだ結果がブレ画像であるというモデルに基づき、ブレ画像とブレＰＳＦから逆畳み込み（Deconvolution）を行うという手法が採られる（特許文献１参照）。この手法を用いることで、原画像に近いブレ除去画像を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２５９１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、超解像処理を行う前に被写体ブレを除去するようにしても、ノイズ等の影響もあってミスマッチの課題を完全に回避することは難しい。自動マッチング処理では、上手くマッチングができない場合、本来使えるはずのフレームの画像が排除されてしまう。この結果、利用できるフレームの数が減少してしまい、超解像処理を行っても高解像度画像を得ることができなくなる。
【０００９】
この課題は、自動マッチング処理を通さず手動で各画像の位置合わせを行うにすることで回避することができるが、複数入力フレームの画像を１枚１枚表示させて手作業で少しずつずらすことで位置合わせする作業は非常に煩雑で、非生産的である。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、複数入力フレームの画像の位置合わせを手作業で行う場合に、作業効率の向上を図ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、それぞれが共通する部分領域を有する複数の入力フレームの低解像度画像を位置合わせして高解像度画像を生成する画像処理装置であって、前記複数入力フレームの中から選択された１つの基準フレームの画像および前記高解像度画像を生成する際に用いられるパラメータを表示させ、前記表示されたパラメータの調整に基づいて前記基準フレームの画像の表示内容を更新し、前記調整されたパラメータを前記基準フレームのパラメータとしてメモリに記憶させる基準フレーム調整部と、前記基準フレーム以外の入力フレームの１つである参照フレームの画像、および、前記基準フレームのパラメータを前記参照フレームのパラメータとして表示させ、前記表示されたパラメータの調整に基づいて前記参照フレームの画像の表示内容を更新し、前記調整されたパラメータを前記参照フレームのパラメータとしてメモリに記憶させる参照フレーム調整部と、前記各入力フレームに対して、対応する前記パラメータを用いて前記入力フレームに含まれるブレを除去する処理を行うブレ除去部と、前記ブレが除去された入力フレームの低解像度画像を位置合わせして高解像度画像を生成する画像生成部と、を具備する。
【発明の効果】
【００１２】
本発明によれば、基準フレームでの調整結果を他の全ての参照フレームに対して反映できるので、複数入力フレームの画像の位置合わせを手作業で行う場合に、入力作業を少なくし、作業効率の向上を図ることができる。この結果、超解像処理に利用できるフレームの数を増やすことができるので、超解像処理によって高解像度画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る画像処理装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置において、自動で位置合わせするようにした超解像処理を説明するためのフローチャート
【図３】本発明の実施の形態１に係る画像処理装置において、手動で位置合わせするようにした超解像処理を説明するためのフローチャート
【図４】本発明の実施の形態１に係る画像処理装置の超解像処理における画像データ読み込み処理を説明するためのフローチャート
【図５】本発明の実施の形態１に係る画像処理装置の超解像処理において、自動で基準フレームを選択する処理を説明するためのフローチャート
【図６】本発明の実施の形態１に係る画像処理装置の超解像処理において、手動で基準フレームを選択する処理を説明するためのフローチャート
【図７】本発明の実施の形態１に係る画像処理装置の超解像処理における注目被写体領域の設定処理を説明するためのフローチャート
【図８】本発明の実施の形態１に係る画像処理装置の超解像処理における自動位置合わせ処理を説明するためのフローチャート
【図９】本発明の超解像処理における自動位置合わせ処理に用いられる幾何変換行列の一例を示す図
【図１０】本発明の実施の形態１に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図１１】本発明の実施の形態１に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図１２】本発明の実施の形態１に係る画像処理装置の超解像処理における基準フレームでのパラメータ調整処理を説明するためのフローチャート
【図１３】基準フレームでのパラメータ調整前のユーザインタフェース画面の一例を示す図
【図１４】基準フレームでのパラメータ調整後のユーザインタフェース画面の一例を示す図
【図１５】本発明の実施の形態１に係る画像処理装置の超解像処理における参照フレームでのパラメータ調整処理を説明するためのフローチャート
【図１６】本発明の実施の形態１に係る画像処理装置の超解像処理における参照フレームでのパラメータ調整処理を説明するためのフローチャート
【図１７】参照フレームでのパラメータ調整前のユーザインタフェース画面の一例を示す図
【図１８】参照フレームでのパラメータ調整後のユーザインタフェース画面の一例を示す図
【図１９】本発明の実施の形態１に係る画像処理装置の超解像処理におけるブレの除去処理を説明するためのフローチャート
【図２０】本発明の実施の形態１に係る画像処理装置の超解像処理における再構成処理を説明するためのフローチャート
【図２１】再構成処理に用いられる拡大変換行列Ｍｚの一例を示す図
【図２２】本発明の実施の形態２に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図２３】本発明の実施の形態２に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図２４】本発明の実施の形態３に係る画像処理装置の超解像処理における顔特徴点検出処理を説明するためのフローチャート
【図２５】本発明の実施の形態３に係る画像処理装置の超解像処理において表示される顔特徴点および平面パッチの一例を示す図
【図２６】本発明の実施の形態３に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図２７】本発明の実施の形態３に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図２８】本発明の実施の形態３に係る画像処理装置の超解像処理における基準フレームでのパラメータ調整処理を説明するためのフローチャート
【図２９】本発明の実施の形態３の基準フレームでのパラメータ調整処理における顔特徴点の写像処理の詳細を説明するためのフローチャート
【図３０】本発明の実施の形態３に係る画像処理装置の超解像処理における参照フレームでのパラメータ調整処理を説明するためのフローチャート
【図３１】本発明の実施の形態３に係る画像処理装置の超解像処理における参照フレームでのパラメータ調整処理を説明するためのフローチャート
【図３２】本発明の実施の形態３に係る画像処理装置の超解像処理における再構成処理を説明するためのフローチャート
【図３３】本発明の実施の形態４に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図３４】本発明の実施の形態４に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【図３５】本発明の実施の形態４に係る画像処理装置の超解像処理におけるブレＰＳＦの推定処理を説明するためのフローチャート
【発明を実施するための形態】
【００１４】
以下、本実施の形態を図面に基づいて詳細に説明する。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置１の概略構成を示すブロック図である。同図において、本実施の形態に係る画像処理装置１は、複数の低解像度画像から高解像度画像を生成する超解像処理を行うことが可能な装置であり、画像データ入力部１０、フレームメモリ１１、グラフィカルユーザインタフェース部１２、基準フレーム選択部１３、注目被写体領域選択部１４、マッチング計算部１５、ブレＰＳＦ推定部１６、メモリ部１７、基準フレーム調整部１８、参照フレーム調整部１９、ブレ除去部２０、再構成処理部２１、及び超解像画像出力部２２を備える。メモリ部１７は、基準点位置保持メモリ１７ＡとブレＰＳＦパラメータ保持メモリ１７Ｂから構成される。なお、再構成処理部２１と超解像画像出力部２２は、画像生成部２３を構成する。
【００１６】
画像データ入力部１０は、不図示のカメラからフレーム単位で順次出力される画像データを入力する。なお、画像データ入力部１０が入力したフレーム単位の画像データを、入力フレームとも言う。フレームメモリ１１は、入力フレームを一時的に保存する。グラフィカルユーザインタフェース部１２は、コンピュータグラフィックスと、マウス等のポインティング・デバイスとを用いて、直感的な操作を提供するユーザインタフェースである。
【００１７】
基準フレーム選択部１３は、フレームメモリ１１に保存された複数入力フレームの中の１つを選択し、それを基準フレームとする。基準フレームとなる入力フレームの選択は、フレームメモリ１１に保存された複数入力フレームのそれぞれの画質を評価し、最も評価の高い入力フレームを選択するか、またはフレームメモリ１１に保存された複数入力フレームの一覧を表示して、その中の１つをユーザに選択させる。
【００１８】
注目被写体領域選択部１４は、基準フレーム選択部１３で選択された基準フレームに注目被写体領域（部分領域）を設定する。基準フレームに対する注目被写体領域の設定はユーザによって行われる。すなわち、ユーザがマウス等のポインティング・デバイスを使用して注目被写体領域を設定する。
【００１９】
マッチング計算部１５は、フレームメモリ１１に保存されている基準フレーム以外の複数入力フレームのそれぞれに対し、基準フレームの注目被写体領域とマッチする領域を見つける。
【００２０】
ブレＰＳＦ推定部１６は、基準フレーム以外の複数入力フレームのそれぞれにおいて基準フレームの注目被写体領域の画像データとマッチする領域の中心点を求め、さらに、その中心点の動きベクトルよりブレの角度と長さを求めて、これらをブレＰＳＦパラメータとして保存する。
【００２１】
基準フレーム調整部１８は、複数入力フレームの中から選択された１つの基準フレームの画像および高解像度画像を生成する際に用いられる部分領域の位置とブレＰＳＦパラメータを表示させ、表示された部分領域の位置とブレＰＳＦパラメータの調整に基づいて基準フレームの画像の表示内容を更新し、調整された部分領域の位置とブレＰＳＦパラメータを基準フレームの部分領域の位置とブレＰＳＦパラメータとして基準点位置保持メモリ１７ＡとブレＰＳＦパラメータ保持メモリ１７Ｂにそれぞれ記憶させるとともに、基準フレーム以外の複数入力フレームの部分領域の位置とブレＰＳＦパラメータを更新して基準点位置保持メモリ１７ＡとブレＰＳＦパラメータ保持メモリ１７Ｂにそれぞれさらに記憶させる。
【００２２】
参照フレーム調整部１９は、基準フレーム以外の複数入力フレームの１つのである参照フレームの画像および参照フレームの部分領域の位置とブレＰＳＦパラメータを表示させ、表示された部分領域の位置とブレＰＳＦパラメータの調整に基づいて参照フレームの画像の表示内容を更新し、調整された部分領域の位置とブレＰＳＦパラメータを参照フレームの部分領域の位置とブレＰＳＦパラメータとして基準点位置保持メモリ１７ＡとブレＰＳＦパラメータ保持メモリ１７Ｂにそれぞれ記憶させる。
【００２３】
ブレ除去部２０は、フレームメモリ１１に保存されている複数入力フレームのそれぞれに対して、対応するブレＰＳＦパラメータを用いて当該入力フレームに含まれるブレを除去する処理を行う。再構成処理部２１は、ブレが除去されたフレームの低解像度画像を位置合わせして高解像度画像を生成する。超解像画像出力部２２は、再構成処理部２１で生成された高解像度画像を出力する。
【００２４】
次に、本実施の形態に係る画像処理装置１の動作について説明する。
【００２５】
（超解像処理）
図２は、超解像処理を示すフローチャートである。同図において、超解像処理は、画像データの読み込み（ステップＳ１）、基準フレームの選択（ステップＳ２）、注目被写体領域の設定（ステップＳ３）、自動位置合わせ（ステップＳ４）、ブレＰＳＦの推定（ステップＳ５）、基準フレームでのパラメータ調整（ステップＳ６）、参照フレームでのパラメータ調整（ステップＳ７）、ブレの除去（ステップＳ８）、再構成処理（ステップＳ９）及び超解像画像の出力（ステップＳ１０）の１０ステップからなる。なお、図２に示す超解像処理は、自動位置合わせをする場合であるが、手動で位置合わせする場合もある。図３は、手動で位置合わせするようにした超解像処理を示すフローチャートである。手動で位置合わせする場合、ステップＳ４の自動位置合わせと、ステップＳ５のブレＰＳＦの推定の２つのステップが不要となる。以下、自動位置合わせを利用した場合の超解像処理の各ステップを詳細に説明する。
【００２６】
（画像データ読み込み処理）
図４は、画像データの読み込み処理を説明するためのフローチャートである。なお、同図において、ＰｏｓＣ、ＰｏｓＰ及びＰｏｓＮは、それぞれレジスタである。まず画像ファイルを開き（ステップＳ２０）、指定されたフレームへシーク（移動）する（ステップＳ２１）。そして、指定された現在入力フレームのフレーム番号をＰｏｓＣに設定する（ステップＳ２２）。次いで、ＰｏｓＣに設定した現在入力フレームのフレーム番号のフレームデータをフレームメモリ１１に読み込む（ステップＳ２３）。次いで、ＰｏｓＣの設定値を「１」減算し、その値をＰｏｓＰに設定する（ステップＳ２４）。すなわち、現在入力フレームの１つ前方の入力フレームのフレーム番号をＰｏｓＰに設定する。次いで、ＰｏｓＰに設定したフレーム番号のフレームデータが存在するどうか判定する（ステップＳ２５）。この判定において、ＰｏｓＰに設定したフレーム番号のフレームデータが存在する場合（ステップＳ２５：ＹＥＳ）、ＰｏｓＣに設定したフレーム番号からＰｏｓＰに設定したフレーム番号を減算した値が「Ｒ」以下かどうか判定する（ステップＳ２６）。ここで、「Ｒ」は、現在フレームを基点として、前方および後方それぞれに参照可能な最大フレーム数で、予めユーザが設定した値である。
【００２７】
ＰｏｓＣに設定したフレーム番号からＰｏｓＰに設定したフレーム番号を減算した値が「Ｒ」以下である場合（ステップＳ２６：ＹＥＳ）、ＰｏｓＰに設定したフレーム番号のフレームデータをフレームメモリ１１に読み込む（ステップＳ２７）。そして、ＰｏｓＰに設定したフレーム番号を「１」減算し（ステップＳ２８）、ステップＳ２５の判定に戻る。
【００２８】
一方、ステップＳ２５において、ＰｏｓＰに設定したフレーム番号のフレームデータが存在しない場合（ステップＳ２５：ＮＯ）、または、ステップＳ２６において、ＰｏｓＣに設定したフレーム番号からＰｏｓＰに設定したフレーム番号を減算した値が「Ｒ」より大きい場合（ステップＳ２６：ＮＯ）、ＰｏｓＣの値に「１」加算し、その値をＰｏｓＮに設定する（ステップＳ２９）。すなわち、現在入力フレームの１つ後方の入力フレームのフレーム番号をＰｏｓＮに設定する。そして、ＰｏｓＮに設定したフレーム番号のフレームデータが存在するかどうか判定する（ステップＳ３０）。この判定において、ＰｏｓＮに設定したフレーム番号のフレームデータが存在する場合（ステップＳ３０：ＹＥＳ）、ＰｏｓＮに設定したフレーム番号からＰｏｓＣに設定したフレーム番号を減算した値がＲ以下かどうか判定する（ステップＳ３１）。
【００２９】
ＰｏｓＮに設定したフレーム番号からＰｏｓＣに設定したフレーム番号を減算した値が「Ｒ」以下である場合（ステップＳ３１：ＹＥＳ）、ＰｏｓＮに設定したフレーム番号のフレームデータをフレームメモリ１１に読み込む（ステップＳ３２）。次いで、ＰｏｓＮに設定したフレーム番号に「１」加算し（ステップＳ３３）、ステップＳ３０の判定に戻る。
【００３０】
一方、ステップＳ３０において、ＰｏｓＮに設定したフレーム番号のフレームデータが存在しない場合（ステップＳ３０：ＮＯ）、または、ステップＳ３１において、ＰｏｓＮに設定したフレーム番号からＰｏｓＣに設定したフレーム番号を減算した値が「Ｒ」以下ではない場合（ステップＳ３１：ＮＯ）、画像データの読み込みを終了する。
【００３１】
（基準フレーム選択処理）
図５は、基準フレーム選択処理を説明するためのフローチャートである。なお、同図において、ＦｒｍＲはレジスタである。まずＦｒｍＲに「１」を設定する（ステップＳ４０）。次いで、フレームメモリ１１中のＦｒｍＲ番目の入力フレームのデータを取得する（ステップＳ４１）。そして、取得したフレームデータの画質を評価し、評価スコアを得る（ステップＳ４２）。次いで、今回得られた評価スコアが評価済みの入力フレームの中で最大かどうか判定し（ステップＳ４３）、今回得られた評価スコアが最大ではない場合（ステップＳ４３：ＮＯ）、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ４４）。
【００３２】
一方、今回得られた評価スコアが最大である場合（ステップＳ４３：ＹＥＳ）、ＦｒｍＲ番目の入力フレームを基準フレーム（ＦｒｍＡ）とする（ステップＳ４５）。ここで、画質が高い（コーデックで強い圧縮がかけられておらず、高周波成分が良く残っている）入力フレームを基準フレームとするのが好ましい。例えば、各フレームデータを周波数領域に変換して、高周波成分の多い・少ないで画質を評価し、最も高周波成分が多い入力フレームを基準フレームとする方法が有効である。
【００３３】
ステップＳ４５の処理後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ４４）。次いで、ＦｒｍＲの値が「Ｎ」（フレームメモリ１１に格納された入力フレームの総数）以下かどうか判定し（ステップＳ４６）、「Ｎ」以下の場合（ステップＳ４６：ＹＥＳ）、ステップＳ４１に戻り、「Ｎ」以下ではない場合（ステップＳ４６：ＮＯ）、基準フレーム選択処理を終了する。
【００３４】
なお、上記基準フレーム選択処理は、自動で基準フレームを選択する場合であるが、ユーザが手動によって基準フレームを選択するようにしてもよい。図６は、ユーザが手動によって基準フレームを選択する場合の基準フレーム選択処理を説明するためのフローチャートである。まずフレームメモリ１１に格納された入力フレーム一覧を表示する（ステップＳ４０ａ）。そして、ユーザに、基準フレームに対する入力フレームを入力フレーム一覧から選択させる（ステップＳ４１ａ）。すなわち、基準フレームに対する入力フレームを入力フレーム一覧から選択させる指示をユーザに出す。当該指示を出した後、基準フレームに対する入力フレームの選択が完了したかどうか判定し（ステップＳ４２ａ）、選択が完了していない場合（ステップＳ４２ａ：ＮＯ）、ステップＳ４１ａに戻り、選択が完了した場合（ステップＳ４２ａ：ＹＥＳ）、選択された入力フレームを基準フレーム（ＦｒｍＡ）とする（ステップＳ４３ａ）。この処理後、基準フレーム選択処理を終了する。
【００３５】
（注目被写体領域設定処理）
図７は、注目被写体領域設定処理を説明するためのフローチャートである。同図において、まずフレームメモリ１１に格納された基準フレーム（ＦｒｍＡ）全体を表示する（ステップＳ５０）。次いで、ユーザに、注目被写体領域を基準フレームに設定させる（ステップＳ５１）。すなわち、基準フレームに注目被写体領域を設定する指示をユーザに出す。この場合、表示したフレーム画像上で、矩形領域をマウスでクリック＆ドラッグすることで選択させるか、または、設定ウィンドウを開いて、矩形領域の四隅の座標値を数値入力させる。もしくは、画像処理を併用することで、次のようなバリエーションも考えられる。すなわち、表示されたフレーム画像上で、注目被写体上の１点のみをクリックさせることで、クリックされた点近傍を画像処理して、注目被写体領域を自動検出・設定する。例えば、エッジ検出して、クリック点を囲む四角形を抽出し、最もナンバープレートらしい四角形を選んで、その四角形を囲む矩形領域を注目被写体領域とする。
【００３６】
次いで、基準フレームに対する注目被写体領域の設定が完了したかどうか判定し（ステップＳ５２）、基準フレームに対する注目被写体領域の設定が完了していない場合（ステップＳ５２：ＮＯ）、ステップＳ５１に戻り、基準フレームに対する注目被写体領域の設定が完了した場合（ステップＳ５２：ＹＥＳ）、設定された領域を注目被写体領域（ＲｏｉＡ）とする（ステップＳ５３）。この処理後、注目被写体領域設定処理を終了する。
【００３７】
（自動位置合わせ処理）
図８は、自動位置合わせ処理を説明するためのフローチャートである。同図において、まず基準フレーム（ＦｒｍＡ）から注目被写体領域（ＲｏｉＡ）の画像データ（ＩｍｇＡ）を取得する（ステップＳ６０）。次いで、ＦｒｍＡの値を「１」減算し、その値をＦｒｍＲに設定し（ステップＳ６１）、ＦｒｍＲの値が「１」以上かどうか判定する（ステップＳ６２）。この判定において、ＦｒｍＲの値が「１」以上である場合（ステップＳ６２：ＹＥＳ）、フレームメモリ１１内のＦｒｍＲ番目のフレームデータを取得する（ＩｍｇＲ）（ステップＳ６３）。次いで、ＩｍｇＲの中でＩｍｇＡとマッチする領域を見つける（ＲｏｉＲ）（ステップＳ６４）。ＩｍｇＲの中でＩｍｇＡとマッチする領域を見つけると、当該ＲｏｉＲをＲｏｉＡに写像する幾何変換行列（ＭＦｒｍＲ−ＦｒｍＡ）を求める（ステップＳ６５）。
【００３８】
次いで、ＲｏｉＲおよび幾何変換行列（ＭＦｒｍＲ−ＦｒｍＡ）を基準点位置保持メモリ１７Ａに格納する（ステップＳ６６）。その後、ＦｒｍＲの値を「１」減算し、その値をＦｒｍＲに設定し（ステップＳ６７）、ステップＳ６２に戻る。
【００３９】
一方、ステップＳ６２でＦｒｍＲの値が「１」以上ではないと判定した場合（ステップＳ６２：ＮＯ）、ＦｒｍＡの値を「１」加算し、その値をＦｒｍＲに設定し（ステップＳ６８）、ＦｒｍＲの値が「Ｎ」以下かどうか判定する（ステップＳ６９）。この判定において、ＦｒｍＲの値が「Ｎ」以下である場合（ステップＳ６９：ＹＥＳ）、フレームメモリ１１内のＦｒｍＲ番目のフレームデータを取得する（ＩｍｇＲ）（ステップＳ７０）。次いで、ＩｍｇＲの中でＩｍｇＡとマッチする領域を見つける（ＲｏｉＲ）（ステップＳ７１）。そして、見つけたＲｏｉＲをＲｏｉＡに写像する幾何変換行列（ＭＦｒｍＲ−ＦｒｍＡ）を求める（ステップＳ７２）。そして、ＲｏｉＲおよび幾何変換行列（ＭＦｒｍＲ−ＦｒｍＡ）を基準点位置保持メモリ１７Ａに格納する（ステップＳ７３）。その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定し（ステップＳ７４）、ステップＳ６９に戻る。
【００４０】
また、ステップＳ６９でＦｒｍＲの値が「Ｎ」以下ではないと判定した場合（ステップＳ６９：ＮＯ）、自動位置合わせ処理を終了する。
【００４１】
ここで、マッチングには、テンプレートマッチングや特徴点マッチング等の公知の手法を用いることができる。また、幾何変換行列Ｍは、以下の８元連立方程式を解くことで得られる。
ＲｏｉＡ．Ｃ１＝Ｍ×ＲｏｉＲ．Ｃ１
ＲｏｉＡ．Ｃ２＝Ｍ×ＲｏｉＲ．Ｃ２
ＲｏｉＡ．Ｃ３＝Ｍ×ＲｏｉＲ．Ｃ３
ＲｏｉＡ．Ｃ４＝Ｍ×ＲｏｉＲ．Ｃ４
幾何変換行列Ｍは、図９に示すようになり、ｈ１〜ｈ８は未知数である。
ＲｏｉＸ．Ｃｎは、注目被写体領域のコーナー点ｎの位置ベクトル（座標をｘ，ｙとすると、（ｘ，ｙ，１）Ｔ）である。
【００４２】
（ブレＰＳＦ推定処理）
図１０及び図１１は、ブレＰＳＦ推定処理を説明するためのフローチャートである。このブレＰＳＦ推定処理は、各入力フレームについて、隣接入力フレームとの位置合わせ結果に基づいて動きベクトルを計算し、動きベクトルの長さと方向をその入力フレームにおける被写体ブレの長さ・方向とするものである。
【００４３】
これらの図において、まずＦｒｍＲに「１」を設定する（ステップＳ８０）。次いで、基準点位置保持メモリ１７ＡからＲｏｉＲを取得する（ステップＳ８１）。そして、取得したＲｏｉＲの中心点（ＣｔｒＲ）を求める（ステップＳ８２）。次いで、ＦｒｍＲの値を「１」減算し、その値をＦｒｍＰに設定するとともに、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＮに設定する（ステップＳ８３）。そして、ＦｒｍＰの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８４）、「１」以上「Ｎ」以下である場合（ステップＳ８４：ＹＥＳ）、ＣｔｒＲをＦｒｍＰに写像する（ＣｔｒＰ）（ステップＳ８５）。
【００４４】
ステップＳ８５の写像の計算は、ＣｔｒＰ←ＭＦｒｍＲ→ＦｒｍＰ*ＣｔｒＲである。
ここで、ＭＦｒｍＲ→ＦｒｍＰ＝ＭＦｒｍＡ→ＦｒｍＰ*ＭＦｒｍＲ→ＦｒｍＡ＝ＭＦｒｍＰ→ＦｒｍＡ−１*ＭＦｒｍＲ→ＦｒｍＡ＝である。右辺のＭＦｒｍＲ→ＦｒｍＡ及びＭＦｒｍＲ→ＦｒｍＡは、基準点位置保持メモリ１７Ａから取得する。
【００４５】
ＣｔｒＲをＦｒｍＰに写像した後、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８６）、「１」以上「Ｎ」以下である場合（ステップＳ８６：ＹＥＳ）、ＣｔｒＲをＦｒｍＮに写像する（ＣｔｒＮ）（ステップＳ８７）。なお、ステップＳ８７の写像の計算は、ステップＳ８５のものと同様である。
【００４６】
次いで、（ベクトル（ＣｔｒＰ→ＣｔｒＲ）＋ベクトル（ＣｔｒＲ→ＣｔｒＮ））÷２の値を動きベクトルＭｖＲに設定する（ステップＳ８８）。
【００４７】
一方、ステップＳ８６でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８６：ＮＯ）、ベクトル（ＣｔｒＰ→ＣｔｒＲ）を動きベクトルＭｖＲに設定する（ステップＳ８９）。
【００４８】
また、ステップＳ８４でＦｒｍＰの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８４：ＮＯ）、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ９０）、「１」以上「Ｎ」以下である場合（ステップＳ９０：ＹＥＳ）、ＣｔｒＲをＦｒｍＮに写像する（ＣｔｒＮ）（ステップＳ９１）。なお、ステップＳ９１の写像の計算は、ステップＳ８５のものと同様である。
【００４９】
次いで、ベクトル（ＣｔｒＲ→ＣｔｒＮ）の値を動きベクトルＭｖＲに設定する（ステップＳ９２）。
【００５０】
ステップＳ８８，ステップＳ８９及びステップＳ９２の中のいずれか１つの処理を行った後、ＭｖＲがｘ軸となす角度・ＭｖＲの長さを、ブレの角度（ＢａＲ）・長さ（ＢｌＲ）とする（ステップＳ９３）。そして、求めたブレの角度（ＢａＲ）・長さ（ＢｌＲ）をブレＰＳＦパラメータ保持メモリ１７Ｂに格納する（ステップＳ９４）。そして、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ９５）。次いで、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ９６）、「Ｎ」以下である場合（ステップＳ９６：ＹＥＳ）、ステップＳ８１に戻る。これに対して、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ９６：ＮＯ）、ブレＰＳＦの推定処理を終了する。
【００５１】
一方、ステップＳ９０でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ９０：ＮＯ）、ＲｏｉＲ近傍の画像データをフレームメモリ１１から取得し（ステップＳ１０４）、取得した画像データからブレの角度（ＢａＲ）・長さ（ＢｌＲ）を推定する（ステップＳ１０５）。その後、ステップＳ９４に移行する。
【００５２】
（基準フレームでのパラメータ調整処理）
図１２は、基準フレームでのパラメータ調整処理を説明するためのフローチャートである。同図において、まず基準フレーム（ＦｒｍＡ）の画像データをフレームメモリ１１から取得し（ステップＳ１１０）、これを表示する（ステップＳ１１１）。次いで、基準点位置保持メモリ１７ＡからＦｒｍＡの注目被写体領域（ＲｏｉＡ）を取得し（ステップＳ１１２）、取得したＲｏｉＡのコーナー点及び領域枠を表示する（ステップＳ１１３）。さらに、ＲｏｉＡのコーナー点の座標を表示する（ステップＳ１１４）。
【００５３】
次いで、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＡのブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）を取得し（ステップＳ１１５）、取得したブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）からブレＰＳＦ画像を生成して表示する（ステップＳ１１６）。また、ブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）の数値を表示する（ステップＳ１１７）。
【００５４】
そして、表示中のＲｏｉＡの位置やブレＰＳＦパラメータをユーザに調整させる（ステップＳ１１８）。すなわち、ユーザに対し、表示中のＲｏｉＡの位置やブレＰＳＦパラメータを調整するように指示を出す。これにより、ユーザがＲｏｉＡの位置やブレＰＳＦパラメータを調整すると、調整内容に応じて画面表示内容を更新する（ステップＳ１１９）。そして、ユーザによる調整が完了したかどうか判定し（ステップＳ１２０）、完了していない場合（ステップＳ１２０：ＮＯ）、ステップＳ１１８に戻り、完了した場合（ステップＳ１２０：ＹＥＳ）、基準フレームの元のブレ長ＢｌＡと調整後のブレ長ＢｌＡ’の比（Ｂ’２ＢｌＡ）を求める（ステップＳ１２１）。
【００５５】
次いで、ＦｒｍＲに「１」を設定する（ステップＳ１２２）。そして、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＲ番フレームのブレ長（ＢｌＲ）を取得し（ステップＳ１２３）、ＢｌＲ*Ｂ’２ＢｌＡを計算し、その結果をＢｌＲ’に設定する（ステップＳ１２４）。次いで、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納されたＢｌＲをＢｌＲ’で更新する（ステップＳ１２５）。次いで、基準点位置保持メモリ１７ＡからＦｒｍＲの幾何変換行列ＭＦｒｍＲ→ＦｒｍＡを取得し（ステップＳ１２６）、ＭＦｒｍＲ→ＦｒｍＡ−１*ＲｏｉＡ’を計算して、その結果をＲｏｉＲ’とする（ステップＳ１２７）。
【００５６】
ここで、ＲｏｉＡ’：ユーザによる調整完了時点でのＲｏｉＡの位置である。また、
ＲｏｉＲ’←ＭＦｒｍＲ→ＦｒｍＡ−１×ＲｏｉＡ’とは、
ＲｏｉＲ’.Ｃ１←ＭＦｒｍＲ→ＦｒｍＡ−１×ＲｏｉＡ’.Ｃ１
ＲｏｉＲ’.Ｃ２←ＭＦｒｍＲ→ＦｒｍＡ−１×ＲｏｉＡ’.Ｃ２
ＲｏｉＲ’.Ｃ３←ＭＦｒｍＲ→ＦｒｍＡ−１×ＲｏｉＡ’.Ｃ３
ＲｏｉＲ’.Ｃ４←ＭＦｒｍＲ→ＦｒｍＡ−１×ＲｏｉＡ’.Ｃ４
を表現したもので、ＲｏｉＡ’の各コーナー座標を幾何変換行列ＭＦｒｍＲ→ＦｒｍＡ−１によって写像した座標を計算する。自動位置合わせ処理を行わなかった場合は、ＭＦｒｍＲ→ＦｒｍＡ−１を単位行列と見做して計算する。
【００５７】
次いで、基準点位置保持メモリ１７Ａに格納された注目被写体領域ＲｏｉＲをＲｏｉＲ’で更新する（ステップＳ１２８）。次いで、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ１２９）。そして、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ１３０）、「Ｎ」以下である場合（ステップＳ１３０：ＹＥＳ）、ステップＳ１２３に戻り、「Ｎ」以下ではない場合（ステップＳ１３０：ＮＯ）、基準フレームでのパラメータ調整処理を終了する。
【００５８】
ステップＳ１２１〜ステップＳ１３０の処理（すなわちユーザによる調整完了後の一連の処理）によって、参照フレームの個別調整にかかる後の作業が大きく軽減される。
【００５９】
なお、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納した他のパラメータ（焦点ボケの大きさ・形状や、ボケ除去時の強度設定など）を表示し、設定値をユーザで変更できるようにしてもよい。
【００６０】
図１３は、基準フレームでのパラメータ調整前のユーザインタフェース画面の一例を示す図である。同図（ａ）は基準フレームの画像、同図（ｂ）はブレＰＳＦ画像である。基準フレームの調整では、位置合わせの基準とする４点（点１〜点４）の位置を基準フレームにて調整する。例えば、初期状態で注目被写体領域の４隅に置かれている各点（点１〜点４）を注目被写体領域内のナンバープレート１００の４隅に移動する操作を行う。また、ブレＰＳＦパラメータである、ブレ角度とブレ長の調整前は、ブレＰＳＦ画像が実際のブレ長よりも横長になっており、このままブレ除去を施すと過補正となり、ノイズが生じ得る状態となっている。
【００６１】
図１４は、基準フレームでのパラメータ調整後のユーザインタフェース画面の一例を示す図である。同図（ａ）は基準フレームの画像、同図（ｂ）はブレＰＳＦ画像である。初期状態で注目被写体領域の４隅に置かれている各点（点１〜点４）が注目被写体領域内のナンバープレート１００の４隅に位置している。また、ブレＰＳＦパラメータである、ブレ角度とブレ長が調整されているので、ブレＰＳＦ画像が略点になっており、適切なブレ長が設定され、ブレ除去結果が良好となる状態となっている。
【００６２】
（参照フレームでのパラメータ調整処理）
図１５及び図１６は、参照フレームでのパラメータ調整処理を説明するためのフローチャートである。同図において、まず基準フレーム（ＦｒｍＡ）の画像データをフレームメモリ１１から取得し（ステップＳ１４０）、これを表示する（ステップＳ１４１）。次いで、基準点位置保持メモリ１７ＡからＦｒｍＡの注目被写体領域（ＲｏｉＡ）を取得する（ステップＳ１４２）。そして、取得した注目被写体領域（ＲｏｉＡ）のコーナー点及び領域枠を表示する（ステップＳ１４３）。また、ＲｏｉＡのコーナー点の座標を表示する（ステップＳ１４４）。さらに、フレームメモリ１１に格納された全フレームの一覧を表示する（ステップＳ１４５）。また、フレーム一覧に表示された個々のフレームに注目被写体領域の枠を表示する（ステップＳ１４６）。
【００６３】
次いで、任意の１フレームを選択状態にし（ステップＳ１４７）、参照フレームの選択変更や選択中参照フレームのパラメータ調整をユーザに行わせる（ステップＳ１４８）。すなわち、ユーザに対し、参照フレームの選択変更や選択中参照フレームのパラメータ調整するように指示を出す。これにより、ユーザが参照フレームの選択変更や選択中参照フレームのパラメータ調整を行う。次いで、参照フレームの選択状態が変更されたかどうか判定し（ステップＳ１４９）、参照フレームの選択状態が変更された場合（ステップＳ１４９：ＹＥＳ）、選択中参照フレーム（ＦｒｍＲ）の画像データをフレームメモリ１１から取得し（ステップＳ１５０）、これを表示する（ステップＳ１５１）。
【００６４】
ＦｒｍＲを表示した後、基準点位置保持メモリ１７ＡからＦｒｍＲの注目被写体領域（ＲｏｉＲ）を取得する（ステップＳ１５２）。そして、取得したＲｏｉＲのコーナー点及び領域枠を表示し（ステップＳ１５３）、またＲｏｉＲのコーナー点の座標を表示する（ステップＳ１５４）。さらに、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＲのブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）を取得し（ステップＳ１５５）、ブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）からブレＰＳＦ画像を生成して表示する（ステップＳ１５６）。また、ブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）の数値を表示する（ステップＳ１５７）。その後、ステップＳ１４８に戻る。
【００６５】
一方、ステップＳ１４９で参照フレームの選択状態が変更されていないと判定された場合（ステップＳ１４９：ＮＯ）、ＲｏｉＲやブレＰＳＦパラメータが変更されたかどうか判定する（ステップＳ１５８）。ＲｏｉＲやブレＰＳＦパラメータが変更された場合（ステップＳ１５８：ＹＥＳ）、調整内容に応じて画面表示内容を更新する（ステップＳ１５９）。そして、調整内容に応じて、選択中参照フレーム（ＦｒｍＲ）に対する、基準点位置保持メモリ１７ＡやブレＰＳＦパラメータ保持メモリ１７Ｂの設定値を変更する（ステップＳ１６０）。その後、ステップＳ１４８に戻る。
【００６６】
また、ステップＳ１５８でＲｏｉＲやブレＰＳＦパラメータが変更されていないと判定された場合（ステップＳ１５８：ＮＯ）、調整完了かどうか判定し（ステップＳ１６１）、調整完了ではない場合（ステップＳ１６１：ＮＯ）、ステップＳ１４８に戻り、調整完了の場合（ステップＳ１６１：ＹＥＳ）、参照フレームでのパラメータ調整処理を終了する。
【００６７】
図１７は、参照フレームでのパラメータ調整前のユーザインタフェース画面の一例を示す図である。同図（ａ）は選択中の入力フレーム（参照フレーム）の画像、同図（ｂ）は選択中の入力フレーム（参照フレーム）におけるブレＰＳＦ画像である。参照フレームの調整では、基準フレームの前後の全てのフレームのそれぞれについて、基準フレームに設定した基準点に対する４点（点１〜点４）の位置調整を行う。参照フレームの調整では、基準フレームに設定した基準点を利用するので、調整前でも基準フレームと略一致することから、４点（点１〜点４）の位置が略ナンバープレート１００の４隅に位置する。これにより、短時間で４点（点１〜点４）の位置をナンバープレート１００の４隅に位置させることができる。調整前の４点（点１〜点４）のうち、点１の座標は「Ｘ＝２９０．７５００、Ｙ＝３５７．２５００」、点２の座標は「Ｘ＝３１３．００００、Ｙ＝３５５．５０００」、点３の座標は「Ｘ＝２９１．０４４９、Ｙ＝３６８．３４４５」、点４の座標は「Ｘ＝３１３．２５００、Ｙ＝３６６．７５００」である。
【００６８】
また、ブレＰＳＦパラメータである、ブレ角度とブレ長も基準フレームでの調整に略一致していることから、ブレ長がほぼ適切な長さに予め調整されている。
【００６９】
図１８は、参照フレームでのパラメータ調整後のユーザインタフェース画面の一例を示す図である。同図（ａ）は選択中の入力フレーム（参照フレーム）の画像、同図（ｂ）は選択中の入力フレーム（参照フレーム）におけるブレＰＳＦ画像である。基準フレームに設定した基準点に対する４点（点１〜点４）の位置調整を極短時間で終えることができる。図１８に示す調整後の４点（点１〜点４）のうち、点１の座標は「Ｘ＝２９０．６１８５、Ｙ＝３５７．３２２５」、点２の座標は「Ｘ＝３１３．２２５３、Ｙ＝３５５．５４５２」、点３の座標は「Ｘ＝２９１．０４４９、Ｙ＝３６８．３４４５」、点４の座標は「Ｘ＝３１３．６５３０、Ｙ＝３６６．８１４８」であり、パラメータ調整前の各点の位置との差が僅かである。
【００７０】
このように、基準フレームで位置合わせの基準点の位置や、ブレ長さ等のブレＰＳＦパラメータを調整できて、基準フレームでの調整結果を他の全ての参照フレームに対して反映させることができる。
【００７１】
（ブレの除去処理）
図１９は、ブレの除去処理を説明するためのフローチャートである。同図において、まずＦｒｍＲに「１」を設定する（ステップＳ１７０）。次いで、基準点位置保持メモリ１７ＡからＲｏｉＲを取得する（ステップＳ１７１）。次いで、ＲｏｉＲ近傍の画像データ（ＩｍｇＲ）をフレームメモリ１１から取得する（ステップＳ１７２）。さらに、ブレＰＳＦパラメータ保持メモリ１７ＢからブレＰＳＦパラメータを取得する（ステップＳ１７３）。
【００７２】
そして、取得したブレＰＳＦパラメータからブレＰＳＦ画像を生成する（ステップＳ１７４）。なお、ブレＰＳＦ画像の生成の詳細は後述する。
【００７３】
そして、生成したブレＰＳＦ画像で画像データ（ＩｍｇＲ）にDeconvolutionを施し、画像データ（ＩｍｇＲ’）を得る（ステップＳ１７５）。
【００７４】
なお、Deconvolutionには、公知の方法を使うことができる。以下、公知の例を挙げる。
【００７５】
・Ｉｎｖｅｒｓｅ Ｆｉｌｔｅｒ
畳み込み演算とフーリエ変換の性質を利用して、
Ｘ×ＰＳＦ＝Ｙ → ＦＴ（Ｘ） ＦＴ（ＰＳＦ）＝ＦＴ（Ｙ）→ ＦＴ（Ｘ）＝ＦＴ（Ｙ）／ＦＴ（ＰＳＦ）に基づき、原画像を復元するもの。
（Ｘ：ボケ・ブレのない原画像、ＰＳＦ：ボケ・ブレの点広がり関数、Ｙ：ボケ・ブレのある観測画像、＊：畳み込み演算、ＦＴ（・）：フーリエ変換）
【００７６】
・Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ
上記の改良版で、ランダムノイズの項をモデル式に含め(Ｘ ＊ ＰＳＦ ＋ Ｗ ＝ Ｙ)、弊害を抑えたもの(Ｗ：ランダムノイズ成分)。
【００７７】
・Ｗ．Ｈ．Ｒｉｃｈａｒｄｓｏｎ，’’Bayesian-Based Iterative Method of Image Restoration’’，Journal of Optical Society of America， Vol. 62, ＮＯ. 1, 1972
Ｘの初期解を置いて、ＸとＰＳＦとＹの値から、次のＸを求めてＸを更新する手順を反復的にＸが収束するまで繰り返す方法で、フーリエ変換には依らない。 
【００７８】
そして、画像データ（ＩｍｇＲ’）を得た後、フレームメモリ１１内の画像データ（ＩｍｇＲ）を画像データ（ＩｍｇＲ’）に置き換える（ステップＳ１７６）。その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ１７７）。その後、ＦｒｍＲの値が「Ｎ」以下かどうか判定し（ステップＳ１７８）、「Ｎ」以下である場合（ステップＳ１７８：ＹＥＳ）、ステップＳ１７１に戻り、「Ｎ」以下ではない場合（ステップＳ１７８：ＮＯ）、ブレの除去処理を終了する。
【００７９】
以下、ブレＰＳＦパラメータ（ブレ角度ＢａＲ、ブレ長さＢｌＲ）からブレＰＳＦ画像を生成する例を挙げる。
１．ブレの軌跡を収めるのに必要十分なサイズの画像データを用意し、０で初期化する。
２．用意した画像の中心を原点として、原点を通り、ｘ軸とのなす角度がＢａＲ、長さがＢｌＲである線分（線分の中点は原点に等しい）上の各点に位置する画像データの画素値を１．０（＝最大輝度レベル）に書き換える。
３．画素値の総和が１．０となるように、画像データ全体の画素値を一律に正規化する。
さらに、ブレＰＳＦパラメータにボケ半径ＢｒＲ（ブレ軌跡のぼやけ具合を表し、焦点もずれている画像の先鋭化に使うパラメータ）を含める場合には、次のステップを加える。
４．生成した画像データに半径ＢｒＲの真円データを畳み込む。
真円データ：中心から半径ＢｒＲ以内の点＝画素値Ｋ、それ以外の点＝画素値０
Ｋ：１／（中心から半径ＢｒＲ内の点の総数)
【００８０】
（再構成処理）
図２０は、再構成処理を説明するためのフローチャートである。同図において、まずＸに初期推定画像を設定する（ステップＳ１８０）。なお、初期推定画像は、基準フレームの注目被写体領域の画像を縦横ｚ倍に拡大したものであれば、拡大方法は何でも良い。
【００８１】
次いで、評価値Ｓと修正画像Ｕを初期化し（ステップＳ１８１）、その後、ＦｒｍＲに「１」を設定する（ステップＳ１８２）。次いで、基準点位置保持メモリ１７Ａから参照フレームＦｒｍＲの注目被写体領域（ＲｏｉＲ）と幾何変換行列（ＭＦｒｍＲ→ＦｒｍＡ）を取得する（ステップＳ１８３）。さらに、ＲｏｉＲ近傍の画像データをフレームメモリ１１から取得する（ＩｍｇＲ）（ステップＳ１８４）。
【００８２】
次いで、画像ＸをＦｒｍＲでの位置に幾何変形する（ステップＳ１８５）。すなわち、（Ｍｚ*ＭＦｒｍＲ→ＦｒｍＡ−１）*Ｘの計算を行い、その結果を画像Ｙ’に設定する（Ｙ’← （Ｍｚ*ＭＦｒｍＲ→ＦｒｍＡ−１）*Ｘ）。ここで、Ｍｚは拡大変換行列である（超解像拡大倍率をｚとすると、図２１に示すようになる）。
【００８３】
画像ＸをＦｒｍＲでの位置に幾何変形した後、画像Ｙ’を解像度劣化させる（Ｙ”）（ステップＳ１８６）。そして、画像Ｙ”とＩｍｇＲの差分を元に評価値Ｓと修正画像Ｕを更新する（ステップＳ１８７）。その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ１８８）。そして、ＦｒｍＲの値が「Ｎ」以下かどうか判定し（ステップＳ１８９）、「Ｎ」以下である場合（ステップＳ１８９：ＹＥＳ）、ステップＳ１８３に戻り、「Ｎ」以下ではない場合（ステップＳ１８９：ＮＯ）、画像Ｘの拘束条件を評価し、評価値Ｓと修正画像Ｕを更新する（ステップＳ１９０）。そして、Ｘが十分に収束したかどうか判定し（ステップＳ１９１）、十分に収束した場合（ステップＳ１９１：ＹＥＳ）、画像Ｘを出力し（ステップＳ１９２）、再構成処理を終了する。これに対し、Ｘが十分に収束していない場合（ステップＳ１９１：ＮＯ）、修正画像Ｕを元にＸを更新し（ステップＳ１９３）、ステップＳ１８１に戻る。
【００８４】
（効果）
以上のように、本実施の形態では、画像処理装置１は、基準フレームの画像およびパラメータ（注目被写体領域の位置やブレＰＳＦパラメータ）を表示し、ユーザの調整に基づいて基準フレームの画像の表示内容を更新し、調整されたパラメータを基準フレームのパラメータとして記憶する。そして、画像処理装置１は、次の参照フレームの画像を表示させる際に、記憶された基準フレームのパラメータを当該参照フレームのパラメータとして表示し、ユーザの調整に基づいて当該参照フレームの画像の表示内容を更新し、調整されたパラメータを当該参照フレームのパラメータとして記憶する。以降、画像処理装置１は、新たな参照フレームの画像を表示させる際には、基準フレームのパラメータを、当該新たな参照フレームのパラメータとして表示する。
【００８５】
これにより、基準フレームでの調整結果を他の全ての参照フレームに対して反映できるので、複数入力フレームの画像の位置合わせを手作業で行う場合に、入力作業を少なくし、作業効率の向上を図ることができる。この結果、超解像処理に利用できるフレームの数を増やすことができるので、超解像処理によって高解像度画像を得ることができる。
【００８６】
（実施の形態２）
実施の形態２では、実施の形態１において図１０、図１１を用いて説明したものと異なるブレＰＳＦ推定処理について説明する。
【００８７】
（ブレＰＳＦ推定処理）
図２２及び図２３は、本実施の形態に係る画像処理装置１のブレＰＳＦ推定処理を説明するためのフローチャートである。なお、図２２及び図２３において、図１０及び図１１と共通するステップには図１０及び図１１と同一符号を付して説明を省略する。
【００８８】
図２２及び図２３では、まずＦｒｍＲに「１」を設定する（ステップＳ８０）。次いで、基準点位置保持メモリ１７ＡからＲｏｉＲを取得する（ステップＳ８１）。そして、取得したＲｏｉＲ近傍の画像データをフレームメモリ１１から取得する（ＩｍｇＲ）（ステップＳ２００）。次いで、取得したＲｏｉＲの中心点を求める（ＣｔｒＲ）（ステップＳ８２）。その後、ＦｒｍＲの値を「１」減算し、その値をＦｒｍＰに設定するとともに、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＮに設定する（ステップＳ８３）。次いで、ＦｒｍＰの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８４）、「１」以上「Ｎ」以下である場合（ステップＳ８４：ＹＥＳ）、ＣｔｒＲをＦｒｍＰに写像する（ＣｔｒＰ）（ステップＳ８５）。
【００８９】
ＣｔｒＲをＦｒｍＰに写像した後、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８６）、「１」以上「Ｎ」以下である場合（ステップＳ８６：ＹＥＳ）、ＣｔｒＲをＦｒｍＮに写像する（ステップＳ８７）。次いで、（ベクトル（ＣｔｒＰ→ＣｔｒＲ）＋ベクトル（ＣｔｒＲ→ＣｔｒＮ））÷２を計算し、その結果を動きベクトルＭｖＲに設定する（ステップＳ８８）。
【００９０】
一方、ステップＳ８６でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８６：ＮＯ）、ベクトル（ＣｔｒＰ→ＣｔｒＲ）を動きベクトルＭｖＲに設定する（ステップＳ８９）。
【００９１】
また、ステップＳ８４でＦｒｍＰの値が「１」以上「Ｎ」以下ではない場合（ステップＳ８４：ＮＯ）、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ９０）、「１」以上「Ｎ」以下である場合（ステップＳ９０：ＹＥＳ）、ＣｔｒＲをＦｒｍＮに写像する（ＣｔｒＮ）（ステップＳ９１）。次いで、ベクトル（ＣｔｒＲ→ＣｔｒＮ）の値を動きベクトルＭｖＲに設定する（ステップＳ９２）。
【００９２】
ステップＳ８８，ステップＳ８９及びステップＳ９２の中のいずれか１つの処理を行った後、ＭｖＲがｘ軸となす角度・ＭｖＲの長さを、ブレの角度（ＢａＲ）・長さ（ＭｌＲ）とする（ステップＳ９３）。次いで、求めたブレの角度（ＢａＲ）・長さ（ＭｌＲ）をブレＰＳＦパラメータ保持メモリ１７Ｂに格納する（ステップＳ９４）。次いで、画像データＩｍｇＲとブレ角度ＢａＲからブレの長さを推定する（ＢｌＲ）（ステップＳ２０１）。そして、推定したブレ長さＢｌＲとベクトル長ＭｌＲの比を算出する（Ｂ２ＭｌＲ）（ステップＳ２０２）。
【００９３】
その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ９５）。そして、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ９６）、ＦｒｍＲが「Ｎ」以下である場合（ステップＳ９６：ＹＥＳ）、ステップＳ８１に戻る。これに対し、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ９６：ＮＯ）、全フレーム（Ｒ＝１〜Ｎ）で算出した比Ｂ２ＭｌＲの代表値を計算する（Ｂ２Ｍｌ）（ステップＳ２０３）。その後、ＦｒｍＲに「１」を設定する（ステップＳ２０４）。次いで、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納したブレの長さＭｌＲにＢ２Ｍｌを乗じた値をブレの長さＢｌＲとして格納する（ステップＳ２０５）。次いで、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定し（ステップＳ２０６）、ＦｒｍＲが「Ｎ」以下かどうか判定する（ステップＳ２０７）。ＦｒｍＲが「Ｎ」以下である場合（ステップＳ２０７：ＹＥＳ）、ステップＳ２０５に戻る。これに対し、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ２０７：ＮＯ）、ブレＰＳＦの推定処理を終了する。
【００９４】
一方、ステップＳ９０でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ９０：ＮＯ）、画像データＩｍｇＲからブレの角度・長さを推定する（ＢａＲ、ＢｌＲ）（ステップＳ２０８）。その後、ＢｌＲの値をＭｌＲに設定し（ステップＳ２０９）、ステップＳ９４に戻る。
【００９５】
（効果）
以上のように、本実施の形態によれば、ブレＰＳＦ推定処理においてブレＰＳＦの長さを推定する際に、１枚の画像データからブレＰＳＦの長さを推定し、推定したブレＰＳＦの長さと動きベクトルの長さとの比率をフレーム毎に求め、その比率を全フレームにわたって平滑化し、各動きベクトルの長さに平滑化した比率を乗算することにより各フレームのブレＰＳＦの長さを計算する。これにより、カメラのシャッタースピードを考慮してブレＰＳＦの長さを推定することができるので、正確なブレＰＳＦを用いてブレの除去処理を行うことができ、リンギングノイズを伴わない先鋭な画像を得ることができる。
【００９６】
（実施の形態３）
実施の形態３では、実施の形態１で説明した処理内容を顔画像の検出に適用する場合について説明する。なお、本実施の形態における画像処理装置の概略構成は、実施の形態１で説明した図１の画像処理装置１と同一である。また、本実施の形態における画像処理装置の超解像処理のフローは、実施の形態１で説明した図２、図３のものと略同一である。ただし、図２の自動位置合わせ処理（Ｓ４）が顔特徴点検出処理に変更される。
【００９７】
また、本実施の形態における画像処理装置の画像データ読み込み処理のフローは、実施の形態１で説明した図４のものと同一である。また、本実施の形態における画像処理装置の基準フレーム選択処理のフローは、実施の形態１で説明した図５、図６のものと同一である。また、本実施の形態における画像処理装置の注目被写体領域設定処理のフローは、実施の形態１で説明した図７のものと同一である。また、本実施の形態における画像処理装置のブレの除去処理のフローは、実施の形態１で説明した図１９のものと同一である。
【００９８】
（顔特徴点検出処理）
図２４は、顔特徴点検出処理を説明するためのフローチャートである。同図において、まずＦｒｍＲの値を「１」に設定する（ステップＳ３００）。次いで、ＦｒｍＲの値が「Ｎ」以下かどうか判定する（ステップＳ３０１）。この判定において、ＦｒｍＲの値が「Ｎ」以下である場合（ステップＳ３０１：ＹＥＳ）、フレームメモリ１１内のＦｒｍＲ番目のフレームデータを取得する（ＩｍｇＲ）（ステップＳ３０２）。次いで、ＩｍｇＲの中で顔特徴点を検出する（ＰＦｒｍＲ，ｉ）（ステップＳ３０３）。顔特徴点の検出方法として、ＡＡＭ（Active Appearance Models）を使う方法が知られている。この方法は、事前に、顔画像およびその顔画像上の複数の特徴点の位置をセットにして多数のセットのデータから学習データを作成する処理（オフライン処理：超解像処理の前に行う処理）を行い、次に、未知の顔画像を入力して上記の学習データを用いてフィッティングを行うことにより、入力画像の中での特徴点の位置を推定する処理（オンライン処理：超解像処理を行う個々の入力フレームに対して行う処理）を行う方法である（参考文献："Active Appearance Models Revisited", Iain Matthews and Simon Baker, International Journal of Computer Vision, Vol. 60, No. 2, pp. 135 - 164, November, 2004.）。なお、ＰＦｒｍＲ，ｉは、ＩｍｇＲの中で検出されたｉ番目の顔特徴点の位置情報である（１≦ｉ≦（ＩｍｇＲ内の全特徴点数））。
【００９９】
次いで、ＩｍｇＲの中で全ての顔特徴点を囲む領域を算出し（ＲｏｉＲ）（ステップＳ３０４）、ＩｍｇＲの隣接顔特徴点が構成する平面パッチ（図２５参照）を列挙する（ＳＦｒｍＲ，*（ＳＦｒｍＲ，ｋ（１≦ｋ≦ＩｍｇＲ内の全パッチ数）の全て））（ステップＳ３０５）。なお、図２５では、〇印が顔特徴点であり、点線で囲まれたＳ１からＳ１２の各領域が平面パッチである。
【０１００】
そして、ＲｏｉＲ、ＰＦｒｍＲ，*（ＰＦｒｍＲ，ｉの全て）およびＳＦｒｍＲ，*を基準点位置保持メモリ１７Ａに格納する（ステップＳ３０６）。その後、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＲに設定し（ステップＳ３０７）、ステップＳ３０１に戻る。
【０１０１】
一方、ステップＳ３０１でＦｒｍＲの値がＮより大きいと判定した場合（ステップＳ３０１：ＮＯ）、ＦｒｍＲの値を「１」に設定し（ステップＳ３０８）、ＦｒｍＲの値が「Ｎ」以下かどうか判定する（ステップＳ３０９）。
【０１０２】
この判定において、ＦｒｍＲの値が「Ｎ」以下である場合（ステップＳ３０９：ＹＥＳ）、パッチ番号ｋを「１」に設定し（ステップＳ３１０）、ｋの値が全パッチ数以下かどうか判定する（ステップＳ３１１）。
【０１０３】
この判定において、ｋの値が全パッチ数以下である場合（ステップＳ３１１：ＹＥＳ）、ＦｒｍＲのパッチＳＦｒｍＲ，ｋの各頂点の位置を、ＦｒｍＡにおいて対応するパッチＳＦｒｍＡ，ｋの各頂点の位置に写像する幾何変換行列を求める（ＭＦｒｍＲ，ｋ→ＦｒｍＡ，ｋ）（ステップＳ３１２）。そして、幾何変換行列ＭＦｒｍＲ，ｋ→ＦｒｍＡ，ｋを基準点位置保持メモリ１７Ａに格納する（ステップＳ３１３）。その後、ｋの値に「１」加算し、その値をｋに設定し（ステップＳ３１４）、ステップＳ３１１に戻る。
【０１０４】
一方、ステップＳ３１１でｋの値が全パッチ数より大きいと判定した場合（ステップＳ３１１：ＮＯ）、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＲに設定し（ステップＳ３１５）、ステップＳ３０９に戻る。
【０１０５】
また、ステップＳ３０９でＦｒｍＲの値が「Ｎ」以下ではないと判定した場合（ステップＳ３０９：ＮＯ）、顔特徴点検出処理を終了する。
【０１０６】
（ブレＰＳＦの推定処理）
図２６及び図２７は、ブレＰＳＦ推定処理を説明するためのフローチャートである。なお、図２６及び図２７において、図１０及び図１１と共通するステップには、図１０及び図１１と同一符号を付して説明を省略する。
【０１０７】
図２６及び図２７では、まずＦｒｍＲに「１」を設定する（ステップＳ８０）。次いで、基準点位置保持メモリ１７ＡからＰＦｒｍＲ，*を取得する（ステップＳ３２０）。そして、取得したＰＦｒｍＲ，*の代表点を求める（ＣｔｒＦｒｍＲ）（ステップＳ３２１）。その後、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＲに設定する（ステップＳ３２２）。次いで、ＦｒｍＲの値が「Ｎ」以下かどうか判定し（ステップＳ３２３）、「Ｎ」以下である場合（ステップＳ３２３：ＹＥＳ）、ステップＳ３２０に戻る。
【０１０８】
一方、ステップＳ３２３でＦｒｍＲの値が「Ｎ」より大きいと判定された場合（ステップＳ３２３：ＮＯ）、ＦｒｍＲの値を「１」に設定する（ステップＳ３２４）。
【０１０９】
次いで、ＦｒｍＲの値を「１」減算し、その値をＦｒｍＰに設定するとともに、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＮに設定する（ステップＳ８３）。そして、ＦｒｍＰの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８４）、「１」以上「Ｎ」以下である場合（ステップＳ８４：ＹＥＳ）、ステップＳ８６に進む。
【０１１０】
そして、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８６）、「１」以上「Ｎ」以下である場合（ステップＳ８６：ＹＥＳ）、（ベクトル（ＣｔｒＦｒｍＰ→ＣｔｒＦｒｍＲ）＋ベクトル（ＣｔｒＦｒｍＲ→ＣｔｒＦｒｍＮ））÷２の値を動きベクトルＭｖＲに設定する（ステップＳ３２５）。
【０１１１】
一方、ステップＳ８６でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８６：ＮＯ）、ベクトル（ＣｔｒＦｒｍＰ→ＣｔｒＦｒｍＲ）を動きベクトルＭｖＲに設定する（ステップＳ３２６）。
【０１１２】
また、ステップＳ８４でＦｒｍＰの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８４：ＮＯ）、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ９０）、「１」以上「Ｎ」以下である場合（ステップＳ９０：ＹＥＳ）、ベクトル（ＣｔｒＦｒｍＲ→ＣｔｒＦｒｍＮ）の値を動きベクトルＭｖＲに設定する（ステップＳ３２７）。
【０１１３】
ステップＳ３２５、Ｓ３２６、Ｓ３２７の中のいずれか１つの処理を行った後、ＭｖＲがｘ軸となす角度・ＭｖＲの長さを、ブレの角度（ＢａＲ）・長さ（ＢｌＲ）とする（ステップＳ９３）。そして、求めたブレの角度（ＢａＲ）・長さ（ＢｌＲ）をブレＰＳＦパラメータ保持メモリ１７Ｂに格納する（ステップＳ９４）。そして、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ９５）。次いで、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ９６）、「Ｎ」以下である場合（ステップＳ９６：ＹＥＳ）、ステップＳ８３に戻る。これに対して、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ９６：ＮＯ）、ブレＰＳＦの推定処理を終了する。
【０１１４】
一方、ステップＳ９０でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ９０：ＮＯ）、ＲｏｉＲ近傍の画像データをフレームメモリ１１から取得し（ステップＳ１０４）、取得した画像データからブレの角度（ＢａＲ）・長さ（ＢｌＲ）を推定する（ステップＳ１０５）。その後、ステップＳ９４に移行する。
【０１１５】
（基準フレームでのパラメータ調整処理）
図２８は、基準フレームでのパラメータ調整処理を説明するためのフローチャートである。なお、図２８において、図１２と共通するステップには、図１２と同一符号を付して説明を省略する。
【０１１６】
図２８において、まず基準フレーム（ＦｒｍＡ）の画像データをフレームメモリ１１から取得し（ステップＳ１１０）、これを表示する（ステップＳ１１１）。次いで、基準点位置保持メモリ１７Ａから顔特徴点（ＰＦｒｍＡ，*）を取得し（ステップＳ３３０）、顔特徴点ＰＦｒｍＡ，*及び顔特徴点間を結ぶメッシュを表示する（ステップＳ３３１）。
【０１１７】
次いで、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＡのブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）を取得し（ステップＳ１１５）、取得したブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）からブレＰＳＦ画像を生成して表示する（ステップＳ１１６）。また、ブレ角度（ＢａＡ）・ブレ長（ＢｌＡ）の数値を表示する（ステップＳ１１７）。
【０１１８】
そして、表示中の顔特徴点の位置やブレＰＳＦパラメータをユーザに調整させ（ステップＳ３３２）、ユーザの調整内容に応じて画面表示内容を更新する（ステップＳ１１９）。そして、ユーザによる調整が完了したかどうか判定し（ステップＳ１２０）、完了していない場合（ステップＳ１２０：ＮＯ）、ステップＳ３３２に戻り、完了した場合（ステップＳ１２０：ＹＥＳ）、基準フレームの元のブレ長ＢｌＡと調整後のブレ長ＢｌＡ’の比（Ｂ’２ＢｌＡ）を求め（ステップＳ１２１）、基準フレームの各パッチについて調整前の頂点位置を調整後の位置に写像する幾何変形行列を求める（ＭＦｒｍＡ，*→ＦｒｍＡ，*’）（ステップＳ３３３）。
【０１１９】
次いで、ＦｒｍＲに「１」を設定する（ステップＳ１２２）。そして、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＲ番フレームのブレ長（ＢｌＲ）を取得し（ステップＳ１２３）、ＢｌＲ*Ｂ’２ＢｌＡを計算し、その結果をＢｌＲ’に設定する（ステップＳ１２４）。次いで、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納されたＢｌＲをＢｌＲ’で更新する（ステップＳ１２５）。次いで、基準点位置保持メモリ１７ＡからＦｒｍＲの顔特徴点（ＰＦｒｍＲ，*）、パッチの情報（ＳＦｒｍＲ，*）および幾何変換行列（ＭＦｒｍＲ，*→ＦｒｍＡ，*）を取得し（ステップＳ３３４）、顔特徴点ＰＦｒｍＲ，*を写像する（ＰＦｒｍＲ，*’）（図２９参照）（ステップＳ３３５）。
【０１２０】
次いで、基準点位置保持メモリ１７Ａに格納された顔特徴点ＰＦｒｍＲ，*をＰＦｒｍＲ，*’で更新する（ステップＳ３３６）。次いで、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ１２９）。そして、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ１３０）、「Ｎ」以下である場合（ステップＳ１３０：ＹＥＳ）、ステップＳ１２３に戻り、「Ｎ」以下ではない場合（ステップＳ１３０：ＮＯ）、基準フレームでのパラメータ調整処理を終了する。
【０１２１】
ステップＳ１２１〜ステップＳ１３０の処理（すなわちユーザによる調整完了後の一連の処理）によって、参照フレームの個別調整にかかる後の作業が大きく軽減される。
【０１２２】
なお、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納した他のパラメータ（焦点ボケの大きさ・形状や、ボケ除去時の強度設定など）を表示し、設定値をユーザで変更できるようにしてもよい。
【０１２３】
次に、図２８のステップＳ３３５の顔特徴点の写像処理の詳細について図２９を用いて説明する。
【０１２４】
同図において、まずパッチ番号ｋを「１」に設定し（ステップＳ３４０）、ｋの値が全パッチ数以下かどうか判定する（ステップＳ３４１）。
【０１２５】
この判定において、ｋの値が全パッチ数以下である場合（ステップＳ３４１：ＹＥＳ）、参照フレームＦｒｍＲでのパッチｋの各頂点座標を幾何変換行列ＭＦｒｍＲ，ｋ→ＦｒｍＡ，ｋ’で変換する（ＰＦｒｍＲ，*’）（ステップＳ３４２）。その後、ｋの値に「１」加算し、その値をｋに設定し（ステップＳ３４３）、ステップＳ３４１に戻る。
【０１２６】
一方、ステップＳ３４１でｋの値が全パッチ数より大きいと判定した場合（ステップＳ３４１：ＮＯ）、ステップＳ３３５の顔特徴点の写像処理を終了する。
【０１２７】
なお、パッチの頂点は、隣接パッチの頂点と共有されているため、図２９のフローにおいて、あるパッチの座標変換処理と別のパッチの座標変換処理とで、同じ頂点（すなわち、顔特徴点）に対する変換後座標が複数通り算出される場合があり得る。このため、本実施の形態では、複数算出された変換後座標の中から１つの変換後座標を所定の方法により決定し、決定した座標をその顔特徴点ｉに対するＰＦｒｍＲ，ｉ’とする。決定の方法として、重心を求める、初出の値を採用する、あるいは、最後の値を採用する等が挙げられる。
【０１２８】
（参照フレームでのパラメータ調整処理）
図３０及び図３１は、参照フレームでのパラメータ調整処理を説明するためのフローチャートである。なお、図３０及び図３１において、図１５及び図１６と共通するステップには、図１５及び図１６と同一符号を付して説明を省略する。
【０１２９】
図３０及び図３１において、まず基準フレーム（ＦｒｍＡ）の画像データをフレームメモリ１１から取得し（ステップＳ１４０）、これを表示する（ステップＳ１４１）。次いで、基準点位置保持メモリ１７ＡからＦｒｍＡの顔特徴点（ＰＦｒｍＡ，*）を取得し（ステップＳ３５０）、顔特徴点ＰＦｒｍＡ，*及び顔特徴点間を結ぶメッシュを表示する（ステップＳ３５１）。さらに、フレームメモリ１１に格納された全フレームの一覧を表示する（ステップＳ１４５）。また、フレーム一覧に表示された個々のフレームに注目被写体領域の枠を表示する（ステップＳ１４６）。
【０１３０】
次いで、任意の１フレームを選択状態にし（ステップＳ１４７）、参照フレームの選択変更や選択中参照フレームのパラメータ調整をユーザに行わせる（ステップＳ１４８）。次いで、参照フレームの選択状態が変更されたかどうか判定し（ステップＳ１４９）、参照フレームの選択状態が変更された場合（ステップＳ１４９：ＹＥＳ）、選択中参照フレーム（ＦｒｍＲ）の画像データをフレームメモリ１１から取得し（ステップＳ１５０）、これを表示する（ステップＳ１５１）。
【０１３１】
ＦｒｍＲを表示した後、基準点位置保持メモリ１７ＡからＦｒｍＲの顔特徴点（ＰＦｒｍＲ，*）を取得し（ステップＳ３５２）、顔特徴点ＰＦｒｍＲ，*及び顔特徴点間を結ぶメッシュを表示する（ステップＳ３５３）。
【０１３２】
さらに、ブレＰＳＦパラメータ保持メモリ１７ＢからＦｒｍＲのブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）を取得し（ステップＳ１５５）、ブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）からブレＰＳＦ画像を生成して表示する（ステップＳ１５６）。また、ブレ角度（ＢａＲ）・ブレ長（ＢｌＲ）の数値を表示する（ステップＳ１５７）。その後、ステップＳ１４８に戻る。
【０１３３】
一方、ステップＳ１４９で参照フレームの選択状態が変更されていないと判定された場合（ステップＳ１４９：ＮＯ）、ＲｏｉＲやブレＰＳＦパラメータが変更されたかどうか判定する（ステップＳ１５８）。ＲｏｉＲやブレＰＳＦパラメータが変更された場合（ステップＳ１５８：ＹＥＳ）、調整内容に応じて画面表示内容を更新する（ステップＳ１５９）。そして、調整内容に応じて、選択中参照フレーム（ＦｒｍＲ）に対する、基準点位置保持メモリ１７ＡやブレＰＳＦパラメータ保持メモリ１７Ｂの設定値を変更する（ステップＳ１６０）。その後、ステップＳ１４８に戻る。
【０１３４】
また、ステップＳ１５８でＲｏｉＲやブレＰＳＦパラメータが変更されていないと判定された場合（ステップＳ１５８：ＮＯ）、調整完了かどうか判定し（ステップＳ１６１）、調整完了ではない場合（ステップＳ１６１：ＮＯ）、ステップＳ１４８に戻り、調整完了の場合（ステップＳ１６１：ＹＥＳ）、参照フレームでのパラメータ調整処理を終了する。
【０１３５】
（再構成処理）
図３２は、再構成処理を説明するためのフローチャートである。なお、図３２において、図２０と共通するステップには、図２０と同一符号を付して説明を省略する。
【０１３６】
図３２において、まずＸに初期推定画像を設定する（ステップＳ１８０）。次いで、評価値Ｓと修正画像Ｕを初期化し（ステップＳ１８１）、その後、ＦｒｍＲに「１」を設定する（ステップＳ１８２）。
【０１３７】
次いで、基準点位置保持メモリ１７Ａから参照フレームＦｒｍＲのパッチの情報（ＳＦｒｍＲ，*）および幾何変換行列（ＭＦｒｍＲ，*→ＦｒｍＡ，*）を取得する（ステップＳ３６０）。さらに、各パッチ近傍の画像データをフレームメモリ１１から取得する（ＩｍｇＲＳ*）（ステップＳ３６１）。
【０１３８】
次いで、パッチ毎に画像ＸをＦｒｍＲでの位置に幾何変形する（ステップＳ３６２）。すなわち、各ｋについて、（Ｍｚ*ＭＦｒｍＲ，ｋ→ＦｒｍＡ，ｋ−１）*Ｘの計算を行い、その結果を画像Ｙ’に設定する（Ｙ’← （Ｍｚ*ＭＦｒｍＲ，ｋ→ＦｒｍＡ，ｋ−１）*Ｘ）。ここで、Ｍｚは拡大変換行列である（超解像拡大倍率をｚとすると、図２１に示すようになる）。
【０１３９】
画像ＸをＦｒｍＲでの位置に幾何変形した後、画像Ｙ’を解像度劣化させる（Ｙ”）（ステップＳ１８６）。そして、画像Ｙ”とＩｍｇＲの差分を元に評価値Ｓと修正画像Ｕを更新する（ステップＳ１８７）。その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ１８８）。そして、ＦｒｍＲの値が「Ｎ」以下かどうか判定し（ステップＳ１８９）、「Ｎ」以下である場合（ステップＳ１８９：ＹＥＳ）、ステップＳ３６０に戻り、「Ｎ」以下ではない場合（ステップＳ１８９：ＮＯ）、画像Ｘの拘束条件を評価し、評価値Ｓと修正画像Ｕを更新する（ステップＳ１９０）。そして、Ｘが十分に収束したかどうか判定し（ステップＳ１９１）、十分に収束した場合（ステップＳ１９１：ＹＥＳ）、画像Ｘを出力し（ステップＳ１９２）、再構成処理を終了する。これに対し、Ｘが十分に収束していない場合（ステップＳ１９１：ＮＯ）、修正画像Ｕを元にＸを更新し（ステップＳ１９３）、ステップＳ１８１に戻る。
【０１４０】
（効果）
以上のように、本実施の形態では、画像処理装置１は、基準フレームの画像およびパラメータ（顔特徴点の位置、顔特徴点間を結ぶメッシュおよびブレＰＳＦパラメータ）を表示し、ユーザの調整に基づいて基準フレームの画像の表示内容を更新し、調整されたパラメータを基準フレームのパラメータとして記憶する。そして、画像処理装置１は、次の参照フレームの画像を表示させる際に、記憶された基準フレームのパラメータを当該参照フレームのパラメータとして表示し、ユーザの調整に基づいて当該参照フレームの画像の表示内容を更新し、調整されたパラメータを当該参照フレームのパラメータとして記憶する。以降、画像処理装置１は、新たな参照フレームの画像を表示させる際には、基準フレームのパラメータを、当該新たな参照フレームのパラメータとして表示する。
【０１４１】
これにより、基準フレームでの調整結果を他の全ての参照フレームに対して反映できるので、複数入力フレームの画像の位置合わせを手作業で行う場合に、入力作業を少なくし、作業効率の向上を図ることができる。この結果、超解像処理に利用できるフレームの数を増やすことができるので、超解像処理によって高解像度画像を得ることができる。
【０１４２】
（実施の形態４）
実施の形態４では、実施の形態３において図２６、図２７を用いて説明したものと異なるブレＰＳＦ推定処理について説明する。
【０１４３】
（ブレＰＳＦ推定処理）
図３３、図３４及び図３５は、本実施の形態に係る画像処理装置１のブレＰＳＦ推定処理を説明するためのフローチャートである。なお、図３３、図３４及び図３５において、図２６及び図２７と共通するステップには図２６及び図２７と同一符号を付して説明を省略する。
【０１４４】
図３３、図３４及び図３５では、まずＦｒｍＲに「１」を設定する（ステップＳ８０）。次いで、基準点位置保持メモリ１７ＡからＰＦｒｍＲ，*を取得する（ステップＳ４００）。そして、取得したＲｏｉＲ近傍の画像データをフレームメモリ１１から取得する（ＩｍｇＲ）（ステップＳ２００）。次いで、取得したＰＦｒｍＲ，*の代表点を求める（ＣｔｒＦｒｍＲ）（ステップＳ４０１）。その後、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＲに設定する（ステップＳ４０２）。次いで、ＦｒｍＲの値が「Ｎ」以下かどうか判定し（ステップＳ４０３）、「Ｎ」以下である場合（ステップＳ４０３：ＹＥＳ）、ステップＳ４００に戻る。
【０１４５】
一方、ステップＳ４０３でＦｒｍＲの値が「Ｎ」より大きいと判定された場合（ステップＳ４０３：ＮＯ）、ＦｒｍＲの値を「１」に設定する（ステップＳ４０４）。
【０１４６】
次いで、ＦｒｍＲの値を「１」減算し、その値をＦｒｍＰに設定するとともに、ＦｒｍＲの値を「１」加算し、その値をＦｒｍＮに設定する（ス以下ではないテップＳ８３）。そして、ＦｒｍＰの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８４）、「１」以上「Ｎ」以下である場合（ステップＳ８４：ＹＥＳ）、ステップＳ８６に進む。
【０１４７】
そして、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ８６）、「１」以上「Ｎ」以下である場合（ステップＳ８６：ＹＥＳ）、（ベクトル（ＣｔｒＦｒｍＰ→ＣｔｒＦｒｍＲ）＋ベクトル（ＣｔｒＦｒｍＲ→ＣｔｒＦｒｍＮ））÷２の値を動きベクトルＭｖＲに設定する（ステップＳ４０５）。
【０１４８】
一方、ステップＳ８６でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８６：ＮＯ）、ベクトル（ＣｔｒＦｒｍＰ→ＣｔｒＦｒｍＲ）を動きベクトルＭｖＲに設定する（ステップＳ４０６）。
【０１４９】
また、ステップＳ８４でＦｒｍＰの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ８４：ＮＯ）、ＦｒｍＮの値が「１」以上「Ｎ」以下かどうか判定し（ステップＳ９０）、「１」以上「Ｎ」以下である場合（ステップＳ９０：ＹＥＳ）、ベクトル（ＣｔｒＦｒｍＲ→ＣｔｒＦｒｍＮ）の値を動きベクトルＭｖＲに設定する（ステップＳ４０７）。
【０１５０】
ステップＳ４０５、Ｓ４０６、Ｓ４０７の中のいずれか１つの処理を行った後、ＭｖＲがｘ軸となす角度・ＭｖＲの長さを、ブレの角度（ＢａＲ）・長さ（ＭｌＲ）とする（ステップＳ９３）。そして、求めたブレの角度（ＢａＲ）・長さ（ＭｌＲ）をブレＰＳＦパラメータ保持メモリ１７Ｂに格納する（ステップＳ９４）。次いで、画像データＩｍｇＲとブレ角度ＢａＲからブレの長さを推定する（ＢｌＲ）（ステップＳ２０１）。そして、推定したブレ長さＢｌＲとベクトル長ＭｌＲの比を算出する（Ｂ２ＭｌＲ）（ステップＳ２０２）。
【０１５１】
その後、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定する（ステップＳ９５）。そして、ＦｒｍＲが「Ｎ」以下かどうか判定し（ステップＳ９６）、ＦｒｍＲが「Ｎ」以下である場合（ステップＳ９６：ＹＥＳ）、ステップＳ８３に戻る。これに対し、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ９６：ＮＯ）、全フレーム（Ｒ＝１〜Ｎ）で算出した比Ｂ２ＭｌＲの代表値を計算する（Ｂ２Ｍｌ）（ステップＳ２０３）。その後、ＦｒｍＲに「１」を設定する（ステップＳ２０４）。次いで、ブレＰＳＦパラメータ保持メモリ１７Ｂに格納したブレの長さＭｌＲにＢ２Ｍｌを乗じた値をブレの長さＢｌＲとして格納する（ステップＳ２０５）。次いで、ＦｒｍＲの値に「１」加算し、その値をＦｒｍＲに設定し（ステップＳ２０６）、ＦｒｍＲが「Ｎ」以下かどうか判定する（ステップＳ２０７）。ＦｒｍＲが「Ｎ」以下である場合（ステップＳ２０７：ＹＥＳ）、ステップＳ２０５に戻る。これに対し、ＦｒｍＲが「Ｎ」以下ではない場合（ステップＳ２０７：ＮＯ）、ブレＰＳＦの推定処理を終了する。
【０１５２】
一方、ステップＳ９０でＦｒｍＮの値が「１」以上「Ｎ」以下ではないと判定された場合（ステップＳ９０：ＮＯ）、画像データＩｍｇＲからブレの角度・長さを推定する（ＢａＲ、ＢｌＲ）（ステップＳ２０８）。その後、ＢｌＲの値をＭｌＲに設定し（ステップＳ２０９）、ステップＳ９４に戻る。
【０１５３】
（効果）
以上のように、本実施の形態によれば、ブレＰＳＦ推定処理においてブレＰＳＦの長さを推定する際に、１枚の画像データからブレＰＳＦの長さを推定し、推定したブレＰＳＦの長さと動きベクトルの長さとの比率をフレーム毎に求め、その比率を全フレームにわたって平滑化し、各動きベクトルの長さに平滑化した比率を乗算することにより各フレームのブレＰＳＦの長さを計算する。これにより、カメラのシャッタースピードを考慮してブレＰＳＦの長さを推定することができるので、正確なブレＰＳＦを用いてブレの除去処理を行うことができ、リンギングノイズを伴わない先鋭な画像を得ることができる。
【産業上の利用可能性】
【０１５４】
本発明は、監視カメラで撮影された画像を処理する画像処理装置に用いるに好適である。
【符号の説明】
【０１５５】
１  画像処理装置
１０  画像データ入力部
１１  フレームメモリ
１２  グラフィカルユーザインタフェース部
１３  基準フレーム選択部
１４  注目被写体領域選択部
１５  マッチング計算部
１６  ブレＰＳＦ推定部
１７  メモリ部
１７Ａ  基準点位置保持メモリ
１７Ｂ  ブレＰＳＦパラメータ保持メモリ
１８  基準フレーム調整部
１９  参照フレーム調整部
２０  ブレ除去部
２１  再構成処理部
２２  超解像画像出力部
２３  画像生成部
１００  ナンバープレート
【図１】
0006771148.tif 000002
【図２】
0006771148.tif 000003
【図３】
0006771148.tif 000004
【図４】
0006771148.tif 000005
【図５】
0006771148.tif 000006
【図６】
0006771148.tif 000007
【図７】
0006771148.tif 000008
【図８】
0006771148.tif 000009
【図９】
0006771148.tif 000010
【図１０】
0006771148.tif 000011
【図１１】
0006771148.tif 000012
【図１２】
0006771148.tif 000013
【図１３】
0006771148.tif 000014
【図１４】
0006771148.tif 000015
【図１５】
0006771148.tif 000016
【図１６】
0006771148.tif 000017
【図１７】
0006771148.tif 000018
【図１８】
0006771148.tif 000019
【図１９】
0006771148.tif 000020
【図２０】
0006771148.tif 000021
【図２１】
0006771148.tif 000022
【図２２】
0006771148.tif 000023
【図２３】
0006771148.tif 000024
【図２４】
0006771148.tif 000025
【図２５】
0006771148.tif 000026
【図２６】
0006771148.tif 000027
【図２７】
0006771148.tif 000028
【図２８】
0006771148.tif 000029
【図２９】
0006771148.tif 000030
【図３０】
0006771148.tif 000031
【図３１】
0006771148.tif 000032
【図３２】
0006771148.tif 000033
【図３３】
0006771148.tif 000034
【図３４】
0006771148.tif 000035
【図３５】
0006771148.tif 000036